1719년(숙종 45) 진사가 되었으나, 1722년(경종 2) 신임사화 때 조부 김창집(金昌集)이 노론 4대신으로 사사되고, 생부 김제겸과 친형인 김성행(金省行) · 김탄행(金坦行) 등이 유배되어 죽임을 당하자, 벼슬할 뜻을 버리고 학문에 전념하였다. 이때 어머니의 유배지에 따라가 『맹자』 · 『율곡집(栗谷集)』 · 『우암집(尤庵集)』 등을 탐독하였다. 1725년(영조 1) 조부 · 생부 · 형 등이 신원된 후에도 시골에 묻혀 살며 학문 연구에만 몰두하였다.
1740년 학행으로 천거되어 내시교관(內侍敎官)에 임명되고, 1750년 위수(衛率) · 종부시주부(宗簿寺主簿) 등에 임명되었으나 모두 부임하지 않았다. 1759년 왕세손을 교육할 적임자로서 영조의 부름을 받았으나 소를 올리고 사퇴하였다. 1761년 공조참의 · 사성(司成)에 임명되고, 그 후 찬선(贊善)에도 임명되었으나 역시 사양하였다.
조선 후기의 집권 계층인 노론의 혁혁한 가문의 후손으로서 학통을 잇는 존재가 되어 조야(朝野)에 큰 영향력을 미치는 학자의 지위에 올랐다. 또한 당시의 사회는 정치적으로 산림(山林)을 중시했는데, 김원행은 유수한 산림의 한 사람으로 명망을 받았다.
당시의 학문은 송시열(宋時烈)을 종장(宗匠)으로 받드는 성리학이 주조를 이루고 있었는데, 그 학파 자체 내에서도 낙론(洛論)과 호론(湖論)의 대립이 있었다. 대립의 발단은 김창협과 권상하(權尙夏)의 학설에서 시작되었다. 권상하의 제자인 이간(李柬)은 김창협의 학설을 이어 이재와 함께 낙론의 중심이 되고, 권상하의 제자 한원진(韓元震)은 권상하의 학설을 이어 호론의 중심이 되었다. 김창협의 손자이자 이재의 문인인 김원행은 자연히 낙론을 지지하는 대표적인 학자로 활동하였다.
김원행의 사상은 대체로 김창협의 학설을 답습하여 주리(主理)와 주기(主氣)의 절충적인 입장에 서 있었다. 그는 심(心)을 이(理)라고도 하지 않고 기(氣)라고도 하지 않으며, 이와 기의 중간에 처하여 이기(理氣)를 겸하는 의미를 지닌 것으로 여겼다. 이것은 바로 이황(李滉)의 주리설과 이이(李珥)의 주기설을 절충한 김창협의 학설을 계승한 것이다.
나라에서 정통 학자로 추대되어 산림의 지위에 있었던 그의 문하에서는 수많은 순수 성리학자들이 배출되었고, 또한 몇 사람의 실학자도 일부 배출되었다. 그의 학통을 이은 제자로는 아들 이안(履安)과 박윤원(朴胤源) · 오윤상(吳允常) · 홍대용(洪大容) · 황윤석(黃胤錫) 등이 있다. 저서로는 『미호집(渼湖集)』이 있다.
시호는 문경(文敬)이다.