본관은 풍천(豊川). 자는 여직(汝直). 아버지는 통덕랑 임진영(任震英)이며, 어머니는 윤증(尹拯)의 딸이다.
일찍이 아버지를 여의고 외할아버지 밑에서 학문을 익히기 시작하여 윤동원(尹東源)·이행태(李行泰) 등과 더불어 교유하며 점차 크게 학문을 떨쳤다.
1716년(숙종 42) 그의 스승이자 외할아버지인 윤증이 화를 입게 되면서 관직에 뜻을 버리고 학문에만 진력, 한때 경명행수(經明行修)의 인재로 발탁되어 광릉참봉이 주어졌으나 나아가지 않았다.
1745년(영조 21) 세자익위사(世子翊衛司)의 부수(副率)로 임명되어 서연(書筵)에서 장헌세자의 학문을 깨우치매, 빈객 정우량(鄭羽良)이 그 진강(進講)의 독실함에 탄복하였다.
경전(經傳)에 통달하였음은 물론 특히 사지(史志)에도 밝아 중국의 역사뿐만 아니라 단군으로부터 조선에 이르기까지 치란흥망(治亂興亡)과 산천도리(山川道里)의 형세 등 조선의 역사에도 정통하였다.