본관은 나주(羅州). 자는 차음(次音). 할아버지는 임숙(林埱)이고, 아버지는 임장유(林長儒)이다.
1683년(숙종 9) 증광문과에 병과로 급제하였다. 1694년(숙종 20) 홍문록(弘文錄)에 이어서 도당록(都堂錄)에 선발되어 부수찬·부교리 등을 지냈다.
이듬해 장령으로서 도적을 다스리는 방안을 담은 응지상소를 올리기도 하였다. 이 후 사간·부교리·집의·수찬 등 주로 언관으로서 활동하여 1696년에는 실세한 남인들에 의해 모의된 업동(業同)의 옥사를 엄히 다스릴 것을 주장하였다.
한때 국상에 달려와 조문하지 않았다는 죄로 파직되기도 하였으나 곧 혐의가 풀려 서용되었다. 1701년에는 노론의 집요한 탄핵을 받던 남구만(南九萬)·유상운(柳尙運)의 처벌에 반대하였고, 이 후 노론 당론 행사자의 한 명으로 지목되었다. 1709년에는 대사간으로 승진하여 인재 수용, 군정을 닦을 것 등을 주장하였다.
한편 극단적인 붕당폐단을 해결하기 위해서는 대신과 원임(原任: 현직 관료), 중신(重臣), 주론자(主論者)를 불려 간곡히 타이르고 이를 따르지 않는 자는 처벌하되 국왕도 공정한 처분을 내리도록 건의하였다. 그러나 반대당으로부터 붕당의 이름으로 국왕을 협박했다는 탄핵을 받는 등 조정의 분란을 야기하였다.