본관은 성산(星山). 자는 공근(公瑾), 호는 만학당(晩學堂). 한성 출신. 공조참판 배흥립(裵興立)의 증손으로, 아버지는 현감 배명전(裵命全)이다.
8세에 고종형 배유념(裵柳淰)에게 수업을 시작으로 학문의 길을 걸어 외부로 향하는 마음을 끊고 오로지 학문탐구에 전념하였다. 1636년(인조 14) 병자호란이 일어나자 충분(忠憤)을 이기지 못하여 스스로 숭정처사(崇禎處士)라 부르며 세상에 뜻을 두지 않고 바깥일을 사절한 채 학문탐구에 더욱 정진하였는데, 책을 읽을 때면 침식조차 잊었다. 1672년(현종 13) 재주와 덕망으로 천거되어 창릉참봉(昌陵參奉)에 임명되었으나 나가지 않았다.
1677년(숙종 3) 사직참봉(社稷參奉)을 제수받고 잠시 나가 있다가 곧 사직하고 돌아왔다. 1678년 상소로써 심학성리(心學性理)의 요체와 당론을 억제하고 현재(賢才)를 가려쓰는 데 대한 설을 개진하였으며, 또 동년배 유형원(柳馨遠)의 저서인 『반계수록(磻溪隨錄)』에 보인 전제(田制)·병제(兵制)·학제(學制) 등의 7조를 시행하자고 건의하여 숙종이 이를 가상하게 여겼다.
서울에서 전원으로 돌아온 뒤 만력동(萬曆洞)에 집을 짓고 만학당(晩學堂)이라 편액을 단 뒤 『대학(大學)』·『근사록(近思錄)』의 취지와 요지 및 각 경전의 난해하고 의심스러운 것 들을 손수 베껴가며, 심성정이기(心性情理氣)의 설을 깊이 연구하였다. 언제인가 유형원과의 왕복 논란에서 질문이 하도 조리있고 치밀하여 유형원도 그 학식과 도덕을 높이 칭송하였다 한다.