이 책의 편찬 경위는 알 수 없지만, 1918년에 후손이 간행한 『하려선생문집(下廬先生文集)』의 발문에 『두호방언(斗湖放言)』을 토대로 했다고 한 것으로 볼 때, 이 책이 『하려선생문집』의 저본이 된 것으로 생각된다. 서문과 발문은 없다.
34권 11책. 필사본. 국립중앙도서관과 규장각 도서 등에 있다. 국립중앙도서관본은 표지서명이 『하려선생방언(下廬先生放言)』으로 4·8·9·10책만이 남아 있다.
권1·2에 시 76수, 권3에 만사 24편, 권4∼13에 서(書) 99편, 권14에 서(序) 24편, 권15에 기 25편, 권16에 발 24편, 권17에 설(說) 9편, 권18∼20에 강의 4편, 권21에 명 10편, 찬 2편, 잠 8편, 권22·23에 잡저 20편, 권24에 애사 9편, 권25에 제문 24편, 권26에 유사 8편, 권27∼30에 행장 20편, 권31∼34에 묘지 43편 등이 수록되어 있다.
시는 남인인 허후(許厚)가 은거했던 도천서원(陶泉書院)이 건립된 치악산이나, 절경으로 유명한 풍악산 등을 유람하고서 쓴 기행시가 많다. 「독역(讀易)」·「시학자(示學子)」 등 학문에 힘쓰는 선비의 생활이 드러나는 내용의 시도 여러 편 있다. 이밖에 입춘(立春)·제석(除夕: 섣달 그믐날 밤) 등을 맞아 감회를 읊은 것이 있다. 스승인 안정복(安鼎福)·이성구(李聖九)·유유길(柳幼吉) 등의 시에 화운(和韻)하였다.
서(書)에는 안정복·조민중(趙敏中)·한치후(韓穉厚)·최인지(崔麟之)·이선시(李善始) 등 당대의 학자들과 태극·사단칠정 등 성리학의 주요논쟁점과 상례·제례 등에 대해 토론한 장편의 글이 많다. 서(序)는 자신의 저서인 『일용집요(日用集要)』·『동현학칙(東賢學則)』 등에 붙인 글, 문집류에 붙인 글 등이 대부분이다. 이밖에 1824년 금산군에 향약(鄕約)을 실시하게 되면서 지은 「금릉향약안서(金陵鄕約案序)」, 부강서원(芙江書院)이 신설된 경위를 적은 글에 붙인 「부강서원신설록서(芙江書院新設錄序)」 등이 있다.
기에는 금산·파릉(巴陵) 지역의 서리들의 관청인 연청(椽廳)을 새로 짓게 된 경위를 밝힌 글, 자신이 은거하고 있던 곳에 관한 기록, 초당(草堂)·재(齋) 등에 관한 기록 등이 있다. 발은 창원황씨(昌原黃氏) 등의 세승(世乘)에 붙인 글, 『차관잡록』·『증보성현군보록』 등 자신의 저술에 붙인 글 등이 있다.
설에는 친지의 호(號)나 재(齋)에 대한 풀이가 많다. 당시 학문적으로 중요한 논쟁점이었던 사단칠정에 대해 자신의 학설을 피력한 글인 「사단칠정설」, 여기에 붙인 발문인 「발사칠설(跋四七說)」이 있다. 또한, 양자(楊子)·묵자(墨子)·도교·불교·육구연(陸九淵)·왕양명(王陽明) 등을 이단으로 공격하는 내용의 「이단설(異端說)」, 자신의 처세관을 피력한 「삼불행설(三不幸說)」 등이 수록되어 있다.
강의는 『대학』·『중용』·『주자대전』·『재거감흥시(齋居感興詩)』 등의 구절을 해석하는 데에만 머무르지 않고, 당시의 정치와 사회의 여러 문제에 대한 평도 덧붙였다. 찬의 「경현찬(景賢贊)」은 정몽주(鄭夢周)·김굉필(金宏弼)·정여창(鄭汝昌)·조광조(趙光祖)·이언적(李彦迪)·서경덕(徐敬德)·이황(李滉)·조식(曺植)·정구(鄭逑) 등 유명한 성리학자의 학덕을 칭송한 글이다. 잠은 자신을 경계하기 위해 지은 것이 많다.
잡저에는 사(士)의 학문에서 경전 다음으로 사서(史書)가 중요하다고 강조한 「독사(讀史)」, 학문의 순서를 밝힌 「독서차제설(讀書次第說)」, 학문할 때 유의해야 할 점을 경계하기 위해 지은 「일성도시학자(日省圖示學子)」 등 저자의 학문 생활에 대한 깊은 관심을 보여주는 글이 많다.
소에는 지방 유생이나 사림의 의견을 대표해 서원의 복건과 향약의 실시 등을 주장해 지은 글이 있다. 또한, 충청도 유학 성일원(成一源)이 투서해 허목(許穆)·홍우원(洪宇遠)·윤선도(尹善道)·권대운(權大運) 등 남인을 욕보인 사건을 변무(辨誣)하기 위해 올린 소가 있다. 이밖에 1824년 11월에 마련한 「파사칠리동규(巴社七里洞規)」는 19세기 동규(洞規)의 운영 모습을 연구하는 데 도움이 된다.
이 책은 조선 후기의 향약·서원 등의 문제를 비롯한 사회사와 사상사를 연구하는 데 도움이 되는 자료이다.