조선 농민의 교양과 훈련을 목적으로 하여 서울 종로의 기독교청년회관에서 창립하였다.
천도교청년당(天道敎靑年黨)의 김기전(金起田) · 조기간(趙基栞) · 이돈화(李敦化) · 박사직(朴思稷) 등과, 농민운동에 관심이 많은 이성환(李晟煥, 동경유학생) · 선우전(鮮于全, 동아일보사촉탁) · 이창휘(李昌輝, 변호사) · 박찬희(朴瓚熙, 동아일보기자) · 김준연(金俊淵, 조선일보기자) · 유광렬(柳光烈, 조선일보기자) · 김현철(金顯哲, 시대일보기자) · 최두선(崔斗善) 등이 창립 인사들이다.
초대 중앙이사장에는 이성환이 선출되었고, 본부는 서울에 두고 지방에 각 지부와 사우회(社友會)를 조직하였다. 1925년 12월에는 월간 『조선농민』을 창간하고, 농촌계몽운동에 힘을 쏟아 1928년 2월 158개소의 지부에 1만 6,570명의 사우(社友)를 확보하기에 이르렀다.
이에 따라 중앙이사회에서는 지방조직을 더욱 확대하기 위해 그 해 2월 사제(社制) 개정을 단행했는데, 이때 사원의 범위를 자작농(自作農) · 자작 겸 소작농 · 소작농 · 농업노동자 · 농촌수공업자 · 농촌체력노동자 등으로 확대하고, 조직을 이(里)농민사 · 면(面)농민사 · 군(郡)농민사, 그리고 조선농민사 등으로 계열화하였다.
사업부서로는 군농민사의 경우, 서무부 · 경리부 · 교양부 · 알선부(斡旋部) · 선전조직부를 두었고, 중앙에는 이외에 조사출판부를 두고 사업을 강화하였다. 그러나 1930년 4월 6일 제3차조선농민사전국대표자대회에서 천도교청년당측이 제안한 ‘법적관계 3개조안’이 통과되면서 자주적 임원 선출권 · 결의권 · 운영권을 상실하게 되었다.
이에 이성환 등 비천도교청년당측 인사들이 탈퇴, 별도로 전조선농민사(全朝鮮農民社)를 설립함으로써 분열되었다. 그 뒤 이 단체는 천도교청년당 산하 농민운동단체의 성격을 띠게 되었고, 1932년 10월 일제의 이른바 농촌진흥운동이 본격화되면서 지방조직들이 파괴되어 점차 쇠퇴하였다. 1936년 4월 주식회사 형태인 농촌사업단체로의 전환을 시도했으나, 자본금 모금에 실패하여 결국 해체되었다.
조선농민사는 창립 초기부터 기관지 『조선농민』(1925.12∼1930.4), 『농민』(1930.5∼1933.12)을 발행하고 각종 강연회를 개최, 농민의 지식 계발과 교양운동을 벌였다. 또, 농민야학을 통한 농촌운동을 전개하여, 우수농민야학을 표창하면서 『농민독본(農民讀本)』 · 『한글독본』 · 『대중산술』 · 『비료제조 및 사용법』 · 『대중독본』 등 야학 교재를 발행, 지원하였다.
뿐만 아니라 1931년부터는 기존의 알선부 사업을 독립시켜 일종의 협동조합인 농민공생조합(農民共生組合)을 설치, 운영하였고, 그 밑에 생산조합의 성격을 띤 농민공동경작계를 조직, 운영하여 농민의 경제적 이익 획득과 생활 향상에 이바지하였다.
조선농민사는 중앙은 비농민에 의한 농촌운동단체의 성격을 띠었으나 지방은 거의 농민에 의해 조직 · 운영되는 농민운동단체였다고 할 수 있다.