1553년(명종 8)에 지방유림의 공의로 정몽주(鄭夢周)의 덕행과 충절을 기리기 위해 임고면 고천동에 창건하여 위패를 모셨다. 1554년에 ‘임고’라 사액되었으며, 임진왜란 때 소실되었다가 1603년(선조 36) 현재의 위치로 이건하고, 이듬해에 다시 사액되었다.
1643년(인조 21)에 장현광(張顯光)과 1787년(정조 11)에 황보 인(皇甫仁)을 추가 배향하였다. 선현배향과지방교육의 일익을 담당하여오던 중 1871년(고종 8)에 대원군의 서원철폐로 훼철되었으며, 1919년 존영각(尊影閣)을 건립하여 정몽주의 영정을 모시고 향사를 지내왔다.
1965년에 복원되어 위패를 모셨으며, 1980년 정부의 보조로 현재의 위치에 이건하였다. 경내의 건물로는 사우(祠宇)·존영각·강당·포사(庖舍)·유사실(有司室) 등이 있다. 사우인 문충사에는 정몽주의 위패가 봉안되어 있으며, 존영각에는 영정이 소장되어 있다.
강당은 중앙의 마루와 양쪽 협실로 되어 있는데, 원내의 여러 행사와 유림의 회합 및 학문강론 장소로 사용되고 있다. 유사실은 유사가 집무를 보는 곳이고, 포사는 향사 때 제수(祭需)를 마련하여 두는 곳이며, 고사는 고직(庫直)이 거처하는 곳이다.
이 서원에서는 매년 2월 중정(中丁 : 두 번째 丁日)과 8월 중정에 향사를 지내고 있으며, 제품은 4변(籩) 4두(豆)이다. 유물로는 정몽주의 영정 3폭과 《포은문집 圃隱文集》 목판 113판, 《지봉유설 芝峰類說》 목판 71판, 《포은집》·《어사성리군서 御賜性理群書》 11권 외에 200여권의 서적이 소장되어 있다.
이 서원은 1985년 경상북도 기념물로 지정되었으며, 서원내의 은행나무도 같은 해 경상북도 기념물로 지정되었다. 재산으로는 전답 1만여평, 임야 10정보 등이 있다.