입암서원은 1657년(효종 8)에 창건하였으며, 여헌장현광(張顯光)을 주향(主享)하고, 권극립(權克立)·손우남(孫宇男)·정사상(鄭四象)·정사진(鄭四震) 등을 배향하고 있다.
1868년(고종 5) 대원군(大院君)의 서원철폐령(書院撤廢令)으로 훼손되었고, 1907년 일인(日人)에 의해 묘우(廟宇)가 소실(燒失)되었던 것을 1909년 도내 유림(道內 儒林)들이 강당을 재건하였으며 묘우(廟宇)는 1972년에 재건되었다.
강당은 정면 5칸, 측면 2칸, 박공 형식의 측면 내림지붕이며 묘우는 정면 3칸,측면 단칸[單間], 박공지붕이다.
입암서원 경내에는 장현광이 임진왜란을 피하여 이 곳에 왔을 때 심은 향나무가 있는데, 희귀한 노거수(老巨樹)로서 1986년 경상북도 기념물로 지정되어 보호·관리되었으나 2004년 태풍피해로 인한 고사로 지정 해제되었다.