서울의 창덕궁 비원내의 대보단에서 유래되었다. 1683년(숙종 10)에 명나라 창해처사(滄海處士) 허격(許格), 당시 가평군수 이제두(李齊杜), 지방선비 백해명(白海明) 등이 상의해 명나라 의종의 친필인 ‘사무사(思無邪)’라는 세 글자를 이곳 조종암 바위에 각자해 놓았다.
또, 선조의 친필인 ‘만절필동 재조번방(萬折必東 再造藩邦)’과 효종의 사문(賜文)인 ‘일모도원 지통재심(日暮途遠 至痛在心)’이라는 글을 송시열의 글씨로 새겨놓은 뒤부터 추모장이 되었다.
그 뒤 명나라가 망하자 1804년(순조 4) 왕명에 의해 기념비를 세우고, 조종암의 유래를 상세히 기록했다. 이는 단순한 숭명사상(崇明思想)이기보다는 임진왜란 당시 원병을 보내준 우의에 대한 보답이기도 했다. 1978년조종재(朝宗齋)를 신축, 매년 음력 3월 셋째 일요일에 제향하고 있다.