고려 충숙왕 때 강원도 존무사(存撫使)로 파견된 박숙정(朴淑貞)이 세웠다고 전한다.
신라시대에는 도교가 들어와 고유의 신선사상과 조화를 이루며 발전하였는데 많은 무리 중에서 뛰어난 사람은 모두 선인의 선(仙)자를 써서 존경하는 풍습이 있었다. 신라사선은 영남인이라고도 하고 영동인이라고도 하여 종잡을 수 없고, 일설로는 신라 이전 사람들이라고도 하는데, 하여튼 신라시대 이래로 선인으로 지목되어온 점은 확실하다.
이들이 놀고 다닌 유적은 고성의 삼일포, 통천의 사선봉(四仙峰)과 총석정(叢石亭), 간성의 선유담(仙遊潭), 금강산의 영랑봉(永郎峰), 장연의 아랑포(阿郎浦), 강릉의 한송정(寒松亭) 등 영동지방에 집중되어 있다.
삼일포라는 지명은 이들이 놀며 사흘 동안이나 돌아오지 않아 붙여진 이름이다. 또 삼일포 남쪽 작은 산봉우리 북쪽 벼랑 석벽에 ‘영랑도남석행(永郎徒南石行)’이라는 여섯 글자가 붉은 글씨로 새겨져 있어 사선과 관련된 곳임을 알려주고 있다.