바다 위에 빽빽이 솟아 있는 돌기둥[叢石] 위에 세워 총석정이라는 이름을 붙였다.
총석 중 바다 가운데 있는 사석주(四石柱)를 특히 사선봉(四仙峰)이라고 하는데, 신라의 술랑(述郞)·영랑(永郞)·안상랑(安詳郞)·남랑(南郞)의 네 선도(仙徒: 화랑도)가 이곳에서 놀며 경관을 감상하였다는 전설에서 이름하였다고 전한다.
총석들은 현무암이 오랜 세월 비바람과 파도에 부딪혀 그 면들이 갈려져 떨어지면서 6각형·8각형 등 여러 가지 모양의 돌기둥들이 장관을 이룬다. 또한 총석들은 그 생김새에 따라 세 가지로 나뉘는데, 바다로 향하여 오른쪽에 좌총(坐叢: 앉은 자세), 왼쪽에 와총(臥叢: 누운 자세), 그 사이에 입총(立叢: 선 자세)이 있고, 주위에 묘하게 생긴 바위들과 돌기둥 위의 소나무가 신비로움을 자아내고 있다.
총석정은 관동팔경(關東八景)의 하나로, 이곳의 절벽과 바위가 신기하고 아름다워 이곳을 ‘통천금강(通川金剛)’이라고 하였고, 이 곳에서의 아침 해돋이구경이 절경이라고 하였다.
예로부터 이러한 절경은 가히 신선이 즐길 선경(仙景)으로 손꼽힘으로써, 고려의 김극기(金克己)·안축(安軸), 조선시대의 성현(成俔)·이달(李達)·김창업(金昌業) 등 이 곳을 찾아 경관을 읊은 이들의 시문(詩文)과 그림이 전해지고 있다.
총석정은 일제강점기인 1934년에 군민 김영제(金暎濟)가 중수한 바 있는데, 장홍식(張鴻植)의 찬기(撰記)와 근대의 서화가 해강(海岡)김규진(金圭鎭)이 쓴 ‘叢石亭’이라는 현판이 남아 있다.