본관은 청송(靑松). 자는 덕여(德輿), 호는 약현(藥峴)·추우당(追尤堂). 청성백(靑城伯) 심덕부(沈德符)의 후손이고, 심우준(沈友俊)의 증손이다. 할아버지는 심서(沈諝)이고, 아버지는 평시령(平市令) 심광면(沈光沔)이다. 어머니는 해평 윤씨(海平尹氏)로, 예조참의 윤선도(尹善道)의 딸이다.
3세 때 아버지를 여의고 외조부인 윤선도 밑에서 교육을 받고 자라면서 두각을 나타내기 시작하였다. 1662년(현종 3) 진사가 되고, 1673년 정시문과에 병과로 급제하였다. 1675년(숙종 1)에 승정원주서(承政院注書)·전적(典籍)을 거쳐, 1677년 홍문관수찬(弘文館修撰)이 되고 이조좌랑·숙녕현감(肅寧縣監)·교리(校理)·이조정랑·검상(檢詳)·사인(舍人)·응교(應敎)를 역임하였다.
그러나 1680년 남인세력이 서인세력에 의하여 쫓겨나는 경신대출척으로 양덕에 유배되어 10년 간 지내다가, 1689년 남인이 득세하는 기사환국으로 다시 풀려나 교리·부응교(副應敎)·수원부사 등을 역임하였다. 유배 생활의 경험을 백성편에서 상소하여 왕의 인정을 받았다.
당시 인현왕후(仁顯王后) 민비가 쫓겨나자, 박태보(朴泰輔) 등이 이를 반대하다가 참살을 당하였다. 심단은 비록 반대파이지만, 박태보의 충성을 칭찬하기도 하였다. 그 뒤 이조참의·병조참판·도승지·대사간을 거쳤다. 대사헌이 되어서는 장성현(長城縣)의 민전(民田)이 궁방전(宮房田)으로 빼앗기자 이를 상소하여 민전으로 환급시켰다.
또, 평안도관찰사로 나가서는 백성들에게 선정을 베풀어 인심을 얻었으며, 이어 대사간과 경기도관찰사를 지냈다. 1694년 민비 복위와 동시에 갑술옥사를 통하여 남인세력이 모두 축출당할 때 파직당하고 이듬해 어머니상을 당하였다.
1699년 삼척부사를 잠깐 지냈으나 1701년 민비가 원인을 알 수 없는 병으로 죽고 그나마 명맥이 남아 있던 남인세력이 완전히 제거당하자, 같은 남인이던 민언량(閔彦良)의 무고를 입어 해남현에 유배되었다. 1703년 영해에 옮겼다가 1711년에 풀려났다. 그 뒤 1713년 동지중추부사에 제수되고, 1720년 지중추부사가 되어 기로소에 들어갔다.
1721년(경종 1)에 이조판서·예조판서 등을 역임하면서 경종과 세제인 영조에게 우애하기를 항상 권장하였다. 그리고 당시 소론의 강경파 김일경(金一鏡)이 중심이 되어 환관 박상검(朴尙儉)을 매수, 왕세제를 해치려 했던 사건을 크게 비난하였다.
이어 대사헌·판의금부사를 거쳐 한성판윤과 세제우빈객(世弟右賓客)을 겸하면서 왕세제를 보도(輔導: 보필하여 인도함)하였다. 이 후 우참찬·형조판서·예조판서를 역임하였다. 영조 즉위 후에는 판의금부사·판중추부사·도총관 등을 역임하였다.
그러나 1728년(영조 4) 재집권한 노론의 탄핵으로 삭주에 유배되었다. 1729년 영조의 탕평책으로 풀려나 공조·형조의 판서에 제수되었으나 모두 사양하였다.
그 해에 이인좌(李麟佐)의 난이 일어나자 급히 궁궐로 달려가 안민(安民: 백성을 편안하게 함)하고 학리(虐吏: 탐학한 서리)를 제거할 것, 제도(諸道)의 사조(私租: 사가가 사적으로 거둬들이는 세금)를 조사하여 군액(軍額: 군에 필요한 자금)에 충당할 것, 주전(鑄錢)을 하지 말 것, 제궁가(諸宮家)와 각 관아가 침탈하는 법을 벗어난 사사로운 조세를 혁파할 것 등의 시무책(時務策)를 올렸다.
1730년 봉조하(奉朝賀)가 되었다. 정조의 말에 따르면 “영조는 그가 충신이라고 항상 칭찬하였다.”고 한다. 그러나 심단이 태어난 시대가 당쟁이 심하던 때이고 남인이던 외조부의 영향을 직접 받아, 관직 생활 57여 년 동안 파란을 많이 겪었다.