본관은 청송(靑松). 자는 방숙(方叔), 호는 손암(巽菴)·간암(艮菴)·황재(黃齋). 사인(舍人) 심순문(沈順門)의 증손으로, 할아버지는 영의정 심연원(沈連源)이고, 아버지는 청릉부원군(靑陵府院君) 심강(沈鋼)이다. 어머니는 전주 이씨로, 증판서 이대(李薱)의 딸이다. 족부인 감찰 심홍(沈泓)에게 입양되었다. 명종의 비인 인순왕후(仁順王后)의 동생이다. 이황(李滉)의 문인이다.
1555년(명종 10) 진사시에 합격하고, 1562년 별시문과에 을과로 급제하여 청요직에 임명되었다.
1563년 사림들이 이량(李樑)으로부터 화를 입게 되자 외숙인 이량을 탄핵하며 권세와 간계를 배척하는 등 사림의 입장을 옹호하는 데 힘썼으나, 도리어 왕의 외척으로 일을 꾸민다는 오해를 받기도 하였다.
1564년 지평(持平)·검상(檢詳)·사인(舍人)을 거쳐 이듬해 사간·부응교(副應敎) 등을 역임하였다. 이어 1566년 집의(執義)·군기시정(軍器寺正)·직제학·동부승지 등을 지냈다. 1569년 (선조 2) 좌부승지·대사간을 지내고, 1572년 이조참의 등을 지내는 동안 척신 출신으로서 사림들간에 명망이 높아 선배 사류들에게 촉망을 받았다.
이 때 김종직(金宗直) 계통의 신진세력인 김효원(金孝元)이 김계휘(金繼輝)에 의하여 이조정랑으로 천거되었다. 그러나 김효원이 일찍이 명종 때 권신이던 윤원형(尹元衡)의 집에 기거한 사실을 들어 권신에게 아부했다는 이유로 이를 반대하였다.
1574년 김효원은 결국 이조정랑에 발탁되었고, 1575년에는 아우 심충겸(沈忠謙)이 이조정랑에 추천되었다. 김효원이 전랑(銓郎)의 직분이 척신의 사유물이 될 수 없다 하여 반대하자, 두 사람은 대립하기 시작하였다.
이에 구세력은 심의겸을 중심으로 서인(西人), 신진세력은 김효원을 중심으로 동인(東人)이라 하여 동서분당이 발생하였다. 김효원이 한성부의 동부에 산다 하여 그 무리들을 동인이라 하고, 심의겸이 서부에 거주하였기 때문에 서인이라 하였다.
당시 정승 노수신(盧守愼)과 이이(李珥)가 사림간의 분규가 격화될 것을 우려하여 올린 소에 의해 개성유수로 나갔다가 전라감사를 거쳐, 조정으로 돌아왔다.
그 뒤 한때 낙향하여 은퇴했으나, 1580년 예조참판으로 함경감사를 역임하였다. 이 때 장령(掌令) 정인홍(鄭仁弘)이 심의겸을 질투하여 탄핵을 받았으나, 이이의 상소로 무사하여 전주부윤이 되었다.
1584년 이이가 죽자, 이발(李潑)·백유양(白惟讓) 등이 일을 꾸며 동인과 합세하여 공박함으로써 파직당하였다. 그러나 벼슬이 대사헌에 이르렀고, 세습으로 청양군(靑陽君)에 피봉되었다. 효성이 지극하고 검소하였으며, 외척으로 있으면서도 권세를 함부로 부리지 않았다. 나주의 월정서원(月井書院)에 제향되었다.