본관은 달성(達城). 자는 계긍(季肯), 호는 다사(茶史). 좌의정 서명균(徐命均)의 증손으로, 할아버지는 서무수(徐懋修)이고, 아버지는 서유돈(徐有敦)의 아들이며, 어머니는 현령 윤광부(尹光孚)의 딸이다.
1827년(순조 27) 생원시에 합격하고, 1844년(헌종 10) 증광 문과에 병과로 급제, 1851년(철종 2) 충청좌도암행어사가 되었고, 홍문관부응교를 거쳐 1856년 동래부사가 되었다. 그 뒤 이조참의·대사간 등을 거쳐 1866년(고종 3) 주청부사(奏請副使)로 청나라를 다녀왔으며, 병조참판·대사헌·도총관 등을 거쳐 1873년 형조판서에 승진하였다.
그 해 말 함경도관찰사가 되었고, 그 뒤 판의금부사(判義禁府事)·시강원좌빈객(侍講院左賓客), 형조와 이조의 판서, 예문관과 홍문관의 제학(提學) 등을 거쳐 1881년 우의정에 승진하고, 그 이듬해 좌의정을 거쳐 영의정에 올랐다. 1882년 영의정을 사직하고 판중추부사(判中樞府事)·영중추부사(領中樞府事)·영돈녕부사(領敦寧府事) 등의 관직을 지냈다. 시호는 문간(文簡)이다.