본관은 대구(大丘). 자는 이응(而凝). 예조판서 서유령(徐有寧)의 증손자로, 홍주목사(洪州牧使) 서호순(徐灝淳)의 아들이다.
1834년(순조 34) 진사과에 합격하고 전부(典簿)를 지냈다. 1848년 증광별시문과에 을과로 급제, 1859년(철종 10) 성균관대사성에 오르고 1866년(고종 3) 전라도관찰사로 병선(兵船)을 개수하여 군비를 정비하고, 세정(稅政)을 바로잡고 수재민을 구제하는 등 민정(民情)을 위무하는 데 힘썼다.
1870년 동지의금부사(同知義禁府事)를 거쳐 이조참판이 되고 동지부사(冬至副使)로 청나라에 다녀왔다. 1873년 대왕대비전의 존호를 높이는 데 참여하여 가자(加資)되고 그해 형조판서에 올랐다. 이어 병조판서·한성부판윤을 지냈다. 1875년 이후 형조판서·사헌부대사헌·한성부판윤·공조판서 등 내외 요직을 역임하였다. 시호는 효정(孝靖)이다.