본관은 달성(達城). 자는 치장(稚章), 호는 석운(石耘). 좌의정 서지수(徐志修)의 증손으로, 할아버지는 서유후(徐有後)이고, 아버지는 진사 서기보(徐基輔)이며, 어머니는 박종신(朴宗臣)의 딸이다.
1829년(순조 29) 정시 문과에 병과로 급제, 1844년(헌종 10) 성균관대사성에 취임하였고, 3년 후 관북지방에 흉년이 들자 구제사업을 위하여 파견되었으며, 1850년(철종 1) 사은부사(謝恩副使)로 청나라에 다녀왔다. 이어 호군(護軍)·공조판서·형조판서를 거쳐 1854년 전라도관찰사가 되었다.
2년 후에는 예조판서, 1857년 이후에는 한성부판윤·형조판서·사헌부대사헌, 다시 형조판서·공조판서를 역임하였다. 1862년 사은정사(謝恩正使)가 되어 청나라에 다녀왔다. 1863년 경상도관찰사가 되었다. 당시 경주 등지에서는 동학이 위세를 떨치기 시작하여 조정에서는 선전관 정운구(鄭雲龜)를 파견하여 동학교도들을 체포하게 하였다. 이에 최제우(崔濟愚) 등 동학교도 20여 명이 서울로 압송되던 중 철종이 승하하여 이듬해 대구감영으로 이송되었다. 서헌순은 대구감영에서 이들을 조사하고 의정부의 지시방침에 따라 처형 또는 처벌하였다.
그 뒤 판의금부사 등을 역임하였다. 정사를 다스림에 청렴결백하며, 일의 옳고 그른 것을 판단하는 재주가 신과 같았다. 예문관제학과 여러 아문의 제조(提調)를 지내고, 1867년 휴가를 청하여 공주의 자운동(紫雲洞)에 은퇴하였다. 이듬해 이조판서를 제수하였으나 병으로 사양하고 그 해에 죽었다.