본관은 이천(利川). 거란과의 외교담판으로 유명한 서희(徐熙)의 현손(玄孫)이다.
의종(毅宗)대에 음보(蔭補)로 경령전판관(景靈殿判官)이 되었고, 1145년(인종 23) 합문통사사인(閤門通事舍人)으로 있으면서 금나라의 동경(東京)에 사신으로 다녀왔다. 1164년(의종 18) 병부상서 동지추밀원사(兵部尙書同知樞密院事)를 지냈고, 이듬해지추밀원사 판삼사사(知樞密院事判三司事)에 제수되었으며, 여섯 차례에 걸쳐 양계병마사(兩界兵馬使)를 역임하고, 평장사(平章事)에 이르렀다.
대담하고 꾀가 많으며 무예에 능하였는데, 특히 활을 잘 쏘았다. 항상 무인을 예우하고 문신의 교만함을 비난하였다. 이 때문에 무신란 때는 중방(重房)에서 순검군(巡檢軍) 22인을 보내어 집을 호위하게 함으로써 화를 면하기도 하였다.