본관은 토산(兎山). 아버지는 시군기소감 지다방사(試軍器少監知茶房事) 호인영(胡仁頴)이며, 어머니는 검교신호위대장군 행산원(檢校神虎衛大將軍行散員) 김선영(金善英)의 딸이고, 부인은 합문지후(閤門祗候) 황보 정(皇甫靖)의 딸이다.
어려서부터 총명하였으며 12세 때에는 유문(儒門)을 드나들었다. 16세에 국자감시(國子監試)에, 22세에 예부시(禮部試)에 합격하였다. 1132년(인종 10) 정주방어판관 겸 권농사(定州防禦判官兼勸農使)에 임명되었는데 재직 3년 동안 청백하고 공무에 힘썼으며, 또한 백성을 잘 보살펴 관내 이민(吏民)으로부터 추앙을 받았다.
이에 청백리로 포상되어 1145년 비로소 중앙관료가 되어 내관으로 네 번 자리를 옮겨 내시 시합문지후(內侍試閤門祗候)에 이르렀다.