김의원(金義元)은 1066년(문종 20) 전라도 나주 광양현(光陽縣)에서 태어났으며, 조상은 신라계로 문벌 가문이다. 아버지는 문하시중(門下侍中)을 지낸 김양감(金良鑑)이고, 어머니는 중추원사(中樞院使)를 지낸 최연하(崔延嘏)의 딸이다. 첫째 부인과 둘째 부인 모두 명문인 인주이씨(仁州李氏)이다. 첫째 사위는 『상정고금예문(詳定古今禮文)』을 지은 최윤의(崔允儀)이다.
김의원은 성격이 준엄하고 용모와 힘이 뛰어나며 다른 사람을 돕는 일을 좋아하였다. 17세에 성균시에 입격한 후에 음직으로 벼슬을 시작하여, 23세에 성불도감판관(成佛都監判官)을 거쳐 감찰어사, 연주(漣州: 경기도 연천) 수령이 되었다.
1109년(예종 4)에 행영병마판관(行營兵馬判官)으로 여진 정벌에 나섰다. 여진이 웅주(雄州)를 포위 공격하자 이를 물리쳤다. 이후 또다시 여진이 길주(吉州)를 위험에 빠트리자, 허재(許載) 등과 함께 구원병으로 성에 들어가 몇 달 동안 공격을 막아내었다. 당시 그는 성이 무너져 함락되려는 것을 직접 전투에 참여하여 구원하고 겹성을 쌓아 방어망을 구축하였다. 결국 여진은 화친을 요청하였다.
그 후 김의원은 형부원외랑(刑部員外郞), 호부낭중(戶部郞中)을 거쳤다. 1113년(예종 8) 요(遼)에 사신으로 가서, 태후의 우제(虞祭)에 사신을 보내준 것에 사례하였다. 인종이 즉위한 이후 병부시랑(兵部侍郞) 등을 거쳐 호부상서 동지추밀원사(戶部尙書 同知樞密院事)로 발탁되었다. 그런데 1126년(인종 4) 이자겸의 난이 일어나 궁궐은 불타고, 인종은 이자겸의 집인 중흥택(重興宅)에 연금되게 되었다. 이때 김의원은 대경(大卿)으로 중흥택집사(重興宅執事)가 되어 왕을 맞아들였다. 당시 그는 동지추밀원사(同知樞密院事)에 임명되었다.
김의원은 첫 번째 부인이 사망하고, 두 번째 부인이 이자겸의 사촌인 이자인(李資仁)의 딸이고, 첫 번째 부인도 인주이씨 가문 출신이다. 이로 인해 이자겸이 실각한 후에 탄핵을 받아 양주사(梁州使: 경상남도 김해시)로 나갔다. 1128년(인종 6) 안변도호부사(安邊都護府使)를 거쳐, 최종적으로 호부상서 겸 삼사사(戶部尙書 兼 三司使)를 역임하였다.