일명 ‘황종(荒宗)’ 또는 ‘거칠부지(居七夫智)’ · ‘거칠부지(居柒夫智)’라고도 한다. 내물마립간(奈勿麻立干)의 5대손이다. 『일본서기(日本書紀)』권17 계체기(繼體紀) 23년조에 등장하는 구지포례(久遲布禮)로 비정된다.
할아버지는 잉숙(仍宿), 아버지는 이찬(伊湌) 물력(勿力)이다. 잉숙은 소지마립간의 장인으로서 486년(소지왕 8) 2월에 이벌찬이 되어 국정을 총괄한 내숙(乃宿)과 동일 인물로 추정되고 있다.
아버지 물력은 524년(법흥왕 11)에 건립된 울진봉평리신라비에 법흥왕(모즉지매금왕)과 함께 국정을 논의한 사람 가운데 한 명으로 전하며, 당시 그의 관등이 일길간지(一吉干支: 일길찬)였다. 후에 이찬까지 승진하였다.
거칠부는 545년 신라 왕조의 역사서인 『국사(國史)』를 편찬하였고, 551년 고구려를 쳐서 죽령(竹嶺) 이북의 10군(郡)을 빼앗아 신라 영토로 만들었으며, 진지왕(眞智王) 즉위에 공헌하는 등 신라 중고기의 중요한 대신으로서 활약했다.
내물마립간 계통의 왕족 후손으로 태어나 어려서부터 나라에 큰뜻을 두고 승려가 되어 사방을 유람하였다. 그때, 고구려에 몰래 들어가 혜량(惠亮)의 강설(講說)을 듣고 큰 감명을 받았으며, 551년(진흥왕 12)에 고구려의 국경 속으로 진격했을 때 그를 맞아들여 승통(僧統)이 되게 하였다.
혜량은 황룡사에서 백좌강회(百座講會)를 열어 국태안민(國泰安民)을 기원하는 대집회를 열었는데, 이는 국가의 안위를 위하는 거칠부의 불교관과 일치하는 것이었다. 545년에 왕명을 받아 널리 문사(文士)를 모아 『국사』를 편찬하였다. 이로써 국가의 위신을 높였고, 그 공로를 인정받아 대아찬(大阿湌)에서 파진찬(波珍湌)으로 승진하였다.
또한 거칠부는 특히 군사 · 정치적인 분야에서 활동이 컸다. 551년에 대각간(大角干) 구진(仇珍), 각간(角干) 비태(比台), 잡찬(迊湌) 탐지(耽知) · 비서(非西), 파진찬(波珍飡) 노부(奴夫) · 서력부(西力夫), 대아찬(大阿飡) 비차부(比次夫), 아찬(阿湌) 미진부(未珍夫) 등 8명의 장군과 더불어 백제와 연합하여 죽령 이북 고현(高峴) 이내의 10군을 탈취하였다. 이는 고구려에 대한 군사적 시위인 동시에 진흥왕 12년 이후의 친정체제(親政體制)를 뒷받침하는 조치였다.
「진흥왕순수비(眞興王巡狩碑)」, 즉 「마운령비(摩雲嶺碑)」와 「창녕비(昌寧碑)」에 그의 이름이 기록되어 있는 것으로 보아, 진흥왕 때 가장 영향력 있는 장군으로 정치적 비중 또한 매우 높았음을 알 수 있다.
576년 진지왕이 즉위하자 상대등(上大等)에 임명되었는데, 이것은 그가 진지왕의 즉위에 어떤 구실을 한 것이 아닌가 하는 추측을 낳게 한다. 거칠부는 진지왕의 재위 기간에 사망하였으며, 당시 그의 나이가 78세였다. 진지왕이 즉위한 지 4년 만에 폐위되었는데, 이는 거칠부의 사망과 관련시켜 이해하는 것이 일반적이다.