본관은 김해(金海). 호는 야성(也城). 경상남도 진주 출신. 아버지는 김태옥(金泰鈺)이다. 부인은 한말 의정부참정 조병식(趙秉式)의 손녀 조중옥(趙重玉)으로 한국음식의 연구가로 유명하다.
1927년 진주공립보통학교 졸업 후 진주고보에 진학, 재학중 광주학생독립운동과 독서회사건 등으로 정학되는 등 항일의식이 농후하였다. 1933년 졸업과 동시에 일본으로 유학을 갔으나 부친의 반대로 귀국하였다.
1938년 재차 도일하여 메이지대학 전문부 상과에 입학하였다. 1941년 졸업과 동시에 미쓰비시[三菱重工業]에 입사하여 해방 때까지 근무하였다. 미쓰비시의 근무는 비록 말단사원이었으나 일본의 군수산업체에서 전쟁 수행에 협력한 것으로 가책을 느껴 재일한인사회에 봉사키로 결심하였다.
1945년 10월부터 재일한인사회의 민족운동에 투신하였다. 1946년 2월 재일거류민단의 전신인 신조선건설동맹(新朝鮮建設同盟)의 창립에 참여 박열(朴烈)·이강훈(李康勳) 밑에서 섭외차장이 되어 GHQ와 일본정부를 상대로 재일한국인의 교섭사무를 담당하였다.
1946년 4월 주한미군사령관 하지중장을 동경에서 회견하고 GHQ의 주선으로 이강훈과 일시 귀국하였다. 윤봉길·이봉창·백정기 의사의 유해를 국내로 봉환하여 효창공원에 안장하였고 다른 7인의 유해는 가족들에게 전달하였다. 1946년에는 재일조선거류민단의 창립에 참가하였다. 1948년에 재일본대한민국거류민단(在日本大韓民國居留民團)으로 개편되자 초대 외무부장에 취임하였다.
좌우의 투쟁 속에서 민족민주진영의 단합과 대일본정부와의 관계개선을 전담하였다. 1947∼1950년 동경대학법학부 정치과 연구생으로 입학하여 국제법과 외교사를 전공하였다. 1950년 동경대학위촉으로 일시 귀국하였으나 6·25전쟁으로 피난 생활 후 일본으로 귀환하였다.
1951년 재일본한국유학생 대학원생 이상의 연구단체인 신한학술연구회(新韓學術硏究會) 조직에 주력하여 주간·부회장·회장을 맡았다. 이해 동경대학에서 연구한 『일본의 한국침략사』를 최초로 발간하였다. 1956∼1957년까지 재일한국거류민단 사무총장을 역임하였고, 1959년에 동경한국인학교장을 지냈다. 1956∼1964년 재일교포(성인·학생)야구단을 인솔하고 귀국하였다.
1961년 한국사료연구소를 설립하고 소장에 취임하여 한일고대관계사자료와 일제의 한국침략사사료수집에 착수하였다. 같은 해 민단법적지위대책위원, 1962년 『한래문화의 후영(韓來文化の後榮)』 전3권 발간 후 『기내의 연고유적(畿內の緣故遺蹟)』(1964년)·『구주와 한인(九州と韓人)』(1968년)을 간행 발표하여 한일고대관계사의 개척자가 되었다.
1970년 PEN 제37회 세계대회(서울)에 참가하였고, 1970∼1972년까지 『일제통치사료(日帝統治史料)』 전10권을 발간하였다. 1971년 민주조국통일회의결성 대표위원의 1인으로 선출되었다. 1972년 재일거류민단중앙본부단장에 취임하였고, 영남대학교에서 명예문학박사학위를 취득하였다. 1974년 국내외학자들과 『해방 30년사』를 집필 계획하여 1975년에 전3권을 출판하였다.
김정주는 재일한국인의 민족적 단결과 한국문화가 일본에 끼친 영향을 ‘한래문화(韓來文化)’란 용어로 정리하여 그 타당성을 국제적으로 인정받았다. 1982년 나가노[長野]에서 강연중 급서하여 경기도 광주의 남한산성에 안장되었다.
1962년 국민훈장(동백장)과 문교부(1963)·외무부(1961·1967)·통일부(1973)·문공부(1969) 장관 등의 포상을 수차례 받았다.