군부개혁세력과 중립적인 관계에 있던 김종철(金鍾哲)·김영광(金永光)·이만섭(李萬燮) 등을 중심으로 당시 일부 구민주공화당계 및 유신정우회계의 인사들이 주축이 되어 1981년 1월 23일 창당되었다.
김종철은 총재, 이만섭은 부총재, 김영광은 사무총장을 각각 맡았다. 창당 후 3월 25일에 실시된 제11대 국회의원선거에서 지역구와 전국구를 합쳐 총 25석을 확보, 제2야당이 되었으며, 1985년 2월 12일에 실시된 제12대 국회의원선 거에서는 지역구와 전국구를 합쳐 총 20석을 확보, 당세가 위축되었다.
이러한 패배에 책임을 지고 김종철은 총재직을 사퇴하였으며, 그 해 3월 22일에 열린 전당대회에서 이만섭이 새 총재로 선출되었다.
1987년 10월 정치활동금지에서 풀려난 구민주공화당의 김종필(金鍾泌)이 신민주공화당(新民主共和黨) 창당을 추진하자, 한국국민당에 소속된 국회의원 중 16명이 탈당하여, 8명은 신민주공화당에 참여하고 8명은 집권당인 민주정의당에 입당하였다.
그 결과 한국국민당에는 총재 이만섭을 비롯한 4명의 의원만 남게 되었고, 다음해 4월 26일에 실시된 제13대 국회의원선거에 11명의 지역구후보를 내세워 참여하였으나, 단 한 명의 당선자도 내지 못하여, 「정당법」에 의거 정당 등록이 취소됨으로써 소멸하였다.