1979년 3월에 설립되었고, 1981년 7월 제2·3석유비축사무소를 설치하였다.
1979년 마포지사를 시작으로 구리·울산·휴수턴·거제·평택·용인·여수·곡성 지사 등 9개를 설치하였고, 인도네시아·베트남·페루에 사무소를 개소하였다. 1999년 말 현재 공사의 자본금은 4조 4,688억원이고, 정부가 전액 출자한다.
공사는 ① 국내의 석유자원의 탐색 및 개발, ② 원유 및 석유제품의 수출입·비축·수송·대여 및 판매, ③ 석유비축시설의 건설·관리·운영 및 대여, ④ 에너지와 자원관련사업을 행하는 법인에 대한 투자·융자·채무보증 및 자재대여 등의 사업을 행한다.
이러한 사업을 수행하기 위하여 1999년 말 현재 공사는 감사와 부사장 아래 기획관리·개발·비축 및 건설 등 4개 본부로 조직되어 있고, 제1 및 제2비축관리사무소를 서울에 두고 있다. 1982년 4월 자회사 한국석유시추주식회사를 설립하였고, 1985년 1월 제5석유비축사무소를 설치하였다.
1986년 8월 자회사 한국송유관주식회사를 설립하였고, 1989년 7월 제6석유비축사무소를 설치하였다.
1999년에 한국석유공사로 사명을 변경하였다. 이후 2000년 베트남 15-1광구에서 대규모 석유를 발견했으며, 2001년 8월에 “동해-1” 가스전 착공 공사를 개시하였다. 2005년에 서산에 석유비축기지 지상탱크를 준공했고, 2006년 2월에는 석유개발연구원을 설립하였다.
본사는 현재 울산광역시 우정혁신도시(울산광역시 중구 종가로 305)에 있다.