1982년 2월 「공무원연금특별회계 및 기금의 설치·운영 등에 관한 법률」에 의하여 설립된 법인이다.
1960년 「공무원연금법」의 제정으로 시행된 공무원연금제도는 최초의 공적 연금제도로서 총무처에서 관장하여 왔다. 1980년대에 이르러 공무원 수 및 연금기금 규모의 증가로 관리업무의 효율성과 전문성이 요청됨에 따라, 정부는 1981년 4월 13일 「공무원연금특별회계법」을, 1981년 7월 28일 동법 시행령을 개정하였다.
그리하여 공단 설립의 근거를 마련하고, 이듬해 관리업무의 자율성과 전문성을 가진 독립기관을 설치하게 되었다. 공단 발족 당시 기금운용사업만을 수행하다가, 1983년 1월 1일 급여 지급 및 비용 징수 등 연금관리업무를 정부로부터 이관받아 공무원연금업무 일체를 전담, 운영하게 되었다. 그 뒤 1999년 6월에는 7개 사업체의 구조 조정으로 민간에게 위탁하게 되었다.
주요 기능으로 연금업무, 기금운용업무, 기타 국가위탁업무가 있다. 연금업무에는 기여금·부담금 등 제비용 징수와 퇴직급여 재해보상 급여 등 제급여 지급업무가 있으며, 기금운용업무로서는 금융기관 예입, 주식채권 등 유가증권 투자와 공무원을 위한 주택건설·취득·분양 및 임대, 공무원에 대한 융자, 공무원 후생복지시설 운영이 있다. 마지막으로 국가위탁업무는 대학학자금 대여 및 맞춤형복지 업무가 있다.
2010년 1월 공무원연금법의 개정으로 인해 공무원연금공단으로 개칭되었다. 본사는 제주특별자치도 서귀포시 서호중앙로 63에 있다.