1574년(선조 7)조헌(趙憲)을 질정관(質正官)으로 중국에 보내어 규모와 제도를 조사시킨 다음, 1699년(숙종 25) 예조판서 김구(金構)와 대사헌 홍수헌(洪受瀗)을 시켜 성균관의 대성전 서북쪽에 터를 잡고 건축을 시작하여 2년 뒤인 1701년에 완공하였다.
규모는 사당이 3칸, 내외의 향청(香廳) 3칸, 전사청(典祀廳) 2칸, 집사청(執事廳) 2칸, 주소(廚所) 1칸, 고사(庫舍) 1칸, 수복청(守僕廳) 2칸이며, 건물 앞에는 삼문(三門)이 있고, 서쪽에 협문이 있다.
제향된 위패는 공자의 아버지 제국공 공숙량흘(齊國公孔叔樑紇), 안자의 아버지인 곡부후 안무유(曲阜侯顔無繇), 증자의 아버지 내무후 증점(萊蕪侯曾點), 자사의 아버지 사수후 공리(泗水侯孔鯉), 맹자의 아버지 주국공 맹격(邾國公孟激)이다.
1739년(영조 15) 모든 도와 큰 고을의 향교마다 계성사를 세울 것을 명령하였고, 20년 뒤인 1759년에 사액(賜額)하였다. 향사의(享祀儀)는 성균관의 예에 준하였으며, 그뒤 성균관유생 중에서 한 사람을 선발하여 관리를 명하였다.
서울에 있던 계성사는 광복 후 성균관대학교를 지으면서 헐렸고, 향사의 예도 폐하게 되었다. 지방에 세워졌던 계성사는 향교와 함께 보존되어 예를 올리는 곳도 있고, 그렇지 않은 곳도 있다.