일제강점기에는 봉은사(奉恩寺)의 말사였다. 1717년(숙종 43)에 심운(尋雲)이 창건하였다. 숙종은 북한산성을 수비하기 위해서 산성 안에 12개의 절을 새로 지어 승군(僧軍)으로 하여금 산성을 지키게 하였는데, 부황사도 그 중 하나이다.
창건 당시에는 부왕사(扶旺寺)라 하였으나 그 뒤 음이 비슷한 부황사(浮皇寺)·부황사(扶皇寺) 등으로 불리게 되었으며, 언제 지금의 이름이 되었는지는 자세하지 않다.
창건 이후 갑오개혁 이전까지는 호국 사찰로 명맥을 이어왔으며, 1939년 9월에 당시의 주지 원법(元法)과 화주(化主) 상덕(尙德)이 영산전(靈山殿)과 별당(別堂)을 신축하였다. 1942년에는 이주옥(李柱玉)이 절 동쪽 기슭에 도원(道院) 6칸을 신축하였으나 6·25 때 모두 파괴되어 현재 거의 폐허가 되어 있다.