본관은 밀양(密陽). 자는 상지(尙之), 호는 현계(玄溪). 온양 출신. 할아버지는 박옹(朴顒)이고, 아버지는 박효남(朴孝男)이며, 어머니는 정희준(鄭希俊)의 딸이다. 관찰사 박초(朴초)의 아우이다.
1630년(인조 8) 별시 문과에 을과로 급제하여 1632년 정언이 되었고, 1634년 지평이 되었으며, 이듬해 『홍문록(弘文錄)』에 올라 홍문관부수찬·부교리를 역임하였다.
1641년 수찬이 된 뒤, 집의·교리를 차례로 거쳐, 1643년 사간이 되었으며, 이어서 황해도관찰사가 되었다. 1647년 병조판서에 승진되었으며, 사은부사(謝恩副使)로 청나라에 다녀와 이듬해 대사헌·경주부윤을 역임하였다.
1650년(효종 1) 도승지에 이어 공조판서가 되었으며, 지경연(知經筵)과 지춘추관사를 겸하였고, 이듬해 진향부사(進香副使)로 다시 청나라에 다녀와 대사헌·지의금부사·우참찬·예조판서 등을 거쳐, 다시 병조판서가 되었다.
1653년 병조판서로 재직 중 갑자기 죽자, 왕은 매우 애통해하며 관련 관서로 하여금 관재(棺材)와 상장(喪葬)에 필요한 여러 가지 물자를 지급하도록 하였다.
박서는 군국사(軍國事)에 효종과 뜻을 같이하여 오랫동안 병조판서직에 있으면서 군사력 정비에 힘써 효종의 두터운 신임을 받았다.