본관은 청주(淸州). 자는 자정(子精), 호는 약포(藥圃)·백곡(栢谷). 예천출신. 현감 정원로(鄭元老)의 증손으로, 할아버지는 생원 정교(鄭僑)이고, 아버지는 정이충(鄭以忠)이며, 어머니는 한종결(韓從傑)의 딸이다. 이황(李滉)과 조식(曺植)의 문인이다.
1552년(명종 7) 성균생원시를 거쳐 1558년 식년문과에 병과로 급제하였다. 1565년 정언을 거쳐 예조정랑·헌납 등을 지냈다. 1568년 춘추관기주관을 겸직하고, 『명종실록(明宗實錄)』 편찬에 참여하였다. 1572년(선조 5) 이조좌랑이 되고, 이어 도승지·대사성·강원도관찰사 등을 역임하였다.
1581년 대사헌에 올랐으나, 장령 정인홍(鄭仁弘), 지평 박광옥(朴光玉)과 의견이 맞지 않아 사간원의 계청(啓請)으로 이조참판에 전임되었다. 1582년 진하사(進賀使)로 명나라에 갔다가 이듬해 돌아와서 다시 대사헌에 재임되었다. 그 뒤 예조·형조·이조의 판서를 역임하고, 1589년 사은사(謝恩使)로 명나라에 다시 다녀왔다.
1592년 임진왜란이 일어나자 좌찬성으로 왕을 의주까지 호종하였다. 경사(經史)는 물론 천문·지리·상수(象數)·병가(兵家) 등에 이르기까지 정통하였다. 1594년에는 곽재우(郭再祐)·김덕령(金德齡) 등의 명장을 천거하여 전란 중에 공을 세우게 했으며, 이듬해 우의정이 되었다.
1597년 정유재란이 일어나자 72세의 노령으로 스스로 전장에 나가서 군사들의 사기를 앙양시키려고 했으나, 왕이 연로함을 들어 만류하였다. 특히, 이 해 3월에는 옥중의 이순신(李舜臣)을 극력 신구(伸救)하여 죽음을 면하게 하였으며, 수륙병진협공책(水陸倂進挾攻策)을 건의하였다.
1599년 병으로 잠시 귀향했다가 이듬해 좌의정에 승진되고 판중추부사를 거쳐, 1603년 영중추부사에 올랐다. 이듬해 호종공신(扈從功臣) 3등에 녹훈되었으며, 서원부원군(西原府院君)에 봉해졌다. 예천의 도정서원(道正書院)에 제향되었으며, 저서로 『약포집』·『용만문견록(龍灣聞見錄)』 등이 있다. 시호는 정간(貞簡)이다.