본관은 서산(瑞山). 자는 형수(亨叟). 유후(柳厚)의 증손으로, 할아버지는 유기(柳沂)이다. 아버지는 유방선(柳方善)이며, 어머니는 이원(李原)의 딸이다.
할아버지는 민무구(閔無咎)·민무질(閔無疾) 사건에 연루되어 죄를 입고, 아버지는 연좌죄로 관노가 되었다가 뒤에 사면되어 평민이 되었다. 아버지가 억울한 생활을 하는 동안 두보시(杜甫詩)에 정통했기 때문에 그것을 배워 과거를 치르기도 전에 세종의 부름으로 포의(布衣)로서 두시의 찬주(撰註)에 참여하였다.
1455년(세조 1) 과거 응시를 허락해 달라고 상언한 결과, 허락을 얻어 1462년 별시 문과에 병과로 급제하였다. 1465년 사헌부감찰이 되자 사간원에서 유윤겸의 선대 할아버지의 죄를 지적하면서 규찰 임무를 맡길 수 없다는 주장도 있었으나, 이미 벼슬길이 허용된 관계로 그대로 감찰직이 제수되었다.
1466년 교리(校理)로서 발영시(拔英試)에 2등으로 급제하였다. 그 뒤 성균관사성을 지냈으며, 1480년(성종 11) 중국에서 오는 사신들과 창화(唱和)를 할 수 있는 젊은 문신들에게 두시를 교습시켰다. 이듬해는 왕명을 받아 조위(曺偉) 등과 함께 『분류두공부시언해(分類杜工部詩諺解)』25권을 완성해 강희안(姜希顔)의 필체인 을해자(乙亥字)로 간행해 국문학사상 큰 업적을 남겼다.
1482년 홍문관부제학이 되었을 때는 언로를 널리 개방할 것(開廣言路), 현인과 재능있는 자를 등용할 것(任用賢才) 등을 상언해 왕의 인정을 받았다. 이듬해 공조참의가 되었으며, 또 왕명으로 서거정(徐居正)·노사신(盧思愼)·허종(許琮)·어세겸(魚世謙)·유순(柳洵) 등과 함께 『연주시격(聯珠詩格)』과 『황산곡시집(黃山谷詩集)』을 한글로 번역하였다.
1484년 대사간을 거쳐 다시 부제학이 되어, 시관(試官)으로서 문신의 강서(講書)를 맡기도 하였다. 이어서 동부승지·호조참의·돈녕부도정에 이르렀다.