조서안(趙瑞安)의 본관은 배천(白川)이다. 증조할아버지는 조하(趙何), 할아버지는 증참찬(贈參贊) 조세경(趙世卿)이다. 아버지는 개국공신(開國功臣)에 녹훈(錄勳)되었고 부흥군(復興君)에 봉해졌던 조반(趙胖)이다. 어머니는 이양오(李養吾)의 딸이다. 삼형제 중 막내로, 조서로(趙瑞老) · 조서강(趙瑞康) 등의 형이 있다.
정확한 출생 시기는 현재 기록으로는 파악하기 어렵다. 1419년(세종 1) 문과에 급제해 관직 생활을 시작하였했다. 조서안의 관력은 1426년 좌헌납을 제수받았던 일부터 기록을 통해 확인할 수 있다. 사간원(司諫院) 헌납(獻納), 사헌부(司憲府) 집의(執義), 승정원(承政院) 좌승지(左承旨) 등에 임명되었다.
대간(臺諫)으로 있으면서 양녕대군(讓寧大君)을 멀리해야 한다는 취지의 상소를 자주 올렸다. 1427년 인사 관련 업무를 제대로 수행하지 않아 관련자들과 함께 파직되었다. 이후 사헌부 집의와 승정원 승지에 제수되었다. 1449년 병조 참판에 임명되었고, 다음 해에는 명나라에 사은사(謝恩使)로 파견되어 세자의 면복(冕服) 등을 요청하였다.
문종 즉위 후에는 황해도관찰사, 경창(慶昌) 부윤(府尹), 형조참판 등을 역임하였다. 단종 대에는 개성부(開城府) 유수(留守), 세조 대에는 중추원(中樞院) 부사(副使), 함길도관찰사, 지중추원사(知中樞院事) 등에 임명되었다. 검소하면서도 사대부의 풍모를 잘 지켰던 인물로 평가되었다. 1457년(세조 3) 죽었다. 시호는 평숙(平肅)이다.