본관은 대구(大丘). 자는 비연(斐然), 호는 소재(篠齋). 예조판서 서문유(徐文礻+谷)의 증손으로, 할아버지는 황주목사 서종벽(徐宗壁)이고, 아버지는 의빈부도사 서명민(徐命敏)이며, 어머니는 온양정씨(溫陽鄭氏)로 이조판서 정창유(鄭昌兪)의 딸이다.
1792년(정조 16) 사마시에 합격하고, 1801년(순조 1) 증광 문과에 갑과(甲科) 3등으로 급제하여 한림원기거주(翰林苑起居注)로 임명되었다. 하지만 1806년(순조 6) 시파 김조순과 벽파 김달순 사이의 권력다툼에 연루되어 함경도 갑산(甲山)에 유배되었다. 1811년 해배될 때까지 5년에 걸친 유배생활 동안 오직 독서에 전념하였으며, 자신이 거처하는 방을 ‘목석거(木石居)’라 부르고 일체 세사에 관심을 보이지 않았다.
유배에서 풀려나자 친지들과 함께 백두산을 유람한 뒤 그때의 기행문으로 「유백두산기(遊白頭山記)」를 썼다. 1825년(순조 25) 세자시강원문학, 1830년 대사성, 1831년 이조참의 등을 역임하였다. 청빈한 생활에 자족하며 시작에 많은 정열을 쏟았다. 특히, 사영운(謝靈運)·맹호연(孟浩然)·두보(杜甫)를 흠모하였으며, 대체로 자연을 대상으로 한 산수시를 많이 썼다.
저서로는 『소재집(篠齋集)』 4권이 있다.