본관은 남양(南陽). 자는 옥여(玉汝), 호는 금서(錦西). 의원이었던 방사량(房士良)의 증손으로, 할아버지는 방구성(房九成)이고, 아버지는 사정(司正) 방계문(房戒文)이며, 어머니는 정존(鄭存)의 딸이다. 여러 대에 걸쳐 나주에서 살았다. 조광조(趙光祖)의 문인이다.
1495년(연산군 1) 증광시에서 진사가 되었다. 1517년(중종 12) 전라도관찰사 조원기(趙元紀)의 천거를 받았는데, 방귀온이 효행(孝行)이 있고 부모 상례를 잘 치렀으며, 정심(正心)·정도(正道)를 지킨다는 것이 천거의 이유였다. 이에 1518년 유일(遺逸)로서 헌릉참봉(獻陵參奉)에 제수되었으나 나가지 않았다.
1519년 현량과(賢良科)에 3등으로 급제, 사간원정언(司諫院正言)이 되었다가 같은 해 기묘사화(己卯士禍)로 유배되었다. 1538년 이조판서 윤인경(尹仁鏡)의 상소로 인하여 신원(伸寃: 억울하게 입은 죄를 풀어줌)되었다.