본관은 진주(晉州). 자는 순여(純汝), 호는 인산(仁山). 아버지는 소형술(蘇亨述)이며, 어머니는 광산김씨로 김재준(金在俊)의 딸이다. 익산에서 출생하였다. 나이 9세 되던 해에 아버지를 여의고 어머니의 엄한 훈육을 받고 할아버지인 수구(洙榘)에게 학업을 닦았으며, 20세 이전에 문명을 떨쳤다. 뒤에 홍직필(洪直弼)을 사사하였다.
1858년 도백(道伯)이 소휘면의 학행을 조정에 천거하였다. 1881년 선공감가감역을 제수받았으며 곧 전설시별제(典設寺別提)에 제수되었다. 그 뒤 전라도사로 제수되었으나 취임하지 아니하고, 1882년 사헌부지평에 제수되었으나 역시 취임하지 아니하고 오직 후배들을 교육하여 인재를 양성하는 데에 온 힘을 기울였다. 저서로는 『인산문집(仁山文集)』 17권이 있다.