본관은 순흥(順興). 자는 달부(達夫), 호는 팔하(八下). 안식(安烒)의 증손으로, 할아버지는 필선(弼善) 안시상(安時相)이고, 아버지는 도정 안해(安鍇)이다. 어머니는 관찰사 이언경(李彦經)의 딸이다.
1756년(영조 32) 생원시와 진사시에 연이어 합격한 뒤, 그 해 정시문과에 병과로 급제하였다.
수차례에 걸쳐 정언(正言)과 지평(持平)을 역임하였다. 강원도사와 장령(掌令)을 지냈고, 1765년 이이(李珥)의 양병십만론(養兵十萬論)과 송나라 진덕수(眞德秀)의 주변팔책(籌邊八策)과 같은 국방강화의 방책을 세울 것을 역설하여 영조의 동감을 얻은 바도 있다. 그 뒤 1772년 승지가 되었고, 문재(文才)가 있어 1773년의 응제(應製)에서 상을 받기도 하였다.
같은 해 충청감사가 되었고, 1775년 대사헌을 거쳐 전라감사를 지냈다. 1776년(정조 즉위)에 정후겸(鄭厚謙)의 옥사에 연루되어 변방에 유배되었다.
『영조실록』권125, 8월조에는 안겸제의 타고난 성품이 간사하고 잘 속이며, 행동이 촌스럽고 천박하였다고 되어 있다.