고려시대도 지방관으로서의 단련사가 있었다. 1396년(태조 4) 4월 각 도의 모든 수령이 모두 병마단련을 겸하였는데, 수령의 품계에 따라 3품관을 사(使), 4품관을 부사(副使), 5·6품관을 판관(判官)이라 하였다.
이와 같이, 수령이 병마단련직을 띠게 됨으로써 지방문관수령이 군사권을 겸하게 되는 실마리가 된 것 같다. 초기에 지방제도가 정비되면서 단련사의 명칭은 없어지고 절제사(節制使)·절제도위(節制都尉) 등으로 수령의 군사지휘권 겸대(兼帶)의 명칭이 바뀌고, 1407년(태종 7) 북방 익도(翼道)의 천호(千戶)와 백호(百戶) 중 청렴하고 용감한 자를 택하여 사신의 호송과 영봉의 군사적인 책임을 지워 단련사라 하였다.
이와 같은 단련사는 그 뒤 연변의 수령과 군관 가운데서 사행(使行)이 있을 때마다 임시로 임명되어 사행의 신변보호 및 인마(人馬)·물품의 안전관리 등을 책임졌다. 이와 같은 단련사는 사행의 종류에 따라 호송단련사·영봉단련사·영거단련사(領去團練使) 등으로 불렸다.
그러나 후기에는 단련사가 사행에 수행하였던 상인(商人)들과 결탁하여 책문(柵門)에서 뒷거래를 하는 등의 폐단이 발생하여 단련사 후시(後市)라는 말까지 생겨나, 1789년(정조 13) 한때 폐지된 일도 있으나 순조 때 복구되었다.