원래 내사(內司)와 외사(外司)가 있어서 내사는 서울의 중부 징청방(澄淸坊)에, 외사는 서강(西江)에 있었다.
1392년(태조 1)사수감(司水監)을 설치하여 전함의 수리 및 운수에 관한 일을 감독하게 하였는데 1403년(태종 3) 관제개편으로 사재감(司宰監)에 병합되고, 다시 1432년(세종 14) 병선건조의 중요성이 강조되어 사수색(司水色)으로 부활되었고, 1436년 수성전선색(修城典船色)으로 개편되었다가 1465년(세조 11) 전함사로 그 명칭이 고정되었다.
한편,『경국대전』 이전(吏典)에 명시된 전함사의 주업무는 경외(京外)의 선박과 전함을 관장하였고, 관원은 도제조(都提調, 정1품)·제조(종1품∼종2품) 각 1인, 제검(提檢, 종4품)·별좌(別座, 종5품)·별제(別提, 정·종6품) 등 5인과 수운판관(水運判官, 종5품) 2인, 해운판관(종5품) 1인이 소속되어 있었다.
그러나 후기에 들어 전함사의 기능이 약화되어『대전통편』에서 판관은 모두 없어지고 전함사 자체가 공조에 병합되었으며, 그 기능 중 조선관리업무는 비변사와 공조·선혜청(宣惠廳)에서 담당하고, 조선장(造船場)으로서의 기능은 주로 삼남의 수영에서 대신하였다.