세종 대 기록에 따르면 "방자는 궁중에서 잔일하는 자이니, 각사(各司)의 비자(婢子)를 택하여 시킨다."고 하였다. 각 전(殿)과 궁에 소속되어 있었는데, 명단은 사약(司鑰)이 관장하였다. 태종은 1414년(태종 14)에 명빈전(明嬪殿)의 시녀 3인을 내보내고, 방자 등으로 번(番)을 바꾸게 하였다. 이어 1416년(태종 16)에는 한재(旱災)를 만나 나이가 장성한 시녀와 방자를 골라서 내보내고 방자는 제 집에서 왕래하게 하였다.
1457년(세조 3)에는 의정부에서 상왕전(上王殿)의 시녀 10인, 무수리 5인, 복지(卜只) 2인, 수모(水母) 2인, 방자 4인, 양 별실(別室)의 시녀 각각 2인, 무수리 각각 1인, 각 색장(色掌) 20인을 2번(番)으로 나누게 하였다.
1470년(성종 1)에는 대왕대비전에는 시녀 10인, 무수리 6인, 파지(巴只) 4인, 수모 3인, 방자 5인, 여령(女伶) 1인으로, 왕대비전에는 시녀 9인, 무수리 5인, 파지 3인, 수모 2인, 방자 7인, 여령 1인으로, 대전에는 시녀 20인, 무수리 10인, 파지 6인, 방자 12인, 여령 1인으로 하여 의전(衣纏) · 선반(宣飯) · 삭료(朔料) 등을 주게 하였다.
연산군은 방자가 심부름할 때 매를 맞기도 하였기 때문에 궁궐을 나가게 되면 원한을 품고 내간의 일을 퍼뜨리는 자가 더러 있으니 궁을 나간 방자들이 궁중 내의 일을 누설하지 못하도록 하였다. 방자 중에는 시간제로 부리는 반방자가 있고, 붙박이로 부리는 온방자가 있었다. 반방자와 온방자는 보수도 달랐다.
조선시대 지방 관아에서 심부름을 하던 남자 종 중에도 방자라 불리는 부류가 있었다. 1448년(세종 30)에는 "남자 종을 방자라고 하였다"는 기록이 보인다. 임진왜란 동안에는 굶주린 백성이 병영에 들어가서 방자가 되기도 하고 항왜(降倭)의 방자나 중국군의 방자가 되기도 하였다.
중국의 대병(大兵)이 잇따라 입성(入城)하였기 때문에 각 처의 방자 · 역군(役軍)을 요구하는 즉시 응하여 주었다. 각 고을 관아에 경주인방자(京主人房子)도 있었으며, 장용영에는 방자 15명, 소방자(小房子) 22명이 있었다. 남자 종으로서 방자는 『춘향전』에 잘 나타나 있다.