일본인의 거주공간으로 왜관이 공식적인 기록 속에 나타나기 시작한 것은 조선시대부터였다. 조선 전기에 왜관은 서울에 있는 동평관(東平館)과 포소 왜관으로 나뉜다. 동평관은 1409년(태종 9)에 설치되어 임진왜란 직후인 1609년(광해군 1)에 폐쇄되었다. 포소 왜관은 1407년(태종 7)에 동래 부산포(지금의 동구 범일동, 좌천동 일대)와 웅천 제포[내이포, 지금의 창원시 진해구 제덕동 일대]에 설치되면서 포소 왜관의 역사가 시작되었다.
1426년(세종 8)에는 울산 염포(지금의 울산광역시 북구 염포동 일대)에 왜관이 추가로 설치되면서 삼포 왜관(三浦倭館) 체제가 자리 잡게 되었다. 이후 포소 왜관은 설치와 폐지를 거듭하다가, 1547년(명종 2)부터는 부산포 왜관만 남게 되었다. 포소 왜관은 조선 전기에는 왜관과 조선에 정착하여 사는 일본인 마을인 왜리(倭里)가 분리된 이원적 공간이었다면, 조선 후기는 왜관과 왜리가 합쳐진 일원적 공간이었다.
임진왜란 직후 국교 회복 과정에서는 육지와 약간 떨어진 부산 절영도(지금의 부산광역시 영도)에 임시왜관이 설치되었다. 조선 후기에는 일본 사절이 상경하기가 어려워졌으므로 사절의 숙소 및 관련 시설이 갖춰진 왜관은 반드시 지정된 포구에 세워야 하였다. 조선 전기의 왜관터가 군사기밀지역인 부산진성(釜山鎭城) 안에 포함되었기 때문에 조선 정부는 1607년(선조 40)에 두모포(豆毛浦: 지금의 동구 수정동 동구청 일대)에 왜관을 설치하였다. 이른바 두모포 왜관이다.
두모포 왜관은 1678년(숙종 4)에 초량으로 이전될 때까지 약 70년간 계속 있었는데, 조선 후기 조일 외교와 무역에 필요한 여러 규정과 왜관 운영 방침 등이 이곳에서 이루어졌다. 두모포 왜관은 장소가 협소하고, 선창의 수심이 얕으며, 남풍을 정면으로 받아 배가 정박하기에 부적당하다는 이유로 설치 초기부터 일본 측이 이관을 요구하였다. 1640년(인조 18)부터 초량으로 이관이 결정된 1673년(현종 14)까지 30여 년 동안 총 8회에 걸쳐 이관 교섭이 있었다.
초량 왜관 신축 공사는 1675년(숙종 1)에 착공되어 1678년 4월에 완공되었다. 건축에 필요한 물자는 조선에서, 동관 · 서관 삼대청 건물 등 일본식 세공이 필요한 자재는 대마도(쓰시마)에서 조달되었다. 초량 왜관 공사는 양국의 막대한 인력과 물자가 투자된 합작품이었다.
초량 왜관은 약 33만㎡〔10만 평〕 규모로 두모포 왜관의 10배 정도였다. 일본 나가사키의 네덜란드 상관인 데지마〔出島〕나 중국인 거주지〔당인옥부(唐人屋敷)〕보다 훨씬 큰 규모였다. 왜관은 용두산을 중심으로 동관과 서관으로 나누어졌다. 왜관의 중앙인 용두산 기슭에는 왜관을 총괄하는 관수의 관저인 관수가(館守家)〔관수옥(館守屋)〕가 있었다. 동관은 왜관에 상주하면서 외교 · 무역을 담당하는 대마도 사람들이 지냈고, 행정, 생활, 무역 공간적 성격이 강했다. 외교 교섭을 담당하는 재판의 재판가(裁判家), 개시 무역을 하는 개시 대청, 조선 무역을 담당한 대관의 대관가(代官家), 동향사(東向寺) 등 크고 작은 건물이 있었다. 서관에는 동대청 · 중대청 · 서대청이 갖추어져 있었는데 일본에서 온 사절 일행의 숙소인 객관으로 이용되었다.
왜관에서 조일 외교와 무역에 관계된 공공건물은 조선이 지었으며, 왜관에 머무는 일본인들이 숙식하거나 일상생활과 관련된 건물들은 일본 측에서 경비를 조달하여 지었으며, 대개 일본식 건물이었다. 조선식 온돌은 없고 다다미가 깔렸으며 일본식 미닫이문과 툇마루가 갖추어진 건물이었다. 종교 생활을 위해 동향사라는 절과 용두산에 용두산 신사(神社)가 있었다.
왜관에는 보통 400∼500명의 대마도에서 온 성인 남자가 살고 있었고 많을 때에는 1,000여 명에 달하기도 하였다. 왜관은 통행 범위가 제한되어 있고 출입이 엄격하게 통제되었으며, 가족을 동반하지 않은 성인 남자만 살았기 때문에 일본인 남성과 조선 여성 사이에 매매춘의 폐단, 즉 교간(交奸) 사건이 발생하기도 하였다.
왜관의 일본인은 쌀 · 채소 · 생선 등 식료품은 수문(守門) 밖에서 매일 열리는 아침 시장〔조시(朝市)〕에서 구입하여 조달하였으며, 일본인 입맛에 맞지 않거나 조선에서 구할 수 없는 것은 대마도에서 직접 조달하였다. 왜관 안에는 떡집이나 도자기 만드는 요(窯), 다다미를 파는 가게도 있었다.
한편 왜관은 조선 정부의 통제에도 불구하고 왜관 거주 일본인과 조선인 사이에 접촉하는 일이 빈번하게 발생하였다. 이때 왜관은 일본 문화의 창구로서 기능을 하기도 하여 왜관을 통해 일본 문화가 부산, 김해 등 주변 지역으로 퍼져가기도 하였다.
조선 후기에는 일본에서 건너오는 사절이 상경하는 일을 금지하였다. 따라서 부산 왜관은 조일 양국의 외교와 무역의 중심 공간이 되었으며, 양국 문화 교류의 중요한 통로 기능을 하였다. 따라서 왜관은 조선시대 한일 관계의 역사를 이해하는 데 매우 중요한 키워드이다.