전편과 후편으로 나뉘어 있다. 전편은 전주 8마디, 간주 4마디를 포함하여 모두 62마디로 되어 있고, 잔잔한 파도 소리를 묘사한 4분의 3박자 전주에 이어 4분의 4박자로 된 서정적인 선율이 뒤를 잇는다. 이어 4분의 3박자로 변박이 된 서정적인 선율이 끝까지 이어진다. 템포는 보통 빠르기로 시작하여 간주 부분 이후에는 약간 빨라지며, 감정이 고조되는 부분에서는 약간 느리게 연주한 후 원래의 템포로 돌아간다.
후편은 8마디의 전주와 6마디의 간주를 포함하여 모두 110마디로 구성되어 있다. 어린 시절을 회상하는 듯한 동요풍 선율로 이루어진 4분의 4박자의 전주에 이어 동요풍의 노래가 전개된다. 그리고 4분의 5박자, 4분의 3박자, 4분의 2박자, 4분의 4박자, 4분의 3박자, 4분의 4박자, 4분의 2박자, 4분의 4박자, 4분의 2박자, 4분의 4박자, 4분의 3박자의 순으로 박자가 자주 바뀌면서 동요풍의 노래와 서정적인 노래가 교차된다. 이런 특징으로 인해 후편은 특이하게도 솔로와 어린이 합창 또는 솔로와 합창으로 부르기도 한다. 음악 형식은 시상에 따라 악상이 전개되는 자유로운 통절 형식(通節形式)으로 되어 있다.
고향을 떠나 살고 있는 사람들의 상념을 표현하였다. 시조시에 곡을 붙인 것으로, 가사는 모두 10수로 되어 있는데, 전편은 “내 고향 남쪽 바다 그 파란 물 눈에 보이네”로 시작하며, 후편은 “물나면 모래판에서 가재거이랑 다름질치고”로 시작한다.
작곡자가 평양의 숭실대학 재학 중이면서 20살이 되던 해인 1933년에 은사인 양주동(梁柱東) 선생으로부터 이은상 선생의 시조시 「가고파」를 배웠는데, 명시가 주는 감동으로 인해 단숨에 악상을 정리하여 전편을 만들었다. 그 후 40년이 지난 1973년에 후편을 작곡하여 곡이 완성되는 데 40년이 걸렸다는 기록이 있다. 한국 통절 가곡의 효시 중 하나라는 의의가 있으며, 오랫동안 널리 애창된 곡이다. 광복 후 음악 교과서에 수록되면서 한때 곡의 제목이 「가고 싶어」로 바뀐 적이 있었으나, 곧 원래의 제목으로 되돌아왔다. 작사자 이은상 선생의 고향인 마산에서 이 노래의 노래비를 설립하여 기념하고 있다.