증조는 고구려의 마지막 왕인 보장왕(寶藏王)이며, 할아버지는 운위장군 우표도대장군 안동도호(雲麾將軍右豹韜大將軍安東都護)를 지낸 고련(高連)이다.
아버지 고진(高震)은 개부의동삼사 공부상서 우금오위대장군 안동도호(開府儀同三司工部尙書右金吾衛大將軍安東都護)를 지냈고 담국공(郯國公)에 봉해졌으며, 어머니는 담국부인(郯國夫人) 진정후씨(眞定侯氏)였다.
고숙수는 당 대종(代宗)년간에 조청대부 심택령(朝請大夫深澤令)을 지냈는데, 이후의 행적은 자료가 없어 알 수 없다.