초명은 김정(金晸) 또는 김치(金緻). 아버지는 최이(崔怡)의 사위인 추밀부사(樞密副使) 김약선(金若先)이다.
최이의 사랑을 받아 내급사(內給事)에서 수사공 주국(守司空柱國)에 제수되었으나 나이가 어려 장군으로 고쳐 임명되었다.
그러나 얼마 뒤 무뢰배를 모아 일을 꾸민다는 참소를 받고 최우에 의해 삭발당하고 하동으로 유배되었다. 그 때문에 김미와 가까웠던 장군 김정휘(金正暉), 평로진부사(平虜鎭副使) 손중수(孫仲秀), 다방(茶房) 안기(安琦) 등 35명이 강에 빠트려 죽임을 당했다.
1247년(고종 34) 3월 환속하여 이름을 김미로 고치고 사공(司空)에 임명되었는데, 이는 김미의 처가 신종의 아들인 양양공(襄陽公)의 딸이었기 때문이었다. 한 때 장군 유정(劉鼎), 지유(指諭) 기홍석(奇洪碩) · 민경함(閔景咸) 등에 의해 최이의 후사로 삼으려는 계획이 추진되었으나 결국 최이에 의해 거부되고 이들은 죽임을 당했다.
1249년 최항(崔沆)이 자기를 해치려 한다는 정보를 듣고 급제(及第) 홍렬(洪烈), 춘방공자(春坊公子) 정첨(鄭瞻)을 시켜 큰아버지인 김경손(金慶孫)에게 편지를 보내 최항을 제거할 것을 상의했으나, 김경손은 화가 자기에게 미칠까 두려워 최이에게 이를 밀고하니, 홍렬 등은 가구옥(街衢獄: 감옥)에 갇히고, 김미는 고란도(高瀾島)로 유배되었다.