전라남도 나주 출신이다. 이명은 김율(金律)이다. 기삼연(奇參衍)의 문하생으로 문필에 능하여 박사(博士)라 자칭하였다. 화이론(華夷論)에 입각한 대외 인식에 의거해 의병을 일으켰다.
나주에서 1906년 10월 친형인 김태원(金泰元: 金準)과 더불어 거의하였다. 김율은 1907년 9월 기삼연이 김용구(金容球)·김태원·이석용(李錫庸)·전해산(全海山)·심남일(沈南一) 등과 연합하여 결성한 호남창의회맹소(湖南倡義會盟所)에 가담하여 활동하였다.
김율은 주로 김태원과 함께 광주(光州)·함평(咸平)·고창(高敞娼)·영암(靈岩)·장성(長城) 등지에서 일본군과 격전을 벌여 큰 전과를 올렸다. 10월 초에는 신덕순(申德淳) 의진에 호군(護軍)으로 참여하였다.
이 때 김태원은 선봉이 되었으며 김율은 김태원과 함께 정읍의 내장사(內藏寺) 일대를 근거지로 하여 광주영 공격을 계획하는 등 활동하였다. 한편 김태원·백낙구(白樂九) 등과 함께 구례의 유생 유병기(柳秉琪) 의진에 참여하여 중군장(中軍將)으로 활약하기도 하였다.
10월 29일에는 기삼연·김태원과 함께 의병을 이끌고 고창으로 가 일본군을 격퇴하였다. 12월 7일에는 법성포의 주재소를 습격해 무기를 탈취하며, 그 곳 사창(社倉)을 습격하여 양곡을 압수했다.
1908년 1월 3일에는 부하 100여 명을 인솔하여 함평주재소를 습격하여 무기와 금품을 노획했다. 1월 22일 김율은 기삼연·김태원과 함께 400여 명을 인솔하고 다시 함평주재소를 습격하여 일본인 순사 파다야(波多野)를 사살했다.
같은 해 6월 기삼연이 체포되어 순국한 뒤 김태원과 함께 의진을 지휘하여 광주 일대에서 벌어진 일본군과의 전투에서 다수의 전과를 올렸는데, 창평(昌平)에서는 요시다[吉田藤三郞]가 인솔하는 일본기병대를 공격하여 대파하기도 했다.
그러나 1908년 3월 30일 광산군(光山郡) 소지면(所旨面) 정동(鼎洞)에서 일본군에게 체포되었다. 4월 25일 전사한 형 김태원의 시신을 확인하러 가는 도중에 잡혀 탈출을 기도하다가 일본군에게 총살당하고 말았다.
정부에서는 김율의 공훈을 기려 1995년 8월 건국훈장 독립장을 추서하였다.