1964년 10월 13일 강원도 춘천시에서 태어났다. 아버지 김한규 씨는 경상북도 성주군 출신의 군인이었으며[6] 어머니 윤종애 씨는 강원도 양구군 출신으로 교사로 재직했다.
집안이 원래 경상북도 성주군이고 8대조의 선영이 있다. 아버지 김한규는 6.25 전쟁에 참전하고 북파공작원으로 활동했다. 지리산 빨치산 토벌에도 참여해 화랑무공훈장 2개에 묘소도 국립대전현충원이다. 외할아버지는 1950년 6월 29일 북한군에게 죽었고, 외가 식구들은 부산에서 피난 생활을 했다. 어머니는 6.25 전쟁 발발 이전 춘천시 서면 금산초등학교에 첫 발령을 받은 이래 피난을 갔다가, 전후에 다시 춘천으로 돌아와 교편도 다시 잡으며 가족 뒷바라지를 했다. 김진태도 그때 태어났다. 모친은 그 후로도 1988년 2월 봉의초등학교 교감에 올라 명예퇴임까지 40여 년간 교편을 잡았다.
그는 2남 중 차남으로 춘천교대부설초등학교, 소양중학교, 춘천 성수고등학교(강원)를 졸업하고, 서울대학교 법과대학에 입학했다. 4학년 때인 1986년 제28회 사법시험에 합격했다.
1989년 사법연수원 18기로 수료하였다.[8] 공부 하나만은 현역 정치인 중 끝판왕이라 할 수 있다. 학과공부도 빡세다는 서울대학교 법과대학 4학년 재학중인 21세에 사시에 합격했다. 이 정도면 서울대 법대 출신들 중에서도 최상위권이다. 당장 기성 정치인 중에서 김진태보다 연수원 선배인 사람은 손에 꼽는다.[9] 1992년까지 공군 소속으로 국군기무사령부에서 공안담당 군법무관으로 복무했으며, 대검찰청 조직범죄과장을 지냈다.
원주지청장을 끝으로 17년 검사 생활을 마감할 때까지 경력의 상당 부분을 공안검사로 보냈다. 2011년 11월 낸 책 ‘법대로 살까? 멋대로 살까?’에 따르면 서울중앙지검 공안1부 검사와 부부장으로 근무했던 1996년과 2002년 두 차례 이명박 전 대통령의 공직선거법 위반 혐의를 수사했다. 2003년 대선 당선자 신분이던 노무현 전 대통령의 선거법 위반 혐의를 수사할 때는 기소를 주장하는 자신과 법 위반이 아니라는 부장검사가 서로 언성을 높이기도 했다고 한다.
2006년 대검찰청 강력부 조직범죄과장 시절 바다이야기 사건을 수사했다. 채동욱 당시 대검 수사기획관이 팀장을 맡고 김진태 조직범죄과장과 봉욱 첨단범죄과장이 팀원으로 포함되었다. 사실 이 사건 수사를 채동욱 수사기획관이 맡기 전에는 강력부가 이 사건을 맡았고 경대수 강력부장이 주축이 되어 이 사건을 수사했으나 검찰 윗선이 이 사건을 중수부로 넘긴 것.[10]
이후 2007년 서울중앙지검 부장검사가 되었는데 지검 내 부장 보직이 아닌 과거사정리위원회에 파견 근무를 갔다. 그는 이 인사에 대해 “허탈하고 분통이 터졌다”고 본인 책에서 회고했다. 강기훈 유서대필 조작 사건에 대한 전원위원회 회의 때 “강기훈 씨가 유서를 대필한 것이 맞다”고 우기다가[11] 외부 위원들과 충돌하기도 했다고 한다. 게다가 '조봉암은 간첩이 맞다'고 단언하기도 했다. 이승만정부 시절 간첩죄로 사형된 진보당 당수 조봉암은 2011년 1월 대법원 재심에서 무죄 판결을 받았지만, 김진태는 그 뒤로도 간첩이란 주장을 고수한 것이다. 그런데 2020년 조봉암이 김일성으로부터 대선 자금을 지원 받았다는 구소련 외교문서가 발견되어서 다시 쟁점화되었다. 이 부분은 다시 후속 연구를 기다리는 중.
차장검사 1차보직인 춘천지검 원주지청장을 지낸 후 2009년에 검사직을 그만두고 원주와 춘천에 법률사무소를 열었다
한나라당에 입당하여 2012년부터 정계에 입문했고, 제19~20대 총선에서 강원도 춘천시 선거구에 출마하여 내리 당선했다. 2020년 5월까지 미래통합당 소속 국회의원였다.
2013~2014년 통합진보당 내란음모 수사 사건 및 통합진보당 위헌정당해산 사건과 관련하여 이석기를 비롯하여 통합진보당을 강하게 질타하였다. “저는 이석기 피의자를 대한민국의 국회의원으로 인정한 적이 없다. 대한민국의 적이기 때문”이라고 말했다.
2017년 5월 19일 선거법 위반 혐의로 열린 재판 1심에서 벌금 200만원형(삭제됨)을 선고 받았지만, 같은 해 9월 항소심에서 파기되면서 무죄를 선고받았다. 그리고 2018년 1월 25일 대법원 판결 결과 무죄가 최종 확정됐다.