본관은 김녕(金寧)으로 경상북도 선산군(현 구미시 선산읍)에서 출생하였다. 1943년 안동농림학교를 졸업하고, 경북대학교 농과대학 중등교원양성소에 입학하여 1945년 수료하였다. 김천중·고교에서 교직생활을 하였고, 국군창설 때 조선국방경비사관학교(육군사관학교의 전신)에 입교하여 1946년 12월 제2기생으로 졸업하였다.
1954년 제5사단 제36연대장, 1957년 육군대학부총장, 1963년 제6사단장, 1966년 제6관구 사령관과 방첩대장, 1969년 육군보안사령관, 1971년 제3군단장 등을 거친 뒤 중장으로 예편하였다. 5·16군사정변 직후 군정하에서는 호남비료 사장을 역임하였다. 1973년 유신정우회 소속으로 제9대 국회의원이 되어 정치에 입문하였다.
1974부터 1976년까지 제13대 건설부 장관을 역임하였다. 박정희 대통령은 1960년 말과 1970년 초부터 베트남에서의 철수문제 등이 한국경제에 미칠 영향, 특히 외화와 건설기술 획득의 어려움에 직면해 본격적으로 한국기업의 중동진출을 위한 결정을 내렸고, 김재규가 건설부 장관으로 입각한 시기, 한국기업의 중동진출 과정에 기여하였다.
1976년 12월 중앙정보부장에 임명되었고, 박정희 대통령의 측근에서 정보수집과 사태수습의 임무를 수행하였다. 그러나 1979년 와이에이치(YH)무역 여공농성사건, 신민당 총재 김영삼의 의원직 박탈사건, 부산·마산 항쟁 등의 정국 불안사건 등을 접하면서, 박정희 대통령 경호실장 차지철과의 갈등, 그리고 정권의 정당성에 대한 회의를 갖게 되었고, 1979년 중앙정보부 직속부하인 박선호·박흥주 등과 모의하여 이른바 ‘10·26사태’인 대통령시해사건을 행하게 되었다.
10월 28일 합동수사본부장 전두환에 의해 체포되었고, 이 사건에 대한 재판과정에서 여러 가지 설과 주장들이 제기되었으나, 내란목적살인 및 내란미수죄로 사형선고를 받고, 1980년 5월 24일 사형이 집행되었다.