배호는 독립운동을 위해 대한민국에서 산둥성으로 이주한 독립운동가 부모 밑에서 태어났다. 그러다 광복 이후, 3살이 되어 한국으로 귀국했다. 어릴 적부터 음악에 남다른 재능을 보였고 노래를 부르는 것을 좋아했다. 그러나 아버지가 1955년 과음으로 인한 간경화로 사망하고 그 이후 부산에 있는 이모의 집에 내려가 살다가 집안 사정이 더욱 어려워지자 부산 삼성중학교를 중퇴하고 어머니의 권유로 서울에 있는 삼촌 김광빈의 집으로 상경하였다. 참고로 "배호"라는 예명도 이 때 김광빈이 지어주었다.
1958년부터 1964년까지 삼촌 김광수와 김광빈의 악단, 미군부대, 캬바레, MBC 악단, 김인배 악단 등에서 드럼을 연주하며 음악활동을 시작했으며, 6~7인조 캄보 밴드인 <배호와 그 악단> 을 결성해 사람들에게 이름을 알리기 시작한다.
이후 김광빈에게서 받은 <굿바이>, <두메산골>[8] 등의 곡을 취입하지만 별다른 히트를 치지 못했고 여전히 가수를 부업으로 하는 드러머 생활을 이어갔다.
그가 부른 초기의 곡들은 트로트가 아닌 재즈나 라틴음악 등이 섞인 스탠더드팝 계열의 작품이었다. 그러나 1967년 배상태가 작곡한 노래 <돌아가는 삼각지>가 대히트하였고 그는 곧 1960년대 최고의 인기 가수로 자리잡았다. 그 이후 <안개 낀 장충단 공원>, <누가 울어>등을 연달아 히트시키며 10대 가수 가요제에서 10대 가수로 선정되었다.
그는 1966년부터 앓아온 신장염으로 투병 생활을 하고 있었으며, 건강이 회복될 틈도 없는 바쁜 스케줄을 소화하며 몸은 이미 망가질 대로 망가져 있었다. 그러다 1971년라디오 출연을 마치고 집으로 돌아오는 길에 비를 맞는데 저체온증으로 감기 몸살에 걸리고, 투병생활로 면역력이 약해 몸살이 악화되면서 끝내는 졸도, 여기에 복막염까지 합병증으로 겹쳐 1971년 11월 7일 눈을 감았다. 당시 세브란스 병원에 입원해 있었는데 가망이 없다는 말을 듣고 배상태와 함께 퇴원해 미아리에 있던 자택까지 택시를 타고 가던 도중 사망했다고 한다.
대구 공연에서 만난 여성 팬과 약혼까지 했는데, 그를 계속 간호했다고 한다. 결국 배호가 모진 말을 해서라도 임종 직전에 집으로 돌려보냈다고. 당대의 사회상을 고려하면 팬의 미래(= 새로운 짝을 찾는 것)를 위해서 한 일이었다고 할 수있다. 그의 장례식에서는 최희준, 현인 등 당대 최고의 가수들이 참석하고 소복을 입은 여인들이 길게 늘어섰으며 장례식에서는 <돌아가는 삼각지>, <안개낀 장충단공원> 등 고인을 대표하는 히트곡과 함께 유족들과 동료들, 스승들의 서글픈 흐느낌만이 울려퍼젔다.[9]
경기도양주시 신세계 공원묘지에 안장되었으며 여기에 어머니와 동생의 묘소까지 함께 있다.[10]
1981년 MBC에서 특집으로 실시된 여론조사에서 '가장 좋아하는 가수' 1위에 선정되었고 2005년엔 '국민에게 가장 사랑받은 국민가수 10인'으로 선정되기도 하는 등 요절한 후에도 큰 사랑을 받고 있다.
배호와 함께 일한 음악인이 훗날 흡사한 목소리를 가진 가수를 발굴하고자 했지만, 음악 실력 및 목소리 활용 능력 측면에서 차이가 있어 포기했다는 일화도 있다. 신장염에 + 복막염까지 앓는 중에도 박자, 음성에 흐트러짐 없이 정확한 음정을 선보인 고인의 그것에 비해 손색이 있었기 때문.[11]