경기도 양평군 동면 사기리에서 출생. 30세에 상경하여 미감리회 선교사로 의사이며 목사인 스크랜턴(W.B. Scranton) 박사가 그의 병원에서 시작한 상동교회에 출석하였다. 1895년 6월 1일에 기독교인이 되어 그 해 10월 1일 스크랜턴 목사에게 세례를 받았다. 그 후 남감리회의 선교가 시작되면서 스크랜턴의 추천으로 남감리회로 옮기고 1896년 12월부터 매서인이 되어 서울과 개성에서 활동하였다. 감리교신학대학교의 전신인 신학회에서 공부하였고, 1900년 11월 20일부터 28일까지 서울 상동교회에서 개최되었던 신학회 학생으로 스크랜턴, 노블, 존스 교수의 지도를 받았다.
1904년 9월 17일 전도사 직첩을 받았으며, 1906년 10월부터 1908년 9월까지 강원도 지경처구역 전도사로, 1908년 10월부터 1911년 9월까지 강원도 이천(伊川)구역의 전도사로 시무하였다. 1911년 10월 1일 남감리회 최초의 한국인 목사 안수를 받았고 1911년 12월 협성신학교를 졸업하였다.
1895년 10월 8일에 명성황후시해사건으로 서울 장안이 어수선하던 시기인 10월 13일 일요일 미국 남감리교회에서 처음으로 한국에 선교사로 파송받은 리드(C.F. Reid, 李德, 1849~1915) 목사가 서울에 도착하였다. 낯선 땅에 선교사로 온 리드 목사에게 스크랜턴은 자기 교회(상동교회)의 진실한 교우 김흥순을 소개하여 협조하도록 권면하였다. 천재일우의 좋은 기회로 생각한 김흥순은 남감리회 제1호 매서인(賣書人)으로 같은 교회 교우 김주현과 함께 쪽복음을 들고 서울 근교 순행전도에 나섰다.
매서인들의 주요한 활동이 성서의 판매에 있었지만 성서 판매가 그들의 목적은 아니었다. 그리하여 매서인들은 회개한 사람들을 교회로 모이게 할 뿐만 아니라 교회가 없는 지역에서는 교회를 세우는 역할도 감당하였다. 매서인들은 또한 전국 각지를 돌면서 민중들이 겪고 있는 고난의 현장을 확인하였다. 한말의 사회 혼란과 부정부패와 일제 식민지하에서의 수탈 현장을 보면서, 복음으로 이 민족을 위로하고 희망을 주고자 했다.
1896년 12월부터 엄동설한의 추위를 무릅쓰고 경기도 고양읍을 중심으로 성경을 판매하면서 전도를 시작하여 복음을 전하자 고양읍에 많은 교인을 얻게 되었고, 1897년 5월 2일 리드 목사를 초청하여 장년 24인과 유년 3인에게 세례를 베푼 뒤 교회를 조직하였다. 이것이 한국에서는 처음으로 남감리교회를 조직한 것이며 5월 2일을 기념일로 설정하였다. 김흥순은 계속해서 불교신자 김온양과 김억실 등을 고양읍에서 믿게 하였고, 벽제 윤성근을 믿게 하였고, 윤치호 박사에게 30원을 기부받아 고양읍에 교회를 설립하기에 이르렀다. 고양에서 세례받은 교인들 가운데 "조선의 삭개오"라 불리는 맹인 복술가 출신 백사겸 전도사 또한 이들 전도자들이 낳은 인물이다.
김흥순과 김주현은 파주에서도 전도했는데 거기에는 고양읍교회 창립 때에 세례받은 조씨가 있어서 그를 중심으로 다시 교회를 형성하게 되었고 같은 해 7월 2일에 창립예배를 드릴 때 4명에게 세례를 베풀었다. 이들의 전도활동은 경기도 일대로 확장되어 용미리, 마천, 적성, 연천 등지에서도 교회를 개척하게 되었다.
남감리회 제8차 선교연회에서는 송도남부구역에 김흥순 전도사를 파송하였는데, 곧 1904년 9월 17일 김흥순이 처음으로 본처전도사로 임명을 받게 된 것이다. 1906년 10월 강원도 이천구역의 전도사로 시무하면서부터 김흥순은 한국 감리교회에 일기 시작한 신앙부흥운동의 주역으로 활동하였다.
1903년 하디의 원산 부흥운동의 계기를 마련해 주었던 강원도 김화지방 지경터교회에서도 1904년 이후 사경회 때마다 부흥운동이 일어났는데, 김흥순 전도사가 인도한 1906년 2월 부흥회에서도 교인들의 회개가 이어졌다. 특히 신버시라는 부인은 "집안에서 질투하던 죄와 아이를 괴롭게 하던 죄"를 회개한 후, "그날 저녁에 그 부인이 덧저고리를 벗어 던지며 죄를 이와같이 다 벗읍시다 하고 열심을 내어 연설함으로 형제 자매가 더욱 감동되어 모두 슬피 죄를 자복하는" 현상이 나타났다. 이 지경터 부흥회는 지경터 교인들뿐 아니라 인근 철원ㆍ평강ㆍ춘천 교인들까지 참석하여 "오순절 체험"을 하였다. 당시 사경회는 이 지경터 사경회 외에도 서울 정동ㆍ상동ㆍ자교교회와, 원산에서 연합으로, 함흥 함흥읍교회에서, 평양 남산현ㆍ장대현ㆍ남문ㆍ칠산교회에서, 선천 선천읍교회에서, 개성 개성북북교회에 이르기까지 1906년 1~2월 "구정" 사경회를 중심한 부흥운동이 일어났던 것이다.
이 기간 진행된 부흥운동의 특징은 ① 감리교회와 장로교회 선교사들이 "연합"기도회와 부흥회를 추구하게 되었고, ② 그 결과 서울과 원산ㆍ평양 등 두 개 이상 선교부가 함께 활동하고 있던 지역에서 "연합" 부흥회가 개최되기 시작하여, ③ 서울과 함흥ㆍ원산지역의 장로교회 교인들도 "감리교적"인 부흥운동을 체험하게 되었으나, ④ 다른 지역과 달리 평양지역 교회들에서 "오순절 체험"보다는 "전도운동"의 열기가 더 강하게 표출되었다. 구정 사경회가 부흥운동의 지역 확산의 매개체로 자리잡아 구정이 한국 교회에 "부흥의 계절"(Season of Revival)로 정착되었다.
남감리회 부흥회의 경우 북감리교회와 달리 부흥회 인도자가 한국인으로 바뀌어 있었는데 정춘수, 주한명 등과 함께 김흥순 전도사가 한국 교회 부흥운동의 주역으로 활동하였다.
그 후 지경터지방(철원지방) 김화구역과 금성구역에 파송되어 교회를 개척하며 전도사업을 펼쳤으며, 그리고 1915년 10월부터는 원산중리교회를 맡아 시무하였고 1920년 11월 보성사업을 경영하였다. 다시 1922년 통천구역장, 1923년 원산구역장, 1925년 가평구역장 등을 맡아 시무하였다. 1927년 9월 13일 67세에 은퇴하고 1939년 철원읍 자택에서 별세했다.