황해도 장연에서 지주인 아버지 김윤방(金允邦)과 어머니 김몽은(金蒙恩)의 3녀로 태어났다. 김윤방은 일찍이 기독교에 입교하여 고향 마을에 초등학교를 세운 선각자였는데, 김마리아가 어릴 때 사망했다. 그는 아버지가 설립한 소래보통학교를 졸업했고, 어머니도 곧 사망하여 김윤오, 김필순 등 숙부들의 슬하에서 자라났다.
김마리아의 집안은 민족 의식이 투철한 명문가였다. 김마리아의 고모부인 서병호와 그의 아들인 서재현은 대한민국 임시정부에서 일한 독립 운동가였으며, 김규식의 부인이며 역시 독립 운동가인 김순애에게는 김마리아가 나이 어린 종고모가 된다. 세브란스의학전문학교을 졸업한 숙부 김필순은 나중에 임시정부를 세운 노백린, 류동렬, 이동휘, 김규식 등과 가까운 사이로, 김마리아는 숙부의 집에서 연동여학교(정신여자고등학교의 전신)를 다니면서 민족정신을 갖고 있는 집안 어른들의 영향을 받게 되었다.
1910년 연동여학교를 졸업하고 광주의 수피아여학교(수피아여자고등학교의 전신)와 모교에서 교사로 근무했다. 1914년에는 일본으로 유학을 떠나 히로시마 시를 거쳐 도쿄 여자학원에서 수학했다.
독립운동
1919년 도쿄 여자학원 졸업을 앞두고 도쿄 유학생들이 중심이 되어 2·8 독립 선언이 일어나자 황애덕 등과 함께 적극 참가했다. 곧이어 3·1 운동이 일어났을 때도 미리 귀국하여 황해도 지역의 운동에 관여했다가 체포, 구금되었다. 이때 고문을 당해 몸을 상한 뒤 평생 건강 문제로 고생하게 된다.
1919년 대한민국애국부인회 사건으로 징역 3년형을 선고받았으나 고문후유증으로 인한 병보석으로 풀려난 사이, 1920년 미국인 선교사의 도움으로 상하이로 탈출하여 대한민국 임시정부의 황해도 대의원이 되었으며, 난징의 진링(金陵) 대학에서 수학하였다. 1923년에는 미국으로 유학하여 파크 대학교와 시카고 대학교에서 공부하여 석사학위를 받은 뒤 뉴욕에서 신학을 공부하였다. 그는 뉴욕에서 다시 만난 황애덕, 박인덕 등과 함께 재미 대한민국애국부인회(근화회)를 조직하고 회장을 맡았다.
최후
1933년 귀국하였으나, 경성부에 체류할 수 없고, 교사활동도 신학 이외에는 가르칠 수 없도록 하는 등 일본 경찰의 제약이 뒤따랐다. 원산부의 마르다 윌슨 신학교에서 교편을 잡고 신학 교육에 힘쓰다가, 1943년 오래전 고문으로 얻은 병이 재발하여 원산의 사택에서 졸도한 뒤 1944년 평양의 병원에서 사망했다. 미혼으로 자손은 없었고, 시신은 유언대로 화장하여 대동강에 뿌려졌다.
사후
2ㆍ8 독립 선언에 함께 참가했던 이광수가 쓴 〈누이야〉(1933년)라는 시는 김마리아의 귀국을 기념하여 그를 소재로 쓴 것이며, 안창호가 김마리아같은 여성이 열명만 있었다면 한국은 독립이 되었을 것이라고 말했다는 이야기 나 고문을 하던 일본 검사가 탄복할 정도로 의지가 강했다는 일화 등이 남아 있다. 그는 1938년을 전후하여 천주교, 장로교, 감리교등 한국 기독교 주요 교파들의 신사참배 강요에 협력하여 기독교인들이 대거 변절하던 시기에도 신사참배를 거부하는 등 불굴의 의지로 사람들의 존경을 받았다.
1962년 건국훈장 독립장을 추서 받았으며, 1998년 7월 이 달의 독립 운동가로 선정되었다. 서울 보라매공원에 동상이 건립되어 있다. 2004년에는 독립기념관에 "독립이 성취될 때까지는 우리 자신의 다리로 서야 하고 우리 자신의 투지로 싸워야 한다"라는 문구를 적은 어록비가 세워졌다