1777년 그는 독일 브라운슈바이크에서 가난한 집안의 외아들로 태어났다. 그는 어려서부터 수학에서 뛰어난 재능을 보였고 브라운슈바이크 공작의 재정적 후원하에 중등교육과 대학 교육을 마쳤다. 1795-98년까지 괴팅겐대학에서 수학을 공부했고 1799년 헬름슈테트대학에서 박사 학위를 받았다. 학위 논문의 주제는 대수학의 기본 정리인 "복소계수를 갖는 모든 대수방정식은 복소해를 갖는다."는 것이다.
1801년 '세레스'라는 소행성의 궤도를 정확하게 계산해냄으로서 그의 뛰어난 계산 능력을 전 유럽에 알릴 기회가 되었다. 그는 단지 3개의 관측 기록만을 가지고 새로 개발한 최소제곱법을 이용하여 유럽의 많은 천문학자들이 실패한 계산을 성공적으로 수행했던 것이다.
1820년 가우스는 측지학에 관심을 기울여, 보다 지구를 정확하게 측정하기 위해 '헬리오트로프'를 발명했고, 가우스 오차 곡선을 도입하여 확률이 어떻게 해서 정규 분포 곡선으로 표시될 수 있는지 증명했다.
중력과 자기에 관해 관심을 가져서 근대 포텐셜 이론의 출발점이 된 실해석에 관한 연구를 수행했다. 빌헬름 베버와 공동으로 지자기를 연구하면서 전세계적인 관측망을 조직했다. 현재에도 가우스의 업적을 기려 자기장의 단위를 '가우스'로 부르고 있다.
그는 종교적인 성격이 매우 강했고, 정치적으로는 보수적이었다. 그의 내부에서는 명백히 반대되는 경향들조차도 효과적으로 잘 조화될 수 있었고, 수에 관한 비상한 기억력을 지닌 뛰어난 계산가인 동시에 이론가이자 응용 수학자였다.
가르치는 일을 싫어했기 때문에 제자가 많지는 않았지만 그의 영향은 155개에 달하는 출판물에 의해 널리 퍼졌다. 여러 분야에서의 뛰어난 업적 때문에 많은 대학에서 초청했지만 1855년 사망할 때까지 괴팅겐 대학 교수로만 재직했다. 그의 사후에 발행된 기념 주화에는 다음과 같은 찬사의 문구가 새겨져 있다.