20세기 수학연구의 많은 부분은 주제의 논리적 기초와 구조를 검증하는 데 전념되어 왔다. 이것은 점차 공리론(axiomatics) 즉 공준집합과 그것들의 성질에 관한 연구를 탄생시켰다. 많은 수학의 기본 개념이 눈부시게 발전되고 일반화되었으며, 집합론, 추상대수, 위상수학 같은 순전히 기본적인 분야가 광범위하게 발달되었다. 일반집합론은 까다로운 논증을 요구하는 약간 심오하고 혼란스런 역설에 부딪혔다. 그래서 주어진 가정으로부터 결론을 얻어내는 데 수학에서 사용하는 장치인 논리 자체를 면밀히 검토하게 되었으며, 마침내 수리논리가 등장하였다. 논리와 철학 사이의 유대는 현대의 다양한 수리철학의 주요 학파로 발전하였다. 그리고 20세기의 컴퓨터 혁명 또한 수학의 많은 분야에 깊은 영향을 끼쳤다.
데데킨트는 절단(Schnitt)라는 개념을 도입하여 수학의 기초를 확립하는 데 힘을 경주 하였다. 클라인은 해석학에서 많은 업적을 남겼을 뿐만 아니라 이른바 에를랑겐 목록(Erlangen Pragram)을 발표하여 기하학 전체를 명확하게 분류하고, 나아가서는 새로운 기하학이 탄생할 길을 트게 하였다. 또, 그는 수학 교육에도 참신한 의견을 제창하였다. 힐베르트의 기하학의 공리계의 연구는 현대의 공리주의 수학의 기초를 이루었다. 현대의 수학은 한편 그의 기초를 확립하는 작업을 강력히 추진하면서, 한편으로는 종래의 성과 위에 새로운 성과를 축적해 나가고, 또 수학의 많은 분야의 통일화와 그의 응용을 꾀하는 등 참으로 부단한 진보와 발전을 거듭하고 있는 것이다.
◆위상수학(Topology)
수학 여러 분야를 통합하는 학문으로 20세기에 그 위치를 확보하였다. 위치와 형상의 학문이라는 뜻에서 위상, 위상수학, 위상기하학이라 명명되었다. 기하학적 성질 가운데 도형의 연속적 변형에 의해서 변화를 받지 않는 것에 관한 연구로, 오일러의 다면체론에서 출발, 포앙카레의 대수적 토폴로지, 브로워의 부동점 정리(fixed point theorem)를 통해 정립되어 갔다.
위상기하학(topology)은 공간의 위상적 성질을 구체적으로 연구하는 수학의 한 분야. 공간의 1대1, 연속 그리고 그 역도 연속인 사상에 대하여도 불변인 성질, 즉 위상적 성질을 연구하는 기하학이다. 이를테면 구면과 위상동형인 2차원 폐다면체의 꼭지점의 수 V, 변의 수 E, 면의 수 F사이에는 V-E+F=2라는 관계가 성립한다는 오일러의 정리는 전형적인 문제인데, 이는 위상기하학의 출발점이 되었다. 이 밖에 이른바 한붓그리기의 문제를 포함하는 이론을 비롯하여 여러 이론이 알려져 있다. 그러나, 수학의 추상화에 따라서 그 대상도 구체적인 공간에서 추상적인 공간에까지 확장되었다. 이와 같이 추상공간을 위상공간이라고 하며, 위상적 방법과 대수적 방법을 병용함으로써 수학해석처리를 하는 부분이 탄생하게 되었다. 이러한 방법에 의한 수학, 즉 위상기하학을 비롯하여 위상공간론·위상해석학 등이 위상수학의 대종을 이루고 있다.
이상과 같이 위상기하학은 20세기 수학의 특징이 대역적인 성격을 단적으로 나타내고 있다는 의미에서 현대수학을 대표하는 것으로서 다른 여러 분야에도 큰 영향을 미치면서 더욱 다채로운 차원으로 발전하고 있다.
◆집합론의 모순
칸토어의 일반적인 집합론의 기초에 관한 역설 또는 모순이 발견되면서 수학의 기초가 위기를 맞게 되었다. 수학의 많은 부분을 집합론이 지배하고 있기 때문에 집합론에서 역설이 출현한다는 것은 자연스럽게 수학의 전반적인 기본 구조의 타당성에 대하여 의문을 제기 하는 것이다.
이 이야기의 역설적 특성은 "이발사는 스스로 면도하는가?" 라는 물음에 답을 하려고 할 때 나타난다. 만일 그가 스스로 면도를 한다면 자신의 주장과 일치하지 않으며, 그가 스스로 면도하지 않는다면 그는 자신의 주장에 따라야 한다.
집합론의 역설을 해결하기 위한 한 시도는 논리에서의 문제점을 찾아내는 것이며, 아무튼 일반적인 집합론에서의 역설의 발견이 논리의 기초를 철저하게 고찰하도록 만들었다.
◆수리철학
수학의 기초와 관련하여 주요한 세 사조, 소위 논리주의, 직관주의,형식주의가 탄생하였다. 물론 수학의 기초에 관한 어느 현대 사조도 어떻게 해서든지 수학의 기초에 관한 현재의 위기를 극복해야만 한다.
★ 러셀과 화이트헤드의 논리주의(logicism) : 논리주의적 명제는 수학이 논리학의 한 분야라는 것이다. 논리는 단지 수학의 한 도구라기보다는 수학의 선조가 된다. 모든 수학적 개념은 논리적인 개념에 의하여 정형화되어야 하고, 모든 수학의 정리는 논리의 정리로서 발전되어야 하며, 수학과 논리의 차이는 단순히 실제적인 편의에 의한 것이 된다.
화이트헤드(Allfred North Whitehead, 1861-1947)와 러셀(Bertrand Russell, 1872-1970)은 <수학의 원리, Principia mathematica, 1910-1913>에서 논리 자체에 대한 가정이나 공리의 집합으로부터 자연수체계를 연역해냄으로써 수학의 많은 부분을 논리와 동일시 하였고 집합론의 모순을 피하기 위하여 "유형 이론(theory of types)"을 사용하였다.
★ 브로워의 직관주의(intuitionism) :직관주의의 주제는 수학은 직관적으로 주어진 자연수의 수열에 관한 유일한 조립 방법에 의하여 건설되어야 한다는 것이다. 이 관점에 따르면, 한 객체를 이해하고 나서 하나 더, 그러고 나서 하나 더 하는 식으로 끝없이 이해하게 하는 원시직관이 수학의 기초에 존재한다.
직관주의자에게는 집합이 이미 만들어진 모임으로 생각될 수 없고, 집합의 원소가 하나씩 하나씩 만들어질 수 있는 방법에 의한 규칙으로 간주되어야만 한다. 이 집합의 개념에서는 "모든 집합들의 집합" 같은 모순된 집합의 가능성이 배제된다.
★ 힐베르트의 형식주의(formalism) : 형식주의자의 주제는 수학은 형식적인 기호체계와 관련 있다는 것이다. 이 관점에서 보면 수학의 용어는 기호에 지나지 않고 명제는 이 기호를 포함하는 식이며, 수학의 궁극적인 기저는 논리에 있지 않고 논리 이전의 표시나 기호의 모임과 이 표시의 연산의 합에 있는 추상적 현상의 모임으로 간주된다. 따라서 수학은 구체적인 내용이 전혀 없고 단지 이상적인 기호로된 원소을 포함하고 있기 때문에 다양한 수학의 분야의 모순성을 입증하는 것이 형식주의자의 계획의 중요하고 필요한 부분이 되었다. 그러한 무모순성의 증명을 동반하지 않으면 전체 학문이 근본적으로 의미가 없다. 형식주의자의 주제에서 극단까지 확장된 수학의 공리적 발전을 얻는다.
힐베르트는 <기하학 기초론, Grundlagen der Geomatrie, 1899>에서 유클리드의 내용적인 공리적 방법으로부터 현재의 형식적인 공리적 방법으로 수학적 방법을 강화하였다. 형식주의적 견해는 집합론의 역설에 의해 야기된 위기와 직관주의적 비평에 의해 야기된 고전수학에의 도전을 만난 후에 힐베르트에 의하여 발전되었다.
◆후 기
수학사는 너무나 방대하므로 서양 수학사의 패러다임 변천을 주제로 하여 이우영, 신항균 옮김 Howard Eves자음의 <수학사, An Introdnction to the History of Mathematics>를 중심으로 요약하였다.
이 요약을 통하여 학생들이 수학의 특징과 본질을 파악하는 데 도움이 되기를 바란다.