비유클리드 기하학의 발견

[귀뚜라미]

운동장에 직선을 그려 보자. 직선은 곡선과 달리 곧게 똑바로 그리면 된다. 이보다 더 긴 직선은 없을까? 고속도로의 차선을 생각해 보자. 얼마나 길고 곧게 뻗은 ‘직선’인가. 그런데 그 선을 비행기에서 내려다보면 사실은 굽은 선이다. 둥근 지구 위에는 선을 아무리 똑바로 그려도 굽을 수밖에 없기 때문이다. 이처럼 직선을 그릴 수 없는 공간을 생각하다 발견한 기하학이 있다. 바로 비유클리드 기하학이다.

지구와 같은 구면체 위에 직선을 그릴 수 있을까? <출처:sxc.hu>

직선은 곧은 선?!

거인이 지구 위에 삼각형을 그린다고 생각해 보자. 거인은 막대기로 삼각형 변을 똑바로 긋는다. 그런데 아무리 똑바로 그으려고 해도 둥근 지구 위에는 애당초 직선이 존재하지 않는다. 거인은 어떻게 삼각형을 그릴까? 거인이 삼각형을 못 그릴까 봐 걱정하기 전에 우선 직선의 의미부터 되짚어 보자. 우리는 직선을 똑바로 그은 선으로 알고 있다. 이것은 자연스러운 일이다. 학교를 졸업할 때까지 책에 나오는 직선은 항상 똑바로 그은 선이고, 곡선은 구부러져 있기 때문이다. 학교에서 배운 대로 직선을 생각한다면, 책상과 같이 평평한 평면 위가 아닌 땅 위에 그린 직선을 정말 직선이라고 말할 수 있을까? 그렇지 않다. 구부러진 곡면 위에 그린 직선은 모두 직선이 아니고, 거인이 구 모양 위에 그린 삼각형은 세 내각의 합이 180°보다 커지는 일이 벌어진다. 책상 위에 직선을 그릴 때는 직선이 되지만 땅바닥에 그릴 때는 직선이 아니라면 얼마나 황당할까. 이런 고민을 처음 한 사람은 이탈리아의 수학자 사케리(Girolamo Saccheri, 1667~1733)로 알려져 있다. 사케리도 처음에는 다른 수학자들과 마찬가지로 ‘원론’을 읽으면서 도형을 연구했다. 원론은 고대 그리스의 수학자 유클리드(Euclid, BC330?~BC275?)가 남긴 도형에 대한 책으로 도형에 대한 당시까지의 연구를 집대성한 책이다. 19세기까지 수학자들은 원론으로 기하학을 연구했다. 이 책에서는 어느 점에서나 직선을 그을 수 있다고 말하지만 직선이 무엇이라는 설명은 하지 않았다. 이유는 아주 간단하다. 우리가 어떤 용어를 정의한 후에 이를 사용하려면 그 정의에 들어 있는 말을 다시 정의해야 한다.

1570년 처음 영문으로 번역된 유클리드 원론.

예를 들어 (가)라는 용어를 정의하려고 (나)라는 용어를 사용했다면, (나)라는 용어를 정의하는 데 (다)라는 용어를 사용하게 된다. 또 (다)라는 용어를 정의하려면 또 다른 용어를 사용해야 한다. 결국은 정의할 수 없는 용어가 생긴다. 그래서 유클리드는 점, 선, 면과 같은 기본 용어는 정의하지 않았다. 이런 용어를 무정의용어라고 한다. 삼각형은 세 변으로 이루어진 도형이라고 정의하지만 직선은 그냥 직선일 뿐이다.

다섯 번째 공리를 부정하라

유클리드는 무정의용어를 사용한 것과 같은 이유로 다섯 가지 공리를 정해 도형을 연구하는 출발점으로 삼았다. 공리는 약속처럼 도형을 연구할 때, 증명 없이 모두 인정하고 시작하자는 내용이다. 사케리는 이 중 마지막 공리에 의심을 품었다. 다섯 가지 공리는 다음과 같다.

① 임의의 두 점을 지나는 직선이 항상 존재한다.
② 임의의 선분은 양 끝으로 얼마든지 길이를 연장할 수 있다.
③ 한 점을 중심으로 임의의 길이를 반지름으로 하는 원을 그릴 수 있다.
④ 모든 직각은 서로 같다.
⑤ 두 직선이 한 직선과 만날 때, 같은 쪽에 있는 내각의 합이 180°보다 작으면 이 두 직선을 연장할 때 180°보다 작은 내각을 이루는 쪽에서 반드시 만난다.

네 가지 공리는 분명하고 간단한데 비해 다섯 번째 공리는 받아들이기에 너무 복잡하다. 사실 다섯 번째 공리는 직선 밖의 한 점을 지나며 이 직선에 평행한 직선은 오직 한 개뿐이라는 것과 같다. 이것을 평행선 공리라고 부른다. 원론이 발표된 이후 19세기에 이르도록 사케리뿐만 아니라 많은 수학자들은 평행선 공리를 증명하려고 노력했다.

비유클리드 기하학 중 하나인 쌍곡기하에서의 테셀레이션. 원 가장자리로 갈수록 무늬가 무한히 작아진다. <출처: Doug Dunham(University of Minnesta Duluth)>

사케리는 많은 수학자들과 다르게 다섯 번째 공리를 부정해 모순을 증명하려고 했다. 그리고 그 과정에서 새로운 정리를 많이 얻었다. 하지만 사케리는 새로운 사실을 알았음에도 불구하고 다섯 번째 공리의 모순을 얻지 못했다는 이유로 연구한 것을 모두 버렸다. 그는 새로운 기하학 발견을 문 앞에서 포기한 수학자가 된 셈이다. 그러나 독일의 가우스(Karl Friedrich Gauss, 1777~1855)와 러시아의 로바쳅스키(Nikolai Ivanovich Lobachevskii, 1792~1856), 헝가리의 보여이(János Bolyai, 1802~1860)는 새로운 생각을 했다. 가우스는 평행선 공리를 부정하면 모순이 생기는 것이 아니라 새로운 기하학이 생긴다는 것을 알아챈 최초의 사람이다. 다만 평생 동안 이를 발표하지 않아 공식적인 발견자는 아니다. 반면 보여이는 1832년 논문에서 처음으로 이 사실을 발표했고, 로바쳅스키도 1829년쯤에 이 분야에 대한 체계적인 논문을 발표하면서 새로운 기하학을 세상에 알리기 시작했다. 이들이 사케리와 다른 점은 평행선 공리를 부정하면 유클리드 기하학에 관한 지식에 모순이 생기는 것이 아니라 새로운 기하학이 생긴다는 생각을 한 점이다. 하지만 당시 이런 생각은 2000년 이상 진리로 생각했던 유클리드 기하학을 뒤엎는 생각이어서 사람들에게 인정받기까지 오랜 시간이 걸렸다.

새로운 기하학에서는 모든 것이 달라진다

비유클리드 기하학 중 구면기하학은 구의 곡면을 다루는 기하학이다. 지구를 구라고 가정했을 때 지구 표면에서 두 지점을 잇는 가장 짧은 선을 생각해 보자. 서울과 샌프란시스코 사이의 항공노선은 평면지도에서는 구부러진 곡선으로 보여 먼 거리를 돌아가는 것처럼 보이지만 지구본에서 살펴보면 최단 거리임을 확실하게 알 수 있다. 이렇게 곡면 위에서 두 점 간의 최단 거리를 측지선이라고 한다.

구면기하학에서는 직선을 구의 중심을 포함하는 대원의 둘레로 정의한다. 두 점을 잇는 최단거리인 측지선은 대원의 일부다. 이처럼 평평한 면에서 직선은 끝이 없는 곧은 선이지만, 구면기하학에서 직선은 구의 중심을 포함하는 대원이라 길이가 유한하다. 따라서 구면기하학에서 두 직선은 반드시 두 점에서 만난다.

평면과 구면에서의 직선.

이제 거인이 구면 위에 삼각형을 그린다고 상상해 보자. 볼록한 구면에서 그리는 삼각형은 평평한 평면에서 그린 삼각형과 다르다. 이때 삼각형 내각의 합은 180°보다 커진다. 또 오목한 곡면을 다루는 쌍곡면에서는 삼각형 내각의 합이 180°보다 작다. 우리는 삼각형 내각의 합을 180°로 알고 있지만 이 사실이 언제나 옳은 진리는 아닌 것이다.

한편 1854년 가우스의 제자인 리만(Georg Friedrich Bernhard Riemann, 1826~1866)은 기하학의 기초에 관한 강연을 했다. 그는 곡률이라는 개념을 도입해 다섯 번째 공리가 성립하는 공간은 곡률이 0인 공간이고 곡률이 1이면 구면처럼 평행선이 없는 공간, 곡률이 -1이면 평행선이 무수히 많은 공간이 된다는 것을 이론으로 발표했다. 나아가 곡률이 정해진 수로 나타나지 않는 공간에 대한 이론도 세웠다. 리만의 노력으로 우리는 구면이나 말안장처럼 휘어진 공간을 다룰 수 있게 됐다.

구면에서는 삼각형 내각의 합이 180°보다 크다. 반면 안장 모양의 쌍곡면에서는 삼각형 내각의 합이 180°보다 작다.

새로운 기하학이 발표된 지 약 60년 뒤, 아인슈타인(Albert Einstein, 1879~1955)은 우주가 평평하지 않고 중력에 의해서 휘어 있음을 보였다. 그리고 일반상대성이론은 공간에 대한 기초 이론을 비유클리드 기하학에서 찾았다. 이처럼 유클리드의 다섯 번째 공리에 관한 의심에서 출발한 비유클리드 기하학은 미시공간과 극대 공간을 해석하는 이론으로 폭넓게 사용되고 있다.

글 남호영 / 서울 영신고등학교 교사