페르마의 문제

[손님]

피타고라스의 정리를 모르는 사람은 없을 것이다. 직각삼각형의 가로의 제곱과 세로의 제곱을 더하면 빗변의 제곱이 된다는 사실은 이미 2500년전 피타고라스 때부터 아니 그 이전부터도 알고 있었고, 특히 건축에서 긴요하게 활용되어 왔다. 심지어 어떤 목수는 왜 그런지 원리를 모르면서도 자기가 세운 기둥이 직각이 되느냐를 확인하기 위하여 땅에 30cm되는 곳에 점을 찍고 기둥 위에 40cm되는 곳에 점을 찍은 후에 두 점을 연결한 길이가 50cm가 되는가를 보는 것이다.



x2+y2=y2의 피타고라스 정리를 만족시키는 x, y, z의 세수는 무한이 많이 있다. 그런데 여기서 한발 더 나가서 다음과 같은 발상을 해보자. 일반식인 xn+yn=yn은 해를 갖고 있는지 등.



법학자로 법원에 근무하며 취미로 수학에 몰두했던 피에르 페르마(Pierre de Fermat)는 디오판토스가 쓴 고전 교본인 산학(Arithmetica)의 사본을 읽다가 x2+y2=y2 이라는 피타고라스 방정식과 마주치게 되었다. 그래서 그는 방정식 주변 여백에 다음과 같은 유명한 주석을 썼다.



"방정식 xn+yn=yn 은 n=2일 경우에만 정수해 x, y, z를 가진다(그러면 이 방정식을 만족하는 무한히 많은 조합의 x, y, z 3수가 존재한다). 그러나 n>2인 경우에는 해가 없다. 나는 이 명제에 대한 경이적인 증거를 발견했는데, 불행히도 이 책 여백에는 그것을 다 적기에 너무 좁다."



이것이 17세기 프랑스의 아마추어 수학자 페르마가 아리스메티가라는 책에 남긴 페르마의 마지막 정리(Fermat's Last Theorem)이다. 이를 엄밀하게 표현하면 다음과 같다.



"xn+yn=yn (n은 3이상의 정수)을 만족하는 정수해 x, y, z는 존재하지 않는다. 단, x, y, z중 하나가 0이거나 모두 0인 경우는 제외한다."



이 내용은 페르마가 죽은 후에 그의 아들이 아버지의 수학적 업적을 정리하여 책으로 출판한 이후로 여백을 핑계로 남기지 않은 증명과정을 밝히기 위해 무려 350년 동안 수많은 수학자들을 실패와 좌절의 늪으로 몰아 넣었다. 1908년에는 "볼프스켈 상" 이 발표되었는데 2007년 9월13일까지 페르마의 정리를 증명하는 사람에게 오늘날 가치로 약 20억원(5만달러)을 상으로 준다는 내용이다. 일평생을 이 수수께끼와 씨름한 사람이 있는가 하면 심지어 너무 고민하다가 스스로 목숨을 끊은 경우의 수학자도 한 두 사람이 아니었다. 많은 수학자들이 증명을 하였다고 큰 소리치다가 발표현장에서 잘못된 점이 지적되거나 아니면 몇일 후에 잘못된 부분이 지적되기도 하였다.



그런데, 1970년대 당시 10대 소년이던 앤드루 와일즈(Wiles)가 영국 케임브리지의 도서관에서 이 정리를 만나면서 운명의 역사는 시작된다. 여기에 인생을 건 그는 수학자가 되고, 1993년 케임브리지대학 뉴턴수학연구소에서 그 증명과정을 처음 소개하는 세기의 사건을 일으킨다. 당시에 전 세계의 메스컴들이 앞 다투어 이 사실을 보도했고 BBC방송국의 호라이즌 제작 팀도 이 역사적인 사실을 다큐멘터리로 제작하려는 계획을 세웠다. 그러나 그 후 와일즈의 증명에서 조그만 오류가 발견되었다. 1년간의 또 다른 비밀 작업이 계속되었지만 와일즈는 날이 갈수록 미궁에 빠져들어갔고 드디어 TV방송국의 계획도 취소되었으며 세상 사람들은 과거에 수 많은 수학자들이 밟아왔던 길을 와이즈도 걷고 있다고 생각하기에 이르렀다. 하지만, 작은 오류를 수정하는 1년의 각고와 악몽을 다시 겪고, 1997년 볼프 스켈상 5만 달러를 받으면서 드라마는 끝난다.



아무한테도 알리지 않고 7년간 외로운 싸움이라 할 수 있는 연구 끝에 발표한 와일즈는 전세계 수학계로부터 쏟아지는 찬사를 받았다. 그의 증명은 여러 분야의 수학적 개념들을 하나로 통합한 "통일된 수학"의 기틀을 마련했다. 페르마의 정리는 현대 수학의 모든 테크닉을 총동원해야만 증명될 수 있는 수학의 정점인 것이다.



사실 와일즈는 그 자신이 7년간 연구하면서 이 사실을 비밀에 부치기 위하여 다른 분야의 논문을 몇 편 미리 써놓고 가끔씩 그 논문들을 발표하여 마치 자기는 페르마의 정리와는 관계없는 연구를 하는 것처럼 위장술을 발휘하였던 것이다. 왜냐하면 와일즈는 그가 연구하는 내용이 세상에 알려지고 마지막 중요한 단계에서 다른 수학자가 몇 년 동안 와일즈가 투자한 시간을 공짜로 벌고 한발 앞서서 최종결과를 발표하여 명예를 독차지하게 될 것을 매우 두려워했기 때문이다. 이러한 생각은 비단 수학자 뿐만 아니라 모든 연구가들에게 있어서 마찬가지 일 것이다. 오류를 해결하려는 또 다른 세월 속에서 지치다가 더 이상 못 견디게 되었을 때 와일즈는 테일러 교수를 만났고 둘이 서로를 격려해가며 마지막 투혼을 불사르고 있었다.



마침내 와일즈는 평생 잊을 수 없는 환희의 순간을 맞이했다. 그는 계산 결과를 약 20분 동안 멍하니 바라보았다고 한다. 드디어 해낸 것이다. 1994년 10월 25일 페르마는 자신이 증명한 "페르마의 마지막 정리", 그리고 동료교수인 리처드 테일러와 함께 증명한 "헤게 대수학의 고리이론적성질" 두 논문을 전자우편으로 공개하였는데 두번째 논문은 첫번째 논문에서의 가장 중요한 부분을 집중적으로 다루었다. 94년의 논문은 와일즈가 쓴 132쪽짜리 논문과 리처드 테일러 함께 쓴 17쪽 짜리 논문의 분량이다.



※ 와일즈가 해낸 페르마의 마지막 정리 증명과정에서 우리는 다음과 같은 교훈을 얻을 수 있다.



1. 해결할 수 있다는 자신감이다. 대부분의 사람들이 오류가 발견되는 순간 맥이 빠져서 포기해 버리는 경우가 많다.



2. 연구 내용을 공개해야 한다. 연구자 자신도 그 전까지 누군가가 해왔던 결과에 많은 의존을 하고 있으면서 자기 자신만 공개하지 않고 진행하다가 딴 길로 가는 경우를 많이 보아왔지 않은가.



3. 자신이나 타인의 실패한 경험을 버리지 말아야 한다. A 아니면 B, B아니면 C 하는 식으로 극단으로만 나갈 것이 아니라 A와 B의 사잇길 a, 또는 B와 C의 사잇길 b, 심지어는 a와 b의 사잇길인 c에서 원하는 해답을 찾을 수 있다.