“나는 정말 놀라운 증명 방법을 발견했지만, 여백이 좁아서 적지 못한다.”
17세기 수학자 페르마(Fermat)가 노트에 남긴 이 메모는 수학사에서 가장 유명한 문 장 중의 하나다. 페르마는 ‘n이 2보다 큰 자연수일 때 X + Y = Z을 만족하는 0이 아 닌 정수 X, Y, Z는 존재하지 않는다’라고 적은 후, 노트 여백이 좁아서 그 증명은 생략한다는 메모를 남겼다.
이를 ‘페르마의 마지막 정리’라고 한다. 1994년 앤드루 와일즈가 해결하기 전까지 350여년 동안 수많은 수학자들이 이를 증명하기 위해 인생을 바쳤다. 파우스트처럼 자신의 영혼까지 기꺼이 악마에게 내줄 만큼 의욕적으로 페르마의 마지막 정리에 몰 두했던 수학자도 많았다.
수학자들에게 난공불락의 문제로 유명했던 페르마의 마지막 정리가 대중적 유명세를 얻게 된 계기는 상금 때문이다. 괴팅겐 왕립과학원은 1908년 볼프스켄의 유지를 받 들어 2007년 9월13일까지 페르마의 마지막 정리를 증명한 사람에게 10만 마르크의 상 금을 주기로 했다.
그 기간 내에 문제를 해결한 와일즈는 1997년 당시 미국 달러가 독일 마르크화에 강 세를 보이는 바람에 5만 달러라는 비교적 적은 금액을 상금으로 받았다. 페르마의 마 지막 정리는 수를 다루는 정수론 문제이지만, 와일즈는 타원곡선을 이용해 증명했다. 이는 어떤 문제를 한 방향에서만 생각하다가 다른 방향으로 사고를 전환해 예기치 않게 해결의 실마리를 찾는 일상적 경험과 비슷할 것이다.
1900년 프랑스에서 개최된 제2차 국제수학자회의에서 독일의 힐베르트(Hilbert)는 2 0세기 수학계가 풀어야 할 중요한 문제 23개를 제시했다. 그로부터 정확하게 100년 후 미국의 억만장자 클레이가 세운 클레이 수학연구소(CMI)도 문제당 100만 달러의 상금이 걸린 ‘밀레니엄 문제’ 7개를 제시했다.
21세기를 여는 시점에 제시된 밀레니엄 문제들은 이 세기에 수학자들이 올라야 할 산이라고 할 수 있다. 어떤 수학자는 산 입구의 등반로를 마련할 것이고, 그 덕분에 그 다음 수학자는 조금 높은 곳까지 올라가고, 결국 누군가는 정상에 도달하게 될 것 이다. 목표로 삼아 올라야 할 거대한 산봉우리가 있다는 것은 수학자에게 지적 희열 과 도전감을 느끼게 하는 연구의 촉매 역할인 셈이다.
수학자 리만(Riemann)이 내세운 ‘리만가설’은 100년 시차를 두고 힐베르트와 클레 이가 공표한 세기의 난제에 모두 포함됐다. 리만가설이 해결되면 소수(素數)의 많은 성질들을 밝힐 수 있게 된다. 소수는 2, 3, 5, 7, 11, 13과 같이 1과 자기 자신으로 만 나누어 떨어지는 수를 말하는데, 현재 광범위하게 사용되는 공개키 암호에서 중요 한 역할을 한다.
아주 큰 두 소수를 곱하는 것은 쉽지만, 매우 큰 합성수가 주어졌을 때 어떤 두 소 수를 곱해 그 합성수를 만들었는지 알아내는 데는 슈퍼컴퓨터를 동원해도 긴 시간이 걸린다. 만약 리만가설이 증명된다면 수학적으로 큰 획을 긋는 업적이 되겠지만, 짧 은 시간 안에 소인수를 찾을 수 있기 때문에 공개키 암호 체계가 무기력하게 뚫릴 수 도 있다. 그러고 보면 리만가설은 ‘양날을 가진 칼’인 셈이다.
또 하나의 유명한 밀레니엄 문제는 P=NP로 알려진 문제이다. 간단히 표현하면, P문 제는 답을 구하기 쉬운 문제이고, NP문제는 답이 주어지면 맞는지 확인하기 쉽지만 답을 구하기는 어려운 문제를 말한다. 예를 들어 400명 중에서 100명만 파티에 초청 하려 하는데, 주최 측에서 참석자들의 관계를 고려해 함께 초청하면 안 될 사람들의 목록을 주었다고 하자. 참석자들의 관계를 고려하면서 400명 가운데 100명을 뽑는 경 우를 찾는 것은 쉽지 않다.
그러나 선정된 참석자 목록이 주어지면 제대로 구성되었는지를 쉽게 확인할 수 있다 . 이런 문제가 NP문제이다. 다소 전문적 표현을 쓰면 P(Polynomial time) 문제는 해 결하는데 걸리는 시간함수가 다항함수 이하로 정해지는 경우이고, NP(Non-determinis tic Polynomial time) 문제는 시간함수가 다항함수로 결정되지 않는 경우를 말한다. P=NP의 요지는 NP가 결국 P로 환원된다는 것이다.
수학자에게 미해결 문제는 기독교인들의 ‘성배’와 같은 존재이다. 이런 난제들은 수학의 발전을 이끄는 원동력이다. 한 국가의 과학기술 수준이 그 나라 수학 수준을 넘어서기 어렵다는 점을 생각하면, 이런 문제를 해결하기 위한 노력은 과학기술 발전 의 견인차 역할을 할 수 있을 것이다.