‘페르마의 마지막 정리’.

1993년 여름, 도서관에서 페르마 정리가 마침내 증명된 것 같다는 신문 기사를 읽었을 때 나는 이번에도 괜한 호들갑에 그칠 거라고 생각했다. 300년이 넘도록 수많은 수학자들을 절망에 빠뜨렸던 골치덩어리 문제가 이렇게 쉽게 풀릴 거라고 믿고 싶지 않았기 때문이었다.

아니나 다를까 몇달 뒤 심각한 오류가 발견됐다는 뉴스가 터져 나왔고 페르마의 정리는 여전히 수수께끼로 남는 것 같았다. 그러나 14개월 뒤인 1994년 9월, 엔드루 와일즈는 마침내 오류를 바로잡았고 페르마의 정리를 완벽하게 증명해 냈다. 수학 역사를 통털어 가장 짜릿하고 감동적인 순간이었지만 상대적인 박탈감을 느꼈던 건, 나같은 얼치기 수학자만이 아니었을 것이다. 나는 그때 21살이었고 막 ‘이정환의 원주율 공식’을 만들어 내기도 했다. (알고 봤더니 이미 1600년대부터 알려진 공식.)

“Cuius rei demonstrationem mirabilem sane detexi banc marginis exguitas caperet. 나는 경이적인 방법으로 이 정리를 증명했다. 그러나 책의 여백이 너무 좁아 여기에 옮기지는 않겠다.” / 피에르 드 페르마.

도대체 페르마의 마지막 정리가 뭐길래, 이 난리법석일까. 간단히 설명하겠다.

먼저 피타고라스의 정리를 모르는 사람은 없을 거라고 생각한다. 직각삼각형에서 빗변의 길이를 제곱한 값은 나머지 두변의 길이를 각각 제곱해 더한 값과 같다. 이를 수식으로 정리하면 다음과 같다.

x²+y²=z²

가장 쉽게 찾을 수 있는 경우는 3과 4와 5다. 5와 12와 13도 있고 20과 21과 29도 있다. 더 큰 수로는 99와 4900과 4901도 있다. 의심나면 직접 계산해 봐도 좋다. 쉽게 찾기는 어렵지만 피타고라스의 정리를 만족하는 정수 해는 얼마든지, 무한하게 많다. 수학적으로도 증명된 사실이다.

문제는 제곱이 아니라 3제곱이나 4제곱, 5제곱이면 어떨까.

x³+y³=z³

xⁿ+yⁿ=zⁿ

정말 간단해 보인다. 그러나, 어디 한번 찾을 수 있으면 찾아봐라. 이걸 풀려고 350년 동안 젊음과 열정을 모두 쏟아붓고 망가진 유능한 수학자들이 한둘이 아니었다. 페르마는 지수 ‘n’이 2보다 클 경우, 이 방정식을 만족하는 정수 해가 없다면서 이를 수학적으로 증명까지 마쳤다고 주장했다. 페르마는 죽었고 그가 어떤 방법으로 이를 증명했는가는 알려져 있지 않다.

다만 페르마는 또 다른 메모에서 ‘n’이 4일 경우의 해법을 구해놓았다. 16세기의 전설적인 수학자 오일러도 허수의 개념을 도입해 ‘n’이 3인 경우의 해법을 구했다.

3과 4의 경우가 증명되면서 일손은 크게 줄어들었다. 3은 소수다. 소수가 아닌 모든 자연수는 소수의 곱으로 만들어 질 수 있으니까, 이제 우리는 3 이상의 소수의 경우만 계산하면 된다. 이어 1825년과 1839년에는 각각 5와 7의 경우가 증명됐다. 그러나 안타깝게도 소수의 개수는 무한하게 많고 아무런 규칙도 뽑아낼 수 없었다.

“저는 운명 같은 걸 느꼈어요. 이 문제를 내가 풀어야 한다는 일종의 의무감 같은 거였지요. 그날 이후로 페르마의 마지막 정리는 한시도 제 머리속을 떠나지 않았습니다.” / 엔드루 와일즈, 1963년 10살 무렵.

엔드루 와일즈는 캠브리지 대학에 입학해서 타원방정식을 공부한다. 운이 좋았다고 할 수 있다.

y²=x³+ax²+bx+c

타원방정식의 해는 무궁무진하다. 수학자들은 시계대수학이라는 방식을 고안해냈다. 12시가 곧 0시고 12시 다음이 1시인것처럼 이를 테면 5시 대수학에서는 5는 0과 같고 6은 1과 같다. 마찬가지로 7시 대수학에서는 9는 2와 같고 30은 3과 같다. 결국 시계대수학에서 타원방정식의 해는 유한할 수밖에 없다.

이를테면 다음과 같은 방정식에

x³-x²=y²+y

1시 대수학을 도입하면 해는 x=0, y=0인 경우, 1개가 나온다. 5시 대수학을 도입하면 해는 x=0, y=0인 경우와 x=0, y=4인 경우, x=1인 경우와 y=0인 경우, x=1인 경우와 y=4인 경우 4개가 나온다.

결국 이 방정식은 1시 대수학에서 1개, 2시 대수학에서 4개, 3시 대수학에서 4개, 4시 대수학에서 8개, 5시 대수학에서 4개, 6시 대수학에서 16개의 해를 갖는다.

타원방정식의 모든 해를 찾을 수는 없지만 이처럼 시간과 해의 숫자를 계산하면서 우리는 타원방정식의 함축된 정보를 얻을 수 있다. 그것은 우리가 DNA에서 생명체의 정보를 얻는 것과 비슷하다.

결정적인 힌트는 1953년 일본에서 왔다. 고로 시무라와 유타카 타니야마가 모듈 급수와 타원방정식의 급수와 완벽하게 같다는 사실을 발견한다. 전혀 다른 수학의 분야가 하나로 통합됐고 수학자들은 혼란에 빠졌다. 이를 ‘타니야마와 시무라의 추론’이라고 한다.

모듈급수는 쉽게 설명하면 4차원의 도형을 나타내는 방식이다. 타원방정식의 급수처럼 이를 테면 첫번째 요소의 개수는 3개, 두번째 요소의 개수는 2개, 세번째 요소의 개수는 8개 등등 무한대까지 모듈의 정보를 함축적으로 표현한다.

비슷한 무렵, 게르하르트 프레이는 독특한 주장을 내놓는다. 페르마의 정리를 만족하는 수 A와 B와 C가 있다고 가정해보자.

xⁿ+yⁿ=zⁿ

대입하면,

A^N+B^N=C^N

정리를 하면, y²=x³+(A^N-B^N)x²-A^NB^N

놀랍게도 타원방정식이 된다. 게다가 이 방정식은 ‘타니야마와 시무라의 추론’과 달리 모듈로 전환되지 않는다. 이제 상황이 복잡해진다. ‘타니야마와 시무라의 추론’이 맞지 않는 건, 페르마의 정리를 만족하는 수 A와 B와 C가 있다는 가정이 틀렸다는 걸 의미한다. 결국 ‘타니야마와 시무라의 추론’이 맞으면 페르마의 정리도 맞다는 이야기다.

세계의 수학자들은 이제 ‘타니야마와 시무라의 추론’에 목을 맸다. 엔드루 와일즈도 마찬가지였다. 와일즈는 학회에도 참여하지 않았고 그 흔한 논문도 한편 내지 않았다. 다른 학자들과 토론도 하지 않았다. 연구실에 틀어박혀서 가망없어 보이는 ‘타니야마와 시무라의 추론’을 파고 들었다. 와일즈는 페르마의 정리를 혼자 힘으로 증명해 낼 생각이었다.

“저는 대부분의 시간을 책상 앞에 앉아서 보냈습니다. 가끔씩은 문제를 단순화시킬 수 있는 실마리가 떠오르기도 했는데 워낙 추상적이어서 수학적으로 구체화시킬 수가 없었어요.”

이제 과제는 타원방정식의 급수와 모듈급수가 완벽하게 같다는 것을 증명하는 일이다. 모든 방향으로 무한히 뻗은 급수를 어떻게 모두 비교할 수 있을까. 와일즈는 에바르스트 갈루아의 군론을 활용했다. 한 방향의 모든 급수를 서로 비교하는 게 아니라 모든 방향의 한 급수를 비교하고 다음 급수로 넘어가는 방식이다. 와일즈의 계획은 하나의 도미노가 무너지면 모든 도미노를 무너뜨릴 수 있지 않겠는냐는 가정에서 출발했고 그 계획은 제대로 먹혀들었다.

그러나 발표 직후, 모든 것을 물거품으로 만들 수 있는 심각한 오류가 발견됐고, 그때부터는 정말 피를 말리는 시간이 계속됐다. 사람들은 논문을 공개하라고 아우성을 쳤고 비난과 조롱이 이어졌다. 논문을 공개하면 어떻게 될까. 수학자들이 벌떼처럼 달려들어 그 가운데 누군가가 오류를 바로잡고 모든 영광을 가로채가게 된다. 그렇게 할 수는 없는 일이다. 와일즈는 다시 연구실에 틀어박혔다.

“지난 세월 비밀리에 계산을 수행하면서 마음속에 간직해왔던 기쁨과 열정, 희망들도 이제는 거북하과 절망으로 변해 있었다. 어린 시절부터 간직해왔던 그의 꿈이 어느새 악몽으로 변해있었다.”

“와일즈는 논문을 공개하지 않았다. 뒷전에 물러선채 다른 사람이 증명을 완성해 온갖 영예를 가로채는 광경을 바라만 보기에는 지난 7년의 세월이 너무도 아까웠던 것이다.”

그러나 결국 14개월 뒤에 와일즈는 완벽하게 다듬어진 페르마의 정리를 내놓았다.

“지난 7년 동안 페르마의 정리는 제 삶의 일부분이었습니다. 인생의 목표기도 했고요. 이제 그 일을 해치우고 나니 속이 후련하면서도 마음 한구석이 텅빈 것 같은 느낌을 지울수가 없더군요. 제 자신의 일부분이 떨어져 나간 것 같은 기분이었습니다.”

350년이나 묵은 오랜 과제가 풀렸다. 세계의 모든 수학자들의 존경과 질투를 한몸에 받으면서 와일즈는 얼마나 자랑스럽고 기뻤을까.

“능숙한 문제 해결사는 두가지 자질을 동시에 갖고 있어야 한다. 끊임없는 상상력과 불굴의 의지가 바로 그것이다.” / 하워드 이브스.

“언어는 사라지지만 수학적 아이디어는 끝까지 살아남을 것이기 때문이다. 영원불멸한 것은 실제로 존재하지 않으나 수학자들은 이 단어에 가장 근접한 사람들이라고 할 수 있다.” / G. H. 하디.

‘페르마의 정리’는 지난 350년 동안 가장 매력적인 수학문제였다. 350년 전에 페르마도 이렇게 엄청난 방법으로 이 정리를 증명했을까. 그럴 것 같지는 않다. 페르마가 말한 ‘경이적인 방법’은 아마 ‘경이적인 착각’이었을 가능성이 높다. 페르마에게 아직 기대를 걸고 있고 자신이 있다면 다른 증명 방법을 찾아보는 것도 좋다. 뭔가 더 직관적이고 영감이 넘쳐나는 획기적인 증명 방법을 말이다.

페르마의 정리 말고도 아직 풀지 못한 수학 문제는 얼마든지 있다. 문제 하나에 100만달러씩 상금이 걸려있다. 관심이 있으면 찾아가 보도록.

참조 : 100만달러짜리 수학문제 7개. (이정환닷컴)
참조 : ‘골드바흐의 추억’을 읽다. (이정환닷컴)
참조 : 재미있는 정수론 이야기 몇가지. (이정환닷컴)

leejeonghwan.com audio