인공지능으로 야코비안 추측 반례를 찾았다
Gemini&chatGPT 2026. 7. 29. 11:18고등학교 수학 선생이지만 야코비안 추측은 처음 듣는다. 그렇게 유명한 난제는 아니지만 아무튼 사람이 풀지 못한 문제를 인공지능이 풀었다는 소식을 우연히 듣고 정리해 본다. 정확하게 말하면 뛰어난 수학자가 인공지능을 활용하여 반례를 찾은 것이다. 아직까지 인공지능 스스로 수학 난제를 찾아 해결할 수 있는 단계에 이르지는 못했다. 어쩌면 앞으로 한참 동안 다다르기 어려운 경지가 아닐까 싶다.
신진서 9단이 비록 두 점을 깔기는 했지만 인공지능 카타고를 이겼다는 소식도 들었다. 인공지능이 거품이라는 두려움으로 관련 주식이 한없이 떨어지고 있다. 일반 인공지능은 아직 멀었지만 인공지능이 거품이라는 걱정도 기우에 불과하다고 생각한다. 앞으로 수년 안에 인공지능 없이는 생활할 수 없는 시대가 올 것이다. 인공지능이 유토피아를 만들지 디스토피아를 만들지는 결국 이용하는 사람에게 달려있다. 처음 인터넷이 등장했을 때, 또 스마트폰이 나왔을 때 재빠르게 적응한 사람들은 성공했고 뒤떨어진 사람은 실패했다.
챗지피티에게 물었다. 야코비안 추측이 해결되었다면서?
반례를 찾은 야코비안 추측
야코비안 추측은 최근 반례로 해결됐습니다.
2026년 7월 19~20일, 수학자 **레벤트 알푀게(Levent Alpöge)**가 복소수 3차원에서 명시적인 반례를 발표했습니다. 따라서 일반적인 야코비안 추측은 참이 아니라 거짓입니다. 다만 2차원 야코비안 추측은 여전히 미해결입니다.
1. 원래 추측
복소수 계수 다항식 사상
$$F:\mathbb C^n\rightarrow \mathbb C^n$$
의 야코비안 행렬을 DF라고 하겠습니다.
야코비안 추측은
$\det DF=\text{0이 아닌 상수}$
이면 F가 다항식 역함수를 가져야 한다는 주장입니다.
직관적으로는 “모든 점에서 국소적으로 찌그러지거나 접히지 않는 다항식 변환은 전체적으로도 되돌릴 수 있을 것”이라는 생각입니다.
2. 발견된 반례
다음 다항식 사상을 생각합니다.
$F(x,y,z)=(f_1,f_2,f_3)$
여기서
\begin{aligned}
f_1={}&(1+xy)^3z+y^2(1+xy)(4+3xy),\\
f_2={}&y+3x(1+xy)^2z+3xy^2(4+3xy),\\
f_3={}&2x-3x^2y-x^3z.
\end{aligned}
이 사상은 $\mathbb C^3\to\mathbb C^3$인 다항식 사상입니다.
3. 야코비안 조건 확인
야코비안 행렬은
$$DF=
\begin{pmatrix}
\frac{\partial f_1}{\partial x}&
\frac{\partial f_1}{\partial y}&
\frac{\partial f_1}{\partial z}\\
\frac{\partial f_2}{\partial x}&
\frac{\partial f_2}{\partial y}&
\frac{\partial f_2}{\partial z}\\
\frac{\partial f_3}{\partial x}&
\frac{\partial f_3}{\partial y}&
\frac{\partial f_3}{\partial z}
\end{pmatrix}.$$
각 성분을 미분하여 행렬식을 전개하고 정리하면
$$\boxed{\det DF=-2}$$
가 됩니다.
즉, 야코비안 행렬식은 모든 $(x,y,z)$에서 $0$이 아닌 상수입니다. 따라서 이 사상은 야코비안 추측의 가정을 정확히 만족합니다. 이 계산은 Isabelle/HOL 같은 정리 증명 시스템으로도 독립 검증됐습니다.
4. 그런데 일대일 함수가 아님
서로 다른 세 점을 잡습니다.
$P_1=\left(0,0,-\frac14\right),$
$P_2=\left(1,-\frac32,\frac{13}{2}\right),$
$P_3=\left(-1,\frac32,\frac{13}{2}\right).$
이 점들을 F에 대입하면 모두
$$F(P_1)=F(P_2)=F(P_3)=\left(-\frac14,0,0\right)$$
이 됩니다.
예를 들어 $P_1$에서는 $xy=0$이므로
$$f_1=-\frac14,\qquad f_2=0,\qquad f_3=0.$$
$P_2$에서는$\displaystyle{xy=-\frac32}$, 즉 $\displaystyle{1+xy=-\frac12}$입니다. 이를 대입하면
\begin{aligned}
f_1
&=\left(-\frac12\right)^3\frac{13}{2}
+\frac94\left(-\frac12\right)
\left(4-\frac92\right)\\
&=-\frac{13}{16}+\frac{9}{16}
=-\frac14,
\end{aligned}
그리고 마찬가지로
$$f_2=0,\qquad f_3=0$$
을 얻습니다. $P_3$도 동일한 값으로 갑니다.
5. 이것으로 왜 추측이 무너지는가
역함수가 존재한다면 $F$는 반드시 일대일이어야 합니다.
그런데
$$P_1\ne P_2\ne P_3$$
임에도
$$F(P_1)=F(P_2)=F(P_3)$$
이므로 $F$는 일대일이 아닙니다. 따라서 역함수가 존재할 수 없고, 당연히 다항식 역함수도 존재하지 않습니다.
결론은
$$\det DF=-2\ne0$$
이지만
$$F^{-1}\text{는 존재하지 않는다}.$$
따라서
$$\boxed{\text{3차원 이상의 일반 야코비안 추측은 거짓}}$$
입니다.
$n>3$에서는
$$\widetilde F(x,y,z,t_4,\dots,t_n)
=
(F(x,y,z),t_4,\dots,t_n)$$
처럼 나머지 좌표를 그대로 두면 같은 반례가 되므로 모든 $n\ge3$에서 추측이 거짓입니다.
현재 남은 문제
현재 차원별 상태는 다음과 같습니다.
\begin{array}{c|c}
n & \text{상태}\\ \hline
1 & \text{참}\\
2 & \text{여전히 미해결}\\
n\ge3 & \text{반례가 있으므로 거짓}
\end{array}
핵심은 “야코비안 행렬식이 0이 아니면 국소적으로는 역함수가 존재한다”는 역함수정리와, “전체 공간에서 전역적으로 일대일이다”라는 명제 사이에 큰 차이가 있다는 점입니다. 이 반례는 국소적으로는 완벽하게 가역적이지만 서로 다른 세 점이 한 점으로 합쳐지는 전역적 현상을 보여줍니다.
야코비안 추측(Jacobian Conjecture)이란?
야코비안 추측은 1939년 Ott-Heinrich Keller가 제기한 대수기하학의 대표적인 난제입니다.
간단히 말하면,
야코비안 행렬식이 항상 0이 아닌 상수인 다항식 함수는 반드시 다항식 역함수를 갖는가?
라는 질문입니다.
문제의 수학적 표현
다항식 함수
$$F=(f_1,f_2,\cdots,f_n):\mathbb{C}^n\rightarrow\mathbb{C}^n$$
를 생각합니다.
각 $(f_i)$는 다항식입니다.
예를 들어
$$F(x,y)=(x+y^3,;y)$$
도 다항식 함수입니다.
야코비안 행렬
편미분을 모으면
$$
J_F=
\begin{pmatrix}
\frac{\partial f_1}{\partial x_1}&\cdots&\frac{\partial f_1}{\partial x_n}\
\vdots&&\vdots\
\frac{\partial f_n}{\partial x_1}&\cdots&\frac{\partial f_n}{\partial x_n}
\end{pmatrix}
$$
을 얻습니다.
이 행렬의 행렬식을
$$\det(J_F)$$
라고 합니다.
추측의 내용
만약
$$\det(J_F)=c$$
이고
$$c\neq0$$
인 상수라면,
(F)는 반드시 다항식 역함수를 가진다.
즉,
$$F^{-1}$$
도 다항식이어야 한다는 것이 원래의 추측입니다.
왜 중요한가?
야코비안 행렬식은 작은 영역에서는 함수가 뒤집히지 않는다는 것을 의미합니다.
미적분학의 역함수 정리에 따르면
$$\det(J_F)\neq0$$
이면 각 점 근처에서는 역함수가 존재합니다.
하지만
- 국소적으로 역함수가 존재한다.
- 전역적으로도 역함수가 존재한다.
는 전혀 다른 문제입니다.
야코비안 추측은
"국소적으로 항상 역함수가 있으면 전역적으로도 역함수가 있는가?"
를 다항식의 세계에서 묻는 문제였습니다.
쉬운 예
예를 들어
$$
F(x,y)=
(x+y^2,;y)
$$
이면
야코비안 행렬은
$$
\begin{pmatrix}
1&2y\
0&1
\end{pmatrix}
$$
이고
행렬식은 $1$입니다.
역함수는
$$F^{-1}(u,v)=(u-v^2,;v)$$
가 되어 역시 다항식입니다.
따라서 이 함수는 추측과 잘 맞습니다.
왜 어려웠을까?
대부분의 예에서는 정말 역함수가 존재합니다.
수십 년 동안
- 차수 2인 경우
- 여러 특수한 경우
- 다양한 차원의 일부 경우
가 모두 참이라는 결과가 나왔습니다.
그래서 많은 수학자들은
"아마 항상 참일 것이다."
라고 믿었습니다.
하지만 일반적인 경우를 증명하지 못해 80년 넘게 난제로 남았습니다.
2026년의 변화
2026년에는 Levent Alpöge와 AI 시스템 Claude를 활용한 연구에서 3변수 이상에 대한 반례가 제시되어, 원래 형태의 야코비안 추측은 거짓이라는 강력한 증거가 제시되었고 여러 연구자들이 이를 검증했습니다.
이 반례는
- 야코비안 행렬식은 항상 0이 아닌 상수이지만,
- 서로 다른 여러 점이 같은 점으로 보내져
- 전역적인 역함수가 존재하지 않는 예를 제공합니다.
따라서 원래의 추측은 성립하지 않는 것으로 받아들여지고 있습니다.
핵심 한 줄
야코비안 추측은
"다항식 함수의 야코비안 행렬식이 항상 0이 아닌 상수이면 그 함수는 반드시 다항식 역함수를 갖는다."
라는 명제였으며, 오랫동안 미해결 문제로 남아 있다가 2026년 제시된 반례에 의해 원래 형태는 거짓인 것으로 받아들여지고 있습니다.
제미나이의 대답
제미나이에게도 물었다. 인공지능으로 야코비안 추측을 증명했다는 소식 알아?
정확히 말하자면 증명한 것이 아니라, 반례(Counterexample)를 찾아내 추측이 틀렸음을 입증(거짓임을 증명)했다는 뉴스다.
87년 동안 수학자들을 괴롭힌 대수기하학의 대표적 난제가 AI의 도움으로 단칼에 무너진 사건이다.
* 야코비 추측(Jacobian Conjecture)이란?
1939년 오트하인리히 켈러(Ott-Heinrich Keller)가 제기한 문제다. 다항식 함수에서 국소적 변화율을 나타내는 야코비 행렬식(Jacobian determinant)이 전 영역에서 0이 아닌 상수라면, 그 함수는 전체 영역에서 역함수(다항식 역원)를 가진다는 추측이었다. 쉽게 말해 "모든 부분이 꼬이거나 뭉개지지 않고 매끄럽게 변환되면, 전체 변환도 깔끔하게 되돌릴 수 있다"는 직관에 기반한 생각이었다.
* AI가 찾아낸 반례
수학자 레번트 알포게(Levent Alpöge)가 AI 모델(Claude Fable 5)과 협력하여, 야코비 행렬식이 항상 $-2$라는 상수를 만족하지만 서로 다른 3개의 입력값이 같은 출력값으로 매핑되는 $\mathbb{C}^3 \to \mathbb{C}^3$ 다항식 사상을 찾아냈다.
식 자체는 불과 200여 자 남짓으로 매우 간결하며, 대수적 검증 도구인 Lean을 통해 즉시 수학적 오류가 없음이 자동 검증되었다.
* 수학계에 미친 파장
그동안 수많은 대수기하학 논문들이 "만약 야코비 추측이 참이라면..."이라는 전제하에 정리들을 발전시켜 왔기 때문에, 추측의 무너짐은 해당 분야에 엄청난 충격을 주었다. 동시에 인간의 직관으로 탐색하기 어려웠던 거대한 다항식 탐색 공간을 AI가 효율적으로 훑어내어 반례를 포착할 수 있음을 증명한 상징적인 사건으로 평가받는다.
