나비에-스토크스, 그리고 AI가 마주한 수학의 세계::::수학과 사는 이야기

해안가를 걷다 보면 끊임없이 밀려왔다 부서지는 파도를 보게 된다. 규칙적인 듯하면서도 매 순간 다른 모양을 만들어내는 물결, 그리고 하늘을 흐르는 구름의 궤적을 바라보고 있으면 자연이 품은 무질서와 유연함에 문득 감탄이 든다.

일상에서 마주하는 공기와 물, 즉 '유체(Fluid)'의 흐름은 과연 수학의 언어로 완벽히 설명될 수 있을까.

자연의 흐름을 옮겨 적은 식, 나비에-스토크스 방정식

물리학과 수학에서는 유체의 운동을 설명할 때 나비에-스토크스 방정식(Navier-Stokes equations)을 쓴다. 19세기 프랑스의 공학자 클로드 루이 나비에(Claude-Louis Navier)와 영국의 수학자 조지 가브리엘 스토크스(George Gabriel Stokes)의 이름이 붙은 이 식은, 본질적으로 고등학교 물리에서 다루는 뉴턴의 운동 제2법칙($F = ma$)을 유체에 적용한 결과물이다.

$$\rho \left( \frac{\partial \mathbf{u}}{\partial t} + (\mathbf{u} \cdot \nabla)\mathbf{u} \right) = -\nabla p + \mu \nabla^2 \mathbf{u} + \mathbf{f}$$

식의 꼴은 묵직하지만 담고 있는 의미는 명료하다.

- 좌변은 유체 덩어리의 질량과 가속도를 나타낸다. 유체 입자가 시간에 따라 변하는 속도뿐 아니라, 위치를 옮겨가며 겪는 가속도(대류항)까지 꼼꼼히 반영한다.

- 우변은 유체를 움직이게 하는 압력의 차이($-\nabla p$), 끈적끈적한 점성으로 인한 마찰 저항($\mu \nabla^2 \mathbf{u}$), 그리고 중력과 같은 외력($\mathbf{f}$)을 뜻한다.

비행기 날개 주변의 공기 흐름부터 혈관 속 피의 순환, 일기예보의 대기 모델링까지 현대 공학과 과학은 모두 이 방정식을 바탕으로 수치 시뮬레이션을 수행한다.

매끄러운 시작, 그러나 끝을 알 수 없는 난제

놀랍게도 우리는 이 방정식을 실생활에서 유용하게 다루면서도, 수학적으로는 여전히 그 본질을 완전히 증명하지 못했다.

클레이 수학연구소(CMI)가 지정한 7대 밀레니엄 난제 중 하나가 바로 이 3차원 나비에-스토크스 방정식의 해의 존재성과 매끄러움(Smoothness) 문제다.

"부드럽고 온화한 초기 조건에서 출발했을 때, 시간이 지나도 유체의 속도나 에너지가 무한대로 치솟는 '특이점(Blow-up)' 없이 언제나 매끄러운 해가 존재하는가?"-

아무리 거친 소용돌이가 쳐도 현실의 유체는 분자 단위에서 에너지를 분산하며 흘러간다. 그러나 수학적으로는 방정식 자체가 어느 순간 발산하거나 깨지지 않는다는 엄밀한 보증을 3차원 공간에서 아직 세우지 못했다.

인공지능, 계산을 넘어 '증명'의 동반자로

최근 학계와 대중의 이목을 끈 흐름 중 하나는 인공지능(AI)이 수학 연구의 최전선에 들어서기 시작했다는 점이다.

얼마 전까지만 해도 컴퓨터의 역할은 방정식의 근사치를 빠르게 계산하는 '수치해석'에 머물렀다. 그러나 최근의 인공지능은 수학적 명제를 증명하는 형식 검증(Formal Proof)과 엄밀한 논리 전개 영역으로 나아가고 있다.

- 컴퓨터 지원 증명(Computer-assisted proof): 오차 범위를 엄밀하게 통제하는 구간 연산과 기계학습을 결합해, 특정 이상 유체 조건에서 실제로 해가 폭주(특이점 형성)할 수 있음을 인간 수학자와 함께 증명해내는 연구가 이어지고 있다.

- 형식적 증명 언어(Lean 등)와의 결합: DeepMind의 AlphaProof처럼 고난도 올림피아드 수학 문제를 논리적 언어로 번역하고 엄밀하게 해법을 찾아내는 모델들이 등장하면서, AI는 단순한 계산기를 넘어 수학자의 '사유를 돕는 파트너'로 자리 잡았다.

밀레니엄 난제 자체가 하루아침에 AI에 의해 완전히 해결된 것은 아니다. 그러나 인간이 수십 년간 펜과 종이로 다져놓은 논리의 길목에서, AI가 방대한 경우의 수를 좁히고 엄밀한 검증을 뒷받침하는 새로운 장이 열렸음을 보여준다.

교실에서, 그리고 책상 위에서

학생들에게 미적분이나 벡터를 가르치다 보면 "이 복잡한 수식을 배워서 어디에 쓰나요?"라는 물음을 자주 받는다.

그럴 때면 창밖의 바람과 파도를 가리키고 싶어진다. 자연이 빚어내는 가장 자유로운 움직임을 단 몇 줄의 편미분방정식으로 붙잡으려 했던 수학자들의 오랜 집념, 그리고 수백 년이 흐른 오늘날 인공지능이라는 도구를 쥐고 그 신비를 한 꺼풀씩 벗겨내는 인류의 지적 여정이 바로 이 식 안에 고스란히 담겨 있기 때문이다.

도구가 아무리 정교해져도, 자연의 현상에 물음을 던지고 그 대상을 수학으로 추상화하는 일은 여전히 인간의 사유 속에 남아 있다. 바다를 곁에 두고 수식을 생각하는 오늘, 수학이 가진 변함없는 깊이를 다시금 돌아본다.