인류의 공학적 성취는 자연의 연속성을 통제 가능한 이산적 단위로 분절해온 기록이다. 2026년 현재, 이산수학이 탄생시킨 컴퓨팅 기계가 다시 인간의 전유물이었던 수학적 추론에 도전하는 역사적 변곡점에 서 있다.
1. 연속과 이산: 디지털 문명의 형이상학적 기초
자연의 물리적 현상은 미적분학의 세계관 안에서 무한히 연속적이다. 1과 2 사이에는 1.0001, 1.00001처럼 끝없는 값이 존재한다. 그러나 컴퓨터는 이를 유한하고 측정 가능한 단위로 쪼개어 이해하는 이산수학 기계이다. 이산의 세계에서는 1 다음의 숫자는 확실히 2라는 계단식 명확성만이 존재한다.
이 차이는 단순한 학문적 구분이 아니다. 알고리즘, 암호학, 상태 머신은 모두 이 유한한 이산 구조 위에서만 작동한다. 음악 파일 MP3를 생각해보라. 원래 소리의 파형은 연속적이지만, 컴퓨터에 저장하려면 초당 44,100개의 이산적인 숫자로 쪼개야 한다. 모든 디지털 기술의 핵심은 연속적인 세상을 이산적으로 분절하는 이 샘플링의 과정에 있다.
2. 노이즈와 수학의 전쟁: 부호 이론의 탄생
이산화된 데이터도 전송 과정에서 손상된다. 우주에서 날아드는 고에너지 입자 하나가 비트를 반전시키고, CD 표면의 작은 흠집이 수십 개의 비트를 한꺼번에 지운다.
1947년, 벨 연구소의 리처드 해밍은 주말마다 컴퓨터 오류를 손으로 수정하는 일에 지쳐 있었다. 그는 오류가 어디서 났는지를 수학이 스스로 찾아낼 수 없을까라는 질문을 붙들었다. 패리티 검사를 교차 배치하여 단일 비트 오류의 정확한 좌표를 자동으로 찾아내고 정정하는 구조가 그 답이었다. 오류가 발생하면 어느 패리티 그룹들의 검사가 실패했는지 확인하고, 그 그룹들이 교차하는 단 하나의 비트가 오류 위치임을 수학이 스스로 지목한다.
해밍 코드는 단일 오류에만 대응할 수 있었다. 리드-솔로몬 코드는 더 깊은 수학에서 출발한다. 데이터를 다항식 위의 점으로 표현하면, 라그랑주 보간법에 따라 충분한 수의 점이 남아 있는 한 사라진 점들을 복원할 수 있다. 1977년 보이저 호가 수십억 킬로미터 너머에서 전송한 사진이 온전히 복원된 것도, QR 코드의 30퍼센트가 찢겨나가도 내용을 읽을 수 있는 것도 이 원리 덕분이다.
3. 확률론적 지성의 등장과 그 균열
수학이 컴퓨터를 낳았고, 그 컴퓨터가 마침내 인공지능을 낳았다.
대규모 언어 모델은 인류가 만든 가장 정교한 언어 기계이다. 문맥을 읽고, 의도를 파악하고, 인간의 경험적 판단을 수식으로 변환한다. 전기 요금이 치솟는 피크 시간에 배터리를 방전하고 싼 새벽에 충전하는 최적 타이밍을, 선형 계획법 솔버가 계산한다. 인간이 말로 규칙을 설명하면 LLM이 그것을 솔버가 읽을 수 있는 제약 조건으로 바꾼다. 풍력 발전소의 터빈 배치를 결정할 때도 마찬가지이다. 바람과 기압과 온도라는 연속적 자연 현상을 이산적 단위로 잘라 LLM에 입력하면 최적의 위치가 도출된다. 슬라이드 2에서 출발한 샘플링의 원리가 전력 인프라 설계 안에서 살아 움직이고 있다.
단일 AI의 한계를 넘기 위해 두 AI가 서로를 검증하는 구조도 등장했다. 하나는 선형 계획법 솔버를 돌려 최적 해를 계산하고, 다른 하나는 그 해가 모든 제약 조건을 만족하는지 검토한다. 회계사가 계산하고 감사자가 검토하는 것처럼, 수학적 엄밀성을 구조 자체에 심어놓은 것이다.
그러나 그 화려한 능력 이면에 구조적 취약성이 잠복해 있다. LLM은 본질적으로 확률론적 기계이다. 다음에 올 가장 그럴듯한 단어를 통계적으로 예측하는 것이 그 작동 원리의 전부이다.
소프트웨어 인프라는 타협하지 않는다. 은행의 이체 시스템은 오늘도 내일도 호출될 때마다 정확히 같은 방식으로 작동해야 한다. 항공기의 제어 소프트웨어는 폭풍우 속에서도 단 한 번의 예외 없이 동일한 결과를 돌려줘야 한다. 예외는 재앙이다. 단 한 번의 예외가.
잔고가 100달러인 계좌에서 1,000달러 이체를 시도하는 해커를 생각해보라. AI가 짠 이체 함수는 단위 테스트 50개를 통과했다. 우리가 생각한 모든 케이스를 확인했다. 그러나 해커는 우리가 생각하지 못한 케이스를 공격한다. 함수는 조용히 -900을 반환한다. 시스템은 무너지지 않았다. 그냥 틀렸다. 그것이 더 무섭다.
이것이 충돌의 본질이다. 정확도의 차이가 아니다. 존재 방식 자체가 다른 두 세계가 강제로 맞붙은 것이다. 확률론적 세계는 대부분 맞으면 된다는 논리로 움직인다. 결정론적 세계는 단 한 번의 예외도 없어야 한다고 요구한다. 이 둘은 타협이 불가능하다. AI가 아무리 발전해도 확률론적 본질을 유지하는 한 결정론적 인프라와의 긴장은 사라지지 않는다.
그 간극의 비용이 숫자로 나타난다. AI 생성 코드의 취약점은 인간 작성 코드보다 2.74배 높다. 연간 6,440억 달러. 속도를 위해 무결성을 포기한 청구서이다.
4. 무결성을 향한 두 개의 관문
이 균열을 봉합하기 위한 접근은 두 층위에서 이루어진다.
사람은 어려운 수학 문제를 풀 때 절대 한 번에 답을 쓰지 않는다. 여백에 중간 계산을 적고, 앞 단계의 결과를 다음 단계의 전제로 삼으며, 스스로 오류를 발견하고 수정한다. 연쇄적 추론은 AI에게 바로 이 사고 습관을 심어주는 기법이다. 답으로 직행하지 않고 문제를 확인하고 전제를 검토하고 수식을 전개한 뒤에야 결론에 도달한다. 수학 벤치마크에서 정확도가 30에서 50퍼센트포인트까지 향상된다. 생각하는 방식을 바꾸는 것만으로 기계는 훨씬 더 정확해진다.
그러나 이 모든 내부적 개선에도 AI의 출력은 여전히 가설이다. 가설을 확정으로 바꾸는 관문이 Lean 4이다. 증명해야 할 수학적 명제가 곧 타입이 되고, 그 명제의 증명이 곧 값이 된다. 시스템이 해야 할 일과 하지 말아야 할 일을 수학적 명세로 기술하면, Lean 4의 정리 증명기는 구현 코드가 그 명세를 한 치의 오차 없이 만족하는지 검사한다. 논리적 허점이 있다면 컴파일 자체가 거부된다. 정적 분석이 코드의 표면을 읽는다면, Lean 4는 코드가 내포하는 논리적 의도 자체가 수학적으로 완전한지를 따진다.
무결성의 여정은 이렇게 완성된다. AI가 확률로 초안을 만들고, 연쇄적 추론이 그 논리를 다듬으며, Lean 4가 수학적 증명으로 최종 확정한다.
5. AI의 세 가지 장벽과 2025년
AI는 세 가지 장벽 앞에 아직 서 있다.
첫 번째는 환각이다. 긴 증명의 사슬에서 논리적 오류가 누적된다. 두 번째는 멀티모달 복잡성이다. 텍스트는 잘 처리하지만 기하학적 도형과 그래프와 수식이 한 페이지에 뒤섞인 순간 통합적 해석 능력은 급격히 떨어진다. 수학은 언어만으로 이루어지지 않는다. 세 번째가 가장 근본적이다. 리만이 복소 평면 위에서 전혀 새로운 기하학을 상상했을 때처럼, 존재하지 않던 개념을 발명하는 것은 다른 차원의 이야기이다. 모방과 발명 사이의 그 경계를 AI가 넘을 수 있는지는 아직 아무도 모른다.
그런데 2025년, 그 세 번째 장벽에서 무언가가 처음으로 움직였다.
카케야 추측은 1917년 일본의 수학자 카케야 소이치의 질문에서 시작되었다. 길이가 1인 선분을 제자리에서 한 바퀴 완전히 회전시키는 도형의 최소 면적은 얼마인가. 처음에는 소박한 기하학 문제처럼 보였다. 그러나 베시코비치가 그 면적을 무한히 작게 만들 수 있음을 증명하면서 이 문제는 기하학, 조화분석학, 편미분 방정식, 암호학까지 연결되는 거대한 구조물의 핵심임이 드러났다. 3차원 이상의 공간에서의 증명은 100년 넘게 인류의 손을 피해 있었다. 그것이 2025년 해결되었다. 수학계는 이를 1세기에 한 번 나올 증명이라 불렀다.
힐베르트 6번 문제는 더 오래된 야망이다. 1900년 힐베르트가 제기한 이 문제는 물리학의 공리화, 즉 역학과 열역학 같은 물리 법칙들을 수학처럼 엄밀한 공리 체계 위에 올려놓을 수 있는가를 묻는다. 한 분야의 문제가 아니라 수학과 물리학 전체의 토대에 관한 질문이었다. 2025년 이 문제의 핵심 사례들이 해결되었다.
두 성취 모두에서 기계 학습의 발자국이 처음으로 선명하게 찍혔다. 수학자가 직관의 방향을 제시하면 AI가 방대한 경우의 수를 탐색하며 유망한 패턴과 반례를 걸러낸다. 모방과 발명의 경계에서 AI가 처음으로 수학자의 옆자리에 앉은 것이다.
결론: 고리는 닫히지 않는다
이산수학이 컴퓨터를 낳았다. 컴퓨터가 AI를 낳았다. 그리고 AI가 이제 새로운 수학을 낳고 있다.
이 고리는 닫히지 않는다. 수학이 도구를 만들고, 도구가 수학을 넓히고, 넓어진 수학이 더 정교한 도구를 가능케 한다. 엔지니어에게 요구되는 가치가 바뀌고 있다. 속도가 아니라 무결성이다. AI의 가설을 논리로 다듬고 수학으로 확정하는 능력, 확률론적 환상을 꿰뚫어 보고 증명된 것만을 신뢰하는 태도.
당신은 이 고리의 어느 부분에 기여하고 싶은가.
참고문헌
Srinivas Rao, "How the AI Industry Created $644 Billion of Economic Vandalism," Medium, 2026.
Veracode, 2025 GenAI Code Security Report.
Lean FRO, The Lean FRO Year 3 Roadmap (2025–2026).
Microsoft Research, "Lean - Programming Language and Theorem Prover."
'AI와 교육의 방향' 카테고리의 다른 글
| 신뢰의 수학적 설계: 2026년 AI 시대, 공학자는 어떻게 살아남는가 (0) | 2026.03.10 |
|---|---|
| AI 시대, 어떤 인재를 원하는가 (1) | 2026.01.23 |
| AI를 써서 데이터를 다룰 때, 무엇이 나의 것으로 남는가 (0) | 2026.01.05 |
| AI를 허용한 평가에서 주의할 점 (0) | 2026.01.05 |
| AI 시대의 학습 윤리:도구 활용과 사고 위임의 경계 (1) | 2026.01.02 |