3편. 우리 문살에는 왜 오각형이 없을까
연재 「당신도 모르는 수학 이야기 ― 수학이란 무엇인가」 (3)
조선 후기, 담양 용흥사에 목수 한 사람이 있었습니다.
그는 대웅전 문짝을 채워야 했습니다. 문살 전체를 꽃으로 덮되 빈틈이 있어서는 안 되고 겹쳐서도 안 됩니다.
그는 꽃 하나를 깎았습니다. 그리고 그 꽃을 옆으로 옮겨 붙였습니다. 또 옮겨 붙였습니다. 위로도 옮겨 붙였습니다. 그렇게 문짝 하나가 채워졌습니다.
이렇게 같은 모양을 되풀이해 면을 빈틈없이 덮는 것을 테셀레이션이라고 부릅니다. 로마 시대 모자이크에 쓰던 네모난 돌조각을 라틴어로 테셀라(tessella)라고 했는데, 거기서 나온 말입니다. 우리말로는 쪽맞춤이라고 합니다.
이름은 로마에서 왔지만 그 일을 한 사람이 로마인만은 아닙니다. 이집트 무덤 벽을 그린 화공, 로마의 모자이크 장인, 이슬람 사원의 벽을 채운 장인, 그리고 용흥사의 목수. 이들은 서로 만난 적이 없습니다. 쓰는 재료가 달랐고 믿는 것이 달랐습니다. 이슬람 장인은 형상을 그리지 않는 종교 아래서 기하 무늬만 다뤘고, 조선의 목수는 꽃과 잎을 깎았습니다.
그런데 네 사람이 한 일은 같습니다. 무늬를 하나 만들고, 그것을 되풀이해 면을 덮었습니다.
그렇다면 그들이 고를 수 있는 방법은 몇 가지나 되었을까요.
꽃을 여섯 잎으로 깎을 수도 있고 여덟 잎으로 깎을 수도 있습니다. 살대를 네모로 짤 수도 있고 육모로 짤 수도 있습니다. 얼마든지 있어 보입니다.
그런데 답이 나와 있습니다. 열일곱 가지입니다.
1891년 러시아의 결정학자 예브그라프 페도로프가 증명했습니다. 누가 어디서 무엇을 그리든, 그것이 되풀이되어 면을 덮는 무늬라면 반드시 이 열일곱 가지 중 하나입니다. 열여덟 번째는 없습니다.
목록은 이렇게 생겼습니다.
| 무늬 전체가 몇 도씩 돌아가나 | 그런 무늬의 종류 | 개수 |
|---|---|---|
| 돌아가지 않음 | p1, pm, pg, cm | 4 |
| 180도씩 | p2, pmm, pmg, pgg, cmm | 5 |
| 120도씩 | p3, p3m1, p31m | 3 |
| 90도씩 | p4, p4m, p4g | 3 |
| 60도씩 | p6, p6m | 2 |
| 합계 | 17 |
이름은 결정학자들이 붙인 기호이니 외우실 필요가 없습니다. 왼쪽 칸만 보시면 됩니다.
180도, 120도, 90도, 60도. 이 네 개뿐입니다. 72도가 없습니다. 72도는 정오각형이 돌아가는 각도입니다.
도라지꽃은 다섯 잎인데요
여기서 바로 반문이 나올 겁니다.
도라지꽃은 꽃잎이 다섯 장입니다. 보라색 별 모양이지요. 불가사리도 다섯 갈래이고, 우리가 종이에 그리는 별도 오각별입니다. 다섯 갈래짜리는 세상에 얼마든지 있는데 왜 없다고 하는가.
맞습니다. 다섯 갈래 도형은 얼마든지 있습니다. 위의 표가 말하는 것은 그게 아닙니다.
표의 왼쪽 칸은 무늬 전체가 몇 도씩 돌아가느냐를 말합니다. 꽃 한 송이가 아니라 벽 전체입니다.
도라지꽃을 한 송이 그리는 것은 아무 문제가 없습니다. 그 꽃 한 송이는 72도씩 돌려도 그대로입니다. 문제는 그 도라지꽃으로 벽지를 만들 때 생깁니다. 도라지꽃을 되풀이해 벽을 덮고, 그렇게 채운 벽 전체를 72도 돌렸을 때 원래대로 돌아오게 하는 것. 이것이 안 됩니다.
꽃 한 송이는 됩니다. 벽 전체는 안 됩니다. 이 차이가 이번 편의 전부입니다.
그래서 우리 문살에는 다섯 잎 꽃이 그려질 수 있어도, 살대가 오각형으로 짜이지는 않습니다. 이집트에도 로마에도 이슬람 사원에도 없습니다. 장인들이 서로 베낀 것이 아닙니다. 평면이 그것만 허락했을 뿐입니다.
저는 이 빈자리가 오래 마음에 걸렸습니다. 이번 편에서 우리는 그 빈자리가 왜 생기는지 확인해 보려고 합니다.
무늬 하나로 벽을 덮는 법
먼저 되풀이한다는 말이 무슨 뜻인지 정확히 해 두겠습니다.
목수가 한 일을 그림으로 옮기면 이렇습니다.

무늬를 하나 만들고, 오른쪽으로 옮겨 붙이고, 위로도 옮겨 붙입니다. 여기서 중요한 것은 옮기기만 했다는 점입니다. 돌리지도 않았고 뒤집지도 않았습니다. 이렇게 옮겨 붙이는 것을 평행이동이라고 합니다.
문살을 보시면 정확히 이 일이 벌어지고 있습니다.

담양 용흥사 대웅전 문살입니다. 꽃 하나가 무늬이고, 그것을 상하좌우로 옮겨 붙여 문짝 전체를 덮었습니다.


같은 격자 위에서 꽃의 종류와 색만 바꾸어도 전혀 다른 인상이 만들어집니다.
되풀이에는 실용적인 이유도 있습니다. 규칙이 있으니 목수는 무늬 하나만 깎으면 되고, 깎을 수 있으니 제자에게 물려줄 수 있습니다. 물려줄 수 있는 것만 오래 남습니다. 이집트 벽화가 3천 년 동안 같은 문법을 지킨 것도 같은 이유입니다.
색에도 짜임새가 있습니다
단청의 되풀이는 무늬에만 있는 것이 아닙니다.
단청의 기본색은 빨강, 파랑, 노랑, 흰색, 검정 다섯이고 장인들은 이를 오채라 불렀습니다. 이 다섯 색으로 수많은 색을 만들되, 배치는 오행에 맞춥니다. 파랑은 나무, 빨강은 불, 노랑은 흙, 흰색은 쇠, 검정은 물을 가리킵니다. 여기에 계절이 겹칩니다. 파랑이 봄, 빨강이 여름, 흰색이 가을, 검정이 겨울이고, 노랑은 토용이라 하여 환절기를 맡습니다. 방위도 겹칩니다. 동쪽에 청룡, 서쪽에 백호, 남쪽에 주작, 북쪽에 현무가 놓입니다.

서까래 단청입니다. 다섯 색이 한 화면에 모두 들어 있습니다.

원과 십자가 번갈아 놓이며 격자를 이룹니다. 단위 도형이 무엇인지 눈으로 짚어 보시면 재미있습니다.
색 다섯에 원소 다섯, 계절 다섯, 방위 다섯이 나란히 대응합니다. 1편에서 제가 이야기한 일대일 대응이 여기서도 작동하는 셈입니다. 단청을 그리는 사람은 색을 고르는 것이 아니라 하나의 대응 구조를 표현하고 있습니다.
그런데 오각형이 없습니다
문살 사진들을 다시 한번 보시죠. 살대가 어떤 도형으로 짜여 있을까요. 네모이거나 육모입니다. 앞서 본 목록에 72도 칸이 비어 있던 것과 같은 이야기입니다.
회전 대칭을 정의합시다
어떤 도형을 한 점 둘레로 돌립니다. 360도를 n으로 나눈 만큼 돌렸을 때 원래 도형과 완전히 포개지면, 그 도형은 n차 회전 대칭을 갖는다고 합니다.

바람개비 날개가 넷이면 90도씩 돌려야 겹칩니다. 360 ÷ 4 = 90이니 4차입니다. 불가사리는 72도씩 돌려야 겹칩니다. 360 ÷ 5 = 72이니 5차입니다.
세는 법이 하나 더 있습니다. 한 바퀴 도는 동안 원래 모습과 몇 번 겹치는지 세면 됩니다. 불가사리는 72도, 144도, 216도, 288도, 360도에서 겹치니 다섯 번, 곧 5차입니다. 똑같은 조각이 몇 개인지 세어도 같은 값이 나옵니다.
돌려 보면 모순이 나옵니다
무늬가 되풀이되면 회전 중심들도 함께 되풀이되어 흩어집니다. 이때 회전 중심들은 서로 무한히 가까워질 수 없습니다. 무늬에 최소 이동 거리가 있기 때문입니다. 따라서 '가장 가까운 두 중심'이라는 말이 성립합니다. 이 사실이 증명의 출발점입니다.
우리는 그 가장 가까운 두 중심을 골라 A와 B라 부르고, 두 점 사이의 거리를 1이라 두겠습니다.

이제 우리는 점 A를 점 B 둘레로 72도 돌려 A′를 만들고, 점 B를 점 A 둘레로 72도 돌려 B′를 만듭니다. 무늬 전체가 72도 회전에 대해 대칭이므로, 돌려서 옮긴 A′와 B′도 여전히 회전 중심입니다.

여기서 A′와 B′ 사이의 거리를 재 보시죠. 두 점의 좌표를 계산하면 그 거리는 다음과 같습니다.
A′B′ = |1 − 2 cos 72°| = 0.381966…
이 거리는 1보다 작습니다. 우리는 가장 가까운 두 회전 중심을 골랐는데, 그보다 더 가까운 한 쌍이 나와 버렸습니다. 이것이 모순입니다.
직접 해 보시죠
여기까지 읽으셨으면 손으로 해 보시는 편이 빠릅니다. 아래에 여섯 단계짜리 실습을 붙여 두었습니다.
정다각형으로 바닥을 깔아 보는 것에서 시작합니다. 정삼각형과 정사각형과 정육각형은 한 꼭짓점 둘레가 딱 채워지는데 정오각형은 36도가 남습니다. 그런데 그것만으로는 문살을 판정할 수 없습니다. 문살의 꽃은 정다각형이 아니니까요. 그래서 조각을 골라 꽃을 만들고, 그 꽃으로 깔아 보고, 두 중심을 돌려 재는 데까지 갑니다.
마지막에 두 방법의 결론이 나란히 뜹니다. 정다각형으로 따졌을 때와 회전으로 따졌을 때가 다른데, 왜 다른지는 직접 보시는 편이 좋겠습니다.
같은 무늬를 되풀이해 벽을 덮어 보기
여섯 단계입니다. 먼저 정다각형으로 바닥을 깔아 보고, 그것만으로는 답이 안 나온다는 것을 확인한 뒤, 어떤 무늬에도 통하는 방법으로 넘어갑니다.
같은 정다각형만으로 바닥을 덮으려면 한 꼭짓점 둘레가 딱 채워져야 합니다. 한 장씩 붙여 보세요.
1단계에서 정삼각형, 정사각형, 정육각형만 남았습니다. 그런데 이것으로 문살을 판정할 수 있을까요.
문살에 그려진 것은 꽃입니다. 잎이 여섯 장인 것도 있고 여덟 장인 것도 있죠. 정다각형이 아닙니다. 1단계의 결론은 정다각형 하나만 쓸 때의 이야기라, 이런 무늬에는 그대로 쓸 수 없습니다.
그러니 도형의 생김새와 상관없이 통하는 방법이 필요합니다. 아래에서 그 방법으로 다시 따져 보겠습니다.
360 ÷ 5 = 72°
조각 하나를 72도씩 돌려 붙입니다
꽃 두 송이가 거리 1로 놓여 있습니다. 벽 전체가 이 꽃처럼 돌아가는 무늬라면, 어느 꽃의 중심에서 돌려도 무늬가 그대로여야 합니다. 그러니 한 중심에서 돌려 옮겨진 자리에도 꽃이 있어야 하죠. 그 자리를 하나씩 채워 나가면 벽이 깔립니다.
가장 가까운 두 중심만 떼어 놓고 보겠습니다. A와 B의 거리를 1이라 두고, A를 B 둘레로 B를 A 둘레로 돌리면 A′와 B′가 나옵니다.
남는 것은 넷뿐입니다

우리는 같은 조작을 다른 차수에도 해 볼 수 있습니다. 결과는 이렇게 갈립니다.
| 차수 | A′B′ | 판정 |
|---|---|---|
| 2차 | 3 | 원래보다 멀다 · 된다 |
| 3차 | 2 | 원래보다 멀다 · 된다 |
| 4차 | 1 | 원래와 같다 · 된다 |
| 5차 | 0.382 | 더 가깝다 · 모순 |
| 6차 | 0 | 두 점이 겹친다 · 된다 |
| 7차 | 0.247 | 더 가깝다 · 모순 |
6차의 경우는 눈여겨볼 만합니다. A′B′가 0이라는 것은 두 점이 같은 점이라는 뜻입니다. 새로운 쌍이 아예 생기지 않으므로 모순도 생기지 않습니다. 6차는 아슬아슬하게 통과합니다.

게다가 이 조작은 한 번으로 끝나지 않습니다. 우리가 새로 생긴 쌍에 같은 조작을 또 하면, 두 중심 사이의 거리는 매번 0.382배로 줄어듭니다. 1 → 0.382 → 0.146 → 0.056 → 0.021. 거리는 끝없이 작아집니다. 그런데 회전 중심들은 일정한 간격을 두고 떨어져 있어야 합니다. 이렇게 붙을 수는 없습니다.
이렇게 해서 결론이 나옵니다. 되풀이되는 평면 무늬가 가질 수 있는 회전 대칭은 2차, 3차, 4차, 6차뿐입니다. 5차도 7차도 8차도 안 됩니다. 결정학에서는 이 결과를 결정학적 제한 정리라고 부릅니다.
맨 앞에서 본 표의 왼쪽 칸이 왜 180도, 120도, 90도, 60도뿐이었는지 이제 답이 나왔습니다. 그 넷이 2차, 3차, 4차, 6차입니다. 열일곱이라는 개수도 여기서 나옵니다. 이 네 가지 회전에 뒤집기와 미끄러뜨리기를 곁들이는 방법이 열일곱 가지밖에 없기 때문입니다.
손이 자유롭지 않았습니다
한 단계 좀 더 깊게 들어가 보죠.
용흥사의 목수도, 이집트의 화공도, 이슬람 사원의 장인도 이 정리를 몰랐습니다. 페도로프가 증명한 것이 1891년이니 알 도리가 없었습니다. 그런데 그들이 남긴 무늬는 하나도 빠짐없이 이 정리를 지키고 있습니다. 오각형 격자로 벽을 덮으려 한 사람이 인류사에 없지는 않았을 겁니다. 다만 그들이 만든 것은 남지 못했습니다. 완성될 수 없었으니까요.
수학이 자연을 설명한다는 말을 우리는 자주 합니다. 그런데 이 경우는 방향이 반대입니다. 수학이 먼저 있었고, 사람의 손은 그 안에서만 움직였습니다. 목수는 자기가 마음대로 깎는다고 믿었겠지만, 실제로는 평면이 허락한 열일곱 가지 중 하나를 골라내고 있었습니다.
덧붙이자면 0.381966이라는 수는 정확히 1/φ²입니다. φ는 황금비 1.618033…입니다. 5차 대칭을 금지하는 계산에서 정오각형의 수가 나오는 셈입니다.
그렇다면 이런 물음이 남습니다. 5차 대칭이 막힌 까닭이 되풀이라면, 우리가 되풀이를 포기하면 무슨 일이 일어날까요? 다음 편의 주제입니다.
부록 ― 증명
앞의 이야기는 증명의 뼈대입니다. 여기서는 수학에서 쓰는 방식 그대로 적어 두겠습니다. 건너뛰셔도 다음 편을 읽는 데 지장이 없습니다. 아래는 격식체로 씁니다.
용어와 기호
평면 위의 무늬 F에 대하여, F를 그 자신으로 옮기는 등거리변환 전체의 모임을 F의 대칭군이라 하고 Γ로 쓴다.
Γ에 포함된 평행이동 전체를 T라 하자. T가 계수 2인 이산 부분군, 곧 격자 L일 때 F를 주기 무늬라 한다. 본문에서 되풀이 무늬라 부른 것이 이것이다.
점 P를 중심으로 각 θ만큼 도는 회전을 ρ(P, θ)로 쓴다. ρ(P, θ) ∈ Γ가 성립하는 가장 작은 양의 각이 θ = 2π/n일 때 P를 n차 회전 중심이라 하고, 그런 점 전체의 모임을 Sₙ이라 하자.
보조정리 (이산성)
보조정리. F가 주기 무늬이면 Sₙ은 이산집합이다. 곧 서로 다른 두 원소 사이의 거리에 양의 최솟값이 존재한다.
증명. g ∈ Γ이면 g·ρ(P, θ)·g⁻¹ = ρ(g(P), ±θ)이므로 g(Sₙ) = Sₙ이다. 따라서 Sₙ은 Γ-불변이고, 특히 L-불변이다.
L의 기본 평행사변형을 D라 하자. D는 유계이고, Sₙ ∩ D는 유한집합이다. 만일 무한집합이라면 D의 옹골성에 의해 집적점이 생기고, 그 근처의 서로 다른 두 회전 중심으로부터 임의로 짧은 평행이동이 L 안에 만들어져 L의 이산성에 어긋난다.
한편 Sₙ은 Sₙ ∩ D를 L의 원소만큼 평행이동한 것들의 합집합이다. L이 이산이고 Sₙ ∩ D가 유한이므로 Sₙ도 이산이다. ∎
이산집합에서 두 점 사이 거리의 하한은 실제로 달성된다. 그 최솟값을 d > 0이라 하고, 이를 실현하는 두 점을 A, B ∈ Sₙ이라 두자.
정리 (결정학적 제한)
정리. 주기 무늬가 갖는 회전 대칭의 차수 n은 1, 2, 3, 4, 6 중 하나이다.
증명. θ = 2π/n으로 둔다. 좌표를 A = (0, 0), B = (d, 0)으로 잡고 다음 두 점을 정의한다.
B′ = ρ(A, θ)(B), A′ = ρ(B, −θ)(A)
ρ(A, θ)와 ρ(B, −θ)는 모두 Γ의 원소이고, 보조정리의 증명에서 Γ가 Sₙ을 보존함을 보였으므로 A′, B′ ∈ Sₙ이다.
회전변환 R(θ)를 써서 계산하면
B′ = R(θ)·(d, 0) = d(cos θ, sin θ)
A′ = B + R(−θ)·(A − B) = (d, 0) + R(−θ)·(−d, 0) = d(1 − cos θ, sin θ)
두 점의 세로 성분이 sin θ로 같으므로 거리는 가로 성분의 차이뿐이다.
|A′B′| = d · |1 − 2 cos θ|
이제 경우를 나눈다.
경우 1. A′ ≠ B′인 경우. 두 점 모두 Sₙ의 원소이고 d는 Sₙ의 최소 거리이므로 |A′B′| ≥ d, 곧
|1 − 2 cos θ| ≥ 1
이 부등식은 1 − 2cos θ ≥ 1 또는 1 − 2cos θ ≤ −1과 동치이며, 정리하면 다음과 같다.
cos θ ≤ 0 또는 cos θ ≥ 1
cos θ ≥ 1이면 θ = 0이므로 n = 1이다. cos θ ≤ 0이면 θ ≥ π/2, 곧 2π/n ≥ π/2이므로 n ≤ 4이다.
경우 2. A′ = B′인 경우. 이때 1 − 2cos θ = 0이므로 cos θ = 1/2이고 θ = π/3, 곧 n = 6이다.
두 경우를 합하면 n ∈ {1, 2, 3, 4} ∪ {6}이다. ∎
세 가지 주석
주석 1. 이 증명이 쓴 가정은 L의 이산성 하나뿐이다. L이 이산이 아니거나 계수가 2가 아니면 최소 거리 d가 존재하지 않고 논증 전체가 무너진다. 비주기 타일링에서 5차 대칭이 나타나는 까닭이 여기에 있다. 다음 편의 주제다.
주석 2. 경우 2를 빠뜨리면 n = 6을 잃는다. A′ = B′일 때는 새로운 원소가 생기지 않으므로 최소성에 모순이 발생하지 않는다. cos θ = 1/2이라는 등식이 정확히 이 경계를 표시한다.
주석 3. 이 정리는 필요조건만을 준다. n = 1, 2, 3, 4, 6이 실제로 실현됨은 따로 보여야 하며, 각 차수를 갖는 주기 무늬를 하나씩 제시하면 된다. 본문에서 본 문살이 n = 4의 예이고 벌집이 n = 6의 예이다.
따름정리
이 정리로부터 평면의 벽지군이 정확히 17가지임이 따라 나온다. 회전 차수가 1, 2, 3, 4, 6으로 제한된 뒤, 각 경우에 반사와 미끄럼반사를 결합하는 방법을 헤아리면 4 + 5 + 3 + 3 + 2 = 17이 된다. 본문 첫머리의 표가 이 헤아림의 결과다.