슬라이딩 윈도가 선형 어텐션을 이겼다

AI 논문 리뷰 · LLM 효율

슬라이딩 윈도가 선형 어텐션을 이겼다

재학습 없이, 더 싸게, 더 정확하게 — 마이크로소프트가 던진 반문 하나가 '긴 문맥' 경쟁의 전제를 흔든다.

원제 Sliding-window beats linear attention · Microsoft(Jolicoeur-Martineau 외) · 2026-08-28 공개 · arXiv:2608.28444 · Hugging Face

3줄 요약 (TL;DR)

• 거대 언어모델의 2차(quadratic) 어텐션은 토큰이 늘수록 메모리·비용이 감당 못 할 만큼 커진다. 그 대안으로 각광받은 것이 선형 어텐션(Linear Attention)이다.
• 그러나 이 논문은 싱크(sink)를 더한 슬라이딩 윈도 어텐션(SWA)이라는 훨씬 단순한 방법이 사후학습된 선형 어텐션과 대등하거나 오히려 더 낫다는 것을 보였다.
• 특히 장문맥 추론에서 SWA는 선형 어텐션보다 2–10배 높은 성능을 내며, 재학습이 필요 없고 빠르고 메모리도 적게 쓴다.

1. 문제의 뿌리 — 왜 어텐션은 '지속 불가능'한가

트랜스포머의 심장인 셀프 어텐션은 모든 토큰이 이전의 모든 토큰을 바라본다. 문장이 길어질수록 계산량은 문장 길이의 제곱(n²)으로 불어난다. 더 치명적인 것은 KV 캐시(Key-Value cache)이다. 새 토큰이 하나 생길 때마다 그 키와 값을 메모리에 영구히 쌓아 두어야 하므로, 문맥이 길어질수록 메모리와 에너지 소모가 끝없이 늘어난다. 논문은 이를 두고 "지속 불가능하다(unsustainable)"라고 단언한다.

그림 1. 문맥 길이가 두 배가 될 때마다 연산 비용은 네 배로 뛴다. 이것이 '긴 문맥'을 값비싸게 만드는 근본 원인이다.

2. 유력한 대안이었던 '선형 어텐션'의 약속과 함정

이 문제를 풀기 위한 대표적 접근이 선형 어텐션이다. 아이디어는 단순하고 매력적이다. 과거의 모든 키·값을 하나하나 저장하는 대신, 이를 고정 크기의 '상태(state)' 하나로 압축해 두고 새 토큰이 올 때마다 갱신한다. 그러면 문맥이 아무리 길어져도 메모리는 일정하고 비용은 길이에 비례(선형)한다. 기존 모델을 이 방식으로 개조(retrofit)해 사후학습시키는 연구가 크게 유행하였다.

그런데 논문은 날카로운 지적을 던진다. "이 방향은 정작 더 단순한 기준선(baseline)과 제대로 비교된 적이 없다." 화려한 방법론끼리만 겨루었을 뿐, 정말 소박한 대안보다 나은지 검증이 부실했다는 것이다.

3. 반전의 주인공 — '싱크를 둔 슬라이딩 윈도 어텐션(SWA)'

슬라이딩 윈도 어텐션은 이름 그대로다. 모든 과거를 보는 대신 최근 W개의 토큰(창, window)만 바라본다. 창은 새 토큰을 따라 미끄러지듯 이동한다. 덕분에 메모리는 창 크기로 고정되고 계산도 가볍다. 다만 순수한 슬라이딩 윈도만으로는 문장 맨 앞의 중요한 정보(지시문·질문 등)를 잃는 약점이 있다.

여기서 등장하는 것이 싱크(sink)다. 맨 앞 소수의 토큰을 항상 창에 함께 유지하는 장치로, 모델이 습관적으로 크게 주목하는 '초기 토큰'을 버리지 않게 해 안정성을 지킨다. 즉 SWA + 싱크 = 최근 문맥(창) + 최초 문맥(싱크)의 조합이다.

그림 2. ① 완전 어텐션은 삼각형 전체를 채워 정확하지만 비싸다. ② 선형 어텐션은 모든 과거를 하나의 상태로 압축해 정보 손실이 생긴다. ③ SWA+싱크는 '최근 창'과 '맨 앞 싱크'만 남겨 저렴하면서도 핵심 정보를 붙든다.

'싱크(attention sink)'란?

대다수 트랜스포머는 문장 맨 앞의 몇몇 토큰에 어텐션을 과도하게 몰아주는 습성이 있다. 이 초기 토큰을 창에서 빼 버리면 분포가 무너져 성능이 급락한다. 그래서 맨 앞 소수 토큰을 '싱크'로 고정해 두는 것이며, 이 작은 장치가 슬라이딩 윈도의 안정성을 좌우한다.

4. 실험 결과 — 장문맥에서 2–10배의 격차

저자들은 여러 종류의 LLM과 다양한 다운스트림 과제에서 두 방식을 맞붙였다. 결과는 명확하였다. SWA는 사후학습된 선형 어텐션과 대등하거나 더 나은 성능을 냈고, 특히 긴 문맥에서 정보를 정확히 찾아내야 하는 추론 과제 — Needle-in-a-Haystack(건초더미 속 바늘 찾기)과 BABILong — 에서는 선형 어텐션보다 2배에서 10배까지 높은 성능을 기록하였다.

그림 3. 논문이 보고한 '2–10배' 격차를 개념적으로 형상화한 그림이다(정확한 수치는 원문 참조). 압축 상태에 의존하는 선형 어텐션은 긴 문맥의 세부 정보를 놓치는 반면, SWA는 최근 창과 싱크로 핵심을 붙든다.

5. 세 방식 한눈에 비교

구분	완전(2차) 어텐션	선형 어텐션	SWA + 싱크
계산 비용	n² (높음)	선형(낮음)	선형(낮음)
메모리(KV)	무한 누적	고정	고정(창+싱크)
재학습 필요	없음	사후학습 필요	불필요
장문맥 추론	최상(기준)	약함	강함(선형의 2–10배)
구현 난도	기본	복잡	단순

6. 실무적 함의 — 무엇을 바꿔야 하는가

저자들의 권고는 직설적이다. "추론 메모리 비용을 줄이려면 선형 모델을 사후학습하지 말고 SWA로 전환하라." 선형 어텐션이 SWA를 따라잡으려면 처음부터 새로 학습하거나 막대한 사후학습을 감내해야 할 가능성이 크다는 것이다. 정리하면 다음과 같다.

첫째, 비용 구조가 달라진다. 이미 학습된 모델에 손대지 않고도 추론 단계에서 메모리와 연산을 크게 줄일 수 있으므로, 서비스 운영비(특히 긴 문맥을 다루는 RAG·에이전트·장문 요약)를 즉시 낮출 여지가 있다. 둘째, 전환 비용이 거의 없다. 재학습이 필요 없다는 점은 곧 실험과 배포의 리스크가 작다는 뜻이다. 셋째, '단순한 기준선'을 먼저 시험하라는 교훈이다. 화려한 신기법을 도입하기 전에 소박한 대안이 이미 충분한지 반드시 확인해야 한다.

균형 잡힌 시선 — 한계도 있다

SWA는 원리상 창 밖의 아주 먼 의존 관계를 직접 보지 못한다. 이 논문이 다룬 벤치마크(NIAH·BABILong 등)와 대상 모델에서 우수했다는 것이지, 모든 과제·모든 모델에서 항상 선형 어텐션을 압도한다고 단정할 근거는 아니다. 창 크기·싱크 개수 같은 설정에 따라 결과가 달라질 수 있으므로, 실제 도입 시에는 자신의 데이터와 과제로 재검증하는 절차가 필요하다.

한 문장으로

긴 문맥을 싸게 다루려는 경쟁에서, 정답은 더 정교한 압축(선형 어텐션)이 아니라 '최근 것과 맨 앞 것만 남기는' 단순함이었다 — 재학습 없이, 더 빠르게, 더 정확하게.

출처 · Alexia Jolicoeur-Martineau, Rhea Sanjay Sukthanker, Pashmina Cameron, Emy Gervais (Microsoft), Sliding-window beats linear attention, 2026-08-28. arXiv:2608.28444 · Hugging Face Papers
※ 본문의 그림은 이해를 돕기 위한 개념도이며, 정확한 실험 수치와 설정은 원문을 확인하기 바란다.

글 · 빛의소원 · AI노트