world1000 님의 블로그

슬라이딩 윈도가 선형 어텐션을 이겼다

AI 논문 리뷰 · LLM 효율 슬라이딩 윈도가 선형 어텐션을 이겼다 재학습 없이, 더 싸게, 더 정확하게 — 마이크로소프트가 던진 반문 하나가 '긴 문맥' 경쟁의 전제를 흔든다. 원제 Sliding-window beats linear attention · Microsoft(Jolicoeur-Martineau 외) · 2026-08-28 공개 · arXiv:2608.28444 · Hugging Face 3줄 요약 (TL;DR) 거대 언어모델의 2차(quadratic) 어텐션은 토큰이 늘수록 메모리·비용이 감당 못 할 만큼 커진다. 그 대안으로 각광받은 것이 선형 어텐션(Linear Attention)이다. 그러나 이 논문은 싱크(sink)를 더한 슬라이딩 윈도 어텐션(SWA)이라는..

AI 연구·산업 아침판 다이제스트 (2026년 9월 1일 화요일)

「연구 다이제스트」에이전트·장기 과제 제어LoopArena: 런타임 컨트롤러로서의 모델 벤치마크 (2026-08-28 공개, 8월 31일 데일리 상위) 하나의 컨트롤러 모델이 별도의 코딩 에이전트를 장시간 과제 전 구간에 걸쳐 지휘하는 능력을 평가하는 벤치마크이다. 엄격 성공률은 낮게 나타났으나 컨트롤러 도입이 상당한 비용 절감을 유발함을 보고하였다. 에이전트 오케스트레이션의 실효성을 정량화한 사례로 주목된다. https://huggingface.co/papers/2608.28281J-Zero: 데이터 없이 이루는 도전자·해결자·심판 공진화 (2026-08-27) 사전 정의된 선호쌍만으로 과제 생성기·해결자·심판을 적대적으로 공진화시켜, 검증 가능한 영역과 불가능한 영역 모두에서 언어모델이 자기개선하도록..

"오일이 연준의 손발을 묶었다" 다우 ▼370P·S&P ▼0.33%, 그래도 8월은 상승 마감…호르무즈 쇼크가 남긴 것 (2026.09.01)

간밤 미국장 한 줄 요약 미국의 이란 호르무즈 타격으로 유가가 솟구쳤고, 인상까지 저울질하던 연준 때문에 안전판이어야 할 국채가 증시를 받치지 못했습니다. 3대 지수는 소폭 밀렸지만, 8월 한 달로 보면 여전히 플러스입니다.안녕하세요. 아침에 계좌를 열기 전, 밤사이 미국에서 무슨 일이 있었는지부터 차분히 짚어 드리겠습니다. 오늘은 숫자보다 '구조'가 중요한 날입니다. 지수는 조금 빠졌을 뿐인데, 그 뒤에서 시장의 작동 방식이 한 겹 바뀌었기 때문입니다. 왜 그런지, 그리고 그것이 오늘 우리 증시에 무엇을 뜻하는지 하나씩 풀어 보겠습니다.① 3대 지수 — 다우가 가장 크게 밀렸습니다먼저 2026년 8월 31일(현지시각) 뉴욕증시 마감 확정 종가입니다.지수 종가 등락률S&P 5007,690.55▼ 0.33..