카테고리 없음

"값은 그대로, SWE-bench는 96%" 클로드 오퍼스 5…그런데 비교 상대의 정체가 발표문에 없습니다 (2026.07.24)

world1000 2026. 7. 26. 16:10

한 줄 요약: 앤스로픽이 2026년 7월 24일 클로드 오퍼스 5를 내놓았습니다. 가격은 직전 모델과 똑같이 두고 성능만 끌어올렸는데, 정작 성적표에서 상대로 삼은 모델이 누구 것인지는 발표문에 적혀 있지 않습니다.

새 모델이 나올 때마다 성적표가 쏟아집니다. 그런데 그 표를 어디까지 믿어야 하는지는 잘 알려 주지 않습니다. 오늘은 클로드 오퍼스 5의 발표 내용을 확인된 수치와 조건, 그리고 아직 확인되지 않은 부분으로 갈라 보겠습니다. 먼저 밝혀 둘 것이 있습니다. 저는 앞선 글에서 이 모델의 표준 지표 수치가 공개되지 않았다고 썼는데, 이는 사실과 다릅니다. 아래에서 바로잡겠습니다.

① 값은 그대로 두고 성능만 올렸습니다

가격은 입력 100만 토큰당 5달러, 출력 100만 토큰당 25달러입니다. 직전 모델인 오퍼스 4.8과 같은 값입니다. 성능이 오르면 값도 오르는 것이 보통인데 이번에는 단가를 손대지 않았습니다.

토큰이란? AI가 글을 잘게 쪼개 세는 단위입니다. 한글은 대략 한두 글자가 1토큰쯤 되니, 100만 토큰이면 원고지로 수천 장 분량이라고 보시면 됩니다.

공개된 성적은 다음과 같습니다. 앞선 글에서 제가 "공식 수치가 없다"고 적었던 SWE-bench 계열도 실제로는 공개돼 있었습니다.

지표 오퍼스 5 직전 오퍼스 4.8 비고

SWE-bench Verified ▲ 96.0% 미공개 Pro 79.2%, Multimodal 59.4%
OSWorld 2.0 (컴퓨터 조작) ▲ 70.57% 55.7% —
프런티어벤치 v0.1 (에이전트형 코딩) ▲ 43.3% 18.7% 최대 노력 기준, xhigh에서는 44.4%
ARC-AGI-3 (처음 보는 문제) ▲ 30.16% 1.5% 높은 노력 기준
Zapier AutomationBench ▲ 26.0% 17.0% 페이블 5는 17.4%
GDPval-AA v2 ELO 1861·1827로 1·2위 — —

에이전트형 코딩이란? AI가 지시 한 번에 끝내는 것이 아니라, 스스로 코드를 쓰고 돌려 보고 틀린 곳을 고치기를 반복하는 방식입니다.

기능도 손봤습니다. 작업마다 들이는 연산량을 조절하는 노력 설정이 붙었고, 기본 속도의 약 2.5배로 도는 고속 모드가 생겼습니다. 대화 도중 도구를 바꾸는 기능과, 안전 장치가 작동할 때 오류 대신 아래 등급 모델로 넘겨 답을 주는 자동 우회 기능이 시험판으로 들어갔습니다.

② 벤치마크를 읽을 때 꼭 봐야 할 조건 — '노력 단계'

표를 보실 때 오른쪽 비고란을 함께 보셔야 합니다. 프런티어벤치의 43.3%는 최대 노력 설정에서 나온 값이고, 노력을 더 올린 설정에서는 44.4%까지 갑니다. ARC-AGI-3의 30.16%도 높은 노력 설정 기준입니다.

이것이 왜 중요하냐면, 노력 단계를 올릴수록 토큰을 더 쓰기 때문입니다. 즉 같은 모델이라도 성적표의 숫자를 내려면 그만큼 비용이 더 듭니다. 성능 수치와 가격 수치를 나란히 놓고 "싸고 좋다"고 결론짓기 전에, 그 성능이 어느 설정에서 나온 것인지 확인하셔야 합니다. 이 조건을 빼고 숫자만 옮기면 실제보다 후하게 읽힙니다.

③ 비교 상대가 누구 것인지 발표문에 없습니다

이 대목은 저도 다시 확인하고 놀랐습니다. 발표문과 이를 정리한 기술 매체 모두 페이블 5와 미토스 5를 비교 대상으로 반복해 언급하는데, 그 모델을 어느 회사가 만들었는지는 어디에도 적혀 있지 않습니다.

앞선 글에서 저는 페이블 5를 경쟁사 모델이라고 단정해 썼습니다. 정확하지 않은 서술이었습니다. 확인 가능한 것은 앤스로픽이 자사 모델로 밝힌 오퍼스 4.8과 소넷 5뿐이고, 페이블 5와 미토스 5는 제조사 표기 없이 비교 축으로만 등장합니다.

성적표에서 상대의 소속을 밝히지 않는 것은 흔한 일은 아닙니다. 독자 입장에서는 같은 회사의 다른 계열인지, 다른 회사 제품인지에 따라 그 비교의 의미가 완전히 달라집니다. 그러니 이 모델명이 나오는 문장을 인용하실 때는 "발표문이 비교 대상으로 든 모델" 정도로 쓰시는 편이 안전합니다.

④ 고속 모드 계산 — 여기까지가 확인이고 여기부터는 추론입니다

앞선 글에서 제가 가장 자신 있게 내세웠던 계산이 있습니다. 고속 모드를 켜면 값이 두 배가 되어 페이블 5의 기본가와 똑같아진다는 것이었습니다. 다시 따져 보니 이 계산은 두 개의 가정 위에 서 있었습니다.

확인된 것은 여기까지입니다. 발표문은 고속 모드가 기본 속도의 약 2.5배로 돌며, "오퍼스 5 기본가의 두 배"로 클로드 플랫폼과 클로드 코드 사용 크레딧에서 제공된다고 밝혔습니다.

확인되지 않은 것이 둘입니다. 첫째, 그 두 배가 입력과 출력에 똑같이 적용되는지 발표문은 밝히지 않았습니다. 둘째, 페이블 5의 가격이 입력 10달러·출력 50달러라는 수치는 앤스로픽 발표문이 아니라 이를 정리한 제3자 자료에서 나온 것입니다.

두 가정을 모두 받아들이면 고속 모드 단가와 페이블 5 기본가가 겹칩니다. 흥미로운 일치이고 저는 여전히 우연은 아니라고 봅니다만, 이것은 산술적으로 증명된 사실이 아니라 조건부 추론입니다. 그렇게 구분해서 읽어 주시기 바랍니다.

한 가지 더 조심할 대목이 있습니다. 출력 1,000만 토큰이면 25달러 단가로 250달러라는 식의 계산은 산술로는 맞지만, 실제 요금은 출력만으로 정해지지 않습니다. 입력 토큰, 캐시 사용 여부, 도구 호출, 노력 설정이 모두 붙습니다. 대략의 감을 잡는 용도로만 쓰시고 예산을 그 숫자로 잡지는 마시기 바랍니다.

⑤ 안전 수치는 범위를 정확히 봐야 합니다

분류기 개입이 약 85% 줄었다는 수치가 여러 곳에 인용되고 있습니다. 다만 이 수치의 범위는 좁습니다. 발표문 맥락을 보면 소스코드 취약점 탐색 능력과 관련한 분류기가 페이블 5 대비 그만큼 덜 작동한다는 뜻입니다. 안전 장치 전반이 85% 풀렸다는 이야기가 아닙니다.

안전 분류기란? AI가 위험한 요청을 받았는지 자동으로 걸러 내는 감시 장치입니다. 촘촘하면 안전하지만 멀쩡한 요청까지 막고, 느슨하면 편리한 대신 악용 여지가 생깁니다.

앞선 글에서 저는 이를 "안전 완화"로 묶어 썼는데, 그것도 절반만 맞는 표현입니다. 보안 취약점을 찾는 작업은 공격자도 하고 방어자도 합니다. 정당한 보안 연구자가 매번 막히는 상황과 악용 위험 사이에서 균형점을 옮긴 조정으로 보는 편이 더 정확합니다. 앤스로픽이 자체 감사에서 오퍼스 5를 가장 정렬된 모델이라고 밝히면서, 동시에 사이버 공격과 생물학 분야 능력에서는 미토스 5에 못 미친다고 적어 둔 것도 함께 읽어야 합니다.

여기서 한 가지는 분명히 해 두겠습니다. 정렬 상태에 관한 서술은 앤스로픽 자체 감사 결과입니다. 자기 자신을 평가한 보고이므로 증거로서는 약합니다. 바깥의 독립적인 검증이 나오기 전까지는 그렇게 취급하는 편이 안전합니다.

정리하면 이번 발표에서 바뀐 것은 가격이 아니라 같은 가격에서 얻는 성능의 수준입니다. 다만 그 성능은 노력 설정에 따라 달라지고, 비교 상대의 정체는 공개되지 않았으며, 안전 관련 수치는 특정 영역에 한정됩니다. 그래서 우리가 던질 질문은 "이 모델이 1등인가"가 아니라 "내 작업에서 어느 노력 단계로 얼마를 쓸 때 결과가 만족스러운가"가 됩니다. 그 답은 각자의 책상에서만 나옵니다.

장마가 물러가고 더위가 본격적으로 시작되는 무렵입니다. 새 모델 소식이 밀려올 때마다 뒤처지는 기분이 드는 것도 이 계절의 습도처럼 자연스러운 일이지 싶습니다. 다만 발표 당일의 숫자가 몇 주 뒤에도 그대로 남는 경우는 생각보다 드뭅니다. 성적표보다 내 일에 실제로 드는 비용이 언제나 더 정확한 신호입니다.

오늘의 핵심 3줄 정리

  1. 클로드 오퍼스 5는 2026년 7월 24일 공개됐고, 가격은 직전 모델과 같은 입력 5달러·출력 25달러입니다.
  2. SWE-bench Verified 96.0%, OSWorld 2.0 70.57% 등 수치는 공개돼 있으나, 프런티어벤치 43.3%처럼 노력 설정 조건이 붙은 값이 있습니다.
  3. 비교 대상인 페이블 5·미토스 5의 제조사는 발표문에 없고, 고속 모드 가격이 페이블 5와 같아진다는 계산은 두 가정 위의 추론입니다.

오늘의 용어 정리

  • 토큰: AI가 글을 세는 단위. 한글 한두 글자가 대략 1토큰입니다.
  • 에이전트형 코딩: AI가 스스로 코드를 쓰고 돌려 보고 고치기를 반복하는 방식.
  • 노력 설정: 한 작업에 연산을 얼마나 들일지 정하는 조절 장치. 올릴수록 성능과 비용이 함께 오릅니다.
  • 안전 분류기: 위험한 요청을 자동으로 걸러 내는 감시 장치.
  • SWE-bench: 실제 오픈소스 프로젝트의 버그 수정 과제로 AI의 코딩 능력을 재는 시험입니다.

참고 자료

 

반응형