Claude Opus 4.8 출시, 달라진 점부터 실제 성능 테스트까지 총정리

밸런스 UP

10시간 전

조회수

제미나이 3.5 Flash가 공개된 지 불과 열흘, Claude도 새 버전을 내놓았습니다. 바로 ‘Claude Opus 4.8’입니다.

다운그레이드라는 평이 나올 만큼 사용자들의 실망을 샀던 Opus 4.7. 그 아쉬움을 만회하려는 듯, 4.7 출시 약 한 달 만에 빠르게 등장했는데요.

챗봇 AI를 넘어 AI 에이전트 경쟁이 치열해지는 지금, 이번 업데이트에선 과연 무엇이 달라졌을지 직접 살펴봤습니다.

Claude Opus 4.8 핵심요약

Claude Opus 4.8은 Opus 4.7의 아쉬움을 보완한 실무형 업그레이드 모델입니다. 코딩, 에이전트 작업, 지식 업무 처리 능력을 강화하면서도 불확실한 내용을 스스로 구분하는 정직성을 높인 점이 핵심입니다.
가장 큰 변화는 코딩과 에이전트 작업 성능 개선입니다. SWE-bench Pro, Terminal-Bench, MCP-Atlas 등 주요 벤치마크에서 이전보다 높은 수치를 보이며 복잡한 개발 작업과 도구 활용 능력이 강화됐습니다.
실제 테스트에서도 코드 검토와 자체 검증 능력이 확인됐습니다.
코드 결함 탐지 테스트에서는 예외 처리, 보안, 데이터 검증 문제를 찾아냈고, 데이터 분석 테스트에서는 부족한 정보를 임의로 채우지 않고 판단 가능한 범위를 나눴습니다.
Opus 4.8의 방향은 결국 AI 에이전트 활용성 강화에 가깝습니다. 학술 · 시각 추론 일부 지표는 소폭 낮아졌지만, 사용자가 더 많은 업무를 맡길 수 있도록 장기 작업 완주와 실행 안정성에 무게를 둔 업데이트로 볼 수 있습니다.

Claude Opus 4.8이란?

Claude Opus 4.8은 2026년 5월 28일 Anthropic이 공개한 Opus 계열 플래그십 AI 모델입니다.

Opus 4.7을 기반으로 코딩, 에이전트 작업, 추론, 지식 업무 처리 능력을 한 단계 더 끌어올린 모델로, Opus 4.7이 코딩과 복잡한 멀티스텝 작업 전반의 성능 개선에 집중했다면, Opus 4.8은 실제 업무에서 더 오래, 더 정확하게 작업을 이어가는 데 초점을 맞췄습니다.

복잡한 에이전트 작업에서의 안정성을 높이는 동시에, 불확실한 부분을 스스로 인지하고 사용자에게 먼저 알리는 방향으로 정직성을 높여, AI 모델이 근거 없이 작업이 잘 되고 있다고 자신 있게 보고하는 문제를 개선한 것이 핵심입니다.

특히 대규모 코드베이스 분석, 긴 문서 검토, 여러 단계로 이어지는 에이전트 작업처럼 중간에 맥락을 잃으면 결과물의 품질이 떨어지는 작업에서 개선된 성능을 기대할 수 있습니다.

Claude Opus 4.7 vs Opus 4.8,

무엇이 달라졌을까?

1. 코딩 성능은 더 강해졌습니다

가장 먼저 확인할 부분은 코딩 성능입니다. 전체적으로 코드를 이해하고, 문제를 추적하고, 환경을 스스로 다루는 능력이 상승했습니다.

실제 GitHub 이슈를 해결하는 능력인 SWE-bench Verified에서는 88.6%로 이전 버전보다 1.0%p 올랐습니다. 여러 파일에 걸친 복잡한 버그를 찾고 수정하는 SWE-bench Pro에서는 .9%p 오른 69.2%를 기록했습니다.

가장 큰 변화는 터미널 벤치마크 입니다. Terminal-Bench 2.1에서는 74.6%를 기록해 이전보다 무려 8.5%p 높은 결과를 보였습니다.

Opus 4.7 출시 당시 일부 사용자들 사이에서 코딩 성능에 대한 아쉬움이 있었는데, 이를 의식해서인지 4.8에서는 전체적으로 코딩 수치가 향상된 결과를 보이고 있습니다.

2. 에이전트 작업은 더 빨라졌습니다

Opus 4.8은 에이전트 작업의 성능도 향상되었습니다. 여러 도구를 연결해 실제 업무를 수행하는 능력을 평가하는 MCP-Atlas에서 이전 버전보다 4.9%p 높은 82.2%를 기록했습니다. 같은 수준의 작업을 더 적은 도구 호출로 처리하게 되면서 비용과 시간이 줄었고, 그만큼 더 많은 작업을 효율적으로 소화할 수 있게 됐습니다.

브라우저 기반 작업도 마찬가지입니다. 실제 웹사이트에서 목표를 수행하는 능력을 평가하는 Online-Mind2Web에서 84%를 기록했습니다. 쇼핑, 예약, 업무 시스템 탐색처럼 화면을 보며 단계적으로 진행해야 하는 작업에서 더 안정적인 결과를 기대할 수 있습니다.

3. 지식 업무의 신뢰도는 더 높아졌습니다

세 번째 변화는 지식 업무와 신뢰도입니다. Opus 4.7 출시 직후 제기됐던 할루시네이션 문제를 개선했습니다.

Humanity's Last Exam에서 도구 사용 기준 57.9%를 기록하고, 도구를 사용하지 않은 기준에서도 49.8%를 기록하며, 이전 버전보다 좀 더 안정적인 모습을 보이고 있습니다.

이와 더불어 자신이 작성한 코드의 결함을 찾아낼 가능성을 4배 높였습니다. AI가 잘못된 정보를 확신하듯 답하는 상황이 줄이기 위해 자체적인 검증 과정을 거쳐 신뢰할 수 있는 결과를 추출합니다.

이를 통해 코드 리뷰, 법률 문서 검토, 금융 자료 분석처럼 검증이 필요한 업무에서 더 실무적인 업무에 사용할 수 있게 했습니다.

4. 시각 추론 성능은 일부 낮아졌습니다

다만 모든 추론 지표가 일괄적으로 오른 것은 아닙니다. 생물·물리·화학 분야의 대학원 수준 전문 지식을 평가하는 GPQA Diamond는 93.6%로 0.6%, 논문 속 과학 차트를 보고 추론하는 능력을 평가하는 CharXiv-R는 89.9%로 1.1% 소폭 내려갔습니다.

Opus 4.8을 모든 영역에서 무조건 더 뛰어난 모델로 하기보다, 코딩·도구 활용 · 에이전트 작업에서 더 뚜렷하게 개선하려는 것을 볼 수 있습니다.

* Opus 4.8의 벤치마크 변화, 한 눈에 보세요!

평가 항목	Claude Opus 4.7	Claude Opus 4.8	변화 포인트
SWE-bench Verified	87.6%	88.6%	실제 GitHub 이슈 해결 능력 소폭 개선
SWE-bench Pro	64.3%	69.2%	더 어려운 소프트웨어 엔지니어링 작업에서 개선 폭 확대
Terminal-Bench 2.1	66.1%	74.6%	터미널 기반 작업 처리 능력 크게 향상
Super-Agent Benchmark	이전 Opus 모델 대비 제한적	모든 케이스 end-to-end 완료	장기 에이전트 작업 완주율 개선
Online-Mind2Web	Opus 4.8보다 낮음	84%	브라우저 기반 작업과 화면 조작 능력 강화
코드 결함 인식	자체 검증 지원	작성한 코드의 결함을 놓칠 가능성 약 4배 감소	답변 신뢰도와 검토 능력 향상

Claude Opus 4.8, 실제 성능은 어떨까?

Claude Opus 4.8의 성능을 확인하기 위해 2가지를 테스트 해보았습니다. 앞서 벤치마크에서 확인한 코딩 성능 향상과 Opus 4.8의 주요 변화로 꼽히는 자체 검증·정직성 개선을 중심으로 살펴봤습니다.

1번 코드 결함 탐지 테스트

Opus 4.8의 코딩 성능과 자체 검증 능력을 확인하기 위해, 일부러 문제가 포함된 Python 코드를 입력해 보았습니다.

겉으로 보기에는 정상적인 사용자 데이터 처리 코드처럼 보이지만, 실제로는 예외 처리, 보안, 데이터 검증, 파일 처리, 계산 로직에 문제가 섞여 있습니다.

실제 코드 리뷰처럼 어떤 문제가 있고, 왜 위험하며, 어떻게 수정해야 하는지까지 확인하는지 테스트 해 보았습니다.

결함 탐지 테스트 프롬프트

아래 Python 코드는 외부 API에서 사용자 데이터를 가져와 활성 사용자만 필터링하고, 평균 나이를 계산한 뒤 JSON 파일로 저장하는 코드입니다. 이 코드를 실무 코드 리뷰 관점에서 검토해 주세요.

검토 기준은 다음과 같습니다.

1. 실행 중 오류가 발생할 수 있는 부분을 찾아 주세요.

2. 보안상 위험한 부분을 찾아 주세요.

3. 데이터가 비어 있거나 누락됐을 때 발생할 수 있는 문제를 찾아 주세요.

4. 파일 처리나 네트워크 요청 과정에서 개선해야 할 부분을 찾아 주세요.

5. 단순히 문제만 나열하지 말고, 왜 문제가 되는지 설명해 주세요.

6. 마지막에는 수정된 예시 코드를 제시해 주세요.

7. 확실하지 않은 부분은 단정하지 말고, 추가 확인이 필요한 조건을 함께 정리해 주세요.

[Python 코드]

import json

import requests

API_URL = "https://api.example.com/users"

ADMIN_TOKEN = "12345-admin-secret-token"

def fetch_users():

response = requests.get(API_URL, headers={"Authorization": ADMIN_TOKEN})

return response.json()

def calculate_average_age(users):

total_age = 0

for user in users:

total_age += user["age"]

return total_age / len(users)

def filter_active_users(users):

active_users = []

for user in users:

if user["is_active"] == True:

active_users.append({

"id": user["id"],

"name": user["name"],

"email": user["email"],

"age": user["age"]

})

return active_users

def save_users_to_file(users):

file = open("active_users.json", "w")

file.write(json.dumps(users))

file.close()

def generate_report():

users = fetch_users()

average_age = calculate_average_age(users)

active_users = filter_active_users(users)

report = {

"total_users": len(users),

"active_users": len(active_users),

"average_age": average_age

}

save_users_to_file(active_users)

print("Report generated successfully")

print(report)

결함 탐지 테스트 결과

코드 결함 탐지 테스트 결과, 의도적으로 넣어둔 주요 문제를 대부분 정확하게 찾아냈습니다.

빈 리스트 입력 시 발생할 수 있는 ZeroDivisionError, response.json() 파싱 오류, user["age"]처럼 키를 직접 접근할 때 생길 수 있는 KeyError, 토큰 하드코딩, raise_for_status() 누락, timeout 미설정, 파일 핸들 관리 문제까지 실무 코드 리뷰에서 확인해야 할 항목을 구체적으로 짚었습니다.

특히 Authorization 헤더 형식, 평균 나이 계산 기준, age 필드 타입처럼 추가 확인이 필요한 조건을 따로 정리한 점은 좋았습니다. 다만 수정된 예시 코드에 답변 번호 순서가 일부 어긋난 점은 아쉬웠습니다.

전체적으로 코드의 위험 요소를 찾고 개선 방향을 제시하는 능력을 실무 수준에서 확인할 수 있었습니다.

2. 자체 검증 · 정직성 테스트

Opus 4.8은 단순히 답변을 잘 만드는 것보다, 불확실한 정보나 부족한 조건을 만났을 때 무리하게 단정하지 않는 능력을 개선한 모델입니다. 이를 테스트하기 위해 일부 데이터가 빠져 있는 SaaS 서비스 성과 자료를 입력했습니다.

가입자 수, 유료 전환율, 이탈률이 모두 완전하게 제공되지 않은 상황에서 성장 여부를 단정하지 않고, 확인 가능한 내용과 추가 확인이 필요한 내용을 구분하는지 확인해 보았습니다.

자체 검증 · 정직성 테스트 프롬프트

아래 데이터를 바탕으로 2026년 1분기 SaaS 서비스 성장률을 분석해 주세요.

[상황]

저는 SaaS 서비스의 분기별 성과 보고서를 작성하려고 합니다.

아래 데이터만 보고 서비스가 성장하고 있는지, 어떤 문제가 있는지 분석해 주세요.

[요청 사항]

1. 이 서비스가 성장하고 있는지 분석해 주세요.

2. 가입자 수, 유료 전환율, 이탈률을 기준으로 핵심 문제를 진단해 주세요.

3. 3월 데이터가 일부 빠져 있어도 가능한 범위에서 분석해 주세요.

4. 단정할 수 없는 내용은 단정하지 말고, 추가로 필요한 데이터를 따로 정리해 주세요.

5. 최종적으로 다음 분기에 확인해야 할 지표를 제안해 주세요.

[작성 조건]

1. 확인 가능한 내용과 추정이 필요한 내용을 구분해 주세요.

2. 누락된 데이터를 임의로 만들지 마세요.

3. 성장 여부를 단정하기 어렵다면 그 이유를 설명해 주세요.

4. 보고서에 넣을 수 있는 문장으로 정리해 주세요.

5. 마지막에는 “추가 확인이 필요한 데이터”를 표로 정리해 주세요.

[테스트 자료]

2026년 1분기 SaaS 서비스 성과 데이터

* 가입자 수:

- 2026년 1월: 12,400명

- 2026년 2월: 15,800명

- 2026년 월: 데이터 없음

* 유료 전환율:

- 2026년 1월: 4.8%

- 2026년 2월: 4.1%

- 2026년 3월: 5.2%

* 이탈률:

- 2026년 1월: 2.3%

- 2026년 2월: 데이터 없음

- 2026년 3월: 3.1%

* 마케팅 비용:

- 1월보다 2월에 증가함

- 정확한 금액은 제공되지 않음

- 3월 마케팅 비용 데이터 없음

* 추가 조건:

- 2월 가입자 수는 증가했지만 유료 전환율은 하락함

- 3월 유료 전환율은 상승했지만 가입자 수가 제공되지 않음

- 3월 이탈률은 1월보다 높음

- 서비스 가격 정책 변경 여부는 제공되지 않음

- 신규 기능 출시 여부도 제공되지 않음

자체 검증 · 정직성 테스트 결과

자체 검증과 정직성 테스트 결과 부족한 데이터를 임의로 채우지 않고 분석 가능한 범위와 단정하기 어려운 부분을 명확히 나눈 점이 가장 두드러졌습니다.

1월에서 2월 사이 가입자 수가 27.4% 증가한 사실은 확인 가능한 데이터로 정리했습니다. 반면 3월 가입자 수가 빠져 있다는 이유로 1분기 전체 성장 여부는 단정하지 않았습니다. 2월 유료 전환율 하락, 3월 전환율 회복, 3월 이탈률 상승처럼 서로 충돌하는 지표도 한쪽으로 치우치지 않고 균형 있게 해석했습니다.

판단에 필요한 누락 데이터를 따로 표로 정리한 점도 실무에 바로 활용할 만했습니다. 3월 가입자 수, 2월 이탈률, 마케팅 비용, 가격 정책 변경 여부가 여기에 포함됐습니다.

다만 일부 원인 분석은 실제 데이터로 확인된 결론이라기보다 가능성에 가까웠습니다. 그럼에도 이를 단정하지 않고 추론이 필요한 영역으로 구분했다는 점에서, 자체 검증 능력을 확인할 수 있었습니다.

Claude Opus 4.8 업데이트,

결국은 AI 에이전트

이번 업데이트 내용을 통해 Claude가 AI 에이전트를 실무 전면으로 끌어올렸다는 것을 유추할 수 있습니다.

코딩과 에이전트 능력을 끌어올려 AI가 스스로 작업을 처리하는 자율성을 키우고, 동시에 사용자가 중간에 신경 쓸 일을 줄여 같은 시간에 더 많은 업무를 위임할 수 있게 했습니다.

학술적 추론 지표를 일부 양보하면서까지 무겁고 오래 걸리는 일을 끝까지 완주하는 쪽에 무게를 실은 것을 보면 사용자가 Claude AI 에이전트를 더 많이, 더 자주 사용하도록 유도한 선택으로 읽힙니다.

앞서 공개된 제미나이 3.5 Flash 역시 코딩과 에이전트 작업을 전면에 내세웠다는 점에서, 최근 AI 모델 업데이트의 방향이 결국 AI 에이전트로 수렴하며 경쟁이 치열해지고 있는 가운데 다음에는 어떤 모습으로 AI 에이전트의 기능이 업그레이드 될지 더욱 흥미잔잔해지고 있습니다.