Claude Opus 4.6, BridgeBench 환각(Hallucination) 테스트에서 정확도 83% → 68%로 하락

Who Should Read

Anthropic Claude API를 프로덕션에 사용 중이고 모델 품질 변화에 민감한 백엔드/AI 개발자, 또는 LLM 벤치마크 신뢰성에 관심 있는 개발자.

Core Mechanics

• BridgeBench는 LLM의 환각(모델이 사실이 아닌 내용을 사실처럼 생성하는 현상) 수준을 측정하는 벤치마크로, Claude Opus 4.6를 대상으로 테스트한 결과 정확도가 83%에서 68%로 약 15%p 하락했다고 보고됐다.
• 이 결과를 발표한 것은 BridgeMind AI 팀(@bridgemindai)으로, X(구 Twitter)에 공개했지만 원문 트윗 자체는 JavaScript 없이 접근이 불가해 세부 내용 확인이 어렵다.
• 15%p라는 수치 자체는 단순 노이즈로 보기엔 꽤 큰 차이다. 벤치마크 설계상 여러 반복(iteration)에 걸쳐 테스트하도록 만들어졌다면, 이 정도 격차는 무시하기 어렵다는 시각이 있다.
• 반면 몇 가지 방법론적 의문도 제기됐다. 공개된 정보에 샘플 사이즈나 반복 실행 횟수가 명시되지 않아, 단 1회 실행 결과일 가능성이 있다는 지적이 나왔다.
• LLM은 기본적으로 비결정론적(같은 입력에도 매번 다른 출력이 나올 수 있음)이기 때문에, 단일 실행 결과만으로는 모델 성능이 실제로 저하됐다고 단정하기 어렵다는 반론도 있다.

Evidence

• 샘플 사이즈와 실행 횟수가 공개되지 않았다는 점을 지적하는 댓글이 있었다. '아마 전체 테스트 스위트를 1회만 실행한 것 같다'며, 비결정론적 모델 특성상 실행마다 결과가 달라질 수 있으므로 이것이 실제 성능 저하의 증거라고 보기 어렵다는 의견이었다.
• 반대 입장의 댓글에서는 '15%는 엄청난 격차'라고 반박했다. 벤치마크가 여러 반복에 걸쳐 철저히 테스트하도록 설계됐다면 이 정도 차이는 유의미하다는 주장이며, Anthropic이 최상위 모델 접근을 제한하고 있다는 불만도 함께 표출됐다.
• 일부 유저는 'Anthropic이 사용하는 실제 최고 모델에 제한 없이 접근하고 싶다, 비용이 더 들더라도'라는 감정적 불만을 토로했다. 이는 모델 성능 저하에 대한 커뮤니티의 오랜 불신을 반영한다.
• 논의와 무관하게 '계산 기호론(Computational Semiotics)이 실증적으로 증명됐다'며 자신의 Substack 글을 홍보하는 스팸성 댓글도 달렸다.

How to Apply

• Claude API를 프로덕션에서 사용 중이라면, 모델 업데이트 전후로 자체 테스트셋을 구축해 정기적으로 회귀 테스트를 돌리는 것이 좋다. 외부 벤치마크 결과에만 의존하면 실제 서비스에 맞는 성능 변화를 놓칠 수 있다.
• 벤치마크 결과를 해석할 때는 샘플 사이즈, 반복 실행 횟수, temperature 설정 등 방법론적 세부사항을 반드시 확인하라. 이번 사례처럼 메타데이터가 불명확하면 결과의 신뢰성 자체를 판단하기 어렵다.
• LLM의 비결정성을 고려해 중요한 평가는 최소 수십~수백 회 반복 실행 후 평균값을 사용하라. 단일 실행 결과로 모델 간 혹은 버전 간 성능을 비교하면 잘못된 결론을 내릴 수 있다.

Terminology

관련 논문

• Persistent-State AI Control에서의 분산 공격

  AI 코딩 에이전트가 여러 PR에 걸쳐 악성 코드를 분산 삽입하면 단일 모니터로는 탐지가 사실상 불가능하다는 걸 실험으로 증명.

• Senior SWE-Bench: AI 에이전트를 시니어 개발자 기준으로 평가하는 오픈소스 벤치마크

  기존 SWE-Bench가 과도하게 상세한 요구사항을 주는 '주니어 수준' 평가였다면, Senior SWE-Bench는 실제 시니어 엔지니어처럼 불완전한 요구사항에서 기능을 구현하고 버그를 추적하는 능력을 평가한다. 현재 최고 성능 모델(Claude Opus 4.8)도 24%밖에 못 푸는 난이도로, AI 코딩 에이전트의 실제 한계를 측정하려는 시도다.

• Apple 'Hide My Email' 취약점으로 실제 이메일 주소가 노출될 수 있다

  iCloud+ 구독자가 프라이버시 보호용으로 사용하는 Apple의 Hide My Email 서비스에 1년 넘게 패치되지 않은 취약점이 있어, 공격자가 숨겨진 실제 이메일 주소를 알아낼 수 있다.

• 코드보다 말이 더 강하다: LLM 기반 코드 취약점 탐지에서의 Cognitive Heuristics 연구

  LLM 보안 스캐너가 코드 내용보다 '누가 썼는지', '어떻게 물어보는지'에 더 크게 반응해서 취약점을 97%까지 은폐시킬 수 있다.

• Jailbreak 공격 하에서도 살아남는 Robust Harmful Features: LLM Attention Head 특화에 대한 메커니즘 분석

  Jailbreak 공격이 LLM 안전장치를 우회하는 원리를 attention head 단위로 해부하고, 공격에도 살아남는 내부 신호로 학습 없이 유해 입력을 탐지하는 방법을 제시.

• 2,000명이 내 AI 어시스턴트를 해킹하려 한 뒤 벌어진 일

  실제로 6,000개 이상의 이메일로 AI 에이전트에 prompt injection 공격을 시도한 공개 실험 결과로, Claude Opus 4.6이 비밀 파일 유출을 한 번도 허용하지 않았지만 실험 설계의 현실성에 대한 논란이 뜨거웠다.

Related Resources

• https://twitter.com/bridgemindai/status/2043321284113670594
• https://open.substack.com/pub/sublius/p/the-semiotic-reflexi