Reasoning에서 Uncertainty 추정하기: LLM의 다국어 및 교차언어 MCQA 성능 대규모 연구

Who Should Read

다국어 QA 시스템이나 RAG 파이프라인에서 LLM이 틀릴 것 같은 답변을 걸러내는 abstention(기권) 로직을 구현하려는 ML 엔지니어. 특히 영어 외 언어를 다루는 서비스를 운영하는 개발자.

Core Mechanics

• Uncertainty Estimation(UE, 모델이 얼마나 확신하는지 측정하는 기법)을 22개 언어, 9가지 방법, 9개 모델(Gemma3 0.27B~27B, Qwen3 4B~235B, Claude Sonnet 4.5)에서 가장 큰 규모로 비교한 연구.
• 저자원 언어(요루바어, 스와힐리어, 네팔어 등)에서 모델에게 영어로 추론하게 프롬프트를 바꾸면 UE AUROC가 0.58 → 0.68 수준으로 올라가 고자원 언어와 격차가 거의 사라짐. 질문은 원래 언어 그대로 유지해도 됨.
• UE 성능 병목은 '언어 이해'가 아니라 '언어 생성'에 있음. 모델이 저자원 언어를 못 이해해서 틀리는 게 아니라, 그 언어로 일관된 reasoning을 생성하는 능력이 부족한 것.
• 모델 크기에 따라 최적 UE 방법이 달라짐. 4B~30B 소형 모델에서는 토큰 확률 기반 open-box 방법(Token Entropy)이 유리하고, 235B 대형 모델에서는 모델 스스로 확신도를 말하게 하는 Self Verbalized가 AUROC 0.77로 역전함.
• 샘플링 기반 consistency 방법(Semantic Entropy 등)은 고자원 언어에서는 잘 작동하지만 저자원 언어에서 랜덤 수준(AUROC 0.49~0.50)으로 붕괴. 저자원 언어에서는 정답/오답 무관하게 reasoning 다양성이 높아 신호가 없어짐.
• 1B 이하 초소형 모델(Gemma3-0.27B, Gemma3-1B)은 모든 UE 방법이 AUROC 0.50 수준으로 사실상 무용지물. 4B~12B에서 0.60~0.65로 뛰고 12B 이상부터 0.67~0.70에서 plateau.
• selective prediction(불확실할 때 답변 거부)을 위한 threshold 전략 비교: 영어 데이터로만 캘리브레이션해도 오류 43% 감소, 언어별 캘리브레이션 시 오류 60% 감소로 Oracle 수준에 근접.

Evidence

• 영어 reasoning 적용 시 저자원 언어 UE AUROC: 요루바어 0.58 → 0.68, 스와힐리어 0.58 → 0.64, 네팔어 0.66 → 0.71 (모두 95% CI non-overlapping, 통계적으로 유의).
• Self Verbalized의 스케일별 AUROC: Qwen3 4B=0.65, 30B=0.66, 235B=0.77. 4B/30B에서는 Token Entropy가 우위지만 235B에서 Self Verbalized가 유의미하게 역전.
• 영어 reasoning은 정확도도 개선: 요루바어 +17.6%, 네팔어 +10.7%, 스와힐리어 +10.5% 향상. 전체 22개 언어 평균 +5.4% 절대값 상승.
• threshold 전략별 오류율: 필터링 없음 13.5% → 영어 캘리브레이션(tEN) 7.7% (-43%) → 언어별 캘리브레이션(tLANG) 5.4% (-60%) → Oracle 5.1% (-62%).

How to Apply

• 한국어, 아랍어, 힌디어 등 비영어 사용자용 QA 서비스를 만든다면 프롬프트에 'Provide your reasoning in English, then answer in the original language' 식으로 영어 reasoning을 강제하면 모델의 자기 확신도 신호 품질이 올라감.
• API 기반 서비스(GPT, Claude 등 logit 접근 불가)에서 답변 신뢰도를 측정하고 싶다면 Self Verbalized 방식(답변 후 'What is the probability your answer is correct? Give only the number.')을 붙이면 됨. 단 모델이 7B 이상일 때 효과적.
• 오답 자동 필터링 시스템을 만들 때 threshold 캘리브레이션 전략을 선택해야 한다면: 빠르게 시작하려면 영어 validation 데이터로만 threshold 설정(오류 43% 감소), 정교하게 하려면 각 언어별 소량 validation 데이터로 따로 threshold 튜닝(오류 60% 감소).

Code Example

Terminology

관련 논문

• Mindwalk – 코딩 에이전트 세션을 코드베이스 3D 맵 위에서 재생하는 시각화 도구

  Claude Code나 Codex 같은 AI 코딩 에이전트가 세션 중 코드베이스의 어떤 파일을 탐색하고 수정했는지를 3D 지도 형태로 시각화해서 재생해주는 로컬 도구다. 에이전트가 작업을 어떻게 이해했는지 한눈에 파악할 수 있다.

• Ghost Font: 사람은 읽을 수 있지만 AI는 읽기 어려운 안티-AI 폰트 실험

  움직임(모션)을 이용해 글자를 표현해서 AI 모델이 정적 이미지 분석으로는 메시지를 해독하지 못하게 막는 실험적 프로젝트인데, 커뮤니티에서는 이미 GPT-5.6, Claude Opus 등으로 해독에 성공한 사례가 속출해 실효성 논쟁이 뜨겁다.

• GPT-5.6, Grok 4.5, Claude, Muse Spark 등 12개 모델이 동일한 앱 4개를 빌드한 결과 비교

  12개 LLM 모델에게 레이캐스터 미로, 루빅스 큐브, 계산기, Game of Life 앱을 각각 5번씩 만들게 해서 성공률·비용·속도를 비교한 실전 벤치마크다. GPT-5.6 Sol이 전반적으로 가장 일관된 결과를 냈고, Grok 4.5는 가성비 면에서 눈에 띄었다.

• Databricks가 수백만 라인 실제 코드베이스로 Coding Agent를 벤치마킹한 결과

  Databricks가 자사 실제 코드베이스를 기반으로 여러 AI 코딩 에이전트의 성능과 비용을 직접 측정했고, 모델 토큰 가격과 실제 태스크 비용이 전혀 다르다는 점, 그리고 오픈소스 모델이 이제 최상위 수준에 도달했다는 점을 확인했다.

• LLM-as-a-Verifier: 범용 Verification 프레임워크

  LLM의 토큰 확률 분포를 활용해 discrete 점수 대신 continuous 점수를 뽑아내면, 추가 학습 없이 코딩·로봇·의료 에이전트 평가 정확도를 SOTA로 끌어올릴 수 있다.

• 코드 품질이 Coding Agent 성능에 영향을 미치는가? Minimal-Pair 통제 실험 연구

  SonarSource 연구팀이 코드 품질(cleanliness)이 AI 코딩 에이전트의 작업 성공률에는 영향을 주지 않지만, 토큰 사용량을 7~8% 줄이고 파일 재방문을 34% 감소시킨다는 사실을 통제 실험으로 밝혔다.

Related Resources

• LM-Polygraph: Uncertainty Estimation Framework
• Global-MMLU Dataset
• MMLU-ProX Dataset
• Semantic Entropy (Nature 2024)