FUSE: 레이블 데이터 없이 Verifier 앙상블하기

TL;DR Highlight

정답 레이블 없이 여러 LLM 검증 모델을 자동으로 앙상블해서 Best-of-N 성능을 반지도학습 수준으로 끌어올리는 방법.

Who Should Read

Test-time scaling이나 Best-of-N 샘플링을 프로덕션에 적용하려는 ML 엔지니어. 여러 reward model을 조합해 응답 품질을 높이고 싶지만 레이블 데이터 확보가 어려운 상황의 개발자.

Core Mechanics

FUSE는 여러 verifier(LLM 판정 모델, reward model 등)의 점수를 정답 레이블 없이 자동으로 가중 앙상블하는 방법으로, 단순 평균이나 다수결보다 훨씬 정확하게 최선의 응답을 고를 수 있음.
핵심 아이디어는 Triplet Conditional Independence(TCI, 세 verifier의 출력이 정답이 주어졌을 때 서로 독립이라는 가정)를 최대한 만족하도록 verifier 점수를 자동 변환한 뒤, 통계적 moment 기법으로 각 verifier의 정확도를 추정하는 것.
실제 LLM verifier들은 TCI를 위반하는 경우가 많아서, 기존 Jaffe et al. (2015) 알고리즘을 그냥 쓰면 단순 naive ensemble보다 10개 설정 중 7개에서 성능이 떨어짐. FUSE는 이 문제를 점수 변환 단계로 해결함.
verifier 정확도 추정값으로 pseudo-label을 만들고, 이걸로 logistic regression 같은 앙상블 함수를 학습해 최종 응답을 선택함. 이 덕에 더 강한 독립성 가정인 JCI(모든 verifier가 동시에 독립)를 쓰지 않아도 됨.
query별로 독립적으로 동작하는 query-conditional 모드 덕에, 도메인이 섞인 heterogeneous 환경에서도 반지도학습 기반 WEAVER보다 성능이 좋음. 레이블이 특정 도메인 것만 있는 경우 FUSE 우위가 더 커짐.
Gemini 3 Pro와 GPT-5 같은 최전선 모델도 아직 포화되지 않은 Humanity's Last Exam 벤치마크에서도 FUSE가 작동하며, 데이터 필터링·벤치마크 감사·비지도 모델 랭킹 등 다양한 응용 가능성이 있음.

Evidence

GPQA Diamond(70B, Best-of-100)에서 FUSE 64.4% vs WEAVER(5% 레이블 사용) 64.1%, 즉 레이블 없이도 반지도학습 수준에 도달. 40개 비교 중 27번 반지도학습 baseline을 이김.
Humanity's Last Exam(649문제, Best-of-50)에서 FUSE 54.3%로 Pass@1(52.1%), WEAVER(51.2%), naive ensemble(51.4%)을 모두 상회. naive ensemble은 랜덤 선택보다 오히려 낮은 유일한 벤치마크.
IMO Shortlist(123문제, Best-of-50)에서 FUSE 63.8%로 WEAVER(62.1%), 반지도 logistic regression(60.2%), oracle best verifier(59.7%)를 모두 이김.
Saad-Falcon et al. 데이터(8B/70B, 10개 설정)에서 FUSE가 naive ensemble 대비 최소 +2.3%p에서 최대 +12.3%p 향상, majority vote 대비는 최대 17.0%p(MMLU Pro 70B) 향상.

How to Apply

Best-of-N 파이프라인을 운영 중이고 여러 reward model을 갖고 있다면, 각 모델의 점수를 [-1, 1]로 min-max 정규화한 뒤 FUSE 알고리즘을 적용하면 됨. 레이블 수집 비용 없이 앙상블 가중치를 자동으로 추정할 수 있음.
도메인이 섞인 쿼리 세트(예: 수학+코딩+상식)를 처리하는 경우, FUSE의 query-conditional 모드를 사용하면 도메인별로 verifier 가중치가 달라져서, 하나의 레이블 셋으로 학습한 반지도학습 방법보다 더 좋은 성능을 얻을 수 있음.
합성 데이터 선택이나 RLHF 데이터 필터링에서 정답 레이블 없이 품질 좋은 응답을 골라야 할 때, 여러 LLM judge를 verifier로 두고 FUSE로 앙상블 점수를 구한 뒤 상위 응답만 학습 데이터로 사용하는 방식으로 적용 가능.

Code Example

snippet

Terminology

Best-of-N (BoN)N개 응답을 생성하고 그 중 가장 좋아 보이는 걸 선택하는 방법. 여러 번 시험을 치르고 제일 잘 본 걸 제출하는 것과 비슷.

VerifierLLM이 생성한 응답이 맞는지 채점하는 모델. 사람 채점관 대신 쓰는 자동 채점기.

Reward Model응답의 품질을 수치 점수로 매기는 모델. RLHF 학습에 자주 쓰이며, 점수가 높을수록 좋은 응답으로 판단.

TCI (Triplet Conditional Independence)세 verifier가 정답을 알고 있을 때 서로 독립적으로 판단한다는 가정. 현실에서는 비슷한 모델들이 비슷하게 틀리기 때문에 자주 위반됨.

Method of Moments (MoM)데이터의 평균, 분산 같은 통계량만으로 모델 파라미터를 추정하는 방법. 데이터를 많이 모으지 않아도 수식으로 바로 계산 가능.

Pseudo-label레이블(정답)이 없을 때 모델이 스스로 추정해서 만든 임시 정답. 이걸로 지도학습처럼 모델을 학습시킬 수 있음.

Sensitivity/Specificity모델이 '맞다'를 맞다고 잡아내는 능력(sensitivity)과 '틀리다'를 틀리다고 잡아내는 능력(specificity). 의학 검사에서 양성률/음성률과 같은 개념.

Test-time Scaling모델 학습을 더 시키는 대신, 추론할 때 더 많이 생각하거나 더 많은 후보를 생성해서 성능을 높이는 방법.

Related Resources

Original Abstract (Expand)

Verification of model outputs is rapidly emerging as a key primitive for both training and real-world deployment of large language models (LLMs). In practice, this often involves using imperfect LLM judges and reward models since ground truth acquisition can be time-consuming and expensive. We introduce Fully Unsupervised Score Ensembling (FUSE), a method for improving verification quality by ensembling verifiers without access to ground truth correctness labels. The key idea behind FUSE is to control conditional dependencies between verifiers in a manner that improves the unsupervised performance of a class of spectral algorithms from the ensembling literature. Despite requiring zero ground truth labels, FUSE typically matches or improves upon semi-supervised alternatives in test-time scaling experiments with diverse sets of generator models, verifiers, and benchmarks. In particular, we validate our method on both conventional academic benchmarks such as GPQA Diamond and on frontier, unsaturated benchmarks such as Humanity's Last Exam and IMO Shortlist questions.