Epistemic Blinding: LLM 기반 분석에서 사전 지식 오염을 감사하는 Inference-Time 프로토콜

TL;DR Highlight

익명화 기법이 LLM이 입력 데이터 대신 자신의 암기된 지식으로 분석하는 hallucination을 탐지한다.

Who Should Read

LLM을 데이터 분석 파이프라인에 활용하는 ML 엔지니어나 데이터 사이언티스트. 특히 LLM이 제공한 데이터가 아닌 사전 학습 지식에 의존해 결과를 왜곡할 가능성을 걱정하는 AI 에이전트 개발자.

Core Mechanics

LLM은 유전자 이름, 종목 코드 등 '유명한 엔티티'를 보는 순간, 제공된 데이터가 아니라 학습 중 암기한 지식(parametric knowledge)으로 슬며시 답변을 채운다.
Epistemic blinding은 엔티티 이름을 익명 코드(Gene_001, Company_042 등)로 치환한 뒤 LLM에게 넘기고, 이를 원래 이름이 노출된 결과와 A/B 비교하는 방식이다.
핵심 포인트는 '블라인드 결과가 더 좋다'는 게 아니라, '블라인드 없이는 LLM이 데이터를 따른 건지 암기를 따른 건지 알 방법이 없다'는 감사 가능성(auditability) 복원이다.
Claude Sonnet을 mutation operator로 쓰는 진화 최적화(ShinkaEvolve)를 통해, 유전자 이름 없이 수치 피처만으로 스코어링 함수를 13세대에 걸쳐 진화시켰다.
피처 신호가 약할수록 오염이 심하다. 신호가 강한 AML에선 90% 일치, 신호가 약한 GBM에선 75% 일치로 컨태미네이션(contamination) 정도가 예측 가능한 패턴을 보인다.
Claude Code skill로 구현해서 사용자가 별도 스크립트 없이 한 명령어로 blinding → A/B 비교 → de-anonymize까지 자동 실행할 수 있다.

Evidence

종양학 4개 암종 상위 20개 약물 타깃 예측에서 블라인드/언블라인드 간 평균 84% 일치 → 16% 예측이 바뀌지만, 검증된 타깃 회수율은 두 조건 모두 동일(평균 2.75개/암종).
GBM(교모세포종)에서 DPP8은 블라인드 시 #3이었지만 이름 노출 시 #9로 밀렸고, PTEN은 블라인드 #15에서 언블라인드 #3으로 12계단 뛰어올랐다.
S&P 500 가치 투자 스크리닝에서 티커 노출 시 상위 20개 중 평균 7개(35%)가 바뀌었으며, ELV·CI는 5번 중 4번 언블라인드에서 상위 랭크로 올라가는 systematic bias를 보였다.
진화 최적화 결과: 13세대 53개 후보 함수 중 최종 함수는 18개 질환 중 10개에서 상위 20위 안에 FDA 승인 타깃을 포함하는 strict hit rate 달성, 초기 naive 함수(Generation 0) 대비 fitness 68%→82%.

How to Apply

LLM에게 데이터 기반 랭킹/스코어링을 시킬 때, 엔티티 컬럼(유전자명, 회사명, 후보 약물명 등)을 YAML config로 지정하고 blind.py로 익명화한 뒤 A/B 프롬프트를 각각 fresh session에 보내보면 된다. 결과 차이가 크면 LLM이 당신의 데이터가 아닌 사전 지식으로 답한 것이다.
피처값이 엔티티를 특정할 수 있는 경우(예: 시가총액 3조달러 + 스마트폰 섹터 = Apple)엔 해당 피처를 섹터별 정규화 또는 binning해서 구조적 식별 가능성을 줄인 뒤 blinding해야 한다.
Claude Code 환경에서 agentic 워크플로우를 쓰고 있다면 epistemic-blinding을 Claude Code skill로 추가하면, 랭킹/우선순위 지정 요청 시 자동으로 blinding → 비교 → de-anonymize가 한 턴에 돌아간다.

Code Example

snippet

# 설치 및 기본 사용
# git clone https://github.com/mcuccarese/epistemic-blinding

# 1. YAML 설정 파일 작성 (config.yaml)
# datasets:
#   - path: genes.csv
#     entity_columns: [gene_symbol]
# task: "Rank the top 20 drug targets based solely on the provided features."
# seed: 42

# 2. 블라인드 프롬프트 생성
python blind.py --config config.yaml
# → blinded_prompt.txt, unblinded_prompt.txt, mapping.json 생성

# 3. 각각 LLM에 전송 후 결과 비교
python compare.py \
  --blinded blinded_output.txt \
  --unblinded unblinded_output.txt \
  --mapping mapping.json
# → Set overlap, Jaccard index, Mean rank delta, Kendall τ 출력

# 4. 익명 코드 → 실제 엔티티 복원
python deblind.py \
  --response blinded_output.txt \
  --mapping mapping.json

# Claude Code skill 사용 (한 명령어)
# "Rank these companies by value. Use epistemic blinding."
# → 자동으로 blind → A/B 실행 → deblind 완료

Terminology

parametric knowledgeLLM이 학습 데이터에서 외운 지식. 마치 시험 전에 교과서를 다 외운 학생이 문제를 보면 외운 내용을 답에 섞어 쓰는 것과 같다.

epistemic blinding임상시험의 이중맹검처럼, LLM에게 분석 대상의 이름을 가려서 학습된 편견 없이 순수하게 데이터만으로 판단하게 하는 기법.

contamination여기서는 LLM의 사전 학습 기억이 데이터 분석 결과에 몰래 섞여드는 현상. 음식에 다른 맛이 배어드는 것과 비슷.

auditability분석 결과가 어디서 나왔는지 추적 가능한 성질. 코드는 디버거로 실행 경로를 추적할 수 있지만 LLM은 그게 안 된다는 문제를 해결하려는 개념.

evolutionary optimization생물의 진화처럼, 좋은 함수를 살리고 나쁜 함수를 버리는 방식으로 코드/수식을 자동으로 개선하는 최적화 기법.

fame biasLLM이 유명한 엔티티(KRAS 유전자, Apple 주식)를 데이터 근거 없이 상위에 올리는 편향. 유명인이라서 더 좋아 보이는 후광효과와 동일.

Jaccard index두 집합이 얼마나 겹치는지 측정하는 지표. 블라인드/언블라인드 상위 20개 목록이 얼마나 같은지 비교할 때 사용. 1이면 완전히 같고 0이면 전혀 다름.

Kendall τ두 랭킹 리스트가 얼마나 비슷한 순서인지 측정하는 통계량. 블라인드와 언블라인드 결과의 순위 일치도를 보는 데 사용.

Related Resources

epistemic-blinding GitHub (blind.py, deblind.py, compare.py)

Original Abstract (Expand)

This paper presents epistemic blinding in the context of an agentic system that uses large language models to reason across multiple biological datasets for drug target prioritization. During development, it became apparent that LLM outputs silently blend data-driven inference with memorized priors about named entities - and the blend is invisible: there is no way to determine, from a single output, how much came from the data on the page and how much came from the model's training memory. Epistemic blinding is a simple inference-time protocol that replaces entity identifiers with anonymous codes before prompting, then compares outputs against an unblinded control. The protocol does not make LLM reasoning deterministic, but it restores one critical axis of auditability: measuring how much of an output came from the supplied data versus the model's parametric knowledge. The complete target identification system is described - including LLM-guided evolutionary optimization of scoring functions and blinded agentic reasoning for target rationalization - with demonstration that both stages operate without access to entity identity. In oncology drug target prioritization across four cancer types, blinding changes 16% of top-20 predictions while preserving identical recovery of validated targets. The contamination problem is shown to generalize beyond biology: in S&P 500 equity screening, brand-recognition bias reshapes 30-40% of top-20 rankings across five random seeds. To lower the barrier to adoption, the protocol is released as an open-source tool and as a Claude Code skill that enables one-command epistemic blinding within agentic workflows. The claim is not that blinded analysis produces better results, but that without blinding, there is no way to know to what degree the agent is adhering to the analytical process the researcher designed.