병리 보고서 구조화 데이터 추출을 위한 Large Language Model 종합 평가

Comprehensive testing of large language models for extraction of structured data in pathology

Jan 1, 2025•Bastian Grothey, J. Odenkirchen, Adnan Brkic +4•View PDF

TL;DR Highlight

GPT-4 안 써도 된다 — 오픈소스 LLM이 병리 보고서 구조화 추출에서 동급 성능

Who Should Read

의료 데이터 파이프라인을 구축하는 백엔드/ML 엔지니어, 또는 비정형 텍스트를 구조화된 포맷으로 변환하는 ETL 작업을 설계하는 개발자.

Core Mechanics

Llama3 70B, Qwen2.5 7B 같은 오픈소스 모델이 GPT-4 수준의 병리 보고서 파라미터 추출 정확도를 달성
579개 독일어·영어 병리 보고서에서 11개 핵심 파라미터(진단명, 병기 등)를 자동 추출하는 벤치마크 데이터셋 공개
프롬프트 엔지니어링 전략(zero-shot vs few-shot vs chain-of-thought)에 따라 모델 간 정밀도가 크게 달라짐
양자화(quantization — 모델 크기를 줄여 일반 GPU에서 돌리는 기법) 수준별로 성능 변화를 실측해 실제 배포 시나리오 커버
클라우드 API 없이 온프레미스 배포 가능 → 환자 데이터 외부 전송 없이 GDPR·개인정보 규제 대응 가능
Llama2 13B처럼 작은 모델은 특정 파라미터에서 성능이 크게 떨어져 모델 선택이 중요함을 확인

Evidence

오픈소스 최상위 모델(Llama3 70B)이 GPT-4와 동등한 추출 정밀도를 579개 보고서 기준으로 달성
6개 모델 × 다양한 프롬프트 전략 × 양자화 조합으로 수백 개 구성 실험, 구성별 정밀도 편차가 통계적으로 유의미하게 존재
독일어·영어 이중언어 데이터셋에서 모두 고정밀 추출 확인 — 단일 언어 편향 없음

How to Apply

비정형 텍스트(진료 기록, 법률 문서, 고객 리포트)에서 정형 필드를 뽑아야 한다면, GPT-4 API 대신 Llama3 70B나 Qwen2.5 7B를 로컬에 띄워 비용과 개인정보 문제를 동시에 해결할 수 있음
양자화는 4-bit Q4_K_M 정도에서 성능 손실이 크지 않으므로, 24GB VRAM 소비자용 GPU(RTX 4090 등)에서 70B 모델 추론이 가능한지 먼저 검증해볼 것
few-shot 프롬프트에 실제 보고서 예시 2~3개를 넣으면 zero-shot 대비 정밀도가 올라가는 경향 — 추출 필드별로 예시 선별 후 A/B 테스트로 최적 전략 확정

Code Example

snippet

# Ollama + Llama3 70B로 병리 보고서에서 구조화 데이터 추출 예시
import ollama
import json

report = """
Diagnosis: Invasive ductal carcinoma, grade 2.
Tumor size: 1.8 cm. Lymph nodes: 0/5 positive.
ER: positive, PR: positive, HER2: negative.
"""

prompt = f"""Extract the following fields from the pathology report as JSON:
- diagnosis
- tumor_size_cm
- lymph_nodes_positive
- er_status
- pr_status
- her2_status

Return only valid JSON, no explanation.

Report:
{report}

Few-shot example output:
{{"diagnosis": "Invasive ductal carcinoma", "grade": 2, "tumor_size_cm": 1.8,
  "lymph_nodes_positive": "0/5", "er_status": "positive",
  "pr_status": "positive", "her2_status": "negative"}}

Now extract from the report above:"""

response = ollama.chat(
    model="llama3:70b",
    messages=[{"role": "user", "content": prompt}]
)

try:
    structured = json.loads(response["message"]["content"])
    print(structured)
except json.JSONDecodeError:
    print("Parsing failed — add retry or output fixing logic")

Terminology

LLMLarge Language Model의 약자. GPT-4, Llama처럼 방대한 텍스트를 학습해 자연어를 이해하고 생성하는 대형 AI 모델.

양자화(Quantization)모델의 숫자 표현 정밀도를 낮춰 파일 크기와 메모리 사용량을 줄이는 기법. 화질을 약간 낮춰 사진 용량을 줄이는 것과 비슷하며, 일반 GPU에서 큰 모델을 돌릴 수 있게 해줌.

Zero-shot예시 없이 지시문만으로 모델에게 바로 작업을 시키는 방식. '병리 보고서에서 진단명을 추출해'라고만 하는 것.

Few-shot지시문과 함께 2~5개의 예시 입출력을 보여주고 따라 하게 하는 방식. 예시가 있으면 모델이 원하는 포맷을 훨씬 잘 맞춤.

온프레미스(On-premise)외부 클라우드 서버가 아닌 자체 서버·PC에서 직접 모델을 실행하는 배포 방식. 데이터가 외부로 나가지 않아 개인정보 보호에 유리.

정밀도(Precision)모델이 추출한 값 중 실제로 맞은 비율. '틀린 걸 맞다고 한 경우'가 적을수록 정밀도가 높음.

Original Abstract (Expand)

Pathology departments generate large volumes of unstructured data as free-text diagnostic reports. Converting these reports into structured formats for analytics or artificial intelligence projects requires substantial manual effort by specialized personnel. While recent studies show promise in using advanced language models for structuring pathology data, they primarily rely on proprietary models, raising cost and privacy concerns. Additionally, important aspects such as prompt engineering and model quantization for deployment on consumer-grade hardware remain unaddressed. We created a dataset of 579 annotated pathology reports in German and English versions. Six language models (proprietary: GPT-4; open-source: Llama2 13B, Llama2 70B, Llama3 8B, Llama3 70B, and Qwen2.5 7B) were evaluated for their ability to extract eleven key parameters from these reports. Additionally, we investigated model performance across different prompt engineering strategies and model quantization techniques to assess practical deployment scenarios. Here we show that open-source language models extract structured data from pathology reports with high precision, matching the accuracy of proprietary GPT-4 model. The precision varies significantly across different models and configurations. These variations depend on specific prompt engineering strategies and quantization methods used during model deployment. Open-source language models demonstrate comparable performance to proprietary solutions in structuring pathology report data. This finding has significant implications for healthcare institutions seeking cost-effective, privacy-preserving data structuring solutions. The variations in model performance across different configurations provide valuable insights for practical deployment in pathology departments. Our publicly available bilingual dataset serves as both a benchmark and a resource for future research. Pathology departments produce many diagnostic reports as free text, which is hard to analyze or use in research and computer projects. Converting this free text into more standard organized information like test results or diagnoses, makes it easier to use. This task often requires human experts and takes time. Large language models (LLMs), which are advanced computer systems designed to understand and generate human-like text, might simplify this process. Here, we tested six LLMs, including freely available models and the commercial GPT-4 model, using 579 pathology reports in English and German. Our results show that freely available models can perform as well as commercial, providing a cheaper solution while avoiding privacy concerns. The shared dataset will support future research in pathology data processing. Grothey et al. examine the performance of large language models in structuring pathology reports. Findings demonstrate similar accuracy between commercial and open-source models providing a cost-effective, privacy-conscious solution to extract structured data with high precision from bilingual datasets.