Large Language Model Fine-tuning에서 In-Context Learning 능력 보존하기

Preserving In-Context Learning ability in Large Language Model Fine-tuning

Jan 1, 2022•Yihan Wang, Si Si, Daliang Li +5•View PDF

TL;DR Highlight

파인튜닝 하면 망가지는 ICL(몇 가지 예시만 보고 새 task 수행하는 능력)을 어떻게 지키는지 연구한 논문.

Who Should Read

LLM을 특정 도메인에 파인튜닝하면서도 범용 추론 능력을 유지하고 싶은 ML 엔지니어. 파인튜닝 후 few-shot 성능이 떨어지는 문제를 겪고 있는 개발자.

Core Mechanics

파인튜닝(fine-tuning)을 하면 ICL(In-Context Learning, 예시 몇 개만 보고 새 task를 푸는 능력)이 손상되는 현상이 실제로 발생함
ICL 능력은 사전학습(pre-training) 때 형성되는데, 파인튜닝 데이터가 이 패턴을 덮어쓰는 게 주요 원인
파인튜닝 데이터에 ICL 형식(few-shot 예시 포함)의 샘플을 혼합하면 ICL 능력 보존에 효과적
특정 레이어나 파라미터가 ICL에 더 중요하게 작동하며, 이를 선택적으로 보호하는 전략이 유효
LoRA(적은 파라미터만 학습하는 기법) 같은 파라미터 효율적 학습법이 full fine-tuning보다 ICL 보존에 유리한 경향
ICL 보존과 task 성능은 트레이드오프 관계이며, 데이터 혼합 비율 조정이 핵심 튜닝 포인트

Evidence

ICL 형식 데이터를 혼합했을 때 few-shot 평가 벤치마크에서 full fine-tuning 대비 ICL 성능 유의미하게 회복 (논문 본문 수치 기반)
LoRA 방식이 full fine-tuning 대비 ICL 벤치마크 점수 하락 폭을 줄이는 효과 확인
파인튜닝 후 ICL 성능이 baseline 대비 최대 수십 % 하락하는 문제를 데이터 혼합 전략으로 완화 가능함을 실험으로 검증

How to Apply

파인튜닝 데이터셋 구성 시, 타겟 task 데이터 외에 few-shot 예시 형식(질문-예시1-예시2-정답)으로 구성된 샘플을 10~30% 비율로 섞어보면 ICL 능력 보존에 도움이 됨
full fine-tuning 대신 LoRA나 QLoRA를 쓰는 경우, ICL 성능 하락이 덜하므로 범용 추론이 중요한 서비스라면 파라미터 효율적 방법을 우선 고려
파인튜닝 후 few-shot 벤치마크(예: MMLU, BBH)로 ICL 능력을 주기적으로 체크해서, 성능 하락이 감지되면 ICL 형식 데이터 혼합 비율을 높이는 방식으로 대응

Code Example

snippet

# 파인튜닝 데이터에 ICL 형식 샘플 혼합 예시 (HuggingFace datasets 기준)

from datasets import concatenate_datasets, load_dataset

# 타겟 task 데이터
task_dataset = load_dataset("your_task_dataset")

# ICL 형식으로 변환하는 함수
def to_icl_format(examples, num_shots=3):
    """
    few-shot 예시를 포함한 ICL 형식으로 변환
    예: [예시1 Q&A] [예시2 Q&A] [예시3 Q&A] [실제 질문]
    """
    icl_samples = []
    data = examples  # 실제 데이터에 맞게 수정
    for i in range(num_shots, len(data)):
        shots = data[i-num_shots:i]
        shot_text = "\n".join([f"Q: {s['input']}\nA: {s['output']}" for s in shots])
        query = f"{shot_text}\nQ: {data[i]['input']}\nA:"
        icl_samples.append({"text": query, "label": data[i]['output']})
    return icl_samples

# ICL 형식 데이터를 전체의 20% 비율로 혼합
# (실제 구현시 데이터 구조에 맞게 조정 필요)
print("ICL 데이터 혼합 비율: 20% 권장")
print("LoRA rank: 8~16 (full fine-tuning 대신 LoRA 사용 권장)")

# LoRA 설정 예시
from peft import LoraConfig, get_peft_model

lora_config = LoraConfig(
    r=16,                    # rank
    lora_alpha=32,
    target_modules=["q_proj", "v_proj"],
    lora_dropout=0.05,
    bias="none",
    task_type="CAUSAL_LM"
)
# model = get_peft_model(base_model, lora_config)

Terminology

ICLIn-Context Learning. 모델에게 예시 몇 개를 프롬프트에 넣어주면, 별도 학습 없이 새로운 task를 수행하는 능력. 마치 시험 직전에 풀이 예제 3개 보고 비슷한 문제 푸는 것과 같음.

Fine-tuning이미 학습된 모델을 특정 목적에 맞게 추가 학습시키는 것. 요리사가 기본 요리를 배운 뒤 한식 전문점에서 한식만 집중 훈련하는 것과 비슷.

LoRA모델 전체를 다 바꾸지 않고 작은 어댑터 행렬만 추가해서 학습하는 기법. 안경 렌즈만 교체해서 시력을 보정하듯, 모델 일부만 바꿔도 성능이 달라짐.

Few-shot모델에게 예시를 2~5개 정도만 주고 새 task를 수행하게 하는 방식. 'zero-shot'은 예시 없이, 'few-shot'은 예시 조금 주고 시키는 것.

Pre-training모델이 처음 대규모 데이터로 언어의 기본 패턴을 배우는 단계. 학교에서 국어, 수학 등 기초를 배우는 것과 유사하며, fine-tuning은 그 이후 직업 훈련에 해당.

Catastrophic Forgetting새로운 task를 학습하면서 이전에 알던 지식이 덮어씌워져 사라지는 현상. 새 언어를 배우면서 모국어 실력이 떨어지는 것과 비슷한 개념.