LLM 기반 에이전트의 Lifelong Learning: 로드맵

Who Should Read

LLM 에이전트를 실서비스에 배포하면서 '모델이 새 데이터를 학습하면 기존 기능이 망가지는' 문제를 겪고 있는 AI/ML 엔지니어. 또는 장기 운영 가능한 에이전트 시스템 아키텍처를 설계 중인 백엔드 개발자.

Core Mechanics

• LLM 에이전트를 Perception(지각) → Memory(기억) → Action(행동) 3개 모듈로 분류하고, 각각에 적용 가능한 lifelong learning 기법을 체계적으로 정리함
• Catastrophic Forgetting(새 것을 배우면 옛 것을 잊는 현상)과 Loss of Plasticity(새 것을 못 배우는 현상) 두 가지가 핵심 난제이며, 이 둘의 균형이 AGI로 가는 관문
• Memory 모듈은 Working(단기), Episodic(경험), Semantic(외부 지식), Parametric(모델 파라미터) 4가지로 세분화되고 각각 다른 학습 전략이 필요함
• RAG 시스템에서 지식 업데이트는 Document-level(전체 문서 재벡터화)과 Chunk-level(변경된 청크만 fingerprint 비교 후 업데이트) 두 전략으로 나뉨 - LangChain, LlamaIndex 모두 후자 지원
• Continual Knowledge Editing 방법론으로 WISE(이중 메모리), GRACE(코드북 어댑터), ELDER(Mixture-of-LoRA) 등이 모델 전체 재학습 없이 지식을 수술적으로 업데이트하는 방식을 제공
• GPT-4 같은 강력한 모델도 배포 후 정적(static) 상태라 새 환경에 적응 불가 - 2023년부터 LLM 에이전트의 lifelong learning이 독립 연구 분야로 급성장 중

Evidence

• Google Scholar 기준 lifelong learning 및 LLM Agent 관련 논문 수가 최근 3년간 급격히 증가 (정확한 수치는 Figure 1 참조)
• 기존 서베이 14편을 비교한 결과, LLMs + Lifelong Learning + NLP + Agents 네 가지를 모두 다룬 서베이는 본 논문이 최초 (Table 1)
• 멀티모달 지각 관련 논문 20편 이상(Perceiver, VATT, Omnivore, PathWeave 등)을 분류·정리하여 modality-complete/incomplete 학습 시나리오별 대응 전략 제시 (Table 2)
• Continual Alignment 기법으로 DPO, IPO, EPO, KTO, DMPO, ORPO, ROPO, CDPO 등 8개 손실 함수를 수식과 함께 체계적으로 비교 정리 (Table 4)

How to Apply

• RAG 파이프라인에서 문서가 자주 바뀌는 경우, LangChain/LlamaIndex의 chunk-level fingerprint 업데이트 전략을 써서 변경된 청크만 재임베딩하면 비용과 지식 최신성을 동시에 잡을 수 있음
• 에이전트가 새 도구나 도메인을 추가할 때 모델 전체를 파인튜닝하는 대신, ELDER(Mixture-of-LoRA) 방식처럼 태스크별 LoRA 어댑터를 동적으로 라우팅하면 기존 기능 손상 없이 확장 가능
• 장기 대화 에이전트를 만들 때 MemoChat처럼 동적 메모리 뱅크를 구성해 과거 대화를 episodic memory로 저장하고 검색하면, 컨텍스트 창 한계를 넘는 대화 일관성을 유지할 수 있음

Code Example

# RAG chunk-level incremental update 예시 (LlamaIndex 기반)
from llama_index.core import SimpleDirectoryReader, VectorStoreIndex
from llama_index.core.storage.docstore import SimpleDocumentStore

# 문서 지문(fingerprint) 기반 증분 업데이트
# 변경된 청크만 재인덱싱 - 전체 재벡터화 불필요

docstore = SimpleDocumentStore()

# 신규/변경 문서만 로드
new_docs = SimpleDirectoryReader('./updated_docs').load_data()

# 기존 인덱스에 증분 추가 (삭제된 청크는 자동 제거)
index = VectorStoreIndex.from_documents(
    new_docs,
    docstore=docstore,
    # show_progress=True
)

# Continual Knowledge Editing 개념적 예시 (WISE 듀얼 메모리 방식)
class DualMemoryAgent:
    def __init__(self, base_model, side_memory={}):
        self.main_memory = base_model   # 사전학습 지식 (불변)
        self.side_memory = side_memory  # 편집된 새 지식
    
    def query(self, question):
        # 라우터: 새 지식 관련이면 side_memory 우선
        if self._is_edited_knowledge(question):
            return self.side_memory.get(question)
        return self.main_memory.generate(question)
    
    def edit_knowledge(self, key, new_value):
        # 메인 모델 건드리지 않고 side_memory만 업데이트
        self.side_memory[key] = new_value

Terminology

Related Resources

• awesome-lifelong-llm-agent GitHub