AgentHandover: 내 작업 방식을 자동으로 학습해 Claude에 전달하는 MCP 기반 로컬 앱

Who Should Read

Claude Code나 AI 코딩 에이전트를 매일 쓰는데 세션마다 같은 작업 방식을 설명하는 게 귀찮은 개발자. 특히 PR 리뷰, 클라이언트 온보딩 등 반복 워크플로우가 많은 프리랜서나 스타트업 개발자.

Core Mechanics

• Mac 메뉴바 앱으로 동작하며, 화면을 관찰해 작업 패턴을 자동으로 'Skill' 파일로 변환한 뒤 MCP(Model Context Protocol)를 통해 Claude나 다른 에이전트에 전달함.
• 두 가지 캡처 모드 제공: 직접 녹화하는 'Focus Record'(한 번 해보고 몇 가지 질문에 답하면 Skill 생성)와, 백그라운드에서 며칠간 조용히 관찰하는 'Passive Discovery'.
• Passive Discovery는 activity classifier로 작업과 노이즈를 구분하고, 세션이 끊겨도 관련 작업을 cross-session linking으로 연결해 3회 이상 관찰 후 패턴을 Skill로 합성함.
• 11단계 로컬 파이프라인으로 처리: 화면 캡처 → 로컬 VLM(Qwen 2.5 via Ollama)으로 프레임 주석 → semantic embedding으로 유사 워크플로우 그룹핑 → 행동 합성까지 전부 내 기기에서 실행.
• Skill 파일은 단순 프롬프트가 아니라 전략, 단계, 가드레일, 글쓰기 톤까지 담긴 구조화된 플레이북이며, 실행 성공/실패에 따라 confidence score가 업데이트되며 자가 개선됨.
• 스크린샷은 처리 후 삭제, PII(개인정보)와 API 키 자동 마스킹, 로컬 암호화 저장, 텔레메트리 없음 — 데이터가 기기 밖으로 나가지 않음.

Evidence

• 11단계 로컬 파이프라인으로 동작하며, Qwen 2.5(Ollama 기반 로컬 VLM)가 매 프레임마다 현재 앱, 현재 행동, 다음 행동 예측을 주석으로 달아 정확도를 높임.
• Passive Discovery가 사용자 본인도 인식하지 못했던 워크플로우(Monday 지표 루틴, GitHub 이슈 트리아지 패턴 등)를 자동 발굴한 사례가 실제 사용에서 확인됨.
• 각 Skill은 3회 이상 관찰 후 생성되는 lifecycle gate를 통과해야 에이전트가 사용 가능하며, 실행마다 confidence score가 갱신됨.

How to Apply

• PR 리뷰 프로세스처럼 절차가 명확한 작업은 Focus Record로 한 번 녹화하면 즉시 Skill이 생성되고, 이후 Claude Code가 MCP로 해당 Skill을 자동으로 참조해 같은 방식으로 진행함.
• 작업 패턴이 있는지 모르는 루틴(이슈 트리아지, 주간 리포트 등)은 Passive Discovery를 백그라운드에서 며칠 켜두면 자동으로 패턴을 찾아 Skill로 만들어줌.
• 생성된 Skill 파일은 Claude Code 외에도 OpenClaw, Codex 등 MCP를 지원하는 다른 에이전트 툴에도 바로 연결 가능하므로, 에이전트를 바꿔도 동일한 컨텍스트를 재활용할 수 있음.

Code Example

# 1. 레포 클론 및 설치
git clone https://github.com/sandroandric/AgentHandover
cd AgentHandover

# 2. Ollama로 로컬 VLM 준비
ollama pull qwen2.5

# 3. Claude Code에서 MCP 서버로 연결 (claude_desktop_config.json 예시)
{
  "mcpServers": {
    "agenthandover": {
      "command": "agenthandover-mcp",
      "args": []
    }
  }
}

# 4. Focus Record로 Skill 생성 예시 흐름
# - 메뉴바 앱 실행 → Record 클릭
# - "PR 리뷰" 작업을 실제로 수행
# - 완료 후 몇 가지 질문에 답변
# → skills/pr_review.skill.json 자동 생성

# 5. Claude Code 세션에서 자동으로 Skill 참조
# Claude가 MCP를 통해 pr_review Skill을 로드하고
# 해당 전략/단계/가드레일을 자동 적용함

Terminology

관련 논문

• ctx – 로컬 머신의 코딩 에이전트 히스토리를 검색하는 CLI 도구

  Claude Code, Cursor, Codex 등 코딩 에이전트가 이전 세션의 논의·결정·실패 시도를 잊지 않도록 SQLite로 인덱싱해 재사용할 수 있게 해주는 오픈소스 CLI 도구다.

• Micro-Agent: Model API 내부 협업으로 Frontier 모델을 이기는 방법 (vLLM Semantic Router)

  vLLM 팀이 단일 모델 API 호출 뒤에서 여러 모델이 협업하는 'Micro-Agent' 개념을 공개했습니다. 별도의 에이전트 코드 없이 라우터 레이어에서 모델 조합을 실행해 GPT-4급 결과를 더 저렴하게 낼 수 있다는 아이디어입니다.

• Ornith-1.0: 에이전틱 코딩을 위한 자기 개선형 오픈소스 모델

  Gemma 4와 Qwen 3.5를 기반으로 파인튜닝한 코딩 특화 오픈소스 모델로, RL(강화학습)을 통해 스캐폴드(에이전트 실행 구조)까지 함께 최적화하는 방식을 주장하지만, 커뮤니티에서는 벤치마크 과최적화에 불과하다는 의심을 받고 있다.

• Tool-Augmented Agent에서의 Entity Binding 실패 분석

  AI 에이전트가 올바른 도구를 선택해도 잘못된 대상에 실행하는 'Entity Binding 실패' 문제를 정의하고, 이를 막는 실행 정책을 평가한 논문.

• Herdr: 터미널에서 여러 AI Agent를 한 번에 관리하는 Agent Multiplexer

  여러 AI 코딩 에이전트(Claude, Codex 등)를 하나의 터미널에서 동시에 실행·관리할 수 있는 Rust 기반 오픈소스 툴로, tmux처럼 세션이 유지되고 SSH로 원격 접속도 가능해 멀티 에이전트 워크플로우를 크게 단순화해준다.

• Ornith-1.0: 스스로 Scaffold를 생성하는 Agentic Coding LLM

  모델이 문제 풀이 전략(scaffold)을 직접 생성하고 개선하는 자기강화 학습 프레임워크를 적용한 오픈소스 코딩 특화 LLM으로, 9B 소형 모델부터 397B 대형 모델까지 라인업을 갖추고 SWE-Bench 등 주요 벤치마크에서 Claude Opus 4.7을 능가하는 성능을 보여줬다.

Related Resources

• AgentHandover GitHub 레포