AgentHandover: 내 작업 방식을 자동으로 학습해 Claude에 전달하는 MCP 기반 로컬 앱

Who Should Read

Claude Code나 AI 코딩 에이전트를 매일 쓰는데 세션마다 같은 작업 방식을 설명하는 게 귀찮은 개발자. 특히 PR 리뷰, 클라이언트 온보딩 등 반복 워크플로우가 많은 프리랜서나 스타트업 개발자.

Core Mechanics

• Mac 메뉴바 앱으로 동작하며, 화면을 관찰해 작업 패턴을 자동으로 'Skill' 파일로 변환한 뒤 MCP(Model Context Protocol)를 통해 Claude나 다른 에이전트에 전달함.
• 두 가지 캡처 모드 제공: 직접 녹화하는 'Focus Record'(한 번 해보고 몇 가지 질문에 답하면 Skill 생성)와, 백그라운드에서 며칠간 조용히 관찰하는 'Passive Discovery'.
• Passive Discovery는 activity classifier로 작업과 노이즈를 구분하고, 세션이 끊겨도 관련 작업을 cross-session linking으로 연결해 3회 이상 관찰 후 패턴을 Skill로 합성함.
• 11단계 로컬 파이프라인으로 처리: 화면 캡처 → 로컬 VLM(Qwen 2.5 via Ollama)으로 프레임 주석 → semantic embedding으로 유사 워크플로우 그룹핑 → 행동 합성까지 전부 내 기기에서 실행.
• Skill 파일은 단순 프롬프트가 아니라 전략, 단계, 가드레일, 글쓰기 톤까지 담긴 구조화된 플레이북이며, 실행 성공/실패에 따라 confidence score가 업데이트되며 자가 개선됨.
• 스크린샷은 처리 후 삭제, PII(개인정보)와 API 키 자동 마스킹, 로컬 암호화 저장, 텔레메트리 없음 — 데이터가 기기 밖으로 나가지 않음.

Evidence

• 11단계 로컬 파이프라인으로 동작하며, Qwen 2.5(Ollama 기반 로컬 VLM)가 매 프레임마다 현재 앱, 현재 행동, 다음 행동 예측을 주석으로 달아 정확도를 높임.
• Passive Discovery가 사용자 본인도 인식하지 못했던 워크플로우(Monday 지표 루틴, GitHub 이슈 트리아지 패턴 등)를 자동 발굴한 사례가 실제 사용에서 확인됨.
• 각 Skill은 3회 이상 관찰 후 생성되는 lifecycle gate를 통과해야 에이전트가 사용 가능하며, 실행마다 confidence score가 갱신됨.

How to Apply

• PR 리뷰 프로세스처럼 절차가 명확한 작업은 Focus Record로 한 번 녹화하면 즉시 Skill이 생성되고, 이후 Claude Code가 MCP로 해당 Skill을 자동으로 참조해 같은 방식으로 진행함.
• 작업 패턴이 있는지 모르는 루틴(이슈 트리아지, 주간 리포트 등)은 Passive Discovery를 백그라운드에서 며칠 켜두면 자동으로 패턴을 찾아 Skill로 만들어줌.
• 생성된 Skill 파일은 Claude Code 외에도 OpenClaw, Codex 등 MCP를 지원하는 다른 에이전트 툴에도 바로 연결 가능하므로, 에이전트를 바꿔도 동일한 컨텍스트를 재활용할 수 있음.

Code Example

# 1. 레포 클론 및 설치
git clone https://github.com/sandroandric/AgentHandover
cd AgentHandover

# 2. Ollama로 로컬 VLM 준비
ollama pull qwen2.5

# 3. Claude Code에서 MCP 서버로 연결 (claude_desktop_config.json 예시)
{
  "mcpServers": {
    "agenthandover": {
      "command": "agenthandover-mcp",
      "args": []
    }
  }
}

# 4. Focus Record로 Skill 생성 예시 흐름
# - 메뉴바 앱 실행 → Record 클릭
# - "PR 리뷰" 작업을 실제로 수행
# - 완료 후 몇 가지 질문에 답변
# → skills/pr_review.skill.json 자동 생성

# 5. Claude Code 세션에서 자동으로 Skill 참조
# Claude가 MCP를 통해 pr_review Skill을 로드하고
# 해당 전략/단계/가드레일을 자동 적용함

Terminology

관련 논문

• adamsreview: Claude Code용 멀티 에이전트 PR 코드 리뷰 파이프라인

  Claude Code에서 최대 7개의 병렬 서브 에이전트가 각각 다른 관점으로 PR을 리뷰하고, 자동 수정까지 해주는 오픈소스 플러그인이다. 기존 /review나 CodeRabbit보다 실제 버그를 더 많이 잡는다고 주장하지만 커뮤니티에서는 복잡도와 실효성에 대한 회의론도 나왔다.

• Claude를 User Space IP Stack으로 써서 Ping에 응답시키면 얼마나 빠를까?

  Claude Code에게 IP 패킷을 직접 파싱하고 ICMP echo reply를 구성하도록 시켜서 실제로 ping에 응답하게 만든 실험으로, 'Markdown이 곧 코드이고 LLM이 프로세서'라는 아이디어를 네트워크 스택 수준까지 밀어붙인 재미있는 사례다.

• AI Agent를 위한 Git: re_gent

  AI 코딩 에이전트(Claude Code 등)가 수행한 모든 툴 호출을 자동으로 추적하고, 어떤 프롬프트가 어느 코드 줄을 작성했는지 blame까지 가능한 버전 관리 도구다.

• Agent-Native CLI를 위한 설계 원칙 10가지

  AI 에이전트가 CLI 도구를 더 잘 사용할 수 있도록 설계하는 원칙들을 정리한 글로, 에이전트가 CLI를 도구로 활용하는 빈도가 높아지면서 이 설계 방식이 실용적으로 중요해지고 있다.

• Agent-harness-kit: MCP 기반 멀티 에이전트 워크플로우 오케스트레이션 프레임워크

  여러 AI 에이전트가 서로 역할을 나눠 협업할 수 있도록 조율하는 scaffolding 도구로, Vite처럼 설정 없이 빠르게 멀티 에이전트 파이프라인을 구성할 수 있다.

• Tilde.run – AI Agent를 위한 트랜잭션 기반 버전 관리 파일시스템 샌드박스

  AI 에이전트가 실제 프로덕션 데이터를 건드려도 롤백할 수 있는 격리된 샌드박스 환경을 제공하는 도구로, GitHub/S3/Google Drive를 하나의 버전 관리 파일시스템으로 묶어준다.

Related Resources

• AgentHandover GitHub 레포