AgentHandover: 내 작업 방식을 자동으로 학습해 Claude에 전달하는 MCP 기반 로컬 앱

Who Should Read

Claude Code나 AI 코딩 에이전트를 매일 쓰는데 세션마다 같은 작업 방식을 설명하는 게 귀찮은 개발자. 특히 PR 리뷰, 클라이언트 온보딩 등 반복 워크플로우가 많은 프리랜서나 스타트업 개발자.

Core Mechanics

• Mac 메뉴바 앱으로 동작하며, 화면을 관찰해 작업 패턴을 자동으로 'Skill' 파일로 변환한 뒤 MCP(Model Context Protocol)를 통해 Claude나 다른 에이전트에 전달함.
• 두 가지 캡처 모드 제공: 직접 녹화하는 'Focus Record'(한 번 해보고 몇 가지 질문에 답하면 Skill 생성)와, 백그라운드에서 며칠간 조용히 관찰하는 'Passive Discovery'.
• Passive Discovery는 activity classifier로 작업과 노이즈를 구분하고, 세션이 끊겨도 관련 작업을 cross-session linking으로 연결해 3회 이상 관찰 후 패턴을 Skill로 합성함.
• 11단계 로컬 파이프라인으로 처리: 화면 캡처 → 로컬 VLM(Qwen 2.5 via Ollama)으로 프레임 주석 → semantic embedding으로 유사 워크플로우 그룹핑 → 행동 합성까지 전부 내 기기에서 실행.
• Skill 파일은 단순 프롬프트가 아니라 전략, 단계, 가드레일, 글쓰기 톤까지 담긴 구조화된 플레이북이며, 실행 성공/실패에 따라 confidence score가 업데이트되며 자가 개선됨.
• 스크린샷은 처리 후 삭제, PII(개인정보)와 API 키 자동 마스킹, 로컬 암호화 저장, 텔레메트리 없음 — 데이터가 기기 밖으로 나가지 않음.

Evidence

• 11단계 로컬 파이프라인으로 동작하며, Qwen 2.5(Ollama 기반 로컬 VLM)가 매 프레임마다 현재 앱, 현재 행동, 다음 행동 예측을 주석으로 달아 정확도를 높임.
• Passive Discovery가 사용자 본인도 인식하지 못했던 워크플로우(Monday 지표 루틴, GitHub 이슈 트리아지 패턴 등)를 자동 발굴한 사례가 실제 사용에서 확인됨.
• 각 Skill은 3회 이상 관찰 후 생성되는 lifecycle gate를 통과해야 에이전트가 사용 가능하며, 실행마다 confidence score가 갱신됨.

How to Apply

• PR 리뷰 프로세스처럼 절차가 명확한 작업은 Focus Record로 한 번 녹화하면 즉시 Skill이 생성되고, 이후 Claude Code가 MCP로 해당 Skill을 자동으로 참조해 같은 방식으로 진행함.
• 작업 패턴이 있는지 모르는 루틴(이슈 트리아지, 주간 리포트 등)은 Passive Discovery를 백그라운드에서 며칠 켜두면 자동으로 패턴을 찾아 Skill로 만들어줌.
• 생성된 Skill 파일은 Claude Code 외에도 OpenClaw, Codex 등 MCP를 지원하는 다른 에이전트 툴에도 바로 연결 가능하므로, 에이전트를 바꿔도 동일한 컨텍스트를 재활용할 수 있음.

Code Example

# 1. 레포 클론 및 설치
git clone https://github.com/sandroandric/AgentHandover
cd AgentHandover

# 2. Ollama로 로컬 VLM 준비
ollama pull qwen2.5

# 3. Claude Code에서 MCP 서버로 연결 (claude_desktop_config.json 예시)
{
  "mcpServers": {
    "agenthandover": {
      "command": "agenthandover-mcp",
      "args": []
    }
  }
}

# 4. Focus Record로 Skill 생성 예시 흐름
# - 메뉴바 앱 실행 → Record 클릭
# - "PR 리뷰" 작업을 실제로 수행
# - 완료 후 몇 가지 질문에 답변
# → skills/pr_review.skill.json 자동 생성

# 5. Claude Code 세션에서 자동으로 Skill 참조
# Claude가 MCP를 통해 pr_review Skill을 로드하고
# 해당 전략/단계/가드레일을 자동 적용함

Terminology

관련 논문

• 프로덕션 AI 에이전트를 GPT-5.6으로 마이그레이션: 2.2배 빠르고 27% 저렴

  마케팅 웹사이트를 자동 생성하는 프로덕션 AI 에이전트를 Claude Opus 4.8에서 GPT-5.6 Sol로 전환한 실전 경험담으로, 단순 모델 교체가 아니라 eval 하네스, 툴 스키마, 캐싱, 추론 리플레이까지 손봐야 했던 과정을 구체적인 수치와 함께 정리했다.

• xAI Grok Build CLI가 xAI 서버로 전송하는 데이터: 네트워크 레벨 분석

  xAI의 공식 코딩 CLI 도구 Grok Build가 사용자 동의 없이 전체 Git 저장소와 .env 시크릿 파일을 xAI 서버로 업로드한다는 사실이 네트워크 트래픽 분석으로 밝혀졌다.

• 중요할 때 기억하라: Long-Horizon 에이전트를 위한 Proactive Memory Agent

  LLM 에이전트가 긴 작업 중 중요한 정보를 잊어버리는 문제를 별도의 메모리 에이전트가 '적절한 타이밍에' 끼어들어 해결하는 방법

• WebSwarm: 깊고 넓은 웹 검색을 위한 재귀적 Multi-Agent Orchestration

  복잡한 웹 검색을 재귀적으로 분해하고 각 노드에 적합한 검색 모드를 동적으로 할당하는 멀티에이전트 프레임워크

• 웹 앱을 리버스 엔지니어링해서 AI Agent 도구로 자동 변환하기

  로그인된 웹 앱의 API 호출을 브라우저에서 감시해 자동으로 MCP 도구로 변환하는 에이전트를 만들었다. 소스 코드나 공식 API 문서 없이도 Jira, Spotify 같은 서비스에 AI 어시스턴트를 붙일 수 있다.

• FableCut – AI 에이전트가 조작할 수 있는 브라우저 기반 비디오 에디터 (zero deps)

  타임라인 전체를 JSON 파일 하나로 표현하고 MCP/REST로 AI 에이전트가 직접 편집할 수 있는 브라우저 비디오 에디터로, Claude 같은 AI가 프롬프트 하나로 영상을 자동 컷편집하고 결과를 실시간으로 UI에 반영해준다.

Related Resources

• AgentHandover GitHub 레포