Claude가 이제 당신의 컴퓨터를 직접 조작할 수 있습니다 (Computer Use 기능 출시)
Claude can now use your computer
TL;DR Highlight
Anthropic이 Claude에 컴퓨터 직접 제어 기능을 추가하여 앱 열기, 브라우저 탐색, 스프레드시트 작성 등 실제 데스크톱 작업을 자동으로 처리하도록 만들었습니다.
Who Should Read
반복적인 컴퓨터 작업을 자동화하고 싶은 개발자나 직장인. 특히 Claude Pro/Max 플랜을 사용 중이고 macOS 환경에서 작업하는 사람.
Core Mechanics
- 현재 Research Preview 단계로, Claude Cowork와 Claude Code에서 컴퓨터 직접 제어 기능을 활성화할 수 있습니다. 정식 출시가 아닌 조기 공개라 완벽하지 않을 수 있고 복잡한 작업은 재시도가 필요할 수 있습니다.
- Claude는 우선 Slack, Calendar 등 이미 연결된 앱 통합을 먼저 활용하고, 해당 커넥터가 없는 도구가 필요할 경우에만 사용자 허가를 받아 화면에서 직접 앱을 조작합니다. 즉, 모든 걸 마음대로 제어하는 게 아니라 권한 기반으로 동작합니다.
- 모바일에서 작업을 지시하고 자리를 비우면 데스크탑에서 작업이 완료되는 'Dispatch' 방식으로 활용할 수 있습니다. 스마트폰으로 지시만 내리고 돌아오면 결과물이 준비되어 있는 시나리오가 가능합니다.
- 매일 아침 이메일 스캔, 매주 금요일 보고서 생성 같은 반복 작업을 한 번만 지시하면 Claude가 알아서 스케줄에 따라 처리합니다. 대화 컨텍스트가 유지되므로 매번 다시 설명할 필요가 없습니다.
- 현재 Pro 및 Max 플랜, macOS 전용으로만 제공됩니다. 데스크탑 앱을 업데이트하고 모바일 앱과 페어링해야 사용할 수 있습니다.
Evidence
- Anthropic이 직접 'It won't always work perfectly, and complex tasks could need a second try'라고 명시했습니다. 즉 공식적으로 불완전함을 인정하고 사용자 피드백을 통해 개선하려는 목적으로 조기 공개한 것입니다.
- 현재 지원 범위는 앱 열기, 브라우저 탐색, 스프레드시트 작성 등 일반적인 데스크탑 작업 전반입니다. 구체적인 성공률이나 벤치마크 수치는 공개되지 않았습니다.
- 모바일에서 작업을 Dispatch하고 컴퓨터로 돌아오면 완료된 작업을 확인하는 시나리오가 소개되었으며, 이는 Claude Cowork 기능과 연동됩니다.
How to Apply
- 반복 보고서 자동화: '매주 금요일 오후 5시에 이번 주 Slack 메시지 요약해서 Google Sheets에 정리해줘'처럼 한 번 지시해두면 매주 자동으로 처리됩니다. Pro/Max 플랜 + macOS + 데스크탑 앱 최신 버전 필요.
- 외출 중 작업 위임: 스마트폰 Claude 앱에서 '회의 전 자료 조사해서 PPT 초안 만들어줘'라고 Dispatch하고 자리를 비우면, 돌아왔을 때 데스크탑에 결과물이 준비된 상태를 기대할 수 있습니다. (Research Preview라 복잡한 작업은 재확인 필요)
- 커넥터 없는 레거시 앱 자동화: Slack, Calendar처럼 공식 연동이 없는 사내 툴이나 레거시 앱도 화면 직접 제어로 처리 가능합니다. 단, 실행 전 사용자 허가 절차가 있으므로 완전 무인 자동화보다는 반자동화 시나리오에 적합합니다.
Terminology
관련 논문
ctx – 로컬 머신의 코딩 에이전트 히스토리를 검색하는 CLI 도구
Claude Code, Cursor, Codex 등 코딩 에이전트가 이전 세션의 논의·결정·실패 시도를 잊지 않도록 SQLite로 인덱싱해 재사용할 수 있게 해주는 오픈소스 CLI 도구다.
Micro-Agent: Model API 내부 협업으로 Frontier 모델을 이기는 방법 (vLLM Semantic Router)
vLLM 팀이 단일 모델 API 호출 뒤에서 여러 모델이 협업하는 'Micro-Agent' 개념을 공개했습니다. 별도의 에이전트 코드 없이 라우터 레이어에서 모델 조합을 실행해 GPT-4급 결과를 더 저렴하게 낼 수 있다는 아이디어입니다.
Ornith-1.0: 에이전틱 코딩을 위한 자기 개선형 오픈소스 모델
Gemma 4와 Qwen 3.5를 기반으로 파인튜닝한 코딩 특화 오픈소스 모델로, RL(강화학습)을 통해 스캐폴드(에이전트 실행 구조)까지 함께 최적화하는 방식을 주장하지만, 커뮤니티에서는 벤치마크 과최적화에 불과하다는 의심을 받고 있다.
Tool-Augmented Agent에서의 Entity Binding 실패 분석
AI 에이전트가 올바른 도구를 선택해도 잘못된 대상에 실행하는 'Entity Binding 실패' 문제를 정의하고, 이를 막는 실행 정책을 평가한 논문.
Herdr: 터미널에서 여러 AI Agent를 한 번에 관리하는 Agent Multiplexer
여러 AI 코딩 에이전트(Claude, Codex 등)를 하나의 터미널에서 동시에 실행·관리할 수 있는 Rust 기반 오픈소스 툴로, tmux처럼 세션이 유지되고 SSH로 원격 접속도 가능해 멀티 에이전트 워크플로우를 크게 단순화해준다.
Ornith-1.0: 스스로 Scaffold를 생성하는 Agentic Coding LLM
모델이 문제 풀이 전략(scaffold)을 직접 생성하고 개선하는 자기강화 학습 프레임워크를 적용한 오픈소스 코딩 특화 LLM으로, 9B 소형 모델부터 397B 대형 모델까지 라인업을 갖추고 SWE-Bench 등 주요 벤치마크에서 Claude Opus 4.7을 능가하는 성능을 보여줬다.