Claude에서의 컴퓨터 사용: API 없이 PC 제어

# Claude가 컴퓨터를 제어한다: Anthropic의 Cowork와 Code에서 Computer Use

Anthropic은 Computer Use 기술을 Claude Cowork와 Claude Code 제품에 통합했습니다. 이제 모델은 마우스, 키보드, 화면을 독립적으로 제어하며, 직접 커넥터가 없을 때 브라우저를 열고 요소를 클릭하며 폼을 작성합니다.

Computer Use 작동 방식

이 기술은 2024년 10월 개발자를 위한 API로 처음 선보였습니다. 소비자 제품에서는 코드 없이 활성화됩니다: Claude는 먼저 내장 통합(Slack, Google Calendar)을 확인한 후 화면 제어로 전환합니다. 새로운 애플리케이션에 접근하기 전에 명시적인 사용자 허가가 필요합니다. 내장 스캐너는 프로세스를 모니터링해 악성 활동을 감지하고 의심스러운 작업을 차단합니다.

이로 인해 모델은 API가 없는 작업을 처리할 수 있습니다: 링크를 따라가고, 폼에 데이터를 입력하며, 인터페이스를 탐색합니다. 속도는 직접 통합보다 느리지만 기능 범위는 훨씬 넓습니다.

Dispatch와의 통합

일주일 전에 출시된 Dispatch는 스마트폰을 컨트롤러로 바꿔줍니다: 모바일에서 작업을 보내 데스크톱에서 실행합니다. Computer Use는 이 조합을 더욱 강화합니다:

• 일상 작업 자동화: 이메일 확인, 아침 요약 생성.
• DevOps 작업: IDE에서 테스트 실행, pull requests 생성.
• 크로스플랫폼 시나리오: 모바일 인터페이스에서 데스크톱 제어.

예시 워크플로: 개발자가 휴대폰에서 작업을 시작하면 Claude가 터미널을 열고 스크립트를 실행한 뒤 로그를 반환합니다.

한계와 보안

이 기능은 Pro/Max 구독자를 위한 연구 프리뷰 단계로 macOS 전용입니다. Anthropic은 아직 원시적인 상태임을 강조합니다:

• 복잡한 작업은 재시작이 필요합니다.
• 화면 제어는 API보다 느립니다.
• 민감한 앱은 기본적으로 차단됩니다.

권장사항:

• 신뢰할 수 있는 서비스에서만 사용하세요.
• 고도로 민감한 데이터는 피하세요.
• 접근 권한을 모니터링하세요.

스캐너는 제일브레이크와 무단 작업을 방지하지만, 이에만 의존하지 마세요.

주요 포인트

• 다재다능함: 화면 제어 폴백으로 API를 넘어선 시나리오 확장.
• 보안: 필수 권한과 스캐너로 위험 최소화.
• 통합: Dispatch + Computer Use로 엔드투엔드 작업 자동화.
• 이용 가능성: Pro/Max 대상 macOS 연구 프리뷰.
• 성능: 프로토타입에 적합, 프로덕션은 아님.

개발자 전망

중간/시니어 전문가에게 Computer Use는 커스텀 통합 없이 자동화를 열어줍니다. CI/CD에서 수동 배포, UI A/B 테스트, 대시보드 모니터링을 Claude에게 맡길 수 있습니다. IDE와 결합하면 자동 수정이 포함된 PR 생성도 가능합니다.

테스트를 통해 프로덕션 워크로드에서의 안정성이 확인될 것입니다. Windows/Linux 확장과 정식 출시를 기대합니다.

— Editorial Team