GitHub가 2026년 10월 1일 공식 변경 기록에서 코파일럿이 데스크톱 앱을 사람 대신 조작하는 컴퓨터 사용 기능을 공개 미리보기로 내놨다고 밝혔다. 화면을 읽고 버튼을 누르고 글자를 입력하는 식으로 앱을 직접 다룬다는 내용이다. 원문을 읽고 핵심만 정리했다.
컴퓨터 사용 기능으로 무엇이 가능해졌나
공식 글에 따르면 코파일럿은 사용자를 대신해 데스크톱 앱 안에서 내용을 읽고, 컨트롤을 누르고, 글자를 입력하고, 키를 누르고, 스크롤하고, 끌어다 놓고, 여러 앱을 오가며 작업할 수 있다. 쉽게 말해 사람이 마우스와 키보드로 하던 조작을 AI가 화면 위에서 대신 하는 방식이다.
이 방식의 의미는 외부 연동 수단이 없는 프로그램도 다룰 수 있다는 점이다. 보통 AI가 다른 프로그램을 쓰려면 연결용 창구가 필요한데, 화면을 직접 조작하면 그런 창구가 없는 옛 프로그램도 대상이 된다. 이 설명은 공식 글의 취지를 풀어 쓴 것이다.
켜는 방법과 필요한 권한
사용하려면 먼저 기능을 켜야 한다. 공식 글이 안내하는 방법은 다음과 같다.
- 코파일럿 CLI:
/computer on으로 켜고,/computer show로 상태를 보고,/computer off로 끈다 - 코파일럿 앱: 설정의 컴퓨터 사용 항목에서 컴퓨터 사용을 켜거나
/computer on을 입력한다
맥OS에서는 손쉬운 사용과 화면 녹화 권한이 필요하다고 안내한다. 앱을 조작하기 전에는 코파일럿이 승인을 요청하고, 항상 허용하기로 한 앱은 나중에 확인하거나 초기화할 수 있다. 조직에서 관리하는 설정으로 이 기능을 끌 수도 있다.
일반 사용자에게는 어떤 의미인가
여기서부터는 해석이다. 이번 기능은 코파일럿 CLI와 앱에서 먼저 나왔으므로 개발 도구를 쓰는 사람이 직접 영향을 받는다. 일반 사무 환경으로 바로 이어지는 것은 아니다. 다만 AI가 문서나 메신저 같은 일반 프로그램을 화면에서 직접 다루는 방향이 확산되는 흐름은 읽을 수 있다. 같은 시기에 나온 마이크로소프트의 새 코파일럿 개편도 일을 맡기는 방식에 무게를 둔다.
이런 기능은 화면 내용을 읽는 권한을 요구하므로, 쓰기 전에 개인정보나 사내 자료가 열려 있지 않은지 확인하는 습관이 필요하다. 아직 공개 미리보기 단계라 동작이 바뀔 수 있다.