Computer use у Copilot Studio: агент клацає в старій системі

Агент, що клацає в програмі без API: як працює computer use у Copilot Studio, скільки кредитів коштує, які має обмеження і як безпечно його налаштувати.
Майже в кожному офісі є така програма: стара складська система, портал перевізника, кабінет на сайті державної установи або застосунок, який ніхто не вміє підключити до чогось іншого. Дані в неї доводиться переписувати вручну, вікно за вікном. Запитання «чи може ШІ проклацати це за мене?» звучить дедалі частіше.
У Copilot Studio для цього є інструмент computer use. У травні 2026 року Microsoft оголосила, що агенти з computer use загальнодоступні (блог Copilot Studio, 26.05.2026). Ця стаття пояснює, як це працює, скільки коштує і коли краще вибрати щось інше.
Як це працює
Згідно з документацією Microsoft, computer use — це інструмент агента, який працює з вебсайтами й програмами на комп'ютері з Windows. Він натискає кнопки, вибирає пункти меню й вводить текст у поля за допомогою віртуальної миші й клавіатури. Модель ШІ «бачить» екран на знімках і на цій основі вирішує, який крок зробити далі.
Microsoft підсумовує це так: якщо людина вміє користуватися програмою чи сайтом, computer use теж зможе. Приклади застосування з документації — введення даних, обробка рахунків і витягання даних із систем.
Це не запис кліків. Класичний робот RPA повторює точно те, що ви записали, і губиться, коли кнопка зсувається на сантиметр. Computer use щоразу оцінює екран заново, тому краще переносить дрібні зміни вигляду. Платите ви за це передбачуваністю, про що нижче.
Що потрібно
- Агент із генеративною оркестрацією. Документація описує computer use для агентів і потоків агента в класичному Copilot Studio (standard harness).
- Комп'ютер, на якому працює агент. Згідно з описом місць запуску, є три варіанти:
| Варіант | Статус | Для кого |
|---|---|---|
| Hosted browser (Windows 365 for Agents) | попередня версія, Microsoft не радить її для робочого використання | для спроби: лише браузер Edge і вбудовані програми Windows, без доступу до ресурсів фірми |
| Cloud PC pool (Windows 365 for Agents) | попередня версія | фірми, які хочуть хмарних комп'ютерів під керуванням ІТ |
| Власний комп'ютер (bring-your-own machine) | без позначки preview | комп'ютер фірми з Power Automate для настільних комп'ютерів (версія 2.61.132.25266 або новіша), зареєстрований і з увімкненою опцією Enable for computer use |
На одному комп'ютері завдання виконуються по черзі. Microsoft радить виділити комп'ютер лише для цього.
Як додати computer use до агента
- В агенті перейдіть у Tools → Add tool → New tool і виберіть Computer use.
- Опишіть завдання (є готові шаблони) і натисніть Add and configure.
- Заповніть Name, Description, Model та Instructions.
- Виберіть комп'ютер (Machine) і спосіб входу.
- Збережіть (Save) і запустіть Test. У вікні тесту ліворуч видно журнал кроків, а праворуч — попередній перегляд екрана. Кнопкою Stop testing ви негайно зупините все.
Інструкції пишіть як для нового працівника, який уперше бачить систему: повна адреса сторінки, назви полів, порядок кроків і чітке речення, коли натиснути «Zapisz» (зберегти) або «Wyślij» (надіслати). Довше завдання розбийте на пронумеровані кроки.
Скільки це коштує
Тут Microsoft наводить конкретні цифри. Згідно з документацією, кожен крок computer use витрачає 5 кредитів Copilot на стандартній моделі і 15 кредитів на преміум-моделі. Приклад Microsoft: заповнення форми обліку робочого часу в 4 кроки — це 20 кредитів на стандартній моделі або 60 на преміум.
Що з цього випливає на практиці:
- вартість залежить від кількості кроків, а її ви побачите лише в тесті. Завдання, яке людина виконує за 10 кліків, агент може робити за більшу кількість кроків, бо прокручує, чекає й перевіряє екран,
- кожне повторення після помилки — це нові кроки,
- за сотень повторень на день вартість зростає лінійно.
Перш ніж називати будь-кому суму, запустіть завдання кільканадцять разів на реальних даних і порахуйте кроки. Як задати ліміт кредитів для агента, описуємо у статті про кредити й ліміти.
Обмеження
Microsoft відкрито перелічує їх у FAQ про computer use:
- Результат залежить від завдання й програми. Зміна макета, повільне завантаження або неочікуване діалогове вікно можуть дати інший результат для того самого завдання.
- Складні елементи керування. Розкривні списки, календарі для вибору дати й нестандартні елементи створюють проблеми.
- Зациклення. За неочікуваного стану екрана агент може ходити по колу або зупинитися.
- Деякі програми. Вхід за паролем може не працювати, зокрема в застосунках Java, Electron, у Citrix та інших віртуальних середовищах.
- Виключені сценарії. Інструмент не призначений, зокрема, для фінансових транзакцій чи оцінювання людей у питаннях працевлаштування, здоров'я або фінансів.
Безпека: контрольний список
Агент, який клацає в системі, має ті самі права, що й обліковий запис, на якому він працює. Microsoft попереджає, що за нечітких інструкцій або неочікуваного вмісту на екрані ШІ може виконати ненавмисні дії. Сторінка чи документ також можуть містити приховані команди, які намагаються перехопити керування агентом (prompt injection).
- Окремий комп'ютер лише для агента.
- Окремий обліковий запис із мінімальними правами. Агентові для введення замовлень не потрібне право видаляти контрагентів.
- Список дозволених сайтів і програм (Access control). Увага: згідно з документацією, він блокує дії на інших сайтах, але не саме їх відкриття.
- Enforce HTTPS, щоб агент не працював на сайтах без шифрування.
- Паролі у сховищі облікових даних, а не в інструкціях. На вибір — внутрішнє сховище Power Platform або Azure Key Vault.
- Обережно з наданням доступу. Коли агент працює з даними входу автора (Maker-provided credentials), кожен, хто ним користується, діє з правами автора на цьому комп'ютері.
- Нагляд людини (Human supervision) надсилає лист указаній особі, коли агент виявить підозрілі інструкції або чогось не знає. Проте Microsoft прямо пише, що це не гарантований захист. Запит може не з'явитися тоді, коли він був би потрібен. Важливі рішення затверджуйте окремим кроком, наприклад як у статті про затвердження людиною.
Коли computer use має сенс, а коли ні
Порядок вибору простий:
- Чи є конектор або API? Якщо так, використайте звичайний потік. Він швидший, дешевший і передбачуваний.
- Чи має система експорт або імпорт файлу? Файл CSV, завантажений раз на день, буває кращим за тисячу кліків.
- Чи кроки завжди однакові, а екран не змінюється? Тоді розгляньте класичного робота в Power Automate для настільних комп'ютерів. На власному комп'ютері його можна запускати вручну безкоштовно: як почати. Коли робот губить елементи екрана, допоможе стаття про помилку «Nie znaleziono elementu» (елемент не знайдено).
- Computer use вибирайте, коли немає API, екрани змінюються або вхідні дані щоразу різні, а завдання не стосується грошей чи рішень щодо людей.
Добрий перший кандидат — завдання, яке лише зчитує дані: перевірка статусу відправлення на порталі перевізника й запис результату в таблицю. Гірший — таке, що щось затверджує або надсилає.
Найчастіші проблеми
| Симптом | Причина | Що зробити |
|---|---|---|
| Агент не бачить комп'ютера | комп'ютер не зареєстрований або без Enable for computer use | перевірте в Power Automate: Machines, налаштування машини |
| Завдання довго чекають | на одному комп'ютері запуски йдуть у черзі | розподіліть завдання в часі або додайте комп'ютери |
| Агент ходить по колу на одному екрані | неочікуване вікно або нечітка інструкція | допишіть, що робити з цим вікном; розбийте завдання на кроки |
| Не входить у програму | тип застосунку не підтримує вхід за паролем (наприклад, Citrix, Java) | перевірте з ІТ інший спосіб входу або інший інструмент |
| Hosted browser гальмує або відмовляє | попередня версія, може обмежуватися | використовуйте лише для спроб, не для щоденної роботи |
| Вартість вища, ніж очікувалося | більше кроків, ніж кліків у людини, повторення | порахуйте кроки в тестах, задайте ліміт, спростіть інструкцію |
Підсумок
Computer use не замінить нормальної інтеграції, але може заповнити прогалину там, де інтеграції не буде ніколи. Ставтеся до нього як до нового працівника на випробувальному терміні: вузьке коло завдань, окремий обліковий запис і перевірка результатів, перш ніж він отримає більше.
Хочете перевірити, чи знаєте, як безпечно користуватися агентами ШІ на роботі? Безкоштовний сертифікат «ШІ в офісній роботі» українською — це 20 запитань, близько 20 хвилин і сертифікат із номером для CV.
Джерела і дата перевірки
Станом на 18 листопада 2026 р..
- блог Copilot Studio, 26.05.2026 (microsoft.com)
- документацією Microsoft (learn.microsoft.com)
- описом місць запуску (learn.microsoft.com)
- FAQ про computer use (learn.microsoft.com)
Ціни, функції інструментів і закони можуть змінитися після цієї дати, тож перед важливими рішеннями перевірте актуальний стан у джерелі.