Computer use w Copilot Studio: agent klika w starym systemie

Agent klikający w programie bez API: jak działa computer use w Copilot Studio, ile kredytów kosztuje, jakie ma ograniczenia i jak go bezpiecznie ustawić.
Prawie każde biuro ma taki program: stary system magazynowy, portal przewoźnika, panel w urzędzie albo aplikację, której nikt nie umie podłączyć do niczego innego. Dane trzeba do niego przepisywać ręcznie, okno po oknie. Pytanie „czy AI może to za mnie wyklikać?” pada coraz częściej.
Copilot Studio ma do tego narzędzie computer use. Microsoft ogłosił w maju 2026 roku, że agenci korzystający z computer use są ogólnie dostępni (blog Copilot Studio, 26.05.2026). Ten artykuł wyjaśnia, jak to działa, ile kosztuje i kiedy lepiej wybrać coś innego.
Jak to działa
Według dokumentacji Microsoft computer use to narzędzie agenta, które obsługuje strony internetowe i programy na komputerze z Windows. Klika przyciski, wybiera pozycje z menu i wpisuje tekst w pola za pomocą wirtualnej myszy i klawiatury. Model AI „widzi” ekran na zrzutach i na tej podstawie decyduje o kolejnym kroku.
Microsoft podsumowuje to tak: jeśli człowiek umie obsłużyć program albo stronę, computer use też może. Przykładowe zastosowania z dokumentacji to wprowadzanie danych, obsługa faktur i wyciąganie danych z systemów.
To nie jest nagrywanie kliknięć. Klasyczny robot RPA powtarza dokładnie to, co nagrałeś, i gubi się, gdy przycisk przesunie się o centymetr. Computer use za każdym razem ocenia ekran od nowa, więc lepiej znosi drobne zmiany wyglądu. Płacisz za to przewidywalnością, o czym niżej.
Co jest potrzebne
- Agent z orkiestracją generatywną. Dokumentacja opisuje computer use dla agentów i przepływów agenta w klasycznym Copilot Studio (standard harness).
- Komputer, na którym agent pracuje. Według opisu miejsc uruchamiania są trzy możliwości:
| Opcja | Status | Dla kogo |
|---|---|---|
| Hosted browser (Windows 365 for Agents) | wersja zapoznawcza, Microsoft nie poleca jej do produkcji | do próby: tylko przeglądarka Edge i wbudowane programy Windows, bez dostępu do zasobów firmy |
| Cloud PC pool (Windows 365 for Agents) | wersja zapoznawcza | firmy, które chcą komputerów w chmurze zarządzanych przez IT |
| Własny komputer (bring-your-own machine) | bez oznaczenia preview | komputer firmy z Power Automate dla komputerów stacjonarnych (wersja 2.61.132.25266 lub nowsza), zarejestrowany i z włączoną opcją Enable for computer use |
Na jednym komputerze zadania wykonują się po kolei, w kolejce. Microsoft zaleca, żeby był to komputer przeznaczony tylko do tego.
Jak dodać computer use do agenta
- W agencie wejdź w Tools → Add tool → New tool i wybierz Computer use.
- Opisz zadanie (są gotowe szablony) i kliknij Add and configure.
- Uzupełnij Name, Description, Model i Instructions.
- Wybierz komputer (Machine) i sposób logowania.
- Zapisz (Save) i uruchom Test. W oknie testu widzisz po lewej log kroków, a po prawej podgląd ekranu. Przyciskiem Stop testing zatrzymasz wszystko natychmiast.
Instrukcje pisz jak dla nowego pracownika, który pierwszy raz widzi system: pełny adres strony, nazwy pól, kolejność kroków i jasne zdanie, kiedy kliknąć „Zapisz” albo „Wyślij”. Dłuższe zadanie podziel na ponumerowane kroki.
Ile to kosztuje
Tu Microsoft podaje konkretne liczby. Według dokumentacji każdy krok computer use zużywa 5 kredytów Copilot przy modelu standardowym i 15 kredytów przy modelu premium. Przykład Microsoftu: wypełnienie formularza czasu pracy w 4 krokach to 20 kredytów na modelu standardowym albo 60 na premium.
Co z tego wynika w praktyce:
- koszt zależy od liczby kroków, a tę zobaczysz dopiero w teście. Zadanie, które człowiek robi w 10 kliknięciach, agent może robić w większej liczbie kroków, bo przewija, czeka i sprawdza ekran,
- każde powtórzenie po błędzie to kolejne kroki,
- przy setkach powtórzeń dziennie koszt rośnie liniowo.
Zanim podasz komukolwiek kwotę, uruchom zadanie kilkanaście razy na prawdziwych danych i policz kroki. Jak ustawić limit kredytów dla agenta, opisujemy w artykule o kredytach i limitach.
Ograniczenia
Microsoft wymienia je otwarcie w FAQ o computer use:
- Wynik zależy od zadania i programu. Zmiana układu, wolne ładowanie albo niespodziewane okno dialogowe mogą dać inny wynik przy tym samym zadaniu.
- Trudne kontrolki. Listy rozwijane, kalendarze do wyboru daty i nietypowe elementy sprawiają problemy.
- Zapętlenie. Przy nieoczekiwanym stanie ekranu agent może kręcić się w kółko albo stanąć.
- Niektóre programy. Logowanie hasłem może nie działać m.in. w aplikacjach Java, Electron, w Citrix i innych środowiskach wirtualnych.
- Zastosowania wykluczone. Narzędzie nie jest przeznaczone m.in. do wykonywania transakcji finansowych ani do oceniania ludzi w sprawach zatrudnienia, zdrowia czy finansów.
Bezpieczeństwo: lista kontrolna
Agent, który klika w systemie, ma te same uprawnienia co konto, na którym działa. Microsoft ostrzega, że przy niejasnych instrukcjach albo nieoczekiwanej treści na ekranie AI może wykonać niezamierzone działania. Strona albo dokument mogą też zawierać ukryte polecenia, które próbują przejąć agenta (prompt injection).
- Osobny komputer tylko dla agenta.
- Osobne konto z minimalnymi uprawnieniami. Agent do wprowadzania zamówień nie potrzebuje prawa do usuwania kontrahentów.
- Lista dozwolonych stron i programów (Access control). Uwaga: według dokumentacji blokuje ona działania na innych stronach, ale nie samo ich otwarcie.
- Enforce HTTPS, żeby agent nie pracował na stronach bez szyfrowania.
- Hasła w magazynie poświadczeń, a nie w instrukcjach. Do wyboru jest wewnętrzny magazyn Power Platform albo Azure Key Vault.
- Uważaj przy udostępnianiu. Gdy agent działa na danych logowania twórcy (Maker-provided credentials), każdy, kto z niego korzysta, działa z uprawnieniami twórcy na tym komputerze.
- Nadzór człowieka (Human supervision) wysyła mail do wskazanej osoby, gdy agent wykryje podejrzane instrukcje albo czegoś nie wie. Microsoft pisze jednak wprost, że nie jest to zabezpieczenie gwarantowane. Prośba może się nie pojawić wtedy, gdy byłaby potrzebna. Ważne decyzje zatwierdzaj osobnym krokiem, np. tak jak w artykule o zatwierdzeniu przez człowieka.
Kiedy computer use ma sens, a kiedy nie
Kolejność wyboru jest prosta:
- Czy jest konektor albo API? Jeśli tak, użyj zwykłego przepływu. Jest szybszy, tańszy i przewidywalny.
- Czy system ma eksport lub import pliku? Plik CSV wgrany raz dziennie bywa lepszy niż tysiąc kliknięć.
- Czy kroki są zawsze identyczne, a ekran się nie zmienia? Wtedy rozważ klasyczny robot w Power Automate dla komputerów stacjonarnych. Na własnym komputerze możesz go uruchamiać ręcznie za darmo: jak zacząć. Gdy robot gubi elementy ekranu, pomoże artykuł o błędzie „Nie znaleziono elementu”.
- Computer use wybierz, gdy nie ma API, ekrany się zmieniają albo dane wejściowe są różne za każdym razem, a zadanie nie dotyczy pieniędzy ani decyzji o ludziach.
Dobry pierwszy kandydat to zadanie, które tylko odczytuje dane: sprawdzenie statusu przesyłki w portalu przewoźnika i zapis wyniku w tabeli. Gorszy to takie, które coś zatwierdza albo wysyła.
Najczęstsze problemy
| Objaw | Przyczyna | Co zrobić |
|---|---|---|
| Agent nie widzi komputera | komputer nie zarejestrowany albo bez Enable for computer use | sprawdź w Power Automate: Machines, ustawienia maszyny |
| Zadania czekają długo | na jednym komputerze uruchomienia idą w kolejce | rozłóż zadania w czasie albo dodaj komputery |
| Agent kręci się w kółko na jednym ekranie | nieoczekiwane okno albo niejasna instrukcja | dopisz, co zrobić z tym oknem; podziel zadanie na kroki |
| Nie loguje się do programu | typ aplikacji nieobsługiwany przy hasłach (np. Citrix, Java) | sprawdź z IT inną drogę logowania albo inne narzędzie |
| Hosted browser zwalnia albo odmawia | wersja zapoznawcza, może być ograniczana | używaj tylko do prób, nie do pracy na co dzień |
| Koszt wyższy niż zakładany | więcej kroków niż kliknięć człowieka, powtórzenia | policz kroki w testach, ustaw limit, uprość instrukcję |
Podsumowanie
Computer use nie zastąpi porządnej integracji, ale może wypełnić lukę tam, gdzie integracji nie będzie nigdy. Traktuj go jak nowego pracownika na okresie próbnym: wąski zakres, osobne konto i sprawdzanie wyników, zanim dostanie więcej.
Chcesz sprawdzić, czy wiesz, jak bezpiecznie korzystać z agentów AI w pracy? Bezpłatny certyfikat „AI w pracy biurowej” to 20 pytań, około 20 minut i certyfikat z numerem do CV.
Źródła i data sprawdzenia
Stan na 18 listopada 2026.
- blog Copilot Studio, 26.05.2026 (microsoft.com)
- dokumentacji Microsoft (learn.microsoft.com)
- opisu miejsc uruchamiania (learn.microsoft.com)
- FAQ o computer use (learn.microsoft.com)
Ceny, funkcje narzędzi i przepisy mogą się zmienić po tej dacie, dlatego przy ważnych decyzjach sprawdź aktualny stan w podlinkowanym źródle. Zauważyłeś błąd? Napisz na kontakt@przejmijai.pl.


