UK Department for Business and Trade: 1000 licencji Copilot, zadowoleni użytkownicy, brak dowodu na wyższą wydajność

W skrócie

Firma

UK Department for Business and TradeMinisterstwo rządu krajowego

Wielkość

Duże (1000+ pracowników) 1000 licencji trafiło do części pracowników ministerstwa w Wielkiej Brytanii.

Gdzie i kiedy

Wielka Brytania. Październik – grudzień 2024, opublikowane w sierpniu 2025.

Kto podał liczby

Oficjalny dokumentLiczby pochodzą od zespołu ewaluacyjnego samego ministerstwa. Głównym źródłem był tygodniowy dziennik, który wypełniło 32% posiadaczy licencji. Niewielka liczba zadań na czas porównywała użytkowników z osobami bez licencji.

Co zrobili

Ministerstwo miało 1000 licencji na Microsoft 365 Copilot od października do grudnia 2024 roku. Copilot to asystent AI wbudowany w Outlook, Teams, Word, Excel i PowerPoint. Około 70% licencji trafiło do ochotników, a około 30% do losowo wybranych pracowników.

Zespół ewaluacyjny ministerstwa zmierzył potem, co się stało. Posiadacze licencji przez tydzień prowadzili dziennik. Zespół przeprowadził wywiady z użytkownikami i osobami bez licencji. Posadził też niewielką grupę użytkowników i osób bez licencji przy tych samych zadaniach, zmierzył im czas, a drugi analityk ocenił wyniki, nie wiedząc, kto korzystał z Copilota.

Liczby

Z dzienników (300 przeanalizowanych, 32% odpowiedzi):

• 72% respondentów było zadowolonych lub bardzo zadowolonych.
• Zadania pisarskie dawały największą oszczędność czasu: streszczanie, przeglądanie i pisanie projektów.
• Planowanie spotkań i tworzenie obrazów trwało z Copilotem dłużej niż bez niego.
• 22% respondentów zauważyło halucynację, czyli treść zmyśloną przez AI. 43% nie zauważyło, a 11% nie było pewnych.

Z zadań na czas:

Zadanie	Z Copilotem	Bez	Jakość z Copilotem
Streszczanie raportów	12 min 37 s	41 min 34 s	Lepsza
Slajdy PowerPoint	10 min 47 s	18 min 30 s	Gorsza
Analiza danych w Excelu	25 min 01 s	20 min 33 s	Gorsza

Wnioski z ewaluacji

• Zaoszczędzony czas nie przełożył się na wydajność. Raport mówi, że “did not find evidence that time savings have led to improved productivity” [„nie znaleziono dowodów, że oszczędność czasu doprowadziła do wyższej wydajności”]. Koledzy bez licencji nie zauważyli żadnej zmiany w pracy tych, którzy ją mieli. Raport dodaje, że pomiar wydajności nie był głównym celem.
• Część czasu przybyła. Zadania trwały dłużej, gdy Copilot dawał słabe wyniki albo gdy ludzie wykonywali dodatkową pracę tylko dlatego, że mieli narzędzie.
• Szkolenie miało znaczenie, i to jego rodzaj. Pracownicy, którzy uczyli się sami, byli bardziej zadowoleni niż ci, którzy chodzili na formalne zajęcia ministerstwa.
• Sprawdzanie było nierówne. Użytkownicy nie sprawdzali wyników Copilota w spójny sposób.
• Opłacalność pozostała otwarta. Raport mówi, że osobna ocena wciąż trwa.

Szerszy pilotaż

Ten pilotaż był częścią rządowego pilotażu w Wielkiej Brytanii z udziałem około 20 000 pracowników różnych ministerstw. Tam użytkownicy mówili, że oszczędzają średnio 26 minut dziennie. To liczba deklarowana przez samych użytkowników. Pochodzi z jednego pytania ankiety z odpowiedziami podawanymi w przedziałach, a raport mówi, że nie dało się ustalić, na co wykorzystano zaoszczędzony czas.

Osobna ewaluacja w HMRC, brytyjskim urzędzie skarbowym, dała 3000 licencji losowo wybranym pracownikom. Wykazała około 60 minut tygodniowo, po tym jak HMRC obniżył deklarowane liczby o około 20%, żeby uwzględnić skrzywienie. Ta liczba też jest deklarowana. Zobacz przypadek HMRC.

Co pokazuje ten przypadek

• Wypróbowanie AI w oprogramowaniu, którego już używasz, to tani sposób, żeby się przekonać. Ministerstwo w trzy miesiące dowiedziało się, które zadania zyskały, a które straciły.
• Zadowolenie to nie wydajność. Większości użytkowników narzędzie się podobało. Zmierzone zadania dały bardziej mieszany obraz.
• Wyniki różnią się w zależności od zadania. Streszczanie było trzy razy szybsze i lepsze. Analiza w arkuszu była wolniejsza i gorsza.
• To, co mówią użytkownicy, i to, co pokazuje pomiar czasu, może się różnić. Dzienniki wskazywały oszczędność czasu przy analizie danych. Pomiar czasu pokazał stratę.

Co ten przypadek mówi o praktykach

Praktyki, które firma zastosowała

• Zacznij od gotowej AI w oprogramowaniu, którego już używasz, zanim zbudujesz własną Ministerstwo wypróbowało asystenta wbudowanego w programy do poczty, dokumentów i spotkań, których pracownicy już używali, z 1000 licencji na trzy miesiące. Zrób najpierw · Nakład pracy: niski (dni, jedna osoba) Dowody: Powszechna praktyka
• Mierz czas zaoszczędzony na zadaniu względem pomiaru wyjściowego Ewaluatorzy nie polegali na tym, co mówili użytkownicy. Zmierzyli czas tych samych zadań u użytkowników i osób bez licencji, a wyniki oceniono bez wiedzy, kto korzystał z narzędzia. Zrób najpierw · Nakład pracy: niski (dni, jedna osoba) Dowody: Powszechna praktyka
• Szkol pracowników z obsługi narzędzi, które firma naprawdę wybrała Szkolenie istotnie wpływało na zadowolenie. Pracownicy, którzy uczyli się sami, byli bardziej zadowoleni niż ci, którzy chodzili na formalne zajęcia ministerstwa. Zrób najpierw · Nakład pracy: średni (tygodnie, kilka osób) Dowody: Wstępne

Źródła

1. UK Department for Business and Trade (August 2025). The evaluation of the M365 Copilot pilot in the Department for Business and Trade. Report. assets.publishing.service.gov.uk
2. UK Government Digital Service (2 June 2025). Microsoft 365 Copilot experiment: cross-government findings report. The wider trial this pilot was part of. gov.uk
3. HM Revenue & Customs (9 July 2026). Evaluating the impact of Microsoft Copilot in HMRC. Phase III trial evaluation report. gov.uk