W skrócie
- Źródło
- Pinski, Adam and Benlian (2023). AI Knowledge: Improving AI Delegation through Human Enablement. Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems. doi:10.1145/3544548.3580794
- Jak je przeprowadzono
- Uczestników podzielono na dwie grupy. Jedną najpierw nauczono, jak działa AI i gdzie myli się ludzki osąd. Potem obie grupy wybierały, które zadania przekazać AI. Eksperyment z losowym przydziałem. Ludzi losowo przydzielono do pracy z narzędziem albo bez niego i porównano obie grupy.
- Kto brał udział
- 111 uczestników w dwóch grupach.
- Gdzie
- Kontrolowany eksperyment prowadzony przez uniwersytecki zespół badawczy w Niemczech.
“We find that AI knowledge-enabled humans align their delegation decisions more closely with their assessment of how suitable a task is for humans or AI.” [Stwierdzamy, że ludzie wyposażeni w wiedzę o AI lepiej dopasowują decyzje o przekazaniu zadań do własnej oceny, na ile zadanie nadaje się dla człowieka, a na ile dla AI.]
Co wykazało badanie
- Ludzie często źle przekazują zadania AI: zatrzymują te, które AI zrobiłaby lepiej, a oddają te, które sami zrobiliby lepiej.
- Osoby, które najpierw dowiedziały się, jak działa AI, lepiej dopasowywały wybory do tego, czy zadanie bardziej pasuje człowiekowi, czy AI.
- Tak dopasowane wybory dawały lepsze wyniki w zadaniu.
- Ta sama wiedza obniżała deklarowany zamiar korzystania z AI w przyszłości.
Kiedy wynik się sprawdza
Uczestnicy mogli zdecydować, zadanie po zadaniu, czy wykonać pracę sami, czy ją przekazać. Wynik dotyczy sytuacji, w których pracownicy mają taki wybór.
Ograniczenia
- Jedna sesja, a nie prawdziwa praca w dłuższym czasie.
- Spadek chęci korzystania z AI był deklarowanym zamiarem. Badanie nie sprawdzało, co ludzie zrobili później.
Praktyki, które korzystają z tego badania
To badanie wspiera:
- Szkol pracowników z obsługi narzędzi, które firma naprawdę wybrała Pokaż każdemu użytkownikowi, czym jest wybrane narzędzie AI, gdzie się myli i co trzeba sprawdzać. Pracuj na własnych zadaniach i własnych zasadach, daj ludziom czas na ćwiczenie i obejmij szkoleniem pracowników tymczasowych. Zrób najpierw · Nakład pracy: średni (tygodnie, kilka osób)
- Dla każdego rodzaju zadania sprawdź, czy człowiek z AI wypada lepiej niż każde z nich osobno Nie zakładaj, że dodanie człowieka do AI albo AI do człowieka daje najlepszy wynik. Sprawdź to dla każdego rodzaju zadania, zanim ustalisz proces. Zrób potem · Nakład pracy: średni (tygodnie, kilka osób)
- Sprawdzaj wiedzę o AI testem, zamiast prosić pracowników o samoocenę Ludzie słabo oceniają własne umiejętności. Żeby dowiedzieć się, co twoi pracownicy wiedzą o AI, użyj krótkiego testu wiedzy albo drugiej opinii, a nie tylko samooceny. Zrób potem · Nakład pracy: średni (tygodnie, kilka osób)
Narzędzia diagnostyczne powiązane z tym badaniem
- Na ile pracownicy ufają jednemu nazwanemu systemowi AI? Trust in Automation Scale, short form (S-TIAS) Ludzie, którzy używają tego systemu · 3 pytania albo 12 w wersji długiej Bezpłatne, można dostosować
- Co pracownicy wiedzą o AI? Scale of Artificial Intelligence Literacy for All (SAIL4ALL) Pracownicy, każdy rozwiązuje test · 56 pytań w 4 częściach. Każdej części można używać osobno Bezpłatne, można dostosować