W skrócie
- Źródło
- Vaccaro, Almaatouq and Malone (2024). When combinations of humans and AI are useful: A systematic review and meta-analysis. Nature Human Behaviour, 8(12), 2293–2303. doi:10.1038/s41562-024-02024-1
- Jak je przeprowadzono
- Autorzy przeszukali trzy bazy badań w poszukiwaniu eksperymentów opublikowanych od stycznia 2020 do czerwca 2023 roku. Każdy eksperyment musiał mierzyć samych ludzi, samą AI i oboje razem. Metaanaliza. Łączy wyniki wielu wcześniejszych badań w jedno oszacowanie.
- Kto brał udział
- 106 eksperymentów, które dały 370 osobnych porównań.
- Gdzie
- Eksperymenty z wielu krajów i z wieloma rodzajami zadań.
“We found that, on average, human-AI combinations performed significantly worse than the best of humans or AI alone.” [Stwierdziliśmy, że średnio połączenia człowieka i AI wypadały istotnie gorzej niż lepsze z dwojga: sam człowiek albo sama AI.]
Co wykazało badanie
- Średnio połączenie przegrywało. Zespoły człowiek plus AI wypadały gorzej niż lepsze z dwojga: sam człowiek albo sama AI. Różnica była niewielka (standaryzowana różnica −0,23, czyli miara, która sprowadza różne testy do jednej skali, z 95-procentowym przedziałem od −0,39 do −0,07).
- Zadania decyzyjne traciły. Tam, gdzie trzeba było podjąć decyzję, na przykład ocenić albo zaklasyfikować przypadek, dodanie człowieka do AI albo AI do człowieka pogarszało wyniki.
- Zadania twórcze zyskiwały. Tam, gdzie trzeba było tworzyć treści, połączenie wypadało lepiej, w stopniu większym niż przypadek.
- Wyjaśnienia średnio niczego nie zmieniały. Pokazanie ludziom wyjaśnienia wyniku AI albo tego, jak pewna jest AI, nie zmieniało, ponad przypadek, wyników zespołu człowiek plus AI.
- Liczy się, kto jest lepszy osobno. Gdy sam człowiek był lepszy od samej AI, połączenie wygrywało z obojgiem. Gdy sama AI była lepsza od człowieka, połączenie wypadało gorzej niż AI.
Kiedy wynik się sprawdza
Porównanie jest surowe. Pyta, czy zespół wygrywa z lepszym z dwojga, a nie, czy AI pomaga człowiekowi. Człowiek z AI często radzi sobie lepiej niż ta sama osoba bez niej. To inne pytanie.
Ograniczenia
- Autorzy zwracają uwagę na możliwe skrzywienie publikacyjne: eksperymenty z uderzającymi wynikami częściej trafiają do publikacji.
- Eksperymenty opublikowano między 2020 a połową 2023 roku, więc wiele z nich powstało przed obecnymi czatami AI.
Praktyki, które korzystają z tego badania
To badanie wspiera:
To badanie ogranicza albo podważa:
- Niech człowiek sprawdza wszystko, co trafia do klienta lub ma znaczenie prawne Zanim wynik AI wyjdzie poza firmę albo posłuży do decyzji, wskazana osoba sprawdza go z prawdziwymi źródłami i zatwierdza. Niech to sprawdzenie będzie krokiem w procesie, z zarezerwowanym na nie czasem. Zrób najpierw · Nakład pracy: średni (tygodnie, kilka osób)
- Niech AI pokazuje, na czym opiera swoją odpowiedź Wynik punktowy lub szacunek bez uzasadnienia trudno ocenić. Wybieraj i ustawiaj narzędzia AI tak, by każda odpowiedź przychodziła z tym, na czym się opiera: zaznaczonym fragmentem obrazu, podobnymi dawnymi przypadkami, fragmentem dokumentu. Zrób potem · Nakład pracy: średni (tygodnie, kilka osób)
Narzędzia diagnostyczne powiązane z tym badaniem
- Na ile pracownicy ufają jednemu nazwanemu systemowi AI? Trust in Automation Scale, short form (S-TIAS) Ludzie, którzy używają tego systemu · 3 pytania albo 12 w wersji długiej Bezpłatne, można dostosować
- Na których stanowiskach generatywna AI mogłaby przejąć zadania, a na których mogłaby pomagać? ILO index of occupational exposure to generative AI Nikt nie jest ankietowany · Dopasowujesz nazwy swoich stanowisk do standardowej listy zawodów Bezpłatne, można dostosować
- Które z naszych własnych zadań AI mogłaby wykonywać albo w których mogłaby pomagać? TPAH task analysis Nikt nie jest ankietowany. Właściciele procesów sprawdzają wyniki · Analiza na podstawie opisu firmy i jej stanowisk Płatna usługa