Jak oceniamy dowody

W skrócie

• Ocena mówi, jak dobrze sprawdzono twierdzenie. Nie mówi, jak duża jest korzyść.
• Są cztery poziomy, od „Silne” do „Powszechna praktyka”.
• Dwa zastrzeżenia ostrzegają, gdy badania się nie zgadzają albo gdy wyniki zależą od warunków.
• Ogłoszenia firm nie są dowodem. Przykłady praktyczne też nie.
• Każde twierdzenie prowadzi do swojego źródła, więc możesz je sprawdzić samodzielnie.

Cztery poziomy

Najpierw dwa pojęcia. Rzetelne badanie porównuje ludzi lub zespoły, które stosowały praktykę, z podobnymi, które jej nie stosowały. Liczymy dwa rodzaje takich badań. W kontrolowanym eksperymencie badacze decydują, kto dostaje nowe narzędzie lub metodę. W eksperymencie naturalnym zmiana dociera do jednych grup wcześniej niż do innych, a badacze je porównują.

Przykład rzetelnego badania: badanie prawdziwej pracy w jednej firmie, obejmujące ponad 5000 pracowników obsługi klienta, wykazało, że osoby z asystentem AI rozwiązywały o około 14% więcej zgłoszeń na godzinę (Brynjolfsson, Li i Raymond).

1. Silne

   Kilka rzetelnych badań, prowadzonych przez niezależne zespoły, daje ten sam wynik. Przeprowadzono je w warunkach zbliżonych do zwykłej pracy firmy.

   Przykład. Trzy zespoły badawcze prowadzą kontrolowany eksperyment w działających firmach. Każdy z nich znajduje ten sam efekt.

2. Umiarkowane

   Jedno rzetelne badanie. Albo kilka badań lub dużych ankiet, które są ze sobą zgodne i jasno opisują swoje metody.

   Przykład. Jedno duże badanie w prawdziwym miejscu pracy, z jasnym porównaniem pracowników, którzy mieli narzędzie AI, z tymi, którzy go nie mieli.

3. Wstępne

   Kilka udokumentowanych przypadków firm pokazuje podobne wyniki, z liczbami. Nikt nie porównał ich z grupą, która tej praktyki nie stosowała.

   Przykład. Pięć firm publikuje liczby sprzed i po tej samej zmianie. Żadna z nich nie miała grupy porównawczej.

4. Powszechna praktyka

   Szeroko polecana przez ludzi, którzy wykonują tę pracę. Żadne opublikowane badanie jeszcze jej nie sprawdziło.

   Przykład. Rada, którą powtarza wielu doświadczonych menedżerów, ale której żadne opublikowane badanie nie sprawdziło.

Powszechna praktyka nie oznacza słabej rady. Oznacza, że doświadczeni menedżerowie szeroko ją polecają, a nikt jeszcze nie sprawdził jej w badaniu i nie opublikował wyniku.

Narzędzia diagnostyczne, takie jak kwestionariusze i testy wiedzy, mają te same cztery poziomy. Tam najniższy poziom nazywa się „Jeszcze niesprawdzone”: nikt nie opublikował sprawdzenia, czy narzędzie mierzy to, co ma mierzyć. Co oznaczają poziomy w przypadku narzędzia diagnostycznego.

Dwa zastrzeżenia

Zastrzeżenie stoi obok oceny. Mówi ci, żeby przed działaniem przeczytać szczegóły.

• Sporne

  Badania się nie zgadzają. Pokazujemy obie strony i nie wybieramy żadnej.

  Przykład. Jedno badanie znajduje wyraźną poprawę. Inne, podobnej jakości, nie znajduje żadnej.

• Zależy od kontekstu

  Praktyka pomaga w jednych warunkach, a szkodzi w innych. Strona mówi, w jakich.

  Przykład. Pomoc AI poprawia wyniki w zadaniach, które AI wykonuje dobrze, a pogarsza w zadaniach, które wykonuje źle.

Czego ocena ci nie powie

• Jak duży jest zysk. Ocena „Silne” oznacza, że wynik dobrze sprawdzono. Sam zysk może być niewielki.
• Czy pasuje do twojej firmy. Wynik badania z dużych firm może się nie sprawdzić w firmie z 20 pracownikami. Każda strona mówi, skąd pochodzą dowody.
• Ile to kosztuje. Koszt i nakład pracy są opisane osobno, poza oceną.
• Jak bardzo jest przydatna. Praktyka z jedną kropką może być właściwym pierwszym krokiem. Kropki mówią tylko, ile sprawdzania za nią stoi.

Kolejność i nakład pracy

Każda praktyka pokazuje też, kiedy się nią zająć i ile pracy wymaga. Te dwie etykiety to nasza ocena redakcyjna. Nie są dowodem i nie zmieniają oceny dowodów.

• Zrób najpierw. Zanim zaczniesz z AI albo na samym początku.
• Zrób potem. Gdy pierwsze zastosowania AI już działają.
• Zrób później. Gdy AI jest już stałą częścią pracy.

• Nakład pracy: niski. Dni, jedna osoba.
• Nakład pracy: średni. Tygodnie, kilka osób.
• Nakład pracy: wysoki. Miesiące, kilka zespołów.

Ustalamy obie dla typowej firmy, na podstawie kroków opisanych na stronie praktyki. Twoja kolejność może być inna. Każda strona praktyki mówi, co zmienia się z wielkością firmy.

Co nie jest dowodem

Komunikaty i ogłoszenia firm to sygnały

Komunikat mówi, co firma zamierza zrobić. Nie mówi, czy to zadziałało. Na przykład w kwietniu 2025 roku prezes Shopify polecił zespołom, żeby zanim poproszą o nowych pracowników, pokazały, dlaczego AI nie może wykonać danej pracy (komunikat). To deklaracja zamiarów. To nie jest wynik.

Takie ogłoszenia zapisujemy jako sygnały. Sygnał nigdy nie jest podstawą oceny.

Przykłady praktyczne to ilustracje

Przykład praktyczny pokazuje krok po kroku, jak stosuje się metodę. Może korzystać ze zmyślonej firmy. Pomaga wyobrazić sobie tę pracę. Nie pokazuje, że metoda daje wyniki, więc nie ma oceny i nigdy nie jest podstawą oceny. Praktyka może prowadzić do przykładu, żeby pokazać, jak wygląda w użyciu. Zobacz przykłady praktyczne.

Liczby, które firma podaje o sobie, są oznaczone

Niektóre liczby pochodzą tylko od firmy, której dotyczą, albo od dostawcy, który sprzedał narzędzie. Piszemy o tym wszędzie, gdzie taka liczba się pojawia.

To samo dotyczy przypadków firm. Przypadek to konkretna firma z liczbami i publicznym źródłem. Nie ma oceny. Przypadki, które firmy opisują same o sobie, mogą być podstawą najwyżej oceny „Wstępne”, i to tylko wtedy, gdy kilka z nich daje zgodne wyniki.

Jak ustalamy ocenę

1. Zbieramy opublikowane źródła na temat praktyki lub narzędzia diagnostycznego.
2. Czytamy każde źródło w całości. Ocena nigdy nie opiera się na źródle, którego nie przeczytaliśmy.
3. Zapisujemy, jak przeprowadzono każde badanie, kto w nim brał udział i gdzie jego wyniki przestają obowiązywać.
4. Porównujemy źródła z czterema poziomami opisanymi wyżej i dodajemy zastrzeżenie, jeśli ma zastosowanie.
5. Każde twierdzenie łączymy z jego źródłem.

Jak często przeglądamy oceny

• Każda strona pokazuje datę ostatniego przeglądu.
• Każdą ocenianą stronę przeglądamy co najmniej raz na 12 miesięcy.
• Przeglądamy stronę wcześniej, gdy pojawi się ważne nowe badanie.
• Po przeglądzie ocena może pójść w górę albo w dół.

Wersja i zmiany

To jest wersja 1.1 metody. Każda jej zmiana jest wymieniona tutaj.

Wersja 1.1 · 13 października 2026

• Najniższy poziom nazywa się teraz „Powszechna praktyka”. Wcześniej nazywał się „Zdanie praktyków”. To, co liczy się do każdego poziomu, się nie zmieniło.
• W przypadku narzędzi diagnostycznych najniższy poziom nazywa się „Jeszcze niesprawdzone”. Poziom i to, co się do niego liczy, są takie same.

Wersja 1.0 · 13 października 2026

• Pierwsza opublikowana wersja.
• Cztery poziomy dowodów i dwa zastrzeżenia.
• Zasady dotyczące ogłoszeń firm i przykładów praktycznych.
• Przegląd co 12 miesięcy.