Wie wir die Evidenz bewerten

Kurz gesagt

• Eine Bewertung sagt, wie gut eine Aussage geprüft ist. Sie sagt nicht, wie groß der Nutzen ist.
• Es gibt vier Stufen, von Stark bis Gängige Praxis.
• Zwei Hinweise warnen Sie, wenn Studien sich widersprechen oder wenn Ergebnisse von den Bedingungen abhängen.
• Ankündigungen von Unternehmen sind keine Evidenz. Durchgerechnete Beispiele auch nicht.
• Jede Aussage verweist auf ihre Quelle, sodass Sie sie selbst prüfen können.

Die vier Stufen

Zuerst zwei Begriffe. Eine gründliche Studie vergleicht Menschen oder Teams, die eine Praktik angewandt haben, mit ähnlichen, die es nicht taten. Wir zählen zwei Arten. In einem kontrollierten Versuch entscheiden die Forschenden, wer das neue Werkzeug oder die neue Methode bekommt. In einem natürlichen Experiment erreicht eine Änderung manche Gruppen früher als andere, und die Forschenden vergleichen sie.

Ein Beispiel für eine gründliche Studie: Eine Studie echter Arbeit in einem Unternehmen mit mehr als 5.000 Beschäftigten im Kundensupport fand, dass Beschäftigte mit einem KI-Assistenten pro Stunde etwa 14 % mehr Anliegen lösten (Brynjolfsson, Li und Raymond).

1. Stark

   Mehrere gründliche Studien verschiedener Forschungsteams kommen zum selben Ergebnis. Sie liefen unter Bedingungen, die dem normalen Geschäftsalltag nahekommen.

   Beispiel. Drei Forschungsteams führen je einen kontrollierten Versuch in laufenden Unternehmen durch. Alle drei finden denselben Effekt.

2. Mittel

   Eine gründliche Studie. Oder mehrere Studien oder große Umfragen, die übereinstimmen und ihre Methoden klar darlegen.

   Beispiel. Eine große Feldstudie an einem echten Arbeitsplatz, mit einem klaren Vergleich zwischen Beschäftigten mit KI-Werkzeug und Beschäftigten ohne.

3. Vorläufig

   Mehrere dokumentierte Firmenfälle berichten ähnliche Ergebnisse, mit Zahlen. Niemand hat sie mit einer Gruppe verglichen, die die Praktik nicht anwandte.

   Beispiel. Fünf Unternehmen veröffentlichen Vorher-nachher-Zahlen zur selben Änderung. Keines hatte eine Vergleichsgruppe.

4. Gängige Praxis

   Von Fachleuten aus der Praxis vielfach empfohlen. Noch keine veröffentlichte Studie hat es geprüft.

   Beispiel. Ein Rat, den viele erfahrene Führungskräfte wiederholen, den aber keine veröffentlichte Studie geprüft hat.

Gängige Praxis heißt nicht schwacher Rat. Es heißt, dass erfahrene Führungskräfte es vielfach empfehlen und noch niemand es in einer Studie geprüft und das Ergebnis veröffentlicht hat.

Diagnoseinstrumente wie Fragebögen und Wissenstests verwenden dieselben vier Stufen. Dort heißt die unterste Stufe „Noch nicht geprüft“: Niemand hat einen Test veröffentlicht, ob das Instrument misst, was es zu messen vorgibt. Was die Stufen bei einem Diagnoseinstrument bedeuten.

Zwei Hinweise

Ein Hinweis steht neben der Bewertung. Er sagt Ihnen, dass Sie die Einzelheiten lesen sollten, bevor Sie handeln.

• Umstritten

  Die Studien widersprechen sich. Wir zeigen beide Seiten und entscheiden uns für keine.

  Beispiel. Eine Studie findet einen klaren Gewinn. Eine andere von ähnlicher Qualität findet keinen.

• Kontextabhängig

  Die Praktik hilft unter manchen Bedingungen und schadet unter anderen. Die Seite sagt, unter welchen.

  Beispiel. KI-Hilfe verbessert die Ergebnisse bei Aufgaben, die die KI gut erledigt, und verschlechtert sie bei Aufgaben, die sie schlecht erledigt.

Was eine Bewertung nicht sagt

• Wie groß der Gewinn ist. Die Bewertung Stark heißt, dass der Befund gut geprüft ist. Der Gewinn selbst kann klein sein.
• Ob es zu Ihrem Unternehmen passt. Eine Studie in großen Unternehmen gilt vielleicht nicht für ein Unternehmen mit 20 Beschäftigten. Jede Seite sagt, woher die Evidenz stammt.
• Was es kostet. Kosten und Aufwand werden getrennt von der Bewertung beschrieben.
• Wie nützlich es ist. Eine Praktik mit einem Punkt kann der richtige erste Schritt sein. Die Punkte sagen nur, wie viel Prüfung dahintersteht.

Priorität und Aufwand

Jede Praktik zeigt auch, wann man sie angehen sollte und wie viel Aufwand sie braucht. Diese beiden Angaben sind unsere redaktionelle Einschätzung. Sie sind keine Evidenz und ändern keine Bewertung.

• Zuerst. Bevor Sie mit KI anfangen, oder während Sie anfangen.
• Als Nächstes. Sobald Ihre ersten KI-Anwendungen laufen.
• Später. Wenn KI ein fester Teil der Arbeit ist.

• Aufwand: gering. Tage, eine Person.
• Aufwand: mittel. Wochen, einige Personen.
• Aufwand: hoch. Monate, mehrere Teams.

Wir legen beides für ein typisches Unternehmen fest, ausgehend von den Schritten auf der Seite der Praktik. Ihre eigene Reihenfolge kann anders sein. Jede Praktik-Seite sagt, was sich mit der Unternehmensgröße ändert.

Was nicht als Evidenz zählt

Rundschreiben und Ankündigungen von Unternehmen sind Signale

Ein Rundschreiben sagt Ihnen, was ein Unternehmen vorhat. Es sagt nicht, ob es funktioniert hat. Im April 2025 zum Beispiel wies der Chef von Shopify die Teams an, zu zeigen, warum KI eine Arbeit nicht erledigen kann, bevor sie mehr Personal beantragen (das Rundschreiben). Das ist eine Absichtserklärung. Es ist kein Ergebnis.

Solche Ankündigungen erfassen wir als Signale. Ein Signal stützt nie eine Bewertung.

Durchgerechnete Beispiele sind Veranschaulichungen

Ein durchgerechnetes Beispiel zeigt Schritt für Schritt, wie eine Methode angewandt wird. Es kann ein erfundenes Unternehmen verwenden. Es hilft Ihnen, sich die Arbeit vorzustellen. Es zeigt nicht, dass die Methode Ergebnisse bringt, deshalb hat es keine Bewertung und stützt nie eine. Eine Praktik kann auf eines verweisen, um zu zeigen, wie sie im Einsatz aussieht. Siehe die durchgerechneten Beispiele.

Zahlen, die ein Unternehmen über sich selbst meldet, werden gekennzeichnet

Manche Zahlen stammen nur von dem Unternehmen, das sie beschreiben, oder vom Anbieter, der das Werkzeug verkauft hat. Wo eine solche Zahl steht, sagen wir das.

Dasselbe gilt für Firmenfälle. Ein Fall ist ein namentlich genanntes Unternehmen mit Zahlen und einer öffentlichen Quelle. Er hat keine Bewertung. Fälle, die Unternehmen über sich selbst melden, können höchstens die Bewertung Vorläufig stützen, und nur, wenn mehrere übereinstimmen.

Wie wir eine Bewertung festlegen

1. Wir sammeln die veröffentlichten Quellen zu einer Praktik oder einem Diagnoseinstrument.
2. Wir lesen jede Quelle vollständig. Eine Bewertung stützt sich nie auf eine Quelle, die wir nicht gelesen haben.
3. Wir halten fest, wie jede Studie durchgeführt wurde, wer teilnahm und wo ihre Ergebnisse nicht mehr gelten.
4. Wir gleichen die Quellen mit den vier Stufen oben ab und setzen einen Hinweis, wenn einer zutrifft.
5. Wir verweisen bei jeder Aussage auf ihre Quelle.

Wie oft wir überprüfen

• Jede Seite zeigt das Datum ihrer letzten Prüfung.
• Wir prüfen jede bewertete Seite mindestens alle 12 Monate.
• Wir prüfen eine Seite früher, wenn eine wichtige neue Studie erscheint.
• Nach einer Prüfung kann eine Bewertung steigen oder sinken.

Version und Änderungen

Dies ist Version 1.1 der Methode. Jede Änderung daran steht hier.

Version 1.1 · 13. Oktober 2026

• Die unterste Stufe heißt jetzt „Gängige Praxis“. Vorher hieß sie „Sicht aus der Praxis“. Was für jede Stufe zählt, hat sich nicht geändert.
• Bei Diagnoseinstrumenten heißt die unterste Stufe „Noch nicht geprüft“. Die Stufe und was für sie zählt, sind dieselben.

Version 1.0 · 13. Oktober 2026

• Erste veröffentlichte Version.
• Vier Evidenzstufen und zwei Hinweise.
• Regeln für Ankündigungen von Unternehmen und für durchgerechnete Beispiele.
• Prüfabstand auf 12 Monate festgelegt.