Auf einen Blick
- Unternehmen
- SiemensIndustriekonzern; die Studie lief in seinem Elektronikwerk in Zug
- Branche
- Industrie
- Wo und wann
- Schweiz. Juni – Juli 2021, veröffentlicht im Dezember 2024.
- Wer die Zahlen erhoben hat
- Von Forschenden gemessenDie Zahlen stammen aus einem vorab registrierten Experiment von Forschenden an Universitäten, veröffentlicht in einer fachlich begutachteten Zeitschrift. Einer der Autoren gibt Forschungsgelder von Siemens an.
Was sie getan haben
Beschäftigte im Siemens-Werk in Zug prüfen bestückte Leiterplatten mit bloßem Auge. Sie suchen nach fehlenden, falschen oder defekten Bauteilen. Forschende bildeten diese Arbeit in einem Experiment nach und führten es vor Ort mit den eigenen Beschäftigten des Werks durch.
Ein KI-System gab jeder Platte einen Qualitätswert von 0 bis 100. Ein niedriger Wert bedeutete einen wahrscheinlichen Fehler. Den Beschäftigten wurde gesagt, dass die KI falschliegen kann. Dann entschied jede Person, ob die Platte fehlerfrei oder fehlerhaft war.
Die Beschäftigten wurden per Zufall in zwei Gruppen geteilt:
- Nur der Wert. Diese Beschäftigten sahen den Wert der KI und sonst nichts.
- Wert plus Bild. Diese Beschäftigten sahen zusätzlich das Bild mit farbigen Bereichen, die markierten, wo die KI ein Problem gefunden hatte. Die KI dahinter war dieselbe.
Insgesamt beurteilten 48 Beschäftigte je 200 Bilder von vier Plattentypen. Von den 200 Platten waren 28 fehlerhaft. Die Beschäftigten hatten im Durchschnitt 13,8 Jahre Berufserfahrung.
Die Zahlen
| Gefundene fehlerhafte Platten | Gesamtgenauigkeit | |
|---|---|---|
| Beschäftigte nur mit dem Wert | 82,0 % | 88,6 % |
| Beschäftigte mit Wert und Bild | 93,0 % | 96,3 % |
| Die KI allein | 92,9 % | 95,6 % |
Die Gesamtgenauigkeit gewichtet hier fehlerfreie und fehlerhafte Platten gleich.
- Menschen nur mit dem Wert schnitten schlechter ab als die KI allein. Sie überstimmten die KI 3,6-mal so oft, wenn sie recht hatte.
- Menschen mit dem Bild schnitten besser ab als die KI allein. 73,1 % dieser Beschäftigten schlugen sie.
- Sie fingen auch ihre Fehler ab. Beschäftigte mit dem Bild überstimmten 96,9 % der falschen Vorhersagen der KI. Beschäftigte nur mit dem Wert überstimmten 86,4 %.
Was der Fall zeigt
- Einen Menschen zur KI hinzuzunehmen, kann das Ergebnis verschlechtern. Erfahrene Prüfer verwarfen mit einem bloßen Wert richtige Antworten.
- Wie die KI ihre Antwort darstellt, zählt so viel wie ihre Qualität. Dieselbe KI lieferte ein besseres Ergebnis, sobald die Beschäftigten sehen konnten, worauf sie reagierte.
- Prüfen Sie das Zusammenspiel an der echten Aufgabe. Das Werk lernte das von 48 Menschen und 200 Bildern in zehn Tagen.
- Fragen Sie beim Kauf eines Prüfsystems, was die Bedienperson sehen wird. Ein Wert ohne Begründung ist schwer zu beurteilen.
Was das über die Praktiken sagt
Praktiken, die das Unternehmen anwandte
- Testen Sie für jede Art von Aufgabe, ob ein Mensch mit KI besser ist als jeder allein Dieselbe Prüfaufgabe lief mit zwei Arten von KI-Hilfe und wurde mit der KI allein verglichen. Beschäftigte mit nur einem Wert schnitten schlechter ab als die KI allein. Beschäftigte, denen gezeigt wurde, wo sie hingesehen hatte, schnitten besser ab. Als Nächstes · Aufwand: mittel (Wochen, einige Personen)
- Lassen Sie einen Menschen alles prüfen, was an Kunden geht oder rechtliches Gewicht hat Bei jeder Platte traf ein Mensch die endgültige Entscheidung. Beschäftigte, die die Begründung der KI sahen, überstimmten 96,9 % ihrer falschen Vorhersagen. Zuerst · Aufwand: mittel (Wochen, einige Personen)
- Messen Sie die eingesparte Zeit je Aufgabe an einer Ausgangsmessung Alle Beschäftigten beurteilten dieselben 200 Produktbilder unter denselben Zeitvorgaben, und die Antworten wurden am bekannten richtigen Ergebnis gemessen. Zuerst · Aufwand: gering (Tage, eine Person)
- Lassen Sie die KI zeigen, worauf ihre Antwort beruht Die Hälfte der Beschäftigten sah den Wert der KI mit einem Bild, das markierte, wo sie ein Problem gefunden hatte. Sie waren genauer als die Beschäftigten, die nur den Wert sahen, und die meisten schlugen die KI allein. Als Nächstes · Aufwand: mittel (Wochen, einige Personen)
Quellen
- Senoner, Schallmoser, Kratzwald, Feuerriegel and Netland (2024). Explainable AI improves task performance in human–AI collaboration. Scientific Reports, 14, 31150. doi.org
- Senoner, Schallmoser, Kratzwald, Feuerriegel and Netland (2024). Explainable AI improves task performance in human–AI collaboration. Scientific Reports, 14, 31150. Was diese Studie untersucht und gefunden hat
- Vaccaro, Almaatouq and Malone (2024). When combinations of humans and AI are useful: A systematic review and meta-analysis. Nature Human Behaviour, 8(12), 2293–2303. Was diese Studie untersucht und gefunden hat