Eine Übersicht über 16 Fragebögen, die KI-Wissen messen

Auf einen Blick

Quelle

Lintner (2024). A systematic review of AI literacy scales. npj Science of Learning, 9, 50. doi:10.1038/s41539-024-00264-4

Wie sie durchgeführt wurde

Der Autor suchte alle veröffentlichten Studien, die einen Fragebogen zur KI-Kompetenz getestet hatten, und bewertete jeden Fragebogen anhand einer Standard-Checkliste für Messqualität (COSMIN). Systematische Übersichtsarbeit. Sie sucht nach festen Regeln alle veröffentlichten Studien zu einer Frage und fasst zusammen, was sie zeigen.

Wer teilnahm

22 Studien, die 16 Fragebögen testeten, gerichtet an die breite Öffentlichkeit, Studierende und Lehrkräfte.

Wo

International.

“None of the scales have been tested for cross-cultural validity and measurement error.” [Keine der Skalen wurde auf kulturübergreifende Gültigkeit und Messfehler geprüft.]

Was sie fand

KI-Kompetenz heißt: verstehen, was KI ist, sie nutzen können und ihre Ergebnisse beurteilen können.

• 13 der 16 Fragebögen beruhen auf Selbsteinschätzung. Nur 3 messen Leistung.
• Insgesamt waren die Fragebögen gut gebaut: Ihre Fragen passten stimmig zusammen.
• Nur wenige wurden darauf geprüft, ob die Ergebnisse über die Zeit stabil bleiben oder sich nach einer Schulung ändern.
• Keiner wurde über Kulturen hinweg oder auf Messfehler geprüft.
• Die meisten gaben keine Hinweise, wie ein Wert zu lesen ist.

Wann das Ergebnis gilt

Die Übersicht umfasst Fragebögen, die bis 2024 veröffentlicht wurden. Keiner davon wurde eigens für Beschäftigte entwickelt; sie richten sich an die breite Öffentlichkeit, Studierende und Lehrkräfte.

Grenzen

• Seitdem sind neue Fragebögen erschienen, darunter Wissenstests.

Praktiken, die sich auf diese Studie stützen

Diese Studie stützt:

• Prüfen Sie das KI-Wissen, statt die Beschäftigten sich selbst einschätzen zu lassen Menschen schätzen ihre eigenen Fähigkeiten schlecht ein. Um herauszufinden, was Ihre Beschäftigten über KI wissen, nutzen Sie einen kurzen Wissenstest oder eine zweite Meinung, nicht nur eine Selbsteinschätzung. Als Nächstes · Aufwand: mittel (Wochen, einige Personen) Evidenz: Mittel Menschen und Kompetenzen · Einführen

Diagnoseinstrumente zu dieser Studie

• Wie schätzen die Beschäftigten ihr eigenes KI-Können und ihre Zuversicht beim Lernen ein? Meta AI Literacy Scale (MAILS) Beschäftigte, die jeweils ihr eigenes Können einschätzen · 34 Fragen, oder 10 in der Kurzfassung Frei nutzbar, vor Änderungen fragen Prüfung: Stark KI-Wissenstests und Selbsteinschätzungen
• Was wissen die Beschäftigten über KI, auch über generative KI? AI Competency Objective Scale (AICOS) Beschäftigte, die jeweils einen Test machen · Eine Voll- und eine Kurzfassung. Die Zahl der Fragen ist nicht geklärt Frei nutzbar und anpassbar Prüfung: Mittel KI-Wissenstests und Selbsteinschätzungen
• Was wissen die Beschäftigten über KI? Scale of Artificial Intelligence Literacy for All (SAIL4ALL) Beschäftigte, die jeweils einen Test machen · 56 Fragen in 4 Teilen. Jeder Teil lässt sich einzeln nutzen Frei nutzbar und anpassbar Prüfung: Mittel KI-Wissenstests und Selbsteinschätzungen