Una rassegna di 16 questionari che misurano le conoscenze sull’IA

In sintesi

Fonte

Lintner (2024). A systematic review of AI literacy scales. npj Science of Learning, 9, 50. doi:10.1038/s41539-024-00264-4

Come è stato condotto

L’autore ha raccolto tutti gli studi pubblicati che mettevano alla prova un questionario sull’alfabetizzazione sull’IA e ha valutato ogni questionario con una lista di controllo standard per la qualità delle misure (COSMIN). Revisione sistematica. Cerca tutti gli studi pubblicati su una domanda, con regole fisse, e riassume ciò che mostrano.

Chi ha partecipato

22 studi che mettono alla prova 16 questionari, rivolti al grande pubblico, a studenti e a insegnanti.

Dove

Internazionale.

“None of the scales have been tested for cross-cultural validity and measurement error.” [Nessuna delle scale è stata verificata per la validità tra culture diverse e per l’errore di misura.]

Che cosa ha trovato

Alfabetizzazione sull’IA significa capire che cos’è l’IA, saperla usare e saper giudicare ciò che produce.

• 13 dei 16 questionari si basano sull’autovalutazione. Solo 3 misurano la prestazione.
• Nel complesso i questionari erano costruiti bene: le loro domande erano coerenti tra loro.
• Pochi erano stati verificati per capire se i risultati restano stabili nel tempo o cambiano dopo una formazione.
• Nessuno era stato verificato tra culture diverse o per l’errore di misura.
• La maggior parte non dava indicazioni su come leggere un punteggio.

Quando vale il risultato

La rassegna copre i questionari pubblicati fino al 2024. Nessuno era stato costruito apposta per i dipendenti: si rivolgono al grande pubblico, a studenti e a insegnanti.

Limiti

• Da allora sono comparsi nuovi questionari, tra cui test di conoscenza.

Pratiche che usano questo studio

Questo studio sostiene:

• Verifichi le conoscenze sull’IA invece di chiedere al personale di autovalutarsi Le persone giudicano male le proprie competenze. Per sapere cosa sa il suo personale sull’IA, usi un breve test di conoscenza o un secondo parere, non solo un’autovalutazione. Subito dopo · Impegno: medio (settimane, poche persone) Prove: Moderate Persone e competenze · Adottare

Strumenti diagnostici collegati a questo studio

• Come valuta il personale le proprie abilità con l’IA e la propria sicurezza nell’imparare? Meta AI Literacy Scale (MAILS) Il personale, ciascuno valutando le proprie abilità · 34 domande, o 10 nella versione breve Uso libero; chieda prima di modificarlo Verifiche: Solide Test di conoscenza dell’IA e autovalutazioni
• Che cosa sa il personale dell’IA, compresa l’IA generativa? AI Competency Objective Scale (AICOS) Il personale, ciascuno svolgendo un test · Una versione completa e una breve. Il numero di domande non è noto Uso e adattamento liberi Verifiche: Moderate Test di conoscenza dell’IA e autovalutazioni
• Che cosa sa il personale dell’IA? Scale of Artificial Intelligence Literacy for All (SAIL4ALL) Il personale, ciascuno svolgendo un test · 56 domande in 4 parti. Ogni parte si può usare da sola Uso e adattamento liberi Verifiche: Moderate Test di conoscenza dell’IA e autovalutazioni