In sintesi
- Azienda
- Department of Families, Fairness and Housing (Victoria)Dipartimento del governo statale, che comprende la tutela dei minori
- Dimensione
- Grandi imprese (1.000+ dipendenti) La relazione dell’autorità di controllo dice che quasi 900 dipendenti erano quasi il 13% del personale.
- Dove e quando
- Australia (Victoria). 2023 – settembre 2024.
- Chi ha prodotto le cifre
- Atto ufficialeTutto ciò che si legge in questa pagina viene dalla relazione d’indagine dell’Office of the Victorian Information Commissioner, il garante della privacy dello Stato.
Che cosa è successo
Un’operatrice della tutela dei minori ha usato ChatGPT per farsi aiutare a scrivere una relazione per un tribunale per i minorenni. La relazione riguardava un bambino piccolo i cui genitori erano stati accusati di reati sessuali. Per ottenere la bozza, l’operatrice ha inserito dati personali sul bambino, sui genitori e su chi se ne prendeva cura.
Il dipartimento ha segnalato l’incidente al garante della privacy dello Stato a dicembre 2023. Il garante ha indagato e ha pubblicato la sua relazione a settembre 2024.
I numeri
- Circa 900 dipendenti avevano aperto il sito di ChatGPT tra luglio e dicembre 2023. Erano quasi il 13% del personale del dipartimento.
- 100 casi nell’unità più ampia dell’operatrice, in un anno, mostravano segni che ChatGPT potesse essere stato usato per scrivere documenti della tutela dei minori.
- Due violazioni dei principi sulla privacy dello Stato sono state accertate. Una riguardava l’esattezza dei dati personali. L’altra la loro protezione dalla divulgazione non autorizzata.
- 15 strumenti di IA indicati per nome hanno dovuto essere bloccati per il personale della tutela dei minori, da novembre 2024 a novembre 2026. L’elenco comprendeva ChatGPT, Claude, Gemini, Copilot e Grammarly.
- Quattro relazioni sui progressi da inviare al garante, una ogni sei mesi.
Che cosa ha accertato l’autorità di controllo
- La relazione era sbagliata proprio dove contava. Descriveva la bambola di un bambino, che secondo le segnalazioni il padre aveva usato a scopi sessuali, come segno che i genitori fornivano “age-appropriate toys” [“giocattoli adatti all’età”]. Così sminuiva il rischio per il bambino. Il garante nota che l’errore non ha cambiato la decisione del tribunale.
- I dati sono usciti dal controllo del dipartimento. Una volta inseriti in ChatGPT, erano in mano a OpenAI, l’azienda che gestisce lo strumento.
- I regolamenti generali non bastavano. Il dipartimento ha citato il suo regolamento sull’uso delle tecnologie e i suoi corsi online sulla privacy. Il garante li ha giudicati “far from sufficient” [“tutt’altro che sufficienti”]. Non si poteva pretendere che il personale capisse da quei documenti come usare un tipo di strumento nuovo.
- Non c’era nulla di specifico. Nessuna regola su quando si possono usare gli strumenti. Nessuna formazione su come funzionano. Nessun limite tecnico all’accesso.
- Le sole indicazioni non hanno chiuso la questione. Dopo l’incidente il dipartimento ha pubblicato indicazioni sull’IA generativa. Il garante ne ha giudicato il contenuto nel complesso adatto allo scopo. Ma il dipartimento aveva “almost no visibility” [“quasi nessuna visibilità”] su come il personale usava gli strumenti. Per il lavoro di tutela dei minori, il garante ha deciso che il rischio era troppo alto per gestirlo solo con regolamenti e indicazioni.
Che cosa mostra il caso
- Il personale usava già gli strumenti. Circa una persona su otto aveva aperto ChatGPT prima che esistesse qualsiasi regola.
- Un regolamento informatico generale non copre gli strumenti di IA. Il garante si aspettava regole e formazione scritte per questi strumenti.
- Per il lavoro più delicato, la risposta è stata un blocco. Una regola scritta non è stata considerata sufficiente dove un errore poteva danneggiare un bambino.
- Una persona ha approvato una relazione con un errore evidente. Lo strumento ha scritto un testo scorrevole. Nessuno lo ha confrontato con i fatti del caso.
Cosa dice sulle pratiche
Pratiche che sono mancate
- Decida quali dati possono finire in quali strumenti di IA Il garante ha trovato “no departmental rules in place about when and how these tools should or should not be used” [“nessuna regola del dipartimento su quando e come questi strumenti debbano o non debbano essere usati”], e nessun limite tecnico all’accesso. Prima di tutto · Impegno: basso (giorni, una persona)
- Formi il personale sugli strumenti che ha davvero scelto Il garante non ha trovato prove di alcun tentativo di formare il personale su come funzionano gli strumenti di IA generativa. I corsi online generali sulla privacy non ne parlavano. Prima di tutto · Impegno: medio (settimane, poche persone)
- Faccia controllare a una persona tutto ciò che va a un cliente o ha valore legale La relazione è arrivata in tribunale con un errore grave. Descriveva una bambola usata a scopi sessuali come un giocattolo “age-appropriate” [“adatto all’età”]. Prima di tutto · Impegno: medio (settimane, poche persone)
- Conosca le regole che valgono già per il suo uso dell’IA Il garante ha accertato due violazioni dei principi sulla privacy dello Stato: sull’esattezza dei dati personali e sulla loro protezione dalla divulgazione non autorizzata. Prima di tutto · Impegno: basso (giorni, una persona)
Cosa ha cambiato l’azienda in seguito
Fonti
- Office of the Victorian Information Commissioner (September 2024). Investigation into the use of ChatGPT by a Child Protection worker. Report, with the compliance notice and the department’s response. ovic.vic.gov.au