Auf einen Blick
- Unternehmen
- Department of Families, Fairness and Housing (Victoria)Ministerium eines Bundesstaats, zuständig unter anderem für den Kinderschutz
- Größe
- Großunternehmen (1.000+ Beschäftigte) Laut Bericht der Aufsichtsbehörde waren knapp 900 Beschäftigte fast 13 % der Belegschaft.
- Wo und wann
- Australien (Victoria). 2023 – September 2024.
- Wer die Zahlen erhoben hat
- Amtliche UnterlagenAlles auf dieser Seite stammt aus dem Untersuchungsbericht des Office of the Victorian Information Commissioner, der Datenschutzbehörde des Bundesstaats.
Was passiert ist
Eine Fachkraft im Kinderschutz nutzte ChatGPT als Hilfe beim Entwurf eines Berichts für ein Kindergericht. Es ging um ein kleines Kind, dessen Eltern wegen Sexualstraftaten angeklagt waren. Um den Entwurf zu bekommen, gab die Fachkraft persönliche Daten über das Kind, die Eltern und die Betreuungsperson ein.
Das Ministerium meldete den Vorfall im Dezember 2023 der Datenschutzbehörde des Bundesstaats. Die Behörde ermittelte und veröffentlichte ihren Bericht im September 2024.
Die Zahlen
- Etwa 900 Beschäftigte hatten zwischen Juli und Dezember 2023 die Website von ChatGPT aufgerufen. Das waren fast 13 % der Belegschaft des Ministeriums.
- 100 Fälle in der größeren Einheit der Fachkraft zeigten über ein Jahr Anzeichen, dass ChatGPT womöglich beim Entwurf von Kinderschutzdokumenten genutzt worden war.
- Zwei Verstöße gegen die Datenschutzgrundsätze des Bundesstaats wurden festgestellt. Einer betraf die Richtigkeit persönlicher Daten. Der andere ihren Schutz vor unbefugter Weitergabe.
- 15 namentlich genannte KI-Werkzeuge mussten für Beschäftigte im Kinderschutz gesperrt werden, von November 2024 bis November 2026. Auf der Liste standen ChatGPT, Claude, Gemini, Copilot und Grammarly.
- Vier Fortschrittsberichte an die Aufsichtsbehörde waren vorgeschrieben, einer alle sechs Monate.
Was die Aufsichtsbehörde feststellte
- Der Bericht war genau da falsch, wo es darauf ankam. Er beschrieb eine Puppe des Kindes, die nach Meldungen vom Vater für sexuelle Zwecke benutzt worden war, als Zeichen dafür, dass die Eltern „age-appropriate toys“ [„altersgerechtes Spielzeug“] bereitstellten. Das spielte das Risiko für das Kind herunter. Die Aufsichtsbehörde merkt an, dass der Fehler die Entscheidung des Gerichts nicht änderte.
- Die Daten verließen die Kontrolle des Ministeriums. Sobald sie in ChatGPT eingegeben waren, lagen sie bei OpenAI, der Firma, die das Werkzeug betreibt.
- Allgemeine Richtlinien reichten nicht. Das Ministerium verwies auf seine Richtlinie zur Techniknutzung und sein E-Learning zum Datenschutz. Die Aufsichtsbehörde fand das „far from sufficient“ [„bei Weitem nicht ausreichend“]. Man konnte nicht erwarten, dass Beschäftigte daraus ableiten, wie sie eine neue Art von Werkzeug nutzen sollen.
- Es gab nichts Spezifisches. Keine Regeln, wann die Werkzeuge genutzt werden dürfen. Keine Schulung, wie sie funktionieren. Keine technische Zugangsbeschränkung.
- Leitlinien allein lösten es nicht. Nach dem Vorfall gab das Ministerium Leitlinien zu generativer KI heraus. Die Aufsichtsbehörde hielt ihren Inhalt für weitgehend zweckmäßig. Aber das Ministerium hatte „almost no visibility“ [„fast keinen Einblick“], wie die Beschäftigten die Werkzeuge nutzten. Für die Arbeit im Kinderschutz befand die Aufsichtsbehörde das Risiko für zu groß, um es allein mit Richtlinien und Leitlinien zu steuern.
Was der Fall zeigt
- Die Beschäftigten nutzten die Werkzeuge bereits. Etwa jede achte Person hatte ChatGPT aufgerufen, bevor es irgendeine Regel gab.
- Eine allgemeine IT-Richtlinie deckt KI-Werkzeuge nicht ab. Die Aufsichtsbehörde erwartete Regeln und Schulungen, die für diese Werkzeuge geschrieben sind.
- Für die heikelste Arbeit war die Antwort eine Sperre. Eine schriftliche Regel galt nicht als ausreichend, wo ein Fehler einem Kind schaden konnte.
- Ein Mensch gab einen Bericht mit einem offensichtlichen Fehler frei. Das Werkzeug schrieb flüssigen Text. Niemand prüfte ihn an den Fakten des Falls.
Was das über die Praktiken sagt
Praktiken, die fehlten
- Legen Sie fest, welche Daten in welche KI-Werkzeuge dürfen Die Aufsichtsbehörde fand „no departmental rules in place about when and how these tools should or should not be used“ [„keine Regeln im Ministerium dazu, wann und wie diese Werkzeuge genutzt oder nicht genutzt werden sollten“] und keine technischen Zugangsbeschränkungen. Zuerst · Aufwand: gering (Tage, eine Person)
- Schulen Sie die Beschäftigten an den Werkzeugen, die Sie tatsächlich gewählt haben Die Aufsichtsbehörde fand keinen Hinweis auf einen Versuch, Beschäftigte darin zu schulen, wie Werkzeuge für generative KI funktionieren. Allgemeines E-Learning zum Datenschutz deckte das nicht ab. Zuerst · Aufwand: mittel (Wochen, einige Personen)
- Lassen Sie einen Menschen alles prüfen, was an Kunden geht oder rechtliches Gewicht hat Der Bericht ging mit einem schweren Fehler an ein Gericht. Er beschrieb eine Puppe, die für sexuelle Zwecke benutzt worden war, als „age-appropriate“ [„altersgerechtes“] Spielzeug. Zuerst · Aufwand: mittel (Wochen, einige Personen)
- Kennen Sie die Regeln, die für Ihren KI-Einsatz schon gelten Die Aufsichtsbehörde stellte zwei Verstöße gegen die Datenschutzgrundsätze des Bundesstaats fest: bei der Richtigkeit persönlicher Daten und bei ihrem Schutz vor unbefugter Weitergabe. Zuerst · Aufwand: gering (Tage, eine Person)
Was das Unternehmen danach geändert hat
Quellen
- Office of the Victorian Information Commissioner (September 2024). Investigation into the use of ChatGPT by a Child Protection worker. Report, with the compliance notice and the department’s response. ovic.vic.gov.au