De un vistazo
- Empresa
- Department of Families, Fairness and Housing (Victoria)Departamento de un gobierno estatal, que incluye la protección de menores
- Tamaño
- Gran empresa (1000+ empleados) El informe del regulador dice que casi 900 empleados eran casi el 13 % de la plantilla.
- Dónde y cuándo
- Australia (Victoria). 2023 – septiembre de 2024.
- Quién produjo las cifras
- Registro oficialTodo lo que aparece en esta página procede del informe de investigación de la Office of the Victorian Information Commissioner, el regulador de privacidad del estado.
Qué pasó
Un trabajador de protección de menores usó ChatGPT para ayudarse a redactar un informe para un tribunal de menores. El informe trataba de un niño pequeño cuyos padres habían sido acusados de delitos sexuales. Para obtener el borrador, el trabajador escribió datos personales del niño, de los padres y de la persona cuidadora.
El departamento comunicó el incidente al regulador de privacidad del estado en diciembre de 2023. El regulador investigó y publicó su informe en septiembre de 2024.
Las cifras
- Unas 900 personas de la plantilla habían abierto la web de ChatGPT entre julio y diciembre de 2023. Era casi el 13 % de la plantilla del departamento.
- 100 casos de la unidad más amplia del trabajador, a lo largo de un año, mostraban indicios de que se podría haber usado ChatGPT para redactar documentos de protección de menores.
- Dos incumplimientos de los principios de privacidad del estado. Uno se refería a mantener exacta la información personal. El otro, a protegerla de una divulgación no autorizada.
- 15 herramientas de IA, citadas por su nombre, tuvieron que bloquearse para el personal de protección de menores, de noviembre de 2024 a noviembre de 2026. La lista incluía ChatGPT, Claude, Gemini, Copilot y Grammarly.
- Cuatro informes de seguimiento al regulador, uno cada seis meses.
Qué constató el regulador
- El informe se equivocaba donde importaba. Describía una muñeca del niño, de la que se había informado que el padre usaba con fines sexuales, como prueba de que los padres proporcionaban “age-appropriate toys” [“juguetes adecuados para su edad”]. Esto restaba importancia al riesgo para el niño. El regulador señala que el error no cambió la decisión del tribunal.
- La información salió del control del departamento. Una vez escrita en ChatGPT, quedaba en manos de OpenAI, la empresa que gestiona la herramienta.
- Las políticas generales no bastaban. El departamento citó su política de uso de la tecnología y su formación en línea sobre privacidad. El regulador las consideró “far from sufficient” [“muy lejos de ser suficientes”]. No se podía esperar que el personal dedujera de ellas cómo usar un tipo de herramienta nuevo.
- No había nada específico. Ninguna regla sobre cuándo pueden usarse las herramientas. Ninguna formación sobre cómo funcionan. Ningún límite técnico al acceso.
- Las pautas por sí solas no lo resolvieron. Después del incidente, el departamento publicó pautas sobre la IA generativa. El regulador consideró que su contenido era en general adecuado. Pero el departamento tenía “almost no visibility” [“casi ninguna visibilidad”] de cómo usaba el personal las herramientas. Para el trabajo de protección de menores, el regulador decidió que el riesgo era demasiado alto para gestionarlo solo con políticas y pautas.
Qué muestra el caso
- El personal ya usaba las herramientas. Cerca de una de cada ocho personas había abierto ChatGPT antes de que existiera ninguna regla.
- Una política informática general no cubre las herramientas de IA. El regulador esperaba reglas y formación escritas para estas herramientas.
- Para el trabajo más sensible, la respuesta fue un bloqueo. No se aceptó una regla escrita como suficiente donde un error podía dañar a un niño.
- Una persona dio por bueno un informe con un error evidente. La herramienta escribió un texto fluido. Nadie lo comparó con los hechos del caso.
Qué dice sobre las prácticas
Prácticas que faltaron
- Decida qué datos pueden ir a qué herramientas de IA El regulador constató que no había “no departmental rules in place about when and how these tools should or should not be used” [“ninguna regla del departamento sobre cuándo y cómo deben o no deben usarse estas herramientas”], ni límites técnicos al acceso. Hacer primero · Esfuerzo: bajo (días, una persona)
- Forme al personal en las herramientas que de verdad eligió El regulador no encontró indicios de ningún intento de formar al personal sobre cómo funcionan las herramientas de IA generativa. La formación en línea general sobre privacidad no lo cubría. Hacer primero · Esfuerzo: medio (semanas, unas pocas personas)
- Mantenga a una persona revisando todo lo que llega a un cliente o tiene peso legal El informe llegó a un tribunal con un error grave. Describía una muñeca que se había usado con fines sexuales como un juguete “age-appropriate” [“adecuado para su edad”]. Hacer primero · Esfuerzo: medio (semanas, unas pocas personas)
- Conozca las reglas que ya se aplican a su uso de la IA El regulador constató dos incumplimientos de los principios de privacidad del estado: sobre mantener exacta la información personal y sobre protegerla de una divulgación no autorizada. Hacer primero · Esfuerzo: bajo (días, una persona)
Lo que la empresa cambió después
Fuentes
- Office of the Victorian Information Commissioner (September 2024). Investigation into the use of ChatGPT by a Child Protection worker. Report, with the compliance notice and the department’s response. ovic.vic.gov.au