W skrócie
- Firma
- Department of Families, Fairness and Housing (Victoria)Ministerstwo stanowe, w tym służba ochrony dzieci
- Wielkość
- Duże (1000+ pracowników) Raport regulatora podaje, że prawie 900 pracowników stanowiło prawie 13% wszystkich zatrudnionych.
- Gdzie i kiedy
- Australia (Wiktoria). 2023 – wrzesień 2024.
- Kto podał liczby
- Oficjalny dokumentWszystko na tej stronie pochodzi z raportu z dochodzenia Office of the Victorian Information Commissioner, stanowego regulatora ochrony prywatności.
Co się stało
Pracownik ochrony dzieci użył ChatGPT, żeby przygotować projekt raportu dla sądu rodzinnego. Raport dotyczył małego dziecka, którego rodzicom postawiono zarzuty przestępstw seksualnych. Żeby dostać projekt, pracownik wpisał dane osobowe dziecka, rodziców i opiekuna.
Ministerstwo zgłosiło incydent stanowemu regulatorowi ochrony prywatności w grudniu 2023 roku. Regulator przeprowadził dochodzenie i we wrześniu 2024 roku opublikował raport.
Liczby
- Około 900 pracowników otworzyło stronę ChatGPT między lipcem a grudniem 2023 roku. To prawie 13% wszystkich pracowników ministerstwa.
- 100 spraw w szerszej jednostce, w której pracował ten pracownik, w ciągu roku nosiło ślady tego, że ChatGPT mógł zostać użyty do przygotowania dokumentów w sprawach ochrony dzieci.
- Dwa naruszenia stanowych zasad ochrony prywatności. Jedno dotyczyło dbania o dokładność danych osobowych. Drugie ochrony ich przed nieuprawnionym ujawnieniem.
- 15 wymienionych z nazwy narzędzi AI trzeba było zablokować dla pracowników ochrony dzieci, od listopada 2024 do listopada 2026 roku. Na liście były ChatGPT, Claude, Gemini, Copilot i Grammarly.
- Cztery sprawozdania z postępów dla regulatora, jedno co sześć miesięcy.
Co ustalił regulator
- Raport mylił się tam, gdzie to było najważniejsze. Lalkę dziecka, którą według zgłoszeń ojciec wykorzystywał w celach seksualnych, opisał jako dowód, że rodzice zapewniają “age-appropriate toys” [„zabawki odpowiednie do wieku”]. To pomniejszało ryzyko dla dziecka. Regulator zaznacza, że błąd nie zmienił decyzji sądu.
- Informacje wyszły spod kontroli ministerstwa. Po wpisaniu do ChatGPT znalazły się w rękach OpenAI, firmy, która prowadzi to narzędzie.
- Ogólne polityki nie wystarczyły. Ministerstwo wskazało swoją politykę korzystania z technologii i e-learning z ochrony prywatności. Regulator uznał je za “far from sufficient” [„dalece niewystarczające”]. Nie można było oczekiwać, że pracownicy wywnioskują z nich, jak używać nowego rodzaju narzędzia.
- Nie było nic konkretnego. Żadnych zasad, kiedy wolno używać tych narzędzi. Żadnego szkolenia z tego, jak działają. Żadnego technicznego ograniczenia dostępu.
- Same wytyczne nie rozwiązały sprawy. Po incydencie ministerstwo wydało wytyczne dotyczące generatywnej AI. Regulator uznał ich treść za zasadniczo odpowiednią do celu. Ale ministerstwo miało “almost no visibility” [„prawie żadnego wglądu”] w to, jak pracownicy korzystają z tych narzędzi. W pracy przy ochronie dzieci regulator uznał, że ryzyko jest zbyt duże, żeby zarządzać nim tylko polityką i wytycznymi.
Co pokazuje ten przypadek
- Pracownicy już korzystali z tych narzędzi. Mniej więcej co ósmy otworzył ChatGPT, zanim pojawiła się jakakolwiek zasada.
- Ogólna polityka IT nie obejmuje narzędzi AI. Regulator oczekiwał zasad i szkoleń napisanych dla tych narzędzi.
- Przy najbardziej wrażliwej pracy odpowiedzią była blokada. Spisanej zasady nie uznano za wystarczającą tam, gdzie błąd mógł skrzywdzić dziecko.
- Ktoś zatwierdził raport z oczywistym błędem. Narzędzie napisało płynny tekst. Nikt nie sprawdził go z faktami sprawy.
Co ten przypadek mówi o praktykach
Praktyki, których zabrakło
- Zdecyduj, jakie dane mogą trafiać do jakich narzędzi AI Regulator stwierdził “no departmental rules in place about when and how these tools should or should not be used” [„brak jakichkolwiek zasad ministerstwa określających, kiedy i jak należy lub nie należy używać tych narzędzi”] i brak technicznych ograniczeń dostępu. Zrób najpierw · Nakład pracy: niski (dni, jedna osoba)
- Szkol pracowników z obsługi narzędzi, które firma naprawdę wybrała Regulator nie znalazł śladu żadnej próby przeszkolenia pracowników z tego, jak działają narzędzia generatywnej AI. Ogólny e-learning z ochrony prywatności tego nie obejmował. Zrób najpierw · Nakład pracy: średni (tygodnie, kilka osób)
- Niech człowiek sprawdza wszystko, co trafia do klienta lub ma znaczenie prawne Raport trafił do sądu z poważnym błędem. Lalkę, której używano w celach seksualnych, opisał jako zabawkę “age-appropriate” [„odpowiednią do wieku”]. Zrób najpierw · Nakład pracy: średni (tygodnie, kilka osób)
- Poznaj przepisy, które już dotyczą twojego korzystania z AI Regulator stwierdził dwa naruszenia stanowych zasad ochrony prywatności: dotyczące dbania o dokładność danych osobowych i ochrony ich przed nieuprawnionym ujawnieniem. Zrób najpierw · Nakład pracy: niski (dni, jedna osoba)
Co firma zmieniła później
Źródła
- Office of the Victorian Information Commissioner (September 2024). Investigation into the use of ChatGPT by a Child Protection worker. Report, with the compliance notice and the department’s response. ovic.vic.gov.au