Lo que faltó con más frecuencia
Cada caso indica las prácticas que habrían evitado el fallo o lo habrían reducido. Estas son las que faltaron con más frecuencia en los 17 casos.
- Mantenga a una persona revisando todo lo que llega a un cliente o tiene peso legal: faltó en 8 de 17 casos
- Afirme solo lo que se ha comprobado que su IA hace: faltó en 6 de 17 casos
- Pida pruebas a los proveedores de IA antes de comprar, y haga una prueba con su propio material: faltó en 5 de 17 casos
- Conozca las reglas que ya se aplican a su uso de la IA: faltó en 5 de 17 casos
- Presupueste el trabajo que crea la IA: faltó en 4 de 17 casos
- Cuando la IA se equivoca, corrija rápido y de forma abierta: faltó en 3 de 17 casos
Citas inventadas que nadie comprobó
Abogados y una consultora entregaron trabajos que citaban sentencias o fuentes erróneas o inexistentes. Cada caso muestra quién firmó el trabajo y cuánto le costó.
- Levidow, Levidow & Oberman: multados por presentar escritos con casos inventados por ChatGPT Un abogado usó ChatGPT para investigar jurisprudencia y presentó seis resoluciones judiciales que no existían. El tribunal multó al despacho y a dos de sus abogados. El juez dijo que el problema no era usar IA. Era no comprobar.
- Morgan & Morgan: ocho casos inventados por la herramienta de IA del propio despacho, firmados por tres abogados Un abogado pidió a la herramienta de IA de su propio despacho que añadiera jurisprudencia a un escrito judicial. Ocho de los nueve casos que citó no existían. Otros dos abogados firmaron sin leerlo. El despacho había formado a su personal, y después añadió un aviso dentro de la herramienta.
- Butler Snow: un despacho con una política de IA y un socio que no la cumplió La política del despacho exigía permiso por escrito antes de usar ChatGPT para investigación jurídica. Un socio lo usó sin permiso y presentó cinco citas que ChatGPT había inventado. El tribunal apartó del caso a tres abogados. El despacho pagó una revisión de 2400 citas.
- Primus Solicitors: 18 citas judiciales que no existían, tomadas de la investigación con IA de un cliente Un abogado de un pequeño despacho presentó una declaración con 45 citas de jurisprudencia. Dieciocho de los casos no existían. Su cliente había hecho la investigación con herramientas de IA públicas, y nadie en el despacho la comprobó. El tribunal lo remitió a su regulador.
- Deloitte Australia: un informe para el Gobierno reeditado para corregir citas erróneas Un informe de Deloitte para un departamento del Gobierno de Australia tuvo que reeditarse para corregir citas y el resumen de una sentencia. La versión corregida declaró el uso de una herramienta de IA generativa. El informe no dice que la IA causara los errores.
Afirmaciones sobre IA que los reguladores cuestionaron
Estas empresas vendieron o anunciaron una IA que, según un regulador de Estados Unidos, no hacía lo que decían. Cada caso indica lo que halló el regulador y lo que la empresa pagó o aceptó.
- DoNotPay: un abogado robot que nunca se comparó con un abogado DoNotPay dijo a sus clientes que su IA podía hacer el trabajo de un abogado. El regulador de consumo de Estados Unidos dijo que la empresa nunca había comprobado si eso era cierto y que no tenía abogados que lo revisaran. Pagó $193.000 y tuvo que informar a sus antiguos suscriptores de las limitaciones.
- accessiBe: un complemento de IA vendido como capaz de hacer accesible cualquier web, y una orden de pago de $1 millón accessiBe vendía a los propietarios de webs un complemento de IA y decía que haría que cualquier web cumpliera las normas de accesibilidad. El regulador de consumo de Estados Unidos dijo que no lo hacía, y que las reseñas que lo elogiaban estaban pagadas. La empresa pagó $1 millón.
- Workado: un detector de IA vendido con un 98 % de acierto que dio un 53 % en las pruebas Workado vendía una herramienta que dice distinguir los textos escritos por IA de los escritos por personas, y la anunciaba con un 98 % de acierto. El regulador de consumo de Estados Unidos dijo que pruebas independientes la situaban en un 53 % en textos generales. Los compradores solo tenían la palabra del proveedor.
- Delphia y Global Predictions: multadas por decir que usaban una IA que no tenían Dos asesores de inversión anunciaron una IA que no tenían. Uno dijo que su IA aprendía de los datos de los clientes. El otro se presentó como el primer asesor financiero de IA regulado. El regulador de valores de Estados Unidos les impuso multas de $225.000 y $175.000.
- Presto Automation: el regulador de EE. UU. concluyó que la mayoría de los pedidos “con IA” del autoservicio necesitaban una persona Presto vendía a restaurantes una IA de voz para los pedidos del autoservicio y dijo a los inversores que eliminaba la toma de pedidos por personas. El regulador de valores de EE. UU. concluyó que personas que trabajaban a distancia, sobre todo en Filipinas e India, introducían la gran mayoría de los pedidos. Presto llegó a un acuerdo sin admitir ni negar las conclusiones.
- Air AI: el regulador de EE. UU. dice que a pequeñas empresas se les vendió una “IA que sustituye al personal” y perdieron hasta $250.000 Air AI vendió a dueños de pequeñas empresas una “IA conversacional” que, según decía, podía sustituir al personal de atención al cliente, con la promesa de que recuperarían su dinero. El regulador de consumo de EE. UU. alega que cada comprador perdió hasta $250.000 y que los reembolsos prometidos rara vez se pagaron. Según un acuerdo propuesto, los dueños tienen prohibido comercializar oportunidades de negocio.
IA frente a clientes y compradores
Un chatbot dio un consejo erróneo a un cliente. El reconocimiento facial en tiendas escaneó a los compradores y señaló por error a algunos. Un tribunal o un regulador falló en contra de cada empresa, al menos en parte.
- Air Canada: responsable de lo que el chatbot de su web le dijo a un cliente El chatbot de la web de Air Canada dio a un cliente información errónea sobre reembolsos. Un tribunal de Canadá ordenó pagar a la aerolínea. Rechazó el argumento de que la empresa no era responsable de su chatbot.
- Rite Aid: cinco años sin poder usar reconocimiento facial tras comprarlo sin ponerlo a prueba Rite Aid usó reconocimiento facial para detectar a presuntos ladrones. El regulador de consumo de Estados Unidos dijo que la cadena nunca preguntó a sus proveedores lo exacto que era el sistema, nunca lo puso a prueba y no formó al personal. Se acusó injustamente a clientes. A la cadena se le prohibió usar esta tecnología durante cinco años.
- Bunnings: reconocimiento facial a todos los clientes de 63 tiendas, y lo que decidieron el regulador y el tribunal Bunnings escaneó la cara de cada persona que entraba en 63 de sus tiendas para detectar a quienes había señalado por delitos o violencia. El regulador de privacidad concluyó que había infringido la ley. Más tarde, un tribunal sostuvo que la cadena podía usar la tecnología para combatir delitos graves en tienda, pero coincidió en que no había informado bien a los clientes y en que debía haber hecho antes una evaluación de riesgos formal y documentada.
Datos personales introducidos en un chatbot público
Empleados de dos organismos públicos australianos pusieron datos personales de ciudadanos en ChatGPT. Uno de los organismos no había aprobado la herramienta. El otro no tenía ninguna norma sobre ella. Después, el primero bloqueó esas subidas y un regulador ordenó al segundo bloquear las herramientas.
- NSW Reconstruction Authority: un trabajador temporal subió a ChatGPT datos de 2031 personas Un trabajador temporal subió a ChatGPT, que la agencia no había aprobado, una hoja de cálculo de solicitantes de ayudas por inundaciones. Contenía datos personales y de salud de 2031 personas. Después la agencia redactó pautas sobre la IA, reforzó la formación y bloqueó ese tipo de subidas.
- El servicio de protección de menores de Victoria: un trabajador introdujo datos de un caso en ChatGPT y el regulador ordenó bloquear las herramientas Un trabajador de protección de menores escribió en ChatGPT datos personales de una familia para redactar un informe para un tribunal. El informe contenía errores. El regulador de privacidad concluyó que el departamento no tenía reglas, ni formación, ni límites técnicos para estas herramientas, y le ordenó bloquearlas.
Una previsión en la que la empresa apostó
Zillow compraba viviendas a precios fijados en parte por sus propias previsiones. Cuando las previsiones fallaron, cerró el negocio. Zillow también señaló problemas de mano de obra y de suministro.
Para casos con resultados medidos o comunicados por la empresa, vea todos los casos de empresas. Las etiquetas y quién produjo cada cifra se explican en cómo califica el sitio la evidencia.