Qué es
Antes de firmar por una herramienta de IA, obtenga respuesta a tres grupos de preguntas y haga una prueba.
- ¿Funciona? ¿Con qué se probó, quién la probó y con qué resultado?
- ¿Qué pasa con nuestros datos? Adónde van, cuánto tiempo se guardan y si se usan para entrenar los sistemas del proveedor.
- ¿Cómo salimos? Qué podemos exportar, cuánto dura el contrato y qué pasa con nuestros datos después.
- La prueba: un pequeño ensayo con su propio material, puntuado por su propia gente.
Qué muestra la evidencia
Seis casos llevados por reguladores de Estados Unidos son la base de este consejo. Ningún estudio lo ha puesto a prueba.
- Una cifra destacada venía del tipo de prueba equivocado. Un proveedor anunciaba su detector de textos escritos con IA con un 98 % de precisión. El regulador dijo que unas pruebas independientes encontraron un 53 % con contenido general, porque el sistema se había ajustado solo con textos académicos.
- Una promesa general no se cumplió. Otro proveedor decía que su complemento de IA podía hacer que cualquier sitio web cumpliera las normas de accesibilidad. El regulador dijo que no era así, y que las reseñas que lo elogiaban eran pagadas. El proveedor pagó 1 millón de dólares.
- “Tan bueno como un profesional” nunca se había probado. Un servicio vendido como “robot lawyer” [“abogado robot”] no se había comparado con el trabajo de un abogado, y ningún abogado revisaba lo que producía.
- Se responsabilizó al comprador. Rite Aid compró reconocimiento facial a dos proveedores. El regulador dijo que no preguntó a ninguno de los dos hasta qué punto se había probado la precisión del sistema, y que tampoco lo probó por su cuenta. Fue al comprador, no a los proveedores, a quien se le prohibió usar esa tecnología durante cinco años.
- Comprobar no es cosa de una vez. El regulador de privacidad de Australia dice que revisar un producto de IA antes y después de comprarlo “should not amount to a ‘set and forget’ approach” [“no debe reducirse a configurarlo y olvidarse”].
- “IA” que casi siempre necesitaba a una persona. El regulador del mercado de valores concluyó que la “vast majority” [“gran mayoría”] de los pedidos de autoservicio en coche tomados con el sistema propio de Presto Automation necesitaba que interviniera una persona, mientras la empresa decía a sus inversores que su IA de voz eliminaba la necesidad de que personas tomaran los pedidos.
- Un comprador pequeño recupera poco. El regulador de consumo dice que Air AI vendió a pequeñas empresas una “conversational AI” [“IA conversacional”] que, según decía, podía sustituir al personal de atención al cliente, con promesas de que los compradores recuperarían rápido su dinero. El regulador alega que algunos compradores perdieron hasta 250.000 dólares. Según un acuerdo propuesto y anunciado en marzo de 2026, se prohíbe a los propietarios comercializar oportunidades de negocio. Una condena de 18 millones de dólares queda en su mayor parte en suspenso porque no pueden pagarla, y 50.000 dólares van a las personas perjudicadas. Son acusaciones; el acuerdo no admite nada.
Una pequeña tienda en línea muestra la versión corriente. Su fundadora comparó varios proveedores antes de elegir un chatbot, y cuenta que el proveedor la ayudó con la puesta en marcha y con los primeros problemas.
Cómo hacerlo
- Escriba primero la tarea. Una frase sobre lo que debe hacer la herramienta y cómo sabrá usted que lo hace.
- Pida la prueba que hay detrás de cada cifra. Para cualquier cifra de precisión o de ahorro de tiempo: ¿con qué material se midió, cuánto material había y quién lo midió? Si el material no se parece al suyo, la cifra le dice poco. Para una herramienta que se vende como automática, pregunte qué proporción de las operaciones se completa sin ninguna persona, y cómo se mide.
- Pregunte quién más lo ha comprobado. Una prueba o auditoría independiente cuenta más que la del propio proveedor. Trate las reseñas en línea con cuidado. Pida al proveedor dos clientes de su tamaño a los que pueda llamar. Pregunte cómo se define cualquier cifra de uso. eBay dice que más de 10 millones de vendedores han usado sus herramientas de IA para crear anuncios; “han usado” cuenta a cualquiera que la probó una vez.
- Haga su propio ensayo. Tome entre 30 y 50 ejemplos reales de su trabajo en los que ya conozca la respuesta correcta. Páselos por la herramienta. Pida a alguien que conozca el trabajo que puntúe los resultados. Hágalo con dos o tres herramientas a la vez.
- Lea las condiciones sobre los datos. Busque la respuesta a tres preguntas: ¿se guarda lo que introducimos?, ¿se usa para entrenar los sistemas del proveedor?, ¿se puede borrar si lo pedimos? Vea decida qué datos pueden ir a qué herramientas de IA.
- Revise la salida. ¿Puede exportar sus datos, sus instrucciones y su configuración en un formato utilizable? Al principio, prefiera contratos mensuales o de un año. Evite pagar trabajos a medida que solo funcionan en el sistema de un proveedor hasta que la herramienta haya demostrado su valor. Revise las condiciones sobre cambios de precio en la renovación. Los proveedores de software han subido precios al añadir IA a los planes existentes; vea empiece por la IA del software por el que ya paga.
- Pregunte qué soporte recibirá. ¿Quién ayuda con la puesta en marcha, y con qué rapidez responden cuando algo se estropea?
- En las herramientas de selección de personal, pida pruebas de impacto desigual por edad y otras características protegidas. En Estados Unidos, un tribunal federal ha permitido que siga adelante contra el proveedor una demanda colectiva de ámbito nacional por discriminación por edad en la selección de candidatos con IA de Workday. Las resoluciones hasta ahora son preliminares y no declaran ninguna responsabilidad.
- Repita el ensayo con regularidad. Vuelva a pasar los mismos ejemplos cada seis meses y después de cada actualización importante. Las herramientas de IA cambian sin que usted lo note.
Qué medir
- La puntuación de la herramienta en su propio conjunto de pruebas, frente a la cifra que declara el proveedor.
- La misma puntuación en cada repetición. Una caída es motivo para llamar al proveedor.
- El costo mensual frente al tiempo o los errores que ahorra. Vea mida frente a una medición de partida.
Dónde falla
- Comprar por una demostración. Una demostración muestra los casos que eligió el proveedor.
- Fiarse de “cumple la normativa”. Ninguna herramienta hace que usted cumpla la normativa solo por instalarla. Usted sigue siendo responsable de su sitio web, de sus decisiones y de sus datos.
- Probar una sola vez. La herramienta que probó en primavera puede comportarse de otra forma en otoño.
- Nadie puede puntuar la prueba. Si nadie en la empresa conoce las respuestas correctas, no podrá distinguir un buen resultado de uno que solo suena bien.
- Comprar una rentabilidad prometida. Desconfíe de cualquier proveedor que venda un plazo de recuperación de la inversión o una “IA que sustituye a su personal”. Una pequeña empresa estafada recupera poco: en el acuerdo de Air AI, 50.000 dólares para las personas perjudicadas frente a una condena de 18 millones de dólares.
Según el tamaño de la empresa
- Micro y pequeña: bastan los pasos 1, 4 y 5. Una tarde con 30 ejemplos le dice más que una llamada comercial.
- Mediana: añada la revisión de la salida y una persona concreta que repita el ensayo dos veces al año.
- Mediana-grande y gran empresa: un conjunto fijo de preguntas para cada compra de IA, con revisión de seguridad y legal, y conjuntos de pruebas guardados para cada herramienta.
Casos de empresas
Empresas que lo hicieron
Qué pasó sin ella
- accessiBe Artículos y reseñas que los compradores tomaban por independientes los pagaba el proveedor, y el proveedor no lo decía.
- Air AI Technologies Los compradores pagaron fiándose de promesas de ganancias y de una garantía de reembolso. El regulador dice que las promesas de ganancias eran exageradas y que los reembolsos rara vez se cumplieron.
- DoNotPay A los clientes se les prometían “perfectly valid legal documents” [“documentos legales perfectamente válidos”] sin ninguna prueba que respaldara la promesa.
- Rite Aid El regulador dijo que Rite Aid no preguntó a ninguno de sus dos proveedores hasta qué punto se había comprobado la exactitud del sistema.
- Workado (formerly Content at Scale AI) La cifra de acierto del proveedor no tenía detrás una evidencia adecuada. Un comprador que hubiera pedido los resultados de las pruebas no habría encontrado ninguno que se ajustara a su tipo de texto.
Fuentes
Ningún estudio publicado pone a prueba directamente esta práctica, así que se califica como Emergente. La calificación se basa en los casos de empresas de arriba y en las fuentes de abajo.
- Office of the Australian Information Commissioner (October 2024, updated January 2025). Guidance on privacy and the use of commercially available AI products. oaic.gov.au
- US Federal Trade Commission (25 September 2024). FTC announces crackdown on deceptive AI claims and schemes. Press release. ftc.gov
- US Securities and Exchange Commission. In the Matter of Presto Automation Inc., File No. 3-22413, Release 33-11352 (January 2025). sec.gov
- US Federal Trade Commission (24 March 2026). Press release on the proposed settlement with Air AI and its owners. ftc.gov
- Value Added Resource. Report on eBay’s AI listing tools for small sellers, with the publication’s own tests. eBay’s usage figure is a company statement. valueaddedresource.net
Prácticas relacionadas
- Empiece por la IA ya integrada en el software que usa, antes de desarrollar la suya Su software de oficina, contabilidad, atención al cliente y ventas probablemente ya tiene funciones de IA. Pruébelas en una tarea, con unas pocas licencias y un resultado medido, antes de pagar a nadie para desarrollar algo a medida. Hacer primero · Esfuerzo: bajo (días, una persona)
- Decida qué datos pueden ir a qué herramientas de IA Divida sus datos en dos o tres grupos y diga a qué herramientas de IA puede ir cada grupo. Los secretos de los clientes y los datos personales no entran en herramientas públicas. Donde un error sería grave, bloquee la subida en lugar de confiar en una regla. Hacer primero · Esfuerzo: bajo (días, una persona)
- Afirme solo lo que se ha comprobado que su IA hace Si dice a sus clientes que su producto o servicio usa IA, o lo bien que funciona, tenga las pruebas antes de decirlo. Los reguladores tratan “con IA” y “98 % de precisión” como afirmaciones sobre hechos, igual que cualquier otra. Hacer después · Esfuerzo: bajo (días, una persona)
- Mida el tiempo ahorrado por tarea frente a una medición de partida Anote cuánto tarda una tarea y lo bueno que es el resultado antes de añadir la IA. Sin esa cifra de partida no podrá distinguir una mejora real de una esperanza. Hacer primero · Esfuerzo: bajo (días, una persona)