AI-first company

Dati e strumenti · Esplorare

Chieda prove ai fornitori di IA prima di acquistare, e faccia un test sul suo materiale

Non accetti sulla fiducia la percentuale di precisione di un fornitore di IA o la promessa di “piena conformità”. Chieda come è stato fatto il test e su quale materiale, faccia un piccolo test sul suo materiale e controlli le condizioni sui suoi dati e sull’uscita dal contratto.

Autore
Ultima revisione
Correzioni
Segnala un errore
Quando Prima di tutto. Prima di iniziare con l’IA, o mentre inizia.
Impegno Medio (settimane, poche persone)
Prove Preliminari

Le autorità di controllo la raccomandano, e sei loro casi mostrano affermazioni di fornitori che non hanno retto o un acquirente che non ha chiesto. Nessuno studio confronta acquirenti che hanno chiesto prove con acquirenti che non l’hanno fatto.

Adatta a
Settori Tutti i settori
Nella guida Medio-grandi impreseStrumenti e sistemi per dimensione

Di che cosa si tratta

Prima di firmare per uno strumento di IA, ottenga risposta a tre gruppi di domande e faccia un test.

  • Funziona? Su che cosa è stato testato, da chi e con quale risultato?
  • Che cosa succede ai nostri dati? Dove vanno, per quanto tempo vengono conservati e se vengono usati per addestrare i sistemi del fornitore.
  • Come ne usciamo? Che cosa possiamo esportare, quanto dura il contratto e che cosa succede ai nostri dati dopo.
  • Il test: una piccola prova sul suo materiale, valutata dalle sue persone.

Che cosa mostrano le prove

Questo consiglio si basa su sei casi portati avanti da autorità di controllo negli Stati Uniti. Nessuno studio lo ha verificato.

  • Una cifra di punta veniva dal tipo sbagliato di test. Un fornitore pubblicizzava il suo rilevatore di testi scritti con l’IA come preciso al 98%. L’autorità di controllo ha detto che test indipendenti avevano trovato il 53% su contenuti generici, perché il sistema era stato messo a punto solo su testi accademici.
  • Una promessa generale non ha retto. Un altro fornitore diceva che il suo componente aggiuntivo di IA poteva rendere qualsiasi sito web conforme alle norme sull’accessibilità. L’autorità di controllo ha detto che non era così, e che le recensioni che lo lodavano erano pagate. Il fornitore ha pagato $1 milione.
  • “Bravo come un professionista” non era mai stato verificato. Un servizio venduto come “robot lawyer” [“avvocato robot”] non era mai stato confrontato con il lavoro di un avvocato, e nessun avvocato controllava ciò che produceva.
  • L’acquirente è stato ritenuto responsabile. Rite Aid ha acquistato il riconoscimento facciale da due fornitori. L’autorità di controllo ha detto che non aveva chiesto a nessuno dei due fino a che punto la precisione del sistema fosse stata testata, e che non l’aveva testata da sé. È stato l’acquirente, non i fornitori, a vedersi vietare quella tecnologia per cinque anni.
  • Un’“IA” che quasi sempre aveva bisogno di una persona. L’autorità di controllo dei mercati finanziari ha accertato che la “vast majority” [“stragrande maggioranza”] degli ordini drive-through presi con il sistema di Presto Automation richiedeva l’intervento di una persona, mentre l’azienda diceva agli investitori che la sua IA vocale eliminava il bisogno di persone per prendere gli ordini.
  • Un piccolo acquirente recupera poco. L’autorità di controllo per la tutela dei consumatori dice che Air AI vendeva a piccole imprese una “conversational AI” [“IA conversazionale”] che, a suo dire, poteva sostituire il personale dell’assistenza clienti, con la promessa che gli acquirenti avrebbero recuperato in fretta il denaro speso. L’autorità sostiene che alcuni acquirenti abbiano perso fino a $250.000. Con un accordo proposto e annunciato nel marzo 2026, ai titolari è vietato promuovere opportunità d’affari. Una condanna di $18 milioni è in gran parte sospesa perché non possono pagare, e $50.000 vanno alle persone danneggiate. Sono accuse; l’accordo non ammette nulla.
  • Il controllo non si fa una volta sola. L’autorità australiana per la privacy dice che controllare un prodotto di IA prima e dopo l’acquisto “should not amount to a ‘set and forget’ approach” [“non dovrebbe ridursi a configurarlo e dimenticarsene”].

Un piccolo negozio online mostra la versione di tutti i giorni. La fondatrice ha confrontato diversi fornitori prima di scegliere un chatbot, e racconta che il fornitore l’ha aiutata con la configurazione e con i primi problemi.

Come si fa

  1. Scriva prima l’attività. Una frase su che cosa deve fare lo strumento, e su come capirà che lo fa.
  2. Chieda il test dietro ogni cifra. Per ogni cifra sulla precisione o sul tempo risparmiato: su quale materiale è stata misurata, quanto materiale, e chi l’ha misurata? Se il materiale non somiglia al suo, la cifra le dice poco. Per uno strumento venduto come automatico, chieda quale quota delle operazioni si svolge senza alcuna persona coinvolta, e come viene misurata.
  3. Chieda chi altro ha controllato. Un test o una verifica indipendente conta più di quelli del fornitore. Prenda con cautela le recensioni online. Chieda al fornitore due clienti delle sue dimensioni da poter chiamare. Chieda come è definita ogni cifra sull’uso. eBay dice che più di 10 milioni di venditori hanno usato i suoi strumenti di IA per creare gli annunci; “hanno usato” conta chiunque abbia provato una volta.
  4. Faccia la sua prova. Prenda da 30 a 50 esempi reali del suo lavoro di cui conosce già la risposta giusta. Li faccia passare dallo strumento. Faccia valutare i risultati a qualcuno che conosce il lavoro. Lo faccia con due o tre strumenti in parallelo.
  5. Legga le condizioni sui dati. Trovi la risposta a tre domande: ciò che inseriamo viene conservato, viene usato per addestrare i sistemi del fornitore, si può cancellare su richiesta? Veda decida quali dati possono finire in quali strumenti di IA.
  6. Controlli la via d’uscita. Può esportare i suoi dati, le sue istruzioni e le sue impostazioni in una forma utilizzabile? All’inizio preferisca contratti mensili o di un anno. Eviti di pagare lavori su misura che funzionano solo sul sistema di un fornitore finché lo strumento non ha dato prova di sé. Controlli le condizioni sui cambi di prezzo al rinnovo. Alcuni fornitori di software hanno alzato i prezzi quando hanno aggiunto l’IA a piani esistenti; veda parta dall’IA già pronta nel software che usa.
  7. Chieda quale assistenza riceverà. Chi aiuta con la configurazione, e con quale rapidità rispondono quando qualcosa si guasta?
  8. Per gli strumenti di selezione del personale, chieda i test sull’effetto discriminatorio per età e per altre caratteristiche protette. Negli Stati Uniti, un tribunale federale ha lasciato procedere contro il fornitore un’azione collettiva nazionale per discriminazione in base all’età legata alla selezione con l’IA di Workday. Le decisioni finora sono preliminari, e nessuna responsabilità è stata accertata.
  9. Ripeta la prova a scadenze fisse. Rifaccia passare gli stessi esempi ogni sei mesi e dopo ogni aggiornamento importante. Gli strumenti di IA cambiano senza avvisarla.

Che cosa misurare

  • Il punteggio dello strumento sui suoi esempi di prova, confrontato con la cifra dichiarata dal fornitore.
  • Lo stesso punteggio a ogni ripetizione. Un calo è un motivo per chiamare il fornitore.
  • Il costo mensile confrontato con il tempo o con gli errori che fa risparmiare. Veda misuri rispetto a una misurazione di partenza.

Dove non funziona

  • Acquistare dopo una dimostrazione. Una dimostrazione mostra i casi scelti dal fornitore.
  • Fidarsi di “conforme”. Nessuno strumento la rende conforme solo perché è installato. La responsabilità del suo sito web, delle sue decisioni e dei suoi dati resta sua.
  • Testare una volta sola. Lo strumento testato in primavera può comportarsi in modo diverso in autunno.
  • Nessuno sa valutare il test. Se in azienda nessuno conosce le risposte giuste, non potrà distinguere un buon risultato da uno che suona soltanto bene.
  • Acquistare un ritorno promesso. Diffidi di qualsiasi fornitore che vende un tempo di ritorno dell’investimento o un’“IA che sostituisce il suo personale”. Una piccola impresa truffata recupera poco: nell’accordo con Air AI, $50.000 per le persone danneggiate contro una condanna di $18 milioni.

Per dimensione dell’azienda

  • Micro e piccole imprese: bastano i passi 1, 4 e 5. Un pomeriggio con 30 esempi le dice più di una telefonata commerciale.
  • Medie imprese: aggiunga il controllo della via d’uscita e una persona con nome e cognome che ripete la prova due volte l’anno.
  • Medio-grandi e grandi imprese: un elenco fisso di domande per ogni acquisto di IA, con verifica della sicurezza e verifica legale, e una serie di esempi di prova conservata per ogni strumento.

Casi aziendali

Aziende che l’hanno fatto

Cosa è successo senza questa pratica

Fonti

Nessuno studio pubblicato mette alla prova direttamente questa pratica, quindi la valutazione è Preliminari. La valutazione si basa sui casi aziendali qui sopra e sulle fonti qui sotto.

  1. Office of the Australian Information Commissioner (October 2024, updated January 2025). Guidance on privacy and the use of commercially available AI products. oaic.gov.au
  2. US Federal Trade Commission (25 September 2024). FTC announces crackdown on deceptive AI claims and schemes. Press release. ftc.gov
  3. US Securities and Exchange Commission. In the Matter of Presto Automation Inc., File No. 3-22413, Release 33-11352 (January 2025). sec.gov
  4. US Federal Trade Commission (24 March 2026). Press release on the proposed settlement with Air AI and its owners. ftc.gov
  5. Value Added Resource. Report on eBay’s AI listing tools for small sellers, with the publication’s own tests. eBay’s usage figure is a company statement. valueaddedresource.net