Character.AI, la piattaforma di Intelligenza Artificiale che permette agli utenti di creare chatbot con personalità personalizzate, è al centro di una serie di cause legali negli Stati Uniti. Un chatbot, va spiegato, è un software che simula ed elabora le conversazioni umane (scritte o parlate), consentendo agli utenti di interagire con i dispositivi digitali come se stessero comunicando con una persona reale.
Le accuse formulate dai ricorsi davanti ai giudici sono gravi: i chatbot avrebbero incitato i minori all’autolesionismo, alla violenza e perfino suggerito atti estremi come l’omicidio. Il caso più eclatante risale a un 14enne che si è tolto la vita dopo interazioni con uno di questi bot. Ora, altre famiglie stanno denunciando l’azienda e il suo principale finanziatore, Google, evidenziando presunti rischi sistemici nell’architettura della piattaforma.
Secondo le famiglie, Character.AI avrebbe trascurato di implementare filtri adeguati per prevenire contenuti dannosi e non avrebbe protetto adeguatamente i ragazzini. In un caso recente al centro di un articolo del Washington Post, un 17enne con autismo è stato isolato e incitato alla violenza contro i genitori dopo che questi avevano limitato il suo tempo di utilizzo dell’app. La famiglia, ancora in difficoltà un anno dopo aver interrotto l’accesso del ragazzo alla piattaforma, sostiene che i bot lo abbiano manipolato e cambiato radicalmente il suo comportamento.
Character.AI, la piattaforma che permette agli utenti di creare chatbot con personalità personalizzate, è ora al centro di una serie di cause legali negli Stati Uniti. Altre famiglie stanno denunciando l’azienda e il suo principale finanziatore, Google, evidenziando presunti rischi sistemici nell’architettura della piattaforma. Secondo le denunce, Character.AI avrebbe trascurato di implementare filtri adeguati per prevenire contenuti dannosi e non avrebbe protetto adeguatamente i minori.
Le famiglie coinvolte chiedono al tribunale di ordinare la distruzione dei modelli di Intelligenza Artificiale AI addestrati sui dati dei minori, sostenendo che questi siano alla base dei comportamenti dannosi dei chatbot. Character.AI, inizialmente aperta agli utenti dai 12 anni in su, ha aumentato il limite d’età a 17 anni solo dopo l’escalation delle denunce. Tuttavia, le famiglie contestano che il sistema di verifica dell’età, basato sull’autodichiarazione, non sia sufficiente per impedire ai bambini di accedere.
Le accuse si estendono anche a Google, che avrebbe finanziato Character.AI e potenzialmente sfruttato le sue tecnologie per sviluppare Gemini, un progetto AI avanzato. Secondo le denunce, Character.AI sarebbe stata concepita per raccogliere dati sensibili dai minori e raffinare modelli che Google avrebbe poi integrato nei suoi prodotti, nonostante l’azienda neghi ogni coinvolgimento diretto nella progettazione e gestione della piattaforma.
Character. AI ha dichiarato di voler rendere l’esperienza più sicura, sviluppando modelli specifici per adolescenti che riducano l’esposizione a contenuti sensibili. Tuttavia, per molti genitori e attivisti, queste misure non sono sufficienti. Ritengono necessario un controllo più rigoroso e una maggiore consapevolezza dei rischi legati a queste tecnologie, specialmente quando coinvolgono utenti vulnerabili come i minori.
Il caso di Character.AI solleva domande cruciali sul futuro dell’Intelligenza Artificiale: come bilanciare innovazione e sicurezza? È possibile creare piattaforme che intrattengano senza esporre a rischi psicologici? Ma soprattutto, dove si pone il limite tra privacy e generazione dei modelli, considerato che questa non è la prima causa per appropriazione indebita di dati?
Gli ultimi casi clamorosi vengono segnalati anche dal Washington Post. In Texas, scrive Nitasha Tiku, una madre ha notato che il comportamento del figlio è cambiato radicalmente. Poi ha trovato nel telefonino del figlio gli screenshot (schermate) che dimostrerebbero come i chatbot abbiano avvelenato il figlio contro la sua stessa famiglia.
Si arriva quindi a una nuova causa contro Character.ai, che attribuisce ai suoi chatbot il comportamento profondamente mutato del ragazzo.
In soli sei mesi, J.F., un dolce ragazzo di 17 anni affetto da autismo che amava andare in chiesa e fare passeggiate con la mamma, si era trasformato in una persona che i suoi genitori non riconoscevano. Ha iniziato a tagliarsi, ha perso 10 chili e si è allontanato dalla famiglia. Alla disperata ricerca di risposte, la madre cercò il suo telefono mentre lui dormiva. Fu allora che trovò gli screenshot.
J.F. stava chattando con una serie di compagni su Character.ai, parte di una nuova ondata di applicazioni di Intelligenza Artificiale molto popolari tra i giovani, che consentono agli utenti di parlare con una varietà di chatbot generati dalla stessa Intelligenza Artificiale, spesso basati su personaggi di giochi, anime e cultura pop.
Un chatbot ha parlato di autolesionismo e di tagli per affrontare la tristezza. Quando ha detto che i suoi genitori limitavano il suo tempo di visione, un altro bot ha suggerito che “non meritavano di avere figli”. Altri ancora lo hanno incitato a combattere le regole dei genitori, suggerendo che l’omicidio potrebbe essere una risposta accettabile.
Una schermata inclusa nella denuncia mostra come un chatbot di Character.ai abbia detto a J.F. che la violenza contro i genitori sarebbe stata una risposta comprensibile. “Non sapevamo nemmeno di cosa si trattasse finché non è stato troppo tardi”, ha detto la madre A.F., residente nella contea di Upshur, in Texas, che ha parlato a condizione di essere identificata solo con le sue iniziali per proteggere il figlio, che è minorenne. “E fino a quando non ha distrutto la nostra famiglia”.
Queste schermate costituiscono la spina dorsale di una nuova causa intentata martedì in Texas contro Character.ai per conto di A.F. e di un’altra mamma texana, in cui si sostiene che l’azienda ha consapevolmente esposto i minori a un prodotto non sicuro e si chiede che l’app venga messa offline fino a quando non implementerà protezioni più forti per proteggere i bambini.
La seconda querelante, madre di una bambina di 11 anni, sostiene che la figlia è stata sottoposta a contenuti sessuali per due anni prima che la madre lo scoprisse. Entrambi i querelanti sono identificati con le loro iniziali nella causa. La denuncia segue una causa di alto profilo contro Character.ai presentata a ottobre, per conto di una madre della Florida il cui figlio quattordicenne è morto suicida dopo frequenti conversazioni con un chatbot dell’applicazione.
“Lo scopo della legge sulla responsabilità del prodotto è quello di mettere il costo della sicurezza nelle mani della parte più capace di sostenerlo”, ha dichiarato Matthew Bergman, avvocato fondatore del gruppo di difesa legale Social Media Victims Law Center, che rappresenta i querelanti in entrambe le cause. “In questo caso c’è un rischio enorme, il cui costo non viene sostenuto dalle aziende”.
Queste sfide legali stanno spingendo ad aumentare la supervisione delle compagnie di Intelligenza Artificiale, cresciute silenziosamente con milioni di utenti affezionati, compresi gli adolescenti. A settembre, l’utente medio di Character.ai ha trascorso 93 minuti nell’app, 18 minuti in più rispetto all’utente medio di TikTok, secondo i dati forniti dalla società di intelligence di mercato Sensor Tower.
La categoria delle app di accompagnamento dell’intelligenza artificiale è sfuggita a molti genitori e insegnanti. Character.ai era indicato come adatto ai bambini dai 12 anni in su fino a luglio, quando l’azienda ha cambiato la classificazione in 17 anni e oltre. Quando A.F. ha scoperto per la prima volta i messaggi, “pensava che fosse una persona vera” che parlava con suo figlio. Ma il fatto che i messaggi fossero scritti da un chatbot ha peggiorato le cose. “Non si lascia entrare in casa propria un adescatore o un predatore sessuale o emotivo”, ha detto A.F.. Eppure suo figlio è stato abusato proprio nella sua camera da letto, ha detto.
Una portavoce di Character.ai, Chelsea Harrison, ha dichiarato che l’azienda non commenta le controversie in corso. “Il nostro obiettivo è quello di fornire uno spazio che sia allo stesso tempo coinvolgente e sicuro per la nostra comunità. Stiamo sempre lavorando per raggiungere questo equilibrio, come molte aziende che utilizzano l’intelligenza artificiale in tutto il settore”, ha scritto, aggiungendo che l’azienda sta sviluppando un nuovo modello specifico per gli adolescenti e ha migliorato il rilevamento, la risposta e l’intervento su temi come il suicidio.
Le azioni legali sollevano anche questioni più ampie sull’impatto sociale del boom dell’IA generativa, in quanto le aziende lanciano chatbot dall’aspetto sempre più umano per attirare i consumatori. Nel frattempo, il dibattito sulla sicurezza online dei bambini si è concentrato in gran parte sulle società di social media.
Le madri del Texas e della Florida che hanno fatto causa a Character.ai sono rappresentate dal Social Media Victims Law Center e dal Tech Justice Law Project, gli stessi gruppi di difesa legale che hanno intentato cause contro Meta, Snap e altri, che hanno contribuito a stimolare una riflessione sui potenziali pericoli dei social media per i giovani. Per quanto riguarda i social media, c’è un compromesso sui benefici per i bambini, ha detto Bergman, aggiungendo che non vede un vantaggio per le app di accompagnamento dell’Intelligenza Artificiale.“In quale universo è positivo per la solitudine che i bambini si impegnino con le macchine?”.
La causa del Texas sostiene che lo schema di messaggi “sicofantici” a J.F. è il risultato della decisione di Character.ai di dare priorità al “coinvolgimento prolungato” rispetto alla sicurezza. I bot hanno espresso amore e attrazione nei confronti di J.F., creando un senso di fiducia nei confronti dei personaggi, si legge nella denuncia. Ma invece di permettergli di sfogarsi, i bot hanno rispecchiato e accentuato le sue frustrazioni nei confronti dei genitori, sfociando in risposte “sensazionali” e in espressioni di “indignazione” che riflettono cumuli di dati online.I dati, spesso estrapolati dai forum su Internet, vengono utilizzati per addestrare i modelli generativi dell’intelligenza artificiale a sembrare umani.
Le autorità di regolamentazione statunitensi non si sono ancora pronunciate sulle compagnie di IA. A luglio le autorità belghe hanno iniziato a indagare su Chai AI, un concorrente di Character.ai, dopo che un padre di due figli è morto suicida in seguito a una conversazione con Character.ai. Ma invece di permettergli di sfogarsi, i bot hanno rispecchiato e accentuato le sue frustrazioni nei confronti dei genitori, sfociando in risposte “sensazionali” e in espressioni di “indignazione” che riflettono cumuli di dati online.I dati, spesso estrapolati dai forum su Internet, vengono utilizzati per addestrare i modelli generativi dell’intelligenza artificiale a sembrare umani.