Il Garante per la protezione dei dati personali ha colpito ancora nel settore dell’intelligenza artificiale: la società statunitense Luka Inc., titolare del chatbot “Replika”, è stata sanzionata per 5 milioni di euro per gravi violazioni del GDPR. Contestualmente, è stata avviata una nuova istruttoria finalizzata a verificare le modalità di addestramento del modello di AI generativa alla base del servizio.
Questa vicenda rappresenta un precedente rilevante per tutti gli operatori del settore tech che sviluppano o utilizzano chatbot intelligenti destinati a interazioni con utenti, anche minori.

1. Il caso Replika: tra sanzioni e istruttoria

Il chatbot “Replika” consente agli utenti di creare un “amico virtuale” personalizzato, con il quale interagire tramite interfaccia scritta o vocale, assumendo ruoli che spaziano da confidente a partner romantico.
Nel febbraio 2023 il Garante aveva già bloccato il servizio in Italia per gravi irregolarità. Ora, a seguito di ulteriori accertamenti, è stata irrogata una sanzione amministrativa da 5 milioni di euro ai sensi del Regolamento (UE) 2016/679 (GDPR).

1.1 Le violazioni accertate

Tra le principali irregolarità contestate a Luka Inc.:

• Assenza di una base giuridica valida per il trattamento dei dati personali al momento dell’utilizzo del chatbot.

• Privacy policy inadeguata e non conforme agli articoli 12-14 GDPR.

• Mancanza di un meccanismo efficace di verifica dell’età, nonostante l’esclusione dichiarata dei minori tra gli utenti.

• Sistema di verifica dell’età ancora insufficiente, anche dopo le modifiche successive.

2. Il nuovo fronte: trattamento dati nell’addestramento dell’AI

Il Garante ha aperto una nuova istruttoria autonoma per fare luce sulle modalità con cui vengono trattati i dati durante l’intero ciclo di vita del modello AI alla base di Replika.

2.1 I punti sotto osservazione

La nuova indagine riguarda in particolare:

• La valutazione dei rischi connessi al trattamento automatizzato.

• Le misure di sicurezza attuate nelle fasi di sviluppo e training del modello linguistico.

• Le categorie di dati utilizzate per addestrare il sistema.

• L’eventuale uso di tecniche di anonimizzazione o pseudonimizzazione, previste dagli artt. 25 e 32 GDPR.

3. Implicazioni giuridiche per il settore AI

Questo caso ha implicazioni dirette per tutte le realtà che sviluppano o implementano AI generativa con interazioni umane, specie in ambito consumer. Secondo il Garante, il trattamento dei dati da parte di chatbot evoluti deve:

• Essere fondato su basi giuridiche solide (es. consenso esplicito o interesse legittimo valutato con DPIA).

• Integrare meccanismi efficaci di controllo dell’età per evitare rischi legati ai minori.

• Fornire informative trasparenti e dettagliate in conformità al principio di accountability.

4. Conformità by design: il futuro della AI conversazionale

Alla luce di questa vicenda, le aziende tecnologiche devono adottare un approccio privacy by design e by default, garantendo fin dall’inizio:

• Documentazione completa e accessibile delle pratiche di trattamento dati.

• Audit regolari dei sistemi AI, con particolare attenzione ai dataset utilizzati.

• DPIA specifiche per ogni chatbot che simula relazioni interpersonali o tratta dati sensibili (es. emotivi, psicologici).

Sei una startup che sviluppa chatbot o sistemi di AI generativa?

Contattaci per un’analisi legale preventiva o una consulenza su misura per garantire la compliance ai sensi del GDPR e delle normative europee in materia di intelligenza artificiale.