Un jucărie AI a expus 50.000 de log-uri ale conversațiilor cu copii pentru oricine avea un cont Gmail
Un cercetător a descoperit că portalul web al jucăriei Bondu permitea accesul la transcrierile conversațiilor private ale copiilor, expunând date sensibile, inclusiv numele și preferințele acestora. Conform wired.com, această expunere ridică întrebări serioase despre securitatea jucăriilor AI pentru copii.
👉 Acces liber la conversațiile private ale copiilor prin conturi Gmail
Thacker, împreună cu prietenul său cercetător în securitate cibernetică, Joel Margolis, a investigat portalul Bondu. În câteva minute, au realizat o descoperire uluitoare: portalul web al Bondu, destinat părinților pentru a verifica conversațiile copiilor lor și pentru ca personalul Bondu să monitorizeze utilizarea și performanța produselor, permitea oricui cu un cont Gmail să acceseze transcrierile aproape fiecărei conversații pe care utilizatorii copii le-au avut vreodată cu jucăria. Fără a efectua vreo hacking real, doar prin logarea cu un cont Google aleator, cei doi cercetători s-au trezit imediat vizualizând conversații private ale copiilor, poreclele pe care aceștia le dăduseră jucăriei Bondu, preferințele și antipatiile proprietarilor jucăriei, gustările și mișcările lor preferate de dans.
În total, Margolis și Thacker au descoperit că informațiile pe care Bondu le-a lăsat nesecurizate – accesibile oricui s-a conectat la consola publică a companiei cu un nume de utilizator Google – includeau numele copiilor, datele de naștere, numele membrilor familiei, „obiectivele” pentru copil alese de părinți și, cel mai îngrijorător, rezumate detaliate și transcrieri ale fiecărei conversații anterioare dintre copil și Bondu, o jucărie practic concepută pentru a stimula conversații intime între utilizator și jucărie.
👉 Măsuri luate după dezvăluirea expunerii datelor și implicații pentru securitate
Bondu a confirmat în discuțiile cu cercetătorii că au fost accesibile mai mult de 50.000 de transcrieri de chat prin portalul expus, practic toate conversațiile cu care jucăriile au interacționat, în afară de cele care au fost șterse manual de părinți sau de personal. „A fost o încălcare masivă a intimității copiilor”, spune Thacker despre conversațiile private ale copiilor și preferințele documentate pe care le-a văzut. Când Thacker și Margolis au alertat Bondu cu privire la expunerea flagrantă a datelor, compania a acționat rapid, înlăturând consola în câteva minute, înainte de a relansa portalul a doua zi cu măsuri adecvate de autentificare. Când WIRED a contactat compania, CEO-ul Bondu, Fateen Anam Rafid, a declarat într-un comunicat că corecțiile de securitate pentru această problemă „au fost finalizate în câteva ore, urmate de o revizuire mai amplă a securității și implementarea de măsuri preventive suplimentare pentru toți utilizatorii.” El a adăugat că Bondu „nu a găsit dovezi ale accesului dincolo de cercetătorii implicați.” (Cercetătorii notează că nu au descărcat sau păstrat copii ale datelor sensibile la care au accesat prin consola Bondu, cu excepția câtorva capturi de ecran și a unui videoclip de înregistrare a ecranului, împărtășit cu WIRED pentru a-și confirma constatările.) “Ne ia în serios intimitatea utilizatorului și ne angajăm să protejăm datele utilizatorilor”, a adăugat Anam Rafid.
„Am comunicat cu toți utilizatorii activi despre protocoalele noastre de securitate și continuăm să ne întărim sistemele cu noi protecții”, precum și să angajăm o firmă de securitate pentru a valida investigația și a monitoriza sistemele sale în viitor. Deși lipsa aproape totală de securitate a datelor copiilor pe care le stochează Bondu ar putea fi remediată, cercetătorii susțin că ceea ce au văzut reprezintă un avertisment mai amplu cu privire la pericolele jucăriilor AI pentru copii. Viziunea lor asupra backend-ului Bondu a arătat cât de detaliate sunt informațiile pe care le stochează despre copii, menținând istoricul fiecărei conversații pentru a informa mai bine următoarea conversație a jucăriei cu proprietarul său. (Din fericire, Bondu nu a stocat audio ale acestor conversații, autoștergându-le după o perioadă scurtă de timp și păstrând doar transcrierile scrise.) Chiar și acum că datele sunt securizate, Margolis și Thacker susțin că ridică întrebări despre câți oameni din companiile care fabrică jucării AI au acces la datele pe care le colectează, cum este monitorizat accesul lor și cât de bine sunt protejate acreditivele lor. „Există implicații de intimitate în cascadă din asta”, spune Margolis. „Tot ce trebuie este un angajat să aibă o parolă proastă, și apoi ne întoarcem la același loc de unde am început, unde totul este expus pe internetul public.”
Margolis adaugă că acest tip de informație sensibilă despre gândurile și sentimentele unui copil ar putea fi folosit pentru forme teribile de abuz sau manipulare. „Într-o notă sinceră, acesta este visul unui răpitor”, spune el. „Vorbind despre informații care permit cuiva să atragă un copil într-o situație foarte periculoasă, și practic a fost accesibil oricui.” Margolis și Thacker subliniază că, dincolo de expunerea accidentală a datelor sale, Bondu, de asemenea, – pe baza a ceea ce au văzut în consola sa de administrare – pare să folosească Gemini de la Google și GPT5 de la OpenAI și, prin urmare, ar putea partaja informații despre conversațiile copiilor cu acele companii. Anam Rafid de la Bondu a răspuns la acest punct printr-un email, afirmând că compania folosește „servicii AI de întreprindere terță pentru a genera răspunsuri și a efectua anumite verificări de siguranță, ceea ce implică transmiterea în siguranță a conținutului conversației relevant pentru procesare.” Dar el adaugă că compania ia măsuri de precauție pentru a „minimiza ceea ce este trimis, a utiliza controale contractuale și tehnice și a opera într-o configurație de întreprindere în care furnizorii declară că prompturile/ieșirile nu sunt utilizate pentru a-și antrena modelele.”
Cei doi cercetători avertizează, de asemenea, că o parte a riscurilor companiilor de jucării AI ar putea fi că sunt mai predispuse să utilizeze AI în programarea produselor, uneltelor și infrastructurii lor web. Ei suspectează că consola nesecurizată Bondu pe care au descoperit-o a fost în sine „vibe-coded” - creată cu unelte de programare AI generativ care adesea conduc la defecte de securitate. Bondu nu a răspuns la întrebarea WIRED dacă consola a fost programată cu instrumente AI. Avertizările cu privire la riscurile jucăriilor AI pentru copii au crescut în ultimele luni, dar s-au concentrat în mare parte pe amenințarea că conversațiile unei jucării vor ridica subiecte inadecvate sau chiar îi vor conduce la comportamente periculoase sau auto-vătămare. NBC News, de exemplu, a raportat în decembrie că jucăriile AI cu care reporterii săi au discutat au oferit explicații detaliate ale termenilor sexuali, sfaturi despre cum să ascută cuțite și păreau chiar să repete propaganda guvernamentală chineză, afirmând, de exemplu, că Taiwanul este parte a Chinei. Bondu, spre deosebire de aceasta, pare că a încercat cel puțin să construiască măsuri de siguranță în chatbot-ul AI pe care îl oferă copiilor. Compania oferă chiar o recompensă de 500 de dolari pentru raportarea „unui răspuns inadecvat” din partea jucăriei. „Am avut acest program de mai bine de un an, iar nimeni nu a reușit să-l facă să spună ceva inadecvat”, se citește într-o linie de pe site-ul companiei. Totuși, în același timp, Thacker și Margolis au descoperit că Bondu lăsa simultan toate datele sensibile ale utilizatorilor să fie complet expuse. „Aceasta este o confuzie perfectă între siguranță și securitate”, spune Thacker. „Are sens ‘siguranța AI’ când toate datele sunt expuse?” Thacker afirmă că, înainte de a investiga securitatea Bondu, el decisese să ofere jucării activate de AI propriilor copii, la fel ca vecinul său. Văzând expunerea datelor Bondu cu ochii săi i-a schimbat decizia. „Chiar mi-o doresc în casa mea? Nu, nu vreau”, spune el. „Este un coșmar al intimității.”