Teste sugerează că AI Overviews de la Google își spune milioane de minciuni pe oră

Imediat ce cauți informații pe Google, te confrunți cu AI Overviews, robotul de căutare alimentat de Gemini, care apare în partea de sus a paginii de rezultate. Potrivit arstechnica.com, o analiză recentă a arătat că AI Overviews are o precizie de 90 la sută, ceea ce înseamnă că 1 din 10 răspunsuri este greșit, ducând la sute de mii de minciuni generate în fiecare minut.

👉 Performanța AI Overviews și testele de precizie

AI Overviews a avut o perioadă dificilă de la lansarea sa din 2024, primind critici din cauza acurateței sale nesigure, dar a început să se îmbunătățească și oferă de obicei răspunsul corect. O analiză realizată de The New York Times, cu ajutorul unei companii emergente numită Oumi, a testat precizia AI Overviews folosind evaluarea SimpleQA, un test obișnuit pentru a evalua factualitatea modelelor generative precum Gemini. SimpleQA, lansat de OpenAI în 2024, este esențialmente o listă de peste 4.000 de întrebări cu răspunsuri verificabile care pot fi furnizate unui AI.

Oumi a început să realizeze testul anul trecut, când Gemini 2.5 era cel mai bun model al companiei, obținând o rată de acuratețe de 85%. Rescăderea testului după actualizarea Gemini 3 a arătat că AI Overviews a răspuns corect la 91% dintre întrebări. Când extinzi această rată de greșeală la toate căutările Google, AI Overviews generează zeci de milioane de răspunsuri incorecte pe zi.

👉 Exemple concrete de erori și reacția Google

Raportul include mai multe exemple de greșeli. De exemplu, când a fost întrebat când casa lui Bob Marley a devenit muzeu, AI Overviews a citat trei surse, două dintre ele nereferindu-se la dată deloc, iar a treia, Wikipedia, lista doi ani contradictorii, alegând pe cel greșit. Un alt exemplu a fost când i s-a cerut data la care Yo Yo Ma a fost primit în sala celebrităților de muzică clasică. Deși AI Overviews a citat site-ul organizației, a pretins că nu există o astfel de instituție.

Google nu apreciază mult acest test. Ned Adriance, purtător de cuvânt al Google, a declarat pentru Times că Google consideră că SimpleQA conține informații eronate. Evaluările modelului lor se bazează adesea pe un test similar numit SimpleQA Verified, care folosește un set mai mic de întrebări, mai bine verificate. „Acest studiu are lacune serioase”, a spus Adriance. „Nu reflectă ceea ce caută oamenii pe Google.”

Evaluarea noilor modele AI pare, uneori, mai mult o artă decât o știință, fiecare companie având propria metodă de a demonstra ceea ce poate face un model. Acești roboți pot răspunde corect la o întrebare factuală și apoi să greșească complet dacă rerunotezi imediat interogarea. Oumi folosește, de asemenea, modele de AI pentru evaluările sale, iar aceste modele pot avea propriile greșeli.

Un alt aspect important este că AI Overviews nu este un model monolitic. Google a declarat pentru Ars Technica că utilizează „modelul corect” pentru fiecare interogare. Deși AI Overviews ar obține cele mai bune răspunsuri prin rularea constantă a Gemini 3.1 Pro, asta ar fi lent și costisitor. Pentru a încărca rapid informațiile pe o pagină de căutare, AI Overviews folosește modele Gemini Flash mai rapide ori de câte ori este posibil.

În ceea ce privește răspunsul Google la acest raport, un procent de 9 din 10 nu pare chiar atât de rău în domeniul factualității AI. Google a publicat recent benchmark-uri pentru noi lansări de modele, care arată că acuratețea este între 60 și 80 la sută, iar aceste teste sunt realizate fără instrumente cum ar fi căutarea web. Deși Google susține că rezultatele din Times nu se potrivesc cu ceea ce văd utilizatorii, te întrebi cum poate compania să știe acest lucru. Cu toții am observat greșeli în AI Overviews, iar Google ne reamintește, la sfârșitul fiecărui rezumat, că „AI poate face greșeli, așa că verifică răspunsurile.”