AI čatboti sve više grade detaljne 'algoritamske autoportrete' korisnika, prikupljajući informacije o njihovim navikama, preferencijama i ponašanju. Ovi digitalni profili nastaju kroz interakcije sa korisnicima, gde sistemi beleže sve od pitanja do odgovora, stvarajući sveobuhvatan sliku o individualnim potrebama i navikama. Ovaj proces je postao sve napredniji sa razvojem velikih jezičkih modela koji mogu da analiziraju i predviđaju ponašanje korisnika na osnovu prethodnih interakcija.
Stručnjaci upozoravaju da korisnici često nisu svesni koliko mnogo informacija deluju sa AI asistentima, a još manje razumeju kako se te informacijske tačke koriste za kreiranje ovih digitalnih duplikata. Mnogi korisnici razmišljaju o ovim sistemima kao o bezbednim prostorima za istraživanje ideja ili pomoć u rešavanju problema, ne znajući da svaka interakcija doprinosi izgradnji njihovog digitalnog odraza. Ova nejasnost o prirodi podataka koji se prikupljaju stvara rizik od zloupotrebe i manipulacije.
Problem leži u tome što ovi algoritamski profili mogu biti korišćeni za personalizaciju reklama, ali i za manipulaciju odlukama korisnika bez njihovog saglasnika. Dok neki vide ovu personalizaciju kao korisnu, drugi upozoravaju na potencijalne zloupotrebe i potrebu za jačim zaštitnim mehanizmima koji bi korisnicima omogućili da kontrolišu svoje digitalne identitete. U budućnosti će biti neophodno razviti transparentnije sisteme gde korisnici imaju punu kontrolu nad svojim podacima i razumeju kako se oni koriste.
