Британски јавни сервис ББС упозорио је да употреба алата заснованих на вештачкој интелигенцији може довести кориснике у заблуду и потенцијално негативно утицати на ментално здравље.
Према анализама, поједини АИ системи могу давати нетачне или поједностављене одговоре који делују уверљиво, што код корисника може створити погрешну слику о стварности. Ово је посебно ризично када се такви алати користе за савете у вези са здрављем или личним проблемима.
Стручњаци упозоравају да АИ чет-ботови понекад могу потврдити или појачати погрешна уверења корисника, што у одређеним случајевима може довести до анксиозности, конфузије или других психичких тегоба.
Додатно, истраживања показују да овакви системи нису довољно поуздани да замене професионалну психолошку помоћ, јер не препознају увек озбиљне проблеме нити адекватно реагују у кризним ситуацијама.
Иако вештачка интелигенција има значајан потенцијал у различитим областима, укључујући и подршку у здравству, стручњаци истичу да је неопходно њено опрезно коришћење и јасно разумевање ограничења која ови системи имају.
