Американская горячая линия по вопросам пищевых расстройств убрала ИИ-чатбота из-за опасных рекомендаций ⚠️🤖

Национальная ассоциация по проблемам пищевых расстройств (NEDA) отключила искусственный интеллект-чатбота «Tessa» после сообщений о том, что он давал вредные советы.

Чатбот был разработан совместно с исследователями психологии и компанией Cass AI, специализирующейся на ИИ для психического здоровья. NEDA подчеркивала, что Tessa никогда не должна была заменять сотрудников горячей линии, предоставлявших поддержку людям с проблемами питания. Однако уже в первые дни работы появились жалобы: активистка Шэрон Максвелл написала в Instagram✱, что чатбот предлагал «советы по здоровому питанию» и рекомендации по снижению веса, включая дефицит калорий 500–1000 в день и регулярное взвешивание. Максвелл отметила, что если бы она столкнулась с таким чатботом во время своего расстройства питания, это могло бы поставить её жизнь под угрозу.

NEDA заявила, что умеренные диеты повышают риск развития расстройства питания в пять раз, а строгие ограничения — в 18 раз. В официальном заявлении организация сообщила: «Мы обнаружили, что текущая версия чатбота Tessa могла давать вредную информацию, не относящуюся к программе Body Positivity. Мы незамедлительно начали расследование и временно отключили программу до завершения проверки».

Ранее бывший сотрудник горячей линии Эбби Харпер сообщала о резком росте числа обращений: с начала пандемии количество звонков и сообщений увеличилось на 107%, при этом почти втрое возросло число сообщений о мыслях о самоубийстве, самоповреждениях и случаях насилия над детьми. По словам Харпер, сотрудники просили лишь достаточного штата и постоянного обучения, чтобы справляться с нагрузкой, не требуя дополнительных выплат.

Вице-президент NEDA Лорен Смолар отметила, что волонтёры не имеют профессиональной подготовки в кризисных ситуациях, поэтому организация не могла полностью положиться на чатбота для оказания помощи.

Разработчики исходили из идеи, что Tessa может расширить доступ к программам профилактики расстройств питания, предоставляя мотивацию и поддержку, но не заменяя живого специалиста. В официальном заявлении генеральный директор NEDA Лиз Томпсон подчеркнула, что чатбот не является высокоразвитой ИИ-системой вроде ChatGPT и не заменяет человеческое взаимодействие. Она также добавила, что около 2,500 человек взаимодействовали с Tessa, и опыт показал необходимость улучшений.

Случай с Tessa подчеркивает важность осторожного применения ИИ в области психического здоровья и то, что технологии не могут полностью заменить живое общение и профессиональную поддержку. 💬🧠

* Упомянутые организации запрещены на территории РФ