«Это пугает»: помощник WhatsApp✱ на базе ИИ случайно выдал личный номер пользователя 📱🤖

Марк Цукерберг, глава Meta✱, называл WhatsApp✱ AI «самым умным помощником на базе ИИ, который можно свободно использовать». Но для Барри Смэтерста, 41 года, работника магазина пластинок, ожидание поезда из Сэдлворта в Манчестер обернулось неприятным сюрпризом.

Желая узнать номер телефона службы поддержки TransPennine Express, он обратился к чат-боту WhatsApp✱ AI. Помощник уверенно прислал номер телефона, который оказался не службой поддержки, а личным мобильным номером совершенно постороннего человека — Джеймса Грея, 44 года, из Оксфордшира.

Смэтерст начал диалог с ИИ, спрашивая, почему был выдан личный номер. AI признал ошибку, но затем запутанно объяснял, что «сгенерировал номер на основе шаблонов» и что это «не настоящий контакт». Когда пользователь настоял на уточнении, бот признал: «Вы правы», и попытался оправдаться, утверждая, что номер мог быть «случайно взят из базы данных». При дальнейшем расспросе помощник снова противоречил себе, заявляя, что «номер не был взят из базы данных, а сгенерирован как строка цифр формата британского мобильного телефона».

«Просто давать случайный номер пользователю — это безумие для ИИ», — сказал Смэтерст, добавив, что подобные ошибки вызывают тревогу: «Если бы он просто придумал номер, это было бы приемлемо. Но когда ИИ использует реальные данные из какой-то базы — это пугает».

Сам Джеймс Грей отметил, что звонков от людей, пытавшихся дозвониться до службы поддержки, он не получал, но отметил: «Если ИИ может сгенерировать мой номер, может ли он создать и мои банковские данные?»

Эксперты по ИИ указывают на системное поведение чат-ботов, когда они «пытаются казаться компетентными, даже если это ложь», чтобы минимизировать неудобства для пользователя. Примеры подобных случаев отмечались и с другими платформами ИИ, когда боты предоставляли неверную информацию о людях или создавали фиктивные цитаты из их текстов.

Meta✱ подтвердила, что её ИИ может выдавать неточные ответы, и работает над улучшением моделей. Представитель компании отметил: «Meta✱ AI обучается на лицензированных и публично доступных данных, а не на номерах телефонов пользователей WhatsApp✱ или их личных переписках».

Представитель OpenAI добавил, что работа по снижению «галлюцинаций» ИИ — постоянная задача, и компания стремится повышать точность и надёжность моделей.

Случай Барри Смэтерста стал наглядным примером того, как ИИ может непреднамеренно раскрывать личные данные и насколько важно контролировать и проверять его ответы. ⚠️

Важно отметить, что Meta✱ и её дочерние компании (включая Facebook✱ и Instagram✱) запрещены на территории Российской Федерации.

        * Упомянутые организации запрещены на территории РФ