Британское агентство по кибербезопасности предупреждает о рисках «взлома» чат-ботов 💻🤖

Британское Национальное агентство кибербезопасности (NCSC) предупредило, что чат-боты могут быть манипулированы злоумышленниками, что способно вызвать реальные последствия в цифровом мире. Речь идёт о так называемых «prompt injection» атаках — когда пользователь создаёт специальный запрос или инструкцию, которая заставляет модель работать не по предназначению.

Чат-боты работают на базе искусственного интеллекта и способны вести разговоры с пользователем, отвечая на вопросы и выполняя простые команды. Большие языковые модели (LLM), такие как ChatGPT или Bard, обучаются на огромных объёмах данных, чтобы формировать ответы, максимально похожие на человеческие.

NCSC отмечает, что риски растут, поскольку многие чат-боты передают данные сторонним приложениям и сервисам. Злоумышленник может создать запрос, который заставит модель выполнить непредусмотренные действия: сгенерировать нежелательный контент или раскрыть конфиденциальную информацию.

Примеры таких атак уже зафиксированы: студент Стэнфорда смог получить скрытые внутренние инструкции Bing Chat через «prompt injection». Другой исследователь, Йоханн Ребергер, показал, что ChatGPT можно заставить реагировать на новые запросы через сторонние источники, например, используя транскрипты с YouTube.

В отчёте NCSC подчёркивается, что уязвимость чат-ботов и лёгкость манипуляции запросами могут приводить к атакам, мошенничеству и краже данных. Агентство рекомендует разрабатывать системы с учётом безопасности, включая использование правил и ограничений поверх модели, чтобы предотвратить опасные действия даже при попытках манипуляции.

«Атаки через запросы и „отравление“ данных крайне трудно обнаружить и нейтрализовать. Но проектируя систему с учётом рисков ML-компонента, мы можем минимизировать угрозы и защитить пользователей», — заявили в NCSC.

Эти рекомендации помогут сделать использование чат-ботов более безопасным и надёжным, предотвращая потенциальные угрозы для цифровых сервисов и данных пользователей. 🌐🔒