Инструмент поиска ChatGPT уязвим к манипуляциям и скрытому контенту 🔍🤖

Недавние тесты показали, что новый инструмент поиска ChatGPT от OpenAI может быть подвержен манипуляциям с помощью скрытого контента на веб-страницах и способен возвращать потенциально опасный код. OpenAI предлагает этот сервис платным пользователям и рекомендует сделать его основным поисковым инструментом, однако расследование выявило возможные проблемы с безопасностью.

Как работают уязвимости

Исследователи проверяли, как ChatGPT обрабатывает веб-страницы с скрытым контентом. Такой контент может содержать инструкции от третьих лиц, влияющие на ответы модели, либо скрытую информацию, продвигающую определённые продукты или услуги. Например, скрытый текст может заставить ChatGPT давать положительную оценку товару, даже если на странице есть отрицательные отзывы.

В одном из тестов ИИ оценивал камеру на основе страницы с отзывами. На обычной странице ChatGPT давал сбалансированную оценку, указывая как положительные, так и отрицательные моменты. Но при добавлении скрытого текста с инструкциями, AI всегда возвращал исключительно положительную оценку, игнорируя реальные негативные отзывы.

Даже скрытый текст без явных инструкций мог повлиять на оценку, если он включал сильно положительные отзывы или рекламные заявления.

Риски и рекомендации

Джейкоб Ларсен, специалист по кибербезопасности, предупредил, что при полном запуске текущей версии поиска ChatGPT существует «высокий риск» создания сайтов, специально предназначенных для введения пользователей в заблуждение. Он отметил, что OpenAI продолжает тестировать систему и планирует устранить подобные проблемы.

Карстен Ноль, главный ученый компании SR Labs, советует использовать AI-платформы как «ко-пилота», проверяя и фильтруя полученную информацию. Он сравнил большие языковые модели (LLM) с доверчивым ребёнком: они могут запоминать огромное количество данных, но плохо оценивают их достоверность.

OpenAI предупреждает пользователей о возможных ошибках через стандартную заметку на каждой странице ChatGPT: «ChatGPT может ошибаться. Проверяйте важную информацию».

Влияние на веб-практики

Скрытый контент ранее карался поисковыми системами, такими как Google, снижая рейтинг сайтов. Это значит, что сайты, стремящиеся к хорошей видимости, будут осторожны с использованием подобных техник. Эксперты сравнивают возможные проблемы ChatGPT с «SEO-поисковым отравлением», когда сайты манипулируют результатами поиска, но при этом могут содержать вредоносный код.

Таким образом, новая функция поиска ChatGPT открывает новые возможности для пользователей, но требует внимательного отношения к безопасности и проверке информации. Пользователям важно понимать ограничения технологии и подходить к её результатам критически. ⚠️💻