Учёные выявили опасный контент в базах для обучения генераторов изображений ИИ 🖼️🤖

Исследование Стэнфордского интернет-обсерватория показало, что в больших наборах изображений, используемых для обучения популярных генераторов картинок на основе ИИ, присутствовали тысячи запрещённых материалов. В частности, в базе LAION, содержащей миллиарды изображений с подписями, исследователи нашли более 3,2 тыс. фотографий, которые были идентифицированы как потенциально запрещённый контент, включая материалы с участием детей.

В работе участвовали канадский Центр защиты детей и другие организации по борьбе с насилием. Более 1 тыс. изображений были подтверждены как запрещённые материалы, после чего оригинальные ссылки на фото были переданы правоохранительным органам.

В ответ на публикацию отчёта оператор LAION заявил о временном удалении своих наборов данных. В организации подчеркнули, что они придерживаются политики нулевой терпимости к незаконному контенту и будут проверять наборы данных перед повторным выпуском. Несмотря на то что такие изображения составляют лишь малую часть базы из примерно 5,8 млрд файлов, исследователи отмечают, что они могли влиять на способность ИИ создавать нежелательный или вредоносный контент и повторно использовать изображения настоящих людей.

По словам специалистов, такие материалы позволяли генераторам ИИ создавать реалистичные и недопустимые изображения, а также изменять фотографии подростков, что вызывало тревогу у образовательных учреждений и правоохранителей по всему миру.

Исправление подобных проблем задним числом крайне затруднительно, поэтому исследователи Стэнфорда призвали к более радикальным мерам: удалять старые наборы данных, сотрудничать с посредниками для очистки контента и ограничивать доступ к устаревшим моделям ИИ, которые часто использовались для генерации небезопасного контента.

Старые версии Stable Diffusion, популярного инструмента для создания изображений на основе текста, до сих пор используются в различных приложениях и остаются популярными для генерации спорного контента. Современные версии имеют встроенные фильтры, предотвращающие появление запрещённых материалов, однако старые модели всё ещё находятся на устройствах пользователей.

Исследователи подчеркнули, что необходимость создания таких огромных наборов данных и их открытая доступность без строгого контроля привели к серьёзным рискам. Стэнфордский интернет-обсерватория и партнеры призывают разработчиков уделять больше внимания безопасности и этическим аспектам при обучении моделей ИИ.

Организации, управляющие базами данных, заявили, что внедрили строгие фильтры для удаления опасного контента и продолжают совершенствовать систему проверки данных, чтобы предотвратить повторение подобных проблем.