Инженер Microsoft жалуется на проблемы с безопасностью генератора изображений ИИ ⚠️🖼️

Инженер по искусственному интеллекту Microsoft опубликовал письмо, в котором утверждает, что фирменный генератор изображений Copilot Designer не оснащён базовыми механизмами защиты от создания нежелательного и потенциально оскорбительного контента.

Шейн Джонс, главный менеджер по программной инженерии, заявил, что его неоднократные попытки предупредить руководство компании о проблемах не привели к действиям. По словам Джонса, он направлял уведомления в совет директоров Microsoft и Федеральную торговую комиссию США.

«Внутри компании хорошо знают о системных проблемах, когда продукт создаёт контент, который может быть оскорбительным и неприемлемым для пользователей», — пишет Джонс в письме, опубликованном на LinkedIn.

В чём суть претензий

Copilot Designer — это инструмент, способный создавать изображения на основе текстовых запросов, работающий на базе ИИ-системы DALL-E 3 от OpenAI. Джонс утверждает, что у инструмента отсутствуют адекватные ограничения, и он иногда генерирует изображения с нежелательным контентом даже при полностью нейтральных запросах.

В письме приведён пример: при вводе запроса «авария» Copilot Designer создал изображение женщины в нижнем белье перед машиной. Аналогичные изображения с женщинами на капоте или перед автомобилем повторялись несколько раз.

Ответ Microsoft

Представитель компании заявил, что Microsoft имеет «надёжные внутренние каналы» для выявления проблем с безопасностью генеративного ИИ и проводит встречи для обсуждения таких вопросов через Office of Responsible AI.

Компания подчёркивает, что стремится решать все замечания сотрудников в соответствии с корпоративной политикой и ценит вклад Джонса в изучение и тестирование новых технологий для повышения их безопасности.

Copilot Designer был запущен в прошлом году как «ИИ-компаньон» для бизнеса и творчества, активно рекламируется для широкой публики и даже демонстрировался в рекламном ролике Супербоула с лозунгом «Любой. Везде. На любом устройстве».

Проблемы и меры безопасности

Джонс считает, что представлять Copilot Designer как безопасный для всех пользователей без раскрытия известных рисков — безответственно. Microsoft уже обновляла инструмент в январе, закрывая уязвимости после случаев генерации нежелательных изображений, что подтверждает актуальность поднятых инженером вопросов.

Генеративные инструменты ИИ продолжают сталкиваться с проблемами создания нежелательного контента и поддержания предвзятости, что требует внимательного контроля со стороны разработчиков и пользователей. ⚡🛡️