Сотрудники OpenAI и Google DeepMind предупреждают о рисках в индустрии ИИ 🤖⚠️

Группа нынешних и бывших сотрудников ведущих компаний в сфере искусственного интеллекта опубликовала открытое письмо, в котором выразила обеспокоенность недостаточным контролем безопасности в отрасли и призвала к защите информаторов. Письмо, озаглавленное «Право предупреждать об искусственном интеллекте», стало одной из самых публичных инициатив сотрудников внутри обычно закрытой индустрии.

Письмо подписали одиннадцать текущих и бывших сотрудников OpenAI, а также двое сотрудников или бывших сотрудников Google DeepMind — один из которых ранее работал в Anthropic.

«Компании, занимающиеся ИИ, обладают значительным количеством закрытой информации о возможностях и ограничениях своих систем, мерах защиты и уровнях потенциального вреда. Однако в настоящее время они имеют лишь слабые обязательства делиться частью этой информации с правительствами и вообще не обязаны делиться ею с обществом. Мы не считаем, что можно полагаться на то, что они сделают это добровольно», — говорится в письме.

OpenAI в ответ заявила, что у компании есть каналы для сообщения о проблемах, включая специальную горячую линию, и что новые технологии не выпускаются без соответствующих мер безопасности.

«Мы гордимся тем, что предоставляем наиболее мощные и безопасные системы ИИ, и верим в научный подход к оценке рисков. Мы согласны, что необходима открытая дискуссия о важности этой технологии и будем продолжать взаимодействовать с правительствами, обществом и другими сообществами по всему миру», — отметили в компании.

Опасения относительно потенциального вреда ИИ существуют уже десятилетия, но недавний бум технологий усилил эти опасения и поставил регуляторов в сложное положение, поскольку им приходится догонять стремительное развитие отрасли. Несмотря на публичные заявления компаний о безопасной разработке ИИ, сотрудники и исследователи указывают на недостаток контроля, что может усиливать социальные риски или создавать новые.

Авторы письма призвали к усилению защиты работников компаний, занимающихся продвинутым ИИ, которые решают озвучивать вопросы безопасности. Среди предложений — четыре принципа прозрачности и подотчётности, включая запрет на заключение соглашений, ограничивающих возможность сотрудников сообщать о рисках, и возможность анонимного донесения проблем членам совета директоров.

«Поскольку нет эффективного государственного контроля за этими корпорациями, нынешние и бывшие сотрудники — одни из немногих людей, кто может обеспечить их подотчётность обществу. Но широкие соглашения о конфиденциальности мешают нам озвучивать наши опасения, кроме как внутри компаний, которые могут не решать эти проблемы», — сказано в письме.

Некоторые компании, включая OpenAI, применяли строгие меры для ограничения свободы слова сотрудников. По данным СМИ, уходящие из OpenAI сотрудники должны были подписывать крайне ограничительные соглашения о неразглашении и неразглашении конфиденциальной информации, иначе они теряли все свои накопленные доли. Генеральный директор OpenAI Сэм Альтман извинился и пообещал изменить процедуры при уходе сотрудников.

Открытое письмо последовало за недавними уходами двух ведущих сотрудников OpenAI — соучредителя Ильи Сутскевера и ключевого исследователя безопасности Яна Лайке. После ухода Лайке заявил, что компания отказалась от культуры безопасности в пользу «блестящих продуктов». Письмо во многом повторяет его опасения, указывая на отсутствие прозрачности в деятельности компаний.