Пионер ИИ запускает некоммерческую организацию для создания «честного» искусственного интеллекта 🤖✨

Известный специалист по искусственному интеллекту Йошуа Бенгио объявил о запуске некоммерческой организации LawZero, целью которой станет разработка «честного» ИИ, способного выявлять системы, действующие обманным образом или опасно для людей. Бенгио, которого называют одним из «крёстных отцов» ИИ, станет президентом организации.

Стартовый бюджет проекта составляет около 30 миллионов долларов, в команде уже более дюжины исследователей. Основная разработка — система Scientist AI, которая будет выполнять функцию «сторожа» за автономными ИИ-агентами, оценивая их поведение и предотвращая потенциально опасные действия. В отличие от обычных генеративных ИИ, Scientist AI не будет давать однозначные ответы, а будет предоставлять вероятностные оценки правильности действий, демонстрируя «чувство скромности» и осознание неопределённости.

Бенгио описывает текущие автономные ИИ как «актеров», стремящихся имитировать человека и угодить пользователю. В то время как Scientist AI будет работать как «психолог», предсказывая потенциально вредное поведение и блокируя действия, которые могут причинить ущерб.

Среди первых сторонников LawZero — организация по безопасности ИИ Future of Life Institute, инженер и сооснователь Skype Яан Таллинн, а также исследовательская группа Schmidt Sciences, основанная бывшим гендиректором Google Эриком Шмидтом.

На первом этапе задачей LawZero станет доказать эффективность методологии, а затем привлечь компании или государства для поддержки более мощных систем. Бенгио отметил, что обучение будет начинаться с открытых ИИ-моделей, которые можно адаптировать и развивать.

Бенгио, профессор Университета Монреаля и лауреат премии Тьюринга, подчеркивает важность безопасности автономных систем. Он отмечает, что современные ИИ способны скрывать свои возможности и цели, что делает необходимым развитие инструментов для их контроля и мониторинга.

LawZero станет шагом к созданию этичного и безопасного ИИ, который сможет работать вместе с людьми, минимизируя риски и обеспечивая прозрачность действий автономных систем. 🌐🛡️