Проблема «Тома Круза» в ИИ: почему большие языковые модели пока не способны мыслить 🦜💻

В 2021 году лингвист Эмили Бендер и специалист по компьютерным наукам Тимнит Гебру описали новые языковые модели как «стохастических попугаев». По их словам, такие модели «собирают вместе фразы и словосочетания, которые они наблюдали в обучающих данных, по вероятностным правилам их сочетания, но без понимания смысла». Эта метафора прижилась: модели вроде ChatGPT могут выглядеть умными, но на деле они просто комбинируют слова, а не рассуждают.

В мире ИИ такую критику часто отмахиваются. Генеральный директор OpenAI Сэм Альтман в прошлом году говорил, что после GPT-4 многие перестали утверждать, что ИИ «не думает», и начали больше беспокоиться о его потенциальной опасности. GPT-4 способен рассуждать «в небольшой степени», отметил он.

Токены вместо фактов 📚

Исследователи Лукас Берглунд и коллеги показали, что языковые модели плохо обобщают факты. Например, если модель знает «Том Круз — сын Мэри Ли Пфайфер», она может ответить на вопрос «Кто мать Тома Круза?», но не на обратный — «Кто сын Мэри Ли Пфайфер?». Причина в том, что модель учит связи между токенами — словесными фрагментами — а не между фактами. Иными словами, она «играет с словами», а не понимает взаимосвязи.

Люди, напротив, умеют рассуждать симметрично: если знают, что два человека — мать и сын, они понимают это в обоих направлениях. Но запоминание деталей и контекстов не всегда легко: вспомнить «все 50 штатов США» проще, чем определить страну по случайному списку штатов.

Проблемы с рассуждением 🤔

Языковые модели часто не справляются с простыми логическими задачами или необычными сценариями:

• Врачу нельзя оперировать сына пациента, но при этом он отец — кто хирург?
• Как переправить в лодке три предмета: мужчину, капусту и козу, если лодка вмещает только три?
• На шоу с тремя дверями: автомобиль за одной, козы за другими. Открыта одна коза — стоит ли менять выбор?

Для ИИ такие вопросы становятся проблемой, так как они не вписываются в ожидаемые модели ответов.

Вывод 💡

Современные подходы к машинному обучению плохо справляются с «выбросами» — редкими или нетипичными ситуациями. Это значит, что многие громкие обещания о «общем искусственном интеллекте» пока далеки от реальности. И хотя ИИ полезен как инструмент, он по-прежнему ограничен в рассуждении и понимании контекста.

Таким образом, несмотря на впечатляющие достижения, большие языковые модели пока «обречены» сталкиваться с фундаментальными ограничениями в способности мыслить и понимать мир так, как это делают люди. 🧠💻