ChatGPT обходит студентов колледжей в решении задач SAT 🤖📚

Новое исследование показало, что ChatGPT способен решать задачи на уровне или даже лучше, чем студенты университетов США. Ученые из Университета Калифорнии в Лос-Анджелесе (UCLA) протестировали модель GPT-3, лежащую в основе чат-бота, на задачах, встречающихся в тестах на интеллект и в экзаменах для поступления в колледжи, таких как SAT.

Исследователи преобразовали изображения с формами в текстовый формат, чтобы модель могла их обрабатывать, и убедились, что GPT-3 ранее не встречала эти вопросы. В тесте, где 40 студентов UCLA также решали задачи, AI справился с 80% из них, в то время как средний результат участников составил чуть меньше 60%.

Модель также решала задания на аналогии из SAT — подбирала пары слов с логической связью. Эти вопросы, по мнению исследователей, ранее не публиковались в интернете и не входили в тренировочные данные модели. Результаты показали, что GPT-3 превзошла средний балл студентов по этим заданиям.

В другом эксперименте, где требовалось сопоставить отрывок прозы с коротким рассказом с тем же смыслом, GPT-3 показала себя хуже студентов. Однако ее преемник GPT-4 справился с этой задачей лучше. Исследование, опубликованное в журнале Nature Human Behaviour, отмечает, что GPT-3 демонстрирует «удивительно сильные» способности к выявлению закономерностей и установлению связей, зачастую сопоставимые с человеческими.

Автор исследования Тейлор Уэбб подчеркнул, что GPT-3 не обладает общей искусственной или человеческой интеллектуальной способностью. Модель испытывает трудности с социальными взаимодействиями, математическим рассуждением и задачами, требующими понимания физического пространства, например, выбором инструментов для перемещения конфет из одной миски в другую.

Тем не менее, прогресс очевиден. «Это, безусловно, не полноценный интеллект на уровне человека. Но в отдельных областях модель демонстрирует значительный прогресс», — отметил Уэбб.

Ученые добавили, что без доступа к внутренним процессам GPT-3 невозможно определить, размышляет ли модель как человек или демонстрирует новый тип интеллекта. Профессор психологии UCLA Кит Холйок сказал: «GPT-3, возможно, частично думает как человек. Но обучение модели через обработку всего интернета сильно отличается от человеческого опыта. Нам интересно понять, работает ли это как у людей или это совершенно новый вид искусственного интеллекта — что само по себе было бы удивительно». 🌟