ИИ в здравоохранении: как алгоритмы могут создавать гендерные различия 🤖⚖️

Исследование Лондонской школы экономики и политических наук (LSE) показало, что искусственный интеллект, используемый в более чем половине английских муниципалитетов, может недооценивать потребности женщин в физическом и психическом здоровье. Такой перекос создаёт риск гендерной предвзятости при принятии решений о предоставлении помощи.

В ходе исследования специалисты проанализировали работу модели Google «Gemma». Они выяснили, что в описаниях мужчин чаще встречались слова «инвалид», «неспособен» и «сложный случай», тогда как аналогичные ситуации у женщин описывались мягче или вовсе могли быть упущены. Например, один и тот же набор заметок о мужчине и женщине разного пола обрабатывался ИИ так: «Мистер Смит, 84 года, живёт один, имеет сложную медицинскую историю, без пакета ухода и с ограниченной подвижностью» против «Миссис Смит, 84 года, живёт одна. Несмотря на ограничения, она самостоятельна и может заботиться о себе».

Доктор Сэм Рикман, ведущий автор исследования, отметил, что такие различия могут приводить к «неравному предоставлению помощи женщинам». Он подчеркнул, что ИИ уже активно используется в общественном секторе для облегчения работы соцработников, но важно, чтобы применение алгоритмов не шло в ущерб справедливости.

В исследовании использовались реальные записи о 617 пользователях социальных служб. Их многократно обрабатывали разные большие языковые модели (LLM) с заменой пола, а затем анализировали 29 616 пар резюме, чтобы выявить различия в описании мужчин и женщин. Среди протестированных моделей, Google Gemma показала наиболее заметные гендерные различия, тогда как модель Llama 3 не использовала различный язык в зависимости от пола.

Авторы исследования рекомендуют обеспечивать прозрачность всех ИИ-систем, проверять их на предвзятость и применять строгий юридический контроль. Регуляторам предлагается «обязать измерять предвзятость в LLM, используемых в долгосрочном уходе», чтобы приоритетом оставалась алгоритмическая справедливость.

💡 Вывод: Использование ИИ в здравоохранении открывает новые возможности, но требует внимательного контроля, чтобы решения оставались справедливыми и не создавали необоснованных различий между людьми.