«Ей отказали в квартире из-за ИИ-оценки — и она подала в суд, чтобы помочь другим» 🏢🤖

Мэри Луис получила оценку 324 от алгоритма SafeRent, который используется для проверки потенциальных арендаторов. В отчёте на 11 страницах не было объяснено, как рассчитывался этот балл и что именно он означал. Единственное, что программа показала, — её рейтинг слишком низкий. Рядом с результатом стояло: «Рекомендация по баллу: ОТКАЗ».

Луис, охранница по профессии, подала заявку на квартиру в пригороде Массачусетса. На просмотре менеджеры сказали, что проблем с одобрением заявки быть не должно. Несмотря на низкий кредитный рейтинг и небольшие долги по кредиткам, у Мэри был безупречный отзыв от арендодателя за 17 лет аренды — она всегда платили вовремя. К тому же она собиралась использовать жилищный ваучер для малообеспеченных, гарантируя часть оплаты арендной платы государством.

Тем не менее, через два месяца после подачи заявки, в мае 2021 года, компания уведомила её по электронной почте, что программа отклонила её кандидатуру. Для принятия заявки требовалось минимум 443 балла. Никаких объяснений или возможности обжаловать решение не было. «Сервис SafeRent оценил ваш рейтинг ниже допустимого стандарта», — сообщалось в письме.

Мэри пришлось снять более дорогую квартиру, где оценка ИИ не использовалась. Но она узнала, что её случай не уникален: более 400 арендаторов из числа чернокожих и латиноамериканцев в Массачусетсе столкнулись с отказом из-за SafeRent. В 2022 году они объединились в иск против компании по закону о справедливом жилье, утверждая, что алгоритм дискриминировал людей с жилищными ваучерами.

Адвокаты заявили, что алгоритм учитывал несущественные факторы — кредитные рейтинги, долги, не связанные с жильём — и игнорировал использование ваучеров. Исследования показывают, что среди чернокожих и латиноамериканцев чаще встречаются низкие кредитные рейтинги и использование ваучеров. «Это пустая трата времени — ждать отказа, — сказала Луис. — ИИ не знает моего поведения: я иногда задерживалась с кредитками, но всегда платила аренду».

Через два года после подачи иска SafeRent урегулировала дело с Луис и другой истицей, Моникой Дуглас. Компания выплатила \$2,3 млн и обязалась на пять лет прекратить использование системы оценки или каких-либо рекомендаций по арендаторам с ваучерами. Если SafeRent разработает новую систему, она должна быть независимым образом проверена организацией по справедливому жилью.

«Удаление оценки „одобрено/отказано“ позволяет арендатору заявить: „Я хороший арендатор“, — объяснил адвокат Тодд Каплан. — Решение становится индивидуальным».

Проблема шире, чем один случай. Почти все 92 миллиона малообеспеченных американцев сталкиваются с ИИ при трудоустройстве, аренде жилья, медицине, обучении и социальной поддержке. Юристы, как Кевин де Либан, отмечают, что алгоритмы часто принимают решения на основе «сомнительной статистики», создавая «абсурдные ситуации».

Сейчас законодательно регулировать использование ИИ для жизненно важных решений сложно, а возможность обжаловать решения ограничена. Судебные иски, как в случае Луис, становятся важным инструментом защиты прав граждан. «Такие дела дают ориентир для других и помогают бороться с дискриминацией», — говорит Каплан.

История Мэри Луис показывает, как алгоритмы могут влиять на базовые аспекты жизни людей и почему важно требовать прозрачности и ответственности от компаний, использующих ИИ. 🏠⚖️