Могут ли алгоритмы быть стскими? На первый взгляд такой вопрос кажется неуместным. Однако алгоритмы искусственного интеллекта разрабатываются людьми, и потому они могут отражать свойственные человеку гендерные и расовые предрассудки, тем самым способствуя их закреплению. С другой стороны, они же могут использоваться для содействия равенству мужчин и женщин. Эту мысль развивают в своей книге об искусственном интеллекте и предрассудках французские ученые Од Бернхайм и Флора Венсан, интервью с которыми мы предлагаем вам ниже.

Беседу провела Аньес Бардон
ЮНЕСКО

Почему вы решили изучать гендерные предрассудки в искусственном интеллекте?

Од Бернхайм: Сначала нас интересовало влияние равенства мужчин и женщин на развитие науки. В 2013 году мы основали ассоциацию WAX Science [от англ. What About Xperiencing Science — «Как насчет науки?»], чтобы изучить то, как отсутствие гендерного баланса в научных кругах может отражаться на научных достижениях и технологиях. Так в поле нашего зрения попал искусственный интеллект (ИИ), и мы стали заниматься им.

Честно говоря, обнаружив в этой области гендерные предрассудки, мы не испытали особого удивления. Они есть во многих других областях науки, почему же ИИ должен быть исключением? Однако этот факт влечет за собой многочисленные последствия, которые касаются не только таких классических вопросов, как равенство условий труда и заработной платы мужчин и женщин. Стереотипы, заложенные в алгоритмах, могут негативно сказываться на отборе кандидатов на вакансии (к примеру, преграждая женщинам путь к инженерно-техническим должностям), предложениях заработной платы и даже результатах медицинского обследования.

Флора Венсан: Не секрет, что в среде ученых не хватает разнообразия. Однако менее известно то, что это влияет на выбор проблематики и ход исследований. Недавно этот вопрос изучала американский профессор истории науки Лонда Шибингер. Она выявила, что чем больше в составе научной группы женщин, тем более вероятно, что гендерный вопрос будет учитываться уже на ранних стадиях исследования. Примеров такого рода дискриминации в научной работе предостаточно. Начиная с того, что доклинические исследования лекарственных препаратов чаще проводятся на самцах крыс, поскольку у них вырабатывается меньше гормонов, чем у самок, и считается, что это облегчает измерение побочных эффектов. А вот другой пример: краш-тесты автомобилей проводятся на стандартных манекенах с ростом 170 см и весом 70 кг, то есть с телосложением среднестатистического мужчины. Получается, что при изготовлении ремня безопасности не учитываются случаи, выходящие за рамки этого стандарта, например, беременные женщины.

Информатика всегда была преимущественно мужской дисциплиной?

О. Б.: Нет, так было не всегда. В начале XX века в информатике требовалось проводить трудоемкие вычисления, и их нередко поручали женщинам. На первых электронно-вычислительных машинах также в основном работали женщины. В то время эта работа не считалась престижной. Еще относительно недавно, в 1984 году, доля женщин среди работников информатики в США была равна 37 %. Для сравнения, в 2018 году во Франции девушки составляли лишь 10 % студентов, изучающих информатику, и предположительно только 12 % тех, кто занимался искусственным интеллектом.

Ситуация начала резко меняться в 1980-е годы, с появлением персонального компьютера. С этого момента значение информатики для экономики существенно выросло. Стала активно развиваться индустрия компьютерных игр, ориентированных в основном на мальчиков. Постепенно в общественном сознании сложился стереотип, что компьютеры — дело сугубо мужское. Параллельно с этим шла маргинализация женщин. Это показывает, что интерес мальчиков к компьютерам носит не естественный, а культурно обусловленный характер.

Кажется, что алгоритмы по своей природе должны быть нейтральными. В какой степени они способствуют распространению гендерных предрассудков?

О. Б.: Довольно быстро обнаружилось, что алгоритмы перенимают человеческие предрассудки. К примеру, было замечено, что компьютерные программы для перевода текста обычно переводят названия профессий в определенном роде. Например, английское слово doctor переводится как «врач» (в мужском роде), а nurse — как «медсестра» (в женском роде), хотя в языке оригинала никаких указаний на половую принадлежность нет. Первые голосовые помощники, в том числе Алекса, Сири и Кортана, все носят женское имя и демонстрируют покорность в ответ не только на команды, но и на оскорбления в свой адрес.

В 2016 году афроамериканка Джой Буоламвини, состоящая научным сотрудником Массачусетского технологического института, занялась изучением алгоритмов распознавания лиц. Она выявила, что обучение таких алгоритмов велось при помощи баз данных, содержащих преимущественно фотографии белых мужчин. В результате этого лица чернокожих женщин и азиатов системы распознавали намного хуже. Можно предположить, что если бы Джой Буоламвини входила в коллектив разработчиков этих алгоритмов, все было бы иначе.

Ф. В.: Разработку алгоритма можно сравнить с написанием текста. Даже если нам кажется, что мы всего лишь перечисляем факты, в тексте всегда будет доля субъективности, которая будет проявляться в выборе слов и структуре предложений. Для обнаружения предвзятости нужно разобрать различные этапы того, что мы называем «заражением змом». Ведь предвзятый алгоритм появляется не по какой-то одной причине, а в результате целой цепочки причинно-следственных связей, которые закладываются в него на разных этапах его создания. Все, кто разрабатывает, кодирует, тестирует и использует алгоритм, воспроизводят предрассудки, зачастую не отдавая себе в этом отчета. В большинстве случаев никто не стремится к дискриминации намеренно. Как правило, мы неосознанно воспроизводим стереотипы, заложенные в нас в ходе всей нашей жизни и образования. 

Приходит ли общество к пониманию того, что системы ИИ могут не быть объективными?

О. Б.: Искусственный интеллект — область динамичная. Она развивается чрезвычайно быстро, причем как сама технология, так и размышления относительно ее применения. По сравнению с другими дисциплинами здесь очень рано встала проблема дискриминации. Не прошло и трех лет с начала так называемой алгоритмической лихорадки, как было замечено, что к некоторым алгоритмам применяется дифференцированный подход. С тех пор этот вопрос привлекает к себе особое внимание научного сообщества, становясь предметом обсуждений и побуждая ученых к изучению предрассудков в ИИ и влияния алгоритмов с точки зрения этики, математики и информатики. С недавнего времени об этом стали говорить и в широкой прессе. Конечно, далеко не все проблемы были устранены, но они были вскрыты, а это важный шаг в сторону их решения.

Каким образом можно обеспечить непредвзятость алгоритмов?

О. Б.: Для начала необходимо сделать так, чтобы используемые для обучения машин базы данных отражали все разнообразие населения. Ряд предприятий уже прилагает усилия в этом направлении, работая над созданием баз данных, учитывающих различия по полу, национальному признаку и телосложению. После публикации исследований, указывающих на недочеты в работе систем распознавания лиц, некоторые компании провели повторное обучение своих алгоритмов, направленное на повышение их инклюзивности. Появились также компании, специализирующиеся на разработке инструментов для оценки степени предвзятости алгоритмов.

Ф. В.: Параллельно с этим в научно-исследовательских кругах начались обсуждения того, как обеспечить большую независимость оценки алгоритмов и их прозрачность. Некоторые ученые, в том числе Джой Буоламвини, выступают за разработку единого гендерно-нейтрального (гендерно-инклюзивного) кода, по аналогии с гендерно-нейтральным языком.

Среди уже ведущихся проектов в этой области можно отметить сеть Data for Good, участники которой вместе ищут ответ на вопрос о том, как можно использовать ИИ на благо всех. В рамках сети была составлена морально-этическая хартия, названная «Клятвой Гиппократа для специалистов по анализу данных». В ней дается подробный перечень конкретных параметров, которые следует проверить до внедрения алгоритма на практике, чтобы удостовериться, что он не носит дискриминационный характер. Очень важно оказывать таким инициативам поддержку.

Может ли ИИ в будущем стать примером успешной борьбы с предрассудками?

О. Б.: В каком-то смысле да, учитывая, что в обществе довольно быстро осознали, что эта технология может способствовать укреплению предрассудков. Искусственный интеллект преобразует наше общество коренным образом, и эти изменения могут быть положительными. В частности, ИИ позволил обрабатывать и анализировать огромные объемы данных. Благодаря этому, в 2016 году компания Google разработала алгоритм по подсчету времени, на протяжении которого говорят женщины в популярных американских фильмах. Выяснилось, что женщинам принадлежит меньше экранного времени, чем мужчинам. Однако просто выявлять подобные случаи недостаточно: параллельно с этим нужно стремиться к обеспечению гендерного баланса в среде разработчиков алгоритмов. Сегодня же по целому ряду причин, включая самоцензуру девочек и девушек, добровольно избегающих научных областей, и царящий в индустрии высоких технологий зм, очень мало женщин идут изучать информатику. Для изменения этой тенденции потребуется время.

Ф. В.: Безусловно, искусственный интеллект нужно обучать соответствующим образом, но внесение небольших поправок в код не решит всех проблем. Важно помнить о том, что никаких усилий по созданию гендерно непредвзятых алгоритмов не будет прилагаться до тех пор, пока в командах разработчиков не будут в равной степени представлены оба пола.