Ловушки машинного мышления: почему популярное не значит хорошее

Технологии, безусловно, рано или поздно спасут мир. Главное, чтобы до этого они не помогли его уничтожить. В книге «Искусственный интеллект. Пределы возможного» эксперт в области компьютерных технологий Мередит Бруссард выступает против техношивинизма и иллюзий о спасительной роли технологий и пытается обозначить границы их возможностей. Среди прочего автор разбирает ошибки, которые совершают умные машины по вине человека.

---

Как сделать хорошее селфи? В 2015 г. одно из американских СМИ раскрыло результаты эксперимента, призванного ответить на этот вопрос. Для тех, кто знаком с основами фотографии, итоги оказались предсказуемыми: удостовериться, что изображение сфокусировано, лоб не обрезан и т. д. <…>

Что интересно и что не вызвало вопросов у исследователя Андрея Карпати, тогда аспиранта Стэнфорда, а сегодня главы отдела искусственного интеллекта в Tesla, — почти на всех «хороших» фотографиях были молодые белокожие женщины, несмотря на тот факт, что в изначальном массиве фотографий были снимки и пожилых женщин, мужчин, людей с другим цветом кожи. В качестве системы оценки качества хорошей фотографии Карпати опирался на количество лайков, поставленных каждой фотографии. Подобную ошибку весьма часто допускают исследователи в области компьютерной технологии, которые не прибегают к критическому осмыслению социальных ценностей, человеческого поведения, что в итоге приводит к появлению подобных результатов. Карпати посчитал, что, раз изображение популярно, значит, оно хорошее. Выбор в пользу популярности привел к тому, что итоговая модель вышла стереотипной: в ней отдавалось предпочтение фотографиям молодых, белокожих цисгендерных женщин, вписывающихся в ограниченное гетеронормативное определение привлекательности. Представим, что вы взрослый чернокожий мужчина, и запустим ваше селфи для анализа в модель Карпати. Ваша фотография не будет маркирована как «хорошая» ни при каких условиях. Потому что вы не белый, вы не цисгендерная женщина и вы не молоды; следовательно, вы не подпадаете под критерии «хорошего».

Социальный вывод для читателя заключается в том, что, если вы не выглядите определенным образом, ваше селфи принципиально не может быть «хорошим». Это не правда.

Кроме того, ни один разумный человек никогда не скажет подобные вещи другому.

Такое смешение популярного и хорошего проявляется во многих цифровых системах принятия решений, использующих субъективную оценку качества. То есть человек может увидеть разницу между концептами популярного и хорошего. Человек также способен понять, что нечто популярно, но не хорошо (как рамен-бургеры или расизм) или хорошо, но непопулярно (как налоги на доход и ограничения скорости), и оценить это социально релевантным образом. (Но, например, дети или физические упражнения одновременно популярны и хороши.) Тем временем машина способна идентифицировать только популярность, опираясь на заранее установленные критерии, и сама по себе не способна распознать качество этой популярности.

Здесь мы видим фундаментальную проблему: алгоритмы разрабатываются людьми и эти люди встраивают свои бессознательные стереотипы в алгоритмы.

Едва ли так происходит специально — но это не значит, что на такое положение дел можно не обращать внимания. Нам следует быть бдительными и критически настроенными относительно того, что, как нам известно, может пойти не так. Если полагать наличие дискриминации по умолчанию, то можно разработать системы, работающие в направлении равенства.

Одной из ключевых идей интернета является возможность ранжировать объекты. Нынешнее общество сходит с ума по измерениям; правда, мне не совсем ясно, появилась ли эта мания благодаря неистовому стремлению математиков к ранжированию либо это стремление является банальной реакцией на социальный запрос. В любом случае подсчеты нынче правят бал. У нас есть системы оценки колледжей, спортивных команд, команд на форумах разработчиков софта. Студенты стараются заработать более высокую позицию в списке класса. Школы ранжированы, сотрудники ранжированы.

Все мечтают занять верхнюю строчку, и никто не хочет оказаться в самом низу: кому вздумается брать на работу (или выбирать) кого-то с самых низких позиций? В образовании, области, известной мне наилучшим образом, процветает логическое заблуждение. Если мы посмотрим на результаты тестов 1000 студентов, то увидим, что они вписываются в гауссову кривую. Половина студентов будет находиться выше среднего уровня, половина — ниже, также будет небольшое количество тех, кто занял самые высокие и самые низкие позиции. Это нормально — однако школьные округа и чиновники считают, что их цель заключается в доведении всех учащихся до «релевантного уровня компетентности». Это невозможно до тех пор, пока средний уровень компетентности не станет равным нулю. Школьные округа считают, что нужно, чтобы все учащиеся были успешными, однако это вовсе не означает, что стремиться к недостижимому идеалу — действительно хорошо.