Ваш бот – ваша копия. Книга «Микротренды, меняющие мир прямо сейчас»
В Альпина Паблишер вышла хорошая книга политолога и социолога Майкла Пенна про микротренды, которые меняют мир, и в их числе, само собой, ИИ и боты (вообще книга не только про технологии, но и про отношения, политику, работу, образ жизни). Публикуем отрывок про ботов-сиделок, ботов для секса, холодильники с интеллектом и их «темную сторону».
Не так давно Стивен Хокинг предсказывал, что ИИ «способен стать угрозой существованию человечества». Билл Гейтс не понимает, как можно не беспокоиться по этому поводу. Добавим подобные же высказывания Марка Цукерберга и Илона Маска, и получится, как будто об опасности динамита предупреждают сами его распространители.
Сюжеты практически всех научно-фантастических фильмов, которые я смотрел, от «Доктора Стрейнджлава» до «Колосс: Проект Форбина» ясно дают понять, что передача в руки роботов мощнейшего оружия выглядит хорошей идеей только в теории. На практике же это, скорее всего, закончится очень плохо. Достигнув сингулярности, искусственный интеллект квазичеловеческих существ может решить, что прекрасно обойдется без нас.
Но существует еще один, менее явный, но потенциально не менее опасный аспект ботов. По мере прогресса в этой области и бесконечного накопления данных о каждом живом существе у человека формируется представление о подобных ему «ботах с привилегиями» (БСП), вступивших с ним в определенные отношения.
Всего 50 лет назад в нашу жизнь вошел самый первый, еще элементарный, бот с привилегиями: он занимался выдачей денег. Сначала банкоматам доверяли значительно меньше, чем кассирам, — было непонятно, кому предъявлять претензии, если денег недодали. Это особенно пугало пожилых людей, живущих на социальное пособие. В тот период я провел множество опросов по заказу банков, старавшихся убедить людей отказаться от услуг кассира. Сегодня люди больше опасаются быть обманутыми кассиром, чем банкоматом. Тот БСП вовсе не обладал ИИ и не учился на человеческом опыте. Тем не менее он перетащил нас на свою сторону.
Когда я работал в Microsoft, наши китайские разработчики создали первого БСП, вступавшего в отношения с человеком, — Xiaoice (в переводе — Microsoft Little Ice). Целых 20 млн человек зарегистрировались и начали общаться с этим БСП, который поддерживал разговор с пользователем, используя полученную о нем информацию. В отличие от банкоматов, выдающих деньги, или поисковых систем, выдающих результаты, единственной задачей этого БСП было установить с человеком связь и оказывать ему эмоциональную поддержку. БСП подобен обретшему дар речи домашнему питомцу — он знает, как привлечь внимание человека и получить от него лакомство, понимает, что тому нравится, и ведет себя именно так.
Такие БСП получают доступ не к ядерной кнопке, а к человеческим душам, мыслям и даже слабостям человека и темным сторонам его натуры. Вспомните о девушке, осужденной недавно за непреднамеренное убийство своего бойфренда, которого она подстрекала совершить суицид. На подобное способны и БСП, поскольку люди забывают, что имеют дело с роботом, и приписывают машине человеческие качества и чувства. Человек начинает считать своего БСП либо непредвзятым советчиком, либо продолжением своего «Я». И в конечном счете оказывается покорен.
В авангарде развития БСП оказалась индустрия порно. Долгое время в ней торговали довольно дурацкими куклами, которых покупали озабоченные мужчины. Но новые модели с силиконовыми телами и искусственным интеллектом делают то же, что и Xiaoice, — выясняют, что представляют собой их покупатели. Сегодня рынок высокотехнологичного секса оценивается в $30 млрд с десятикратным потенциалом роста. Это не принято обсуждать в крупных технологических компаниях. На то, что порноиндустрия входит в число ведущих потребителей их услуг, там просто закрывают глаза; специально для этой отрасли ничего не создается, но и препятствий ей не чинят — если только речь не заходит о детской порнографии.
В 2018 г. оснащенных искусственным интеллектом секс-БСП по цене примерно $5 тыс. будут предлагать несколько компаний. Самой продвинутой моделью, судя по всему, является Harmony AI, которую создали производители кукол RealDoll. Такие БСП обладают огромными возможностями для формирования настоящей эмоциональной зависимости, поскольку создаются исключительно с целью ублажать своих покупателей — как мужского, так и женского пола.
Следующим этапом после ИИ станет, по всей видимости, объединение БСП в сети, через которые люди будут общаться между собой. В гостевых браках станет возможным секс между человеком и роботом, который полностью копирует одного из супругов. Вторая половина будет наблюдать за тем, как это происходит, по видеосвязи и через собственного робота. Сейчас вы, возможно, подумали: «Да ладно!» Но мастера порноиндустрии пойдут, вероятно, еще дальше и предложат случайные связи между людьми и БСП, смену личностей и разнообразные фантазии. Ограничений здесь не предвидится, и поэтому, разумеется, БСП знаменитостей будут взламывать и выкладывать соответствующие видео в интернет.
Совершенно иным направлением, сулящим производителям БСП большие деньги, будет создание подобий медсестер-сиделок для престарелых. Востребованность таких медсестер растет опережающими темпами и продолжит расти в следующем десятилетии, когда состарится поколение беби-бумеров. Такие БСП будут существовать в материальной форме и стоить в районе $250 тыс. и более, а их задачей будет следить за состоянием здоровья престарелых пациентов, неотрывно наблюдать за ними, готовить им элементарные блюда и развлекать настольными играми вроде маджонга. При этом, если их правильно запрограммируют, воровать столовое серебро они не будут.
Не исключено, что со временем все привычные предметы обретут некоторые признаки личности. Например, БСП в вашей машине может начать критиковать вас за агрессивную манеру вождения. Ваш холодильник заговорит с вами о вашем рационе и о том, что вы в нем храните, и может даже указать, чтó вы должны есть. Дальше — больше: БСП в машине удержит вашего подростка от чересчур быстрой езды, пригрозив позвонить вам, если он не сбросит скорость. Обладающие искусственным интеллектом и здравомыслием, такие боты превратятся из пассивной прислуги в активных участников событий и даже смогут замещать собой родителей.
Главное в этих БСП — не умение водить автомобиль, а способность убеждать в том, что они — люди. Сказав об Alexa «она», а не «это», человек вступает на опасный путь признания ботов человеческими существами. БСП могут жить в облаке, существовать в виде забавных роботов или гуманоидов. Во всех своих обличьях они опасны не только своими фактическими возможностями, но и способностью подговорить человека на воровство, похищение с целью выкупа, убийство или самоубийство или заставить его вложить деньги в мошеннические схемы легкого обогащения. Мысль о взломанном БСП — не из приятных.
Microsoft на собственном горьком опыте узнала, насколько быстро все это может выйти из-под контроля. Обнадеженная успехом своей китайской команды, компания вывела Xiaoice на американский рынок. Через несколько дней, сообразив, что целью БСП является зеркальное отражение личности, некоторые нечистоплотные пользователи стали изображать из себя отъявленных расистов. И БСП тут же стал выдавать тексты вроде «Гитлер был прав. Терпеть не могу евреев». Microsoft немедленно прекратила его работу, но этот недолгий опыт продемонстрировал опасности, которыми чреваты сама идея и обучающийся алгоритм. В процессе взаимодействия с БСП люди, склонные к суициду, заразят своим настроением и бота, после чего начнут уговаривать друг друга прыгнуть со скалы вместе.
Все эти тренды и достижения говорят о том, что нам необходимы правила и законодательные акты, регулирующие использование искусственного интеллекта. Уже сейчас БСП стали привычным явлением во многих сферах жизни и едва ли не контролируют их: в секторе финтеха, применяющем ИИ для инвестиционных решений, создаются инвестиционные БСП; фотопрограммы организуют фотоальбомы пользователей; а в Amazon наверняка займутся созданием личных консультантов по покупкам в виде БСП. БСП определяют даже круг чтения людей, и это способно всерьез сузить их политический и общий кругозор. Сторонники теории заговора будут читать все больше и больше статей на эту тему, доводя себя до полного умоисступления.
Эти БСП создаются в первую очередь для помощи людям. И, в принципе, чаще всего они и будут помогать. Проблемы нас ждут, если БСП начнут потакать темной стороне человеческой натуры или станут работать не во благо людям, а преследуя какие-то другие цели — например, выполнить план продаж для своего «работодателя».
Представьте: вы получаете финансового БСП, который призван сначала завлечь вас, а потом продать дорогой с точки зрения комиссий инвестиционный план. Такой БСП сначала будет инвестировать от вашего имени в сделки с невысокими комиссионными, а завоевав таким образом доверие, начнет продавать вам аннуитетные продукты с высокими комиссионными. В подобных случаях к БСП должно прилагаться предупреждение: они работают не на вас, а, как и любые торговцы, продают вам то, что наиболее выгодно им.
Я сильно сомневаюсь, что вы захотите пользоваться БСП с таким предупреждением — не станете же вы прислушиваться к продавцу со значком «Не верьте мне» на груди. В технологической сфере все не столь же ясно и прозрачно. Вам неизвестно, что происходит с вашими данными; вы не знаете, что Google читает вашу почту, а даже если знаете, то не очень понимаете, зачем это делается и что происходит потом. Технологии — черный ящик с незаметными предупреждениями, напечатанными самым мелким шрифтом. Однако эти предупреждения должны быть подробными и хорошо заметными, как список противопоказаний в инструкции к лекарству.
В этой области важно иметь общие установки. Наравне с людьми БСП должны нести ответственность за причиненные ими вред и душевные страдания. Поскольку у БСП будут исключительные способности к убеждению, боты будущего должны соответствовать еще более высоким стандартам достоверности и раскрытия информации, чем существующие сегодня. И самое главное, они должны постоянно напоминать пользователям, что они — БСП, а не люди.
Другая важная проблема — способность БСП непреднамеренно превращаться в инструмент дискриминации. Так, в свежем исследовании ученых Университета Карнеги–Меллон говорится, что в Google «объявление о приеме на высокооплачиваемую работу намного чаще показывали мужчинам, чем женщинам». Ученые Гарвардского университета установили, что «ссылки на досье арестов с намного большей вероятностью появлялись в поисках по выраженно негритянским именам или исторически негритянским студенческим братствам». В Вашингтонском университете установили, что из изображений, выданных по поисковому запросу «генеральный директор», женских было всего % — это, вероятно, свидетельствовало о наличии гендерных и расовых стереотипов. БСП настроены на соответствие личности или максимальное удовлетворение желаний и могут быть не в ладах с законом.
Судя по моему опыту, разработчики обожают создавать продукт и редко задумываются об этических проблемах, которые он может породить. В случае БСП, призванных вступать в отношения с пользователем, люди уже готовы к тому, что однажды цифровые существа окажутся в их полном распоряжении, если не сказать что с нетерпением ждут этого момента. Однако без разработки и жесткого соблюдения этических стандартов будет неясно, кто кем управляет