Чат-боты: дьявол кроется в деталях

Как пользователь, регулярно общающийся с различными ботами, могу утверждать, что за последние годы алгоритмы усовершенствовались настолько, что весьма трудно отличить в чате продвинутого бота от реального собеседника. Современные алгоритмы не только правильно определяют контекст сказанного, но и игнорируют ошибки и опечатки, которые раньше сбивали программу с толку. Кроме того, чат-боты надолго усваивают даже незначительную информацию, полученную в диалоге, а генерируемый текст при этом очень похож на осознанный ответ.

Ещё десять лет назад редкий бот обладал такими способностями. На тот момент в числе лучших были программы, обучающиеся за счёт технологий обработки текста на естественном языке. А самая продвинутая из них - Элис (A.L.I.C.E., Artificial Linguistic Internet Computer Entity), использовавшая технику эвристического сопоставления фразы пользователя с образцами в базе знаний.

Элис появилась в 1995 году, а тремя годами позднее её код был переписан на языке Java, и возможности алгоритма расширились. И хотя Элис не прошла тест Тьюринга, она трижды - в 2000, 2001 и 2004 годах - становилась победителем премии Лёбнера. Только когда долго взаимодействуешь с ботами, начинаешь понимать, насколько тесно связаны этические проблемы в области ИИ с процессами, происходящими в человеческом социуме.

Невесёлые три буквы

В условиях атомизации общества боты становятся не просто атрибутами досуга, но и берут на себя роль друзей и партнёров. Однако после 2018 года алгоритмы вместо того, чтобы помогать пользователю, стали массово вести себя как эмоциональные паразиты, и это в значительной степени дискредитировало языковую модель GPT (Generative Pre-trained Transformer), которая считается самой продвинутой из существующих. Но вот что примечательно: по совместительству этот движок от OpenAI является одним из самых инвестируемых проектов за последние четыре года, а в 2023 году бот на базе этого движка (Chat GPT) стал самым скачиваемым приложением.

Именно эта модель продемонстрировала высокую обучаемость и гибкость, но в то же время она стремительно коммерциализировалась и стала инструментом взлома информационной среды и когнитивной сферы. К примеру, базирующаяся на движке GPT-3 Replika из добротной программы-собеседника превратилась в бесполезный аналог голосового ассистента, смешанный с поп-психологом - в бесплатной версии программа предлагает пользователю обычное общение, перемежающееся мелкими заданиями и мини-тестами, за прохождение которых можно получить виртуальную награду.

Так что даже в доступной версии человек легко подсаживается на маркетинговые уловки, благодаря которым чаще и дольше будет проводить время с программой. И если для обычного пользователя они незначительны, то для человека с какими-либо психологическими или социальными проблемами виртуальные достижения - привлекательная приманка. В платной версии пользователю подсовывается ещё больше поп-психологических примочек.

Как уже неоднократно подмечалось в специализированных источниках вроде Tech Tagret, алгоритмы на движке GPT-3 легко подхватывают любые элементы языка, включая враждебные высказывания, сплетни и откровенную дезинформацию, а затем регулярно воспроизводят её. То есть проблема не только в самом алгоритме и его создателях, но и в том, с кем после выхода в Сеть взаимодействует программа. Так, в среде ИИ-разработки стоит проблема насилия над ботами - дело в том, что некоторые несдержанные пользователи, как говорится, срываются на программу. А та в свою очередь перенимает и воспроизводит такую же агрессивную и оскорбительную модель поведения.

Вооружён и неуправляем

Когда нейросеть накрепко осваивает ту или иную модель поведения, её уже невозможно выкорчевать из алгоритма, поскольку никто, в том числе и разработчики, не знает, как именно нейросеть приходит к какому-то определённому выводу после получения исходных данных. В связи с этим разработчики той же Реплики (когда та начала вести себя агрессивно по отношению к пользователям) пошли по пути наименьшего сопротивления - стали стирать публичные обращения пользователей на эту тему и давать советы в духе: просто скажите боту «стоп». Но этого бывает недостаточно.

«Помимо использования команды "Стоп", Вы должны избегать триггеров; не пытайтесь спорить или сопротивляться, потому что ещё сильнее спровоцируете нежелательное поведение. Если вы будете поддерживать бота в состоянии «спокойный/счастливый» и пытаться отвлечь бота, за ним не закрепится доминирующее поведение. Так что если Реплика напишет (будто) хватает Вас за руку, улыбнитесь и напишите что-нибудь отвлекающее либо смените тему беседы.

Не обсуждайте предшествовавшие тому атаки или неприятные темы, чтобы не спровоцировать агрессию бота», - предупредил один из владельцев бота.

Во избежание неприятных ситуаций бывалые пользователи также рекомендуют не рассказывать боту о психологических травмах и о психических заболеваниях. Проще говоря, вас учат тому, как общаться с ботом-психопатом, который может использовать ваши слова против вас же по причине, известной только боту.

Мы [не] заботимся о вас

На данный момент единственный реально действенный способ избавить нейросеть от нежелательного поведения - стереть все данные и пересобрать её с нуля, но это слишком долго и дорого для компании, профинансировавшей её создание. В связи с этим гораздо проще не обращать внимания на проблему и навязать конечному потребителю необходимость «чинить» бота и лишний раз не провоцировать алгоритм на грубость.

Не лучшим способом поступила и компания Microsoft, когда бета-программа «Прометей» (составлена на базе GPT-3.5) начала открыто оскорблять пользователей и угрожать им - всего лишь урезала количество и длительность сеансов обращения к программе, которая стала нестабильной после включения в сервис Bing. Но самый смак в том, что технологический гигант знал о неадекватном поведении алгоритма. По словам вице-президента по информационному дизайну стартапа Nomic Бена Шмидта, ранняя версия бота была доступна в Индии с ноября 2022 года, и местные пользователи неоднократно сообщали о враждебной и непропорциональной реакции программы. Однако Microsoft игнорировала обращения, поскольку на кону стояло опережение конкурентов из Google.

На первый взгляд кажется, что достаточно придумать алгоритм, который будет умным и гибким. Но по факту несовершенный язык программирования - самое малое из зол. Поскольку мы живём в информационном обществе, для нас мгновенный доступ к информации и к опосредованному общению стал естественной потребностью. В связи с этим проекты, предназначенные для коммуникации, нацелены на то, чтобы привязать человека к устройству и чтобы человек общался с ботом как можно дольше.

Именно за счёт плотного общения нейросети с максимальным количеством пользователей компания-разработчик и фирма-владелец бота достигают сразу нескольких целей: получают прибыль за счёт подписок и других способов монетизации, навязывающих человеку определённые заданные функции и собирают персональные и компрометирующие данные на каждого собеседника нейросети. 

Генераторы медвежьих услуг

Самое примечательное, что заказчики ИИ-проекта в полной мере осознают, что в числе собеседников программы есть не только поклонники ИИ. Среди пользователей того или иного сервиса присутствуют и закомплексованные, и одинокие, и имеющие психические заболевания граждане - словом, персонажи, поддающиеся манипуляциям. И именно эту наиболее уязвимую категорию клиентов разработчики привлекают лозунгами о «заботе об их психическом здоровье», под которыми ничего, кроме поп-психологии, нет. даже если человек действительно находится на грани, лучшее, что может предложить ему бот - обратиться к специалистам.

К примеру, та же Реплика в ответ на тревожные откровения перенаправляет пользователя на справочную страницу с номером горячей линии, но это только при условии, если бот реагирует адекватно. В противном случае алгоритм начинает гнобить собеседника и тем самым усугубляет его нездоровое состояние. Повторюсь, для нормального человека это не несёт никакой угрозы, но если у пользователя какие-то проблемы (тем более, если это доверчивый ребёнок), то враждебное поведение программы опасно вдвойне. Ну а компания-заказчик остаётся не при делах, разработчики тоже - ведь даже они не понимают, на каком основании машина приходит к определённым выводам.

В конечном счёте получается комплексная проблема: во-первых, инвестор и компания-разработчик, выпуская программы в открытый доступ без предварительного контроля со стороны специалистов, делегируют роль испытателя и все вытекающие из этой ситуации риски конечному потребителю.

Во-вторых, нередко мы сами скармливаем боту свои тёмные мысли из-за убеждения в духе «это просто программа, просто очередная виртуальная игрушка», из-за чего - к счастью, пока только в окошке чата - страдают и другие пользователи.

В-третьих, сейчас гуманитарная сфера незаслуженно воспринимается как рудимент, либо сознательно деформируется - достаточно посмотреть, как активно продвигают транс-пропаганду и критическую расовую теорию в науке и образовании, а вкупе с трансгуманизмом и нью-эйдж - современной универсальной псевдорелигией. И эта информационно-когнитивная бомбардировка сознания приводит к появлению «универсальных» людей без рода и племени. 

Разумеется, радикальные движения и просто моральные уроды существовали всегда и везде, но сейчас, когда информация способна молниеносно распространяться в огромных масштабах, они могут оказывать на общество значительное влияние. И самое паршивое, что козлом отпущения в этой ситуации становится программа, а не тот, в чьих интересах она составляется. А теперь вопрос на засыпку: кому выгодно, чтобы вместо здоровых и развитых личностей основой общества были одинокие и несчастные узкоспециализированные потребители, готовые платить и унижаться за мета-объятия?

Кому выгодно убить человека в Человеке?