Галлюцинации ИИ усугубляют проблемы в сфере обслуживания клиентов
Введение нейросетей в повседневную жизнь перекроило старые правила гостеприимства. По данным отчёта The Verge, клиенты всё чаще игнорируют профессиональные советы поваров и сомелье, уповав на ошибки генеративных моделей. В результате работники сферы обслуживания сталкиваются с невозможными заказами и угрозами безопасности для гостей, чьё здоровье зависит от точной информации, которую алгоритмы часто не могут дать.
# Галлюцинации ИИ усугубляют проблемы в сфере обслуживания клиентов
Раньше золотым стандартом сервиса считалось неоспоримое правило: «Клиент всегда прав». Сегодня же этот принцип находится под угрозой не из-за капризов посетителей, а из-за их доверия к искусственному интеллекту. Генеративные модели, способные выдумывать факты, начинают влиять на принятие решений в ресторанах, отелях и государственных учреждениях, создавая новые вызовы для персонала.
Опасность лжи на кончике ножа
В одной из ресторанов Нью-Йорка официант по имени Мэдисон (имя изменено) столкнулась с непосредственной угрозой безопасности жизни гостей. Её часть работы — предупреждать посетителей об аллергиях на морепродукты. Однако клиенты всё чаще игнорируют эти предупреждения, ссылаясь на выводы нейросети ChatGPT.
«Пациенты будут говорить мне, что у них аллергия на моллюсков, и я приду, и они не будут ничего спрашивать у меня», — рассказала Мэдисон. — «И они закажут рыбное блюдо, в которое входит бульон из моллюсков. Когда я им скажу, что блюдо содержит аллерген, они будут спорить, говоря, что ChatGPT говорит по-другому. Они просто хотят поговорить с ChatGPT».
Техническое объяснение: В данном контексте «галлюцинация ИИ» — это способность генеративной модели генерировать тексты, которые кажутся правдоподобными для человека, но не соответствуют действительности. Алгоритм не всегда способен точно сопоставить сложные перекрёстные реакции ингредиентов, особенно если информация о блюде не была явно указана в его обучающей выборке.
Сомелье и вымышленные вина
Проблема выходит за рамки пищевой безопасности и затрагивает и другие сферы, где требуется экспертное мнение. В том же ресторане Мэдисон отмечает, что гости всё реже обращаются к профессиональным сомелье, предпочитая консультацию нейросети для подбора вин.
Сотрудники вынуждены лгать, чтобы смягчить удар. Вместо того чтобы прямо сказать клиенту, что вино выдумано ботом, они говорят: «У нас есть очень специфический список вин, возможно, это французское вино, а мы его не возим». Клиенты же приходят с запросами на бутылки, которых нет в наличии или вообще не существуют в реальности.
Этот сценарий работает и в обратную сторону: клиенты приходят с уверенностью, что ИИ дал идеальный совет, а персонал вынужден доказывать обратное, пытаясь сохранить лицо и не подорвать доверие к себе.
Агентный ИИ и бюрократия
Ситуация усугубляется появлением новых типов программного обеспечения, называемых агентами. Лаурен Уилфорд, работающая в сфере питания уже 15 лет, описывает случаи, когда клиенты получали звонки или письма от агентов, пытающихся забронировать столы или менять меню в последний момент.
В одном из случаев клиенты, планировавшие важное событие, сделали экстренные запросы на оборудование, которого не было в ресторане, и изменили меню за день до события. На следующий день приезд делегации не дал никаких комментариев относительно этих требований. Уилфорд предполагает, что эти действия совершил не человек, а агент ИИ, обученный на инструкциях, которые он сам же и проигнорировал в реальности.
Специалисты в других сферах тоже сталкиваются с абсурдом. Рейнджер парка Джейсон рассказывает о группах туристов, прибывающих с itinerary (маршрутами), сгенерированными искусственным интеллектом. Эти планы часто содержат невозможные требования: нужно веслом грести по течению, чтобы плыть по течению.
«Самая безумная часть в том, что даже когда рейнджер объясняет это, указывая на карту, мы имеем дело с группами, которые остаются скептичными», — говорит Джейсон. — «Определенный тип пользователя ИИ склонен доверять ChatGPT более, чем рейнджерам, картам и печатным путеводителям».
В сфере образования родители также полагаются на алгоритмы. Кейси, преподаватель после школы, замечает, что семьи отказываются от советов педагогов о режиме сна ребёнка в пользу рекомендаций ИИ, даже если поведение малыша говорит о обратном.
Человеческий фактор vs. Алгоритм
Суть проблемы не в технологическом провале, а в смене парадигмы доверия. Люди, особенно в состоянии тревоги или неопределённости, готовы верить «внешнему сущему», чьи ответы кажутся беспристрастными, чем людям, которые могут ошибаться, иметь предвзятость или выглядеть как «продавцы б/у машин».
Однако это доверие хрупко. Когда ИИ ошибается, создавая ситуации, опасные для здоровья или логически абсурдные, персонал вынужден брать на себя двойную нагрузку: выполнять свои профессиональные обязанности и исправлять последствия ошибочных решений нейросети. Это приводит к тому, что ценность живого взаимодействия, где два человека могут договориться о деталях, теряется, уступая место дистанционным командам, управляемым кодом, который иногда просто не умеет понимать реальность.