Языковой барьер в AI: почему обработка русского текста на Claude Opus 5 стоит почти в четыре раза дороже, чем на GPT-5.5
Многие сравнивают языковые модели исключительно по цене за миллион токенов, игнорируя скрытую стоимость токенизации. Новое исследование показало, что из-за различий в алгоритмах разбивки текста один и тот же русскоязычный запрос для модели Claude Opus 5 превращается в почти втрое больше токенов, чем для GPT-5.5. В результате, при одинаковой стоимости за единицу вычисления, работа с Opus 5 на русском языке выходит вчетверо дороже, чем с конкурентами.
# Языковой барьер в AI: скрытые расходы на обработку русского текста
Сравнение цен на API искусственного интеллекта часто выглядит прозрачным:developer предлагает 100 рублей за миллион токенов, а другой — 200. Однако эта цифра обманчива для русскоязычных проектов. Фундаментальное различие в архитектуре «токенизаторов» — алгоритмов, разбивающих текст на минимальные единицы обработки — создает огромные скрытые расходы.
В свежем исследовании на платформе Habr было продемонстрировано, что модель Claude Opus 5 при работе с русским языком демонстрирует крайне неэффективную токенизацию. Для обработки той же текстовой информации Opus 5 генерирует в 3,9 раза больше токенов, чем новейшая версия от OpenAI — GPT-5.5. Это приводит к тому, что фактическая стоимость вызова Opus 5 для русского контента оказывается практически в 4 раза выше, чем у американского конкурента, несмотря на формально одинаковые тарифы за токен.
Как модели «режут» русский язык
Ключевая проблема кроется не в интеллекте модели, а в том, как она воспринимает символы перед началом вычислений. Процесс перевода строки пользователя в числа, понятные нейросети, называется токенизацией.
Исследование было проведено на базе четырех пар параллельных текстов: техническая статья, диалог в службе поддержки, официальное уведомление и фрагмент кода на Python. Тексты были написаны специально для теста, чтобы исключить влияние случайных особенностей трафика.
Результаты показали шокирующую картину. У большинства мировых лидеров индустрии (OpenAI, Gemini, Grok) английский текст обрабатывается по стандартной схеме: примерно 5 символов в одном токенном слоте. Для русского языка эти же модели показывают меньшую эффективность, расходуя на него на 18–23% больше токенов по сравнению с английским аналогом.
Ситуация кардинально меняется в случае с Claude Opus 5. Токенизатор этой модели на русском языке работает в режиме почти «по одной букве». Среднее значение сокращается до 1 символа на токен. Это означает, что фраза в 1000 русских символов для Opus 5 превращается в 1000 токенов, тогда как для GPT-5.5 этот же объем займет лишь около 250–260 токенов.
Исследователи также отметили интересную обратную зависимость у российских моделей YandexGPT и GigaChat. Благодаря словарям, обученным с упором на кириллицу, эти модели не просто справляются с русским языком, а делают его обработку *дешевле* английского. Там один русский символ может весить даже меньше одного ангlosаксонского символа в терминах токенов.
Реальная цена за тысячу символов
Теоретические данные требуют перевода в финансовые показатели для бизнеса. Исследование рассчитало стоимость обработки 1000 символов входного текста, используя средние рыночные цены на модели.
Разрыв оказывается огромен. Для обработки той же тысячи русских символов: * GPT-5.5 обойдется примерно в 0,14 рубля. * Claude Opus 5 потребует почти 0,53 рубля.
Коэффициент различия составляет 3,9 раз. Это чистый эффект алгоритма токенизации, а не разницы в производительности или «умении» модели отвечать на вопросы.
Интересно, что на англоязычном контенте разрыв между этими моделями сужается: разница в цене снижается до 1,55 раза, так как оба токенизатора работают на русском более эффективно для английского алфавита. Однако для продуктовой команды, работающей на русском языке, выбор Claude Opus 5 без учета этих нюансов может стать фатальной ошибкой при планировании бюджета.
Методика измерения и нюансы использования
Для проверки утверждений автор эксперимента прогнал тексты через 11 различных токенизаторов, включая DeepSeek, Qwen, Kimi и китайские модели. Результаты подтвердили масштаб проблемы: некоторые китайские модели демонстрируют разброс от 38% до 86% неэффективности на русском языке по сравнению с их работой на английском.
Особое внимание в статье уделено также тому, как проверять расход токенов («usage») у агрегаторов и провайдеров. Выяснилось, что некоторые шлюзы возвращают неверные данные по использованным токенам, включая служебные системные сообщения или пересчитывая их через открытые токенизаторы (например, OpenAI), в то время как запрос ушел к другой модели. Это делает невозможным точный расчет стоимости без прямой интеграции с официальными API.
Для разработчиков предлагается простой метод проверки: вычисление разницы расхода токенов между пустым запросом-затычкой и запросом с вашим текстом. Это позволяет исключить системный шум и получить реальное количество токенов, потраченных именно на обработку контента.
Выводы для разработчиков
1. Цена за токен — обманчивый метрик. Нельзя выбирать модель, ориентируясь только на таблицу цен за миллион токенных единиц без учета языка пользователя. 2. Тестируйте на своих данных. Разброс в эффективности зависит от структуры текста (код, проза, JSON). Для русскоязычного продукта сравнение должно проводиться по цене за реальную тысячу символов запроса. 3. Оптимизируйте системные инструкции. Чтобы снизить затраты, можно оставлять системные промпты и схемы JSON на английском языке, передавая пользователю только русский контент. Это может сократить количество входных токенов на значительную величину, особенно при работе с неэффективными токенизаторами. 4. Сверяйте данные. Не доверяйте слепо показателям usage от третьих лиц или агрегаторов. Сверяйте их хотя бы раз с открытым токенизатором модели или официальным кабинетом разработчика.
Таким образом, при планировании AI-продукта для русскоязычного рынка, экономическая эффективность GPT-5.5 или аналогичных моделей пока значительно превосходит решение с Claude Opus 5, если не предпринимать специальных шагов по оптимизации запросов.