Больше памяти — не значит быстрее: разобраны предвычисления и декодирование в Apple M5 Ultra

# Больше памяти — не значит быстрее: prefill, decode и релиз Apple M5 Ultra

Апелляция к понятию «быстрее» в технологическом маркетинге часто обманчива. В контексте больших языковых моделей (LLM) разница между скоростью вычислений и скоростью выдачи ответа кроется не в количестве ядер, а в фундаментальном отличии двух фаз работы нейросети: предвычисления (prefill) и декодирования (decode). Новый чип Apple M5 Ultra, анонсированный сегодня, с его 512 ГБ объединенной памяти и рекордной пропускной способностью 1,2 ТБ/с, меняет ландшафт, но не отменяет физических законов вычислений.

Физические ограничения: модель Roofline

Инженеры высокопроизводительных вычислений (HPC) десятилетиями используют модель «крыши» (Roofline model) для оценки производительности любого железа. Любая система имеет два главных потолка: максимальную вычислительную мощность (измеряемую в флопс) и максимальную пропускную способность памяти (байт в секунду). То, в каком из этих ограничений вы упретесь, зависит от «интенсивности операции» (operational intensity) — отношения количества вычислений к объему данных, прочитанных из памяти.

* Высокая интенсивность: система упирается в вычислительную мощность (нужно больше ядер). * Низкая интенсивность: система упирается в пропускную способность памяти (данные просто не успевают долететь до процессора).

Именно эта дихотомия объясняет, почему простое увеличение объема памяти не гарантирует мгновенного ответа бота.

Prefill: параллельная обработка промпта

Фаза префикса (prefill) возникает при обработке пользовательского запроса. Модель читает весь промпт одновременно, один за другим проходя токены через вычисления. Поскольку веса нейросети загружаются один раз и переиспользуются для всех токенов запроса, объем данных на чтение постоянен. При увеличении длины промпта отношение вычислений к данным растет.

В этой фазе интенсивность операций высокая. Система склонна упряться именно в вычислительную мощность. Здесь в дело вступают тензорные ядра — специализированные блоки, способные за такт выполнять операции матричного умножения над целыми плитками данных, а не над отдельными числами. Именно здесь Apple сталкивается с опытом NVIDIA, у которой тензорные ядра шестого поколения (Blackwell) отлаживались на протяжении восьми лет под экосистему CUDA, в то время как Apple только оттачивает MLX.

Decode: битва за пропускную способность

Фаза декодирования — это генерация следующего токена. В отличие от prefill, здесь модель обрабатывает только один новый символ за раз, но при этом должна перечитать все веса модели и кэшированные значения (KV-кэш) из памяти. При этом объем данных для обработки остается огромным, а количество необходимых вычислений минимальным.

Здесь интенсивность операций падает почти до нуля. Главный фактор, ограничивающий скорость, — это пропускная способность памяти. Нейросеть может иметь миллионы ядер, но если они не получают данные вовремя, они простаивают. Apple M5 Ultra предлагает 1,2 ТБ/с, что делает его конкурентоспособным именно в этом сценарии, особенно учитывая стоимость дискретных карт такого объема памяти.

Сравнение архитектуры: Apple M5 Ultra против NVIDIA RTX PRO 6000

Пресс-релиз Apple фокусируется на цифрах, которые выглядят впечатляюще, но требуют инженерного контекста для интерпретации.

| Характеристика | Apple M5 Ultra | NVIDIA RTX PRO 6000 (Blackwell) | | :--- | :--- | :--- | | Объем памяти | До 512 ГБ (единая память) | До 128 ГБ (GDDR7 ECC) | | Пропускная способность | 1,2 ТБ/с | 96 ГБ/с | | Вычислительные блоки | 80 ядер GPU, 1-е поколение нейроускорителей (v1.0) | 752 тензорных ядра, 5-е поколение (FP4) | | Оценочная стоимость | От $5 499 | Аренда от $10-18k за сопоставимые условия |

Инженерное сообщество (Hacker News) приходит к выводу, что RTX PRO 6000 превосходит Mac Studio почти во всех аспектах, связанных с вычислениями и обучением. Однако Apple остается безальтернативным лидером по объему доступной памяти. Слухи указывают на то, что следующее поколение чипов Apple (M7) будет создано специально с акцентом на задачи ИИ, возможно, с улучшенной эффективностью префикса.

Практические выводы для разработчиков

Не стоит смотреть на этот чип как на универсальное решение для всех задач ИИ. Выбор зависит от вашей нагрузки:

1. Для inference (генерации текста): Если вы работаете с одной моделью, генерируете длинные тексты и для вас критичны приватность, отсутствие шума и стоимость на длинной дистанции, то 512 ГБ памяти Apple M5 Ultra — это мощный аргумент. Здесь проблема декодирования решена за счет памяти. 2. Для обучения и prefill длинных контекстов: Здесь преимущество тензорных ядер NVIDIA и многолетняя оптимизация CUDA перевешивают преимущество памяти Apple. Восемь лет опыта настраивания софта для матричных операций против двух лет для MLX создают существенный разрыв в эффективности использования ресурсов.

Технологический прогресс часто нелинеен. Увеличение емкости памяти не гарантирует линейного роста производительности, но для определенных сегментов задач, таких как локальный инференс с большими моделями, это становится ключевым фактором.

*«Я бы пропустил M5 и M6 для LLM-задач и подождал год до M7»* — такой совет дает один из комментаторов в треде на Hacker News, предвидя будущую специализацию процессоров Apple под искусственный интеллект. Пока же выбор стоит между «бегством» от ограничений памяти Apple и «бегством» к вычислительной мощности NVIDIA, в зависимости от конкретных потребностей вашего проекта.