Гонка скоростей: почему память станет главным узким местом для развития ИИ-ускорителей
В погоне за производительностью производители чипов сосредоточились на наращивании количества вычислительных ядер и сжатии данных, однако это привело к новой проблеме: вычислительные блоки теперь чаще простаивают в ожидании поступления данных. Samsung планирует решить этот вызов с помощью нового стандарта памяти HBM5, который обещает удвоить пропускную способность и повысить энергоэффективность, но путь до этого уровня сопряжен с серьезными инженерными сложностями.
# Тензорные ядра больше не спасают: почему ИИ-ускорители упрутся в память
Мировая индустрия искусственного интеллекта достигла важного переломного момента. Если в начале развития вычислительных мощностей главным лимитирующим фактором была скорость самих процессоров, то теперь, когда они стали невероятно быстрыми, ограничивающим элементом стала оперативная память. Производители чипов продолжают увеличивать количество тензорных ядер и переходят на более сжатые форматы данных, такие как FP8 и FP4, чтобы сэкономить место. Однако, несмотря на впечатляющие темпы роста показателей на бумаге, реальная эффективность систем начинает сталкиваться с физическими пределами пропускной способности памяти.
Когда ускоритель не имеет данных для обработки, дорогостоящий чип, оснащенный десятками миллиардов транзисторов, вынужден находиться в режиме ожидания. Это явление известно как «проблема памяти» или bottleneck. В отличие от прошлого, когда увеличение вычислительной мощности гарантировало рост производительности, сегодня просто добавить ядер недостаточно. Необходимо обеспечить бесперебойный поток данных к этим ядрам, иначе все инвестиции в более мощный hardware уходят в пустую.
Компания Samsung анонсировала разработку памяти HBM5, которая призвана решить эту проблему. По планам производителя, новая технология должна удвоить производительность по сравнению с предыдущим поколением HBM4E и повысить энергоэффективность на 20%. Ожидается, что пропускная способность одного стека памяти сможет приблизиться к отметке 4 ТБ/с благодаря использованию 4096-битной шины данных. Давайте разберемся, как работает эта система и какие вызовы она несет.
Когда ускорителю нечего считать
Большая языковая модель (LLM) — это прежде всего гигантский массив числовых параметров (весов). В процессе генерации текста эти параметры должны постоянно извлекаться из памяти, передаваться в вычислительные блоки, участвовать в матричных операциях, а промежуточные результаты записываться обратно. Этот цикл повторяется для каждого слоя модели и для каждого нового слова (токена), которое генерируется.
Представьте ситуацию, когда в ускоритель установлен чип с удвоенным количеством тензорных ядер. Теоретически его производительность должна вырасти в два раза. Но на практике этого не произойдет, если память не сможет подавать данные с соответствующей скоростью. Часть ядер просто будет простаивать, ожидая новой порции информации.
Чем больше модель и контекст, тем серьезнее проблема. При работе с длинными диалогами или документами возрастает объем KV-кэша (ключей и значений), который необходимо постоянно читать и обновлять. Если памяти недостаточно или она работает медленно, скорость генерации текста падает. Разработчики уже пытаются обойти это, переходя на форматы с меньшей точностью (FP8, FP4) и используя кеш-память (SRAM), но объем данных продолжает расти быстрее, чем возможности оптимизации.
Для владельца дата-центра критически важна загрузка каждого ускорителя. Чем выше загрузка, тем меньше требуется оборудования для обслуживания тех же пользователей. Именно поэтому пропускная способность памяти становится более важным фактором, чем пиковая вычислительная мощность процессора.
Эволюция интерфейсов: от 1024 до 4096 бит
Обычная компьютерная память (DDR) подключается к процессору по относительно узким каналам и устанавливается на отдельных планках. Это дешевое и гибкое решение, но для тысяч параллельно работающих блоков ИИ-ускорителя его оказывается недостаточно. Альтернативой выступает HBM (High Bandwidth Memory), где кристаллы памяти устанавливаются друг на друга и соединяются с помощью TSV (сквозные каналы в кремнии). Готовый блок памяти размещается прямо рядом с вычислительным чипом на общей подложке. Такие короткие линии связи позволяют использовать очень широкие шины для передачи больших объемов данных с меньшими потерями энергии.
История HBM — это постоянная гонка за шириной шины. Первое поколение работало с 1024-битным интерфейсом. Для сравнения, один канал обычной DDR имеет ширину лишь 64 бита. В последующих поколениях увеличивали скорость и количество слоев. HBM3 и HBM3E стали основой современных суперкомпьютеров, обеспечивая пропускную способность выше 1 ТБ/с. Однако увеличить частоту передачи данных до бесконечности невозможно: на высоких скоростях усиливаются помехи, сокращаются допустимые погрешности времени, а стоимость схемотехники выравнивания сигнала растет.
Чтобы не гнаться за частотой, инженеры выбрали путь расширения ширины шины. HBM4 удвоил интерфейс с 1024 до 2048 бит, что можно сравнить с удвоением количества полос на дороге для пропускания больше машин без увеличения скорости каждой из них. Это потребовало сложных переработок контроллеров и подложек.
Ожидается, что стандарт HBM5 сделает следующий скачок. Samsung рассчитывает удвоить производительность относительно HBM4E. Вместо того чтобы вынуждать линии передавать данные в два раза быстрее (что потребует частот около 24 ГТ/с на контакт и усилит влияние помех), компания планирует расширить шину до 4096 бит. Это позволит передавать вдвое больше информации при сохранении стабильных частот передачи.
*Примечание редактора: Хотя инженеры обсуждают и другие варианты, например, 3072 линии в сочетании с умеренным ростом частоты, именно 4096-битная шина рассматривается как наиболее вероятный путь к достижению целевых показателей пропускной способности около 4 ТБ/с.*
Стоит отметить, что Samsung официально не подтвердила конкретную ширину шины 4096 бит как зафиксированную спецификацию, назвав лишь целевые показатели производительности. Поэтому эти цифры следует воспринимать как технический прогноз, а не гарантированную характеристику готового продукта.
Инженерные вызовы и энергоэффективность
Увеличение ширины шины до 4096 бит создает новые проблемы. Каждой дополнительной линии нужны собственные контакты, передатчики и приемники, которые занимают драгоценное место на кристалле и подложке. Если рядом с ускорителем разместить несколько стеков HBM5, количество соединений может достигать десятков тысяч. Все это необходимо разместить на ограниченной площади вместе с вычислительными чиплетами и цепями питания.
Также возрастают риски при производстве. Даже если все кристаллы памяти и вычислительные блоки идеальны, одна ошибка в соединении может испортить всю сборку. Это требует разработки более плотных подложек, раннего тестирования компонентов и систем резервирования линий, что в конечном итоге влияет на процент выхода годных устройств.
Samsung заявляет о повышении эффективности на ватт на 20% по сравнению с HBM4E. Важно понимать, что сама память HBM5 не станет потреблять меньше энергии: удвоение пропускной способности неизбежно приведет к росту абсолютной мощности стека. Снизить энергопотребление за счет единицы производительности должен новый базовый кристалл, который компания планирует выпускать по 2-нм технологии (вместо 4-нм у предыдущих поколений).
С ростом скорости передачи неизбежно возрастает и тепловыделение. Отодвать тепло от многослойного стека HBM5 сложнее, чем от обычной микросхемы. Для решения этой задачи Samsung разрабатывает конструкцию Heat Path Block с внутренними теплопроводящими элементами. Это позволит снизить тепловое сопротивление на 20% и быстрее передавать тепло в систему охлаждения. Для мощных ИИ-ускорителей, которые будут использовать эту память, это, вероятно, потребует массового внедрения систем жидкостного охлаждения.
Будущее инфраструктуры ИИ
Внедрение HBM5 демонстрирует, что развитие ИИ-ускорителей больше не сводится к простому наращиванию вычислительной мощности. Производительность системы теперь зависит от слаженной работы всех компонентов: памяти, интерфейсов, упаковки, питания и охлаждения. Быстрый процессор не сможет раскрыть свой потенциал, если данные будут поступать к нему недостаточно быстро.
Однако стоит отметить, что достижение скорости 4 ТБ/с на стек не устранит проблему узкого горлышка навсегда. Более быстрая память позволит создавать еще более крупные модели, увеличивать контекст и обслуживать больше запросов одновременно. Но со временем объем данных снова вырастет, и обмен информацией опять станет ограничивающим фактором, заставляя инженеров искать решения еще более сложных задач.
Система HBM5 станет важным инструментом, дающим индустрии запас прочности для развития следующего поколения искусственного интеллекта, но это лишь один из этапов долгой гонки технологий.