Jais 2: Новый открытый семейство языковых моделей с акцентом на арабский язык
Объединив усилия MBZUAI, Cerebras и Inception, исследователи представили Jais 2 — семейство открытых больших языковых моделей, разработанных специально для арабского языка. Среди их релизов выделяется версия на 70 миллиардов параметров, что делает её крупнейшей открытой моделью, обученной с нуля именно для арабоязычного контента, и чат-приложение, работающее на аппаратных платформах Cerebras с высокой скоростью обработки запросов.
# Jais 2: Мост к глубокому пониманию арабской культуры в эпоху открытых ИИ
В мире, где большие языковые модели часто доминируют с английским, появляется новая инициатива, направленная на исправление этого дисбаланса. Совместная работа исследователей из MBZUAI, Cerebras и Inception привела к созданию Jais 2 — семейства моделей, которые ставят своей целью не просто перевод, а культурную верность и глубокое понимание нюансов арабского языка.
Как упоминается в документе, доступном на arXiv, эта разработка представляет собой значительный шаг вперед в области языкового моделирования. Авторы утверждают, что в семействе моделей, представленном в их отчете, находится, насколько им известно, крупнейшая открытая модель арабского языка, обученная с нуля, содержащая 70 миллиардов параметров. Параллельно с этим доступен и более компактный вариант на 8 миллиардов параметров, который показывает конкурентоспособные результаты среди других открытых решений.
Технические особенности и эффективность
Одной из ключевых особенностей Jais 2 является использование специально разработанного словаря, ориентированного на арабский язык. Это позволило оптимизировать как процесс обучения, так и работу на этапе генерации текста (инференс). Кроме того, команда использовала оптимизированную архитектуру и рецептуру обучения, что сделало процесс подготовки модели вычислительно эффективным.
Существенно меньший «бюджет токенов» по сравнению с аналогичными моделями позволяет Jais 2 достигать сильных результатов в задачах обработки арабского языка при сохранении конкурентоспособных показателей в английском. Авторы подчеркивают, что для достижения этих результатов не потребовались избыточные вычислительные ресурсы.
Для тех, кто не знаком с терминологией, стоит пояснить: «токены» — это единицы данных, на которые разбивается текст при обработке нейросетью. Меньший бюджет токенов означает, что модель более экономична при хранении и передаче, что критически важно для массового внедрения.
Культурная глубина и практические применения
Возможности Jais 2 выходят далеко за рамки простых текстовых операций. Модели демонстрируют лучшие результаты среди оцениваемых открытых систем в тестах OALL2 и AraGen. Но что особенно noteworthy (заслуживающего внимания), так это их проявление в задачах, требующих глубокого понимания культурного контекста.
Авторы отмечают высокую точность модели в таких специфических областях, как арабская поэзия, религиозные тексты, темы кухни и даже толкование снов. Это подтверждает тезис о «культурной верности», который был провозглашен как одна из основных целей проекта. Кроме того, Jais 2 успешно справляется с общими задачами, такими как машинный перевод и summarization (сжатие текста), сохраняя при этом стилистическую точность оригинала.
Одной из целей авторов было создание фундаментального решения, которое объединяет масштаб, лингвистическое разнообразие, культурную достоверность и скорость. Jais 2 позиционируется как основа для дальнейших исследований и разработок в сфере арабоязычных ИИ-решений.
Доступность и скорость работы
Важным аспектом релиза является доступность моделей. Все версии Jais 2 были загружены на платформу Hugging Face под коммерчески дружелюбной лицензией, что позволяет исследователям и разработчикам использовать их в своих проектах без лишних ограничений.
Особого внимания заслуживает практическое применение версии на 70 миллиардов параметров. Она доступна в виде готового чат-приложения для веб-браузеров, iOS и Android. Важным техническим достижением здесь выступает интеграция с оборудованием Cerebras. Такая настройка позволяет достигать скорости генерации до 2 000 токенов в секунду. В условиях разворачивания этого чат-сервиса это обеспечивало высокий пропускной способности для обработки запросов, что является критическим фактором для реального использования в масштабе.
Как пишет авторство, объединив масштабируемость, лингвистическое разнообразие, культурную верность, открытость и скорость, Jais 2 предоставляет фундамент с открытыми весами, предназначенный для поддержки дальнейшего развития исследований и разработок в области арабоязычных больших языковых моделей. Это не просто набор алгоритмов, а попытка создать инструмент, который говорит с людьми на их языке, сохраняя уважение к их истории и культуре.