Платформа OlmoEarth: Глобальные вычисления для геопространственного ИИ
Компания Ai2 представила платформу OlmoEarth, разработанную для масштабирования вычислительных моделей искусственного интеллекта в сфере спутниковой наблюдательности. Инфраструктура позволяет проводить анализ огромных массивов геопространственных данных, обрабатывая континентальные территории за считанные дни при стоимости в несколько долей цента за квадратный километр. Система решает проблемы совместимости данных от разных провайдеров, автоматически обрабатывает сбои и оптимизирует использование аппаратных ресурсов.
# Платформа OlmoEarth: Глобальные вычисления для геопространственного ИИ
Спутниковые снимки становятся критически важными для мониторинга экологии, обеспечения продовольственной безопасности и управления рисками стихийных бедствий. Однако запуск моделей машинного обучения на основе этих данных сталкивается с уникальными вызовами, которые отличают геопространственный анализ от обработки обычного текста или изображений. Компания Ai2, автор семейства фундаментальных моделей OlmoEarth, разработала специализированную платформу, способную преодолеть эти барьеры.
Голос редактора: Технологии, позволяющие превращать терабайты сырых данных о Земле в понятные карты рисков, часто остаются в сфере крупных технологических компаний. Платформа OlmoEarth демонстрирует, как инжиниринг может сгладить разрыв между возможностями моделей и реальными ресурсами научных команд.
Специфика вычислений при работе с космическими снимками
Обычные модели машинного обучения, такие как большие языковые модели (LLM), обрабатывают небольшие объемы данных (несколько мегабайт) за доли секунды. В отличие от них, задачи в области наблюдения за Землей (Earth Observation) оперируют терабайтами информации. Работа может растягиваться на часы, так как входные данные часто включают данные с нескольких спектральных диапазонов, типов сенсоров и временных интервалов.
Ключевая сложность заключается в географической привязке. Результатом работы модели является карта, и каждое предсказание должно быть выровнено точно по проекции и координатной сетке, совпадающей с окружающей территорией. Кроме того, процесс загрузки данных занимает значительно больше времени, чем сам вычислительный процесс модели. Это делает критически важным использование эффективных конвейеров обработки данных, способных работать с высоким объемом ввода-вывода.
Правильное железо для конкретных задач
В традиционных вычислениях для ИИ часто используются графические процессоры (GPU) для всех задач. Однако в платформе OlmoEarth принято решение разделить работу на три этапа, каждый из которых требует своего типа оборудования:
1. Получение и предварительная обработка данных (CPU): Эта стадия включает загрузку снимков, их выравнивание и нормализацию. Это операции ввода-вывода, где высокая скорость дисков важнее мощного вычисления, поэтому здесь эффективнее использовать процессоры. 2. Выполнение модели (GPU): На этом этапе запускается прямое прохождение (forward pass) модели и сохранение минимально обработанных выходов. 3. Постобработка (CPU): Результаты из оконных обработок объединяются в единые карты, применяются маски и масштабируются в удобные форматы, такие как GeoTIFF или GeoJSON.
Такой подход позволяет использовать дорогостоящие GPU только там, где это действительно необходимо, не тратя их ресурсы на рутинные операции ввода-вывода.
Параллелизм и обработка ошибок
Исполнение платформы OlmoEarth Divide географические области на мелкие окна, которые могут обрабатываться независимо. Например, для анализа всей Северной Америки система использовала около 19 600 центральных процессоров и 994 графических процессоров параллельно. Сеть передавала данные со скоростью более 168 ГБ/с. Такой уровень параллелизма сократил время вычислений с 4 737 часов последовательной работы до 30,5 часов реального времени — ускорение в 155 раз.
В системах такого масштаба сбои неизбежны: провайдеры могут замедляться, облака могут закрывать обзор, а метаданные могут указывать на наличие снимков, которых физически нет из-за ошибок регистрации. Платформа автоматически реагирует на эти проблемы, перезапуская задачи, отклоняя неудачные источники данных и переключаясь на альтернативные провайдеры.
Будущие возможности
Разработчики уже работают над расширением функциональности. В планы входит автоматизация запуска моделей по расписанию и уведомления об изменениях ландшафта. Исследуются более эффективные архитектуры моделей для снижения затрат на GPU и добавление новых источников данных, включая погодные данные. Также разрабатываются эMBEDDINGS (встроенные модели), которые позволяют выполнять задачи быстрее, используя предварительно вычисленные представления данных, а не анализируя каждую пиксельную область в реальном времени. Платформа изначально спроектирована для работы в любой среде, поддерживающей виртуальные машины и хранилище, что открывает возможности для её развертывания различными партнерскими организациями.