Jev 1.14: Поиск объектов, проверка документов и классификация изображений
TypeSafe выпустила модель Jev 1.14, открыв доступ к экспериментальным функциям работы с изображениями, локализации объектов через bounding box и расширенного контекста. В ходе серии тестов оценивали способность модели находить объекты по описанию, извлекать реквизиты с документов и классифицировать породы животных. Результаты показали высокую точность при правильном формировании запросов, но выявили нюансы, влияющие на работу с длинными массивами изображений и сложными документами.
# Jev 1.14: ищем объекты, проверяем документы и находим кошку среди 96 фотографий
14 октября компания TypeSafe объявила о релизе модели Jev 1.14. Обновление внесло в открытый доступ набор экспериментальных возможностей, ранее доступных только разработчикам. Теперь пользователи могут использовать мультимодальные функции: поиск объектов по текстовому описанию, локализацию элементов с использованием координат (box) и работу с длинными контекстами. Тестирование, проведенное 15 октября, охватило задачи от поиска банковских реквизитов до классификации пород кошек и собак.
Как работает поиск объектов с Jev 1.14
В новой версии модель позволяет работать с изображениями, добавляя поддержку нового типа вопроса — box. Этот инструмент возвращает четыре координаты, описывающие рамку вокруг искомого объекта (голова кошки, человек в очках, IBAN на документе), а также метку уверенности confidence. Важно отметить, что при отсутствии объекта в изображении box может вернуть ложноположительный результат. Для корректного определения присутствия элемента разработчикам рекомендуется использовать дополнительный тип вопроса noul, который возвращает вероятность наличия объекта.
Как читать уверенность модели: Метрика confidence (уверенность) варьируется от 0 до 1. По результатам тестов на наборе изображений питомцев при использовании порога уверенности 0.7 все ошибки были исключены, однако число верных находок сократилось до 31% от общего количества запросов. Это означает, что для повышения надежности следует снижать порог для предварительного отбора, а затем либо проверять выбранные объекты вручную, либо использовать дополнительные фильтры. Полный отказ от отсечения низкоуверенных ответов приводит к попаданию значительного количества шумных данных.
Извлечение данных с документов
Текстовый поиск на изображениях документов оказался сложной задачей. На синтетических платежных документах простая локализация IBAN работала успешно, однако на реалистичных имитациях сканов и сложных макетах точность падала. Исследования показали, что попытка найти конкретный реквизит по описанию типа «первый IBAN» или «второй IBAN» на длинной странице дает крайне низкие результаты.
Оптимизация поиска: Эффективность поиска текстовых строк на документах значительно возрастает при применении предварительной обработки. Разбиение изображения на горизонтальные полосы с последующим увеличением отдельных секций повысило долю успешных находок с 44% до 89% на чистых страницах и с 51% до 75% на имитациях сканов. Статистический анализ подтвердил значимость этого метода. Однако полный конвейер, включающий распознавание текста (OCR) с последующей локализацией, требует дальнейшей отладки, так как текущая модель эффективно находит только уже известные ей текстовые фрагменты.
Классификация пород и работа с контекстом
Для классификации фотографий на 37 пород кошек и собак модель Jev продемонстрировала точность 89.5% в режиме без примеров (zero-shot). Точность можно повысить до 91.6%, добавив в запрос пример одного объекта класса. Для сравнения, подход на основе векторных эмбеддингов (Gemini Embedding 2) показал результат 95.4–95.9%. Ни одна из протестированных моделей не допустила ошибку, спутав кошку с собакой; сбои происходили только между похожими породами. Уверенность ответа модели позволяет фильтровать сложные случаи, повышая итоговую точность до 98.7% при уверенности выше 0.9.
Особое внимание уделено работе с длинными контекстами. Модель обрабатывает запросы объемом до 193 тысяч токенов с небольшим снижением точности (на 4.8 п.п.) в средней части текста. Однако эксперименты с подбором нужного изображения из большого массива выявили критическую зависимость от описания. При использовании нумерации внутри массива (например, photo k of n) модель теряла корректность при поиске по средней позиции в наборе из 32 или 96 фотографий. Переход к использованию уникальных имен файлов в описании ответов позволил решить эту проблему.
Стоимость и производительность
По оценкам автора исследования, стоимость серии экспериментов составила около $2.6. Обработка одного изображения размером 640x480 пикселей эквивалентна примерно 870 токенам. Расходы варьируются от 0.00004 доллара за само изображение в зависимости от сложности запроса. При этом время ответа увеличивается при добавлении примеров в варианты: с 0.34 секунды до 1.28 секунды.
*Важно помнить, что функции, связанные с изображениями и расширенным контекстом, отмечены как экспериментальные. Разработчики пока не рекомендуют использовать их для критически важных production-систем без дополнительной валидации.*
Все проверки проводились на публичных датасетах (Oxford-IIIT Pet, RefCOCO) и синтетических данных. Результаты подтверждают потенциал Jev 1.14 для автоматизации задач по обработке контента, но требуют тщательной настройки порогов уверенности и структуры запросов для достижения промышленного качества.