Новости ИИ, 10 октября: Cloudflare выпустила мультимодальную модель Clef-omni
В выпуске: Cloudflare выпустила мультимодальную модель Clef-omni; Длинный синтез показал ошибки вокруг модели; Удары дронов вывели из строя два дата-центра Yandex.
Cloudflare выпустила мультимодальную модель Clef-omni
Cloudflare добавила в семейство моделей для принятия решений Clef-omni: она принимает текст, изображения, аудио и видео. Для аудио поддерживаются форматы wav и mp3, для видео — mp4 и webm; обработать разные типы данных можно одним API-вызовом. По данным Cloudflare, медианное время ответа составляет около 130 мс для текстовых запросов и около 150 мс для изображений, а обработка видео длительностью 21 секунда со звуком занимает около 1,5 секунды. В основе модели — Qwen3-Omni-30B-A3B-Instruct; веса Clef-omni опубликованы на HuggingFace.
Цена Clef-flash снизилась с $0,09 до $0,038 за миллион входных токенов, а Clef-omni стоит $0,15 за миллион. При этом размер контекстного окна хостируемой Clef-flash уменьшили с 64k до 24k; опубликованные веса модели не менялись и поддерживают окно 256k при самостоятельном запуске. Контекстное окно Clef осталось 64k.
Что это значит для разработчиков. Clef-omni позволяет обрабатывать аудио и видео вместе с текстом и изображениями в одном вызове API. При выборе Clef-flash стоит учитывать сокращённое контекстное окно; для более длинных запросов Cloudflare рекомендует Clef.
Источник: Cloudflare AI
Длинный синтез показал ошибки вокруг модели
Автор проверил синтез речи на романе Шамиля Алядина «Merdiven»: 16 глав и 15 444 слова звучат почти два часа. Голос сохранял сходство на протяжении чтения, а темп оставался ровным. Основные сбои обнаружились не в модели, а при подготовке текста и аудио: нарезке на предложения, склейке коротких фраз, обработке вдохов, извлечении текста из книги и разметке времени. Для оценки автор использовал обратную вычитку: распознавал синтезированную речь и сравнивал результат с текстом по CER. На прозе первой главы CER оказался ниже 2%, тогда как на специально сложном наборе из 14 фраз — около 14%. Проверочный набор оказался недостаточным для оценки обычного чтения и в одном случае не помог отличить полезную правку от вредной.
Что это значит для разработчиков. При оценке синтеза длинного текста важно проверять не только модель, но и весь конвейер подготовки и сборки аудио. Результаты на специально сложных коротких фразах не следует напрямую считать показателем качества чтения прозы.
Источник: Хабр
Удары дронов вывели из строя два дата-центра Yandex
Украинские беспилотники повредили два из пяти дата-центров Yandex — в регионах Сасово и Калуга. Из-за этого компания испытывает трудности с поддержанием работы AI-чатбота и других онлайн-сервисов. Yandex управляет самой популярной поисковой системой в России и известен как «российский Google».
Удары произошли в ответ на российские атаки беспилотников по дата-центрам Украины. По приведённым данным, с конца сентября те атаки нарушили мобильную связь и доступ в интернет для тысяч украинцев. Президент Украины Владимир Зеленский заявил, что удар по российскому дата-центру стал симметричным ответом на эти действия.
Что это значит для разработчиков. Повреждение инфраструктуры Yandex уже затруднило работу AI-чатбота и других онлайн-сервисов, что показывает зависимость доступности таких продуктов от дата-центров.
Источник: Ars Technica