Новости ИИ, 13 октября: Amazon Bedrock открыл доступ к GPT-6 через регионы Азии

В выпуске: Amazon Bedrock открыл доступ к GPT-6 через регионы Азии; AWS описала запуск decision-моделей через llama.cpp; AWS описала распределённый инференс на двух GPU-узлах EKS и другое.

Amazon Bedrock открыл доступ к GPT-6 через регионы Азии

Amazon Bedrock предоставляет глобальный межрегиональный инференс для OpenAI GPT-6 Sol и GPT-6 Luna из AWS-регионов Таиланда, Малайзии, Сингапура, Индонезии и Тайваня. GPT-6 Astra доступна таким способом из Сингапура. Сервис распределяет запросы между поддерживаемыми коммерческими регионами AWS, где развернута модель; для вызова передают ID профиля инференса вместо ID модели. Активировать нужно только регион, из которого отправляется запрос: Сингапур включён по умолчанию, а Джакарта, Малайзия, Таиланд и Тайбэй требуют предварительной активации.

Модели доступны через Converse API, OpenAI Responses API и Chat Completions API на конечной точке bedrock-runtime. Для OpenAI-совместимых API поддерживаются подпись SigV4 и ключ Amazon Bedrock. Учёт расходов, квот, событий CloudTrail и метрик CloudWatch остаётся в исходном регионе. В публикации также разбираются настройка разрешений IAM и SCP, управление квотами и мониторинг вызовов.

Что это значит для разработчиков. Межрегиональная маршрутизация даёт разработчикам из перечисленных регионов доступ к ёмкости Bedrock за пределами локального региона. При этом расходы и квоты учитываются в регионе, откуда отправлен запрос.

Источник: AWS Machine Learning · Попробовать в GateLLM: GPT-6 Astra, GPT-6 Luna

AWS описала запуск decision-моделей через llama.cpp

AWS Machine Learning описала два способа обслуживать модели на Amazon SageMaker AI с помощью AWS Deep Learning Container для llama.cpp. Стандартный вариант принимает запросы в формате OpenAI Chat Completions через InvokeEndpoint и возвращает сгенерированный текст. Модель для него упаковывают в model.tar.gz и размещают в Amazon S3; контейнер использует файл GGUF и передаёт настройки llama.cpp через переменные окружения.

Для структурированных решений предлагается расширить контейнер адаптером SemIf, ранее называвшимся OpenJev. Он возвращает вероятности и логиты для заданных вариантов без генерации токена ответа; дочерний образ собирается в AWS CodeBuild и хранится в Amazon ECR. В тесте на 231 задаче JevBench GPU-конфигурация показала ускорение в 4,9 раза на p50 и в 32,2 раза на p95 относительно CPU. При этом результаты CPU и GPU различались на шести сложных задачах, а авторы не считают это свидетельством повышения качества из-за GPU. Модель 4B Q4_K_M выбрана как вариант с приоритетом качества: модели 2B и 0,8B показали точность 66,7% и 58,4%.

Что это значит для разработчиков. Разработчики могут выбирать между генерацией текста и оценкой вероятностей для заранее заданных вариантов, а также сопоставлять CPU и GPU для своих задач. Приведённые замеры не гарантируют аналогичных результатов для других моделей и инфраструктуры.

Источник: AWS Machine Learning

AWS описала распределённый инференс на двух GPU-узлах EKS

AWS рассказала, как развернуть одну большую языковую модель на двух GPU-узлах Amazon EKS с помощью Ray LLM Deep Learning Containers. Узлы выполняют разные этапы инференса: один обрабатывает запрос и формирует KV-кэш, второй генерирует ответ. Сервис доступен через единую совместимую с OpenAI конечную точку.

Контейнер включает vLLM, Ray Serve, NVIDIA Inference Transfer Library (NIXL) для передачи KV-кэша и стек Elastic Fabric Adapter для связи между узлами. Конфигурация приложения задаётся в YAML, а компонент build_pd_openai_app связывает настройки узлов и передачу кэша. В описанной схеме CPU-узел размещает Ray head и системные компоненты, а два GPU-узла обслуживают этапы prefill и decode. AWS также указывает, что такой подход позволяет масштабировать этапы отдельно; среди подходящих типов задач названы RAG, суммаризация документов и агентные приложения.

Что это значит для разработчиков. Разделение prefill и decode позволяет не конкурировать за ресурсы GPU и настраивать этапы независимо. Готовый контейнер включает проверенные зависимости и компоненты для передачи KV-кэша между узлами.

Источник: AWS Machine Learning

Anthropic усилила защиту Claude от атак дистилляции

Anthropic сообщила, что новые меры сократили объём данных, собираемых для дистилляции Claude, примерно на 90–99%. Защита сосредоточена на том, чтобы затруднить доступ к рассуждениям модели: в частности, Claude стал показывать их краткое изложение. В тесте на SWE-bench Verified модель, обученная на полных транскриптах Claude Opus 4.8, набрала 80,4%, а на их сокращённых версиях — 71,8%.

По словам компании, злоумышленники стали обходить суммаризацию, добиваясь раскрытия полного рассуждения, а затем использовали сети поддельных аккаунтов. Одна из таких сетей одновременно управляла более чем 20 тысячами аккаунтов. Anthropic также заявила, что отказалась от значительной выручки и большого объёма платных запросов от участников подобных операций; некоторые изменения потребовали обновить интеграции легитимным пользователям.

Что это значит для разработчиков. Разработчикам, использующим Claude через интеграции, стоит учитывать, что усиление защиты от извлечения рассуждений может потребовать изменений в их подключениях.

Источник: Anthropic Research · Попробовать в GateLLM: Claude Opus 4.8

Anthropic проверила запуск моделей на устройствах IoT

Anthropic Research оценила, могут ли небольшие модели запускать инференс на незнакомых устройствах и выполнять этапы самостоятельного распространения. В тестах модель на 9 млрд параметров запустила инференс на 8 из 9 типов оборудования. Исследователи также распределили Gemma4-26B-A4B между 15 недорогими Android TV-приставками: система выдавала 0,39 токена в секунду.

По результатам упрощённых проверок, модели размером до 30 млрд параметров уже справляются со многими отдельными шагами, но ошибаются при объединении их в полную цепочку. GLM-5.2 и более мощные модели смогли пройти её целиком в рамках этих оценок. Исследователи отмечают, что распространение через устройства IoT могло бы не иметь единой точки отключения и занимать несколько дней на удвоение числа заражённых устройств. Работа сосредоточена на запуске инференса и не означает, что такая сеть уже самостоятельно распространяется в реальных условиях.

Что это значит для разработчиков. Разработчикам стоит учитывать, что для запуска моделей могут использоваться не только серверные ускорители: исследователи проверили распределённый инференс на недорогих IoT-устройствах.

Источник: Anthropic Research

SELFCOMPACT передаёт модели управление сжатием истории агента

Apple ML Research описала SELFCOMPACT — scaffold для языковых агентов, в котором модель сама решает, когда и как сжимать накопленную историю. В длинных цепочках рассуждений и вызовов инструментов устаревший контекст может влиять на следующие ответы и со временем превысить доступное контекстное окно. Обычные механизмы сжимают историю через фиксированное число токенов, не учитывая ход выполнения задачи; из-за этого они могут удалить незавершённые результаты поиска или рассуждения. Один из элементов SELFCOMPACT — вызываемый моделью инструмент для суммаризации накопленного содержимого; описание второго элемента в предоставленном фрагменте обрывается.

Что это значит для разработчиков. Разработчикам агентных систем стоит учитывать подход, при котором решение о сжатии зависит от модели, а не только от достижения порога токенов.

Источник: Apple ML Research

Новое в каталоге GateLLM

  • Muse Wonder от Meta — 1 200 ₽ / 6 000 ₽ за 1M токенов