Nvidia передала в управление Cloud Native Computing Foundation (CNCF, некоммерческий фонд при Linux Foundation) проект OpenShell — систему защиты и контроля автономных ИИ-агентов. Параллельно компания поддержала проект Agent Substrate от Google и представила новые открытые компоненты платформы DSX AI Factory Platform.
Все разработки построены вокруг Kubernetes, системы оркестрации контейнеров для управления распределёнными приложениями, которая становится стандартной средой для запуска крупных ИИ-задач.
OpenShell применяет жёсткие правила к действиям программных модулей, позволяя предприятиям управлять использованием инструментов, доступом к сервисам вывода нейросетей и выполнением задач. Архитектура решения расширяется через подключение собственных вычислительных ресурсов, хранилищ учётных данных и систем мониторинга. За год после запуска инструмент уже применяют более 100 организаций, а сообщество внесло свыше 10 000 правок в код.
Источник изображения: Nvidia
Эффективное масштабирование таких систем требует оптимизации вычислений. Agent Substrate сохраняет среды выполнения ИИ-агентов между задачами и освобождает мощности в периоды простоя. Совместная работа с системами Nvidia Dynamo для вывода моделей и KAI Scheduler для распределения кластерных ресурсов позволяет приостанавливать и возобновлять работу агентов в общем пуле без выделения отдельных серверов под каждую сессию. Nvidia и Google готовят интеграцию OpenShell и Agent Substrate для единого контроля над агентами в облачных и локальных сетях.
Для ускорения развёртывания инфраструктуры компания анонсировала открытые компоненты Nvidia Kubernetes Engine и Nvidia Kubernetes Recipes, которые автоматизируют управление жизненным циклом кластеров и поставляют проверенные образы программного обеспечения. Инструмент Nvidia Snapshot восстанавливает сохранённые состояния реплик за секунды без перезапуска нейросети. Партнёры компании протестировали решение на системах HGX B300 — время готовности рабочей нагрузки сократилось с 8 мин до 31 сек, а старт сервисов обработки запросов ускорился с 2–8,5 мин до 6–34 сек.
Разработки поддерживаются партнёрской сетью из 6 вендоров управляемых Kubernetes-сервисов и 2 телекоммуникационных компаний, которые внедрят функции в свои продукты. Открытый переход критических компонентов ИИ-инфраструктуры снижает порог входа для предприятий, устраняет зависимость от проприетарных решений и формирует единую стандартизированную среду для безопасного и экономичного масштабирования автономных систем.
