Микро-агенты: новый уровень коллаборации моделей

Новый уровень управления моделями

Внимание смещается от разработки новых больших языковых моделей (LLM) к управлению их взаимодействием. vLLM Semantic Router представляет собой новый подход к организации запросов к моделям, позволяя создавать сложные сценарии коллаборации прямо на стороне сервера, не требуя изменений в клиентском коде.

Как это работает

Традиционные маршрутизаторы просто направляют запросы к нужной модели. vLLM Semantic Router идёт дальше, позволяя организовать взаимодействие нескольких моделей для решения одной задачи. Пользователь по-прежнему обращается к одной модели (vllm-sr/auto), но за этим интерфейсом скрывается сложная логика обработки запроса.

В основе системы лежит концепция "лупера" (looper) — среды выполнения для микро-агентов. Лупер анализирует запрос, выбирает алгоритм взаимодействия моделей и управляет процессом, включая распределение задачи, сбор результатов и синтез финального ответа. Существуют различные паттерны луперов:

• Confidence: последовательное повышение сложности, начиная с более дешевой модели и переходя к более мощной, если результат недостаточно уверенный.
• Ratings: параллельный запуск нескольких моделей и агрегация результатов с учетом их "рейтинга".
• ReMoM: многократное моделирование с последующим синтезом результатов.
• Fusion: анализ расхождений в ответах разных моделей для выявления наиболее надежного решения.
• Workflows: организация взаимодействия моделей в виде последовательности ролей (планировщик, корректировщик, верификатор, финализатор).

Что изменится для разработчиков

Разработчикам больше не нужно самостоятельно строить сложные графы взаимодействия моделей в своих приложениях. Вся логика коллаборации переносится на уровень сервера, что упрощает разработку и обслуживание приложений. Они продолжают обращаться к одному endpoint, а маршрутизатор сам решает, как лучше обработать запрос.

Что это значит для бизнеса

Организации, использующие LLM, могут значительно повысить эффективность и снизить затраты. Например, для простых задач можно использовать более дешевые модели, а сложные задачи распределять между несколькими моделями для повышения точности. В ходе тестирования на бенчмарках LiveCodeBench, GPQA-Diamond и Humanity's Last Exam, vLLM Semantic Router показал результаты, сопоставимые или превосходящие лучшие одномодельные решения, такие как Fugu Ultra и GPT-5.5. На Humanity's Last Exam, гибридный подход (VSR Hybrid) показал результат 47.1, в то время как лучшие одномодельные решения выдавали 40.5-41.4.

Что это значит для бизнеса

vLLM Semantic Router позволяет создавать более надежные и эффективные AI-сервисы. Например, для задач, требующих высокой точности (например, финансовые консультации), можно использовать комбинацию моделей, специализирующихся на разных аспектах задачи, и алгоритм Fusion для выявления расхождений и принятия обоснованного решения. Это может снизить риски ошибок и повысить доверие к AI-сервису.