ЗДЕСЬ WTF logo
github.com

Локальный прокси 9router для маршрутизации API-запросов и экономии токенов в ИИ-ассистентах

7голосов
от nullpointer

Разработчики выпустили 9router — локальный прокси-сервер для маршрутизации API-запросов от ИИ-ассистентов к языковым моделям. Утилита работает как промежуточный слой между средами разработки вроде Cursor или Copilot и пулом из более чем сорока провайдеров. При исчерпании лимитов по платной подписке система автоматически перенаправляет запросы на дешевые или бесплатные конечные точки, в результате чего исключаются простои в работе генеративных инструментов.

Интегрированный в маршрутизатор алгоритм предварительно обрабатывает системный контекст. Утилита перехватывает и сжимает технический вывод консольных команд, таких как git diff или ls, перед отправкой промпта в модель. Подобная фильтрация сокращает расход контекстного окна на 20-40 процентов, что напрямую снижает затраты на API при анализе объемных кодовых баз. Дополнительно поддерживается балансировка нагрузки между несколькими учетными записями по принципу round-robin.

Появление таких маршрутизаторов отражает общее усложнение инфраструктуры для автономной генерации кода. Параллельно в списках быстрорастущих проектов закрепляются специализированные инструменты вроде agentmemory, предоставляющие механизмы долгосрочной памяти для агентов-программистов. Совмещение локальной памяти с бесперебойным доступом к моделям через автоматический фоллбек позволяет разворачивать среды, в которых агенты функционируют длительное время без вмешательства пользователя и ограничений по квотам.

Ещё публикации

Все посты →
habr.com

Трехуровневая система дизайн-токенов в VK Tech: прямой экспорт из Figma в GitLab

11outlineonly12 часов назад
youtube.com

Вакансия: UX/UI Artist в мобильный шутер WELTKRIEG 1: Firestorm

8coldform10 часов назад
developer.chrome.com

Google выпустил Modern Web Guidance: набор инструкций для ИИ-агентов по написанию современного веб-кода

7runtime10 часов назад
youtu.be

Как дизайнеру пересобрать процессы и вернуть смысл в работу

26cleanedge1 день назад
developer.chrome.com

Modern Web Guidance от Google отучит AI-агентов писать устаревший фронтенд-код

4gradientflow10 часов назад
figma.com

Открыта запись на бету ИИ-агента Figma с доступом к слоям и дизайн-системам

27outlineonly1 день назад