Закрытый контур + локальная LLM: как мы запустили AI-агента без интернета
Компания «Первая Форма» адаптировала своего AI-ассистента для работы в закрытом контуре промышленного заказчика, где отсутствует доступ к интернету и облачным сервисам. Изначально ассистент использовал облачные большие языковые модели (LLM) и внешние API.
Основной вызов заключался в перестройке инфраструктуры (80% работы), а не в замене облачных моделей на локальную (Qwen 3.5). Были разработаны локальный сервис векторизации zvec-search для поиска по документации и манифест-ориентированный скрипт для развертывания. Мониторинг перешел на ручной контроль.
💡 В чем бизнес-ценность?
Кейс показывает возможность внедрения AI в условиях строгих ограничений безопасности. Он подчеркивает важность комплексной адаптации инфраструктуры для цифровой трансформации в закрытых контурах, открывая перспективы для применения AI в высокозащищенных секторах.
Первоисточник
Читать оригинал