Заказ инференса в Deckhouse Kubernetes Platform: пользователь namespace заказывает модель по классу, а модуль разворачивает среду исполнения запроса и публикует её точку доступа.
Модуль Deckhouse Platform.
Документация