Самое сложное в мультимодельной инфраструктуре — это всё, что происходит между запросом и ответом. Именно это WayJet выстраивает в каждом вызове, чтобы ваш код оставался одной чистой интеграцией, а слой отрабатывал своё.
Каждый вызов оценивается по актуальному состоянию провайдера, задержке и цене, а затем направляется по лучшему маршруту — с балансировкой нагрузки, с учётом задержки, с учётом стоимости или по правилам. Закрепите провайдера, отдайте предпочтение самому дешёвому участнику или маршрутизируйте по header; политика — это конфигурация, а не повторное развёртывание.
Задержка, статус и расходы по каждой модели в одном месте — с разбивкой по каждому запросу на сегменты маршрутизации, upstream и cache, чтобы ничто в вызове не оставалось чёрным ящиком, о котором приходится гадать.
Определите виртуальную модель, которая разрешается в лучшего участника по стоимости, приоритету или весу. Меняйте политику выбора, не трогая ни строки вашего кода.
Маршрутизируйте через собственные аккаунты провайдеров, когда захотите, — сохраняйте скидки за обязательства по расходам, доверьте оркестрацию WayJet, который берёт лишь плату за услугу.
Лимиты на ключ по RPM, TPM, параллелизму и дневным расходам, а также бюджеты на пользователя и на ключ — управление встроено в слой и применяется до вызова upstream, а не пристроено постфактум.
Точное и семантическое кеширование с переключателями на ключ и наблюдаемостью попаданий — повторная работа выдаётся из cache, поэтому стоимость upstream вы оплачиваете один раз, а не каждый раз.
Стоимость token рассчитывается из собственного потребления upstream по ценам каталога, в decimal, с fail-closed, когда вызов невозможно оценить точно. Точная цена каждого вызова — по замыслу.
Единый источник истины о расходах и объёме по всем моделям и ключам — запрашивайте по периоду, модели или ключу, с предоплаченным балансом, который никогда не сгорает.
Один API-ключ ко всем моделям — маршрутизация, наблюдаемость и контроль включены.
