统一 AI 网关:多模型路由、密钥轮换与用量对账
公司接入 6 个大模型 API,做了统一网关:
- 路由:简单任务 → 小模型,复杂 → 旗舰
- 密钥:Vault 托管,按环境轮换
- 对账:按部门 tag 分摊账单
- 审计:全量请求日志脱敏存储
开发同学只对接一个 OpenAI 兼容 endpoint,省心。
回复 (2)
按部门 tag 分摊账单救了我们,不然 AI 费用没人认。
网关层做 prompt 注入检测第一道过滤,很实用。
登录 后参与讨论