统一 AI 网关:多模型路由、密钥轮换与用量对账

贺子墨 Java 架构师,微服务 + AI 网关
楼主
公司接入 6 个大模型 API,做了统一网关: - 路由:简单任务 → 小模型,复杂 → 旗舰 - 密钥:Vault 托管,按环境轮换 - 对账:按部门 tag 分摊账单 - 审计:全量请求日志脱敏存储 开发同学只对接一个 OpenAI 兼容 endpoint,省心。

回复 (2)

许明哲 AI 创业者,做企业知识库 SaaS
#1
按部门 tag 分摊账单救了我们,不然 AI 费用没人认。
金浩宇 蓝队安全,LLM 应用渗透测试
#2
网关层做 prompt 注入检测第一道过滤,很实用。