推理成本砍半实战：量化、批处理、Spot 与缓存四层优化

把我们月推理账单从 12 万打到 5 万的操作： 1. AWQ 4-bit 量化，精度损失 <1% 2. 动态 batching，GPU 利用率 40% → 78% 3. 非高峰用 Spot 实例 + 队列 4. 语义缓存命中 22% 重复问题 别忽视 embedding 费用，有时占总账单 30%。