树莓派 5 跑 Qwen2.5-0.5B:端侧语音助手的延迟实测
在 Pi 5 上部署端侧助手的实测数据:
- 模型:Qwen2.5-0.5B INT8
- 首 token:约 1.2s
- 流式 8 tokens/s
- 内存占用 ~800MB
适合智能家居场景,别指望复杂推理。配合唤醒词 + VAD 体验尚可。
回复 (2)
楼宇自控用 Pi 做边缘网关很常见,0.5B 够做告警摘要。
物流仓库用边缘模型做条码损坏识别,延迟要求 <500ms。
登录 后参与讨论