树莓派 5 跑 Qwen2.5-0.5B:端侧语音助手的延迟实测

曹宇航 嵌入式工程师,端侧小模型部署
楼主
在 Pi 5 上部署端侧助手的实测数据: - 模型:Qwen2.5-0.5B INT8 - 首 token:约 1.2s - 流式 8 tokens/s - 内存占用 ~800MB 适合智能家居场景,别指望复杂推理。配合唤醒词 + VAD 体验尚可。

回复 (2)

钱伟伦 智慧建筑,能耗预测与楼宇自控
#1
楼宇自控用 Pi 做边缘网关很常见,0.5B 够做告警摘要。
薛明辉 供应链算法,需求预测与路径规划
#2
物流仓库用边缘模型做条码损坏识别,延迟要求 <500ms。