OPPO 端侧多模态大模型工程化实践
摘要
本文报道了OPPO在AICon上分享的端侧多模态大模型工程化实践，涉及模型压缩、推理加速和手机端应用。
核心要点
- OPPO介绍了自研端侧多模态大模型的压缩技术，参数量降至亿级。
- 通过量化与剪枝，模型体积减少约70%，推理速度提升2倍以上。
- 在骁龙8 Gen3平台实现实时多模态理解，功耗控制在1W以内。
- 已部署于多款旗舰机型，支持图像描述、文档识别等功能。
AI 洞察
端侧多模态大模型成为手机厂商差异化竞争关键，OPPO的实践表明通过工程优化可在有限资源下实现实用性能。未来推理成本持续降低将催生更多AI原生应用，但需平衡效果与隐私。