高通：2024多模态AI的感官融合-视觉、听觉与交互技术白皮书_英文版__34页_14mb

如何将AI打造成‘看懂、听清、会交流’的助手

主要内容：

• 多模态AI趋势：人工智能正逐步发展出“视觉”、“听觉”与“交互”能力，即能够理解环境并做出合理回应的多模态模型成为关键方向。示例：多模态大型语言模型(如LLaVA)已支持文本、语音和图像输入，可进行多轮对话。

• 架构革新：为满足真实场景（如家庭、移动机器人）需开发流式架构，支持持续感知与即时响应的多模态智能体。这需整合视觉输入（如视频流）、语言生成与自动化行为。

• 新兴挑战与数据：以“现场教练”项目为例，研究人员构建大型视频数据集，记录教练与学员实时互动，涵盖上千种语言问题和动作分解指令，推动AI理解动态场景与人体动作。

• 技术突破：运用3D卷积代替传统2D网络，显著提升运动识别准确性。同时通过“知识蒸馏”压缩模型规模，提升嵌入式设备推理效率。

• 实证效果：多个基准测试显示，流式大型视频语言模型（Video LLMs）实现接近人类理解的准确反馈，正确率达86%以上，尤其在预测任务表现突出。

• 赋能边缘计算：借助芯片级AI处理能力部署AI应用，优势在于即时响应、数据私有化与能耗优化，代表芯片厂商推进AI落地。

• 未来方向：持续优化多模态模型架构，打造更精细化的机器人交互数据库。

核心结论：AI向“感知+决策”智能演进，依托自主多模态架构与高质量时空数据持续突破，目光聚焦于实现通用型灵活动作理解与实时互动的人工智能代理。