AI行业深度更新报告：大模型“开源、轻量、端侧”化视频与语音加速落地-240808_23页_2mb

大模型“开源、轻量、端侧”化，视频与语音加速落地

核心内容

本报告聚焦AI大模型在“开源、轻量、端侧”方面的趋势发展，以及视频和语音等AI模态的快速进步，指出AI技术正在加速落地，特别是在内容产业中的应用前景广阔。报告还对相关投资标的进行了推荐，并提示了潜在的风险。

主要观点

• 大模型趋势：2024年以来，大模型在开源、轻量化和端侧化方面取得显著进展，推动AI技术向实际应用靠拢。
• 视频生成：AI生成视频的能力大幅提升，OpenAI的Sora模型突破60秒时长限制，成为行业新标杆。国内如快手可灵、智谱清影等产品也在加速发展，实现商业化。
• 语音交互：GPT-4o等模型在语音交互方面实现重大突破，具备无延迟、情感识别、多模态处理等能力，显著提升人机交互体验。
• 应用场景：AI技术在游戏、教育、情感陪伴等领域具有显著的落地潜力，相关企业将受益于技术进步。
• 投资建议：推荐关注游戏、教育和情感陪伴领域的公司，如吉比特、恺英网络、完美世界、美图公司、南方传媒、皖新传媒、世纪天鸿、昆仑万维、盛天网络等。

关键信息

1. 大模型侧

1.1 开源模型发展

• Llama3.1：7月发布，参数包括8B、70B、405B，性能接近GPT-4o和Claude3.5Sonnet，展现开源模型的竞争力。
• 其他开源模型：如Gemma、Phi-3、DeepSeek v2、Qwen2-72B、Mistral Large 2等，均在性能和参数规模上实现突破，接近或超越闭源模型。

1.2 轻量化趋势

• 轻量模型：如MiniCPM、Qwen2、Gemma 2、Claude 3 Haiku等，参数规模较小，但功能丰富，性价比显著提升。
• 模型表现：部分轻量模型在多个测试维度中表现优异，如MMLU、IFEval、Code HumanEval等。

1.3 端侧模型发展

• Apple Intelligence：端侧模型AFM-on-device具有30亿参数，支持文本撰写、图像生成、语音识别等，表现优于同规模模型。
• 三星AI：在图像生成、翻译、语音识别等领域推出多项AI功能，提升用户体验。
• vivo X100 Pro：在AI功能上综合得分最高，提供多种图像和语音相关AI服务。

2. AI生成视频

2.1 Sora的突破

• 能力提升：Sora支持最长60秒视频生成，画面质量高，具备高度一致性、丰富的动态表现和3D建模能力。
• 技术路线：采用DiT（扩散Transformer）架构，结合大规模训练数据，实现“涌现”能力，提升视频生成质量。

2.2 国内外AI视频产品进展

• 快手可灵：支持文生视频、图生视频和视频续写，生成时长可达3分钟，已推出付费会员体系。
• 智谱清影：支持文生视频、图生视频，具备快速生成和高度可控性，已全面上线。
• Runway Gen-3 Alpha：保持高质量水准，支持多种视频控制功能，如Motion Brush、Director Mode等。
• Luma Dream Machine：提供高质量视频生成，支持关键帧和Loops功能，提升创作效率，具有3D资产积累优势。

3. 语音功能

3.1 GPT-4o语音功能

• 实时响应：响应时间接近人类对话，支持情绪识别和语音转文字。
• 多模态处理：可同时处理文本、图像和音频，提供更自然的交互体验。
• 测试进展：部分功能已向ChatGPT Plus用户开放，未来将向更多用户扩展。

3.2 Seed-TTS

• 自然度和表现力：接近人类水平，支持多种场景和语言。
• 稳定性：通过数据增强和强化学习提升模型稳定性。

3.3 ChatTTS

• 韵律控制：支持细粒度控制语音的韵律、停顿和语气词。
• 应用场景：可用于教育、娱乐等领域，但处理长文本能力尚待提升。

4. 应用场景

4.1 教育领域

• 多邻国：结合GPT-4实现角色扮演和答案解释功能，提升学习体验。
• 可汗学院Khanmigo：实现与虚拟人物对话，增强学习互动性。
• 网易有道Hi Echo：提供24小时在线的口语练习反馈和评分功能，提升学习效果。

4.2 情感陪伴

• Character AI：推出智能NPC语音通话功能，提升用户情感互动体验。
• GPT-4o语音功能：有望增强情感陪伴应用的情感认同和付费意愿。

投资建议

• 游戏领域：吉比特、恺英网络、完美世界、美图公司等，受益于AI技术在游戏中的应用。
• 教育领域：南方传媒、皖新传媒、世纪天鸿等，受益于AI在教育场景中的优化。
• 情感陪伴与社交：昆仑万维、盛天网络等，受益于AI语音和视频能力的提升。

风险提示

• AI应用推进放缓：AI技术在实际应用中可能面临进展缓慢的风险。
• 商业化落地不及预期：AI产品可能在商业化过程中遭遇挑战。
• 生成式内容监管风险：随着AI内容生成的普及，监管政策可能对行业造成影响。