UC伯克利等发布多模态基础模型CoDi-2（英）-11页_3mb

CoDi-2 模型总结

核心贡献：
CoDi-2 是一个用于多模态生成的交互式、自适应且具备跨模态输入输出能力的多模态大语言模型（MLLM），能够处理复杂指令、进行推理与创作等任务。

解决的主要挑战

• 零样本条件下解决复杂的多模态生成控制问题
• 提高多模态推理能力
• 支持模态交叉与多轮对话之间的一致性

关键技术点

• 利用大型语言模型处理跨模态交错输入序列
• 将图像、音频映射到语言序列特征空间
• 定义结构生成流程：模态编码器 -> LLM 理解、指令跟随 -> 扩散模型生成目标模态
• 结合扩散模型实现高保真生成
• 通过负示例提示提升生成质量
• 构建多模态数据集支持跨模态基础训练

主要改进

• 支持语言、视觉和音频三种模态的生成
• 支持跨模态指令的交错理解
• 支持多轮交互式对话

数据构建与应用

• 支持构建指令生成数据集
• 采用负采样策略构建训练数据
• 可处理多种任务类型：
  • 并行模态任务（如图文、音图）
  • 零样本生成任务（style transfer为主体，编辑、概念学习等）
  • 多轮多模态聊天任务

实验结果

在多个生成任务上 CoDi-2 处理零样本效果良好，具备泛化能力强和多模态支持广泛的能力，在图文生成、音频编辑等任务中达到SOTA