2024-10-27-中国科学技术大学-大模型在推荐系统中的落地实践_48页_11mb

大模型在推荐系统中的落地实践总结

大模型（如GPT-based模型）在推荐系统中具有广泛应用，特别适合解决传统推荐系统面临的稀疏性、冷启动和泛化性差等问题。通过利用大模型的涌现能力、认知推理和生成能力，推荐系统能够实现更精准、个性化和可解释性的推荐。

主要优势

• 泛化性：大模型推荐能快速适应新任务和场景，减少样本依赖。
• 建模能力：相比之下，纯推荐系统缺乏语义信息，大模型则能提取高质量文本表示，并融入世界知识，提升用户和物品建模。
• 个性化生成：基于文本的生成能力生成不限于候选集的内容，并提供更好的可解释性。

研究现状

大模型推荐方法可分为三种模式：

1. 生成表征+推荐系统：利用大模型提取高质量 embeddings 与推荐嵌入对齐或融合，提升冷启动表现，但面临训练时延和编码对齐问题。
2. 生成文本+推荐系统：通过引入外部知识库和联想新信息，增强推荐的开放性和推理能力，但存在推理时延和生成质量依赖于提示设计的问题。
3. 生成推荐结果：直接设计提示或融入推荐嵌入，让大模型输出推荐列表，展现强大冷启动能力，但生成结果可能失控。
   此外，传统大模型在推荐中的挑战包括数据稀疏、缺乏推荐相关数据和协同信息捕捉不足。

生成式推荐大模型

• ID特征索引与建模：通过等贡献码本或层次化码本，用语义ID替代无信息ID，提升推荐性能，但存在信息损失和协同信息缺失。
• 高效序列转换架构：将推荐任务重构为序列生成，使用Transformer架构提升效率，但长期序列处理仍有挑战，需优化时间和空间复杂度。

Data-centric 大模型研究

• Data-centric AI：强调数据质量而非模型质量，助大模型更好地处理序列推荐，方法包括数据重生成框架 DR4SR 和 Entropy law（均从数据压缩率、训练损失等维度评估数据质量），以提升模型泛化能力。
• 推荐Scaling law初探：通过定量分析模型和数据规模对推荐效果的影响，得出更大数据集需匹配更大模型规模，但多行为数据堆叠需谨慎，易导致性能下降或互相冲突。
• 多行为推荐：混合多种行为数据可增加体积，但需补充行为类型特征以避免负面影响；低相似度行为可能损害模型性能。

总结与展望

大模型推荐系统在解决冷启动和提升个性化方面有显著优势，但也面临训练时延、生成质量控制和 scalability 挑战。未来研究应聚焦数据为中心的优化、多行为数据整合、语义ID完善，并探索高效架构如线性注意力机制来提升推荐的实时性和准确性。

THANKS
王皓
wanghao3@ustc.edu.cn