> **来源：[研报客](https://pc.yanbaoke.cn)** # 今日头条推荐系统架构设计实践总结 ## 核心内容概述 今日头条是一个基于智能推荐引擎的内容分发平台，其推荐系统在互联网时代经历了从传统门户到社交媒体的转变，最终形成了一个高效、稳定、可扩展的推荐架构。系统需要处理海量用户行为数据，支持高并发访问，并具备快速反馈和高时效性的能力。推荐系统主要包含用户画像、推荐召回、正排、缓存、并行化处理等核心模块，同时在架构演进过程中，面临性能、稳定性、资源利用率等多重挑战。 ## 主要观点 - **推荐系统的重要性**：今日头条本质上是一个强大的智能推荐引擎，其推荐系统是平台的核心，直接影响用户体验和内容分发效率。 - **数据规模庞大**：截至2016年12月底，头条DAU为7800万，MAU为1.75亿，单用户日均使用时长为76分钟，系统需要处理每天300T+的训练数据。 - **系统架构的演进**：从架构1.0到架构2.0，系统经历了从Python多进程模型到C++11多线程模型的重构，性能显著提升，机器数量减少60%+，平均延时下降30%+，PCT99延时下降50%+。 - **缓存的应用与挑战**：虽然缓存可以有效降低延时和避免雪崩，但在推荐系统中使用缓存需谨慎，因为其可能影响实时性指标。 - **并行化与优化策略**：通过OpenMP、线程池、连接池等技术实现并行化处理，同时优化大扇出调用，降低CPU负载，提升系统效率。 - **系统可用性与容错机制**：系统具备降级、熔断、主动overflow等机制，确保高可用性，并支持多机房调度以实现快速流量迁移。 ## 关键信息 ### 用户画像 - 用户画像需要处理200+特征，支持快速反馈（10分钟内）。 - 用户行为数据量巨大，需保证在线存储的高读写吞吐和低延时。 - 使用统一的存储和接口，降低维护复杂度。 ### 流式计算 - 使用Storm Python框架实现流式计算，支持YAML描述Topology，降低Job编写成本。 - 通过KafkaSpout实现数据流处理，支持离线和流式计算逻辑复用。 - 框架支持300+ Job，Storm集群规模达1000+。 ### 在线存储 - ABase - 基于RocksDB的分布式存储系统，支持全量复制和增量复制。 - 内建LRU缓存，支持基于bucket的sharding和migration。 - 延时表现优异，avg 1ms，pct99 4ms。 - 单副本数据量为85T（压缩后），机器数为40台，面临SSD容量瓶颈。 ### 正排数据 - 正排数据用于召回、过滤、预估等环节，包含文章属性、文本信息、动态属性等。 - 面临存储格式多样、字段重复、维护成本高等问题。 - 统一存储方案采用protobuf IDL描述200+字段，按“簇”存储，支持统一离线刷新框架和debug工具。 ### 推荐召回策略 - 离线更新tag倒排索引，用于兴趣标签召回。 - 在线search通过兴趣标签获取候选文章并进行排序。 - 支持多种召回算子，如filter、merge、boost等。 ### 架构优化 - **架构1.0**：基于Thrift+Python多进程模型，使用gevent、线程池、C++扩展等技术，但存在性能瓶颈。 - **架构2.0**：完全重构为C++11多线程模型，显著提升性能，减少资源消耗。 ### 大扇出优化 - 大量RPC调用导致CPU负载高，利用率低。 - 通过异步IO的Thrift RPC fanout实现优化，降低CPU负载20%+。 - 引入Proxy减少小包传输和扇出调用，降低长尾概率。 ### 框架层面优化 - 使用Fbthrift Server模块提升CPU使用率，支持异步调用和高效内存管理。 - 优化传输协议和IDL，支持向下兼容，减少数据拷贝和内存申请。 ## 未来挑战 - 数据和规模继续爆炸，系统需应对更大的数据量和更高的并发需求。 - 多IDC部署带来的挑战，包括网络延迟和资源调度。 - 系统复杂性增加，需应对DoubleShooting等新型问题。 - 提升资源利用率和调度效率，优化系统整体性能。 ## 可用性与容错 - 系统具备自动降级和降级平台，保障服务稳定性。 - 支持封禁、探活、解禁等调度优化策略。 - 实现熔断机制，防止雪崩效应。 - 支持优雅退出，确保运维零拒绝。 - 多机房调度实现快速流量迁移，提升系统可用性。 ## 总结 今日头条推荐系统通过不断优化架构、引入高效技术（如C++11、Fbthrift、OpenMP等），在性能、稳定性、资源利用率等方面取得了显著进展。系统架构的演进体现了从局部优化到全面重构的转变，同时也面临数据爆炸、多IDC部署等未来挑战。通过统一存储方案、缓存策略、流式计算和并行化处理，系统能够高效地处理用户行为数据，提供个性化推荐内容，实现“你关心的才是头条”的目标。