2017阿里技术年度精选集（下）-310页_16mb

2017阿里技术年度精选（下）总结

核心内容

《2017阿里技术年度精选（下）》是一本由阿里技术团队整理的年度技术总结，涵盖了多个热门技术领域，包括AI/算法、学术前沿、机器学习、大数据、基础架构、企业内部IT应用等。本书旨在分享阿里工程师在技术上的思考与成果，为读者提供技术干货和行业洞见。

主要观点

1. 技术分享与公益结合：

   • 通过“当你老了”项目，利用计算机视觉技术模拟人脸老化，让用户在看到自己未来样貌的同时，产生对老年人的关爱意识，进而参与公益。
   • 该项目采用深度学习和传统图像处理技术结合的方式，实现了人脸老化效果的生成。

2. 三维装箱问题研究：

   • 提出了一类新型的三维装箱问题，目标是设计一个能够容纳所有物品的箱子，并最小化其表面积。
   • 该问题被证明为NP-hard问题，因此需要借助深度强化学习方法来求解。
   • 使用Pointer Network框架进行物品放入顺序的优化，结合启发式算法进行物品的摆放位置和朝向的选择，取得了约5%的效果提升。

3. Paxos算法的实践与优化：

   • 阿里巴巴数据库团队基于Paxos算法开发了X-Paxos，用于解决分布式系统中的一致性问题。
   • X-Paxos支持在线添加/删除节点、在线转让leader、策略化多数派和权重化选主等功能，提升了系统的灵活性和可靠性。
   • 引入了Batching和Pipelining技术，提升了协议在高延迟网络环境下的性能表现。
   • 通过多线程异步框架和Locality Aware Content Distribution技术，解决了主节点负载过大和跨区域通信的问题。

4. 分布式系统的正确性验证：

   • 采用Jepsen和TLA+等工具对X-Paxos进行正确性验证，确保其在各种异常场景下的稳定性和一致性。
   • 搭建了随机异常系统和异常回归系统，以自动化方式验证协议的正确性。

关键信息

• 技术领域覆盖：本书涵盖了算法、机器学习、大数据、数据库、中间件、运维、安全、移动开发等热门技术领域。
• 技术成果：包括阿里史上首款AI硬件设备、阿里翻译技术、阿里妈妈CTR预估算法、菜鸟自研的三维装箱算法等。
• AI与机器学习：
  • 介绍了AI在多个场景下的应用，如在线视频衣物检索、阿里小蜜的对话理解、阿里妈妈的CTR预估等。
  • 通过深度强化学习方法优化物品的放入顺序，提升了装箱效率。
• Paxos实现与优化：
  • X-Paxos是阿里巴巴数据库团队实现的一个高性能、分布式强一致的Paxos基础库。
  • 通过策略化多数派、权重化选主、节点角色定制化等技术，增强了Paxos的灵活性和实用性。
  • 引入了Locality Aware Content Distribution，提升了分布式系统在高延迟环境下的性能表现。
• 技术社区与分享：
  • 阿里技术公众号拥有超过25000名工程师支持，文章内容涉及技术架构、核心算法、解决方案等。
  • 本书收录了多位阿里技术人的访谈，展现了他们的技术人生和对行业的思考。

目录结构

• AI/算法：60年后的你长什么样？、世界级难题：把不同物品装进箱子，如何使箱子表面积最小？
• 学术前沿：KDD论文解读、计算机视觉顶会ICCV论文解读、深度学习引擎xNN等。
• 机器学习：如何用机器学习提升另一半的满意指数、如何搭建大规模机器学习平台。
• 大数据：阿里新一代实时计算引擎Blink、如何扛住双11数据洪峰、阿里知识图谱技术。
• 基础架构：阿里双11神秘技术“蜻蜓”、内部自研神器“欢行”。
• 企业内部IT应用：淘宝天猫背后的技术组织、阿里薪酬管理系统、高效办公与工程师日常网站。

项目亮点

• 人脸老化项目：通过深度学习和传统图像处理技术，实现了人脸老化效果的生成，并与公益结合。
• 三维装箱问题：提出了新的装箱问题，利用深度强化学习方法优化物品放入顺序，显著提升装箱效率。
• X-Paxos：基于Paxos算法开发的高性能分布式一致性协议，具备多种实用功能和优化策略，适用于全球部署场景。

总结

《2017阿里技术年度精选（下）》是一本内容丰富的技术总结，涵盖了多个热门技术领域，展现了阿里工程师在技术上的创新与实践。本书不仅介绍了前沿技术，还提供了实际应用案例，如“当你老了”项目、三维装箱问题、X-Paxos等，为读者提供了宝贵的参考资料和技术洞见。通过这些内容，读者可以了解到阿里在技术领域的探索和成果，以及如何将技术应用于实际业务场景中。