【T112017-数据工程和技术分会场】物联网和人工智能领域内置芯片分析的意外之旅_54页_21mb

文档总结

核心内容

本文档主要介绍了 Sisense 平台的 In-Chip 分析技术，该技术通过利用芯片内部的缓存内存，优化大数据分析过程，从而提升查询执行速度和用户体验。文档强调了 Sisense 在处理大规模、多样化数据集方面的优势，并探讨了其如何通过创新技术手段减少对传统内存的依赖，提升 BI（商业智能）分析的效率与便捷性。

主要观点

• In-Chip 技术的优势：

  • 无需将整个数据模型加载到 RAM，而是利用 CPU 内部的缓存（L1、L2、L3）进行数据处理，显著提升查询速度。
  • 通过 SIMD（单指令多数据） 技术实现向量化计算，提高处理效率。
  • 使用 JIT LLVM 编译，将查询分解为多个部分，预加载子查询结果以加速后续分析。

• 性能提升：

  • 与传统内存分析相比，In-Chip 技术在处理大规模数据（如 120M 行、28GB 数据）时，显著减少了延迟。
  • 在单个标准 Dell 服务器节点上，分析 10TB 数据可在 10 秒内完成。

• 用户体验的革新：

  • 强调 BI 不再局限于屏幕，而是通过 Sisense Everywhere 设备 实现多感官数据消费。
  • 提供 实时视觉和声音警报，帮助用户更直观地理解数据变化并迅速做出反应。
  • 通过 IoT 灯泡 等设备，实现数据的即时反馈和直观展示，使团队能够保持专注并快速响应业务变化。

• 数据消费的未来趋势：

  • 用户更倾向于使用 语音激活、虚拟助手、增强现实 等方式消费数据。
  • 强调 BI 应该更加人性化，与用户的实际需求和使用场景紧密结合。

关键信息

技术架构

• In-Chip 技术：

  • 利用 CPU 缓存进行数据处理，避免数据加载到 RAM 的瓶颈。
  • 支持 JIT LLVM 编译 和 SIMD 向量化，优化查询执行效率。

• In-Memory vs. In-Chip：

  • In-Memory 需要将所有数据加载到 RAM，导致延迟和资源消耗。
  • In-Chip 则通过预加载和缓存机制，实现更快的数据处理速度。

性能对比

查询优化策略

• 分拆查询：将每个查询拆分为多个部分，存储并学习每个部分的执行模式。
• 预加载子查询结果：将子查询结果压缩存储在 L1 缓存中，提升后续查询速度。
• 动态加载数据：仅加载与当前查询相关的列到 RAM，减少资源占用。

用户调研结果

• 数据可视化方式：

  • 57% 的用户使用颜色编码。
  • 26% 的用户认为颜色编码有帮助。
  • 17% 的用户不使用颜色编码。

• 数据消费方式偏好：

  • 56% 的用户倾向于使用 语音激活/虚拟助手。
  • 12% 的用户偏好 虚拟/增强现实。
  • 47% 的用户偏好 团队协作工具。

应用场景

• 业务用户：支持 Ad-Hoc 分析 和 交互式仪表板。
• 数据科学家、IT、开发者：支持 ETL、批量报告、机器学习。
• 技术栈：兼容 Java、R、C、SQL 等多种编程语言。

总结

Sisense 的 In-Chip 技术通过创新的缓存利用和向量化计算，显著提升了大数据分析的效率，同时通过 BI Everywhere 设备将数据消费扩展到更多感官体验，使业务用户能够更直观、实时地理解数据变化。这种技术革新不仅优化了性能，还重新定义了人与数据的交互方式，推动了 BI 从传统屏幕模式向更人性化、智能化的方向发展。