2018-工业大数据技术架构白皮书_112页-5mb

工业大数据技术架构白皮书总结

核心内容

本白皮书由工业互联网产业联盟（AII）于2018年发布，重点阐述了工业大数据技术架构的建设意义、技术实现及应用价值。白皮书旨在为企业建设工业大数据系统提供基础架构层面的指导，涵盖数据采集与交换、数据集成与处理、数据建模与分析、决策与控制应用等关键环节。

主要观点

• 工业大数据定义：工业大数据是工业生产过程中全生命周期数据的集合，包括设计、生产、销售与服务等环节的数据，可细分为企业信息化数据、工业物联网数据和外部跨界数据。
• 建设目标：通过数据采集、集成、分析与决策控制，实现对工业系统的全方位感知和优化，提升企业运行效率，推动智能制造模式。
• 技术架构分层：工业大数据系统架构分为采集交换层、集成处理层、建模分析层和决策控制层，每一层都有其核心功能与技术支撑。
• 技术挑战与解决：面对数据来源分散、数据结构多样、数据整合耗时、数据安全等问题，白皮书提出统一数据采集机制、混合云架构、多类型数据存储及计算引擎选择等解决方案。
• 大数据价值实现路径：通过数据驱动的分析与决策，提升生产效率、产品质量、客户服务等，同时强调数据治理、标准化和开放性对系统建设的重要性。

关键信息

2.1 数据采集与交换

• 数据来源包括传感器、SCADA、MES、ERP等内部系统及外部数据源。
• 数据采集需支持结构化、半结构化和非结构化数据，采用实时与批量采集方式。
• 推荐使用消息中间件（如Kafka、Fluentd、Flume）进行数据交换，实现“发布/订阅”模式。
• 需支持多种通信协议（TCP、UDP、MQTT、CoAP、LWM2M、NB-IoT、LoRa等），并兼容各种硬件与操作系统。

2.2 数据集成与处理

• 数据集成需将多源异构数据整合为统一的数据集合，确保数据一致性。
• 数据处理包括ETL、数据存储管理、数据查询与计算，涉及SQL、批处理、流处理和机器学习。
• 数据存储需根据数据类型和分析需求选择合适的存储方式，如关系型数据库、NoSQL、时序数据库等。
• 推荐使用Hadoop、Spark等开源技术，支持大规模数据处理与分析。

2.3 数据建模与分析

• 数据建模是构建工业系统数字模型的基础，包括设备、产品、产线、工厂等。
• 分析方法分为知识驱动和数据驱动两类，各有优劣势，需根据场景选择。
• 建议使用数据报表、可视化、知识库、机器学习等工具进行分析建模。

2.4 决策与控制应用

• 决策控制应用包括描述、诊断、预测、决策、控制五大类。
• 基于数据分析结果，系统可提供优化建议或直接控制指令，实现闭环控制。
• 分析结果可用于提升生产效率、产品质量、服务响应速度等。

2.5 技术发展现状

• 当前工业大数据建设仍存在不均衡问题，部分企业已实现数据整合与应用，但多数企业仍需进行数据采集与系统升级。
• 主要问题包括设备老旧导致数据采集困难、数据跨平台整合耗时、缺乏统一规划导致应用竖井。

3.1 技术组件选择

• 数据采集：需支持多源异构数据采集，具备接口通用性、横向扩展、数据完整性与安全性。
• 数据存储：根据数据类型和应用场景选择存储方式，如时序数据库、对象存储、NoSQL、关系型数据库等。
• 数据计算：支持实时与离线计算，包括SQL引擎、图计算、机器学习引擎等，满足多维分析、预测、优化等需求。
• 混合云架构：结合本地部署与云部署，平衡数据安全、成本、扩展性与实时性需求。

3.2 建设标准

• 基础业务能力：包括数据导入、存储、计算、多任务引擎、基础分析模型、可视化工具等。
• 数据管理能力：涵盖数据标准制定、数据模型管理、元数据管理、数据质量管理、生命周期管理、数据安全管理、数据开放等。
• 运维管理能力：强调高可靠性、易扩展性、自动化运维、日志审计等。
• 性能要求：需关注吞吐量、响应时间、并发能力、数据更新时延等关键指标。
• 开放与兼容性：需兼容主流开源技术（如Hadoop、Spark、MySQL等），支持通用接口（JDBC、ODBC）与异构系统对接。

附录一：典型案例

1. 富士康NPI制造大数据

• 背景与痛点：NPI阶段数据整合复杂，工程师需耗费大量时间在数据收集与整理。
• 解决方案：构建数据采集、处理、分析与应用模块，实现多维度数据整合与快速分析。
• 实施效果：数据整合时间由数小时降至数分钟，提升效率，优化生产流程。
• 亮点：提供工站良品率分析矩阵图和物料组合优化矩阵图，支持工程师进行数据驱动决策。

2. 中国联通工业大数据采集分析平台

• 背景与痛点：传统设备无法提供关键运行数据，影响生产过程的优化与管理。
• 解决方案：采用外部传感器采集数据，实现非开放总线设备数据化。
• 实施效果：提升设备数据采集效率，优化良品率与运营成本。
• 亮点：采用NB-IoT技术进行数据传输，支持实时与非实时数据采集。

3. 华为云EI企业智能打造智能化九州通

• 背景与痛点：物流作业效率低，路径规划不科学，发票识别与销售预测存在瓶颈。
• 解决方案：基于华为云构建智能物流平台，实现路径优化、仓储规划、发票识别与销售预测等功能。
• 实施效果：提升拣货效率，优化配送路径，降低运营成本。
• 亮点：采用机器学习算法（如蚁群与遗传算法）进行路径优化，支持自动化发票识别与销售预测。

总结与展望

• 工业大数据是推动智能制造与工业互联网的重要基础。
• 企业需在数据采集、存储、计算、建模与决策控制等环节构建完整架构。
• 未来需进一步提升数据治理能力，推动数据标准化、开放化与智能化。
• 大数据技术在工业领域的应用将不断深化，形成闭环优化体系，提高企业整体运营效率与竞争力。