2015年-中国信通院_大数据白皮书2014年_33页_919kb

报告摘要

大数据白皮书（2014年）总结

核心内容概述

本白皮书由工业和信息化部电信研究院发布，旨在探讨大数据的概念、关键技术、应用发展、产业生态及政策环境，为我国大数据产业的发展提供策略建议。白皮书指出，大数据是新资源、新工具和新应用的综合体，具有体量大、结构多样、时效性强等特点，其发展对数据处理技术体系提出了新的挑战，也带来了巨大的商业和社会价值。

主要观点与关键信息

一、大数据概念探讨

大数据的起源：起源于互联网网页数据的爆发式增长，谷歌等公司率先提出分布式存储和计算技术（如GFS、MapReduce、BigTable）。
大数据的定义：具有体量大、结构多样、时效强等特征的数据；需采用新型计算架构和智能算法进行处理；强调在线闭环流程优化。
大数据的三个层次：资源、技术、应用，三者缺一不可。

二、大数据关键技术

对传统技术的挑战：
- 数据准备环节需处理非结构化数据，需清洗、整理、标准化。
- 数据存储与管理需支持海量、多样化数据，提高可扩展性和容错性。
- 计算处理需适应分布式架构，提升实时性和效率。
关键技术发展：
- 存储技术：GFS/HDFS等分布式存储技术成为主流，但面临随机访问和海量小文件处理的瓶颈。
- 计算技术：MapReduce是基础，后续发展出Storm、Spark、Pregel等技术，支持流处理、交互式分析和图计算。
- 分析技术：需发展智能算法，以应对非结构化数据的分析需求，深度学习成为关键技术方向之一。
技术创新格局：
- 国际上形成“原创-开源-产品化”的阶梯式发展路径。
- 互联网企业是技术创新的主力，其强大的数据资源和平台能力是创新基础。
- 开源模式降低了研发和采购成本，推动了技术扩散和应用创新。

三、大数据应用发展

应用领域：
- 互联网行业：是大数据应用的领跑者，涵盖个性化推荐、精准营销、网络安全、A/B测试等。
- 公共服务领域：如疫情预测、春运客流分析、失踪儿童搜寻等，提升社会服务效率。
- 技术研发领域：用于产品优化、机器翻译、语音识别、无人驾驶等前沿技术开发。
应用现状：
- 大数据应用仍处于初级阶段，多数企业以传统分析流程为基础，仅扩大了数据规模。
- 数据来源以内部数据为主，缺乏统一的数据交易市场。
- 应用效果以延续现有业务为主，突破性创新较少。

四、大数据产业生态

产业角色：
- 解决方案提供商：如IBM、Cloudera、阿里云等，提供从硬件到软件的一站式服务。
- 处理服务提供商：如云服务商，提供在线分析、数据挖掘等服务。
- 数据资源提供商：如Verizon、阿里巴巴等，提供数据采集、整合和交易服务。
产业发展趋势：
- 全球大数据市场增速较快，2013年达到181亿美元，预计2017年仍将保持30%年增速。
- 国内大数据产业生态尚在构建初期，解决方案提供商实力较弱，云服务商成为主体。

五、大数据政策环境

国外政策实践：
- 美国：推动大数据研发和应用，设立开放数据平台，支持开源技术发展（如Spark）。
- 英国：将大数据列为战略性技术，投入大量研发资金，推动医疗、政府等领域的应用。
- 日本：将大数据作为国家战略，推动在医疗、交通等公共领域的应用。
- 澳大利亚与新加坡：重视数据开放和应用，设立大数据中心和政策指导体系。
我国政策环境：
- 国家层面出台多项政策支持大数据发展，如《电信和互联网用户个人信息保护规定》。
- 地方政府推动大数据发展，形成不同模式，如聚焦公共服务、引领产业转型、建设大数据基地。
- 数据开放与隐私保护之间存在矛盾，需建立规范的数据开放机制和隐私保护体系。

六、问题与对策

我国面临的主要问题：
- 数据资源不够丰富，数据开放程度低，存在“信息孤岛”现象。
- 大数据技术发展水平不高，缺乏原创技术，技术扩散不畅。
- 法律法规不完善，数据安全与隐私保护机制尚未健全。
推动对策建议：
- 明确战略目标和重点，统筹发展大数据应用、技术研发与产业培育。
- 推动政务和公共服务大数据应用，提升民生服务与城市治理效率。
- 加强技术创新，支持深度学习、实时处理、存储管理等关键技术。
- 建立开源生态，鼓励科研机构和企业参与技术开发与标准制定。
- 规范政府数据开放流程，制定安全与隐私保护检查表，分类管理数据开放优先级。
- 推动商业化数据交易活动，探索行业自律与立法结合的路径。

结语

大数据作为新一轮信息技术变革的核心，正在深刻改变社会各领域的运作方式。我国虽在技术发展和应用方面具备一定基础，但仍需在数据资源、技术能力、法律法规等方面加快完善，以抓住大数据发展的历史机遇，推动产业生态健康发展。

展开完整摘要

试读结束，高清完整版pdf/doc/ppt,请点下载