鲲鹏原生开发技术白皮书（6.0修订版）-华为_112页_18mb

鲲鹏原生开发总结

核心内容

鲲鹏原生开发是一种基于鲲鹏硬件、openEuler操作系统、DevKit开发套件和BoostKit应用使能套件的全栈开发方案。其核心理念是通过一套代码和一条流水线构建多平台版本，从而提高开发效率和应用性能。鲲鹏原生开发覆盖代码开发、代码优化、编译、调试和调优等多个阶段，为开发者提供全面的工具链支持，满足多样化的算力需求。

主要观点

• 鲲鹏计算产业致力于推动鲲鹏生态发展，通过软硬件联合创新，覆盖国计民生核心场景。
• 鲲鹏原生开发通过统一的流水线和工具链，实现多平台版本构建，减少重复开发验证，提高效率。
• 鲲鹏原生开发支持多种场景下的性能优化，包括大数据、分布式存储、数据库、虚拟化、HPC、AI等，通过鲲鹏架构优势和硬件加速技术，显著提升性能。
• 鲲鹏BoostKit提供高性能的开源组件、加速库、工具和框架，使能开发者构建高性能应用。
• 鲲鹏原生开发通过鲲鹏亲和分析工具、毕昇编译器、鲲鹏调试器和系统性能分析工具等，实现全栈性能调优。

关键信息

代码开发阶段

• 代码开发：通过场景化SDK和启发式编程，提升鲲鹏原生开发效率。
• BoostKit应用使能：提供高性能开源组件、基础加速软件包和应用加速软件包，使能应用极致性能。
• 鲲鹏BoostKit ARM原生：支持移动应用无损上云，提供云手机Turbo套件，提升性能和降低开发难度。
• ExaGear AArch32 指令翻译软件：为鲲鹏服务器提供AArch32特性支持，实现100%兼容性。
• Kbox云手机容器：支持100路720p@30fps的高并发云手机容器，提升性能和降低单路成本。
• 视频流引擎：支持低时延的云手机画面同步，提升画质和带宽效率。
• 指令流引擎：支持端云分离渲染技术，降低硬件成本和网络带宽需求。

大数据

• 鲲鹏BoostKit大数据：提供大数据组件的开源使能和调优，提升大数据查询效率和性能。
• OmniRuntime：包括算子下推、算子加速、Shuffle加速、物化视图、参数调优和全局二级索引等特性，显著提升大数据性能。
• openEuler和毕昇JDK性能优化：通过磁盘IO、网络IO调度策略优化和编译优化，提升Hive和Spark性能。
• 机器学习和图分析算法加速：鲲鹏加速库提升计算性能20%以上。

分布式存储

• 鲲鹏BoostKit分布式存储：聚焦Ceph存储性能和成本，提供存储算法加速库和存储维护工具库。
• 压缩算法：提升压缩率25%，带宽性能提升10%。
• 存储维护工具库（KSML）：通过机器学习算法预测和检测存储故障。
• KAERSA加解密：支持RSA、SM3、SM4等算法，提升加解密性能。
• EC Turbo：提升Ceph存储性能，降低存储成本。
• 智能写Cache：提升Ceph集群写性能20%以上。
• IO直通：提升存储性能15%以上。
• 数据压紧：提升压缩率20%以上，不影响系统性能。
• 元数据加速：提升RocksDB性能30%以上。
• Ucache智能读缓存：提升读请求IO命中率，实现性能提升100%。
• BoostIO：通过多级缓存和硬件卸载，提升存储性能。

数据库

• 鲲鹏BoostKit数据库：提供MySQL可插拔向量化分析引擎、无锁优化、线程池和CRC32指令优化等，提升数据库性能。
• MySQL并行查询优化：提升查询性能超过1倍。
• MySQL无锁优化：提升Sysbench写场景性能20%。
• MySQL细粒度锁优化：提升TPC-C性能10%。
• MySQL NUMA调度优化：提升OLTP场景性能10%。
• KAEzip压缩解压缩优化：提升压缩性能10%。

虚拟化

• 鲲鹏BoostKit虚拟化：通过负载感知加速系统、OVS流表归一化、DPDK等技术，提升虚拟化性能。
• WAAS负载感知加速系统：支持超大规模集群调度，提升资源利用率和吞吐量。
• OVS流表网卡加速：提升虚拟化网络转发性能10倍。
• 虚拟化DPU卸载：支持网络和存储加速，提升虚拟机密度和性能。
• vKAE：支持虚拟机和容器中的鲲鹏加速引擎能力。
• vCPU热插拔：动态模拟CPU上下电，提升虚拟化灵活性。

Web/CDN

• 鲲鹏BoostKitWeb/CDN：通过RSA加速引擎提升HTTPS连接性能，降低时延。

HPC

• 鲲鹏BoostKitHPC：通过全栈架构创新、软硬件自研、基础软件优化和行业应用性能调优，构建高性能计算基础平台。
• HPC多瑙套件：提供高效作业调度和资源管理，提升计算能力利用率。
• KAIL_DNN：提升DNN算子性能，支持oneDNN接口。
• KAIL_DNN_EXT：深度优化softmax、random_choice等算子，提供Python接口。

AI库

• 鲲鹏AI库：提供深度神经网络算子库和扩展库，支持多种AI场景。

系统库

• 鲲鹏系统库：包括Glibc-patch、Hyperscan、AVX2KI、KQMaloc、HTL、KSL ASN1、HAF等，提升系统性能。

编译

• 毕昇编译器：支持多种语言和API标准，提供编译优化技术。
• 毕昇JDK：基于OpenJDK开发，支持Java8、11、17、21等版本，提升大数据性能。
• GCC for openEuler：支持C11、C++14/17、Fortran2018等语言标准，提升编译性能。

调试

• 鲲鹏调试器：支持C/C++/Fortran、GPU应用、HPC多节点并行调试、安全应用调试等。
• 编译调试工具：提供一键部署、可视化配置、远程调试、CUDA调试等功能，提升调试效率。

调优

• 系统性能分析工具：支持通用和场景化性能调优，提升应用性能5%~10%。
• Java性能分析工具：优化Java应用性能。
• 系统诊断工具：用于诊断和优化系统性能。

适用场景

• 金融：恒生电子、宇信科技基于鲲鹏原生开发金融软件，提升数据处理效率。
• 电信：浩瀚深度、恒安嘉新基于鲲鹏原生开发安全采集分析平台，提升网络数据处理效率。
• 政府：超图软件、深圳防灾减灾技术研究院基于鲲鹏原生开发GIS系统和地震观测数据处理平台。
• 电力：广州海颐、国能信控基于鲲鹏原生开发电力系统软件和新能源计算平台，提升电网数字化转型效率。
• 医疗：卫宁健康、东华软件基于鲲鹏原生开发新一代医疗信息系统和医疗经营管理系统，提升医疗服务效率。
• 水平软件：星环科技、深信服基于鲲鹏原生开发大数据基础软件和分布式存储系统，提升数据流转效率和数据管理可靠性。

总结

鲲鹏原生开发通过整合鲲鹏硬件、openEuler操作系统、DevKit开发套件和BoostKit应用使能套件，实现一套代码和一条流水线构建多平台版本，显著提升开发效率和应用性能。其核心技术包括鲲鹏亲和分析、毕昇编译器、鲲鹏调试器和系统性能分析等，覆盖大数据、分布式存储、数据库、虚拟化、HPC、AI等多个领域，提供高性能加速解决方案。鲲鹏原生开发不仅满足多样化的算力需求，还支持高吞吐量、高资源利用率、高并发处理等场景，提升整体系统性能和用户体验。