2026大疆机载智能算法开发白皮书_53页_5mb

大疆机载智能算法开发白皮书总结

核心内容

大疆行业无人机开放了机载算力，允许开发者将自定义算法部署至无人机，以实现垂直业务场景的智能检测能力。该平台支持 YOLOv8 和 HRNet18 两种模型结构，为开发者提供了详细的开发流程和适配说明。

主要观点

• 算力开放：大疆提供算法上机的配套工具，简化了模型定制流程。
• 智能作业：通过云上算法媒体流融合，实现飞行画面的实时智能检测与自动作业流。
• 算法保护：大疆不保存训练样本与模型数据，也不提供云端推理平台，不参与模型训练。
• 开发流程：包括注册开发者、申请权限、获取模型 patch、数据准备、本地训练、模型转化与验证、模型组合、模型分发等。
• 模型适配：开发者需在开源项目基础上应用 patch 文件进行训练，部分参数不可修改。

关键信息

一、智能算力开放平台简介

• 提供算法上机配套开发工具，便于定制化模型。
• 支持实时智能检测和自动作业流。
• 算法保护机制：不保存训练数据，不提供云端推理。

二、机载算法开发流程

1. 申请成为开发者

   • 登录大疆开发者网站，填写信息，自动审核通过。

2. 申请机载算法开放权限

   • 提交公司简介和用户场景介绍，等待审核结果。

3. 获取模型 patch 并训练

   • 下载 patch 文件及适配说明。
   • 使用 YOLOv8 或 HRNet18 开源工程，应用 patch 文件进行训练。

4. 数据准备

   • 训练数据应来源于真实场景，且与目标场景高度一致。
   • 数据规模越大、质量越高，模型性能越好。

5. 本地模型训练

   • 使用 YOLOv8 和 HRNet18 开源工程，应用 patch 文件进行训练。
   • YOLOv8 支持目标检测，HRNet18 支持语义分割。

6. 模型转化与验证

   • 模型训练完成后，上传至平台进行量化和验证。
   • 量化图片建议 100-1000 张，以 zip 格式上传。
   • 模型文件名在用户侧可见，需谨慎命名。

7. 模型组合

   • 检测算法（A-D）与分割算法（1-4）需一对一组合，避免多对多关系。
   • 上传检测算法时，需在识别类型名称中明确标注组合关系。

8. 模型分发

   • 通过在线或离线方式分发模型。
   • 在线分发需指定 SN，离线分发需通过 SD 卡导入至 PILOT 2 App。

三、飞行器使用流程

1. 获取算法

   • 在 DJI Pilot 2 App 中，进入智能管理页面，点击“算法管理”。
   • 支持通过 SD 卡或云端导入算法。

2. 使用第三方算法

   • AI识别功能：选择算法，设置置信度、告警条件，支持告警快照和提示方式。
   • 巡逻航线：在规划区域内自动检测目标，支持设置告警方式和触发动作。
   • 告警列表：查询告警记录，支持报告导出。

四、AI算力开放-YOLOv8适配说明

• 适配及训练流程

  • 从 GitHub 下载 mmyolo 代码，切换至 v0.6.0 标签。
  • 应用 patch 文件进行训练，使用指定配置文件。
  • 控制识别类别数量不超过 10，num_classes ≤ 10。
  • 训练时需设置 CUDA_VISIBLE_DEVICES=0，使用单卡训练。

• 重点提示

  • 若使用 4K 模型，需在配置文件中将 widen_factor 从 0.5 调整为 0.25。

• 不支持修改的参数

  • deepen_factor、widen_factor、strides、last_stage_out_channels、num_det_layers、norm_cfg 等参数不可修改。

• 开发流程（Linux）

  • 安装 Anaconda、MMYOLO、PyTorch、CUDA、CUDNN、VC++14.0。
  • 配置训练参数，设置数据集路径、类别信息、训练配置等。
  • 使用 LabelImg 进行标注，训练模型后交付 pth 文件和量化标定图片。

• 开发流程（Windows）

  • 新建文件夹结构，确保路径无中文和空格。
  • 安装 Git、Anaconda、CUDA、CUDNN、VC++14.0。
  • 配置训练参数，使用指定配置文件进行训练。
  • 交付 pth 文件和量化标定图片。

五、AI算力开放-HRNet18适配说明

• 适配及训练流程

  • 从 GitHub 下载 mmsegmentation 代码，切换至特定 commit ID。
  • 应用 patch 文件进行训练，使用指定配置文件。
  • 控制分割类别数量不超过 5，num_classes ≤ 5。

• 支持修改的参数

  • 除部分参数外，其他参数均不可修改，否则可能影响模型性能。

• 需要交付的文件和参数

  • pth 文件。
  • 量化标定图片（建议 500-1000 张）。

六、视频及照片 AI 信息解析

• 功能特性

  • 支持从 JPEG 图片和 MP4/MOV/TS 视频中提取 AI 元数据。
  • 自动绘制识别框和标签。
  • 提供 Web 界面进行交互和结果展示。

• 目录结构

  • web_demo/：包含 server.py、index.html、modules、libs、resources、protos。
  • modules/：存放核心解析模块。
  • libs/：依赖库，包括 Protobuf 运行时库、视频格式解析模块。
  • resources/：可视化资源，如字体和图标。

• 运行步骤

  • 安装 Python 3.6+ 和 Pillow。
  • 启动服务：在 web_demo 目录下运行 python3 server.py。
  • 浏览器访问 http://localhost:8000。
  • 上传图片或视频进行解析，查看识别结果。

• 集成到自有系统

  • 导入模块并初始化解析器。
  • 解析图片或视频，获取 JSON 数据和绘制后的图片。

总结

大疆通过开放机载算力，为开发者提供了将自定义算法部署到无人机上的完整流程，包括注册、申请、训练、转化、验证、组合、分发等步骤。开发者需在指定开源工程基础上应用 patch 文件，注意部分参数不可修改。适配 YOLOv8 和 HRNet18 模型，分别用于目标检测和语义分割。此外，提供了一套完整的视频和图片 AI 信息解析方案，支持 Web 界面交互和自定义系统集成。