机载算力白皮书_37页_2mb

大疆机载智能算法开发白皮书总结

核心内容

大疆行业无人机开放了机载算力，允许开发者将自定义的AI算法部署至无人机，实现垂直场景的智能检测能力。该平台支持YOLOv8和HRNet18两种模型，提供完整的开发流程、使用流程和适配说明，帮助开发者完成从模型训练到实际部署的全过程。

主要观点

• 算力开放：大疆提供飞行器内置芯片算力，配合开发工具，使算法上机更加简单。
• 算法保护：大疆不保存训练样本和模型数据，不提供云端推理平台，不参与模型训练。
• 开发流程：开发者需注册并申请权限，下载模型patch文件，准备训练数据，进行本地训练，模型转化与验证，组合模型，最后分发至指定设备。
• 使用流程：通过DJI Pilot 2 App或SD卡将算法导入飞行器，支持AI识别、巡逻航线和告警列表功能。
• 模型适配：YOLOv8和HRNet18需在对应开源工程基础上应用git patch文件进行训练，部分参数不可修改。
• 平台支持：支持Windows和Linux开发环境，提供详细的安装和配置步骤。

关键信息

一、智能算力开放平台简介

• 支持机型：DJI Matrice 4系列、DJI Matrice 4D系列、DJI Matrice 400。
• 平台网址：https://developer.dji.com/cn/ai-developer/
• 开发流程：
  1. 注册成为开发者。
  2. 申请机载算法开放权限。
  3. 获取模型patch并进行本地训练。
  4. 模型转化与验证。
  5. 模型组合。
  6. 模型分发。

二、机载算法开发流程

• 申请流程：
  • 注册开发者。
  • 提交公司简介及用户场景说明。
  • 审核通过后获取资源。
• 模型训练：
  • YOLOv8：适用于目标检测，需修改配置文件。
  • HRNet18：适用于图像分割，同样需应用patch文件。
• 模型转化与验证：
  • 上传模型至平台进行量化。
  • 量化图片建议100-1000张，以zip格式上传。
• 模型组合：
  • 检测算法（A-D）与分割算法（1-4）需一对一组合。
• 模型分发：
  • 支持在线和离线分发。
  • 离线分发需通过SD卡导入至PILOT 2 App。

三、飞行器使用流程

• 获取算法：通过DJI Pilot 2 App的“算法管理”页面。
• 使用第三方算法：
  • AI识别功能：可调节置信度、开启告警、设置告警提示方式。
  • 巡逻航线：自动检测目标，支持设置告警方式和触发动作。
  • 告警列表：可查询记录并导出报告。

四、AI算力开放 - YOLOv8适配说明

• 适配流程：
  1. 下载mmyolo源码。
  2. 应用DJI提供的patch文件。
  3. 修改配置文件，设置数据路径、类别信息、训练参数。
  4. 安装依赖（PyTorch、mmcv、mmdet等）。
  5. 执行训练命令。
• 关键配置：
  • 数据集路径：D:\mmyolo_work\dataset
  • 配置文件路径：D:\mmyolo_work\mmyolo\configs\yolov8\yolov8_s_syncbn_fast_8xb16-500e_coco.py
  • 类别数量限制：≤10
• 交付文件：
  • 最优模型权重：best_ckpt.pth
  • 量化标定图片（建议500-1000张）
  • 附加信息：num_classes、类别列表、训练配置文件

五、AI算力开放 - HRNet18适配说明

• 适配流程：
  1. 下载mmsegmentation源码。
  2. 应用DJI提供的patch文件。
  3. 修改配置文件，设置数据路径、类别信息、训练参数。
  4. 安装依赖（PyTorch、mmcv等）。
  5. 执行训练命令。
• 关键配置：
  • 分割类别数量限制：≤5
• 交付文件：
  • 最优模型权重：pth文件
  • 量化标定图片（建议500-1000张）

六、视频及照片AI信息解析

• 功能特性：
  • 支持图片和视频的AI元数据解析。
  • 可视化展示识别框和标签。
  • 提供Web界面进行交互。
• 目录结构：
  • web_demo/：包含服务脚本、前端页面、解析模块、依赖库、资源文件等。
• 运行步骤：
  1. 安装Python 3.6+和Pillow。
  2. 运行server.py启动服务。
  3. 浏览器访问http://localhost:8000。
  4. 上传图片或视频进行解析。
• 集成方式：
  • 支持集成至Flask、Django、FastAPI等框架。
  • 可通过image_processor.py和video_processor_*.py模块进行扩展。

附：开发流程核心路径汇总

注意事项

• 环境配置：需安装Anaconda、Git、CUDA、CUDNN、VC++14.0等。
• 训练配置：需严格遵循配置文件要求，避免因路径或参数错误导致训练失败。
• 数据准备：训练数据需真实、高质量，并与目标场景高度一致。
• 模型交付：需确保交付文件格式正确，避免因文件缺失或命名错误导致平台无法识别。
• 平台限制：部分参数不可修改，需按照说明进行调整。