CN117707204A - 基于光电端到端网络的无人机高速避障***及方法 - Google Patents
基于光电端到端网络的无人机高速避障***及方法 Download PDFInfo
- Publication number
- CN117707204A CN117707204A CN202410129508.5A CN202410129508A CN117707204A CN 117707204 A CN117707204 A CN 117707204A CN 202410129508 A CN202410129508 A CN 202410129508A CN 117707204 A CN117707204 A CN 117707204A
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- aerial vehicle
- optical
- network
- obstacle avoidance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000003287 optical effect Effects 0.000 claims description 111
- 238000012549 training Methods 0.000 claims description 75
- 230000008569 process Effects 0.000 claims description 13
- 238000004088 simulation Methods 0.000 claims description 11
- 238000013461 design Methods 0.000 claims description 9
- 230000005693 optoelectronics Effects 0.000 claims 8
- 230000005622 photoelectricity Effects 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000013528 artificial neural network Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 7
- 230000004075 alteration Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012634 optical imaging Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
Abstract
本申请涉及无人机技术领域，特别涉及一种基于光电端到端网络的无人机高速避障***及方法，其中，***包括：图像采集件，用于采集无人机当前所处环境的深度图像；基于端到端网络训练得到的解码器和决策生成器，其中，解码器用于解码深度图像得到当前环境的深度信息；决策生成器用于根据深度信息规划无人机的避障路径。由此，解决了相关技术中由于感知、绘图和规划的信息串行导致延迟，使得无人机无法在保证自主导航准确的情况下高速避障飞行等问题。
Description
技术领域
本申请涉及无人机技术领域，特别涉及一种基于光电端到端网络的无人机高速避障***及方法。
背景技术
随着无人机技术的发展和应用的扩大，自主飞行模式下的无人机巡逻逐渐成为安防领域的重要领域。自主飞行使无人机具备了自主决策和规划路径的能力，可以在预设的区域内进行巡航，实现全天候、全天时的监测和巡航任务；其次，无人机搭载的传感器可以实时收集、分析信息，并快速传输给地面操作员或相关部门，提供及时的决策依据。
无人机自主飞行决策包括感知、绘图和规划等环节，其中，在感知环节，最重要的信息往往是当前环境的深度信息，以便根据当前环境的深度信息进行路径的规划。然而，相关技术中，大多采用传统建模和规划方法获取控制参数，但会由于感知、绘图和规划的信息串行导致延迟，使得无人机无法在保证自主导航准确的情况下高速避障飞行。
发明内容
本申请提供一种基于光电端到端网络的无人机高速避障***及方法，以解决相关技术中由于感知、绘图和规划的信息串行导致延迟，使得无人机无法在保证自主导航准确的情况下高速避障飞行等问题。
本申请第一方面实施例提供一种基于光电端到端网络的无人机高速避障***，包括：图像采集件，用于采集无人机当前所处环境的深度图像；基于端到端网络训练得到的解码器和决策生成器，其中，所述解码器用于解码所述深度图像得到当前环境的深度信息；所述决策生成器用于根据所述深度信息规划所述无人机的避障路径。
可选地，所述图像采集件包括：光学镜头；设置于所述光学镜头上的光学掩膜；感光片，用于采集透过所述光学掩膜的光线，基于所述光线生成所述深度图像。
可选地，所述光学掩膜、所述透镜和所述感光片均处于同一光轴上。
可选地，所述光学掩膜的设计包括：获取所述光学镜头的表面形状；根据所述表面形状计算所述光学镜头的光学性能参数；根据目标环境的深度图像训练得到可采集所述深度图像的光学网络，根据所述光学性能参数和所述光学网络设计得到所述光学掩膜。
可选地，所述图像采集件与所述解码器进行联合训练。
可选地，所述联合训练的过程包括：获取目标环境的光学图像和第一深度图像；根据所述光学图像和所述第一深度图像生成第一训练数据集；利用所述第一训练数据集对所述解码器进行端到端的训练，其中，所述解码器根据所述光学图像计算所述目标环境的第二深度图像，基于所述第一深度图像和所述第二深度图像的误差，更新所述图像采集件中光学网络的网路参数和所述解码器的网路参数。
可选地，所述决策生成器的训练过程包括：利用特权专家模型仿真获得第二训练数据集；识别所述第二训练数据中的参考规划路径、深度信息和无人机的飞行参数，利用所述第二训练数据集训练所述决策生成器，其中，所述决策生成器根据所述深度信息和所述无人机的飞行参数生成预测规划路径，基于所述参考规划路径和所述预测规划路径的误差更新所述决策生成器的网络参数。
可选地，所述利用特权专家模型仿真获得第二训练数据集，包括：模拟无人机在所处模拟环境的深度信息、飞行参数和全局信息；将所述全局信息输入特权专家模型，所述特权专家模型输出所述无人机在特权专家模型的参考规划路径；根据所述深度信息、所述飞行参数和所述参考规划路径生成所述第二训练数据集。
可选地，所述解码器和所述决策生成器作为一个整体进行整体训练，其中，在进行所述整体训练时，冻结所述解码器的光学网络的网络参数。
本申请第二方面实施例提供一种基于光电端到端网络的无人机高速避障方法，所述方法利用如上述实施例任意一项所述的基于光电端到端网络的无人机高速避障***进行高速避障，其中，所述方法包括以下步骤：利用图像采集件采集无人机当前所处环境的深度图像；利用解码器解码所述深度图像得到所述当前环境的深度信息，并获取所述无人机的飞行参数；根据所述深度信息和所述飞行参数规划所述无人机的避障路径。
由此，本申请至少具有如下有益效果：
本申请实施例通过图像采集件采集无人机当前所处环境的深度图像，基于端到端网络训练得到解码器和决策生成器，利用解码器解码深度图像得到当前环境的深度信息，然后决策生成器根据深度信息规划无人机的避障路径，由此，通过光学深度估计前端，结合后端的小模型决策器，能够快速从物理环境中提取深度信息，从而提高无人机的决策更新速率，使得无人机在保证自主导航准确的情况下高速避障飞行，并且端到端的光电神经网络设计提高了整体的鲁棒性，应用更加广泛。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本申请实施例提供的一种基于光电端到端网络的无人机高速避障***的方框图；
图2为根据本申请实施例提供的决策生成器的示意图；
图3为根据本申请实施例提供的一种基于光电端到端网络的无人机高速避障方法的流程图；
图4为根据本申请实施例提供的端到端进行高速避障的流程图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
随着人工智能的兴起，深度神经网络已经渗透到各个领域，包括光学、计算机视觉以及机器人的控制领域。在光学领域，大多采用传统相机进行单目视觉的图像深度估计，即利用图像的深度特征即阴影、透视关系等进行计算，而如今光学成像***可以通过神经网络的随机梯度下降算法优化光学***，将光信息直接作为计算载体，快速获得深度图，与传统的低帧率的激光雷达和深度相机等有着很大区别。
在机器人控制领域，作为边缘计算的一些小型神经网络，是人工智能技术落地的关键产物之一，比如采用YOLO（You Only Look Once，基于深度学习目标检测算法）进行目标监测任务，利用Mobile-Net（基于深度可分离卷积）进行分类任务，神经网络作为在边缘计算中完成实时任务的重要手段，最重要的特性就是因为神经网络可以设计为“端到端”的形式，能够很快获得任务结果。
一般而言，无人机自主飞行决策包括感知、绘图和规划，在感知环节，最重要的信息往往是当前环境的深度信息，相关技术中，大多采用传统建模和规划方法获取控制参数，但会由于感知、绘图和规划的信息串行导致延迟，使得无人机无法在保证自主导航准确的情况下高速避障飞行。
为解决无人机高速避障飞行的问题，本申请实施例提出了一种基于光电端到端网络的无人机高速避障***及方法，下面将先对基于光电端到端网络的无人机高速避障***进行阐述。
具体而言，图1为本申请实施例所提供的一种基于光电端到端网络的无人机高速避障***的方框示意图。
如图1所示，该基于光电端到端网络的无人机高速避障***10包括：图像采集件100、解码器200和决策生成器300。
其中，图像采集件100用于采集无人机当前所处环境的深度图像；解码器200和决策生成器300基于端到端网络训练得到，其中，解码器200用于解码深度图像得到当前环境的深度信息；决策生成器300用于根据深度信息规划无人机的避障路径。
可以理解的是，本申请实施例通过图像采集件采集无人机当前所处环境的深度图像，基于端到端网络训练得到解码器和决策生成器，利用解码器解码深度图像得到当前环境的深度信息，然后决策生成器根据深度信息规划无人机的避障路径，由此，通过光学深度估计前端，结合后端的小模型决策器，能够快速从物理环境中提取深度信息，从而提高无人机的决策更新速率，使得无人机在保证自主导航准确的情况下高速避障飞行，并且端到端的光电神经网络设计提高了整体的鲁棒性，应用更加广泛。
在本申请实施例中，图像采集件100包括：光学镜头、光学掩膜和感光片。
其中，光学掩膜设置于光学镜头上；感光片用于采集透过光学掩膜的光线，基于光线生成深度图像。
其中，光学镜头、光学掩膜和感光片处于同一光轴上。
可以理解的是，本申请实施例光学掩膜紧贴标准透镜，并在合适的像距处设置感光片，通过光学镜头采集无人机当前所处环境的深度图像，通过光学掩膜透过的光线，经由透镜成像在感光片，以便于后续经过解码器解码深度图像得到当前环境的深度信息。
需要说明的是，本申请的光学镜头可以为由Zernike多项式拟合得到的自由曲面透镜，利用 Zernike 多项式拟合获得图像中各光线的相位信息, 并对其系数进行优化以精确估计场景深度，感光片可采用低分辨率、高频率的元件，以便于建立高速的深度估计***。
具体而言，Zernike多项式是一种常用的透镜表面形貌描述方法，可以用于描述透镜的像差特性和波前畸变，由此拟合得到透镜具有对称性和非周期性，可以反映透镜的对称特征和局部形变；利用Zernike多项式拟合自由曲面透镜的方法的理论依据是Zernike多项式是正交基函数，可以用来描述任意形状的光学表面形态误差，且由于Zernike多项式是完备的且正交的，因此可以表示任何形状的光学表面，没有重叠或重复，并且可以采用较少的项数来描述复杂的表面形状，如可以用来拟合自由曲面透镜的形态，在计算机模拟和光学设计中应用广泛，例如，在计算机生成的全息图或光学元件的优化中，Zernike多项式可以用来表示表面形状，并用来计算光学性能参数，如像差和波前畸变等。
在本申请的一个实施例中，光学成像原理为：将物理世界中的点光源与光学***的点扩散函数(PSF)进行卷积，其中点扩散函数的计算公式如下：
其中和/>表示傅里叶变换与傅里叶反变换，/>分别表示光瞳函数、标准透镜的厚度剖面、任意厚度剖面以及点光源波前光场强度的频域表达式，/>表示传递函数。
在本申请实施例中，光学掩膜的设计包括：获取光学镜头的表面形状；根据表面形状计算光学镜头的光学性能参数；根据目标环境的深度图像训练得到可采集深度图像的光学网络，根据光学性能参数和光学网络设计得到光学掩膜。
可以理解的是，本申请实施例根据光学镜头的表面形状计算光学性能参数，根据目标环境的深度图像训练得到可采集深度图像的光学网络，基于光学性能参数和光学网络设计得到光学掩膜，用于处理高分辨率的光学图像。
需要说明的是，光学性能参数可以包括像差和波前畸变，不做具体限定。
在本申请实施例中，图像采集件100与解码器200进行联合训练，其中，联合训练的过程包括：获取目标环境的光学图像和第一深度图像；根据光学图像和第一深度图像生成第一训练数据集；利用第一训练数据集对解码器进行端到端的训练，其中，解码器200根据光学图像计算目标环境的第二深度图像，基于第一深度图像和第二深度图像的误差，更新图像采集件中光学网络的网路参数和解码器的网路参数。
可以理解的是，本申请实施例根据获取的目标环境的光学图像和第一深度图像生成第一训练数据集，并对解码器进行端到端的训练，可以得到更直观的深度图像，从而便于利用深度图像进行无人机的决策；并且解码器根据光学图像计算目标环境的第二深度图像，基于第一深度图像和第二深度图像的误差，更新图像采集件中光学网络的网路参数和解码器的网路参数，提升解码器的解码深度图像得到当前环境的深度信息的准确性，优化整个避障***的参数。
需要说明的是，本申请的解码器200可以为U-net神经网络，U-net神经网络具有深度卷积神经网络的优势，能够处理复杂的图像信息，这使得在光学***中U-net神经网络可以处理高分辨率的光学图像，从而提高光学***的分析和设计精度；并且U-net神经网络可以进行端到端的训练，从而可以直接从原始数据中学习特征，并对图像进行处理，这使得U-net神经网络在光学***中的应用更加灵活和高效。
举例而言，在自由曲面透镜后设计接入一个U-net神经网络，可以在获取现实世界的图像信息经由透镜成像在光感片后，再经由U-net神经网络解码，可以得到更直观的深度图像，从而便于利用深度图像进行无人机的决策。
具体而言，将深度图的不同深度区间进行采样，与RGB图像通过图像采集件计算得到成像图像作为编码结果，该步骤模拟的是真实透镜成像过程。之后将成像图像经由解码器得到深度图，以此完成整个***的前向传播，与深度图对比计算得到误差，作为损失函数反向传播更新光学网络参数以及解码器网络参数。
在本申请的一个实施例中，在光学图像采集件后设计接入一个解码器能够得到直观的深度图像，然后利用图像采集件和解码器组成单目深度估计***用于根据光学图像估计场景深度信息，其中，最终经过训练得到的优化参数后的图像采集件和解码器构成单目深度估计***。
在本申请实施例中，如图2所示，决策生成器300的训练过程包括：利用特权专家模型仿真获得第二训练数据集；识别第二训练数据中的参考规划路径、深度信息和无人机的飞行参数，利用第二训练数据集训练决策生成器，其中，决策生成器300根据深度信息和无人机的飞行参数生成预测规划路径，基于参考规划路径和预测规划路径的误差更新决策生成器300的网络参数。
可以理解的是，本申请实施例利用特权专家模型仿真获得第二训练数据集，利用第二训练数据集训练决策生成器，根据从第二训练数据中识别的深度信息和无人机的飞行参数生成预测规划路径，基于从第二训练数据中识别的参考规划路径以及生成的预测规划路径更新决策生成器的网络参数，使得决策生成器的输出的决策更加精确，优化整个避障***的参数。
需要说明的是，在仿真环境中利用特权专家，可以轻松地模拟不同的场景和条件，从而探索不同的模型和算法的性能，基于此也能够使得数据集具有可重复性的特点，能够更好地跟踪和比较不同模型和算法的性能。
在本申请实施例中，利用特权专家模型仿真获得第二训练数据集，包括：模拟无人机在所处模拟环境的深度信息、飞行参数和全局信息；将全局信息输入特权专家模型，特权专家模型输出无人机在特权专家模型的参考规划路径；根据深度信息、飞行参数和参考规划路径生成第二训练数据集。
可以理解的是，本申请实施例通过获取模拟无人机在所处模拟环境的深度信息、飞行参数和全局信息，将全局信息输入特权专家模型输出无人机在特权专家模型的参考规划路径，根据深度信息、飞行参数和参考规划路径生成第二训练数据集，以便于后续训练决策生成器。
需要说明的是，特权学习常利用全局信息获得较优解，该专家可以获得全局信息，在无人机穿越方面表现优异，之后将其结果作为训练集训练，只能利用机载资源的决策生成器，其中，本申请以Mobile-net为backbone训练决策生成器，Mobile-Net是一种轻量级的卷积神经网络，具有较少的参数和计算量；将Mobile-Net作为多branch网络的backbone可以使得整个网络具有较小的模型和较快的推理速度；这对于嵌入式设备和移动端应用非常有用，决策生成器也可以称为避障决策器。
特权学习可以利用先前的经验来提高学习的效率，本申请实施例中主要是利用专家模型生成的数据集，学生策略的训练可以从特权专家模型的经验中受益，以解决在某些任务上需要全局信息的情况，能够学习如何在有限的信息下做出正确的决策。
在本申请实施例中，解码器和决策生成器作为一个整体进行整体训练，其中，在进行整体训练时，冻结解码器的光学网络的网络参数。
可以理解的是，本申请实施例将解码器和决策生成器作为一个整体进行整体训练，以端到端深度学习的方式优化整个避障***的参数，使得整个网络可以更快地收敛并获得更好的性能，并在进行整体训练时，冻结解码器的光学网络的网络参数，无需重新训练光学部分，以更好地泛化到新的数据集上，将将训练时间和计算资源的成本降到最低，获得更好的性能。
其中，冻结解码器的光学网络的网络参数光学部分的参数指的就是Zernike多项式族的各个多项式的系数，不做具体限定。
具体而言，将自由曲面透镜中Zernike多项式的参数冻结后，把光学部分与特权学习后的决策生成器进行综合训练，意在减小训练资源，并从整体上端到端进行优化，将单独进行预训练得到的两个上下游任务网络结合在一起获得更强的鲁棒性，也能够从整体上减弱噪声或是中间结果对最终任务效果的影响。
根据本申请实施例提出的基于光电端到端网络的无人机高速避障***，通过图像采集件采集无人机当前所处环境的深度图像，基于端到端网络训练得到解码器和决策生成器，利用解码器解码深度图像得到当前环境的深度信息，然后决策生成器根据深度信息规划无人机的避障路径，由此，通过光学深度估计前端，结合后端的小模型决策器，能够快速从物理环境中提取深度信息，从而提高无人机的决策更新速率，使得无人机在保证自主导航准确的情况下高速避障飞行，并且端到端的光电神经网络设计提高了整体的鲁棒性，应用更加广泛。
下面将结合图3对基于光电端到端网络的无人机高速避障***的结构以及训练过程进行详细阐述，具体步骤如下：
（1）利用Zernike多项式拟合透镜，优化各多项式参数，并安装于无人机的光学平台。
利用Zernike多项式拟合获得图像中各光线的相位信息, 并对其系数进行优化以精确估计场景深度信息，能够更好的保留场景结果信息，获取更高的规划精度与飞行速度。
将根据训练出来的由Zernike多项式拟合得到的自由曲面透镜和高频率低分辨率的感光片安装在无人机的光学平台上，保证光学掩膜、标准透镜以及感光片三者空间位置均在光轴上，且沿光轴方向上的距离符合训练时设计的参数，光学掩膜紧贴标准透镜，并在合适的像距处设置感光片。
（2）接一个U-net神经网络作为解码器，并训练获得单目深度估计***。
在物理世界中的光线经由透镜成像在光感片后，该成像已经包含了物理世界中的深度信息，再经由U-net神经网络解码，可以得到更直观的深度图像，以便于利用深度图像进行无人机的决策。
具体地，如图2所示，训练获得单目深度估计***通过以RGB图像和对应深度图为数据集，将深度图的不同深度区间进行采样，与RGB图像通过透镜计算得到成像图像作为编码结果；然后将成像图像经由U-net解码得到深度图，以此完成整个***的前向传播，与深度图对比计算得到误差，作为损失函数反向传播更新光学网络参数以及U-net网络参数，通过将自由曲面透镜和U-net神经网络一起训练得到的优化***就是单目深度估计***。
（3）设计特权学习中的特权专家模型获得训练数据集，然后以卷积神经网络为主网络训练学生策略，即决策生成器。
从特权学习中的特权专家模型获取训练数据集，并利用训练数据集训练决策生成器，实现在有限信息下做出正确的决策。
具体地，特权专家模型获取全图点云图、机体全局状态以及参考轨迹，利用M-H进行采用处理，从而规划出最优的轨迹；从特权专家模型中获取训练数据集并结合深度图，机体速度与高度，参考方向进行模仿训练生成决策生成器，从而能够根据有限的信息预测出无人机的控制轨迹，基于控制轨迹择优处理，做出正确的决策。
（4）冻结光学部分参数，将解码器和决策生成器作为整体进行训练，得到最终硬件的参数，整体上优化模型参数使无人机能够从接收物理世界的光线直接到路径规划并避开障碍物。
下面将采用具体实施例进行阐述，具体如下：
（1）首先搭建单目深度估计光学***，将根据训练出来的由Zernike多项式拟合得到的自由曲面透镜和高频率低分辨率的感光片安装在无人机的光学平台上，保证光学掩膜、标准透镜以及感光片三者空间位置均在光轴上，且沿光轴方向上的距离符合训练时设计的参数，光学掩膜紧贴标准透镜，并在合适的像距处设置感光片。
（2）随后进行神经网络的部署，通过将训练好参数的网络固定在固件上，以达到快速前向推理的目的，要调整好镜头与神经网络固件的位置，无人机载荷空间有限，在不影响飞机的重心和结构的情况下将整个***放置在无人机前方，并将感光片的输出与网络固件进行连接。
（3）在飞机未起飞时测试该***的输出是否正确，包括感光片是否达到高频率的更新，感光片的图像是否正确以及神经网络固件输出的控制参数是否正确等，以上检测正确后方可进行最后的调试。
（4）将网络固件的输出与飞行控制模块进行连接，并试飞，在此过程中要确保连线的稳固，并在试飞过程中注意飞行安全，由于本***为自主导航，因此在测试其高速避障的时候测试人员需设置好飞机飞行距离并远离测试场地以免发生意外。
图4为本申请实施例所提供的一种基于光电端到端网络的无人机高速避障方法的流程示意图。
如图4所示，该基于光电端到端网络的无人机高速避障方法包括以下步骤：
在步骤S101中，利用图像采集件采集无人机当前所处环境的深度图像。
在步骤S102中，利用解码器解码深度图像得到当前环境的深度信息，并获取无人机的飞行参数。
在步骤S103中，根据深度信息和飞行参数规划无人机的避障路径。
需要说明的是，前述对基于光电端到端网络的无人机高速避障***实施例的解释说明也适用于该实施例的基于光电端到端网络的无人机高速避障方法，此处不再赘述。
根据本申请实施例提出的基于光电端到端网络的无人机高速避障方法，利用图像采集件采集无人机当前所处环境的深度图像，基于端到端网络训练得到解码器和决策生成器，利用解码器解码深度图像得到当前环境的深度信息，然后决策生成器根据深度信息规划无人机的避障路径，由此，通过光学深度估计前端，结合后端的小模型决策器，能够快速从物理环境中提取深度信息，从而提高无人机的决策更新速率，使得无人机在保证自主导航准确的情况下高速避障飞行，并且端到端的光电神经网络设计提高了整体的鲁棒性，应用更加广泛。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不是必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列，现场可编程门阵列等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种基于光电端到端网络的无人机高速避障***，其特征在于，包括：
图像采集件，用于采集无人机当前所处环境的深度图像；
基于端到端网络训练得到的解码器和决策生成器，其中，
所述解码器用于解码所述深度图像得到当前环境的深度信息；
所述决策生成器用于根据所述深度信息规划所述无人机的避障路径。
2.根据权利要求1所述的基于光电端到端网络的无人机高速避障***，其特征在于，所述图像采集件包括：
光学镜头；
设置于所述光学镜头上的光学掩膜；
感光片，用于采集透过所述光学掩膜的光线，基于所述光线生成所述深度图像。
3.根据权利要求2所述的基于光电端到端网络的无人机高速避障***，其特征在于，所述光学镜头、所述光学掩膜和所述感光片处于同一光轴上。
4.根据权利要求2所述的基于光电端到端网络的无人机高速避障***，其特征在于，所述光学掩膜的设计包括：
获取所述光学镜头的表面形状；
根据所述表面形状计算所述光学镜头的光学性能参数；
根据目标环境的深度图像训练得到可采集所述深度图像的光学网络，根据所述光学性能参数和所述光学网络设计得到所述光学掩膜。
5.根据权利要求1或4所述的基于光电端到端网络的无人机高速避障***，其特征在于，所述图像采集件与所述解码器进行联合训练。
6.根据权利要求5所述的基于光电端到端网络的无人机高速避障***，其特征在于，所述联合训练的过程包括：
获取目标环境的光学图像和第一深度图像；
根据所述光学图像和所述第一深度图像生成第一训练数据集；
利用所述第一训练数据集对所述解码器进行端到端的训练，其中，所述解码器根据所述光学图像计算所述目标环境的第二深度图像，基于所述第一深度图像和所述第二深度图像的误差，更新所述图像采集件中光学网络的网路参数和所述解码器的网路参数。
7.根据权利要求1所述的基于光电端到端网络的无人机高速避障***，其特征在于，所述决策生成器的训练过程包括：
利用特权专家模型仿真获得第二训练数据集；
识别所述第二训练数据中的参考规划路径、深度信息和无人机的飞行参数，利用所述第二训练数据集训练所述决策生成器，其中，所述决策生成器根据所述深度信息和所述无人机的飞行参数生成预测规划路径，基于所述参考规划路径和所述预测规划路径的误差更新所述决策生成器的网络参数。
8.根据权利要求7所述的基于光电端到端网络的无人机高速避障***，其特征在于，所述利用特权专家模型仿真获得第二训练数据集，包括：
模拟无人机在所处模拟环境的深度信息、飞行参数和全局信息；
将所述全局信息输入特权专家模型，所述特权专家模型输出所述无人机在特权专家模型的参考规划路径；
根据所述深度信息、所述飞行参数和所述参考规划路径生成所述第二训练数据集。
9.根据权利要求1所述的基于光电端到端网络的无人机高速避障***，其特征在于，所述解码器和所述决策生成器作为一个整体进行整体训练，其中，在进行所述整体训练时，冻结所述解码器的光学网络的网络参数。
10.一种基于光电端到端网络的无人机高速避障方法，其特征在于，所述方法利用如权利要求1-9任意一项所述的基于光电端到端网络的无人机高速避障***进行高速避障，其中，所述方法包括以下步骤：
利用图像采集件采集无人机当前所处环境的深度图像；
利用解码器解码所述深度图像得到所述当前环境的深度信息，并获取所述无人机的飞行参数；
根据所述深度信息和所述飞行参数规划所述无人机的避障路径。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410129508.5A CN117707204B (zh) | 2024-01-30 | 2024-01-30 | 基于光电端到端网络的无人机高速避障***及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410129508.5A CN117707204B (zh) | 2024-01-30 | 2024-01-30 | 基于光电端到端网络的无人机高速避障***及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117707204A true CN117707204A (zh) | 2024-03-15 |
| CN117707204B CN117707204B (zh) | 2024-06-28 |
Family
ID=90150140
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410129508.5A Active CN117707204B (zh) | 2024-01-30 | 2024-01-30 | 基于光电端到端网络的无人机高速避障***及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117707204B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190074454A (ko) * | 2017-12-20 | 2019-06-28 | (주)이더블유비엠 | 입체이미지용 마스크 및 양안이미지의 생성방법, 장치 및 기록매체 |
| CN113239615A (zh) * | 2021-04-21 | 2021-08-10 | 西北工业大学 | 一种基于机器学习的飞行视觉显示***设计方法 |
| CN113349740A (zh) * | 2021-08-05 | 2021-09-07 | 清华大学 | 基于深度光学的微型头戴式显微镜成像装置及方法 |
| CN113393522A (zh) * | 2021-05-27 | 2021-09-14 | 湖南大学 | 一种基于单目rgb相机回归深度信息的6d位姿估计方法 |
| CN114326821A (zh) * | 2022-03-02 | 2022-04-12 | 中国人民解放军陆军指挥学院 | 基于深度强化学习的无人机自主避障***及方法 |
| WO2022160430A1 (en) * | 2021-01-27 | 2022-08-04 | Dalian University Of Technology | Method for obstacle avoidance of robot in the complex indoor scene based on monocular camera |
| CN114897752A (zh) * | 2022-05-09 | 2022-08-12 | 四川大学 | 一种基于深度学习的单透镜大景深计算成像***及方法 |
| CN114943757A (zh) * | 2022-06-02 | 2022-08-26 | 之江实验室 | 基于单目景深预测和深度增强学习的无人机森林探索*** |
| CN115499566A (zh) * | 2022-08-26 | 2022-12-20 | 四川大学 | 基于深度计算光学元件的端到端高质量消色差成像*** |
| CN115686062A (zh) * | 2022-10-27 | 2023-02-03 | 清华大学 | 基于单目深度估计和反应式策略的飞行器自主导航方法 |
| CN116966381A (zh) * | 2023-07-20 | 2023-10-31 | 复旦大学附属眼耳鼻喉科医院 | 基于自监督单目深度估计的气管插管机器人自主导航方法 |
| CN117311101A (zh) * | 2023-09-14 | 2023-12-29 | 中国科学院上海光学精密机械研究所 | 基于空间像深度学习的深紫外光刻投影物镜波像差检测方法 |
-
2024
- 2024-01-30 CN CN202410129508.5A patent/CN117707204B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190074454A (ko) * | 2017-12-20 | 2019-06-28 | (주)이더블유비엠 | 입체이미지용 마스크 및 양안이미지의 생성방법, 장치 및 기록매체 |
| WO2022160430A1 (en) * | 2021-01-27 | 2022-08-04 | Dalian University Of Technology | Method for obstacle avoidance of robot in the complex indoor scene based on monocular camera |
| CN113239615A (zh) * | 2021-04-21 | 2021-08-10 | 西北工业大学 | 一种基于机器学习的飞行视觉显示***设计方法 |
| CN113393522A (zh) * | 2021-05-27 | 2021-09-14 | 湖南大学 | 一种基于单目rgb相机回归深度信息的6d位姿估计方法 |
| CN113349740A (zh) * | 2021-08-05 | 2021-09-07 | 清华大学 | 基于深度光学的微型头戴式显微镜成像装置及方法 |
| CN114326821A (zh) * | 2022-03-02 | 2022-04-12 | 中国人民解放军陆军指挥学院 | 基于深度强化学习的无人机自主避障***及方法 |
| CN114897752A (zh) * | 2022-05-09 | 2022-08-12 | 四川大学 | 一种基于深度学习的单透镜大景深计算成像***及方法 |
| CN114943757A (zh) * | 2022-06-02 | 2022-08-26 | 之江实验室 | 基于单目景深预测和深度增强学习的无人机森林探索*** |
| CN115499566A (zh) * | 2022-08-26 | 2022-12-20 | 四川大学 | 基于深度计算光学元件的端到端高质量消色差成像*** |
| CN115686062A (zh) * | 2022-10-27 | 2023-02-03 | 清华大学 | 基于单目深度估计和反应式策略的飞行器自主导航方法 |
| CN116966381A (zh) * | 2023-07-20 | 2023-10-31 | 复旦大学附属眼耳鼻喉科医院 | 基于自监督单目深度估计的气管插管机器人自主导航方法 |
| CN117311101A (zh) * | 2023-09-14 | 2023-12-29 | 中国科学院上海光学精密机械研究所 | 基于空间像深度学习的深紫外光刻投影物镜波像差检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 李继辉 等: "基于深度学习的农用无人机自主避障研究", 《农机化研究》, no. 3, 31 March 2021 (2021-03-31), pages 1 - 7 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117707204B (zh) | 2024-06-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11797407B2 (en) | Systems and methods for generating synthetic sensor data via machine learning | |
| US20230169347A1 (en) | Continuous Convolution and Fusion in Neural Networks | |
| US20230044625A1 (en) | Systems and Methods for Generating Synthetic Light Detection and Ranging Data via Machine Learning | |
| EP3822852B1 (en) | Method, apparatus, computer storage medium and program for training a trajectory planning model | |
| CN111079619B (zh) | 用于检测图像中的目标对象的方法和装置 | |
| US10671077B2 (en) | System and method for full-stack verification of autonomous agents | |
| WO2020052480A1 (zh) | 无人驾驶行为决策及模型训练 | |
| Elmquist et al. | A sensor simulation framework for training and testing robots and autonomous vehicles | |
| CN111046767A (zh) | 一种基于单目图像的3d目标检测方法 | |
| Fan et al. | Dynamicfilter: an online dynamic objects removal framework for highly dynamic environments | |
| CN112114592B (zh) | 一种实现无人机自主穿越可移动框形障碍物的方法 | |
| CN111611918B (zh) | 基于航拍数据和深度学习的交通流数据集采集及构建方法 | |
| CN114066831A (zh) | 一种基于两阶段训练的遥感图像镶嵌质量无参考评价方法 | |
| US20230394804A1 (en) | Method and apparatus for fusing multi-sensor data | |
| KR20230159308A (ko) | 첨단 운전자 보조 시스템(adas) 및/또는 자동화된 운전 시스템(ads)을 교정하고 검증하기 위한 방법, 시스템 및 컴퓨터 프로그램 제품 | |
| Fan et al. | Cueing Flight Object Trajectory and Safety Prediction Based on SLAM Technology | |
| Notz et al. | Methods for improving the accuracy of the virtual assessment of autonomous driving | |
| CN116403174A (zh) | 一种端到端自动驾驶方法、***、仿真***及存储介质 | |
| CN109764876B (zh) | 无人平台的多模态融合定位方法 | |
| Ramakrishna et al. | Risk-aware scene sampling for dynamic assurance of autonomous systems | |
| CN117707204B (zh) | 基于光电端到端网络的无人机高速避障***及方法 | |
| Baum | Simultaneous tracking and shape estimation of extended objects | |
| Ebert et al. | Deep radar sensor models for accurate and robust object tracking | |
| CN115468778B (zh) | 车辆测试方法、装置、电子设备及存储介质 | |
| CN114663524B (zh) | 多相机在线标定方法、装置、电子设备和计算机可读介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |