CN109918988A - 一种结合成像仿真技术的可移植的无人机检测*** - Google Patents

Abstract

本发明提出一种结合成像仿真技术的可移植的无人机检测***，涉及成像仿真和机器视觉交叉技术领域，该***使用成像仿真技术，简化数据搜集过程，减少模型训练周期，使用调整内部权重后的网络进行计算，最终实现无人机检测。本发明所述的结合成像仿真技术的可移植的无人机检测***，能够在多种复杂背景下，对多种类型的无人机进行实时检测，使用深度学习技术解决传统模板匹配方法泛化能力差的问题，通过结合成像仿真技术，简化数据搜集过程，缩短模型训练周期，同时可以搭建在多种嵌入式设备上，提供了一种可移植的智能化无人机检测***。

Description

一种结合成像仿真技术的可移植的无人机检测***

技术领域

本发明属成像仿真和机器视觉交叉技术领域，涉及一种结合成像仿真技术的可移植的无人机检测***。

背景技术

近年来，无人机技术快速发展，有越来越多的人开始使用无人机来完成各种创造性的工作。因此，在无人机禁飞区或是公共场所，无人机的飞行必须得到监管，否则公众的安全和隐私将受到威胁。而无人机监管非常关键的一步就是无人机检测，检测就是快速找到视频中的每一帧中无人机的位置。毫无疑问，未来也会向智能化监管方向发展，因此设计一套可移植的智能化检测***是非常必要的。

如今，人工智能技术正在逐渐颠覆人们的生活方式，为了满足复杂环境下对无人机的检测需求，解决传统模板匹配方法对未知目标泛化能力差的问题，需要一种智能化的无人机检测***。随着深度学习技术的发展，基于深度学习的无人机检测技术能够适应复杂背景环境，在多种困难条件下(如遮挡、强光、尺寸较小)检测仍有较好的准确率和效率。然而，基于深度学习的无人机检测技术依赖大量的训练数据，而无人机这一类物体与日常检测物体相比较为特殊，很难从用于训练神经网络的公开数据集中找到无人机的相关训练数据。如果人工从网上获取特定背景环境和无人机类型的视频，首先需要花费大量的时间搜集，其次还需要考虑到人工标注的成本。

发明内容

为解决上述技术问题，本发明提出了一种结合成像仿真技术的可移植的无人机检测***，该***使用成像仿真技术，简化数据搜集过程，减少模型训练周期，使用调整内部权重后的网络进行计算，最终实现无人机检测。

采用以下技术方案实现：

一种结合成像仿真技术的可移植的无人机检测***，包括成像仿真模块、基于深度学习的检测训练模块、图像视频采集模块和模型检测计算模块，所述成像仿真模块与基于深度学习的检测训练模块连接、所述基于深度学习的检测训练模块与模型检测计算模块连接、所述图像视频采集模块与模型检测计算模块连接；

所述成像仿真模块，通过仿真渲染出照片级别的无人机图像和对应的标注数据，并为所述基于深度学习的检测训练模块供训练数据；

所述基于深度学习的检测训练模块：获取无人机的深度特征，实现对无人机的定位、识别、跟踪与关键点识别；

所述图像视频采集模块：采集无人机视频数据，对输入的无人机视频数据进行预处理，然后将视频数据输入模型检测计算模块；

所述模型检测计算模块，使用所述基于深度学习的检测训练模块提供的数据作为计算权重，形成检测网络模型，并实时处理所述图像视频采集模块中输入的视频数据；实现在多种监测场景下的视频的实时检测，最终定位并识别无人机、输出其位置信息。

其中，所述成像仿真模块：使用基于物理的渲染器，结合不同的全景环境图、无人机三维模型、表面材质测量反射数据、相机的内参、外参和目标的位置，渲染出具有真实感的无人机仿真图像。

优选地，在渲染过程中，环境图作为光源为无人机提供入射到其上360度的光线，所述环境图通过对同一场景的几个特定角度下拍摄得到的照片进行合成来得到，或从全景环境图的数据库中获取。

其中，通过改变无人机三维模型使用的材质来得到更多的外观变化，所述材质包括合金和塑料。

优选地，所述基于深度学习的检测训练模块配置了多种网络结构的卷积神经网络，使用所述成像仿真模块提供的训练数据，获取无人机的深度特征。

其中，所述基于深度学习的检测训练模块能够搭建在多种硬件设备上，根据硬件设备的计算能力进行***环境配置和卷积神经网络结构选取。

优选地，对于每种所述神经网络结构，使用预先训练好的网络内部权重，得到每一个卷积核的初始参数和全连接层的参数。

其中，所述模型检测计算模块使用基于深度学习的检测训练模块提供的网络内部训练权重作为计算权重，形成检测模型，以及使用所述图像视频采集模块输入的视频数据，实现对无人机的定位与识别。

优选地，所述模型检测计算模块配置有基于深度学习的目标检测算法和跟踪算法，当目标检测算法的检测速度无法按制定要求达到实时帧率，自动调用目标跟踪算法。

有益效果：本发明所述的结合成像仿真技术的可移植的无人机检测***，能够在多种复杂背景下，对多种类型的无人机进行实时检测，使用深度学习技术解决传统模板匹配方法泛化能力差的问题，通过结合成像仿真技术，简化数据搜集过程，缩短模型训练周期，同时可以搭建在多种嵌入式设备上，提供了一种可移植的智能化无人机检测***。

附图说明

图1为本发明实施例提供的一种结合成像仿真技术的可移植的无人机检测***的示意图。

具体实施方式

以下结合附图对本发明的具体实施方式作出详细说明。

如图1所示，本发明实施例提供的一种结合成像仿真技术的可移植的无人机检测***，包括四个模块：成像仿真模块1、基于深度学习的检测训练模块2、图像视频采集模块3和模型检测计算模块4。其中，成像仿真模块1使用基于物理的渲染器，其输入为各种不同的全景环境图和各种类无人机三维模型，通过该模块进行渲染仿真后，输出大量多样的带有标注数据的无人机仿真图像。基于深度学习的检测训练模块2使用成像仿真模块1提供的训练数据训练卷积神经网络，输出用于无人机检测的网络权重。图像视频采集模块3为摄像头等采集设备，获取真实场景下的图像或视频数据，输出视频流到模型检测计算模块4。最后，模型检测计算模块4使用训练好的模型对输入数据进行处理，最终定位并识别无人机、输出其位置信息。

本发明结合成像仿真和深度学习技术，首先通过仿真渲染出照片级别的无人机图像和对应的标注数据，解决真实图像数据难以获取的问题，并为深度学习模型提供训练数据。然后，采用目前最先进的深度学习技术，实现对无人机的定位、识别、跟踪与关键点识别。之后，将整套***搭建在小型化嵌入式设备上，实现***移植与小型化。最终，经仿真数据训练的无人机检测***，可以在多种复杂背景下，对摄像头采集的带有无人机目标的图像和视频数据，进行准确、快速、高效的检测，从而实现智能化可在复杂背景下检测无人机的***。通过配置***运行环境，该***可以搭建在多种嵌入式设备上。

1.成像仿真模块：

本模块使用基于物理的渲染器，结合不同的全景环境图、无人机三维模型、表面材质测量反射数据、相机的内参、外参和目标的位置，渲染出大量多样的具有真实感的无人机仿真图像。在无人机渲染过程中，环境图作为光源，提供了入射到无人机上360度的光线。通常情况下，环境图可以通过对同一场景的几个特定角度下拍摄得到的照片进行合成来得到，或从全景环境图的数据库中获取。并且在渲染仿真图像的同时可以精确地获取目标的包围框、目标关键部位的位置以及目标在图像中所有像素的坐标，为基于深度学习的检测训练模块2提供训练数据。

为了增加该模块仿真生成无人机的多样性，除了使用更多的三维模型来得到更多的形状变化以外，还可以改变模型使用的材质来得到更多的外观变化。无人机使用的材料大多数是各种合金和塑料，因此可以使用包含了100种材料的测量反射数据的数据库。

2.基于深度学习的检测训练模块：

本模块使用成像仿真模块1提供的训练数据训练卷积神经网络，获取无人机的深度特征，通过训练、计算损失函数、反向传播等方法调整网络内部权重，提高对无人机的定位能力和识别能力。本模块配置了多种网络结构的卷积神经网络，以应对不同硬件设备的计算需求。

本模块可以搭建在多种硬件设备上，针对不同设备的计算能力，配置相应的***环境，结合单步的快速目标检测和两步的目标检测算法，选取不同种类的网络结构，实现不同硬件设备上的模块训练与检测功能。对于每种网络结构，使用预先训练好的网络内部权重，得到每一个卷积核的初始参数和全连接层的参数。在此基础上做迁移学***衡准确率和召回率的比值，提高在复杂光照(过暗、过曝)、复杂背景(城市、郊外)以及非刚性物体形变、低分辨率和模糊图像等场景下的准确性。

3.图像视频采集模块：

本模块使用高速摄像机采集无人机视频数据，并利用摄像头防止曝光、防止抖动等功能对输入数据进行预处理，然后将视频流数据输入模型检测计算模块4。

4.模型检测计算模块：

本模块使用基于深度学习的检测训练模块2中提供的训练完成的权重作为计算权重，形成检测网络模型，并实时处理图像视频采集模块3中输入的视频流数据。通过模块中配置的多种网络结构计算权重及跟踪算法，实现在多种监测场景下的视频的实时检测，最终定位并识别无人机、输出其位置信息。实现对无人机的定位与识别。本模块中配置有多种基于深度学习的目标检测算法和跟踪算法，以适应多种场景下的目标检测任务的精度和速度要求。当目标检测算法的检测速度无法按制定要求达到实时帧率，自动调用目标跟踪算法，提高***检测速度，实现对无人机的快速跟踪。

本发明针对无人机监管问题，提供一种结合成像仿真技术的可移植的无人机检测***，能够在多种复杂背景下，对多种类型的无人机进行实时检测，使用深度学习技术解决传统模板匹配方法泛化能力差的问题，通过结合成像仿真技术，简化数据搜集过程，缩短模型训练周期，同时可以搭建在多种嵌入式设备上，提供了一种可移植的智能化无人机检测***。

因此，使用成像仿真技术快速生成训练数据并训练网络模型是非常必要的。和人工查找获取相比，使用成像仿真技术渲染生成无人机图像，不仅可以快速获取大量无人机图像与精确的包围框数据，还可以获取无人机任意关键部位(例如旋翼)的位置，甚至获取图像数据中属于无人机的像素点的数据。

对于本领域技术人员而言，显然本发明实施例不限于上述示范性实施例的细节，而且在不背离本发明实施例的精神或基本特征的情况下，能够以其他的具体形式实现本发明实施例。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明实施例的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明实施例内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。***、装置或终端权利要求中陈述的多个单元、模块或装置也可以由同一个单元、模块或装置通过软件或者硬件来实现。

最后应说明的是，以上实施方式仅用以说明本发明实施例的技术方案而非限制，尽管参照以上较佳实施方式对本发明实施例进行了详细说明，本领域的普通技术人员应当理解，可以对本发明实施例的技术方案进行修改或等同替换都不应脱离本发明实施例的技术方案的精神和范围。

Claims (9)

1.一种结合成像仿真技术的可移植的无人机检测***，包括成像仿真模块、基于深度学习的检测训练模块、图像视频采集模块和模型检测计算模块，所述成像仿真模块与基于深度学习的检测训练模块连接、所述基于深度学习的检测训练模块与模型检测计算模块连接、所述图像视频采集模块与模型检测计算模块连接；其特征在于：

所述成像仿真模块，通过仿真渲染出照片级别的无人机图像和对应的标注数据，并为所述基于深度学习的检测训练模块供训练数据；

所述基于深度学习的检测训练模块：获取无人机的深度特征，实现对无人机的定位、识别、跟踪与关键点识别；

所述图像视频采集模块：采集无人机视频数据，对输入的无人机视频数据进行预处理，然后将视频数据输入模型检测计算模块；

所述模型检测计算模块，使用所述基于深度学习的检测训练模块提供的数据作为计算权重，形成检测网络模型，并实时处理所述图像视频采集模块中输入的视频数据；实现在多种监测场景下的视频的实时检测，最终定位并识别无人机、输出其位置信息。

2.根据权利要求1所述的结合成像仿真技术的可移植的无人机检测***，其特征在于：所述成像仿真模块：使用基于物理的渲染器，结合不同的全景环境图、无人机三维模型、表面材质测量反射数据、相机的内参、外参和目标的位置，渲染出具有真实感的无人机仿真图像。

3.根据权利要求2所述的结合成像仿真技术的可移植的无人机检测***，其特征在于：在渲染过程中，环境图作为光源为无人机提供入射到其上360度的光线，所述环境图通过对同一场景的几个特定角度下拍摄得到的照片进行合成来得到，或从全景环境图的数据库中获取。

4.根据权利要求2所述的结合成像仿真技术的可移植的无人机检测***，其特征在于：通过改变无人机三维模型使用的材质来得到更多的外观变化，所述材质包括合金和塑料。

5.根据权利要求1所述的结合成像仿真技术的可移植的无人机检测***，其特征在于：所述基于深度学习的检测训练模块配置了多种网络结构的卷积神经网络，使用所述成像仿真模块提供的训练数据，获取无人机的深度特征。

6.根据权利要求5所述的结合成像仿真技术的可移植的无人机检测***，其特征在于：所述基于深度学习的检测训练模块能够搭建在多种硬件设备上，根据硬件设备的计算能力进行***环境配置和卷积神经网络结构选取。

7.根据权利要求5所述的结合成像仿真技术的可移植的无人机检测***，其特征在于：对于每种所述神经网络结构，使用预先训练好的网络内部权重，得到每一个卷积核的初始参数和全连接层的参数。

8.根据权利要求7所述的结合成像仿真技术的可移植的无人机检测***，其特征在于：所述模型检测计算模块使用基于深度学习的检测训练模块提供的网络内部训练权重作为计算权重，形成检测模型，以及使用所述图像视频采集模块输入的视频数据，实现对无人机的定位与识别。

9.根据权利要求8所述的结合成像仿真技术的可移植的无人机检测***，其特征在于：所述模型检测计算模块配置有基于深度学习的目标检测算法和跟踪算法，当目标检测算法的检测速度无法按制定要求达到实时帧率，自动调用目标跟踪算法。