CN115311580A - 基于图像识别的无人机威胁判定方法及相关设备 - Google Patents

基于图像识别的无人机威胁判定方法及相关设备 Download PDF

Info

Publication number
CN115311580A
CN115311580A CN202210921443.9A CN202210921443A CN115311580A CN 115311580 A CN115311580 A CN 115311580A CN 202210921443 A CN202210921443 A CN 202210921443A CN 115311580 A CN115311580 A CN 115311580A
Authority
CN
China
Prior art keywords
unmanned aerial
aerial vehicle
target object
image
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210921443.9A
Other languages
English (en)
Inventor
吴镝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Baidi Technology Co ltd
Original Assignee
Shenzhen Baidi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Baidi Technology Co ltd filed Critical Shenzhen Baidi Technology Co ltd
Priority to CN202210921443.9A priority Critical patent/CN115311580A/zh
Publication of CN115311580A publication Critical patent/CN115311580A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明实施例提供一种基于图像识别的无人机威胁判定方法，方法包括：获取无人机飞行过程中的当前环境图像；检测到所述当前环境图像中存在目标物体时，预测所述目标物体的运动轨迹；根据所述运动轨迹，对所述无人机进行威胁判定。通过对无人机飞行过程进行图像识别，检测到当前环境图像中存在目标物体时，预测目标物体的运动轨迹来进行无人机威胁判定，可以在无人机飞行过程中准确的进行威胁判定，使得无人机可以提前作为规避动作，提高无人机在飞行过程中的安全性。

Description

基于图像识别的无人机威胁判定方法及相关设备
技术领域
本发明涉及图像处理领域，尤其涉及一种基于图像识别的无人机威胁判定方法及相关设备。
背景技术
随着民用无人机的普及和大规模使用，为人们带来工作便利，比如将无人机用于野外勘探、高速交通航拍、景区航拍等。执行区域较大的任务时，无人机一般是以规划的飞行路线来进行飞行，而在飞行过程中，可能存在各种威胁，比如飞行生物、其他无人机、风吹到空中的物品、自然地形等，这些威胁的出现，会直接影响无人机在飞行过程中的安全性，使得无人机在飞行过程中的安全性降低。
发明内容
本发明实施例提供一种基于图像识别的无人机威胁判定方法，旨在解决现有无人机在飞行过程中安全性降低的问题。通过对无人机飞行过程进行图像识别，检测到当前环境图像中存在目标物体时，预测目标物体的运动轨迹来进行无人机威胁判定，可以在无人机飞行过程中准确的进行威胁判定，使得无人机可以提前作为规避动作，提高无人机在飞行过程中的安全性。
第一方面，本发明实施例提供一种基于图像识别的无人机威胁判定方法，所述方法包括：
获取无人机飞行过程中的当前环境图像；
检测到所述当前环境图像中存在目标物体时，预测所述目标物体的运动轨迹；
根据所述运动轨迹，对所述无人机进行威胁判定。
可选的，在所述检测到所述当前环境图像中存在目标物体时，预测所述目标物体的运动轨迹之前，所述方法包括：
获取所述无人机的当前飞行高度；
以所述当前飞行高度为先验知识，对所述当前环境图像进行目标检测。
可选的，所述以所述当前飞行高度为先验知识，对所述当前环境图像进行目标检测，包括：
根据所述当前飞行高度，匹配对应的目标检测模型，所述目标检测模型根据不同高度的图像集进行训练得到；
通过匹配到的所述目标检测模型对所述当前环境图像进行目标检测。
可选的，所述检测到所述当前环境图像中存在目标物体时，预测所述目标物体的运动轨迹，包括：
当检测到所述当前环境图像中存在目标物体时，对所述目标物体进行跟踪，得到所述目标物体的跟踪图像；
对所述目标物体的跟踪图像进行轨迹分析，得到所述目标物体的跟踪轨迹；
基于所述跟踪轨迹，预测所述目标物体的运动轨迹。
可选的，所述对所述目标物体的跟踪图像进行轨迹分析，得到所述目标物体的跟踪轨迹，包括：
对所述跟踪图像进行关键点提取，得到所述目标物体的特征关键点；
根据所述特征关键点进行轨迹分析，得到所述目标物体的跟踪轨迹。
可选的，所述基于所述跟踪轨迹，预测所述目标物体的运动轨迹，包括：
获取当前飞行高度的流体运动参数；
结合所述流体运动参数与所述跟踪轨迹，通过预先训练好的时序模型对所述目标物体的运动轨迹进行预测，得到所述目标物体的运动轨迹。
可选的，所述根据所述运动轨迹，对所述无人机进行威胁判定，包括：
获取所述无人机的飞行路线以及所述无人机的轮廓参数；
基于所述飞行路线与所述轮廓参数，生成所述无人机的三维动态路线；
计算所述运动轨迹与所述三维动态路线的交叉概率；
根据所述交叉概率对所述无人机进行威胁判定。
第二方面，本发明实施例提供一种基于图像识别的无人机威胁判定装置，所述装置包括：
获取模块，用于获取无人机飞行过程中的当前环境图像；
预测模块，用于检测到所述当前环境图像中存在目标物体时，预测所述目标物体的运动轨迹；
判定模块，用于根据所述运动轨迹，对所述无人机进行威胁判定。
第三方面，本发明实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例提供的基于图像识别的无人机威胁判定方法中的步骤。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现发明实施例提供的基于图像识别的无人机威胁判定方法中的步骤。
本发明实施例中，获取无人机飞行过程中的当前环境图像；检测到所述当前环境图像中存在目标物体时，预测所述目标物体的运动轨迹；根据所述运动轨迹，对所述无人机进行威胁判定。通过对无人机飞行过程进行图像识别，检测到当前环境图像中存在目标物体时，预测目标物体的运动轨迹来进行无人机威胁判定，可以在无人机飞行过程中准确的进行威胁判定，使得无人机可以提前作为规避动作，提高无人机在飞行过程中的安全性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于图像识别的无人机威胁判定方法的流程图；
图2是本发明实施例提供的一种基于图像识别的无人机威胁判定装置的结构示意图；
图3是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参见图1，图1是本发明实施例提供的一种基于图像识别的无人机威胁判定方法的流程图，如图1所示，该基于图像识别的无人机威胁判定方法包括以下步骤：
101、获取无人机飞行过程中的当前环境图像。
在本发明实施例中，上述的无人机可以理解为执行任务的任意一种飞行设备，可以是旋翼式飞行设备，也可以是喷气式飞行设备。上述无人机上搭载有图像采集设备，上述图像采集设备可以是设置在不同方位的对不同方向进行拍摄的多个图像采集设备，比如，可以是设置在前后左右上下的六个图像采集设备。
通过设置在不同方位的对不同方向进行拍摄的多个图像采集设备，采集无人机飞行过程中的当前环境图像。对应的，当前环境图像多个方向的图像，具体可以包括多个图像采集设备采集到的对应方向的图像。
102、检测到当前环境图像中存在目标物体时，预测目标物体的运动轨迹。
在本发明实施例中，当前环境图像包括多个方向的图像，可以对每个方向的图像依次进行图像识别，进而检测当前环境图像中是否存在目标物体。比如，可以按前、左、右、上、后、下的方向顺序依次进行图像识别。
上述目标物体为可能影响无人机飞行过程的物体，比如飞行生物、其他无人机、风吹到空中的物品、自然地形等。
上述图像识别可以是是基于目标检测算法得到，目标检测算法将物体进行分类，进而识别图像中的物体属于哪个分类。这些分类中，对无人机飞行过程而言有影响的分类，则为对应的目标分类，目标分类中的物体则是目标物体。
在检测到目标物体时，可以通过对应的图像采集设备对目标物体进行跟踪，从而根据跟踪图像预测目标物体的运动轨迹。
103、根据运动轨迹，对无人机进行威胁判定。
在本发明实施例中，运动轨迹表示目标物体的运动趋势，在未来一段时间对于无人机的威胁程度，根据不同的威胁程度，对无人机进行威胁判定。
具体的，威胁程度可以划分为三个等级，威胁程度最高为一级，威胁程度一般为二级，威胁程度最小为三级，其中，一级威胁程度可以理解为运动轨迹在未来一段时间与无人机直接相交，使得目标物体与无人机相撞，二级威胁程度可以理解为运动轨迹在未来一段时间与无人机距离在预定区间内，目标物体与无人机存在相撞的机率，三级威胁程度可以理解为运动轨迹在未来一段时间与无人机距离在预定区间外，目标特征与无人机在正常情况下不存在相撞的机率。
在一种可能的实施例中，无人机控制***可以根据威胁程度，对无人机作出对应的控制调整，比如，在出现一级或二级威胁程度时，临时修改无人机的飞行路线。在出现三级威胁程度时，可以对目标物体持续进行威胁判定，直到目标物体消失。
在另一种可能的实施例中，在调整飞行路线后，还可以对目标物体持续进行威胁判定，直到威胁程度降低为三级威胁程度或目标物体消失。
本发明实施例中，获取无人机飞行过程中的当前环境图像；检测到所述当前环境图像中存在目标物体时，预测所述目标物体的运动轨迹；根据所述运动轨迹，对所述无人机进行威胁判定。通过对无人机飞行过程进行图像识别，检测到当前环境图像中存在目标物体时，预测目标物体的运动轨迹来进行无人机威胁判定，可以在无人机飞行过程中准确的进行威胁判定，使得无人机可以提前作为规避动作，提高无人机在飞行过程中的安全性。
可选的，在检测到当前环境图像中存在目标物体时，预测目标物体的运动轨迹的步骤之前，还可以获取无人机的当前飞行高度；以当前飞行高度为先验知识，对当前环境图像进行目标检测。
在本发明实施例中，可以根据无人机上搭载的定位***来实时获取到无人机的当前位置，根据当前位置来确定无人机的当前飞行高度。
在一种可能的实施例中，也可以在确定无人机的飞行状态没有偏差时，将无人机的飞行路线中设定好的飞行高度确定为无人机的当前飞行高度。
可选的，在以当前飞行高度为先验知识，对当前环境图像进行目标检测的步骤中，可以根据当前飞行高度，匹配对应的目标检测模型，目标检测模型根据不同高度的图像集进行训练得到；通过匹配到的目标检测模型对当前环境图像进行目标检测。
在本发明实施例中，由于在空中，不同的高度可能出现的物体是不同的，可以理解为，不同的高度具有不同的物体分布，比如，不同的高度上对应的鸟类分布，也可以对应不同的物体，比如在较低的飞行高度，可能会有树叶被风吹起，再往上则不会有树叶。其他类似于气球、风筝、孔明灯等物体也具有最高到达的高度，因此，不同的高度会有不同的物体分布，这种物体分布可以作为先验知识。
根据当前飞行高度的不同，匹配对应的目标检测模型，可以得到更有针对性的目标检测模型来对目标物体进行检测，提高目标物体的检测准确率。
具体的，可以根据不同的飞行高度，收集对应的图像集，不同的飞行高度对应一个图像集，图像集中为可能出现在该飞行高度的物体图像。通过不同图像集对目标检测模型进行有监督训练，得到与图像集对应的训练好的目标检测模型，训练好的目标检测模型的数量与图像集的数量一一对应。
可选的，在检测到当前环境图像中存在目标物体时，预测目标物体的运动轨迹的步骤中，可以当检测到当前环境图像中存在目标物体时，对目标物体进行跟踪，得到目标物体的跟踪图像；对目标物体的跟踪图像进行轨迹分析，得到目标物体的跟踪轨迹；基于跟踪轨迹，预测目标物体的运动轨迹。
在本发明实施例中，当检测到当前环境图像中存在目标物体时，可以确定是目标物体所在图像，根据目标物体所在图像确定目标物体的方向，控制该方向上的图像采集设备对目标物体进行跟踪，得到目标物体的跟踪图像。
目标物体的跟踪图像可以是连续帧图像，根据目标物体在连续帧图像中的位置信息，得到目标物体的跟踪轨迹。跟踪轨迹实质上是一个时空序列，根据该时空序列，对目标物体的时空变化进行预测，得到目标物体的运动轨迹。
具体的，可以根据目标物体在连续帧图像中的检测框，确定目标物体在连续帧图像中的位置。比如，检测框为(x，y，w，h，γ)，其中，(x，y)检测框中心点坐标，w为检测框的宽，h为检测框的宽，γ检测框的置信度。可以将检测框中心点坐标作为目标物体的位置信息，根据连续帧图像中目标物体的位置信息，得到目标物体的跟踪轨迹。
可以通过训练好的时序模型对跟踪轨迹进行预测，得到目标物体的运动轨迹。该运动轨迹包括跟踪轨迹和预测轨迹，预测轨迹为当前时间之后目标物体的运动轨迹。
具体的，可以收集各类物体的样本运动轨迹，将样本运动轨迹划分为两段，一段作为样本跟踪轨迹，一段作为标签轨迹，标签轨迹的时间在样本跟踪轨迹的时间之后。将样本跟踪轨迹输入到时序模型中，输出预测轨迹，计算预测轨迹与标签轨迹之间的误差损失，以最小化误差损失为目标训练时序模型，使得时序模型的输出与标签轨迹相似，从而完成训练，得到训练好的时序模型。在使用时，将跟踪轨迹输入到训练好的时序模型，通过训练好的时序模型输出预测轨迹，将预测轨迹与跟踪轨迹进行拼接，得到目标物体的运动轨迹。
在一种可能的实施例中，可以收集各类物体的样本运动轨迹，从样本运动轨迹的前中部分取出一段轨迹作为样本跟踪轨迹，将样本运动轨迹作为标签轨迹。将样本跟踪轨迹输入到时序模型中，输出预测轨迹，计算预测轨迹与标签轨迹之间的误差损失，以最小化误差损失为目标训练时序模型，使得时序模型的输出与标签轨迹相似，从而完成训练，得到训练好的时序模型。在使用时，将跟踪轨迹输入到训练好的时序模型，通过训练好的时序模型输出得到目标物体的运动轨迹。
可选的，在对目标物体的跟踪图像进行轨迹分析，得到目标物体的跟踪轨迹的步骤中，可以对跟踪图像进行关键点提取，得到目标物体的特征关键点；根据特征关键点进行轨迹分析，得到目标物体的跟踪轨迹。
在本发明实施例中，上述特征关键点可以是目标物体的几何中心点，上述特征关键点也可以是目标物体的轮廓点。在对跟踪图像进行关键点提取时，可以对各个帧图像进行图像分割，得到目标物体的分割图像，基于分割图像进行关键点提取，得到目标物体的特征关键点。
在一种可能的实施例中，上述特征关键点可以是SIFT(Scale-invariant featuretransform，SIFT，尺度不变特征变换)关键点，SIFT特征是基于物体上的一些局部外观的兴趣点而与影像的大小和旋转无关。对于光线、噪声、微视角改变的容忍度也相当高。基于这些特性，它们是高度显著而且相对容易撷取，在母数庞大的特征数据库中，很容易辨识物体而且鲜有误认。使用SIFT特征描述对于部分物体遮蔽的侦测率也相当高，查以只需要3个以上的SIFT特征就足以计算出物***置与方位。可以根据SIFT关键点来确定目标物体的位置信息，从而确定目标物体的跟踪轨迹。
可选的，在基于所述跟踪轨迹，预测目标物体的运动轨迹的步骤中，可以获取当前飞行高度的流体运动参数；结合流体运动参数与跟踪轨迹，通过预先训练好的时序模型对目标物体的运动轨迹进行预测，得到目标物体的运动轨迹。
在本发明实施例中，当前飞行高度的流体运动参数可以包括空气流动速度、空气流动方向、空气密度等参数，通过流体运动参数对目标物体的运动轨迹预测过程进行修正，可以得到更准确的目标物体的运动轨迹。
具体的，上述的跟踪轨迹假设为an，表示n帧图像中目标物体的位置，运动轨迹为cm，则有时序模型的预测公式为cm＝w×an+b，其中，w为权重参数，b为偏置参数，均为训练过程中得到。在结合流体运动参数后，则时序模型的预测公式为cm＝λ(w×an+b)，其中，λ为流体运动参数。更具体的，λ＝(ν1×μ1×ρ1)/(ν0×μ0×ρ0)，其中，ν1表示当前空气流动速度，μ1表示当前空气流动方向，ρ1表示当前空气密度，ν0表示参考空气流动速度，μ0表示参考空气流动方向，ρ0表示参考空气密度，参考空气流动速度、参考空气流动方向以及参考空气密度可以根据经验进行设置。
可选的，在根据运动轨迹，对无人机进行威胁判定的步骤中，可以获取无人机的飞行路线以及无人机的轮廓参数；基于飞行路线与轮廓参数，生成无人机的三维动态路线；计算运动轨迹与三维动态路线的交叉概率；根据交叉概率对无人机进行威胁判定。
在本发明实施例中，无人机的飞行路线可以是预先进行规划的，可以直接读取无人机的存储器进行获取。无人机的轮廓参数可以是预设进行设置的，无人机的在不同方向上，会存在不同的轮廓参数，比如前方和后方对应的第一轮廓是相同的，左方和右方对应的第二轮廓是相同的，上方和下方对应的第三轮廓是相同的，但第一轮廓、第二轮廓与第三轮廓之间是不同的。因此，可以根据目标物体所在的方向，来获取对应的无人机的轮廓参数。
上述轮廓参数为无人机的外轮廓，以飞行路线为运动方向，将无人机的外轮廓沿飞行路线进行移动，得到无人机的三维动态路线。上述运动轨迹与三维动态路线的交叉概率可以理解为运动轨迹穿过三维动态路线的概率，具体的，交叉概率可以通过式子K＝l0/(l1+l2)，其中，l0为目标物体到无人机的距离，l1为跟踪轨迹的长度，l2为运动轨迹的长度。
具体的，威胁程度可以划分为三个等级，威胁程度最高为一级，威胁程度一般为二级，威胁程度最小为三级，其中，当K大于第一阈值时，可以判定为一级威胁程度，当K小于第一阈值大于第二阈值时，可以判定二级威胁程度，当K小于第二阈值时，可以判定为三级威胁程度。一级威胁程度可以理解为运动轨迹在未来一段时间与无人机直接相交，使得目标物体与无人机相撞，二级威胁程度可以理解为运动轨迹在未来一段时间与无人机距离在预定区间内，目标物体与无人机存在相撞的机率，三级威胁程度可以理解为运动轨迹在未来一段时间与无人机距离在预定区间外，目标特征与无人机在正常情况下不存在相撞的机率。
需要说明的是，本发明实施例提供的基于图像识别的无人机威胁判定方法可以应用于可以进行基于图像识别的无人机威胁判定的无人机、手机、服务器等设备。
需要说明的是，本发明实施例提供的基于图像识别的无人机威胁判定方法可以应用于可以进行基于图像识别的无人机威胁判定的智能手机、电脑、服务器等设备。
可选的，请参见图2，图2是本发明实施例提供的一种基于图像识别的无人机威胁判定装置的结构示意图，如图2所示，所述装置包括：
获取模块201，用于获取无人机飞行过程中的当前环境图像；
预测模块202，用于检测到所述当前环境图像中存在目标物体时，预测所述目标物体的运动轨迹；
判定模块203，用于根据所述运动轨迹，对所述无人机进行威胁判定。
可选的，所述装置还包括：
高度获取模块，用于获取所述无人机的当前飞行高度；
检测模块，用于以所述当前飞行高度为先验知识，对所述当前环境图像进行目标检测。
可选的，所述检测模块还用于根据所述当前飞行高度，匹配对应的目标检测模型，所述目标检测模型根据不同高度的图像集进行训练得到；通过匹配到的所述目标检测模型对所述当前环境图像进行目标检测。
可选的，所述预测模块202还用于当检测到所述当前环境图像中存在目标物体时，对所述目标物体进行跟踪，得到所述目标物体的跟踪图像；对所述目标物体的跟踪图像进行轨迹分析，得到所述目标物体的跟踪轨迹；基于所述跟踪轨迹，预测所述目标物体的运动轨迹。
可选的，所述预测模块202还用于对所述跟踪图像进行关键点提取，得到所述目标物体的特征关键点；根据所述特征关键点进行轨迹分析，得到所述目标物体的跟踪轨迹。
可选的，所述预测模块202还用于获取当前飞行高度的流体运动参数；结合所述流体运动参数与所述跟踪轨迹，通过预先训练好的时序模型对所述目标物体的运动轨迹进行预测，得到所述目标物体的运动轨迹。
可选的，所述判定模块203还用于获取所述无人机的飞行路线以及所述无人机的轮廓参数；基于所述飞行路线与所述轮廓参数，生成所述无人机的三维动态路线；计算所述运动轨迹与所述三维动态路线的交叉概率；根据所述交叉概率对所述无人机进行威胁判定。
需要说明的是，本发明实施例提供的基于图像识别的无人机威胁判定装置可以应用于可以进行基于图像识别的无人机威胁判定的无人机、手机、服务器等设备。
本发明实施例提供的基于图像识别的无人机威胁判定装置能够实现上述方法实施例中基于图像识别的无人机威胁判定方法实现的各个过程，且可以达到相同的有益效果。为避免重复，这里不再赘述。
参见图3，图3是本发明实施例提供的一种电子设备的结构示意图，如图3所示，包括：存储器302、处理器301及存储在所述存储器302上并可在所述处理器301上运行的基于图像识别的无人机威胁判定方法的计算机程序，其中：
处理器301用于调用存储器302存储的计算机程序，执行如下步骤：
获取无人机飞行过程中的当前环境图像；
检测到所述当前环境图像中存在目标物体时，预测所述目标物体的运动轨迹；
根据所述运动轨迹，对所述无人机进行威胁判定。
可选的，在所述检测到所述当前环境图像中存在目标物体时，预测所述目标物体的运动轨迹之前，处理器301执行的所述方法包括：
获取所述无人机的当前飞行高度；
以所述当前飞行高度为先验知识，对所述当前环境图像进行目标检测。
可选的，处理器301执行的所述以所述当前飞行高度为先验知识，对所述当前环境图像进行目标检测，包括：
根据所述当前飞行高度，匹配对应的目标检测模型，所述目标检测模型根据不同高度的图像集进行训练得到；
通过匹配到的所述目标检测模型对所述当前环境图像进行目标检测。
可选的，处理器301执行的所述检测到所述当前环境图像中存在目标物体时，预测所述目标物体的运动轨迹，包括：
当检测到所述当前环境图像中存在目标物体时，对所述目标物体进行跟踪，得到所述目标物体的跟踪图像；
对所述目标物体的跟踪图像进行轨迹分析，得到所述目标物体的跟踪轨迹；
基于所述跟踪轨迹，预测所述目标物体的运动轨迹。
可选的，处理器301执行的所述对所述目标物体的跟踪图像进行轨迹分析，得到所述目标物体的跟踪轨迹，包括：
对所述跟踪图像进行关键点提取，得到所述目标物体的特征关键点；
根据所述特征关键点进行轨迹分析，得到所述目标物体的跟踪轨迹。
可选的，处理器301执行的所述基于所述跟踪轨迹，预测所述目标物体的运动轨迹，包括：
获取当前飞行高度的流体运动参数；
结合所述流体运动参数与所述跟踪轨迹，通过预先训练好的时序模型对所述目标物体的运动轨迹进行预测，得到所述目标物体的运动轨迹。
可选的，处理器301执行的所述根据所述运动轨迹，对所述无人机进行威胁判定，包括：
获取所述无人机的飞行路线以及所述无人机的轮廓参数；
基于所述飞行路线与所述轮廓参数，生成所述无人机的三维动态路线；
计算所述运动轨迹与所述三维动态路线的交叉概率；
根据所述交叉概率对所述无人机进行威胁判定。
本发明实施例提供的电子设备能够实现上述方法实施例中基于图像识别的无人机威胁判定方法实现的各个过程，且可以达到相同的有益效果。为避免重复，这里不再赘述。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现本发明实施例提供的基于图像识别的无人机威胁判定方法或应用端基于图像识别的无人机威胁判定方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存取存储器(Random AccessMemory，简称RAM)等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (10)

1.一种基于图像识别的无人机威胁判定方法，其特征在于，包括以下步骤：
获取无人机飞行过程中的当前环境图像；
检测到所述当前环境图像中存在目标物体时，预测所述目标物体的运动轨迹；
根据所述运动轨迹，对所述无人机进行威胁判定。
2.如权利要求1所述的基于图像识别的无人机威胁判定方法，其特征在于，在所述检测到所述当前环境图像中存在目标物体时，预测所述目标物体的运动轨迹之前，所述方法包括：
获取所述无人机的当前飞行高度；
以所述当前飞行高度为先验知识，对所述当前环境图像进行目标检测。
3.如权利要求2所述的基于图像识别的无人机威胁判定方法，其特征在于，所述以所述当前飞行高度为先验知识，对所述当前环境图像进行目标检测，包括：
根据所述当前飞行高度，匹配对应的目标检测模型，所述目标检测模型根据不同高度的图像集进行训练得到；
通过匹配到的所述目标检测模型对所述当前环境图像进行目标检测。
4.如权利要求3所述的基于图像识别的无人机威胁判定方法，其特征在于，所述检测到所述当前环境图像中存在目标物体时，预测所述目标物体的运动轨迹，包括：
当检测到所述当前环境图像中存在目标物体时，对所述目标物体进行跟踪，得到所述目标物体的跟踪图像；
对所述目标物体的跟踪图像进行轨迹分析，得到所述目标物体的跟踪轨迹；
基于所述跟踪轨迹，预测所述目标物体的运动轨迹。
5.如权利要求4所述的基于图像识别的无人机威胁判定方法，其特征在于，所述对所述目标物体的跟踪图像进行轨迹分析，得到所述目标物体的跟踪轨迹，包括：
对所述跟踪图像进行关键点提取，得到所述目标物体的特征关键点；
根据所述特征关键点进行轨迹分析，得到所述目标物体的跟踪轨迹。
6.如权利要求5所述的基于图像识别的无人机威胁判定方法，其特征在于，所述基于所述跟踪轨迹，预测所述目标物体的运动轨迹，包括：
获取当前飞行高度的流体运动参数；
结合所述流体运动参数与所述跟踪轨迹，通过预先训练好的时序模型对所述目标物体的运动轨迹进行预测，得到所述目标物体的运动轨迹。
7.如权利要求1至6中任一所述的基于图像识别的无人机威胁判定方法，其特征在于，所述根据所述运动轨迹，对所述无人机进行威胁判定，包括：
获取所述无人机的飞行路线以及所述无人机的轮廓参数；
基于所述飞行路线与所述轮廓参数，生成所述无人机的三维动态路线；
计算所述运动轨迹与所述三维动态路线的交叉概率；
根据所述交叉概率对所述无人机进行威胁判定。
8.一种基于图像识别的无人机威胁判定装置，其特征在于，所述基于图像识别的无人机威胁判定装置包括：
获取模块，用于获取无人机飞行过程中的当前环境图像；
预测模块，用于检测到所述当前环境图像中存在目标物体时，预测所述目标物体的运动轨迹；
判定模块，用于根据所述运动轨迹，对所述无人机进行威胁判定。
9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的基于图像识别的无人机威胁判定方法中的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的基于图像识别的无人机威胁判定方法中的步骤。
CN202210921443.9A 2022-08-02 2022-08-02 基于图像识别的无人机威胁判定方法及相关设备 Pending CN115311580A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210921443.9A CN115311580A (zh) 2022-08-02 2022-08-02 基于图像识别的无人机威胁判定方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210921443.9A CN115311580A (zh) 2022-08-02 2022-08-02 基于图像识别的无人机威胁判定方法及相关设备

Publications (1)

Publication Number Publication Date
CN115311580A true CN115311580A (zh) 2022-11-08

Family

ID=83857976

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210921443.9A Pending CN115311580A (zh) 2022-08-02 2022-08-02 基于图像识别的无人机威胁判定方法及相关设备

Country Status (1)

Country Link
CN (1) CN115311580A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115953704A (zh) * 2023-01-18 2023-04-11 北京理工大学 一种无人机探测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115953704A (zh) * 2023-01-18 2023-04-11 北京理工大学 一种无人机探测方法
CN115953704B (zh) * 2023-01-18 2023-10-03 北京理工大学 一种无人机探测方法

Similar Documents

Publication Publication Date Title
Fang et al. 3d-siamrpn: An end-to-end learning method for real-time 3d single object tracking using raw point cloud
CN109800689B (zh) 一种基于时空特征融合学习的目标跟踪方法
Hu et al. Learning activity patterns using fuzzy self-organizing neural network
Petrovskaya et al. Model based vehicle detection and tracking for autonomous urban driving
US9213901B2 (en) Robust and computationally efficient video-based object tracking in regularized motion environments
US8818702B2 (en) System and method for tracking objects
Premebida et al. A multi-target tracking and GMM-classifier for intelligent vehicles
Elmezain et al. Hand trajectory-based gesture spotting and recognition using HMM
CN113409252B (zh) 一种架空输电线路巡检机器人障碍物检测方法
CN106327528A (zh) 无人机运动目标跟踪方法及无人机的工作方法
CN113807314A (zh) 一种基于微多普勒效应的毫米波雷达视频融合方法
CN104778699A (zh) 一种自适应对象特征的跟踪方法
Qing et al. A novel particle filter implementation for a multiple-vehicle detection and tracking system using tail light segmentation
CN115311580A (zh) 基于图像识别的无人机威胁判定方法及相关设备
CN115457414A (zh) 一种基于改进残差网络的无人机异常行为识别方法
CN117311393B (zh) 一种无人机自主飞行路径规划方法及***
CN103996207A (zh) 一种物体跟踪方法
CN114038011A (zh) 一种室内场景下人体异常行为的检测方法
Luo et al. Research on UAV multi-object tracking based on deep learning
CN117115752A (zh) 一种高速公路视频监控方法及***
CN109669180B (zh) 一种连续波雷达无人机检测方法
JP2021170332A (ja) 分類器をトレーニングするための装置及び方法並びに分類器の堅牢性を評価するための装置及び方法
CN112305509A (zh) 一种基于hog_svm的雷达航迹分类与识别方法
CN117475358B (zh) 一种基于无人机视觉的碰撞预测方法及装置
Guo et al. Global-Local MAV Detection Under Challenging Conditions Based on Appearance and Motion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination