CN112884811A - 一种针对无人机集群的光电探测跟踪方法及*** - Google Patents

一种针对无人机集群的光电探测跟踪方法及*** Download PDF

Info

Publication number
CN112884811A
CN112884811A CN202110292911.6A CN202110292911A CN112884811A CN 112884811 A CN112884811 A CN 112884811A CN 202110292911 A CN202110292911 A CN 202110292911A CN 112884811 A CN112884811 A CN 112884811A
Authority
CN
China
Prior art keywords
unmanned aerial
target detection
target
frame
aerial vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110292911.6A
Other languages
English (en)
Inventor
贾圣德
陈善勇
王梦云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202110292911.6A priority Critical patent/CN112884811A/zh
Publication of CN112884811A publication Critical patent/CN112884811A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种针对无人机集群的光电探测跟踪方法、***、计算机设备和存储介质。所述方法包括：通过大视场仿生光学组件拍摄无人机集群的多组运动视频，并提取多组视频帧的序列图像，拼接得到无人机集群的全景图像；通过训练好的yolov4第一网络模型对全景图像中的多无人机图像进行识别与定位，得到多个无人机的目标检测框和类别信息；通过训练好的yolov4第二网络模型对前一帧和当前帧的全景图像的所述目标检测框进行特征比对，并结合所述类别信息，得到前一帧和当前帧中多个目标检测框的匹配关系，根据匹配关系确定与前一帧目标检测框匹配的当前帧目标检测框，将同一目标的目标检测框的中心点作为轨迹点，绘制无人机跟踪轨迹。

Description

一种针对无人机集群的光电探测跟踪方法及***
技术领域
本申请涉及反无人机探测领域，特别是涉及一种针对无人机集群的光电探测方法、***、计算机设备和存储介质。
背景技术
随着无人机技术的迅速发展，无人机在现代战争中具有反侦查能力强、工作持续时间长、无需担心人员伤亡、可操作性强、侦查能力强、可执行多种电子战任务、可担负各种空中作战任务等优势，无人机逐渐在战场中成为重要威胁，反无人机技术应运而生，反无人机技术主要包括探测技术、干扰技术和毁伤技术。单个无人机执行侦察或攻击等任务时面临侦察角度和范围、杀伤半径和摧毁能力等诸多方面的限制，制约了作战效能的发挥，单个无人机圆满完成任务的难度越来越大，无人机集群作战将会成为未来战争的主要战斗力。
反无人机探测技术常借助地面目视侦察装备、雷达、卫星、预警机及其它传感器载荷，对无人机目标进行探测、识别与跟踪。常用技术有雷达探测跟踪、无线电探测跟踪、光电探测跟踪、红外探测跟踪、声学探测跟踪和组合传感器探测跟踪。雷达探测跟踪的盲区较大、成本较高，无线电探测跟踪的虚警概率高；声学传感器使用已知声音的数据库探测无人机，但是随着新型无人机的快速发展，数据库无法及时更新；红外成像识别角度范围小，为了大范围探测到运动范围较大的无人机，需要给红外探测仪装置装配云台，在云台转动过程中，成像模糊，因此不适合单无人机跟踪，更不适合无人机集群的识别与跟踪。
光电探测跟踪是根据无人机的视觉特征来识别跟踪无人机，在传统的光电***中，相机的视场范围较小，如果想要持续跟踪某运动目标，还需要云台***以带动光电***进行扫描识别跟踪，无法在无人机集群作战的情况下，对多架无人机进行同时跟踪。因此，现有技术存在市场范围小，无人机集群作战跟踪效果不佳的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够扩大探测范围，适用于无人机集群探测跟踪的针对无人机集群的光电探测跟踪方法、***、计算机设备和存储介质。
一种针对无人机集群的光电探测跟踪方法，所述方法包括：
通过大视场仿生光学组件拍摄得到无人机集群的多组运动视频；所述大视场仿生光学组件由前级球形物镜和后级小口径透镜组阵列组成；
根据所述多组运动视频提取多组视频帧的序列图像，将所述序列图像按视频帧拼接得到无人机集群的全景图像；
通过训练好的yolov4第一网络模型对所述全景图像中的多无人机图像进行识别与定位，得到多个无人机的目标检测框和类别信息；
通过训练好的yolov4第二网络模型对前一帧和当前帧的所述全景图像的所述目标检测框进行特征比对，并结合所述类别信息，得到前一帧和当前帧中多个目标检测框的匹配关系，根据所述匹配关系确定与前一帧目标检测框匹配的当前帧目标检测框，将所述同一目标的目标检测框的中心点作为轨迹点，根据所述轨迹点绘制无人机目标的跟踪轨迹。
在其中一个实施例中，还包括：根据所述多组运动视频提取多组视频帧的序列图像；
对所述序列图像进行几何畸变校正和噪点抑制的预处理；
通过基于SIFT的配准算法对预处理后的所述序列图像进行图像配准；
通过像素级融合中的加权平均法对配准后的所述序列图像进行拼接，得到无人机集群的全景图像。
在其中一个实施例中，还包括：所述yolov4第一网络模型的训练步骤包括：
建立包含多种无人机场景图像的训练集和测试集；
使用数据标注工具获取所述训练集中待识别目标的检测框；
以darknet53作为主干网络，空间金字塔池化模块和路径聚合网络模块作为颈部，yolov4作为头部搭建yolov4网络模型；
设置所述yolov4网络模型的训练参数，通过标注了检测框的所述训练集对所述yolov4网络模型进行迭代训练，直到损失函数收敛，得到预备模型；
将所述测试集输入所述预备模型进行检测，若输出正确率没有达到预先设定的阈值，则重新设置所述训练参数并迭代训练，直到所述预备模型对所述测试集的正确率达到所述阈值，得到训练好的所述yolov4第一网络模型。
在其中一个实施例中，还包括：将前一帧的所述全景图像的所述目标检测框作为目标区域，通过第一神经网络模型提取所述目标区域的特征；
将当前帧的所述全景图像的所述目标检测框作为搜索区域，通过第二神经网络模型提取所述搜索区域的特征；
对所述目标区域的特征和所述搜索区域的特征进行特征比对，得到前一帧和当前帧中多个目标检测框的匹配关系；
根据所述匹配关系确定与前一帧目标检测框匹配的当前帧目标检测框，将所述同一目标的目标检测框的中心点作为轨迹点，根据所述轨迹点绘制无人机目标的跟踪轨迹。
在其中一个实施例中，还包括：根据所述轨迹点绘制无人机目标的跟踪轨迹之后，还包括：
将所述跟踪轨迹数据发送到地面站***，在所述地面站***中进行实时高清显示。
在其中一个实施例中，还包括：根据所述多组运动视频提取多组视频帧的序列图像，通过多GPU将所述序列图像按视频帧拼接得到无人机集群的全景图像。
在其中一个实施例中，还包括：根据所述多组运动视频，通过OpenCV技术提取多组视频帧的序列图像。
一种针对无人机集群的光电探测跟踪***，所述***包括：
运动视频获取模块，用于通过大视场仿生光学组件拍摄得到无人机集群的多组运动视频；所述大视场仿生光学组件由前级球形物镜和后级小口径透镜组阵列组成；
图像拼接模块，用于根据所述多组运动视频提取多组视频帧的序列图像，将所述序列图像按视频帧拼接得到无人机集群的全景图像；
目标检测框标注模块，用于通过训练好的yolov4第一网络模型对所述全景图像中的多无人机图像进行识别与定位，得到多个无人机的目标检测框和类别信息；
跟踪轨迹绘制模块，用于通过训练好的yolov4第二网络模型对前一帧和当前帧的所述全景图像的所述目标检测框进行特征比对，并结合所述类别信息，得到前一帧和当前帧中多个目标检测框的匹配关系，根据所述匹配关系确定与前一帧目标检测框匹配的当前帧目标检测框，将所述同一目标的目标检测框的中心点作为轨迹点，根据所述轨迹点绘制无人机目标的跟踪轨迹。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
通过大视场仿生光学组件拍摄得到无人机集群的多组运动视频；所述大视场仿生光学组件由前级球形物镜和后级小口径透镜组阵列组成；
根据所述多组运动视频提取多组视频帧的序列图像，将所述序列图像按视频帧拼接得到无人机集群的全景图像；
通过训练好的yolov4第一网络模型对所述全景图像中的多无人机图像进行识别与定位，得到多个无人机的目标检测框和类别信息；
通过训练好的yolov4第二网络模型对前一帧和当前帧的所述全景图像的所述目标检测框进行特征比对，并结合所述类别信息，得到前一帧和当前帧中多个目标检测框的匹配关系，根据所述匹配关系确定与前一帧目标检测框匹配的当前帧目标检测框，将所述同一目标的目标检测框的中心点作为轨迹点，根据所述轨迹点绘制无人机目标的跟踪轨迹。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
通过大视场仿生光学组件拍摄得到无人机集群的多组运动视频；所述大视场仿生光学组件由前级球形物镜和后级小口径透镜组阵列组成；
根据所述多组运动视频提取多组视频帧的序列图像，将所述序列图像按视频帧拼接得到无人机集群的全景图像；
通过训练好的yolov4第一网络模型对所述全景图像中的多无人机图像进行识别与定位，得到多个无人机的目标检测框和类别信息；
通过训练好的yolov4第二网络模型对前一帧和当前帧的所述全景图像的所述目标检测框进行特征比对，并结合所述类别信息，得到前一帧和当前帧中多个目标检测框的匹配关系，根据所述匹配关系确定与前一帧目标检测框匹配的当前帧目标检测框，将所述同一目标的目标检测框的中心点作为轨迹点，根据所述轨迹点绘制无人机目标的跟踪轨迹。
上述针对无人机集群的光电探测跟踪方法、***、计算机设备和存储介质，通过大视场仿生光学组件拍摄得到无人机集群的多组运动视频，根据多组运动视频提取多组视频帧的序列图像，将序列图像按视频帧拼接得到无人机集群的全景图像；通过训练好的yolov4第一网络模型对全景图像中的多无人机图像进行识别与定位，得到多个无人机的目标检测框和类别信息；通过训练好的yolov4第二网络模型对前一帧和当前帧的全景图像的所述目标检测框进行特征比对，并结合类别信息，得到前一帧和当前帧中多个目标检测框的匹配关系，根据匹配关系确定与前一帧目标检测框匹配的当前帧目标检测框，将每帧全景图像中目标检测框的中心点作为轨迹点，绘制无人机目标的跟踪轨迹。本发明采用大视场仿生光学组件，兼具大范围普查和高分辨率详查的优点，多复眼形式的目镜适用多GPU运行图像拼接，提高了目标识别与跟踪的速度；采用深度卷积神经网络结构yolov4算法进行目标识别与跟踪，充分匹配本发明大视场仿生光学组件视场大、分辨率高的特点，在无人机集群目标小而多的应用背景下，提高了目标识别与跟踪的精度，能够在没有云台控制的情况下实现对无人机集群的大规模大范围探测跟踪，具有探测范围广、定位精度高、跟踪效果好等优点。
附图说明
图1为一个实施例中针对无人机集群的光电探测跟踪方法的流程示意图；
图2为一个实施例中使用的大视场仿生光学组件结构示意图；
图3为一个实施例中进行图像拼接的算法流程图；
图4为一个实施例中多无人机图像识别与定位算法流程图；
图5为一个实施例中多无人机目标预测与跟踪算法流程图；
图6为另一个实施例中针对无人机集群的光电探测跟踪方法的流程示意图；
图7为一个实施例中针对无人机集群的光电探测跟踪***的结构框图；
图8为另一个实施例中针对无人机集群的光电探测跟踪***的结构框图；
图9为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的针对无人机集群的光电探测跟踪方法，可以应用于如下应用环境中。通过大视场仿生光学组件拍摄得到无人机集群的多组运动视频，根据多组运动视频提取多组视频帧的序列图像，将序列图像按视频帧拼接得到无人机集群的全景图像；通过训练好的yolov4第一网络模型对全景图像中的多无人机图像进行识别与定位，得到多个无人机的目标检测框和类别信息；通过训练好的yolov4第二网络模型对前一帧和当前帧的全景图像的所述目标检测框进行特征比对，并结合类别信息，得到前一帧和当前帧中多个目标检测框的匹配关系，根据匹配关系确定与前一帧目标检测框匹配的当前帧目标检测框，将每帧全景图像中目标检测框的中心点作为轨迹点，绘制无人机目标的跟踪轨迹。
在一个实施例中，如图1所示，提供了一种针对无人机集群的光电探测跟踪方法，包括以下步骤：
步骤102，通过大视场仿生光学组件拍摄得到无人机集群的多组运动视频。
鱼眼的晶状体是圆球形，优点是视场角很大，可以达到220°，但是观察距离较近。昆虫的视觉由复眼产生，复眼由许多小眼构成，这些小眼排列成球面状，以获得大的空间视野(接近240°)。但是小眼直径一般为15～50μm，其承担的局部视场仅有几度，分辨能力比人眼低，视力仅有1m左右。受鱼眼和复眼成像特点的启发，大视场仿生光学组件由前级球形物镜和后级小口径透镜组阵列组成，如图2所示，兼具大范围普查和高分辨率详查的特点，能够实现100°以上的大视场角度和全视场优于10”的空间分辨率，采用复眼形式的目镜，使其适合用多GPU运行图像拼接算法，提高了目标识别与跟踪的速度。
步骤104，根据多组运动视频提取多组视频帧的序列图像，将序列图像按视频帧拼接得到无人机集群的全景图像。
本实施例通过多路图源快速拼接***采用基于尺度不变特征变换(Scale-invariant Feature Trans-form,SIFT)的特征检测匹配算法，通过OpenCV技术实现视频序列图像提取和拼接技术，获得大视场范围、高质量的视频图像，实时监测无人机状态信息。
步骤106，通过训练好的yolov4第一网络模型对全景图像中的多无人机图像进行识别与定位，得到多个无人机的目标检测框和类别信息。
YOLO是一种新的目标检测方法，将目标检测作为一个回归问题，以空间分隔的边界框和关联的类概率来处理。一个单一的神经网络在一次评估中直接从完整图像预测边界框和类概率。由于整个检测通道是一个单一的网络，因此可以直接对检测性能进行端到端的优化。YOLO核心思想就是利用整张图作为网络的输入，直接在输出层回归bounding box的位置和bounding box所属的类别，通过GPU进行目标检测器的训练和使用。
yolov4是在yolov1，yolov2，yolov3基础上进一步改进所得，目标检测速度更快，效率更高。本发明通过大视场仿生光学组件获得大视场范围、高质量的视频图像，结合yolov4算法可以充分发挥大视场图像的优势，适合大范围大规模无人机群的探测与跟踪。
yolov4第一网络模型用于实现多无人机图像识别与定位算法，算法流程包括数据集建立与标注、预训练网络模型搭建、迭代训练直至损失函数收敛、输出无人机目标识别检测模型，最后使用训练好的模型对所述多路图源快速拼接***得到的全景视频场景进行目标识别。
步骤108，通过训练好的yolov4第二网络模型对前一帧和当前帧的全景图像的目标检测框进行特征比对，并结合类别信息，得到前一帧和当前帧中多个目标检测框的匹配关系，根据匹配关系确定与前一帧目标检测框匹配的当前帧目标检测框，将同一目标的目标检测框的中心点作为轨迹点，根据轨迹点绘制无人机目标的跟踪轨迹。
yolov4第二网络模型用于实现多无人机目标预测与跟踪算法，算法流程包括，以前一帧图像标注的无人机目标检测框为目标区域，以当前帧图像中标注的无人机目标检测框为搜索区域，采用两套卷积网络对前一帧与当前帧分别提取目标区域和搜索区域的特征，再比较目标特征和搜索区域特征，输出新的目标位置，将同一目标的目标检测框的中心点作为目标跟踪的轨迹点，绘制无人机目标跟踪轨迹。
上述针对无人机集群的光电探测跟踪方法中，通过大视场仿生光学组件拍摄得到无人机集群的多组运动视频，根据多组运动视频提取多组视频帧的序列图像，将序列图像按视频帧拼接得到无人机集群的全景图像；通过训练好的yolov4第一网络模型对全景图像中的多无人机图像进行识别与定位，得到多个无人机的目标检测框和类别信息；通过训练好的yolov4第二网络模型对前一帧和当前帧的全景图像的目标检测框进行特征比对，并结合类别信息，得到前一帧和当前帧中多个目标检测框的匹配关系，根据匹配关系确定与前一帧目标检测框匹配的当前帧目标检测框，将每帧全景图像中目标检测框的中心点作为轨迹点，绘制无人机目标的跟踪轨迹。本发明采用大视场仿生光学组件，兼具大范围普查和高分辨率详查的优点，多复眼形式的目镜适用多GPU运行图像拼接，提高了目标识别与跟踪的速度；采用深度卷积神经网络结构yolov4算法进行目标识别与跟踪，充分匹配本发明大视场仿生光学组件视场大、分辨率高的特点，在无人机集群目标小而多的应用背景下，提高了目标识别与跟踪的精度，能够在没有云台控制的情况下实现对无人机集群的大规模大范围(>50)探测跟踪，具有探测范围广、定位精度高、跟踪效果好等优点。
在其中一个实施例中，还包括：进行图像拼接的算法流程图，如图3所示，根据多组运动视频提取多组视频帧的序列图像；对序列图像进行几何畸变校正和噪点抑制的预处理；通过基于SIFT的配准算法对预处理后的序列图像进行图像配准；通过像素级融合中的加权平均法对配准后的序列图像进行拼接，得到无人机集群的全景图像。
采用基于SIFT特征提取的方法进行图像拼接，对平移、旋转、尺度缩放和光照不均都有很好的适应性，能够得到较为光滑的拼接全景图。拼接全景图具有高分辨率、宽视角的特点。
在其中一个实施例中，还包括：yolov4第一网络模型的训练步骤包括：建立包含多种无人机场景图像的训练集和测试集；使用数据标注工具Labellmg获取训练集中待识别目标的检测框；以darknet53作为主干网络，空间金字塔池化模块和路径聚合网络模块作为颈部，yolov4作为头部搭建yolov4网络模型；设置yolov4网络模型的训练参数，通过标注了检测框的训练集对yolov4网络模型进行迭代训练，直到损失函数收敛，得到预备模型；将测试集输入预备模型进行检测，若输出正确率没有达到预先设定的阈值，则重新设置训练参数并迭代训练，直到预备模型对测试集的正确率达到阈值，得到训练好的yolov4第一网络模型。
如图4所示为训练yolov4第一网络模型并进行无人机目标识别的算法流程图，采用深度卷积神经网络结构yolov4算法进行目标识别，提高了目标识别的精度。
在其中一个实施例中，通过yolov4第二网络模型进行目标跟踪，算法流程如图5所示，包括：将前一帧的全景图像的目标检测框作为目标区域，通过第一神经网络模型提取目标区域的特征；将当前帧的全景图像的目标检测框作为搜索区域，通过第二神经网络模型提取搜索区域的特征；使用全连接网络对目标区域的特征和搜索区域的特征进行特征比对，得到前一帧和当前帧中多个目标检测框的匹配关系；根据匹配关系确定与前一帧目标检测框匹配的当前帧目标检测框，将同一目标的目标检测框的中心点作为轨迹点，根据轨迹点绘制无人机目标的跟踪轨迹。
yolov4第二网络模型用于无人机目标跟踪，训练过程包括：获取多无人机运动视频；截取视频不同帧，使用标注软件LabelImg对每一帧进行多个目标的标注；将前一帧图片作为第一神经网络的输入，当前帧图片作为第二神经网络的输入，当前帧图片中无人机的检测框位置作为训练样本的输出，对神经网络进行训练，直到视频所有帧都参与训练过程，完成yolov4第二网络模型的训练。
采用深度卷积神经网络结构yolov4算法进行目标跟踪，提高了目标跟踪的精度。
在其中一个实施例中，根据轨迹点绘制无人机目标的跟踪轨迹之后，还包括：将跟踪轨迹数据发送到地面站***，在地面站***中进行实时高清显示。
地面站***包括PC端，PC端上运行多无人机目标识别***算法和多无人机目标跟踪***算法，并将算法处理结果实时高清显示。
在其中一个实施例中，还包括：根据多组运动视频提取多组视频帧的序列图像，通过多GPU将序列图像按视频帧拼接得到无人机集群的全景图像。
采用复眼形式的目镜，使其适合用多GPU运行图像拼接算法，提高了图像拼接算法运行的速度。
在其中一个实施例中，还包括：根据多组运动视频，通过OpenCV技术提取多组视频帧的序列图像。
通过OpenCV技术进行序列图像的提取，处理速度快，可以进一步提高算法的执行效率。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个具体实施例中，如图6所示，提供了一种针对无人机集群的光电探测跟踪方法，包括：
(1)利用大视场仿生光学组件拍摄得到目标运动视频；
(2)采用OpenCV技术提取视频帧的序列图像；
(3)利用SIFT算法寻找序列图像中各像对的特征点，根据特征点坐标进行图像配准；
(4)最后应用像素级融合算法对图像进行处理，输出全景图像；
(5)制作数据集，使用预先标注好的训练集对yolov4网络模型进行迭代训练直至在测试集上满足正确率要求；
(6)运行训练好的基于yolov4的多无人机图像识别与定位算法，得到拍摄视频中的所有无人机的目标检测框及类别；
(7)运行多无人机目标预测与跟踪算法，得到后续帧图像中目标的位置及目标的运动轨迹；
(8)在地面站上将目标识别和跟踪结果实时高清显示。
在另一个具体实施例中，如图7所示，提供了一种针对无人机集群的光电探测跟踪***，包括：大视场仿生光学组件、多路图源快速拼接***、多无人机图像识别与定位算法模块、多无人机目标预测与跟踪算法模块和地面站***。
其中，大视场仿生光学组件用于拍摄大范围实时图像并回传给多路图源快速拼接***做图像拼接处理；多路图源快速拼接***用于将大视场仿生光学组件回传的各部分子图像拼接成完整的图像；多无人机图像识别与定位算法用于识别检测无人机并标注出其当前位置和无人机种类；多无人机目标预测与跟踪算法用于运动中无人机的目标跟踪；地面站***用于图像信息的转发处理并实时显示无人机检测和跟踪结果。
在一个实施例中，如图8所示，提供了一种针对无人机集群的光电探测跟踪***，包括：运动视频获取模块802、图像拼接模块804、目标检测框标注模块806和跟踪轨迹绘制模块808，其中：
运动视频获取模块802，用于通过大视场仿生光学组件拍摄得到无人机集群的多组运动视频；大视场仿生光学组件由前级球形物镜和后级小口径透镜组阵列组成；
图像拼接模块804，用于根据多组运动视频提取多组视频帧的序列图像，将序列图像按视频帧拼接得到无人机集群的全景图像；
目标检测框标注模块806，用于通过训练好的yolov4第一网络模型对全景图像中的多无人机图像进行识别与定位，得到多个无人机的目标检测框和类别信息；
跟踪轨迹绘制模块808，用于通过训练好的yolov4第二网络模型对前一帧和当前帧的全景图像的目标检测框进行特征比对，并结合类别信息，得到前一帧和当前帧中多个目标检测框的匹配关系，根据匹配关系确定与前一帧目标检测框匹配的当前帧目标检测框，将同一目标的目标检测框的中心点作为轨迹点，根据轨迹点绘制无人机目标的跟踪轨迹。
运动视频获取模块802还用于根据多组运动视频提取多组视频帧的序列图像；对序列图像进行几何畸变校正和噪点抑制的预处理；通过基于SIFT的配准算法对预处理后的序列图像进行图像配准；通过像素级融合中的加权平均法对配准后的序列图像进行拼接，得到无人机集群的全景图像。
跟踪轨迹绘制模块808还用于将前一帧的全景图像的目标检测框作为目标区域，通过第一神经网络模型提取目标区域的特征；将当前帧的全景图像的目标检测框作为搜索区域，通过第二神经网络模型提取搜索区域的特征；对目标区域的特征和搜索区域的特征进行特征比对，得到前一帧和当前帧中多个目标检测框的匹配关系；根据匹配关系确定与前一帧目标检测框匹配的当前帧目标检测框，将同一目标的目标检测框的中心点作为轨迹点，根据轨迹点绘制无人机目标的跟踪轨迹。
跟踪轨迹绘制模块808还用于根据轨迹点绘制无人机目标的跟踪轨迹之后，将跟踪轨迹数据发送到地面站***，在地面站***中进行实时高清显示。
运动视频获取模块802还用于根据多组运动视频提取多组视频帧的序列图像，通过多GPU将序列图像按视频帧拼接得到无人机集群的全景图像。
运动视频获取模块802还用于根据多组运动视频，通过OpenCV技术提取多组视频帧的序列图像。
关于针对无人机集群的光电探测跟踪***的具体限定可以参见上文中对于针对无人机集群的光电探测跟踪方法的限定，在此不再赘述。上述针对无人机集群的光电探测跟踪***中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图9所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种针对无人机集群的光电探测跟踪方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种针对无人机集群的光电探测跟踪方法，其特征在于，所述方法包括：
通过大视场仿生光学组件拍摄得到无人机集群的多组运动视频；所述大视场仿生光学组件由前级球形物镜和后级小口径透镜组阵列组成；
根据所述多组运动视频提取多组视频帧的序列图像，将所述序列图像按视频帧拼接得到无人机集群的全景图像；
通过训练好的yolov4第一网络模型对所述全景图像中的多无人机图像进行识别与定位，得到多个无人机的目标检测框和类别信息；
通过训练好的yolov4第二网络模型对前一帧和当前帧的所述全景图像的所述目标检测框进行特征比对，并结合所述类别信息，得到前一帧和当前帧中多个目标检测框的匹配关系，根据所述匹配关系确定与前一帧目标检测框匹配的当前帧目标检测框，将所述同一目标的目标检测框的中心点作为轨迹点，根据所述轨迹点绘制无人机目标的跟踪轨迹。
2.根据权利要求1所述的方法，其特征在于，根据所述多组运动视频提取多组视频帧的序列图像，将所述序列图像按视频帧拼接得到无人机集群的全景图像，包括：
根据所述多组运动视频提取多组视频帧的序列图像；
对所述序列图像进行几何畸变校正和噪点抑制的预处理；
通过基于SIFT的配准算法对预处理后的所述序列图像进行图像配准；
通过像素级融合中的加权平均法对配准后的所述序列图像进行拼接，得到无人机集群的全景图像。
3.根据权利要求1所述的方法，其特征在于，所述yolov4第一网络模型的训练步骤包括：
建立包含多种无人机场景图像的训练集和测试集；
使用数据标注工具获取所述训练集中待识别目标的检测框；
以darknet53作为主干网络，空间金字塔池化模块和路径聚合网络模块作为颈部，yolov4作为头部搭建yolov4网络模型；
设置所述yolov4网络模型的训练参数，通过标注了检测框的所述训练集对所述yolov4网络模型进行迭代训练，直到损失函数收敛，得到预备模型；
将所述测试集输入所述预备模型进行检测，若输出正确率没有达到预先设定的阈值，则重新设置所述训练参数并迭代训练，直到所述预备模型对所述测试集的正确率达到所述阈值，得到训练好的所述yolov4第一网络模型。
4.根据权利要求3所述的方法，其特征在于，所述通过训练好的yolov4第二网络模型对前一帧和当前帧的所述全景图像的所述目标检测框进行特征比对，并结合所述类别信息，得到前一帧和当前帧中多个目标检测框的匹配关系，根据所述匹配关系确定与前一帧目标检测框匹配的当前帧目标检测框，将所述同一目标的目标检测框的中心点作为轨迹点，根据所述轨迹点绘制无人机目标的跟踪轨迹，包括：
将前一帧的所述全景图像的所述目标检测框作为目标区域，通过第一神经网络模型提取所述目标区域的特征；
将当前帧的所述全景图像的所述目标检测框作为搜索区域，通过第二神经网络模型提取所述搜索区域的特征；
对所述目标区域的特征和所述搜索区域的特征进行特征比对，得到前一帧和当前帧中多个目标检测框的匹配关系；
根据所述匹配关系确定与前一帧目标检测框匹配的当前帧目标检测框，将所述同一目标的目标检测框的中心点作为轨迹点，根据所述轨迹点绘制无人机目标的跟踪轨迹。
5.根据权利要求4所述的方法，其特征在于，根据所述轨迹点绘制无人机目标的跟踪轨迹之后，还包括：
将所述跟踪轨迹数据发送到地面站***，在所述地面站***中进行实时高清显示。
6.根据权利要求5所述的方法，其特征在于，根据所述多组运动视频提取多组视频帧的序列图像，将所述序列图像按视频帧拼接得到无人机集群的全景图像，包括：
根据所述多组运动视频提取多组视频帧的序列图像，通过多GPU将所述序列图像按视频帧拼接得到无人机集群的全景图像。
7.根据权利要求1至6任一项所述的方法，其特征在于，根据所述多组运动视频提取多组视频帧的序列图像，包括：
根据所述多组运动视频，通过OpenCV技术提取多组视频帧的序列图像。
8.一种针对无人机集群的光电探测跟踪***，其特征在于，所述***包括：
运动视频获取模块，用于通过大视场仿生光学组件拍摄得到无人机集群的多组运动视频；所述大视场仿生光学组件由前级球形物镜和后级小口径透镜组阵列组成；
图像拼接模块，用于根据所述多组运动视频提取多组视频帧的序列图像，将所述序列图像按视频帧拼接得到无人机集群的全景图像；
目标检测框标注模块，用于通过训练好的yolov4第一网络模型对所述全景图像中的多无人机图像进行识别与定位，得到多个无人机的目标检测框和类别信息；
跟踪轨迹绘制模块，用于通过训练好的yolov4第二网络模型对前一帧和当前帧的所述全景图像的所述目标检测框进行特征比对，并结合所述类别信息，得到前一帧和当前帧中多个目标检测框的匹配关系，根据所述匹配关系确定与前一帧目标检测框匹配的当前帧目标检测框，将所述同一目标的目标检测框的中心点作为轨迹点，根据所述轨迹点绘制无人机目标的跟踪轨迹。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202110292911.6A 2021-03-18 2021-03-18 一种针对无人机集群的光电探测跟踪方法及*** Pending CN112884811A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110292911.6A CN112884811A (zh) 2021-03-18 2021-03-18 一种针对无人机集群的光电探测跟踪方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110292911.6A CN112884811A (zh) 2021-03-18 2021-03-18 一种针对无人机集群的光电探测跟踪方法及***

Publications (1)

Publication Number Publication Date
CN112884811A true CN112884811A (zh) 2021-06-01

Family

ID=76041328

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110292911.6A Pending CN112884811A (zh) 2021-03-18 2021-03-18 一种针对无人机集群的光电探测跟踪方法及***

Country Status (1)

Country Link
CN (1) CN112884811A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113936277A (zh) * 2021-09-14 2022-01-14 北京焦耳科技有限公司 一种手写姓名与学号的双模式识别方法、***及介质
CN114500871A (zh) * 2021-12-15 2022-05-13 山东信通电子股份有限公司 一种多路视频分析方法、设备及介质
CN115601402A (zh) * 2022-12-12 2023-01-13 知行汽车科技（苏州）有限公司（Cn） 针对柱面图检测框的目标后处理方法、装置、设备和存储介质
CN116994075A (zh) * 2023-09-27 2023-11-03 安徽大学 一种基于复眼事件成像的小目标快速预警与识别方法
CN117079196A (zh) * 2023-10-16 2023-11-17 长沙北斗产业安全技术研究院股份有限公司 基于深度学习以及目标运动轨迹的无人机识别方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110570448A (zh) * 2019-09-07 2019-12-13 深圳岚锋创视网络科技有限公司 一种全景视频的目标追踪方法、装置及便携式终端
CN111127509A (zh) * 2018-10-31 2020-05-08 杭州海康威视数字技术股份有限公司 目标跟踪方法、装置和计算机可读存储介质
CN111179311A (zh) * 2019-12-23 2020-05-19 全球能源互联网研究院有限公司 多目标跟踪方法、装置及电子设备
CN111398898A (zh) * 2020-04-08 2020-07-10 中国科学院长春光学精密机械与物理研究所 用于大视场三维运动探测的神经拟态仿生曲面复眼***
CN111401241A (zh) * 2020-03-16 2020-07-10 中国民用航空飞行学院 基于卷积神经网络的海上民用航空器搜寻方法及装置
CN111460968A (zh) * 2020-03-27 2020-07-28 上海大学 基于视频的无人机识别与跟踪方法及装置
CN111666871A (zh) * 2020-06-03 2020-09-15 南京航空航天大学 一种面向无人机的改进yolo与sift相结合的多小目标检测跟踪方法
CN112183252A (zh) * 2020-09-15 2021-01-05 珠海格力电器股份有限公司 视频的动作识别方法、装置、计算机设备和存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127509A (zh) * 2018-10-31 2020-05-08 杭州海康威视数字技术股份有限公司 目标跟踪方法、装置和计算机可读存储介质
CN110570448A (zh) * 2019-09-07 2019-12-13 深圳岚锋创视网络科技有限公司 一种全景视频的目标追踪方法、装置及便携式终端
CN111179311A (zh) * 2019-12-23 2020-05-19 全球能源互联网研究院有限公司 多目标跟踪方法、装置及电子设备
CN111401241A (zh) * 2020-03-16 2020-07-10 中国民用航空飞行学院 基于卷积神经网络的海上民用航空器搜寻方法及装置
CN111460968A (zh) * 2020-03-27 2020-07-28 上海大学 基于视频的无人机识别与跟踪方法及装置
CN111398898A (zh) * 2020-04-08 2020-07-10 中国科学院长春光学精密机械与物理研究所 用于大视场三维运动探测的神经拟态仿生曲面复眼***
CN111666871A (zh) * 2020-06-03 2020-09-15 南京航空航天大学 一种面向无人机的改进yolo与sift相结合的多小目标检测跟踪方法
CN112183252A (zh) * 2020-09-15 2021-01-05 珠海格力电器股份有限公司 视频的动作识别方法、装置、计算机设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
赵园林: "基于大视场曲面光学***的图像拼接技术研究", 湘潭大学硕士学位论文, pages 8 - 35 *
路文文等: "混合仿生鱼眼-复眼的广角高清成像***", 《应用光学》, vol. 40, no. 2, pages 311 - 315 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113936277A (zh) * 2021-09-14 2022-01-14 北京焦耳科技有限公司 一种手写姓名与学号的双模式识别方法、***及介质
CN114500871A (zh) * 2021-12-15 2022-05-13 山东信通电子股份有限公司 一种多路视频分析方法、设备及介质
CN114500871B (zh) * 2021-12-15 2023-11-14 山东信通电子股份有限公司 一种多路视频分析方法、设备及介质
CN115601402A (zh) * 2022-12-12 2023-01-13 知行汽车科技（苏州）有限公司（Cn） 针对柱面图检测框的目标后处理方法、装置、设备和存储介质
CN115601402B (zh) * 2022-12-12 2023-03-28 知行汽车科技(苏州)股份有限公司 针对柱面图检测框的目标后处理方法、装置、设备和存储介质
CN116994075A (zh) * 2023-09-27 2023-11-03 安徽大学 一种基于复眼事件成像的小目标快速预警与识别方法
CN116994075B (zh) * 2023-09-27 2023-12-15 安徽大学 一种基于复眼事件成像的小目标快速预警与识别方法
CN117079196A (zh) * 2023-10-16 2023-11-17 长沙北斗产业安全技术研究院股份有限公司 基于深度学习以及目标运动轨迹的无人机识别方法
CN117079196B (zh) * 2023-10-16 2023-12-29 长沙北斗产业安全技术研究院股份有限公司 基于深度学习以及目标运动轨迹的无人机识别方法

Similar Documents

Publication Publication Date Title
CN112884811A (zh) 一种针对无人机集群的光电探测跟踪方法及***
Yang et al. Visual perception enabled industry intelligence: state of the art, challenges and prospects
CN110543867B (zh) 一种多摄像头条件下的人群密度估测***及方法
CN108447091B (zh) 目标定位方法、装置、电子设备及存储介质
CN108022235B (zh) 高压输电铁塔关键部件缺陷识别方法
TWI677825B (zh) 視頻目標跟蹤方法和裝置以及非易失性電腦可讀儲存介質
CN106791710B (zh) 目标检测方法、装置和电子设备
WO2021043168A1 (zh) 行人再识别网络的训练方法、行人再识别方法和装置
Wheeler et al. Face recognition at a distance system for surveillance applications
Gallego et al. Detection of bodies in maritime rescue operations using unmanned aerial vehicles with multispectral cameras
CN104125372B (zh) 一种目标光电搜索探测方法
CN111915483B (zh) 图像拼接方法、装置、计算机设备和存储介质
CN112785628B (zh) 一种基于全景视角检测跟踪的轨迹预测方法及***
CN108875507B (zh) 行人跟踪方法、设备、***和计算机可读存储介质
Uzair et al. Bio-inspired video enhancement for small moving target detection
Treneska et al. Wildfire detection from UAV collected images using transfer learning
Li et al. An early forest fire detection system based on dji m300 drone and h20t camera
Abate et al. Remote 3D face reconstruction by means of autonomous unmanned aerial vehicles
CN113298177B (zh) 夜间图像着色方法、装置、介质和设备
CN103870847A (zh) 一种低照度环境下对地监控的运动目标检测方法
CN112991246A (zh) 一种可见光与红外视频图像融合方法及装置
CN112585945A (zh) 对焦方法、装置及设备
KR102411612B1 (ko) 다수의 카메라를 이용한 열화상 감시 시스템
Lin et al. A multi-target detection framework for multirotor UAV
Qiao et al. Early Wildfire Detection and Distance Estimation Using Aerial Visible-Infrared Images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination