CN111652276A - 一种全天候便携式多功能仿生定位定姿观瞄***及方法 - Google Patents

一种全天候便携式多功能仿生定位定姿观瞄***及方法 Download PDF

Info

Publication number
CN111652276A
CN111652276A CN202010368325.0A CN202010368325A CN111652276A CN 111652276 A CN111652276 A CN 111652276A CN 202010368325 A CN202010368325 A CN 202010368325A CN 111652276 A CN111652276 A CN 111652276A
Authority
CN
China
Prior art keywords
module
target
positioning
convolution
polarized light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010368325.0A
Other languages
English (en)
Other versions
CN111652276B (zh
Inventor
白宏阳
梁华驹
郭宏伟
郑浦
李政茂
周育新
胡珂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202010368325.0A priority Critical patent/CN111652276B/zh
Publication of CN111652276A publication Critical patent/CN111652276A/zh
Application granted granted Critical
Publication of CN111652276B publication Critical patent/CN111652276B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种全天候便携式多功能仿生定位定姿观瞄***及方法，该***包括激光测距仪、可见光探测器、红外探测器、偏振光探测器、仿生偏振光导航传感器、航姿模块、北斗定位模块、智能图像处理板、小型显示屏、无线模块和电源模块，通过激光测距仪获得目标的距离信息；通过智能图像处理板融合可见光、红外、偏振光探测器的信息进行目标特征提取和目标智能检测；通过北斗定位模块、航姿模块和仿生偏振光导航传感器解算观瞄***的位姿信息；通过显示器在线观察目标检测结果和定位测姿结果；通过无线模块可将目标检测结果和定位测姿结果传输至其它外部终端；电源模块用于给***提供电源转换功能。

Description

一种全天候便携式多功能仿生定位定姿观瞄***及方法
技术领域
本发明属于观瞄技术领域，特别是一种全天候便携式多功能仿生定位定姿观瞄***及方法。
背景技术
观瞄***是对目标进行识别、跟踪、瞄准，并输出目标位置等信息的装置。目前的观瞄***基本是基于一种数据源的检测模式，即只依赖于可见光、红外和偏振光图像数据中的一种。几种数据在目标检测领域各有其优势，但同时应用场合和检测目标类型都具有其局限性。可见光图像具有较为精细的纹理、轮廓等特征和较强的语义信息，红外图像和偏振光图像有利于发现复杂背景下的感兴趣目标。因此，几种数据来源的信息融合与共享有利于实现检测器在全天候各种复杂背景下的目标检测任务，具有较为重要的意义。
同时，目前基于深度卷积神经网络的目标检测方法已成为目前主流的目标检测方法，但这些方法主要是基于地面的GPU计算平台开发，具有极大的网络规模、计算量和功耗。不利于在资源受限和嵌入式平台等移动平台上部署。因此，实现小网络规模、低网络计算量的轻量化深度神经网络至关重要。
发明内容
本发明的目的在于提供一种结构简单、检测精度较高的全天候便携式多功能仿生定位定姿观瞄***及方法。
实现本发明目的的技术解决方案是：一种全天候便携式多功能仿生定位定姿观瞄***，包括激光测距仪、可见光探测器、红外探测器、偏振光探测器、仿生偏振光导航传感器、航姿模块、北斗定位模块、智能图像处理板、显示屏、无线模块和电源模块；
所述智能图像处理板分别对可见光、红外、偏振光探测器获取的图像进行图像融合，用于全天候情况下对目标特征的提取和目标候选检测框的提取，并实现对检测框内目标的类别判断以生成最终的检测结果；所述的激光测距仪用于输出目标至观瞄***的距离信息；所述北斗定位模块和航姿模块用于解算***的当前绝对位置信息、速度信息和俯仰角、滚转角信息；所述仿生偏振光导航传感器用于解算***的当前航向信息；所述显示器安装在***上面端，用于在线实时观察目标的检测结果和定位测姿结果；所述无线模块可将目标检测结果和定位测姿结果传输至其它外部终端。
一种全天候便携式多功能仿生定位定姿观瞄方法，包括以下步骤：
步骤1，北斗定位模块与航姿模块进行信息融合，确定出观瞄***的位置，速度、俯仰角和滚转角信息；仿生偏振光导航传感器确定观瞄***的航向角信息；
步骤2，通过智能图像处理板融合可见光、红外、偏振光探测器所探测到的不同波段下的图像信息，进行目标检测和目标识别；
步骤3，通过可见光探测器对识别的隐身目标进行单目测距，确定目标的位置；
步骤4，实时显示检测到的目标信息和测得的距离；
步骤5，通过无线模块将检测到的目标和测得的距离全程加密发送给专用加密移动终端。
本发明与现有技术相比，其显著优点为：(1)可同时对可见光、红外、偏振特性检测，更准确的识别定位目标；(5)采用轻量化深度神经网络模型，在保证精度的前提下大幅度削减网络参数规模和计算量，占用计算资源少，实时性好；(6)多源异质数据生成的候选检测框位置共享，可对包含隐身目标在内的多种复杂背景下的目标实现有效的检测。
附图说明
图1为本发明天候便携式多功能仿生定位定姿观瞄***的结构示意图。
图2为本发明天候便携式多功能仿生定位定姿观瞄方法的测流图。
具体实施方式
一种全天候便携式多功能仿生定位定姿观瞄***，***包括激光测距仪、可见光探测器、红外探测器、偏振光探测器、仿生偏振光导航传感器、航姿模块、北斗定位模块、智能图像处理板、显示屏、无线模块和电源模块；
所述智能图像处理板分别对可见光、红外、偏振光探测器获取的图像进行图像融合，用于全天候情况下对目标特征的提取和目标候选检测框的提取，并实现对检测框内目标的类别判断以生成最终的检测结果；所述的激光测距仪用于输出目标至观瞄***的距离信息；所述北斗定位模块和航姿模块用于解算***的当前绝对位置信息、速度信息和俯仰角、滚转角信息；所述仿生偏振光导航传感器用于解算***的当前航向信息；所述显示器安装在***上面端，用于在线实时观察目标的检测结果和定位测姿结果；所述无线模块可将目标检测结果和定位测姿结果传输至其它外部终端。
进一步的，所述激光测距仪通过RS422串口与智能图像处理板相连；所述可见光探测器、红外探测器和偏振光探测器分别通过SDI口与智能图像处理板相连；所述仿生偏振光导航传感器通过以太网与智能图像处理板相连；所述航姿模块、北斗定位模块和无线模块分别通过RS232串口与智能图像处理板相连；所述电源模块用于分别给各分模块提供电源。
进一步的，可见光、红外、偏振光探测器，采用CMOS相机搭建，探测距离可达2公里，相机直径36mm；偏振光探测器可通过旋转偏振相机前端的偏振片，实现对四种偏振角0°、45°、90°、135°下目标的探测。
进一步的，所述仿生偏振光导航传感器仿照生物定向导航原理，采用阵列式液晶偏振相机，正对天顶，通过采集大气偏振模式，进行自主航向解算，获取该***与地理北向的夹角即航向角。
进一步的，所述航姿模块包括三轴MEMS陀螺仪和加速度计，解算观瞄***的俯仰角和滚转角。
一种基于上述***的全天候便携式多功能仿生定位定姿观瞄方法，包括以下步骤：
步骤1，北斗定位模块与航姿模块进行信息融合，确定出观瞄***的位置，速度、俯仰角和滚转角信息；仿生偏振光导航传感器确定观瞄***的航向角信息。
步骤2，通过智能图像处理板融合可见光、红外、偏振光探测器所探测到的不同波段下的图像信息，进行目标检测和目标识别。
步骤3，通过可见光探测器对识别的隐身目标进行单目测距，确定目标的位置。
步骤4，通过显示器实时显示检测到的目标信息和测得的距离。
步骤5，通过无线模块将检测到的目标和测得的距离全程加密发送给专用加密移动终端。
进一步的，目标检测方法包含以下步骤：
将可见光探测器采集的可见光图像通过轻量化深度神经网络模型进行特征提取，并生成候选检测框；
将红外探测器采集的红外图像通过轻量化深度神经网络模型进行特征提取，并生成候选检测框；
将偏振光探测器采集的偏振光图像通过surf算子提取图像特征后采用最大类间方差法进行图像分割，生成候选检测框；
将可见光、红外、偏振图像所生成的目标候选检测框实现信息融合，对每个检测框中的目标类别进行检测和识别；
通过非极大值抑制的方法去除重叠度高的检测框。
所述轻量化深度神经网络模型为全卷积网络，不包含池化层，由2个卷积层、6个扩张卷积结构、8个扩张卷积残差结构组成，并使用SSD解码器作为目标检测过程的解码器，用于对目标位置、大小做出预测；
检测图像作为第一层卷积层的输入；第一扩张卷积模块、第二扩张卷积模块、第一扩张卷积残差模块、第二扩张卷积残差模块、第三扩张卷积模块、第三扩张卷积残差模块、第四扩张卷积残差模块、第四扩张卷积模块、第五扩张卷积残差模块、第六扩张卷积残差模块、第五扩张卷积模块、第七扩张卷积残差模块、第六扩张卷积模块、第八扩张卷积残差模块、第九扩张卷积残差模块、第十扩张卷积残差模块、第七扩张卷积模块、第二卷积层依次级联后输出的特征图作为解码器的输入用于预测目标位置、大小和类别信息。
扩张卷积模块分别使用1×1、3×3、1×1的卷积核构建，该卷积模块为三层，其块结构为：输入层→第一个1×1卷积层→第一个3×3卷积层→第二个1×1卷积层→输出层；扩张卷积残差模块在扩张卷积模块的基础上将输入层与输出层级联得到最终输出层。
所述的轻量化深度神经网络模型使用5个不同尺度的特征图进行预测，5个特征图尺寸分别设置为38×38、19×19、10×10、5×5、3×3、1×1，并以特征图每个像元位置为中心生成5个尺寸的水平候选框，预置候选框的尺寸根据聚类得到。
surf算子提取图像特征的具体过程为：使用方框性滤波对待选特征点及周围的点计算Hessian值，将Hessian值最大的点作为特征点，通过积分图像的一阶Haar小波响应生成的灰度分布信息来进一步产生特征描述向量
下面结合实施例对本发明进行详细说明。
实施例
结合图1，本发明仿生导航多光谱偏振同步采集***，整个***包括一种全天候便携式多功能仿生定位定姿观瞄***，整个***包括一个激光测距仪，一个可见光探测器，一个红外探测器，一个偏振光探测器，一个仿生偏振光导航传感器，一个航姿模块，一个北斗定位模块、一块智能图像处理板，一个小型显示屏，一个无线模块和一个电源模块。图1中，1表示激光测距仪，2表示可见光探测器，3表示红外探测器，4表示偏振光探测器，5表示仿生偏振光导航传感器，6表示航姿模块，7表示北斗定位模块、8表示智能图像处理板，9表示小型显示屏，10表示无线模块，11表示电源模块。
所述激光测距仪通过RS422串口与智能图像处理板相连；所述可见光探测器、红外探测器和偏振光探测器分别通过SDI口与智能图像处理板相连；所述仿生偏振光导航传感器通过以太网与智能图像处理板相连；所述航姿模块、北斗定位模块和无线模块分别通过RS232串口与智能图像处理板相连；所述电源模块用于分别给各分模块提供电源。
所述智能图像处理板分别对可见光、红外、偏振光探测器获取的图像进行图像融合，用于全天候情况下对目标特征的提取和目标候选检测框的提取，并实现对检测框内目标的类别判断以生成最终的检测结果；所述的激光测距仪用于输出目标至观瞄***的距离信息；所述北斗定位模块和航姿模块用于解算***的当前绝对位置信息、速度信息和俯仰角、滚转角信息；所述仿生偏振光导航传感器用于解算***的当前航向信息；所述显示器安装在***上面端，用于在线实时观察目标的检测结果和定位测姿结果；所述无线模块可将目标检测结果和定位测姿结果传输至其它外部终端。
进一步地，所述的可见光、红外、偏振光探测器，采用了CMOS相机搭建，探测距离可达2公里，相机直径36mm；偏振光探测器可通过旋转偏振相机前端的偏振片，实现对四种偏振角0°、45°、90°、135°下目标的探测。。
进一步地，所述仿生偏振光导航传感器，仿照生物定向导航原理，采用了阵列式液晶偏振相机，正对天顶，通过采集大气偏振模式，进行自主航向解算，获取该***与地理北向的夹角即航向角。
进一步地，所述航姿模块包括了低成本三轴MEMS陀螺仪和加速度计，能准确解算观瞄***的俯仰角和滚转角。
进一步地，所述航姿模块包括了低成本三轴MEMS陀螺仪和加速度计，能准确解算观瞄***的俯仰角和滚转角。
进一步地，所述激光测距模块包括了低功耗远焦激光测距模块，探测距离可达2.5公里，距离误差小于0.3米。
结合图2，为本发明天候便携式多功能仿生定位定姿观瞄方法的测流图。可见光探测器采集的可见光图像和红外探测器采集的红外图像通过轻量化深度神经网络模型进行特征提取，并生成候选检测框；偏振光探测器采集的偏振光图像经过surf算子提取特征图后，经过最大类间方差法进行图像分割，提取到疑似存在目标的区域位置。然后将通过可见光、红外、偏振光图像获取的候选检测框位置与轻量化深度神经网络模型所获取的多尺度特征图结合，判断检测框内目标类别信息。随后，通过非极大值抑制的方法去除冗余的检测框以得到最终的检测结果。一种全天候便携式多功能仿生定位定姿观瞄方法，包括以下步骤：
步骤1，北斗定位模块与航姿模块进行了信息融合，最终确定出观瞄***的位置，速度、俯仰角和滚转角信息；仿生偏振光导航传感器最终确定了观瞄***的航向角信息。
步骤2，通过智能图像处理板融合可见光、红外、偏振光探测器所探测到的不同波段下的图像信息，进行目标准确检测和目标识别。
步骤3，通过可见光探测器对识别的隐身目标进行单目测距，确定目标的位置。
步骤4，通过显示器实时显示检测到的目标信息和测得的距离。
步骤5，通过无线模块将检测到的目标和测得的距离全程加密发送给手机客户端，保密性好便于查看。
其中，目标检测和目标识别方法采用了一种基于可见光、红外、偏振光的异源异质图像融合目标检测方法，具体包含以下步骤：
步骤1，将可见光探测器采集的可见光图像通过轻量化深度神经网络模型进行特征提取，并生成候选检测框；
步骤2，将红外探测器采集的可见光图像通过轻量化深度神经网络模型进行特征提取，并生成候选检测框；
步骤3，将偏振光探测器采集的偏振光图像通过surf算子提取图像特征后采用最大类间方差法进行图像分割，生成候选检测框；
步骤4，将可见光、红外、偏振图像所生成的目标候选检测框实现信息融合，对每个检测框中的目标类别进行检测和识别；
步骤5，通过非极大值抑制的方法去除重叠度高的检测框。
其中，基于可见光、红外、偏振光的异源异质图像目标检测方法，使用的轻量化深度神经网络模型为全卷积网络，不包含池化层，由2个卷积层、6个扩张卷积结构、8个扩张卷积残差结构组成，并使用SSD解码器作为目标检测过程的解码器，用于对目标位置、大小做出预测；
所述检测图像作为第一层卷积层的输入；第一扩张卷积模块、第二扩张卷积模块、第一扩张卷积残差模块、第二扩张卷积残差模块、第三扩张卷积模块、第三扩张卷积残差模块、第四扩张卷积残差模块、第四扩张卷积模块、第五扩张卷积残差模块、第六扩张卷积残差模块、第五扩张卷积模块、第七扩张卷积残差模块、第六扩张卷积模块、第八扩张卷积残差模块、第九扩张卷积残差模块、第十扩张卷积残差模块、第七扩张卷积模块、第二卷积层依次级联后输出的特征图作为解码器的输入用于预测目标位置、大小和类别信息。
扩张卷积模块分别使用1×1、3×3、1×1的卷积核构建，该卷积模块为三层，其块结构为：输入层→第一个1×1卷积层→第一个3×3卷积层→第二个1×1卷积层→输出层；扩张卷积残差模块在扩张卷积模块的基础上将输入层与输出层级联得到最终输出层。
使用的轻量化深度神经网络模型使用5个不同尺度的特征图进行预测，5个特征图尺寸分别设置为38×38、19×19、10×10、5×5、3×3、1×1，并以特征图每个像元位置为中心生成5个尺寸的水平候选框，预置候选框的尺寸根据聚类得到。
使用surf算子提取图像特征，具体过程是：使用方框性滤波对待选特征点及周围的点计算Hessian值，将Hessian值最大的点作为特征点，通过积分图像的一阶Haar小波响应生成的灰度分布信息来进一步产生特征描述向量。

Claims (10)

1.一种全天候便携式多功能仿生定位定姿观瞄***，其特征在于，***包括激光测距仪、可见光探测器、红外探测器、偏振光探测器、仿生偏振光导航传感器、航姿模块、北斗定位模块、智能图像处理板、显示屏、无线模块和电源模块；
所述智能图像处理板分别对可见光、红外、偏振光探测器获取的图像进行图像融合，用于全天候情况下对目标特征的提取和目标候选检测框的提取，并实现对检测框内目标的类别判断以生成最终的检测结果；所述的激光测距仪用于输出目标至观瞄***的距离信息；所述北斗定位模块和航姿模块用于解算***的当前绝对位置信息、速度信息和俯仰角、滚转角信息；所述仿生偏振光导航传感器用于解算***的当前航向信息；所述显示器安装在***上面端，用于在线实时观察目标的检测结果和定位测姿结果；所述无线模块可将目标检测结果和定位测姿结果传输至其它外部终端。
2.根据权利要求1所述的全天候便携式多功能仿生定位定姿观瞄***，其特征在于，所述激光测距仪通过RS422串口与智能图像处理板相连；所述可见光探测器、红外探测器和偏振光探测器分别通过SDI口与智能图像处理板相连；所述仿生偏振光导航传感器通过以太网与智能图像处理板相连；所述航姿模块、北斗定位模块和无线模块分别通过RS232串口与智能图像处理板相连；所述电源模块用于分别给各分模块提供电源。
3.根据权利要求1所述的全天候便携式多功能仿生定位定姿观瞄***，其特征在于，可见光、红外、偏振光探测器，采用CMOS相机搭建，探测距离可达2公里，相机直径36mm；偏振光探测器可通过旋转偏振相机前端的偏振片，实现对四种偏振角0°、45°、90°、135°下目标的探测。
4.根据权利要求1所述的全天候便携式多功能仿生定位定姿观瞄***，其特征在于，所述仿生偏振光导航传感器仿照生物定向导航原理，采用阵列式液晶偏振相机，正对天顶，通过采集大气偏振模式，进行自主航向解算，获取该***与地理北向的夹角即航向角。
5.根据权利要求1所述的全天候便携式多功能仿生定位定姿观瞄***，其特征在于，所述航姿模块包括三轴MEMS陀螺仪和加速度计，解算观瞄***的俯仰角和滚转角。
6.一种基于权利要求1～5中任一项所述***的全天候便携式多功能仿生定位定姿观瞄方法，其特征在于，包括以下步骤：
步骤1，北斗定位模块与航姿模块进行信息融合，确定出观瞄***的位置，速度、俯仰角和滚转角信息；仿生偏振光导航传感器确定观瞄***的航向角信息；
步骤2，通过智能图像处理板融合可见光、红外、偏振光探测器所探测到的不同波段下的图像信息，进行目标检测和目标识别；
步骤3，通过可见光探测器对识别的隐身目标进行单目测距，确定目标的位置；
步骤4，实时显示检测到的目标信息和测得的距离；
步骤5，通过无线模块将检测到的目标和测得的距离全程加密发送给专用加密移动终端。
7.根据权利要求6所述的全天候便携式多功能仿生定位定姿观瞄方法，其特征在于，目标检测方法包含以下步骤：
将可见光探测器采集的可见光图像通过轻量化深度神经网络模型进行特征提取，并生成候选检测框；
将红外探测器采集的红外图像通过轻量化深度神经网络模型进行特征提取，并生成候选检测框；
将偏振光探测器采集的偏振光图像通过surf算子提取图像特征后采用最大类间方差法进行图像分割，生成候选检测框；
将可见光、红外、偏振图像所生成的目标候选检测框实现信息融合，对每个检测框中的目标类别进行检测和识别；
通过非极大值抑制的方法去除重叠度高的检测框。
8.根据权利要求7所述的全天候便携式多功能仿生定位定姿观瞄方法，其特征在于，所述轻量化深度神经网络模型为全卷积网络，不包含池化层，由2个卷积层、6个扩张卷积结构、8个扩张卷积残差结构组成，并使用SSD解码器作为目标检测过程的解码器，用于对目标位置、大小做出预测；
检测图像作为第一层卷积层的输入；第一扩张卷积模块、第二扩张卷积模块、第一扩张卷积残差模块、第二扩张卷积残差模块、第三扩张卷积模块、第三扩张卷积残差模块、第四扩张卷积残差模块、第四扩张卷积模块、第五扩张卷积残差模块、第六扩张卷积残差模块、第五扩张卷积模块、第七扩张卷积残差模块、第六扩张卷积模块、第八扩张卷积残差模块、第九扩张卷积残差模块、第十扩张卷积残差模块、第七扩张卷积模块、第二卷积层依次级联后输出的特征图作为解码器的输入用于预测目标位置、大小和类别信息。
扩张卷积模块分别使用1×1、3×3、1×1的卷积核构建，该卷积模块为三层，其块结构为：输入层→第一个1×1卷积层→第一个3×3卷积层→第二个1×1卷积层→输出层；扩张卷积残差模块在扩张卷积模块的基础上将输入层与输出层级联得到最终输出层。
9.根据权利要求8所述的全天候便携式多功能仿生定位定姿观瞄方法，其特征在于，所述的轻量化深度神经网络模型使用5个不同尺度的特征图进行预测，5个特征图尺寸分别设置为38×38、19×19、10×10、5×5、3×3、1×1，并以特征图每个像元位置为中心生成5个尺寸的水平候选框，预置候选框的尺寸根据聚类得到。
10.根据权利要求7所述的全天候便携式多功能仿生定位定姿观瞄方法，其特征在于，surf算子提取图像特征的具体过程为：使用方框性滤波对待选特征点及周围的点计算Hessian值，将Hessian值最大的点作为特征点，通过积分图像的一阶Haar小波响应生成的灰度分布信息来进一步产生特征描述向量。
CN202010368325.0A 2020-04-30 2020-04-30 一种全天候便携式多功能仿生定位定姿观瞄***及方法 Active CN111652276B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010368325.0A CN111652276B (zh) 2020-04-30 2020-04-30 一种全天候便携式多功能仿生定位定姿观瞄***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010368325.0A CN111652276B (zh) 2020-04-30 2020-04-30 一种全天候便携式多功能仿生定位定姿观瞄***及方法

Publications (2)

Publication Number Publication Date
CN111652276A true CN111652276A (zh) 2020-09-11
CN111652276B CN111652276B (zh) 2023-05-09

Family

ID=72346545

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010368325.0A Active CN111652276B (zh) 2020-04-30 2020-04-30 一种全天候便携式多功能仿生定位定姿观瞄***及方法

Country Status (1)

Country Link
CN (1) CN111652276B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115062770A (zh) * 2022-08-04 2022-09-16 中国人民解放军国防科技大学 基于广义仿生偏振光导航模型及求解的导航方法
CN116777926A (zh) * 2023-08-21 2023-09-19 华侨大学 基于左右分和式轻量卷积神经网络的裂缝分割方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140149060A1 (en) * 2012-11-29 2014-05-29 Sensor Platforms, Inc. Combining Monitoring Sensor Measurements and System Signals to Determine Device Context
CN110009569A (zh) * 2019-04-17 2019-07-12 中国人民解放军陆军工程大学 一种基于轻量级卷积神经网络的红外和可见光图像融合方法
CN110764105A (zh) * 2019-11-08 2020-02-07 北京煜邦电力技术股份有限公司 一种无人机的激光雷达***和无人机***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140149060A1 (en) * 2012-11-29 2014-05-29 Sensor Platforms, Inc. Combining Monitoring Sensor Measurements and System Signals to Determine Device Context
CN110009569A (zh) * 2019-04-17 2019-07-12 中国人民解放军陆军工程大学 一种基于轻量级卷积神经网络的红外和可见光图像融合方法
CN110764105A (zh) * 2019-11-08 2020-02-07 北京煜邦电力技术股份有限公司 一种无人机的激光雷达***和无人机***

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115062770A (zh) * 2022-08-04 2022-09-16 中国人民解放军国防科技大学 基于广义仿生偏振光导航模型及求解的导航方法
CN116777926A (zh) * 2023-08-21 2023-09-19 华侨大学 基于左右分和式轻量卷积神经网络的裂缝分割方法及装置
CN116777926B (zh) * 2023-08-21 2023-10-31 华侨大学 基于左右分和式轻量卷积神经网络的裂缝分割方法及装置

Also Published As

Publication number Publication date
CN111652276B (zh) 2023-05-09

Similar Documents

Publication Publication Date Title
CN112894832B (zh) 三维建模方法、装置、电子设备和存储介质
CN112288853B (zh) 三维重建方法、三维重建装置、存储介质
CN106447585A (zh) 城市地区和室内高精度视觉定位***及方法
CN106529538A (zh) 一种飞行器的定位方法和装置
CN111028358B (zh) 室内环境的增强现实显示方法、装置及终端设备
CN109596121B (zh) 一种机动站自动目标检测与空间定位方法
US20200357141A1 (en) Systems and methods for calibrating an optical system of a movable object
CN106651951B (zh) 一种大气偏振模式检测及航向解算***及方法
CN109871739B (zh) 基于yolo-sioctl的机动站自动目标检测与空间定位方法
CN112348886A (zh) 视觉定位方法、终端和服务器
CN111652276B (zh) 一种全天候便携式多功能仿生定位定姿观瞄***及方法
CN112489032A (zh) 一种复杂背景下无人机载小目标检测定位方法及***
CN109712188A (zh) 一种目标跟踪方法及装置
CN114858226B (zh) 一种无人机山洪流量测量方法、装置及设备
CN103345765B (zh) 基于dsp+fpga的移动平台下运动目标检测装置及其方法
CN114923477A (zh) 基于视觉与激光slam技术的多维度空地协同建图***和方法
CN109671109A (zh) 密集点云生成方法及***
Yang et al. Algorithm design and experimental verification of a heading measurement system based on polarized light/inertial combination
CN115574816A (zh) 仿生视觉多源信息智能感知无人平台
CN113284239B (zh) 一种关于智慧城市的电子沙盘制作方法及装置
CN112595728B (zh) 一种道路问题确定方法和相关装置
CN105807083A (zh) 一种无人飞行器实时测速方法及***
CN115409910A (zh) 一种语义地图构建方法、视觉定位方法及相关设备
CN203397395U (zh) 基于dsp+fpga的移动平台下运动目标检测装置
CN115665553B (zh) 一种无人机的自动跟踪方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant