CN105678230B - 一种红外目标投影模型指导的飞机感兴趣区测谱方法 - Google Patents

一种红外目标投影模型指导的飞机感兴趣区测谱方法 Download PDF

Info

Publication number
CN105678230B
CN105678230B CN201511020660.7A CN201511020660A CN105678230B CN 105678230 B CN105678230 B CN 105678230B CN 201511020660 A CN201511020660 A CN 201511020660A CN 105678230 B CN105678230 B CN 105678230B
Authority
CN
China
Prior art keywords
interest
area
aircraft
target
projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201511020660.7A
Other languages
English (en)
Other versions
CN105678230A (zh
Inventor
张天序
药珩
喻洪涛
黄伟
姚守悝
王凤林
李正涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201511020660.7A priority Critical patent/CN105678230B/zh
Publication of CN105678230A publication Critical patent/CN105678230A/zh
Application granted granted Critical
Publication of CN105678230B publication Critical patent/CN105678230B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/752—Contour matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种红外目标投影模型指导的飞机感兴趣区测谱方法，包括：(1)建立投影姿态数据库；(2)对实测飞机目标红外图像进行测谱，包括：(2.1)实测获得飞机目标红外图像；(2.2)获得目标各感兴趣区域轮廓；(2.3)将投影姿态数据库与实测的目标各感兴趣区域轮廓进行比对，确定飞机的姿态以及在此种姿态下的各感兴趣区域的对应几何关系；(2.4)根据整体轮廓与各个感兴趣区域之间的相互关系，确定各感兴趣区域的具体坐标；(2.5)把测谱中心点移到各个感兴趣区域中心，逐一测量各个感兴趣区域的光谱；(2.6)记录目标光谱特征。本发明方法检测模型能方便的使用部分匹配技术，即使在目标被部分遮挡的情况下仍能找到未被遮挡的特征块，可以提高检测鲁棒性。

Description

一种红外目标投影模型指导的飞机感兴趣区测谱方法
技术领域
本发明属于图像检测识别技术领域，更具体地，涉及一种红外目标投影模型指导的飞机感兴趣区测谱方法，可用于飞机目标感兴趣区的定位跟踪及其光谱测量。
背景技术
飞机目标的各个部位的辐射和反射光谱不同，为了在外场实测各个部位的辐射和反射光谱，必须自动检测识别定位各个感兴趣区域，并持续跟踪测其光谱。而现有的测试方法都需要人工识别、检测定位感兴趣区域，非常耗时耗力。因此，必须发展自动快速识别定位的测谱方法。
一般的飞机目标检测方法都是根据飞机的全局特征来进行检测。在给定的图像中检测感兴趣目标可以归结为在尺度和图像空间中计算检测窗口出现感兴趣目标的概率。根据飞机目标表示方法的不同，现有的感兴趣目标检测方法大致可以分为两类：(1)不使用模型，仅用一些底层的特征来表示感兴趣目标，称为无模型方法；(2)用事先设计好的模型表示飞机目标，称为有模型方法。
发明内容
一般基于全局的目标检测算法只能根据目标大致轮廓特征,并不能学习到更为精细的感兴趣目标区域特征。同时传统模型只是单一的目标模型，并不能很好地表示目标感兴趣区域的温度及位置特征，对姿态变化很大的目标检测存在一定的困难。为此本方法对传统模型进行扩展，学习感兴趣目标的投影全局模型以及更为精细的投影感兴趣区域模型来提高检测精度。
为实现上述发明目的，本发明提供了一种红外目标投影模型指导的飞机感兴趣区测谱方法，包括如下步骤：
(1)建立投影姿态数据库；
(2)对实测飞机目标红外图像进行测谱，包括如下子步骤：
(2.1)实测获得飞机目标红外图像；
(2.2)对红外图像进行图像分割及边缘提取，从而获得目标各感兴趣区域轮廓；
(2.3)将步骤(1)中建立的投影姿态数据库和步骤(2.2)中实测的目标各感兴趣区域轮廓进行比对，确定飞机的姿态以及在此种姿态下的各感兴趣区域的对应几何关系；
(2.4)根据整体轮廓与各个感兴趣区域之间的相互关系，确定各感兴趣区域的具体(x，y)坐标；
(2.5)把测谱中心点移到各个感兴趣区域中心，逐一测量各个感兴趣区域的光谱；
(2.6)记录目标光谱特征。
本发明的一个实施例中，所述步骤(1)具体包括如下子步骤：
(1.1)建立飞机及尾焰的三维模型；
(1.2)确定飞机目标不同材质的部位，并对三维模型中不同材质部位进行划分，具体划分为机头、机身、机翼边缘、座舱、发动机和尾焰等感兴趣区域；
(1.3)对三维模型中不同材质的部位赋予不同的温度；
(1.4)根据飞机在空中可能出现的姿态选定m个观察方向，每个观察方向划分为n个观察角度，共建立飞机m*n个投影模型；
(1.5)获得不同观测角度下飞机目标的投影模型；
(1.6)建立不同观测角度下飞机的各感兴趣区域在飞机各典型姿态中的几何关系，感兴趣区域包括机头、机身、机翼边缘、座舱、发动机和尾焰等；
(1.7)建立不同观测角度下飞机各感兴趣区域在飞机各典型姿态中的几何关系的数据库。
本发明的一个实施例中，所述m个观察方向具体为6个观察方向，分别为上视、下视、前视、后视、左视、右视。
本发明的一个实施例中，所述n个观察角度为9个观察角度，分别为正视、偏左15度、偏左30度、偏右15度、偏右30度、偏上15度、偏上30度、偏下15度、偏下30度。
与现有技术相比，本发明方法具有如下有益效果：
本方法提出通过将目标全局信息与局部信息融合的思路来提高目标检测性能，提出首先检测全局目标然后在全局模型中检测局部感兴趣区域的检测思路。在检测局部感兴趣区域的过程中，采用基于特征块的目标表示，此种模型不把目标看做一个整体，而是把目标表示为一些特征块的集合。同时，本方法检测模型的特征块之间没有固定的相对位置关系，更具有灵活性。此外，本方法检测模型能方便的使用部分匹配技术，即使在目标被部分遮挡的情况下仍能找到未被遮挡的特征块，可以提高检测鲁棒性。
附图说明
图1为本发明红外目标投影模型指导的飞机感兴趣区测谱方法总体流程示意图；
图2为本发明由红外目标轮廓定位飞机感兴趣区的图谱一体化设备结构框图；
图3为F22战斗机机身及尾焰的三维模型；
图4为对F22进行材质划分的结果；
图5为下视观察方向所得F22投影模型；
图6为前视观察方向所得F22投影模型；
图7为左视观察方向所得F22投影模型；
图8为右视观察方向所得F22投影模型；
图9为后视观察方向所得F22投影模型；
图10为上视观察方向所得F22投影模型；
图11为在上视观察方向下，F22向左俯仰15度，向前俯仰15度，模拟实测的红外图像；
图12为对模拟实测的F22红外图像进行图像分割的结果；
图13为对模拟实测的F22红外图像各感兴趣区形心标记结果；
图14为对模拟实测的F22红外图像各感兴趣区定位结果。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如附图1所示，本发明提供了一种红外目标投影模型指导的飞机感兴趣区测谱方法，本发明方法是利用图谱一体化设备进行快速准确测量的新方法，该设备结构框图如图2所示，主要包括伺服***、镜头、可见光成像模块、测谱模块。
本发明方法包括建立投影姿态数据库的步骤和对实测飞机目标红外图像进行测谱的步骤，其中：
(1)建立投影姿态数据库的步骤，具体包括如下子步骤：
(1.1)建立F22战斗机机身及尾焰的三维模型，模型如图3所示；
(1.2)确定飞机目标不同材质的部位，并对三维模型中不同材质部位进行划分，具体划分为：机头，机身，机翼边缘，座舱，发动机，尾焰。模型划分结果如图4所示；
(1.3)对三维模型中不同材质的部位赋予不同的温度；
(1.4)根据空中飞机可能出现的姿态选定6个观察方向，分别为上视、下视、前视、后视、左视、右视。每个观察方向又划分为9个观察角度，分别为正视、偏左15度、偏左30度、偏右15度、偏右30度、偏上15度、偏上30度、偏下15度、偏下30度。共建立飞机6*9个全局模型；
(1.5)获得不同观测角度下飞机目标的投影模型，下视观察方向所得投影模型如图5所示，前视观察方向所得投影模型如图6所示，左视观察方向所得投影模型如图7所示，右视观察方向所得投影模型如图8所示，后视观察方向所得投影模型如图9所示，上视观察方向所得投影模型如图10所示；
(1.6)根据以上投影模型库，统计不同观测角度下飞机感兴趣区域：机头，机身，机翼边缘，座舱，发动机，尾焰等在飞机各典型姿态中的几何关系；
(1.7)建立不同观测角度下飞机感兴趣区域：机头，机身，机翼边缘，座舱，发动机，尾焰等在飞机各典型姿态中的几何关系的数据库；
上述步骤中具体建立模型数据库方法如下：基于特征块的感兴趣区域的模型表达。本方法用图像结构框架丰富传统目标检测模型，可以得到由投影全局模型以及投影的感兴趣区域模型组成的目标模型。首先从飞机红外图像数据库中选取各个姿态所需的训练样本，这些样本由带标注的边界矩形的感兴趣目标组成，同时包含目标感兴趣区标注，这样就可以训练各个投影全局模型和对应的投影感兴趣区域模型。与传统计算方法一样，也都是在图像的多级滤波器下进行计算得到飞机的投影全局模型的多级特征。投影感兴趣区域模型由目标感兴趣区样本训练得到，能够捕捉到更为精细的目标感兴趣区域轮廓。因此，该算法更有利于精确地检测目标。投影感兴趣区域模型的偏离程度度量是由一系列子模板和它们之间几何关系构成，模型的优化目标既包括每个投影感兴趣区域模型的匹配程度，还包括投影感兴趣区域模型之间的几何偏离(投影感兴趣区域模型偏离投影全局模型中正确位置的距离)。
(2)对实测飞机目标红外图像进行测谱的步骤，具体包括如下子步骤：
(2.1)模拟实测F22战斗机目标红外图像，如图11所示；
(2.2)对红外图像进行图像分割及边缘提取，从而获得目标各感兴趣区域轮廓，分割结果如图12所示；
(2.3)根据步骤一中建立的投影姿态数据库，确定目标图像的观察方向为上视，读取数据库中在此种姿态下的各感兴趣区域对应几何关系；
(2.4)根据整体轮廓与各个感兴趣区域之间的相互关系，确定各感兴趣区域的具体坐标，机头区域形心坐标为(291，70)，发动机区域形心坐标为(230,229)，机身区域形心坐标为(247,185)，两个尾焰区域形心坐标为(197，293)和(216,298)，两个机翼边缘形心坐标为(219,156)和(287,178)，目标各感兴趣区域形心标记结果如图13所示，目标各感兴趣区域识别定位结果如图14所示；
(2.5)把测谱中心点移到各个感兴趣区域中心，逐一测量各个感兴趣区域的光谱；
(2.6)记录目标光谱特征。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种红外目标投影模型指导的飞机感兴趣区测谱方法，其特征在于，所述方法包括如下步骤：
(1)建立投影姿态数据库；
(2)对实测飞机目标红外图像进行测谱，包括如下子步骤：
(2.1)实测获得飞机目标红外图像；
(2.2)对红外图像进行图像分割及边缘提取，从而获得目标各感兴趣区域轮廓；
(2.3)将步骤(1)中建立的投影姿态数据库和步骤(2.2)中实测的目标各感兴趣区域轮廓进行比对，确定飞机的姿态以及在此种姿态下的各感兴趣区域的对应几何关系；
(2.4)根据整体轮廓与各个感兴趣区域之间的相互关系，确定各感兴趣区域的具体坐标；
(2.5)把测谱中心点移到各个感兴趣区域中心，逐一测量各个感兴趣区域的光谱；
(2.6)记录目标光谱特征。
2.如权利要求1所述的方法，其特征在于，所述步骤(1)具体包括如下子步骤：
(1.1)建立飞机及尾焰的三维模型；
(1.2)确定飞机目标不同材质的部位，并对三维模型中不同材质部位进行划分，具体划分为机头、机身、机翼边缘、座舱、发动机和尾焰感兴趣区域；
(1.3)对三维模型中不同材质的部位赋予不同的温度；
(1.4)根据飞机在空中可能出现的姿态选定m个观察方向，每个观察方向划分为n个观察角度，共建立飞机m*n个投影模型；
(1.5)获得不同观测角度下飞机目标的投影模型；
(1.6)建立不同观测角度下飞机的各感兴趣区域在飞机各典型姿态中的几何关系，感兴趣区域包括机头、机身、机翼边缘、座舱、发动机和尾焰；
(1.7)建立不同观测角度下飞机各感兴趣区域在飞机各典型姿态中的几何关系的数据库。
3.如权利要求2所述的方法，其特征在于，所述m个观察方向具体为6个观察方向，分别为上视、下视、前视、后视、左视、右视。
4.如权利要求2或3所述的方法，其特征在于，所述n个观察角度为9个观察角度，分别为正视、偏左15度、偏左30度、偏右15度、偏右30度、偏上15度、偏上30度、偏下15度、偏下30度。
CN201511020660.7A 2015-12-30 2015-12-30 一种红外目标投影模型指导的飞机感兴趣区测谱方法 Active CN105678230B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201511020660.7A CN105678230B (zh) 2015-12-30 2015-12-30 一种红外目标投影模型指导的飞机感兴趣区测谱方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201511020660.7A CN105678230B (zh) 2015-12-30 2015-12-30 一种红外目标投影模型指导的飞机感兴趣区测谱方法

Publications (2)

Publication Number Publication Date
CN105678230A CN105678230A (zh) 2016-06-15
CN105678230B true CN105678230B (zh) 2017-04-05

Family

ID=56189775

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511020660.7A Active CN105678230B (zh) 2015-12-30 2015-12-30 一种红外目标投影模型指导的飞机感兴趣区测谱方法

Country Status (1)

Country Link
CN (1) CN105678230B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446799A (zh) * 2016-08-31 2017-02-22 浙江大华技术股份有限公司 一种热成像目标识别的方法和装置
CN106706133B (zh) * 2016-12-31 2017-09-29 华中科技大学 一种点斑状目标姿态估计方法及***

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103448913A (zh) * 2013-09-11 2013-12-18 中国民航大学 飞机除冰实时监测装置
EP3629303A1 (en) * 2014-03-25 2020-04-01 Apple Inc. Method and system for representing a virtual object in a view of a real environment

Also Published As

Publication number Publication date
CN105678230A (zh) 2016-06-15

Similar Documents

Publication Publication Date Title
CN107202982B (zh) 一种基于无人机位姿计算的信标布置及图像处理方法
CN107514993B (zh) 基于无人机的面向单体建筑建模的数据采集方法及***
CN106054929B (zh) 一种基于光流的无人机自动降落引导方法
CN105373135B (zh) 一种基于机器视觉的飞机入坞引导和机型识别的方法及***
KR101445739B1 (ko) 도로표지판의 위치검출 방법
CN104215239B (zh) 基于视觉的无人机自主着陆导引装置实现的导引方法
CN102436738B (zh) 一种基于无人机的交通监测装置
CN101201248B (zh) 基于无人机的航空近景摄影位移测量***及其方法
CN105930819A (zh) 基于单目视觉和gps组合导航***的实时城区交通灯识别***
CN109727271A (zh) 用于跟踪对象的方法和设备
CN104484870B (zh) 校验飞机定位方法
Liu et al. Deep-learning and depth-map based approach for detection and 3-D localization of small traffic signs
Minghui et al. Deep learning enabled localization for UAV autolanding
CN114004977A (zh) 一种基于深度学习的航拍数据目标定位方法及***
CN106295695A (zh) 一种飞机起降过程自动追踪拍摄方法及装置
CN111189433A (zh) 一种基于无人机航拍的岩溶峰林地貌参数测量方法
CN105678230B (zh) 一种红外目标投影模型指导的飞机感兴趣区测谱方法
Liu et al. Runway extraction in low visibility conditions based on sensor fusion method
Schleiss et al. VPAIR--Aerial Visual Place Recognition and Localization in Large-scale Outdoor Environments
CN108225735A (zh) 一种基于视觉的精密进近指示器飞行校验方法
CN105631431B (zh) 一种可见光目标轮廓模型指导的飞机感兴趣区测谱方法
CN111126363B (zh) 自动驾驶车辆的物体识别方法及装置
CN117058231A (zh) 一种基于视觉深度信息的分体式飞行汽车定位对接方法
CN115439469B (zh) 基于无人机的建筑缺陷检测方法、装置及电子设备
Veneruso et al. Vision-aided approach and landing through AI-based vertiport recognition

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant