CN116128935B - 空中机群红外序列配准方法、多尺度目标测谱方法及*** - Google Patents
空中机群红外序列配准方法、多尺度目标测谱方法及*** Download PDFInfo
- Publication number
- CN116128935B CN116128935B CN202211734481.XA CN202211734481A CN116128935B CN 116128935 B CN116128935 B CN 116128935B CN 202211734481 A CN202211734481 A CN 202211734481A CN 116128935 B CN116128935 B CN 116128935B
- Authority
- CN
- China
- Prior art keywords
- image
- template
- registered
- transformation
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001228 spectrum Methods 0.000 title claims abstract description 143
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000000691 measurement method Methods 0.000 title abstract description 10
- 230000009466 transformation Effects 0.000 claims abstract description 158
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 51
- 239000011159 matrix material Substances 0.000 claims abstract description 45
- 238000012545 processing Methods 0.000 claims abstract description 17
- 238000010586 diagram Methods 0.000 claims description 25
- 238000005259 measurement Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 7
- 238000004611 spectroscopical analysis Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 2
- 239000007787 solid Substances 0.000 abstract description 4
- 230000015572 biosynthetic process Effects 0.000 description 11
- 230000011218 segmentation Effects 0.000 description 11
- 230000036544 posture Effects 0.000 description 10
- 238000004590 computer program Methods 0.000 description 6
- 230000003595 spectral effect Effects 0.000 description 5
- 230000007547 defect Effects 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 238000003709 image segmentation Methods 0.000 description 3
- 238000000844 transformation Methods 0.000 description 3
- 230000001131 transforming effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种空中机群红外序列配准方法、多尺度目标测谱方法及***，配准方法包括：获取空中机群在同一时间窗内的模板图像和待配准图像；在同一时间窗内空中机群的姿态稳定；分别对模板图像和待配准图像进行二值化处理，得到模板二值图像和待配准二值图像；分别计算模板二值图像和待配准二值图像中各飞机的形心坐标；根据模板二值图像和待配准二值图像中各飞机的形心坐标，计算仿射变换的变换矩阵，并根据仿射变换的变换矩阵对模板二值图像进行仿射变换，得到模板变换图像；将模板变换图像与待配准图像进行配准，得到配准结果图。本发明实现了空中机群红外图像序列的快速准确配准，为后续获取目标光谱数据提供了坚实的技术基础。
Description
技术领域
本发明属于光电图像处理技术领域，更具体地，涉及一种空中机群红外序列配准方法、多尺度目标测谱方法及***。
背景技术
随着航空领域技术的高速发展，对空领域安全有了更高要求，对空目标的识别也变得非常重要。利用传统的图像处理方法无法单纯从红外图像中区分目标类型，需要应用图谱关联识别方法与设备，即结合目标的红外图像与光谱数据来进行光谱识别。在图谱关联识别方法中，将视场中心的一部分区域作为测谱光阑，该光阑中的所有能量被设备接收，生成相应的宽波段光谱数据。
实际场景下，光阑吸收的能量为目标与背景的混合能量，为获得目标真实光谱，须对混合光谱进行光谱解混，即计算目标在光阑内占比，减去混合能量中背景部分，得到目标光谱。因光阑吸收该部分所有能量，所以光阑位置在红外图像中不成像，无法从单帧图像中计算出目标占比，但空中机群在某一时间窗具有姿态上的稳定性，可以通过图像配准的思想，将前几帧未进入光阑时的目标变换到下几帧目标在光阑内的图像中。
图像配准是指将同一场景下的不同图像“对齐”或者进行广义的匹配，以消除存在的几何畸变。对同一场景使用相同或不同的传感器，在不同条件下获取的两个或多个图像一般都会有差异。同一场景的多次成像的差别可以表现在：不同的分辨率、不同的灰度属性、不同的位置、不同的尺度、不同的非线性变换等。
现有图像配准方法大致分为三类，第一类是基于图像灰度；第二类是基于图像特征；第三类是基于图像的理解和解释。现有图像配准方法多为可见光图像配准，可见光图像信噪比高，噪声干扰小，容易完成目标特征的提取与匹配。而在高帧率红外探测器中，其成像积分时间短，图像具有噪声大、信噪比低、非均匀性等特点。现有图像配准方法极易受图像质量影响，造成特征点混淆。而且在空中动目标编队机群的场景下，飞机尺度变化大，目标多，且背景多为云或天空，图像提取到的特征点大多为编队飞机或噪声的特征点，而多架飞机的特征点极其相似，在特征匹配时会造成特征点配准的交叉，无法得到正确图像变换关系。
发明内容
针对现有技术的缺陷，本发明的目的在于提供一种空中机群红外序列配准方法、多尺度目标测谱方法及***，旨在解决现有图像配准方法对空中动目标机群红外图像的配准准确性较低的问题。
为实现上述目的，第一方面，本发明提供了一种空中机群红外序列配准方法，包括：
S101获取空中机群在同一时间窗内的模板图像和待配准图像；在所述同一时间窗内空中机群的姿态稳定；
S102分别对所述模板图像和所述待配准图像进行二值化处理，得到模板二值图像和待配准二值图像；
S103分别计算所述模板二值图像和所述待配准二值图像中各飞机的形心坐标；
S104根据所述模板二值图像和所述待配准二值图像中各飞机的形心坐标，计算仿射变换的变换矩阵，并根据仿射变换的变换矩阵对所述模板二值图像进行仿射变换，得到模板变换图像；
S105将所述模板变换图像与所述待配准图像进行配准，得到配准结果图。
在一个可选的示例中，S104具体包括：
分别从所述模板二值图像和所述待配准二值图像中各飞机的形心坐标中选取不同的形心坐标组合；
根据所述模板二值图像对应的形心坐标组合和所述待配准二值图像对应的形心坐标组合，计算对应的候选变换矩阵；
根据各候选变换矩阵对所述模板二值图像进行仿射变换，得到各候选模板变换图像；
计算待配准二值图像与所述各候选模板变换图像的交并比，将交并比最大的候选变换矩阵作为所述变换矩阵，将交并比最大的候选模板变换图像作为所述模板变换图像。
在一个可选的示例中，所述二值化处理包括阈值分割和连通域检测。
第二方面，本发明提供了一种多尺度目标测谱方法，包括：
S201对空中机群进行图像采集，并对空中机群中的目标进行目标跟踪和测谱；
S202在同一时间窗内，获取目标未进入光阑区域时的第一红外图像和光阑区域的背景光谱，以及获取目标进入光阑区域时的第二红外图像和光阑区域的混合光谱；
S203将所述第一红外图像作为模板图像，所述第二红外图像作为待配准图像，并根据如第一方面所述的空中机群红外序列配准方法进行配准，得到配准结果图；
S204根据所述配准结果图，获得目标在光阑区域中所占的像素数以及光阑区域的像素数并计算目标在光阑中占比；
S205根据所述目标在光阑中占比以及所述背景光谱，对所述混合光谱进行光谱解混，得到目标光谱。
在一个可选的示例中，所述目标为整个机群、某一飞机或某一飞机部位。
第三方面，本发明提供了一种空中机群红外序列配准***，包括：
图像获取模块，用于获取空中机群在同一时间窗内的模板图像和待配准图像；在所述同一时间窗内空中机群的姿态稳定；
图像二值化模块，用于分别对所述模板图像和所述待配准图像进行二值化处理，得到模板二值图像和待配准二值图像；
形心计算模块，用于分别计算所述模板二值图像和所述待配准二值图像中各飞机的形心坐标；
仿射变换模块，用于根据所述模板二值图像和所述待配准二值图像中各飞机的形心坐标，计算仿射变换的变换矩阵，并根据仿射变换的变换矩阵对所述模板二值图像进行仿射变换，得到模板变换图像；
图像配准模块，用于将所述模板变换图像与所述待配准图像进行配准，得到配准结果图。
在一个可选的示例中，所述仿射变换模块具体用于：
分别从所述模板二值图像和所述待配准二值图像中各飞机的形心坐标中选取不同的形心坐标组合；
根据所述模板二值图像对应的形心坐标组合和所述待配准二值图像对应的形心坐标组合，计算对应的候选变换矩阵；
根据各候选变换矩阵对所述模板二值图像进行仿射变换，得到各候选模板变换图像；
计算待配准二值图像与所述各候选模板变换图像的交并比，将交并比最大的候选变换矩阵作为所述变换矩阵，将交并比最大的候选模板变换图像作为所述模板变换图像。
在一个可选的示例中，所述图像二值化模块中的所述二值化处理包括阈值分割和连通域检测。
第四方面，本发明提供了一种多尺度目标测谱***，包括：
图谱采集模块，用于对空中机群进行图像采集，并对空中机群中的目标进行目标跟踪和测谱；
图谱获取模块，用于在同一时间窗内，获取目标未进入光阑区域时的第一红外图像和光阑区域的背景光谱，以及获取目标进入光阑区域时的第二红外图像和光阑区域的混合光谱；
图像配准模块，用于将所述第一红外图像作为模板图像，所述第二红外图像作为待配准图像，并根据如第一方面所述的空中机群红外序列配准方法进行配准，得到配准结果图；
占比计算模块，用于根据所述配准结果图，获得目标在光阑区域中所占的像素数以及光阑区域的像素数并计算目标在光阑中占比；
光谱解混模块，用于根据所述目标在光阑中占比以及所述背景光谱，对所述混合光谱进行光谱解混，得到目标光谱。
在一个可选的示例中，所述图谱获取模块中的所述目标为整个机群、某一飞机或某一飞机部位。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：
本发明提供一种空中机群红外序列配准方法、多尺度目标测谱方法及***，通过获取空中机群在同一姿态稳定的时间窗内的模板图像和待配准图像，并分别进行二值化处理，分别计算模板二值图像和待配准二值图像中各飞机的形心坐标，由此计算仿射变换的变换矩阵，将模板二值图像变换到待配准二值图像上再与原始的待配准图像进行叠加，从而实现了空中机群红外图像序列的快速准确配准，可以消除待配准图像中存在的目标残缺，为后续获取目标光谱数据提供了坚实的技术基础。
附图说明
图1是本发明提供的空中机群红外序列配准方法的流程示意图之一；
图2是本发明提供的多尺度目标测谱方法的流程示意图；
图3是本发明提供的多尺度目标测谱方法的总体流程图；
图4是本发明提供的空中机群红外序列配准方法的流程示意图之二；
图5是本发明提供的模板图像和待配准图像的示例图；
图6是本发明提供的阈值分割结果图；
图7是本发明提供的模板图像和待配准图像的预处理图像；
图8是本发明提供的预处理图像的形心标记图；
图9是本发明提供的仿射变换的示例图；
图10是本发明提供的图像配准的示例图；
图11是本发明提供的空中机群红外序列配准***的架构图；
图12是本发明提供的多尺度目标测谱***的架构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明提供一种空中机群红外序列配准方法，图1是本发明提供的空中机群红外序列配准方法的流程示意图之一，如图1所示，该方法包括：
步骤S101，获取空中机群在同一时间窗内的模板图像和待配准图像；在同一时间窗内空中机群的姿态稳定；
步骤S102，分别对模板图像和待配准图像进行二值化处理，得到模板二值图像和待配准二值图像；
步骤S103，分别计算模板二值图像和待配准二值图像中各飞机的形心坐标；
步骤S104，根据模板二值图像和待配准二值图像中各飞机的形心坐标，计算仿射变换的变换矩阵，并根据仿射变换的变换矩阵对模板二值图像进行仿射变换，得到模板变换图像；
步骤S105，将模板变换图像与待配准图像进行配准，得到配准结果图。
具体地，首先对空中编队机群的红外序列图像进行截取，分割成多个姿态稳定的时间窗，不同时间窗中飞机尺度或姿态会存在差异，需要对不同的时间窗分别处理。从而，可以利用飞机编队结构在某一时间窗内的姿态不变性或相似性，对飞行编队的红外图像进行配准。
在某一姿态稳定的时间窗内，获取空中编队机群的两帧红外图像，即模板图像和待配准图像，此处的模板图像可以是目标没有进入光阑的红外图像，待配准图像可以是目标进入光阑的红外图像，由于光阑吸收该区域内所有能量，光阑区域在红外图像中不成像，模板图像中的目标会完整呈现，而待配准图像会呈现目标残缺的情况，通过图像配准可以实现待配准图像的目标补全。
随即，可以分别对模板图像和待配准图像进行二值化预处理，从而得到模板二值图像和待配准二值图像，二值图像中的白色像素区域可以是目标像素区域，黑色像素区域可以是背景区域。由于预处理后一个连通域即为一个目标飞机，每个连通域的质心坐标即为一个飞机的形心坐标，通过这种方式即可分别求得模板二值图像中各飞机的形心坐标，以及待配准二值图像中各飞机的形心坐标。
接着，可以根据模板二值图像中各飞机的形心坐标，以及待配准二值图像中各飞机的形心坐标，求解仿射变换的变换矩阵，并根据仿射变换的变换矩阵对模板二值图像进行仿射变换，从而可以实现将模板二值图像中目标变换到光阑区域，得到模板变换图像。最后，即可将模板变换图像叠加在原始的待配准图像上，即可完成待配准图像的目标补全，得到配准结果图。
需要说明的是，目标为空中动目标，速度快，尺度变化大，且图像序列为红外图像，受噪声、非均匀性影响大，本发明实施例通过利用机群形态在短时间窗内的稳定性，提出一种利用飞机间的相对位置关系的新图像配准方法，替换了传统的基于特征点的图像配准方法，从而实现了空中动目标红外配准，克服了传统图像配准方法容易出现特征点交叉混淆的问题。
本发明实施例提供的方法，通过获取空中机群在同一姿态稳定的时间窗内的模板图像和待配准图像，并分别进行二值化处理，分别计算模板二值图像和待配准二值图像中各飞机的形心坐标，由此计算仿射变换的变换矩阵，将模板二值图像变换到待配准二值图像上再与原始的待配准图像进行叠加，从而实现了空中机群红外图像序列的快速准确配准，可以消除待配准图像中存在的目标残缺，为后续获取目标光谱数据提供了坚实的技术基础。
基于上述实施例，S104具体包括：
分别从模板二值图像和待配准二值图像中各飞机的形心坐标中选取不同的形心坐标组合；
根据模板二值图像对应的形心坐标组合和待配准二值图像对应的形心坐标组合，计算对应的候选变换矩阵；
根据各候选变换矩阵对模板二值图像进行仿射变换，得到各候选模板变换图像；
计算待配准二值图像与各候选模板变换图像的交并比，将交并比最大的候选变换矩阵作为变换矩阵，将交并比最大的候选模板变换图像作为模板变换图像。
具体地，通常编队机群的飞机数目较多，不需要应用所有飞机的形心坐标进行求解，因此，本发明实施例分别从模板二值图像和待配准二值图像中各飞机的形心坐标中选取不同的形心坐标组合，来求解仿射变换的变换矩阵。
仿射变换对应的齐次坐标矩阵表示形式为：
其中，取h20，h21为0，h22为1，则w为1。(x，y)为模板二值图像的形心组合中的形心坐标，(x′，y′)为待配准二值图像的形心组合中的形心坐标。
实现将模板二值图像变换到待配准二值图像上，其实就是已知X和X′求变换矩阵H，而H中的三个变量已知，只需要使用三个坐标构造齐次方程解出另外六个变量即可，因此，仅需要找到模板二值图像与待配准二值图像中三组形心坐标的对应关系，即可完成图像的配准。
不同的形心组合就可以得到多组候选变换矩阵，根据各候选变换矩阵对模板二值图像进行仿射变换，得到各候选模板变换图像，计算待配准二值图像与各候选模板变换图像的交并比，将交并比最大的候选变换矩阵作为步骤S104中使用的变换矩阵，交并比最大的候选模板变换图像即为步骤S104所得的模板变换图像。
基于上述任一实施例，二值化处理包括阈值分割和连通域检测。
具体地，飞机飞行时在红外图像中亮度明显高于天空背景，所以这里先使用灰度阈值分割的方法提取编队飞机。首先统计不同灰度级的像素个数，计算每个像素在整幅图像的概率分布，之后对每个灰度级别进行遍历，计算当前灰度值下前景背景类间概率，通过目标函数计算类内与类间方差下的对应阈值，即可根据阈值完成图像分割。
阈值分割后的图像可能还包含红外探测器噪声、非均匀性等干扰，所以还需要对这些干扰进行处理。因为阈值分割后的图像为二值图像，其模式简单，于是使用连通域检测方法剔除干扰。对二值图像进行连通域标记，删除面积较小的连通域以消除噪声，并删除位置在图像四个顶点的连通域以消除图像非均匀性。
通过分别对模板图像和待配准图像进行阈值分割和连通域检测，即可得到模板二值图像和待配准二值图像，从而实现消除红外图像噪声、非均匀性的影响。
基于上述任一实施例，本发明提供一种多尺度目标测谱方法，图2是本发明提供的多尺度目标测谱方法的流程示意图，如图2所示，该方法包括：
步骤S201，对空中机群进行图像采集，并对空中机群中的目标进行目标跟踪和测谱；
步骤S202，在同一时间窗内，获取目标未进入光阑区域时的第一红外图像和光阑区域的背景光谱，以及获取目标进入光阑区域时的第二红外图像和光阑区域的混合光谱；
步骤S203，将第一红外图像作为模板图像，第二红外图像作为待配准图像，并根据上述任一实施例中的空中机群红外序列配准方法进行配准，得到配准结果图；
步骤S204，根据配准结果图，获得目标在光阑区域中所占的像素数以及光阑区域的像素数并计算目标在光阑中占比；
步骤S205，根据目标在光阑中占比以及背景光谱，对混合光谱进行光谱解混，得到目标光谱。
具体地，可以对空中机群进行图像采集，并对空中机群中的目标进行目标跟踪，跟踪到之后将光阑移过去，使得目标在光阑区域内，即可完成测谱。测谱和成像可以同时进行，测谱区域即为光阑区域，光阑区域的所有能量被光谱仪吸收，因此光阑区域在红外图像上不成像。
利用飞机编队结构在同一时间窗内的姿态稳定性，因此可以在同一时间窗内，获取目标未进入光阑区域时的第一红外图像和光阑区域的混合光谱，以及获取目标进入光阑区域时的第二红外图像和光阑区域的背景光谱。可以理解的是，由于目标未进入光阑区域，此时光阑区域所吸收的光谱为纯背景的光谱，即背景光谱，而在目标进入光阑区域后，此时光阑区域所吸收的光谱为目标与背景的混合光谱，需要对其进行光谱解混，才能得到目标实际的光谱。
随即，可以将第一红外图像作为模板图像，第二红外图像作为待配准图像，并根据上述任一实施例中的空中机群红外序列配准方法进行配准，从而完成第二红外图像的目标补全，得到配准结果图。根据配准结果图，可以统计得到目标在光阑区域中所占的像素数，再根据光阑区域的总像素数即可求得目标在光阑中占比，也就是目标光谱在测谱光阑吸收的总光谱中的占比。
最后，可以根据目标在光阑中占比对混合光谱进行光谱解混，即从光阑吸收的混合光谱中减去背景光谱，从而得到目标光谱，具体可以是：
其中，α为目标在光阑中占比，S1为混合光谱，S2为背景光谱。
本发明实施例提供的方法，通过获取空中机群在同一姿态稳定的时间窗内的模板图像和待配准图像，模板图像中目标未进入光阑区域，待配准图像中目标进入光阑区域，根据模板图像与待配准图像的配准结果图计算目标在光阑中占比，再根据目标在光阑中占比以及背景光谱，对混合光谱进行光谱解混，得到目标光谱，从而利用短时间窗内的两帧空中机群红外图像实现了目标测谱，并且可以适用于空中机群的多尺度目标测谱，便于后续构建光谱数据库进行目标识别。
基于上述任一实施例，目标为整个机群、某一飞机或某一飞机部位。
具体地，由于空中机群的高速运动，在序列图像中存在尺度与姿态上的变化。根据机群的尺度不同可采集整个机群、单架飞机、飞机某部件的光谱数据，根据飞机姿态不同可采集飞机机身、机头、尾焰不同部位光谱数据，从而建立目标多尺度光谱数据库，通过目标不同尺度或部位的光谱区分目标。
本发明实施例提供的测谱方法可以适用于多尺度目标，即不论目标为整个机群、某一飞机或某一飞机部位，均可以通过上述测谱方法获得目标光谱。当目标为大尺度目标即整个机群时，可以获得整个机群光谱，当目标为中尺度目标即某一飞机时，可以获得该飞机的整机光谱，当目标为小尺度目标即某一飞机部位(机身、机头、尾焰等)时，可以获得该部位的光谱。
例如，需要获取某一飞机的机头光谱时，可以对该机头进行跟踪，跟踪到之后将光阑移过去，使得该机头在光阑区域内，即可获得移之前的第一红外图像和背景光谱，以及移之后的第二红外图像和混合光谱，最终再通过光谱解混得到机头光谱。
通过此种方法，可以实现采集单架飞机不同部位的光谱即多部位光谱，也可以实现在一个时间框内采集机群中多架飞机的光谱即多目标光谱，也可以实现采集不同尺度目标的光谱即多尺度光谱，从而建立光谱数据库，用于后续的目标识别。
基于上述任一实施例，本发明实施例提供一种空中机群红外序列多尺度快速配准和测谱方法，本发明提供的多尺度目标测谱方法的总体流程图如图3所示，首先对空中编队机群红外序列图像进行截取，分割成多个姿态稳定的时间窗，不同时间窗中飞机尺度或姿态会存在差异，需要对不同的时间窗分别处理。在只有飞机机群的大尺度红外图像中，定位目标位置与运动状态，可采集整个机群的光谱；定位到飞机机群后，对特定的某一架飞机进行跟踪、测谱，得到只有单架飞机的中尺度红外图像，可对机群的各架飞机分别测谱，得到不同飞机的整机光谱；在小尺度的红外图像中，光阑中可能只存在飞机某一部位，如：机头、机身、机翼、尾焰等等，可采集飞机不同部位对称光谱数据。
图4是本发明提供的空中机群红外序列配准方法的流程示意图之二，在某一姿态稳定的时间窗内，其处理流程如图4所示，首先输入空中编队机群的两帧红外图像，对两幅图像分别进行阈值分割提取出目标轮廓；再使用连通域处理去除红外图像的探测器噪声与非均匀性，得到飞机编队二值图像；计算编队中各飞机的形心，并枚举形心组合；通过两幅图像的形心组合进行图像变换，将交并比最高的变换方式作为最终变换方式，即可得到配准结果，即可计算出目标在光阑中占比，从而进行解混，完成单次时间窗处理，以小尺度目标为例，具体流程如下：
(1)图像预处理
飞行编队机群红外图像主要由飞机目标、天空组成，首先需要剔除天空背景、红外探测器噪声、非均匀性等影响，将图像中的编队飞机提取出来，如图5所示，图5(a)为模板图像，图5(b)为待配准图像，目标为某一飞机的机头，模板图像中目标不在光阑区域，待配准图像中目标在光阑区域内，由于光阑吸收该区域内所有能量，光阑区域在红外图像中不成像，该目标在待配准图像中会呈现残缺的情况。光阑区域在图像中的位置相对固定，均位于图像的中心区域，例如图5(a)和图5(b)中心的圆圈。
飞机飞行时在红外图像中亮度明显高于天空背景，所以这里使用灰度阈值分割的方法提取编队飞机。首先统计不同灰度级的像素个数，计算每个像素在整幅图像的概率分布，之后对每个灰度级别进行遍历，计算当前灰度值下前景背景类间概率，通过目标函数计算类内与类间方差下的对应阈值，即可根据阈值完成图像分割，阈值分割结果图如图6所示。
其中，T为阈值，f(x，y)为点(x，y)的灰度值。
值得一提的是，这里的图像分割对目标轮廓并没有过高的精度要求，即使目标的某一部位分割过度也并不影响后续的图像配准。
阈值分割后的图像可能还包含红外探测器噪声、非均匀性等干扰，所以还需要对这些干扰进行处理。因为阈值分割后的图像为二值图像，其模式简单，于是使用连通域方法剔除干扰。对二值图像进行连通域标记，删除面积较小的连通域以消除噪声，并删除位置在图像四个顶点的连通域以消除图像非均匀性，模板图像和待配准图像的预处理图像分别如图7(a)和图7(b)所示，需要说明的是，模板图像的预处理图像即步骤S102中的模板二值图像，待配准图像的预处理图像即步骤S102中的待配准二值图像。
(2)形心计算
对于预处理后的二值图像，白色像素区域为目标像素区域，黑色像素区域为背景区域，则1表示白色，0表示黑色。对于图像中目标形心，计算公式如下：
其中，x0，y0为该连通域下的质心坐标，f(x，y)为预处理后二值图像在(x，y)处的像素值。由于预处理后一个连通域即为一个目标飞机，质心坐标即为目标的形心坐标，每个飞机的形心坐标可以用红点标记出来，模板图像和待配准图像的预处理图像的形心标记图分别如图8(a)和图8(b)所示。
(3)枚举形心组合
编队飞机的短时间的飞行大致为仿射变换关系，因为仿射变换一共由六个自由度，所以仅需要找到模板图像与待配准图像中三个点的对应关系，即可完成图像的配准。本发明实施例分别选取模板图像与待配准图像的所有形心组合，从n个形心中取出r个形心的组合，组合个数的计算公式为：
此处，n为模板图像或待配准图像中的形心总数，r为3。
通过此种方式，可以枚举得到模板图像对应的一些形心组合，以及待配准图像对应的一些形心组合。
(4)图像变换
按照模板图像与待配准图像的形心组合，进行仿射变换，仿射变换详解如下：
仿射变换是一种二维坐标到二维坐标的线性变换，它的变换包括旋转、平移、伸缩，仿射变换保持图像的“平直性”和“平行性”，即变换后的直线仍然是直线，原始的平行线变换后依然是平行线。
仿射变换数学表达式形式如下：
对应的齐次坐标矩阵表示形式为：
其中，取h20，h21为0，h22为1，则w为1。(x，y)为模板图像的形心组合中的形心坐标，(x′，y′)为待配准图像的形心组合中的形心坐标。
坐标变换：
实现将模板图像变换到待配准图像上，其实就是已知X和X′求变换矩阵H，而H中的三个变量已知，只需要使用三个坐标构造齐次方程解出另外六个变量即可。
根据形心组合对模板图像进行图像变换，会根据形心组合个数进行多种形式的变换，对于多种变换需要一种评判指标，确定最优变换方式，本发明实施例使用交并比的方法。
交并比为待配准图像目标与模板图像目标放射变换后的交叠率，即它们的交集与并集的比值，最理想的状态是完全重叠，即比值为1。
I为模板图像，C为待配准图像，其重叠部分面积为area(I)∩area(C)，其交并比计算公式为：
需要说明的是，本发明实施例中的仿射变换实质上是根据预处理后的二值图像去操作的，即是对模板图像的预处理图像进行仿射变换。
对形心的多种组合分别求得对应的候选变换矩阵，根据候选变换矩阵将模板图像的预处理图像变换到待配准图像的预处理图像上，并计算交并比，将交并比最大的变换方式作为最优变换解即最终所使用的变换矩阵，根据该变换矩阵对模板图像预处理图像进行变换，得到变换后的模板预处理图像即模板变换图像，图9是本发明提供的仿射变换的示例图，模板图像和模板预处理图像分别如图9(a)和图9(b)所示，变换后的模板图像和变换后的模板预处理图像分别如图9(c)和图9(d)所示。
将变换后模板预处理图像叠加在原始的待配准图像上，即可完成待配准图像的目标补全，得到配准结果图，目标在光阑区域中所占的像素数就可以统计出来，图10是本发明提供的图像配准的示例图，待配准图像和配准结果图分别如图10(a)和图10(b)所示。
(5)目标光谱解混
由于光阑区域的位置固定，根据变换后模板预处理图像与光阑区域重叠的像素数，以及光阑区域的总像素数，即可求得目标在光阑区域中的占比，也就是目标光谱在测谱光阑吸收的总能量中的占比，例如图8的示例中目标在光阑中占比为18.67％，则背景在光阑中占比为81.33％。
根据目标在光阑中占比可以进行目标光谱解混，即从光阑吸收的混合光谱中减去背景部分光谱，从而得到目标真实光谱，具体可以是：
其中，α为目标在光阑中占比，S1可以是待配准图像中光阑吸收的混合光谱，S2可以是模板图像中光阑吸收的背景光谱，由于模板图像中光阑区域不存在目标，因此光阑吸收的光谱为纯背景的光谱。
基于上述任一实施例，本发明提供了一种空中机群红外序列配准***，图11是本发明提供的空中机群红外序列配准***的架构图，如图11所示，该***包括：
图像获取模块1110，用于获取空中机群在同一时间窗内的模板图像和待配准图像；在同一时间窗内空中机群的姿态稳定；
图像二值化模块1120，用于分别对模板图像和待配准图像进行二值化处理，得到模板二值图像和待配准二值图像；
形心计算模块1130，用于分别计算模板二值图像和待配准二值图像中各飞机的形心坐标；
仿射变换模块1140，用于根据模板二值图像和待配准二值图像中各飞机的形心坐标，计算仿射变换的变换矩阵，并根据仿射变换的变换矩阵对模板二值图像进行仿射变换，得到模板变换图像；
图像配准模块1150，用于将模板变换图像与待配准图像进行配准，得到配准结果图。
本发明实施例提供的***，通过获取空中机群在同一姿态稳定的时间窗内的模板图像和待配准图像，并分别进行二值化处理，分别计算模板二值图像和待配准二值图像中各飞机的形心坐标，由此计算仿射变换的变换矩阵，将模板二值图像变换到待配准二值图像上再与原始的待配准图像进行叠加，从而实现了空中机群红外图像序列的快速准确配准，可以消除待配准图像中存在的目标残缺，为后续获取目标光谱数据提供了坚实的技术基础。
基于上述任一实施例，本发明提供了一种多尺度目标测谱***，图12是本发明提供的多尺度目标测谱***的架构图，如图12所示，该***包括：
图谱采集模块1210，用于对空中机群进行图像采集，并对空中机群中的目标进行目标跟踪和测谱；
图谱获取模块1220，用于在同一时间窗内，获取目标未进入光阑区域时的第一红外图像和光阑区域的背景光谱，以及获取目标进入光阑区域时的第二红外图像和光阑区域的混合光谱；
图像配准模块1230，用于将第一红外图像作为模板图像，第二红外图像作为待配准图像，并根据如上述实施例中的空中机群红外序列配准方法进行配准，得到配准结果图；
占比计算模块1240，用于根据配准结果图，获得目标在光阑区域中所占的像素数以及光阑区域的像素数并计算目标在光阑中占比；
光谱解混模块1250，用于根据目标在光阑中占比以及背景光谱，对混合光谱进行光谱解混，得到目标光谱。
本发明实施例提供的***，通过获取空中机群在同一姿态稳定的时间窗内的模板图像和待配准图像，模板图像中目标未进入光阑区域，待配准图像中目标进入光阑区域，根据模板图像与待配准图像的配准结果图计算目标在光阑中占比，再根据目标在光阑中占比以及背景光谱，对混合光谱进行光谱解混，得到目标光谱，从而利用短时间窗内的两帧空中机群红外图像实现了目标测谱，并且可以适用于空中机群的多尺度目标测谱，便于后续构建光谱数据库进行目标识别。
可以理解的是，上述各个模块的详细功能实现可参见前述方法实施例中的介绍，在此不做赘述。
另外，本发明实施例提供了另一种空中机群红外序列配准装置，其包括：存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于当执行所述计算机程序时，实现上述实施例中的方法。
本发明实施例还提供了另一种多尺度目标测谱装置，其包括：存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于当执行所述计算机程序时，实现上述实施例中的方法。
此外，本发明还提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现上述实施例中的方法。
基于上述实施例中的方法，本发明实施例提供了一种计算机程序产品，当计算机程序产品在处理器上运行时，使得处理器执行上述实施例中的方法。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种空中机群红外序列配准方法，其特征在于，包括：
S101获取空中机群在同一时间窗内的模板图像和待配准图像；在所述同一时间窗内空中机群的姿态稳定；
S102分别对所述模板图像和所述待配准图像进行二值化处理，得到模板二值图像和待配准二值图像；
S103分别计算所述模板二值图像和所述待配准二值图像中各飞机的形心坐标；
S104根据所述模板二值图像和所述待配准二值图像中各飞机的形心坐标，计算仿射变换的变换矩阵，并根据仿射变换的变换矩阵对所述模板二值图像进行仿射变换，得到模板变换图像；
S105将所述模板变换图像与所述待配准图像进行配准，得到配准结果图；
其中，S104具体包括：
分别从所述模板二值图像和所述待配准二值图像中各飞机的形心坐标中选取不同的形心坐标组合；
根据所述模板二值图像对应的形心坐标组合和所述待配准二值图像对应的形心坐标组合，计算对应的候选变换矩阵；
根据各候选变换矩阵对所述模板二值图像进行仿射变换，得到各候选模板变换图像；
计算待配准二值图像与所述各候选模板变换图像的交并比，将交并比最大的候选变换矩阵作为所述变换矩阵，将交并比最大的候选模板变换图像作为所述模板变换图像。
2.根据权利要求1所述的空中机群红外序列配准方法，其特征在于，所述二值化处理包括阈值分割和连通域检测。
3.一种多尺度目标测谱方法，其特征在于，包括：
S201对空中机群进行图像采集，并对空中机群中的目标进行目标跟踪和测谱；
S202在同一时间窗内，获取目标未进入光阑区域时的第一红外图像和光阑区域的背景光谱，以及获取目标进入光阑区域时的第二红外图像和光阑区域的混合光谱；
S203将所述第一红外图像作为模板图像，所述第二红外图像作为待配准图像，并根据如权利要求1-2所述的空中机群红外序列配准方法进行配准，得到配准结果图；
S204根据所述配准结果图，获得目标在光阑区域中所占的像素数以及光阑区域的像素数并计算目标在光阑中占比；
S205根据所述目标在光阑中占比以及所述背景光谱，对所述混合光谱进行光谱解混，得到目标光谱。
4.根据权利要求3所述的多尺度目标测谱方法，其特征在于，所述目标为整个机群、某一飞机或某一飞机部位。
5.一种空中机群红外序列配准***，其特征在于，包括：
图像获取模块，用于获取空中机群在同一时间窗内的模板图像和待配准图像；在所述同一时间窗内空中机群的姿态稳定；
图像二值化模块，用于分别对所述模板图像和所述待配准图像进行二值化处理，得到模板二值图像和待配准二值图像；
形心计算模块，用于分别计算所述模板二值图像和所述待配准二值图像中各飞机的形心坐标；
仿射变换模块，用于根据所述模板二值图像和所述待配准二值图像中各飞机的形心坐标，计算仿射变换的变换矩阵，并根据仿射变换的变换矩阵对所述模板二值图像进行仿射变换，得到模板变换图像；
图像配准模块，用于将所述模板变换图像与所述待配准图像进行配准，得到配准结果图；
其中，所述仿射变换模块具体用于：
分别从所述模板二值图像和所述待配准二值图像中各飞机的形心坐标中选取不同的形心坐标组合；
根据所述模板二值图像对应的形心坐标组合和所述待配准二值图像对应的形心坐标组合，计算对应的候选变换矩阵；
根据各候选变换矩阵对所述模板二值图像进行仿射变换，得到各候选模板变换图像；
计算待配准二值图像与所述各候选模板变换图像的交并比，将交并比最大的候选变换矩阵作为所述变换矩阵，将交并比最大的候选模板变换图像作为所述模板变换图像。
6.根据权利要求5所述的空中机群红外序列配准***，其特征在于，所述图像二值化模块中的所述二值化处理包括阈值分割和连通域检测。
7.一种多尺度目标测谱***，其特征在于，包括：
图谱采集模块，用于对空中机群进行图像采集，并对空中机群中的目标进行目标跟踪和测谱；
图谱获取模块，用于在同一时间窗内，获取目标未进入光阑区域时的第一红外图像和光阑区域的背景光谱，以及获取目标进入光阑区域时的第二红外图像和光阑区域的混合光谱；
图像配准模块，用于将所述第一红外图像作为模板图像，所述第二红外图像作为待配准图像，并根据如权利要求1-2所述的空中机群红外序列配准方法进行配准，得到配准结果图；
占比计算模块，用于根据所述配准结果图，获得目标在光阑区域中所占的像素数以及光阑区域的像素数并计算目标在光阑中占比；
光谱解混模块，用于根据所述目标在光阑中占比以及所述背景光谱，对所述混合光谱进行光谱解混，得到目标光谱。
8.根据权利要求7所述的多尺度目标测谱***，其特征在于，所述图谱获取模块中的所述目标为整个机群、某一飞机或某一飞机部位。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211734481.XA CN116128935B (zh) | 2022-12-30 | 2022-12-30 | 空中机群红外序列配准方法、多尺度目标测谱方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211734481.XA CN116128935B (zh) | 2022-12-30 | 2022-12-30 | 空中机群红外序列配准方法、多尺度目标测谱方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116128935A CN116128935A (zh) | 2023-05-16 |
| CN116128935B true CN116128935B (zh) | 2023-11-28 |
Family
ID=86304054
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211734481.XA Active CN116128935B (zh) | 2022-12-30 | 2022-12-30 | 空中机群红外序列配准方法、多尺度目标测谱方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116128935B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102542569A (zh) * | 2011-12-21 | 2012-07-04 | 武汉市兑尔科技有限公司 | 一种快速图像配准及其标定方法及实现其的*** |
| CN104523275A (zh) * | 2014-12-25 | 2015-04-22 | 西安电子科技大学 | 一种健康人群白质纤维束图谱构建方法 |
| CN105069743A (zh) * | 2015-07-28 | 2015-11-18 | 中国科学院长春光学精密机械与物理研究所 | 探测器拼接实时图像配准的方法 |
| CN105160654A (zh) * | 2015-07-09 | 2015-12-16 | 浙江工商大学 | 基于特征点提取的毛巾标签缺陷检测方法 |
| CN108805904A (zh) * | 2018-05-25 | 2018-11-13 | 中国空间技术研究院 | 一种基于卫星序列图像的运动舰船检测与跟踪方法 |
| CN109711486A (zh) * | 2019-01-21 | 2019-05-03 | 湖北省国土资源研究院 | 基于相位相关的高重叠度遥感影像满度连接点匹配方法 |
| CN109767460A (zh) * | 2018-12-27 | 2019-05-17 | 上海商汤智能科技有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
-
2022
- 2022-12-30 CN CN202211734481.XA patent/CN116128935B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102542569A (zh) * | 2011-12-21 | 2012-07-04 | 武汉市兑尔科技有限公司 | 一种快速图像配准及其标定方法及实现其的*** |
| CN104523275A (zh) * | 2014-12-25 | 2015-04-22 | 西安电子科技大学 | 一种健康人群白质纤维束图谱构建方法 |
| CN105160654A (zh) * | 2015-07-09 | 2015-12-16 | 浙江工商大学 | 基于特征点提取的毛巾标签缺陷检测方法 |
| CN105069743A (zh) * | 2015-07-28 | 2015-11-18 | 中国科学院长春光学精密机械与物理研究所 | 探测器拼接实时图像配准的方法 |
| CN108805904A (zh) * | 2018-05-25 | 2018-11-13 | 中国空间技术研究院 | 一种基于卫星序列图像的运动舰船检测与跟踪方法 |
| CN109767460A (zh) * | 2018-12-27 | 2019-05-17 | 上海商汤智能科技有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN109711486A (zh) * | 2019-01-21 | 2019-05-03 | 湖北省国土资源研究院 | 基于相位相关的高重叠度遥感影像满度连接点匹配方法 |
Non-Patent Citations (2)
| Title |
|---|
| "A Novel Information Fusion Method for Vision Perception and Location of Intelligent Industrial Robots";Shoufeng Jin et al.;《ELEKTRONIKA IR ELEKTROTECHNIKA》;第4-10页 * |
| "Air target tracking method based on spectral unmixing";Siman Lv et al.;《PROCEEDINGS OF SPIE》;第1-9页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116128935A (zh) | 2023-05-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110210463B (zh) | 基于Precise ROI-Faster R-CNN的雷达目标图像检测方法 | |
| CN109409292B (zh) | 基于精细化特征优化提取的异源图像匹配方法 | |
| CN108510467B (zh) | 基于深度可变形卷积神经网络的sar图像目标识别方法 | |
| WO2016106955A1 (zh) | 一种激光红外复合的地面建筑物识别及导航方法 | |
| CN111898688B (zh) | 一种基于三维深度学习的机载LiDAR数据树种分类方法 | |
| CN109949361A (zh) | 一种基于单目视觉定位的旋翼无人机姿态估计方法 | |
| CN109492525B (zh) | 一种测量基站天线工程参数的方法 | |
| Chen et al. | Identification of autonomous landing sign for unmanned aerial vehicle based on faster regions with convolutional neural network | |
| CN113066050B (zh) | 一种基于视觉的空投货台航向姿态解算方法 | |
| CN103136525A (zh) | 一种利用广义Hough变换的异型扩展目标高精度定位方法 | |
| CN112966542A (zh) | 一种基于激光雷达的slam***和方法 | |
| CN110245566B (zh) | 一种基于背景特征的红外目标远距离追踪方法 | |
| CN112489089B (zh) | 一种微型固定翼无人机机载地面运动目标识别与跟踪方法 | |
| CN111553280A (zh) | 基于深度学习的目标部位识别方法 | |
| CN111046756A (zh) | 高分辨率遥感影像目标尺度特征的卷积神经网络检测方法 | |
| CN106897730B (zh) | 基于融合类别信息与局部保持投影的sar目标型号识别方法 | |
| Yao et al. | Motif: Multi-orientation tensor index feature descriptor for sar-optical image registration | |
| CN114037650A (zh) | 变化检测及目标检测的地面目标可见光毁伤图像处理方法 | |
| CN116128935B (zh) | 空中机群红外序列配准方法、多尺度目标测谱方法及*** | |
| CN102800101A (zh) | 一种星载红外遥感图像机场roi快速检测方法 | |
| CN112767459A (zh) | 基于2d-3d转换的无人机激光点云与序列影像配准方法 | |
| CN104484647B (zh) | 一种高分辨率遥感图像云高度检测方法 | |
| Han et al. | Accurate and robust vanishing point detection method in unstructured road scenes | |
| Wang et al. | An aircraft target detection method based on regional convolutional neural network for remote sensing images | |
| CN115731456A (zh) | 基于快照式光谱偏振相机的目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |