CN109784229B - 一种地面建筑物数据融合的复合识别方法 - Google Patents

Abstract

本发明公开了一种地面建筑物数据融合的复合识别方法，包括：分别获得地面建筑物的红外图像和激光图像；对红外图像依次进行数学形态学预处理和图像分割，以得到多个红外图像区域；获得红外图像在激光探测器视场范围内的图像边缘，并根据图像边缘标记得到多个边缘分割区域；对激光图像依次进行预处理和区域提取，以得到多个激光图像区域；对红外图像区域、边缘分割区域以及激光图像区域进行数据融合，以得到一个或多个候选区域；提取各候选区域的区域特征，并将所提取的区域特征与建筑物目标的区域特征进行匹配，从而从候选区域中识别建筑物目标所在的目标区域。本发明能够有效提高地面建筑物的识别准确度。

Description

一种地面建筑物数据融合的复合识别方法

技术领域

本发明属于成像自动目标识别领域，更具体地，涉及一种地面建筑物数据融合的复合识别方法。

背景技术

地面建筑物是重要的人造地面目标，在飞行器导航、避撞，精确制导武器末制导等领域对建筑物目标的识别都有大量的需求。建筑物通常位于复杂的地面背景之中，复杂的地面背景大大增加了建筑物目标的识别难度，造成目标特征不显著等问题，这使得单模红外探测方式对地面建筑物目标的直接识别效果不佳。

激光主动、红外被动的双模复合识别方式将红外被动探测和激光主动探测相结合，两种单模探测技术能够优势互补，激光能提供红外无法提供的目标场景三维信息，获取更加丰富的目标信息，提升识别能力，降低探测虚警率。对于激光红外复合目标识别，已有一些学者进行了相关研究，“一种激光红外复合的地面建筑物识别及导航方法”(申请号：CN201410844242)中提出将激光成像融入到红外成像目标定位中，根据红外图像可以较好的反映目标与背景灰度差异的特点，以及激光图像包含目标几何本征信息的三维距离像，可以更好反映目标的形状特征的特点，优化选取了红外成像目标区域及背景对比度特征和激光成像目标区域的形状特征，通过有效融合激光红外显著特征形成匹配要素，提高了匹配准确性。“激光与红外融合目标检测”(红外与激光工程，Vol.47No.8Aug 2018)中提出将激光雷达测得的距离信息引入到DSBM算法中排除虚警，提升目标识别概率。首先配准激光距离像与红外图像，对红外图像进行检测得到红外检测结果，然后根据激光传感器得到的距离信息确定红外图像各检测结果的实际大小，最后根据目标先验知识，如地面运动目标小轿车、装甲车、坦克的实际尺寸大小，排除不符合尺寸的虚警，得到目标识别结果。“红外与激光融合目标识别方法”(红外与激光工程，Vol.47No.5May 2018)中提出分别提取红外图像的小波矩特征和激光点云数据投影轮廓特征，并结合为高维特征向量，再采用基于3种不同观点的约简算法构建了一种差异性组合分类器，减少了特征的维数，降低了计算的复杂度，利用不同约简之间的互补性进行融合识别，提高自动目标识别的精度和鲁棒性。

以上技术通过提取红外图像及激光图像不同的特征进行激光红外复合识别，能够实现对目标的识别，但是，目标表面材质不同时会导致红外图像中部分区域与背景反差低，从而导致红外图像中目标信息缺失；激光图像中目标回波信号信噪比低及图像预处理算法的缺陷等原因，则会导致激光图像中目标信息缺失。在复杂背景下，红外图像或激光图像中目标信息缺失的情况会更为严重，以上激光红外复合识别方法提取的特征与对应目标特征真实值相似度较低，从而目标识别准确度得不到保证。

发明内容

针对现有技术的缺陷和改进需求，本发明提供了一种地面建筑物数据融合的复合识别方法，其目的在于，提高地面建筑物的识别准确度。

为实现上述目的，本发明提供了一种地面建筑物数据融合的复合识别方法，包括：

(1)分别获得地面建筑物的红外图像和激光图像；

(2)对红外图像依次进行数学形态学预处理和图像分割，以得到多个红外图像区域；

(3)获得红外图像在激光探测器视场范围内的图像边缘，并根据图像边缘标记得到多个边缘分割区域；

(4)对激光图像依次进行预处理和区域提取，以得到多个激光图像区域；

(5)对红外图像区域、边缘分割区域以及激光图像区域进行数据融合，以得到一个或多个候选区域；

(6)提取各候选区域的区域特征，并将所提取的区域特征与建筑物目标的区域特征进行匹配，从而从候选区域中识别建筑物目标所在的目标区域；

其中，激光探测器用于获取激光图像。

通过将获取自地面建筑物红外图像的红外图像区域和边缘分割区域以及获取自地面建筑物激光图像的激光图像区域融合，能够利用激光图像的距离信息区分红外图像中对比度低的目标区域及背景，同时利用红外图像的边缘信息补充激光图像中因噪声影响而丢失的少量目标区域，使得融合得到的候选区域更完整，且候选区域的区域特征具有更高的置信度，进而通过候选区域的区域特征与建筑物目标的区域特征进行匹配以实现地面建筑物的复合识别时具有更高的准确度。

进一步地，步骤(2)中，对红外图像进行预处理，包括：

利用尺寸小于建筑物目标图像尺寸的结构元素SE₁对红外图像进行形态学开运算，以进行背景抑制并保留目标区域，从而得到第一背景抑制图像；

利用尺寸大于建筑物目标图像尺寸的结构元素SE₂对红外图像进行形态学开运算，以进行背景抑制并对目标区域进行抑制，从而得到第二背景抑制图像；

将第一背景抑制图像和第二背景抑制图像相减以从背景中突出目标区域，并将相减结果中灰度值小于0的像素的灰度值置为0，从而得到第三背景抑制图像；

利用尺寸小于建筑物目标图像尺寸的结构元素SE₃对第三背景抑制图像进行形态学开运算，以去除其区域边缘存在的毛刺，从而得到红外预处理图像。

进一步地，步骤(3)包括：

提取红外图像在激光探测器视场范围内的图像边缘，并利用结构元素SE₄对所提取的图像边缘进行形态学膨胀运算以连接其中的断裂边缘；

根据图像边缘，对红外图像的非边缘像素进行标记，从而得到由图像边缘分割而成的多个边缘分割区域。

进一步地，步骤(5)包括：

对于任意一个边缘分割区域Z，分别计算边缘分割区域Z与相同位置处的红外图像区域之间的相似度sim₁，以及边缘分割区域Z与相同位置处的激光图像区域之间的相似度sim₂；若sim₂＞T₁，或者T₂≤sim₂≤T₁且sim₁＞T₁，则保留边缘分割区域Z；否则，去除边缘分割区域Z；

遍历各边缘分割区域，以去除部分边缘分割区域；

去除图像边缘中不与所保留的边缘分割区域相邻的边缘像素，从而得到由所保留的边缘分割区域及其相邻的边缘像素组成的一个或多个候选区域；

其中，T₁和T₂均为预设的相似度阈值，T₁＞T₂。

更进一步地，边缘分割区域与相同位置处的红外图像区域之间的相似度，或者边缘分割区域与相同位置处的激光图像区域之间的相似度，其计算方法为：

获得边缘分割区域的像素面积S₁，并获得相同位置处的红外图像区域或激光图像区域在该分割区域中所占的像素面积S₂，根据像素面积S₁和S₂计算区域之间的相似度为：

进一步地，步骤(6)包括：

获得建筑物目标的区域特征，并提取各候选区域的区域特征；

对于任意一个候选区域C，以建筑物目标的区域特征为参考，分别获得候选区域C的区域特征中各特征分量的相对误差百分比，并获得所有特征分量的相对误差之和；

将各特征分量的相对误差百分比均小于预设的误差阈值T₃，且所有特征分量的相对误差之和最小的候选区域确定为目标区域。

总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：

(1)本发明所提供的地面建筑物数据融合的复合识别方法，通过数据融合的方式，能够使得红外图像和激光图像相互补充对方缺失的目标区域信息，得到更完整的目标区域和置信度更高的区域特征，从而在对地面建筑物进行复合识别时具有更高的准确度。

(2)本发明所提供的地面建筑物数据融合的复合识别方法，通过对红外图像进行数学形态学预处理，实现了对红外图像的背景抑制并突出目标区域，能够有效提高复杂背景下对地面建筑物进行复合识别的准确度。

附图说明

图1为本发明实施例提供的待识别的地面建筑物可见光图像；

图2为本发明实施例提供的地面建筑物数据融合的复合识别方法流程图；

图3(a)为图1所示的地面建筑物的红外图像；图3(b)为图1所示的地面建筑物的激光图像的点云显示；

图4(a)为本发明实施例提供的第一背景抑制图像；图4(b)为本发明实施例提供的第二背景抑制图像；

图5(a)为本发明实施例提供的第三背景抑制图像；图5(b)为图5(a)的拉伸显示结果；

图6(a)为本发明实施例提供的红外预处理图像；图6(b)为图5(a)的拉伸显示结果；

图7为本发明实施例提供的形态学背景抑制结构元素；(a)为建筑物目标图像尺寸0.5倍的结构元素SE₁；(b)为建筑物目标图像尺寸1.1倍的结构元素SE₂；

图8为本发明实施例提供的红外预处理图像的门限分割结果；

图9为本发明实施例提供的实际的目标区域；

图10为本发明实施例提供的红外图像在激光探测器视场范围内的图像边缘；

图11为本发明实施例提供的连接断裂边缘后的图像边缘；

图12(a)为本发明实施例提供的激光距离像；图12(b)为图12(a)的三维点云显示；

图13(a)为本发明实施例提供的激光图像区域；图13(b)为与图13(a)相对应的红外图像区域；

图14为本发明实施例提供的通过数据融合所得到的候选区域；

图15为本发明实施例提供的地面建筑物复合识别结果。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明提供了一种地面建筑物数据融合的复合识别方法，其整体思路在于：通过红外图像预处理从复杂背景的红外实时图像中抑制背景，突出目标区域，并提取激光视场范围内的红外图像边缘，以根据提取的红外图像边缘确定图像中灰度均匀的各连通区域，融合激光与红外图像区域提取结果，相互补充对方缺失的目标区域信息，即利用激光图像距离信息区分红外图像中低对比度的目标区域及背景，利用红外图像目标相同材质的表面区域在同一环境下具有均匀、连续灰度分布的特点，根据红外图像边缘信息补充激光图像中因噪声影响而丢失的少量目标区域，从而得到更完整的候选区域及置信度更高的区域特征，提高识别准确性。

图1所示为本发明实施例提供的建筑物目标所在场景的可见光图像，以下结合图1所示的地面建筑物实例，对本发明所提供的地面建筑物数据融合的复合识别方法进行详细说明。

本发明所提供的地面建筑物数据融合的复合识别方法，如图2所示，包括：

(1)分别获得地面建筑物的红外图像和激光图像；

具体地，在本实施例中，在高度46米、距离建筑物目标4km处利用共轴激光红外双模探测器***采集一帧红外图像，并对应地采集到400帧激光图像；其中，共轴激光红外双模探测器中的激光探测器为盖革模式APD阵列的激光探测器；

所采集的红外图像如图3(a)所示，红外图像大小为640×512；所采集的400帧激光图像数据的三维点云显示如图3(b)所示，三维坐标表征为图像行数、列数、距离像距离值，激光图像大小为64×64，激光图像距离分辨率为0.2m，激光图像中心对应红外图像中心点位置，激光探测器视场对应红外图像中心128×128像素范围；

(2)对红外图像依次进行数学形态学预处理和图像分割，以得到多个红外图像区域；

在一个可选的实施方式中，步骤(2)中，对红外图像进行预处理，包括：

利用尺寸小于建筑物目标图像尺寸的结构元素SE₁对红外图像进行形态学开运算，以进行背景抑制并保留目标区域，从而得到第一背景抑制图像；第一背景抑制图像如图4(a)所示；

利用尺寸大于建筑物目标图像尺寸的结构元素SE₂对红外图像进行形态学开运算，以进行背景抑制并对目标区域进行抑制，从而得到第二背景抑制图像；第二背景抑制图像如图4(b)所示；

将第一背景抑制图像和第二背景抑制图像相减以从背景中突出目标区域，并将相减结果中灰度值小于0的像素的灰度值置为0，从而得到第三背景抑制图像；所得到的第三背景抑制图像及其拉伸显示结果分别如图5(a)和图5(b)所示；

利用尺寸小于建筑物目标图像尺寸的结构元素SE₃对第三背景抑制图像进行形态学开运算，以去除其区域边缘存在的毛刺，从而得到红外预处理图像；红外预处理图像及其拉伸显示的结果分别如图6(a)和图6(b)所示；

在本实施例中，形态学背景抑制结构元素SE₁和SE₂分别如图7(a)和图7(b)所示，结构元素SE₁和SE₂的尺寸分别为建筑物目标图像尺寸的0.5倍和1.1倍，SE₃＝SE₁；

在一个可选的实施方式中，步骤(2)中对进行数学形态学预处理之后的红外图像进行图像分割，包括：

(21)灰度级合并：对红外预处理图像进行直方图统计以得到每个灰度级的像素个数，并将像素个数小于阈值H的灰度级与最邻近的像素个数大于或等于阈值H的灰度级合并；

阈值H的取值根据实际需要确定，在本实施例中，H＝300；

(22)设置分割门限初值为灰度级合并后的最大灰度级；

(23)对红外预处理图像进行灰度级门限分割，转为二值图像；标记二值图像中每块感兴趣区域，并计算各感兴趣区域的特征量；正确分割出目标区域的门限分割结果如图8所示，实际的目标区域如图9所示；

其中，各感兴趣区域的特征量包括：区域高度、区域宽度、矩形度、区域重心和区域面积；

(24)按灰度级从大到小顺序用步长n修改分割门限，若迭代次数小于最大迭代次数D，则转入步骤(23)；否则，图像分割结束；

其中，步长n和最大迭代次数D为预设值，可以根据实际需要确定，在本发明实施例中，优选n＝2，D＝20；

(3)获得红外图像在激光探测器视场范围内的图像边缘，并根据所提取的图像边缘标记得到多个边缘分割区域；

在一个可选的实施方式中，步骤(3)具体包括：

提取红外图像在激光探测器视场范围内的图像边缘；在本实施例中，采用canny边缘提取算法提取激光探测器视场范围内红外图像的图像边缘，应当理解的是，也可采用其他边缘提取算法；所提取的图像边缘如图10所示；

利用结构元素SE₄对所提取的图像边缘进行形态学膨胀运算以连接其中的断裂边缘；在本实施例中，结构元素的大小为L×L；其中，L为预设值，可根据实际需要确定，在本实施例中，优选为3；连接断裂边缘后，图像边缘如图11所示；

根据所获得的图像边缘，对红外图像的非边缘像素进行标记，从而得到由图像边缘分割而成的多个边缘分割区域；

(4)对激光图像依次进行预处理和区域提取，以得到多个激光图像区域；

在一个可选的实施方式中，步骤(4)具体包括：

对激光图像进行多帧累积和去噪，以获得完整的地面建筑物的激光距离像；激光图像预处理之后所得到的激光距离像及其三维点云显示分别如图12(a)和图12(b)所示；

若任意两个相邻的像素点p₁和p₂在激光距离像中的像素值之差小于预设的距离阈值T，则判定像素点p₁和p₂属于同一激光图像区域；

遍历激光距离像，以获得多个激光图像区域；提取各激光图像区域的区域距离和形状特征作为区域特征，其中，形状特征包括：面积、高度、宽度、面积、矩形度；所提取的激光图像区域如图13(a)所示，对应的红外图像区域如图13(b)所示；

其中，T为预设值，可以根据实际需要确定，在本发明实施例中，优选T＝60；

(5)对红外图像区域、边缘分割区域以及激光图像区域进行数据融合，以得到一个或多个候选区域；

在一个可选的实施方式中，步骤(5)包括：

对于任意一个边缘分割区域Z，分别计算边缘分割区域Z与相同位置处的红外图像区域之间的相似度sim₁，以及边缘分割区域Z与相同位置处的激光图像区域之间的相似度sim₂；若sim₂＞T₁，或者T₂≤sim₂≤T₁且sim₁＞T₁，则保留边缘分割区域Z；否则，去除边缘分割区域Z；

遍历各边缘分割区域，以去除部分边缘分割区域；

去除图像边缘中不与所保留的边缘分割区域相邻的边缘像素，从而得到由所保留的边缘分割区域及其相邻的边缘像素组成的一个或多个候选区域；在本实施例中，通过数据融合所得到的候选区域如图14所示；

其中，T₁和T₂均为预设的相似度阈值，T₁＞T₂；在本实施例中，为保证对地面建筑物的复合识别具有较高的准确度，T₁的取值范围设定为0.7≤T₁≤0.9，T₂的取值范围设定为0.1≤T₂≤0.3，且优选地，T₁＝0.8，T₂＝0.2；

在本实施例中，边缘分割区域与相同位置处的红外图像区域之间的相似度，或者边缘分割区域与相同位置处的激光图像区域之间的相似度，其计算方法为：

获得边缘分割区域的像素面积S₁，并获得相同位置处的红外图像区域或激光图像区域在该分割区域中所占的像素面积S₂，根据像素面积S₁和S₂计算区域之间的相似度为：

(6)提取各候选区域的区域特征，并将所提取的区域特征与建筑物目标的区域特征进行匹配，从而从候选区域中识别建筑物目标所在的目标区域；

在一个可选的实施方式中，步骤(6)具体包括：

获得建筑物目标的区域特征，并提取各候选区域的区域特征；

对于任意一个候选区域C，以建筑物目标的区域特征为参考，分别获得候选区域C的区域特征中各特征分量的相对误差百分比，并获得所有特征分量的相对误差之和；

将各特征分量的相对误差百分比均小于预设的误差阈值T₃，且所有特征分量的相对误差之和最小的候选区域确定为目标区域；在本实施例中，最终识别的目标区域如图15所示；

其中，误差阈值T₃可以根据实际需要确定，在本发明实施例中，优选T₃＝20％。

通过将获取自地面建筑物红外图像的红外图像区域和边缘分割区域以及获取自地面建筑物激光图像的激光图像区域融合，能够利用激光图像的距离信息区分红外图像中对比度低的目标区域及背景，同时利用红外图像的边缘信息补充激光图像中因噪声影响而丢失的少量目标区域，使得融合得到的候选区域更完整，且候选区域的区域特征具有更高的置信度，进而通过候选区域的区域特征与建筑物目标的区域特征进行匹配以实现地面建筑物的复合识别时具有更高的准确度。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种地面建筑物数据融合的复合识别方法，其特征在于，包括：

(1)分别获得地面建筑物的红外图像和激光图像；

(2)对所述红外图像依次进行数学形态学预处理和图像分割，以得到多个红外图像区域；

(3)获得所述红外图像在激光探测器视场范围内的图像边缘，并根据所述图像边缘标记得到多个边缘分割区域；

(4)对所述激光图像依次进行预处理和区域提取，以得到多个激光图像区域；

(5)对所述红外图像区域、所述边缘分割区域以及所述激光图像区域进行数据融合，以得到一个或多个候选区域；

(6)提取各候选区域的区域特征，并将所提取的区域特征与建筑物目标的区域特征进行匹配，从而从所述候选区域中识别所述建筑物目标所在的目标区域；

其中，所述激光探测器用于获取所述激光图像；

所述步骤(2)中，对所述红外图像进行数学形态学预处理，包括：

利用尺寸小于所述建筑物目标图像尺寸的结构元素SE₁对所述红外图像进行形态学开运算，以进行背景抑制并保留所述目标区域，从而得到第一背景抑制图像；

利用尺寸大于所述建筑物目标图像尺寸的结构元素SE₂对所述红外图像进行形态学开运算，以进行背景抑制并对所述目标区域进行抑制，从而得到第二背景抑制图像；

将所述第一背景抑制图像和所述第二背景抑制图像相减以从背景中突出所述目标区域，并将相减结果中灰度值小于0的像素的灰度值置为0，从而得到第三背景抑制图像；

利用尺寸小于所述建筑物目标图像尺寸的结构元素SE₃对所述第三背景抑制图像进行形态学开运算，以去除其区域边缘存在的毛刺，从而得到红外预处理图像；

所述步骤(5)包括：

对于任意一个边缘分割区域Z，分别计算所述边缘分割区域Z与相同位置处的红外图像区域之间的相似度sim₁，以及所述边缘分割区域Z与相同位置处的激光图像区域之间的相似度sim₂；若sim₂＞T₁，或者T₂≤sim₂≤T₁且sim₁＞T₁，则保留所述边缘分割区域Z；否则，去除所述边缘分割区域Z；T₁和T₂均为预设的相似度阈值，T₁＞T₂；

遍历各边缘分割区域，以去除部分边缘分割区域；

去除所述图像边缘中不与所保留的边缘分割区域相邻的边缘像素，从而得到由所保留的边缘分割区域及其相邻的边缘像素组成的一个或多个候选区域。

2.如权利要求1所述的地面建筑物数据融合的复合识别方法，其特征在于，所述步骤(3)包括：

提取所述红外图像在所述激光探测器视场范围内的图像边缘，并利用结构元素SE₄对所提取的图像边缘进行形态学膨胀运算以连接其中的断裂边缘；

根据所述图像边缘，对所述红外图像的非边缘像素进行标记，从而得到由所述图像边缘分割而成的多个边缘分割区域。

3.如权利要求1所述的地面建筑物数据融合的复合识别方法，其特征在于，边缘分割区域与相同位置处的红外图像区域之间的相似度，或者边缘分割区域与相同位置处的激光图像区域之间的相似度，其计算方法为：

获得边缘分割区域的像素面积S₁，并获得相同位置处的红外图像区域或激光图像区域在该分割区域中所占的像素面积S₂，根据所述像素面积S₁和S₂计算区域之间的相似度为：

4.如权利要求1所述的地面建筑物数据融合的复合识别方法，其特征在于，所述步骤(6)包括：

获得所述建筑物目标的区域特征，并提取各候选区域的区域特征；

对于任意一个候选区域C，以所述建筑物目标的区域特征为参考，分别获得所述候选区域C的区域特征中各特征分量的相对误差百分比，并获得所有特征分量的相对误差之和；

将各特征分量的相对误差百分比均小于预设的误差阈值T₃，且所有特征分量的相对误差之和最小的候选区域识别为所述目标区域。

Images