CN115311684B - 一种毫米波图像多角度检出结果的整合方法 - Google Patents

Abstract

本发明公开了一种毫米波图像多角度检出结果的整合方法，首先计算单次检测的最大置信度；然后生成置信图，将一组样本的所有检出结果以区域灰度值叠加的形式共同存放在同一幅图像中，从而对检出结果进行批量整合；再计算置信图内所有连通域的最大外切矩形；依次计算每个最大外切矩形内的最高/次高灰度值，并作整合处理，获得最终的整合结果。本发明参考NMS算法的概率权重思想并结合统计学的置信区间理论有效地整合了人体毫米波图像的多角度检出结果。

Description

一种毫米波图像多角度检出结果的整合方法

技术领域

本发明属于人体毫米波图像目标检测领域，特别涉及一种毫米波图像多角度检出结果的整合方法。

背景技术

毫米波图像目标检测是实现人体体表携带违禁品检测的关键，可以广泛应用于机场、车站等地的安检工作，是现有人体安检手段的有效替代。使用毫米波对人体成像是实现毫米波图像目标检测的前提，环绕式成像为目前主流的成像方式，该方式以直立人体为旋转轴、以一定的间隔角度旋转成像元件来生成若干幅人体图像(如图1，下称“一组样本”)，对一组样本使用毫米波图像目标检测技术可以对应得到一组检出结果。

对于一个违禁品目标，其在不同角度下的检出结果形态、位置各异；对于基于毫米波图像目标检测技术的安检任务，其对于检出结果的需求是：检出结果数目与人体实际携带违禁品数相同、检出结果位置与违禁品实际携带位置相近(相对于人体主视图，如图1中第2行第2列图像)。因此有必要对上述多角度的检出结果进行整合。

非极大值抑制(NMS,Neubeck A,Gool L.Efficient Non-Maximum Suppression[C]//International Conference on Pattern Recognition.IEEE Computer Society,2006.)常用于整合目标检测任务中属于同一目标的多个检出结果，该方法要求在目标检测过程中使用深度学习技术计算每个检出结果中包含违禁品目标的概率，以该概率为权重整合检出结果。由于加入了上述概率权重系数，NMS算法对检出结果的整合效果较好，但未使用深度学习技术的传统目标检测算法无法使用NMS算法；且NMS算法仅涉及单张样本多检出结果的整合工作，未涉及多角度样本多检出结果的整合工作。

本发明针对该问题，参考NMS算法的概率权重思想并结合统计学的置信区间理论有效地整合了人体毫米波图像的多角度检出结果。

发明内容

本发明针对人体毫米波图像的多角度检出结果(图2以矩形框标出，本例共35个)难以使用现有方法恰当整合的问题，参考NMS算法的概率权重思想并结合统计学的置信区间理论有效地整合了人体毫米波图像的多角度检出结果。

一种毫米波图像多角度检出结果的整合方法，包括如下步骤：

步骤1、计算单次检测的最大置信度；

步骤2、生成置信图；

将一组样本的所有检出结果以区域灰度值叠加的形式共同存放在同一幅图像中，从而对检出结果进行批量整合。

步骤3、计算置信图内所有连通域的最大外切矩形；

步骤4、依次计算步骤3中每个最大外切矩形内的最高/次高灰度值，并作整合处理，获得最终的整合结果。

进一步的，步骤1具体方法如下：

记单次检测的最大置信度为onceProbability，以灰度值表示。记置信图所能存储的最大灰度值为maxProbability，记一组样本中共有n幅人体图像，则单次检测的最大置信度表示为：

进一步的，步骤2具体方法如下：

创建一幅与样本图像尺寸相同的、初始灰度值为0的图像作为置信图，记为Map。则Map表示为：

其中，i表示样本编号，i∈[1,n]；j表示一幅样本中的检出结果编号，j∈[0,+∞)；Ω_ij表示第i幅样本的第j个检出结果区域；Ω_ij|_{Value＝onceProbability}定义每个检出结果区域的灰度值为onceProbability。

因此，公式(2)能够解释为：Map的生成过程，即为一组样本中所有检出结果区域以onceProbability为灰度值在Map中对应位置叠加的过程。

进一步的，步骤3具体方法如下；

一个有非零值的、互相连通的区域称为一个连通域，Map中的连通域由公式(2)叠加而来，表示一块含有违禁品的区域。一个Map可能存在0至多个连通域，连通域的个数即该组样本内含有违禁品的个数。

一个连通域能且仅能被一个矩形外切，称该矩形为该连通域的最大外切矩形，记为Rec_k，下角标k表示当前连通域的最大外切矩形在Map中的编号。记录Rec_k的位置信息，分别对每一个Rec进行步骤4的处理。

进一步的，步骤4具体方法如下：

Rec_k为与违禁品目标相关的二维置信区间，以图像灰度值表示该二维置信区间内的置信度。置信度越高，则违禁品目标的真实形态与位置就越接近该置信度区间的形态与位置。因此步骤4的目的是计算Rec_k内的最高置信度区间，通过该置信度区间的形态与位置估计违禁品目标的真实形态与位置。

首先，遍历当前Rec内像素点得到最高灰度值，记为Value_Peak。并记当前Rec内灰度值等于Value_Peak的区域为Ω_Peak。记当前Rec的次高灰度值为Value_SubPeak，由公式(2)可知，Value_SubPeak与Value_Peak有以下关系：

Value_SubPeak＝Value_Peak-onceProbability (3)

记当前Rec内灰度值等于Value_SubPeak的区域为Ω_SubPeak。

其次，为防止整合结果的尺寸相对于真实违禁品目标过小，引入退化阈值k_dg。记Ω_Peak的面积为S_Peak，即当前Rec内灰度值等于Value_Peak的像素点个数，同理可得Ω_SubPeak的面积S_SubPeak，则k_dg表示为：

/>

当k_dg≤0.5时，判断存在S_Peak＜＜S_SubPeak的情况，此时令Ω_Peak退化为Ω_SubPeak，即将Ω_Peak所有像素的灰度值降低onceProbability。

最后，将当前Rec内灰度值低于Value_Peak的像素点的灰度值置零，仅保留Rec内灰度值等于Value_Peak的像素点，并计算Rec内连通域的个数，记为p。数学形态学膨胀操作能够连通邻近的连通域，记尺寸为p×p、原点位于中心处的矩形结构元为B，使用B对Rec内的连通域形态学膨胀p次，以保证整合结果的完整性。同样以步骤3的方法计算当前Rec内连通域的最大外切矩形，该矩形区域即为当前Rec内违禁品目标的多角度检出结果的整合结果。对Map内的Rec_k依次按照步骤4处理，即可得到一组样本的多角度检出结果的整合结果。

本发明有益效果如下：

针对人体毫米波图像的多角度检出结果(图2以红色矩形框标出，本例共35个)难以使用现有方法恰当整合的问题，参考NMS算法的概率权重思想并结合统计学的置信区间理论有效地整合了人体毫米波图像的多角度检出结果。

附图说明

图1是毫米波人体成像设备在180°的旋转区域中每旋转18°成像一次的成像示意图；

图2是一组样本(图1)检出结果的示意图；

图3是以图1人体左侧脚踝违禁品为例的置信生成流程示意图；

图4是以图1人体左侧脚踝违禁品为例的置信处理流程示意图。

具体实施方式

下面结合附图与实施例对本发明方法进一步说明。

一种毫米波图像多角度检出结果的整合方法具体包括以下步骤：

步骤1、计算单次检测的最大置信度；

记单次检测的最大置信度为onceProbability，以灰度值表示。记置信图所能存储的最大灰度值(由图像文件格式决定)为maxProbability，记一组样本中共有n幅人体图像(即成像设备在180°范围内成像n次)，则单次检测的最大置信度表示为：

例如，若置信图格式为8位无符号单通道图像，一组样本中共有9幅图像，则有：

步骤2、生成置信图；

创建一幅与样本图像尺寸相同的、初始灰度值为0的图像作为置信图，记为Map。则Map表示为：

其中，i表示样本编号，i∈[1,n]；j表示一幅样本中的检出结果编号，j∈[0,+∞)；Ω_ij表示第i幅样本的第j个检出结果区域；Ω_ij|_{Value＝onceProbability}定义每个检出结果区域的灰度值为onceProbability。

因此，公式(3)可以解释为：Map的生成过程，即为一组样本中所有检出结果区域以onceProbability为灰度值在Map中对应位置叠加的过程。

图3是图1人体左侧脚踝处局部区域所对应的局部Map生成流程示意图，第1、第2、第9幅样本的单次检出结果以实线框标出，在Map对应位置累加的置信区域以虚线框标出。

步骤3、计算置信图内所有连通域的最大外切矩形；

一个有非零值的、互相连通的区域称为一个连通域，Map中的连通域由公式(3)叠加而来，表示一块含有违禁品的区域。一个Map可能存在0至多个连通域，连通域的个数即该组样本内含有违禁品的个数。

如图4(a)中虚线框所示，一个连通域能且仅能被一个矩形外切，称该矩形为该连通域的最大外切矩形，记为Rec_k，下角标k表示当前连通域的最大外切矩形在Map中的编号。记录Rec_k的位置信息，分别对每一个Rec进行步骤4的处理。

步骤4、依次计算步骤3中每个最大外切矩形内的最高/次高灰度值，并作整合处理。

Rec_k为与违禁品目标相关的二维置信区间，以图像灰度值表示该二维置信区间内的置信度。置信度越高，则违禁品目标的真实形态与位置就越接近该置信度区间的形态与位置。因此步骤4的目的是计算Rec_k内的最高置信度区间，通过该置信度区间的形态与位置估计违禁品目标的真实形态与位置。

首先，遍历当前Rec内像素点得到最高灰度值，记为Value_Peak。并记当前Rec内灰度值等于Value_Peak的区域为Ω_Peak，Ω_Peak在图4(a)中以左斜线标出。记当前Rec的次高灰度值为Value_SubPeak，由公式(3)可知，Value_SubPeak与Value_Peak有以下关系：

Value_SubPeak＝Value_Peak-onceProbability (4)

记当前Rec内灰度值等于Value_SubPeak的区域为Ω_SubPeak，Ω_SubPeak在图4(a)中以网格线标出。

其次，为防止整合结果的尺寸相对于真实违禁品目标过小，引入退化阈值k_dg。记Ω_Peak的面积为S_Peak，即当前Rec内灰度值等于Value_Peak的像素点个数，同理可得Ω_SubPeak的面积S_SubPeak，则k_dg表示为：

当k_dg≤0.5时，判断存在S_Peak＜＜S_SubPeak的情况，此时令Ω_Peak退化为Ω_SubPeak，即将Ω_Peak所有像素的灰度值降低onceProbability。

最后，将当前Rec内灰度值低于Value_Peak的像素点的灰度值置零，仅保留Rec内灰度值等于Value_Peak的像素点(图4(b))，并计算Rec内连通域的个数，记为p。数学形态学(Serra J.Image Analysis and Mathematical Morphology-Volume I.Academic,1982.)膨胀操作能够连通邻近的连通域，记尺寸为p×p、原点位于中心处的矩形结构元为B，使用B对Rec内的连通域形态学膨胀p次，以保证整合结果的完整性。同样以步骤3的方法计算当前Rec内连通域的最大外切矩形(图4(c)实线框)，该矩形区域即为当前Rec内违禁品目标的多角度检出结果的整合结果，图4(d)实线框为整合结果。对Map内的Rec_k依次按照步骤4处理，即可得到一组样本的多角度检出结果的整合结果。

Claims (1)

1.一种毫米波图像多角度检出结果的整合方法，其特征在于，包括如下步骤：

步骤1、计算单次检测的最大置信度；

步骤2、生成置信图；

将一组样本的所有检出结果以区域灰度值叠加的形式共同存放在同一幅图像中，从而对检出结果进行批量整合；

步骤3、计算置信图内所有连通域的最大外切矩形；

步骤4、依次计算步骤3中每个最大外切矩形内的最高/次高灰度值，并作整合处理，获得最终的整合结果；

步骤1具体方法如下：

记单次检测的最大置信度为onceProbability，以灰度值表示；记置信图所能存储的最大灰度值为maxProbability，记一组样本中共有n幅人体图像，则单次检测的最大置信度表示为：

步骤2具体方法如下：

创建一幅与样本图像尺寸相同的、初始灰度值为0的图像作为置信图，记为Map；则Map表示为：

其中，i表示样本编号，i∈[1,n]；j表示一幅样本中的检出结果编号，j∈[0,+∞)；Ω_ij表示第i幅样本的第j个检出结果区域；Ω_ij|_{Value＝onceProbability}定义每个检出结果区域的灰度值为onceProbability；

因此，公式(2)能够解释为：Map的生成过程，即为一组样本中所有检出结果区域以onceProbability为灰度值在Map中对应位置叠加的过程；

步骤3具体方法如下；

一个有非零值的、互相连通的区域称为一个连通域，Map中的连通域由公式(2)叠加而来，表示一块含有违禁品的区域；一个Map可能存在0至多个连通域，连通域的个数即该组样本内含有违禁品的个数；

一个连通域能且仅能被一个矩形外切，称该矩形为该连通域的最大外切矩形，记为Rec_k，下角标k表示当前连通域的最大外切矩形在Map中的编号；记录Rec_k的位置信息，分别对每一个Rec进行步骤4的处理；

步骤4具体方法如下：

Rec_k为与违禁品目标相关的二维置信区间，以图像灰度值表示该二维置信区间内的置信度；置信度越高，则违禁品目标的真实形态与位置就越接近该置信度区间的形态与位置；因此步骤4的目的是计算Rec_k内的最高置信度区间，通过该置信度区间的形态与位置估计违禁品目标的真实形态与位置；

首先，遍历当前Rec内像素点得到最高灰度值，记为Value_Peak；并记当前Rec内灰度值等于Value_Peak的区域为Ω_Peak；记当前Rec的次高灰度值为Value_SubPeak，由公式(2)可知，Value_SubPeak与Value_Peak有以下关系：

Value_SubPeak＝Value_Peak-onceProbability (3)

记当前Rec内灰度值等于Value_SubPeak的区域为Ω_SubPeak；

其次，为防止整合结果的尺寸相对于真实违禁品目标过小，引入退化阈值k_dg；记Ω_Peak的面积为S_Peak，即当前Rec内灰度值等于Value_Peak的像素点个数，同理可得Ω_SubPeak的面积S_SubPeak，则k_dg表示为：

当k_dg≤0.5时，判断存在S_Peak＜＜S_SubPeak的情况，此时令Ω_Peak退化为Ω_SubPeak，即将Ω_Peak所有像素的灰度值降低onceProbability；

最后，将当前Rec内灰度值低于Value_Peak的像素点的灰度值置零，仅保留Rec内灰度值等于Value_Peak的像素点，并计算Rec内连通域的个数，记为p；数学形态学膨胀操作能够连通邻近的连通域，记尺寸为p×p、原点位于中心处的矩形结构元为B，使用B对Rec内的连通域形态学膨胀p次，以保证整合结果的完整性；同样以步骤3的方法计算当前Rec内连通域的最大外切矩形，该矩形区域即为当前Rec内违禁品目标的多角度检出结果的整合结果；对Map内的Rec_k依次按照步骤4处理，即可得到一组样本的多角度检出结果的整合结果。

Images