CN104166963A - 一种x射线安全检查设备中行李脚轮的检测方法 - Google Patents

Abstract

本发明涉及X射线透射成像安检技术领域，具体涉及的是一种X射线安全检查设备中行李脚轮的检测方法。本发明提供了一种X射线安全检查设备图像中行李脚轮识别的方法，借鉴图像物体识别的技术，基于脚轮特有的材料、形状、位置等方面特征，本发明提出了一种先找脚轮轴再判定脚轮的识别方法，该方法能发现行李图像中脚轮的位置与范围，从而对行李的内容分析提供基础性信息，并减少脚轮被误判为***的假报警，提高安全检查的效率。

Description

一种X射线安全检查设备中行李脚轮的检测方法

技术领域

本发明涉及X射线透射成像安全检查技术领域，具体涉及的是一种X射线安全检查设备中行李脚轮的检测方法。

背景技术

在国内外已公开发表的关于安全检查技术的文献中，并无直接涉及行李脚轮识别的文献，加拿大Optosecurity公司提出了一系列识别行李中危险物品或干扰物、例如***、手雷以及笔记本的专利，例如其美国专利20120093367、20130003135，以及其加拿大专利CA02608124，但其中没有直接提到针对脚轮的识别技术，并没有把关注的角度投放于行李自身的特征。国内公安部第一研究所的孔维武等人在其论文《双能X射线行李箱图像特征区域剔除方法》提出了对行李拉杆进行剔除的策略。中国人民公安大学的黄加翼等人的论文《高能X射线包裹图像边沿特征识别方法》，主要是利用行李的边缘特征搜索了提手、锁扣等纯金属零件等方面的特征，以上文献并未充分利用脚轮的材料属性和形状特征直接对脚轮进行识别。目前的X射线安检设备在探测行李箱内***的过程中，一些行李箱自身的特征，例如脚轮，对于探测的精度具有不可忽视的影响，脚轮作为行李箱的重要特征，在实践中发现造成了大量误报警，明显影响了设备性能指标。主要原因是脚轮本身的灰度、材料特性与***的差别较小。此外，识别脚轮还有助于分析行李箱的特征，例如推测行李箱的种类、拉杆的位置等。

发明内容

为了克服现有技术中的缺陷，本发明提供了一种先找脚轮轴再判定脚轮的识别方法。借鉴了图像物体识别的技术，基于脚轮特有的材料、形状、位置等方面特征来识别行李的脚轮。从而对行李的内容分析带来便利，并能有效减少***探测误报警的数量。

本发明提供的一种X射线安全检查设备中行李脚轮的检测方法，具体包括以下步骤：

步骤一：建立行李脚轮轴兴趣点检测模型；

步骤二：当行李进入X射线安全检查设备的工作区域中，依据行李箱脚轮的位置特性，确定行李箱体的主体区域作为总体搜索范围，在脚轮容易出现的区域进行搜索，获得所述脚轮轴的种子区域；

步骤三：以种子区域为指引，采取兴趣点检测的方法来确定脚轮轴所在的区域；

利用步骤一建立的脚轮轴兴趣点检测模型，在种子区域附近搜索到脚轮轴颜色密集分布的兴趣点区域，锁定脚轮轴兴趣点的位置与尺寸；

步骤四：根据兴趣点所获得的形状或位置信息，判断兴趣点周围是否存在脚轮轴；

步骤五：在脚轮轴的四周确定是否存在脚轮。

进一步地，在所述方法的步骤一中，事先准备一定数量的手工标注的脚轮轴实例图像，用窗函数估计法来估计颜色点属于脚轮轴颜色的概率密度。

进一步地，所述步骤二包括以下步骤：

A步骤：用灰度阈值分割法把行李箱体区域分割出来，形成0-1二值图；

B步骤：把所述A步骤中得到的0-1二值图，通过先微缩12倍再做开运算的方式，消除细节，去除行李箱体四周附带的孤立部件，再将微缩二值图重新放大为原来的尺寸，得到行李箱体的主体区域；

C步骤：以行李箱的前端、后端、左右两端为顺序，在对应的行李箱边界附近进行搜索；

D步骤：在X射线图像中，利用行李箱的脚轮轴所具有的特定灰度与RGB伪彩色范围，用阈值分割的方式将脚轮轴的种子区域分割出来。

进一步地，所述方法的步骤三中兴趣点检测的方法，包括：

A步骤：在种子区域中，用本发明提出的兴趣点检测方法，基于脚轮轴颜色概率密度，找到包括脚轮轴的兴趣点窗口，该窗口描述了脚轮轴的位置与尺寸；

B步骤：由于脚轮轴成像角度的差别，脚轮轴呈现哑铃型、葫芦型或近似圆形，其中哑铃型，会在每个分体上形成1个兴趣点，根据组合关系，把距离很近、尺寸相似的两个兴趣点组合起来，形成1个脚轮轴；

C步骤：淘汰那些兴趣点相关特性不够突出的兴趣点。

进一步地，所述方法的步骤四中，在得到的各个脚轮轴嫌疑位置即由单个或2个兴趣点窗口组成的区域内，找到对称轴，并将该区域内各像素点的兴趣分数垂直投影到对称轴上，要求投影累积形成的曲线两边高、中间低符合脚轮轴的基本形态，同时要求兴趣点区域沿着对称轴具有较好的对称性。

进一步地，所述方法的步骤五中，包括：

A步骤：对于继续存在的脚轮轴位置，在其四周寻找1个椭圆，先进行边缘点检测，再通过霍夫变换确定椭圆方程的参数即X轴半径和Y轴半径，并保证参数间具有合理的大小关系，确定存在椭圆状的脚轮；

B步骤：行李箱主轴与图像主轴常存在一定角度，霍夫变换需重复多次，将椭圆的X轴/Y轴在图像中旋转多种角度重复处理，找到最大霍夫变换值，所述最大霍夫变换值，要大于一定阈值，否则不能认为周边存在椭圆；

C步骤：淘汰孤立存在或位置显然不合理的脚轮位置。

进一步地，所述脚轮轴的特征为脚轮轴的灰度、材料特性与形状。

进一步地，所述脚轮轴特性为脚轮轴采用轻质合金材料。

与现有技术相比，优越效果在于：本发明提供了一种X射线安全检查设备图像中行李脚轮识别的方法，该方法能发现行李图像中脚轮的位置与范围，从而对行李的内容分析提供基础性信息，并减少脚轮被误判为***的假报警，提高安全检查的效率。

附图说明

图1为本发明在X射线图像中进行脚轮检测的方法流程图；

图2为脚轮轮轴嵌入在行李箱底板的行李箱体图；

图3为脚轮悬于行李箱之外且能够自由旋转的行李箱体图；

图4为脚轮轴形状图；

图5为本发明的检测流程示例图。

附图标记如下：

a-哑铃型脚轮轴图，b-葫芦型脚轮轴图，c-近似圆形脚轮轴图，d-行李箱原图，e-行李箱分割结果，f-脚轮轴的搜索范围，g-黑色框对应检测到的兴趣点窗口，h-黑色框对应检测到的脚轮。

具体实施方式

下面结合附图对本发明具体实施方式作进一步详细说明。

实施例1

结合说明书附图1-5，具体说明本发明，本发明提供了一种X射线安全检查设备中行李脚轮的检测方法，包括以下步骤：

步骤一：建立行李脚轮轴“兴趣点”检测模型；

步骤二：当行李进入X射线安全检查设备的工作区域中，依据行李箱脚轮的位置特性，确定行李箱体的“主体区域”作为总体搜索范围，在脚轮容易出现的区域进行搜索，获得所述脚轮轴的“种子区域”，提供初步的搜索范围；

步骤三：以“种子区域”为指引，采取“兴趣点”检测的方法来确定脚轮轴所在的区域；

利用步骤一建立的脚轮轴“兴趣点”检测模型，在“种子区域”附近搜索到脚轮轴颜色密集分布的“兴趣点区域”，锁定脚轮轴兴趣点的位置与尺寸；

步骤四：根据“兴趣点”所获得的形状或位置信息，判断“兴趣点”周围是否存在脚轮轴；

步骤五：在脚轮轴的四周确定是否存在脚轮。

所述步骤二包括以下步骤：

A步骤：用灰度阈值分割法把行李箱体区域分割出来，形成0-1二值图；

B步骤：把所述A步骤中得到的0-1二值图，通过先微缩12倍再做开运算的方式，消除细节，去除行李箱体四周附带的孤立部件，再将微缩二值图重新放大为原来的尺寸，得到行李箱体的主体区域；

C步骤：以行李箱的前端、后端、左右两端为顺序，在对应的行李箱边界附近进行搜索；

D步骤：在X射线图像中，利用行李箱的脚轮轴所具有的特定灰度与RGB伪彩色范围，用阈值分割的方式将脚轮轴的种子区域分割出来。

所述方法的步骤三中“兴趣点”检测的方法，包括：

A步骤：在种子区域中，用本发明提出的兴趣点检测方法，基于脚轮轴颜色概率密度，找到包括脚轮轴的兴趣点窗口，该窗口描述了脚轮轴的位置与尺寸；

B步骤：由于脚轮轴成像角度的差别，脚轮轴呈现哑铃型、葫芦型或近似圆形，其中哑铃型，会在每个分体上形成1个“兴趣点”，根据组合关系，把距离很近、尺寸相似的两个兴趣点组合起来，形成1个脚轮轴；

C步骤：淘汰那些兴趣点相关特性不够突出的兴趣点。

所述方法的步骤四中，在得到的各个脚轮轴嫌疑位置即由单个或2个兴趣点窗口组成的区域内，找到对称轴，并将该区域内各像素点的兴趣分数垂直投影到对称轴上，要求投影累积形成的曲线两边高、中间低符合脚轮轴的基本形态，同时要求兴趣点区域沿着对称轴具有较好的对称性。

所述方法的步骤五包括以下步骤：

A步骤：对于继续存在的脚轮轴位置，在其四周寻找1个椭圆，先进行边缘点检测，再通过霍夫变换确定椭圆方程的参数即X轴半径和Y轴半径，并保证参数间具有合理的大小关系，确定存在椭圆状的脚轮；

B步骤：行李箱主轴与图像主轴常存在一定角度，霍夫变换需重复多次，将椭圆的X轴/Y轴在图像中旋转多种角度重复处理，找到最大霍夫变换值，所述最大霍夫变换值，要大于一定阈值，否则不能认为周边存在椭圆；

C步骤：淘汰孤立存在或位置显然不合理的脚轮位置。

所述脚轮轴的特征为脚轮轴的灰度、材料特性与形状，所述脚轮轴特性为脚轮轴采用轻质合金材料。图1给出了本发明在X射线图像中进行脚轮检测的方法流程图。如附图2和图3所示的行李箱典型的脚轮形态，行李脚轮主要包含两类：一类是脚轮轴嵌入在行李箱底板中，如图2所示；另一类是脚轮悬于箱体之外，能够自由旋转，如图3所示，后者做为箱体之外孤立的部件，可以比较容易地用形态学操作予以排除，故本发明识别的主要目标是前者。由于脚轮轴是脚轮的最鲜明特征，所以本发明首先要识别脚轮轴，利用简单的材料信息特征，获得脚轮轴的种子区域；然后在种子区域附近搜索脚轮轴的存在；最后再在脚轮轴的四周搜索脚轮本身。为了寻找脚轮轴的种子区域，在脚轮容易出现的区域进行搜索，所以先确定1个总体搜索范围，为此先获得行李箱体的“主体区域”，步骤包括：

1.把行李箱区域分割出来，这用简单的灰度阈值分割法即可，形成0-1二值图；

2.把步骤1.中得到的二值图，微缩为原来的1/12大小，进行若干轮的开运算消除细节，即可去除箱体四周附带的孤立部件；

3.将经过开运算的微缩二值图重新放大为12倍，得到箱体的主体区域。

行李箱上的脚轮一般都存在于行李箱主体区域的四边附近，从安检现场操作的习惯来说，最大的可能性是脚轮在行李箱的前端，其次是行李箱的后端，行李箱左右两端的可能性较小。所以，在搜索脚轮时，以前端、后端、左右两端为顺序，在对应的行李箱边界附近进行搜索，在X射线图像中，脚轮轴通常具有较低的灰度，并且在RGB伪彩色图中，G表示绿色分量图，其能够凸显出脚轮轴的主体范围，这主要是因为脚轮轴通常由轻质的合金制成。为此，高能灰度低于一定阈值以及G分量低于一定阈值的像素，可以作为脚轮轴的种子像素，将彼此相邻的种子像素连接起来形成联通区域，作为脚轮轴的种子区域，并滤除像素面积过小的种子区域。脚轮轴种子区域提供了初步的搜索范围，接下来以种子区域为指引，采取“兴趣点”检测的方法来确定完整的脚轮轴所在的区域。所谓“兴趣点”，在本实施例中是指脚轮轴颜色的像素密布的位置，通常用Score(x,y)＝P(c_x,y)表示一个像素点的“兴趣”分数，P(c)相当于脚轮轴颜色概率密度表，c_x,y表示图像位置(x，y)的RGB颜色向量。

$\mathrm{Win}\left(p_j^e\right)=\exp (-\frac{{{\left|\right|p_j^e-p^e\left|\right|}_2}^2}{2\·R^e\·R^e})---\left(3\right)$

式(1)计算了各种颜色向量c与脚轮轴的相关性。本实施例事先采集了E个脚轮轴的窗口其只包含脚轮轴的主体部分，设实例e中有N_e个像素点，表示第e个脚轮轴窗口中第j个点的RGB颜色向量，表示该点的图像坐标，θ是归一化因子。式(1)是Parzen窗方法的变形，这是一种用来估计向量空间中概率密度的方法，括号中左边的因子是Parzen窗方法的基本成分，如式(2)所示是一个高斯距离函数，表示对颜色点c属于脚轮轴颜色的概率密度的贡献；而则反映了在当前窗口中的重要性——越接近中心越是代表了脚轮轴的特性，其中p_e表示第e个实例的中心位置的图像坐标，R^e表示第e个实例窗的半径。一个“兴趣点”区域密布着与脚轮轴相关的像素，意味着其内部平均Score(x,y)值足够大，为此需要计算Mean(x,y,σ_s)——点(x，y)附近以σ_s为半径的方形区域内的Score(x,y)的平均值。为了快速计算，采取了Integral Image的方法，建立了对应的S表和ii表，如式(4)、(5)所示，其中ii(x,y)表示从图像左上角到点(x，y)这个矩形区域内的Score(x,y)的总和，从而可以用式(6)快速计算Mean(x,y,σ_s)，

S(x,y)＝S(x,y-1)+Score(x,y)     (4)

ii(x,y)＝ii(x-1,y)+S(x,y)      (5)

脚轮轴靠近***的位置，存在着兴趣分数略弱的像素点，会削弱Mean(x,y,σ_s)值，从而使Mean(x,y,σ_s)最大的σ_s窗并不能包括完整的脚轮轴。为此，在种子区域内的各点计算各σ_s级别上的DoM(x,y,σ_s)，如式(7)，σ_s的s表示窗半径的级别，本实施例设置了约10个级别，且σ_s/σ_s-1＝2^0.25，尺度采样性足够；式(7)的意义在于找到合适的窗半径σ_s，在考察范围超出此半径后Mean(x,y,σ_s)立刻发生了显著的弱化，使DoM(x,y,σ_s)最大的x_max、y_max、σ_max标定出了真正包括脚轮轴主体的兴趣点区域即一个窗口。

DoM(x,y,σ_s)＝Mean(x,y,σ_s-1)-Mean(x,y,σ_s)     (7)

在实践中发现，由于成像角度的差别，脚轮轴可能呈现哑铃型、葫芦型或近似圆形，如图4中的图a、图b和图c所示，其中哑铃型，经常会在每个分体上形成1个“兴趣点”，为此需要根据组合关系，把距离很近、半径相似的两个兴趣点窗口组合起来，形成1个脚轮轴窗口。上述仅利用脚轮轴的颜色即材料特性就找到了一些脚轮轴的嫌疑位置，为了排除行李箱中一些金属物品，例如，家用小电器的干扰，还需要其他的形状及位置信息来进行判断，接下来按以下方法来淘汰多数的误报即非脚轮的情况：

1)“兴趣点”的DoM(x_max,y_max,σ_max)和Mean(x_max,y_max,σ_max)需超过一定阈值。

2)在得到的各脚轮轴的嫌疑位置的窗口内，其通常由单个或2个“兴趣点”组成，找到对称轴，并将该区域内各点的Score(x,y)垂直投影到对称轴上，形成投影累积直方图Hist；具体来说，假设点(x，y)到对称轴的垂足是(a，b)，且(a，b)位于对称轴的第h格内；若(x，y)位于对称轴的上侧，则Score(x,y)累计到直方图Hist1(h)中，否则累计到直方图Hist2(h)中，且有Hist(h)＝Hist1(h)+Hist2(h)；要求Hist曲线具有两边高、中间低的趋势，这符合脚轮轴的基本形态，同时要求足够小，即兴趣点区域沿着对称轴具有较好的对称性。

3)对于继续存在的脚轮轴位置，在其四周寻找1个椭圆状物体，即脚轮本身，方法是通过霍夫(Hough)变换；椭圆方程为有2个参数——椭圆X轴半径和Y轴半径，在脚轮轴窗口四周一定范围内，用坎尼(Canny)算法检测边缘点，再根据霍夫算法规则把各边缘点投入到Hough(A，B)表中，表中各位置的取值称为霍夫变换值，得到霍夫变换值最大的组合(A_max,B_max)，并保证两参数具有合理的大小关系。由于箱子主轴与图像主轴常存在一定角度，如箱子摆放不正，所以需将上述霍夫变换重复多次，将椭圆的X轴/Y轴在图像中进行旋转，每次变化例如10度，以期找到最大霍夫变换值；最大霍夫变换值，也需要大于一定阈值，否则不能认为周边存在椭圆。

4)由于行李的脚轮是成对出现的，且两者连线的角度近似垂直于行李箱主轴，对于孤立存在的或位置显然不合理的“脚轮”位置，予以淘汰。

图5给出了检测流程的示例，图d是行李箱原图，图e是行李箱分割结果图，图f给出了脚轮轴的搜索范围，其中根据包裹分割区域的长宽比可以确认脚轮位于上下两端，图g给出了检测到的兴趣点窗口，即黑色框中的图像内容，图h给出了检测到的脚轮，即黑色框中的图像内容；其中图像上端的行李箱金属部件也具有与脚轮轴相似的颜色，所以也作为“兴趣点”被检测到，然而由于其形状、位置信息与脚轮不符合，被上述1)至4)所述的方法所淘汰；在图像底部的两个真正的脚轮轴则被检测到，其中右侧的脚轮轴形成了1个兴趣点，而左侧的脚轮轴形成了2个兴趣点，但通过组合关系形成了1个脚轮轴。本发明提供了一种X射线安全检查设备图像中行李脚轮识别的方法，该方法能发现行李图像中脚轮的位置与范围，从而对行李的内容分析提供基础性信息，并减少脚轮被误判为***的假报警，提高安全检查的效率。

本发明并不限于上述实施方式，在不背离本发明的实质内容的情况下，本领域技术人员可以想到的任何变形、改进、替换均落入本发明的范围。

Claims (8)

1.一种X射线安全检查设备中行李脚轮的检测方法，其特征在于，包括以下步骤：

步骤一：建立行李脚轮轴兴趣点检测模型；

步骤二：当行李进入X射线安全检查设备的工作区域中，依据行李箱脚轮的位置特性，确定行李箱体的主体区域作为总体搜索范围，在脚轮容易出现的区域进行搜索，获得所述脚轮轴的种子区域；

步骤三：以种子区域为指引，采取兴趣点检测的方法来确定脚轮轴所在的区域；利用步骤一建立的脚轮轴兴趣点检测模型，在种子区域附近搜索到脚轮轴颜色密集分布的兴趣点区域，锁定脚轮轴兴趣点的位置与尺寸；

步骤四：根据兴趣点所获得的形状或位置信息，判断兴趣点周围是否存在脚轮轴；

步骤五：在脚轮轴的四周确定是否存在脚轮。

2.根据权利要求1所述X射线安全检查设备中行李脚轮的检测方法，其特征在于，所述方法步骤一中，事先准备一定数量的手工标注的脚轮轴实例图像，用窗函数估计法来估计颜色点属于脚轮轴颜色的概率密度。

3.根据权利要求1所述X射线安全检查设备中行李脚轮的检测方法，其特征在于，所述方法步骤二包括以下步骤：

A步骤：用灰度阈值分割法把行李箱体区域分割出来，形成0-1二值图；

B步骤：把所述A步骤中得到的0-1二值图，通过先微缩12倍再做开运算的方式，消除细节，去除行李箱体四周附带的孤立部件，再将微缩二值图重新放大为原来的尺寸，得到行李箱体的主体区域；

C步骤：以行李箱的前端、后端、左右两端为顺序，在对应的行李箱边界附近进行搜索；

D步骤：在X射线图像中，利用行李箱的脚轮轴所具有的特定灰度与RGB伪彩色范围，用阈值分割的方式将脚轮轴的种子区域分割出来。

4.根据权利要求1所述X射线安全检查设备中行李脚轮的检测方法，其特征在于，所述方法的步骤三中兴趣点检测的方法，包括：

A步骤：在种子区域中，用本发明提出的兴趣点检测方法，基于脚轮轴颜色概率密度，找到包括脚轮轴的兴趣点窗口，该窗口描述了脚轮轴的位置与尺寸；

B步骤：由于脚轮轴成像角度的差别，脚轮轴呈现哑铃型、葫芦型或近似圆形，其中哑铃型，会在每个分体上形成1个兴趣点，根据组合关系，把距离很近、尺寸相似的两个兴趣点组合起来，形成1个脚轮轴；

C步骤：淘汰那些兴趣点相关特性不够突出的兴趣点。

5.根据权利要求1所述X射线安全检查设备中行李脚轮的检测方法，其特征在于，所述方法的步骤四中，在得到的各个脚轮轴嫌疑位置即由单个或2个兴趣点窗口组成的区域内，找到对称轴，并将该区域内各像素点的兴趣分数垂直投影到对称轴上，要求投影累积形成的曲线两边高、中间低符合脚轮轴的基本形态，同时要求兴趣点区域沿着对称轴具有较好的对称性。

6.根据权利要求1所述X射线安全检查设备中行李脚轮的检测方法，其特征在于，所述方法的步骤五中，包括：

A步骤：对于继续存在的脚轮轴位置，在其四周寻找1个椭圆，先进行边缘点检测，再通过霍夫变换确定椭圆方程的参数即X轴半径和Y轴半径，并保证参数间具有合理的大小关系，确定存在椭圆状的脚轮；

B步骤：行李箱主轴与图像主轴常存在一定角度，霍夫变换需重复多次，将椭圆的X轴/Y轴在图像中旋转多种角度重复处理，找到最大霍夫变换值，所述最大霍夫变换值，要大于一定阈值，否则不能认为周边存在椭圆；

C步骤：淘汰孤立存在或位置显然不合理的脚轮位置。

7.根据权利要求1所述X射线安全检查设备中行李脚轮的检测方法，其特征在于，所述脚轮轴的特征为脚轮轴的灰度、材料特性与形状。

8.根据权利要求1所述X射线安全检查设备中行李脚轮的检测方法，其特征在于，所述脚轮轴特性为脚轮轴采用轻质合金材料。