CN108572183B - 检查设备和分割车辆图像的方法 - Google Patents

Abstract

公开了一种分割车辆图像的方法和检查设备。对车辆进行X射线透射扫描，得到透射图像；利用经过训练的卷积网络对透射图像的各个像素进行加类别标签；根据各个像素的类别标签得到确定车辆的各个部分的图像。利用上述的方案，能够在车型种类繁多、情况复杂的状况下较为准确地分割出车辆的各个部分的图像。

Description

检查设备和分割车辆图像的方法

技术领域

本公开涉及对辐射检查技术，具体涉及一种检查设备和分割车辆图像的方法。

背景技术

随着车辆数量也飞速上涨，如何高效且准确地进行车辆的智能检验成为一个重要的问题。检验车辆包括对车辆各个部分的检验，例如货物部分的异物检测和货物分类，车轮或底盘部分的夹带检测等等。进行这些检查的基础是车体理解，即机器在理解车体的各个位置分别属于车体的哪一部分的基础上自动分割出车体的不同部分。

安检领域处理的图像大多是X射线透射图，旧有的用于车体X射线透射图的车体理解方法如parsing等一般是基于规则的，它在情况复杂，车型种类繁多的状况下效果较差。

发明内容

考虑到现有技术中的一个或多个问题，提出了一种检查设备和对车辆图像进行分割的方法。

根据本公开的一个方面，提出了一种分割车辆图像的方法，包括步骤：对车辆进行X射线透射扫描，得到透射图像；利用经过训练的卷积网络对透射图像的各个像素加列表标签；根据各个像素的类别标签得到确定车辆的各个部分的图像。

根据一些实施例，通过下面的步骤对卷积网络进行训练：取得多个车辆的X射线透射图像，作为样本图像；按照车辆的各个部分对所述样本图像进行像素级标注；利用标注后的样本图像对卷积网络进行训练。

根据一些实施例，所述车辆的各个部分包括：轮子、车头、底盘、车厢。

根据一些实施例，所述的方法还包括对所述样本图像进行如下操作的至少之一：镜像、除空气部分、尺度变换、切割成子图像。

根据一些实施例，切割成子图像的操作包括：切割所述样本图像的左上角、右上角、左下角、右下角以及中间部分中的至少之一。

根据一些实施例，切割成子图像的操作包括：对所述样本图像进行随机切割。

根据一些实施例，所述卷积网络包括以下至少之一：全卷积网络、Dilation全卷积网络、Deeplab网络、ConvPP网络。

在本公开的另一方面，提出了一种检查设备，包括：X射线扫描***，对被检查车辆进行X射线透射扫描，得到透射图像；存储器，存储所述透射图像；处理器，配置为对所述透射图像进行以下操作：利用经过训练的卷积网络对透射图像的各个像素进行标注；根据各个像素的标注得到确定车辆的各个部分的图像。

根据一些实施例，所述处理器配置为通过下面的步骤对卷积网络进行训练：取得多个车辆的X射线透射图像，作为样本图像；按照车辆的各个部分对所述样本图像进行像素级标注；利用标注后的样本图像对卷积网络进行训练。

根据一些实施例，所述处理器配置为还包括对所述样本图像进行如下操作的至少之一：镜像、除空气部分、尺度变换、切割成子图像。

利用上述的方案，能够在车型种类繁多、情况复杂的状况下较为准确地分割出车辆的各个部分的图像。

附图说明

为了更好地理解本发明，将根据以下附图对本发明进行详细描述：

图1示出了根据本公开实施例的检查设备的结构示意图；

图2是描述如图1所述的检查设备中包括的计算设备的结构的示意图；

图3是描述根据本公开实施例的训练卷积网络的过程的示意图；

图4是描述根据本公开实施例的分割车辆图像的过程的示意图；

图5示出了根据本公开实施例的车辆透射图像的示意图；以及

图6示出了根据本公开实施例的分割得到的车辆各部分图像的示意图。

具体实施方式

下面将详细描述本发明的具体实施例，应当注意，这里描述的实施例只用于举例说明，并不用于限制本发明。在以下描述中，为了提供对本发明的透彻理解，阐述了大量特定细节。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实行本发明。在其他实例中，为了避免混淆本发明，未具体描述公知的结构、材料或方法。

在整个说明书中，对“一个实施例”、“实施例”、“一个示例”或“示例”的提及意味着：结合该实施例或示例描述的特定特征、结构或特性被包含在本发明至少一个实施例中。因此，在整个说明书的各个地方出现的短语“在一个实施例中”、“在实施例中”、“一个示例”或“示例”不一定都指同一实施例或示例。此外，可以以任何适当的组合和/或子组合将特定的特征、结构或特性组合在一个或多个实施例或示例中。此外，本领域普通技术人员应当理解，这里使用的术语“和/或”包括一个或多个相关列出的项目的任何和所有组合。

鉴于现有技术中存在的诸如基于规则对车辆X射线透射图的理解方法在车型种类繁多的情况下效果较差的不足，利用深度学习方法对车辆X射线透射图进行车体理解，在车辆的X射线透射图上分割出车体的不同部分，如轮子，车头，底盘，集装箱轮廓等。具体来说，对诸如集装箱卡车之类的车辆进行X射线透射扫描，得到透射图像。然后，利用经过训练的例如全卷积网络(FCN)的卷积网络对透射图像的各个像素加类别标签。接下来，根据各个像素的类别标签确定车辆的各个部分的图像。通过上述方法，例如将GPU运用于深度学习，相较于传统的机器学习方法需要手工提取特征，深度学习通过学习得到的特征来智能分类，检测，语义分割越来越准确。

具体来说，现有的用于车辆X射线透射图的车体理解方法是基于规则的，而人力很难穷尽所有规则。相较之下，端对端的深度学习将特征提取和像素分类融合在一起。在用大规模样本训练的条件下，让机器自己学习的特征具有普适性，从而泛化能力更强。由此在车型种类繁多、情况复杂的状况下效果更好。在具体应用中，可以将分割出的不同部分的图像用于后续的智能检测。利用上述的方案可以在一定程度上帮助实现车辆的智能检测，有助于高效安全地对车辆进行检查。

图1示出了根据本公开实施例的检查设备的结构示意图。如图1所示，根据本公开实施例的检查设备100包括X射线源110、探测器130、数据采集装置150、控制器140、和计算设备160，对诸如集装箱卡车之类的被检查物体120进行安全检查，例如判断其中是否包含了危险品/或可疑物品。虽然在该实施例中，将探测器130和数据采集装置150分开描述，但是本领域的技术人员应该理解也可以将它们集成在一起称为X射线探测和数据采集设备。

根据一些实施例，上述的X射线源110可以是同位素，也可以是X光机或加速器等。X射线源110可以是单能，也可以是双能。这样，通过X射线源110和探测器150以及控制器140和计算设备160对被检查物体120进行透射扫描，得到探测数据。例如在被检查物体120行进过程中，操作人员借助于计算设备160的人机交互界面，通过控制器140发出指令，命令X射线源110发出射线，穿过被检查物体120后被探测器130和数据采集设备150接收，并且通过计算设备160对数据进行处理，一方面可以获得透射图像，另一方面可以借助于训练的卷积网络对车辆的透射图像进行分割，得到车辆的各个部分的图像，从而方便后续的危险品/可疑物品的检查。这样，当例如通过对比诸如原子序数之类的特征值后能够确定可疑物品在集装箱中或者在车体的哪个位置，方便检查人员找出危险品/可疑物品的位置。此外，也可以基于包含了夹带物的车体的图像与没有包含夹带物的车体的各部分的图像之间存在的差异进一步判断在车体的某个部分是否有夹带物。

图2示出了如图1所示的计算设备的结构示意图。如图2所示，探测器130探测的信号通过数据采集器采集，数据通过接口单元167和总线163存储在存储器161中。只读存储器(ROM)162中存储有计算机数据处理器的配置信息以及程序。随机存取存储器(RAM)163用于在处理器165工作过程中暂存各种数据。另外，存储器161中还存储有用于进行数据处理的计算机程序，例如人工神经网络程序、物质识别程序、和图像处理程序等等。内部总线163连接上述的存储器161、只读存储器162、随机存取存储器163、输入装置164、处理器165、显示装置166和接口单元167。

在用户通过诸如键盘和鼠标之类的输入装置164输入的操作命令后，计算机程序的指令代码命令处理器165执行预定的数据处理算法，在得到数据处理结果之后，将其显示在诸如LCD显示器之类的显示装置167上，或者直接以诸如打印之类硬拷贝的形式输出处理结果。

在对全卷积网络训练之前，需要建立用于训练的数据库，然后利用样本训练全卷积网络。例如，在本公开的实施例中，首先用人工对大量已知车体透射图像进行像素级标注，然后用基于深度学习的车体理解方法对大规模样本进行端对端的训练。

具体而言，对大量车体透射图像进行像素级标注包括：(1)确定车体透射图像包含那些类别；(2)从车体透射图像中抽取大量图像；(3)运用人力对抽取出的透射图像的每个像素标注上其所属类别，从而得到和原透射图像大小一致的标签图；(4)将标注好的标签图和原透射图像保存下来，用作训练样本。

在对全卷积网络进行训练时，可以用基于深度学习的车体理解方法对大规模样本进行端对端的训练，其中所用的深度学习方法是以全卷积网络(FCN)为基础的，在其基础上还有一些改进后的网络结构。

具体来说，FCN是一种用来做语义分割的卷积神经网络(CNN)模型，它是通过将分类CNN网络的全连接层重新解释为卷积层而得到的网络结构，这使得网络的输入图像可以是任意大小，并最后通过上采样将预测结果还原为原图像大小。

此外，在FCN基础上，还可以用一种改进后的FCN，即Dilation FCN。它是将FCN中最后两个Pooling层的步长由2变成1，然后通过对卷积核加洞的方式使得输出层的感受野不变，更进一步，设置不同的rate以达到多尺度的目的。

此外，在Dilation FCN的基础上，还可以对其加以改进：将图像通过训练好的Dilation FCN网络，得到每个像素的类别概率分布，再结合图像本身的信息，用一个条件随机场(CRF)来优化图像中每个像素的类别概率分布，最后得到分辨率较高的预测标签图。Dilation FCN加上CRF的方法被称作DeepLab。在DeepLab中的CRF本身可以解释为一个循环神经网络(RNN)。将CRF解释为RNN还有一个好处，那就是CRF中的某些权重参数可以通过RNN学习得到。

根据一些实施例，还可以用一种网络ConvPP，它利用标签本身来训练一种特殊的卷积网络，利用这种特殊的卷积网络训练出来的特征，结合上之前FCN训练出来的特征来对每个像素做分类，这样得到的结果将比FCN好。

在本公开的一些实施例中，对上述卷积网络进行大量样本的训练。在其他实施例中，也可以利用少量的样本来达到和以上方法差不多的结果，例如Low Shot网络。

图3是描述根据本公开实施例的训练卷积网络的过程的示意图。如图3所示，在步骤S310，获得诸如集装箱卡车之类的车辆的透射图像，作为样本图像。然后，在步骤S320，通过人工对样本图像进行像素级的标注。例如，确定车辆透射图像包含那些类别，然后从车体图像中抽取大量图像后进行人工标注，保存下来作为样本。

具体来说，根据实际情况，可以将车辆透射图像分为6类：空气、货物、集装箱、轮廓、车底盘、车头、车轮。空气本来应分为车厢内空气部分和车厢外空气部分，但为了简便起见，统一将它们都标为空气。

然后，对不同车型随机抽取等量的图像，样本的种类越多、数量越大，训练出的网络泛化能力更强，较少的训练样本会导致过拟合。

接下来，运用人力对抽取出的透射图像的每个像素标注上其所属类别，从而得到和原透射图像大小一致的标签图。若原图像高和宽分别为H和W，那么标注的标签图的高和宽也分别为H和W，其中每个像素的取值范围为{0，1，2，3，4，5}，分别代表原图中该像素对应的像素属于6类中的哪一类。

最后，将标注好的标签图和原透射图像保存下来，用作训练样本。在一些实施例中，可以通过如下操作来增加样本的数量/加快运算速度。

镜像操作：为了扩大样本量，可以对样本中的图像做镜像，这会使得样本量扩大一倍。

除空气操作：为了提高效率，利用标签图将图像四周的空气部分切除，得到相对较小的图像，由此在训练的时候能加快训练速度。

尺度变换：若计算资源不足或是为了提高效率，可以将样本图像按某个比例缩小，例如缩小到原来的1/5。

还可以通过切割图片来扩大训练样本量：

此外，可以选择切割一张图的左上角、右上角、左下角、右下角以及中间部分，其中每一部分各占原图的70％大小。加上原图，这时可以将样本量又扩大5倍。或者，还可以随机切割，这时如果想将样本量扩大N倍，那么可以在每张图上随机切割N次，再加上原图。

根据本公开的其他实施例，切割图像这一步也可以在训练网络的时候在data层做，这样可以节省下用来存储切割出来的图片的硬盘空间。

在步骤S330，利用标注后的样本图像训练卷积网络。例如，用基于深度学习的车体理解方法对大规模样本进行端对端的训练。

●基于FCN的训练

FCN通过将分类网络的全连接层重新解释为卷积层而得到。重新解后，它允许输入图像为任意大小。以VGG网络为例，任意一张图像通过FCN版的VGG网络后，长宽缩小为原图的1/32，然后再加一层反卷积层，上采样为原图大小。由于将原图降采样32倍再上采样为原图大小，会丢失原图的很多细节信息，因此可以将pool4和pool5层的特征也用于分类中，以提高图像的分辨率。

●基于DeepLab的训练

首先是训练Dilation FCN。Dilation FCN可选的网络结构有几种：V1、LargeFOV、MSc-LargeFOV、ASPP、Res101。

V1，LargeFOV，MSc-LargeFOV，ASPP的基础网络是VGG。对于FCN版本的VGG网络，将pool4和pool5层的stride由2变为1，并将pool4和pool5层之间的卷积层的卷积核rate设为2。在此基础上，V1将pool5层之后的卷积层的卷积核rate设为4，从而使输出层保持了和原始的FCN同样的感受野。LargeFOV考虑到更大的感受野有助于辨认尺度更大的物体，从而将pool5层之后的卷积层的卷积核rate设得更大，例如12。MSc-LargeFOV是在LargeFOV基础上，让底层的特征也参与了最后的像素分类。ASPP考虑到了多尺度，在pool5层后分了4枝，每一枝中卷积层的卷积核取不同的rate，例如第一枝rate＝6，第二枝rate＝12，第三枝rate＝18，第四枝rate＝24，这使得最后输出层的每个像素有四个尺度的感受野。

Res101是通过修改101层的分类残差网(resnet)得到的。修改方法和VGG类似。

用深度学习框架caffe训练。分两个阶段:第一个阶段，每次迭代，对于输入的图像，从中随机切固定长宽的子图像用于训练；第二个阶段，在第一个阶段训练出来的参数基础上做微调，每次迭代输入一张图像用于训练。

然后，训练CRF。虽然Dilation FCN的效果比原始的FCN好，但是，由于输出层实际上是降采样了8倍得到的，所以上采样8倍得到的和原图像大小一样的标签图的分辨率较低。为了提高分辨率，可以在Dilation FCN后加入CRF，有两种方法加入CRF：(1)将CRF独立于训练样本，不参与训练，用交叉验证的得到CRF中的参数。在预测图像时，先将图像通过训练好的Dilation FCN网络，再将得到的类别概率分布结合上原始图像的信息，迭代得到更准确地类别概率分布。(2)CRF参与训练:将CRF解释成RNN，连接到Dilation FCN后面，从而可以对其端对端的训练，其中CRF中的参数可以通过训练得到。

图4是描述根据本公开实施例的分割车辆图像的过程的示意图。如图4所示，在步骤S410，通过图1所示的***对被检查车辆进行X射线扫描，得到透射图像。在这里，还可疑对透射图像进行除空气处理，降噪，归一化等操作。

在步骤S420，利用上述训练的卷积网络标对透射图像的像素加类别标签。例如，将透射图像输入到训练的卷积网络中，得到图像中各个像素的类别标签，例如对车体的不同部分的像素做相应的标记，例如轮子为1、车头为2、底盘为3、车厢为4。

在步骤S430，根据车辆像素的类别标签确定车辆各个部分的图像。例如给不同标签的像素赋予不同的颜色，或者是将不同部分的车体用闭合曲线围起来，表示识别出的车体部分，从而方便后续的危险品/可疑物品的检查。这样，当例如通过对比诸如原子序数之类的特征值后能够确定可疑物品在集装箱中或者在车体的哪个位置，方便检查人员找出危险品/可疑物品的位置。此外，也可以基于包含了夹带物的车体的图像与没有包含夹带物的车体的各部分的图像之间存在的差异进一步判断在车体的某个部分是否有夹带物。

图5示出了根据本公开实施例的车辆透射图像的示意图。图6示出了根据本公开实施例的分割得到的车辆各部分图像的示意图。如图6所示，通过对被检查车辆透射图像的理解，将车体图像分割成轮子、车头、底盘、车厢等部分。此外，还可疑根据需要给不同车体部分的像素赋予不同的颜色，或者是将不同部分的车体用闭合曲线围起来，表示识别出的车体部分。

根据上述实施例，在用大规模样本训练的条件下，让机器自己学习的特征具有普适性，从而泛化能力更强。由此在车型种类繁多、情况复杂的状况下效果更好。在具体应用中，可以将分割出的不同部分的图像用于后续的智能检测。利用上述的方案可以在一定程度上帮助实现车辆的智能检测，有助于高效安全地对车辆进行检查。

以上的详细描述通过使用示意图、流程图和/或示例，已经阐述了检查设备和图像分割方法的众多实施例。在这种示意图、流程图和/或示例包含一个或多个功能和/或操作的情况下，本领域技术人员应理解，这种示意图、流程图或示例中的每一功能和/或操作可以通过各种结构、硬件、软件、固件或实质上它们的任意组合来单独和/或共同实现。在一个实施例中，本发明的实施例所述主题的若干部分可以通过专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、或其他集成格式来实现。然而，本领域技术人员应认识到，这里所公开的实施例的一些方面在整体上或部分地可以等同地实现在集成电路中，实现为在一台或多台计算机上运行的一个或多个计算机程序(例如，实现为在一台或多台计算机***上运行的一个或多个程序)，实现为在一个或多个处理器上运行的一个或多个程序(例如，实现为在一个或多个微处理器上运行的一个或多个程序)，实现为固件，或者实质上实现为上述方式的任意组合，并且本领域技术人员根据本公开，将具备设计电路和/或写入软件和/或固件代码的能力。此外，本领域技术人员将认识到，本公开所述主题的机制能够作为多种形式的程序产品进行分发，并且无论实际用来执行分发的信号承载介质的具体类型如何，本公开所述主题的示例性实施例均适用。信号承载介质的示例包括但不限于：可记录型介质，如软盘、硬盘驱动器、紧致盘(CD)、数字通用盘(DVD)、数字磁带、计算机存储器等；以及传输型介质，如数字和/或模拟通信介质(例如，光纤光缆、波导、有线通信链路、无线通信链路等)。

虽然已参照几个典型实施例描述了本发明，但应当理解，所用的术语是说明和示例性、而非限制性的术语。由于本发明能够以多种形式具体实施而不脱离发明的精神或实质，所以应当理解，上述实施例不限于任何前述的细节，而应在随附权利要求所限定的精神和范围内广泛地解释，因此落入权利要求或其等效范围内的全部变化和改型都应为随附权利要求所涵盖。

Claims (9)

1.一种分割车辆图像的方法，包括步骤：

对车辆进行X射线透射扫描，得到透射图像；

利用经过训练的卷积网络对透射图像的各个像素加类别标签，包括：将所述透射图像通过训练好的改进后的全卷积网络，得到每个像素的类别概率分布，再结合所述透射图像本身的信息，用一个条件随机场来优化所述透射图像中每个像素的类别概率分布，最后得到分辨率满足条件的预测标签图；其中，所述卷积网络包括所述改进后的全卷积网络，所述改进后的全卷积网络包括最后两个池化层的步长由2变成1，然后通过对卷积核加洞的方式使得输出层的感受野不变；以及

根据各个像素的类别标签确定车辆的各个部分的图像；

其中通过下面的步骤对卷积网络进行训练：

取得多个车辆的X射线透射图像，作为样本图像；

按照车辆的各个部分对所述样本图像进行像素级标注；

利用标注后的样本图像对卷积网络进行训练。

2.如权利要求1所述的方法，其中所述车辆的各个部分包括：轮子、车头、底盘、车厢。

3.如权利要求1所述的方法，其中，还包括对所述样本图像进行如下操作的至少之一：

镜像、除空气部分、尺度变换、切割成子图像。

4.如权利要求3所述的方法，其中切割成子图像的操作包括：

切割所述样本图像的左上角、右上角、左下角、右下角以及中间部分中的至少之一。

5.如权利要求3所述的方法，其中切割成子图像的操作包括：

对所述样本图像进行随机切割。

6.如权利要求1所述的方法，其中所述卷积网络包括以下至少之一：

全卷积网络、Dilation全卷积网络、Deeplab网络、ConvPP网络。

7.一种检查设备，包括：

X射线扫描***，对被检查车辆进行X射线透射扫描，得到透射图像；

存储器，存储所述透射图像；

处理器，配置为对所述透射图像进行以下操作：

利用经过训练的卷积网络对透射图像的各个像素加类别标签，包括：将所述透射图像通过训练好的改进后的全卷积网络，得到每个像素的类别概率分布，再结合所述透射图像本身的信息，用一个条件随机场来优化所述透射图像中每个像素的类别概率分布，最后得到分辨率满足条件的预测标签图；其中，所述卷积网络包括所述改进后的全卷积网络，所述改进后的全卷积网络包括最后两个池化层的步长由2变成1，然后通过对卷积核加洞的方式使得输出层的感受野不变；

根据各个像素的类别标签确定车辆的各个部分的图像；

其中所述处理器配置为通过下面的步骤对卷积网络进行训练：

取得多个车辆的X射线透射图像，作为样本图像；

按照车辆的各个部分对所述样本图像进行像素级标注；

利用标注后的样本图像对卷积网络进行训练。

8.如权利要求7所述的检查设备，其中所述车辆的各个部分包括：

轮子、车头、底盘、车厢。

9.如权利要求7所述的检查设备，其中，所述处理器配置为还包括对所述样本图像进行如下操作的至少之一：

镜像、除空气部分、尺度变换、切割成子图像。

Images