CN109902643A - 基于深度学习的智能安检方法、装置、***及其电子设备 - Google Patents

Abstract

本发明提供了一种基于深度学习的智能安检方法、装置、***及电子设备。该方法包括由安检机采集得到待识别物品的X光图像，对该X光图像进行预处理，得到预处理后的X光图像；将所述预处理后的X光图像输入预设的深度学习模型，提取所述X光图像中对应的待检测物的物品信息数据；利用深度学习模型对接收到的物品信息数据进行图像实例分割和检测识别；实例分割结果和目标检测识别结果融合，将判别为可疑违禁物品的信息生成对应的识别结果。本发明实施例提供的技术方案，实现了多变环境下目标对象的实例分割及检测识别，保证了安检过程中对违禁品的识别准确性，且能够获取目标对象的完整信息。

Description

基于深度学习的智能安检方法、装置、***及其电子设备

技术领域

本发明涉及安检物体识别技术领域，特别涉及一种基于深度学习的智能安检方法、装置、***及其电子设备。

背景技术

安检机，又名安检仪，包括安检X光机，行李安检机，通道式X光机，物检X光机，X射线安检仪，X光行李安检机，X射线检测仪，X射线异物检测机，X光安检机，X光行包检测仪，三品检测仪，三品检查机，三品检查仪，查危仪。安检机广泛应用于机场、火车站、汽车站、政府机关大楼、大使馆、会议中心、会展中心、酒店、商场、大型活动、邮局、学校、物流行业、工业检测等。目前安检***，采用的主要技术是单一成像，人工判读的办法，该方法存在效率低下、召回率较低、漏检率较高、人力成本高等多方面问题，导致安检效果不佳，安全性差。

针对上述缺陷，专利申请号为201711126618.2的中国专利“安检检测方法、装置、***及电子设备”中采用了将待识别物品的X光图像利用预设的深度学习模型提取对应的待检测物品的物品特征，利用基于预设的深度学习模型训练的分类器对物品特征进行识别，生成对应待检测物的识别结果，实现了对违禁品的自动识别检测，达到了在提高了识别效率的同时，有效保证了对违禁品识别的准确性，预防了安全隐患的发生的技术效果。在这一技术方案中虽然利用了深度学习模型实现了对违禁品的自动检测和识别，但是在实际的检测中待检测物常常叠放在一起，导致其深度学习模型无法准确获取待检测物的有效信息，其检测结果仍然存在较大检测和识别错误的风险，准确率并不高。

发明内容

针对相关技术中目标识别方案难以适用于多变的环境，特别是目标物体堆放遮挡导致的目标物体X光图像不完整，无法获取目标物体的准确信息，以及人工处理效率低的问题，本发明提出一种智能安检方法、装置、***及其电子设备，能够基于深度学习完成X光图片上重叠遮挡物体的信息提取，进而实现多变环境下目标对象的实例分割及识别，获取目标对象的完整信息。

为了实现上述目的，根据本发明的一个方面，提供了一种基于深度学习的智能安检方法，主要包括以下步骤：

S1：由安检机采集得到待识别物品的X光图像，对该X光图像进行预处理，得到预处理后的X光图像；

S2：将所述预处理后的X光图像输入预设的深度学习模型，提取所述X光图像中对应的待检测物的物品信息数据；

S3：利用深度学习模型对接收到的物品信息数据进行图像实例分割和检测识别；

S4：S3中实例分割结果和目标检测识别结果融合，将判别为可疑违禁物品的信息生成对应的识别结果。

所述的安检机包括X光扫描设备，用于对安检机中的物品进行X光扫描获得X光扫描图像。

所述深度学习模型为基于卷积神经网络的深度学习模型，且通过各种违禁品的样本数据训练得到。所述卷积神经网络的网络结构包括特征编码通道、特征解码通道、目标解析网络及输出网络四部分，其中特征编码通道和特征解码通道以U-Net网络结构为基础。

进一步，所述实例分割，其步骤包括：建立三维空间坐标系，将待检测物图像的标签由二维空间投影到三维空间，利用特征融合技术对待检测目标进行三维空间的拆分，完成重叠遮挡目标的实例分割。

进一步，所述检测识别，用于获得包括待检测物位置、物体类别标签和掩膜的信息。

根据本发明的另一个方面，提供了一种基于深度学习的智能安检装置，主要包括：

获得模块，用于获得待检测物品的X光图像；

预处理模块：用于获取安检终端接收到的安检机内的X光机采集的X光图像，对所述X光图像进行预处理，得到预处理后的X光图像；

特征提取模块，用于根据预设的深度学习模型提取所述X光图像中对应的待检测物的物品信息数据；

结果识别模块，用于利用基于所述预设的深度学习模型得到的信息数据进行图像实例分割和检测识别，并将实例分割结果和目标检测识别结果融合，将判别为可疑违禁物品的信息生成对应的识别结果；

结果显示模块，用于将所述违禁物品的识别结果发送至所述安检终端，以使所述安检终端显示所述结果。

所述预设的深度学习模型包括基于卷积神经网络的深度学习模型，且通过各种类别标签属于违禁品的样本数据训练得到；所述卷积神经网络的网络结构包括特征编码通道、特征解码通道、目标解析网络及输出网络四部分；所述特征编码通道和特征解码通道以U-Net网络结构为基础。

所述检测识别，用于获得包括待检测物位置、物体类别标签和掩膜的信息；所述实例分割，其步骤包括：建立三维空间坐标系，将待检测物图像的标签由二维空间投影到三维空间，利用特征融合技术对待检测目标进行三维空间的拆分，完成重叠遮挡目标的实例分割。

可选的，该装置还包括自动报警模块：用于检测结果有违禁品后的报警处理。

根据本发明的第三个方面，提供了一种基于深度学习的智能安检***，包括安检机、安检终端及安检识别设备。

所述安检机的安检箱内设置有X光机；所述安检识别设备包括如第二方面所述的装置；所述X光机、所述安检识别设备分别与所述安检终端连接；所述X光机，用于采集经过所述安检机的安检通道的待检测物的X光图像，将所述X光图像发送至所述安检终端；所述安检终端，用于当监听到接收的所述X光图像时，将所述X光图像发送至安检识别设备，还用于接收所述安检识别设备发送的所述待检测物的识别结果，将所述识别结果通过显示屏显示。

根据本发明的第四个方面，提供了一种基于深度学习的智能安检电子设备，包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法。

与现有技术相比，本发明至少具有以下有益效果。

本发明提出在安检过程中，引入了利用基于深度学习模型对待检测物品进行实例分割的步骤，这不仅可以把各种物体从图像中识别并定位出来，还可以把图像的每一个像素加上类别标注，从而获取更多的物品信息。另外，该方法区别于现有技术，能够将两个共享像素的实例区分开，也就是说通过本申请的方法能够将安检过程中的重叠遮盖待检测物体解析开，得到每个目标物体的完整图像，获得更全面准确的物体特征信息，这不仅能够提高目标识别的效率，降低人工成本，并且能够适应各种环境的变化，提高检测的准确性。本申请同时还提供了应用了该安检方法的装置、***以及电子设备，具有上述有益效果，在此不再赘述。

本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

图1为本发明实施例提供的应用该基于深度学习的智能安检方法的流程框图。

图2为本发明实施例提供的对待检测目标进行三维空间的拆分的示意图。

图3为本发明实施例提供的应用该基于深度学习的智能安检装置的结构示意图。

图4本发明实施例提供的应用该基于深度学习的智能安检电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

发明人在实现本发明创造的过程中发现：实际的安检检测中待检测物常常叠放在一起，在获得的X光图像数据上呈现同一位置有两个或多个类别标签的状态，这使得深度学习模型无法获得完整的待检测物品信息，其检测结果仍然存在较大检测和识别错误的风险。

有鉴于此，本申请实施例提供了一种基于深度学习的智能安检方法，请参阅图1，示出了该安检方法的流程框图，可以包括以下步骤。

S1：由安检机采集得到待识别物品的X光图像，对该X光图像进行预处理，得到预处理后的X光图像。

其中，所述的安检机包括X光扫描设备，用于对安检机中的物品进行X光扫描获得X光扫描图像。此处主要利用了X射线的穿透性，X射线因其波长短，能量大，照在物质上时仅一部分被物质所吸收，大部分经由原子间隙而透过，表现出很强的穿透能力。X射线穿透物质的能力与X射线光子的能量有关，X射线的波长越短，光子的能量越大，穿透能力越强。X射线的穿透力也与物质的密度有关，利用差别吸收这种性质可以把密度不同的物质区分开来，尤其是用于辨别金属物体和有机物。本步骤旨在利用安检仪中的X射线发射器对进入该安检仪中的待检测物品进行透视检测，利用X光的特性得到该待检测物品的透视图。

S2：将所述预处理后的X光图像输入预设的深度学习模型，提取所述X光图像中对应的待检测物的物品信息数据。

其中，所述预处理后的X光图像可以为彩色图像，也可以为黑白图像。所述深度学习模型为基于卷积神经网络的深度学习模型，且通过各种类别标签属于违禁品的样本数据训练得到。所述卷积神经网络的网络结构包括特征编码通道、特征解码通道、目标解析网络及输出网络四部分，其中特征编码通道和特征解码通道以U-Net网络结构为基础。

U-Net模型是卷积神经网络的一种变形，因其结构形似字母U而得名U-Net。整个神经网络主要有两部分组成：特征编码通道和特征解码通道。特征编码通道主要是用来捕捉图像中的上下文信息，而与之相对称的特征解码通道则是为了对图像中所需要分割出来的部分进行精准定位。发明人在发明过程中发现，使用U-Net网络结构能够通过跳跃连接将底层细节特征和高层语意特征多尺度融合，从而能够更好地分割不同尺度的目标。基于此，本实施例中的特征编码通道和特征解码通道以U-Net网络结构为基础。

需要说明的是，本申请扩展了U-Net模型，使其能够通过两个独立的特征编码通道同时解决目标物体的检测和分割任务。

需要说明的是，本实施例并不限定深度学习模型为U-Net模型，只要能同时提供待测物体的检测和分割任务，能获得重叠遮盖物体的实例分割的模型均可。

S3：利用深度学习模型对接收到的物品信息数据进行图像实例分割和检测识别。

所述实例分割，其步骤包括：建立三维空间坐标系，将待检测物图像的标签由二维空间投影到三维空间，利用特征融合技术对待检测目标进行三维空间的拆分，完成重叠遮挡目标的实例分割。其中，对待检测目标进行三维空间的拆分示意图请参阅图2。

所述检测识别，用于获得包括待检测物位置、物体类别标签和掩膜的信息。

其中，物体检测识别和图像分割是两种不同的计算机视觉基础任务。物体检测识别要求算法把各种物体从图像中识别并定位出来，图像分割要求算法把图像的每一个像素加上类别标注。实例分割既需要对图像的所有对象进行正确的识别与检测，又需要对每个实例进行精确地分割。

S4：S3中实例分割结果和目标检测识别结果融合，将判别为可疑违禁物品的信息生成对应的识别结果。

与上述基于深度学习的智能安检方法相对应，本申请实施例还提供了一种基于深度学习的智能安检装置，请参阅图3，示出了该装置的结构示意图，可以包括：获得模块301、预处理模块302、特征提取模块303、结果识别模块304、结果显示模块305。

获得模块301，用于获得待检测物品的X光图像。

预处理模块302：用于获取安检终端接收到的安检机内的X光机采集的X光图像，对所述X光图像进行预处理，得到预处理后的X光图像。

特征提取模块303，提取所述X光图像中对应的待检测物的物品信息数据。所述预设的深度学习模型包括基于卷积神经网络的深度学习模型，且通过各种类别标签属于违禁品的样本数据训练得到；所述卷积神经网络的网络结构包括特征编码通道、特征解码通道、目标解析网络及输出网络四部分；所述特征编码通道和特征解码通道以U-Net网络结构为基础。

结果识别模块304，用于利用基于所述预设的深度学习模型得到的信息数据进行图像实例分割和检测识别，并将实例分割结果和目标检测识别结果融合，将判别为可疑违禁物品的信息生成对应的识别结果。所述检测识别，用于获得包括待检测物位置、物体类别标签和掩膜的信息；所述实例分割，其步骤包括：建立三维空间坐标系，将待检测物图像的标签由二维空间投影到三维空间，利用特征融合技术对待检测目标进行三维空间的拆分，完成重叠遮挡目标的实例分割。需要说明的是，根据实际需要也可以将所有取得信息数据的物品生成对应的识别结果。

结果显示模块305，用于将所述违禁品的识别结果发送至所述安检终端，以使所述安检终端显示所述识别结果。需要说明的是，根据实际需要也可以将所有识别结果发送至所述安检终端，以使所述安检终端显示所述识别结果。

可选的，该装置还包括自动报警模块306：用于检测结果有违禁品后的报警处理。

本申请实施例还提供了一种基于深度学习的智能安检***，该***可以包括安检机、安检终端及安检识别设备。

所述安检机的安检箱内设置有X光机，所述安检识别设备包括如第二方面所述的装置；所述X光机、所述安检识别设备分别与所述安检终端连接；所述X光机，用于采集经过所述安检机的安检通道的待检测物的X光图像，将所述X光图像发送至所述安检终端；所述安检终端，用于当监听到接收的所述X光图像时，将所述X光图像发送至安检识别设备；还用于接收所述安检识别设备发送的所述待检测物的识别结果，将所述识别结果通过显示屏显示。

本申请实施例还提供了一种基于深度学习的智能安检电子设备，请参阅图4，示出了该安检电子设备的结构示意图，该电子设备可以包括：存储器401、处理器402。

所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法。

图像实例分割设备还可以包括：总线403和通信接口404。

处理器402、存储器401、通信接口404通过总线403相互连接。其中，总线403可包括一通路，在计算机***各个部件之间传送信息。

处理器402可以是通用处理器，例如通用中央处理器(CPU)、微处理器等，也可以是特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制本发明方案程序执行的集成电路。还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

处理器402可包括主处理器，还可包括基带芯片、调制解调器等。

存储器401中保存有执行本发明技术方案的程序，还可以保存有操作***和其他关键业务。具体地，程序可以包括程序代码，程序代码包括计算机操作指令。更具体的，存储器401可以包括只读存储器(read-only memory，ROM)、可存储静态信息和指令的其他类型的静态存储设备、随机存取存储器(random access memory，RAM)、可存储信息和指令的其他类型的动态存储设备、磁盘存储器、flash等等。

通信接口404可包括使用任何收发器一类的装置，以便与其他设备或通信网络通信，如以太网，无线接入网(RAN)，无线局域网(WLAN)等。

处理器402执行存储器401中所存放的程序，以及调用其他设备，可用于实现本申请实施例所提供的图像实例分割方法的各个步骤。

需要说明的是，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (17)

1.一种基于深度学习的智能安检方法，其特征在于，包括以下步骤：

S1：由安检机采集得到待识别物品的X光图像，对该X光图像进行预处理，得到预处理后的X光图像；

S2：将所述预处理后的X光图像输入预设的深度学习模型，提取所述X光图像中对应的待检测物的物品信息数据；

S3：利用深度学习模型对接收到的物品信息数据进行图像实例分割和检测识别；

S4：实例分割结果和检测识别结果融合，将判别为可疑违禁物品的信息生成对应的识别结果。

2.根据权利要求1所述的一种基于深度学习的智能安检方法，其特征在于，所述的安检机包括X光扫描设备，用于对安检机中的物品进行X光扫描获得X光扫描图像。

3.根据权利要求1所述的一种基于深度学习的智能安检方法，其特征在于，所述深度学习模型为基于卷积神经网络的深度学习模型。

4.根据权利要求1所述的一种基于深度学习的智能安检方法，其特征在于，所述检测识别，用于获得包括待检测物位置、物体类别标签和掩膜的信息。

5.根据权利要求1所述的一种基于深度学习的智能安检方法，其特征在于，所述实例分割，其步骤包括：建立三维空间坐标系，将待检测物图像的标签由二维空间投影到三维空间，利用特征融合技术对待检测目标进行三维空间的拆分，完成重叠遮挡目标的实例分割。

6.根据权利要求3所述的一种基于深度学习的智能安检方法，其特征在于，所述卷积神经网络的网络结构包括特征编码通道、特征解码通道、目标解析网络及输出网络四部分。

7.根据权利要求6所述的一种基于深度学习的智能安检方法，其特征在于，所述特征编码通道和特征解码通道以U-Net网络结构为基础。

8.一种基于深度学习的智能安检装置，其特征在于，包括：

获得模块，用于获得待检测物品的X光图像；

预处理模块：用于获取安检终端接收到的安检机内的X光机采集的X光图像，对所述X光图像进行预处理，得到预处理后的X光图像；

特征提取模块，用于根据预设的深度学习模型提取所述X光图像中对应的待检测物的物品信息数据；

结果识别模块，用于利用基于所述预设的深度学习模型得到的信息数据进行图像实例分割和检测识别，并将实例分割结果和目标检测识别结果融合，将判别为可疑违禁物品的信息生成对应的识别结果；

结果显示模块，用于将所述待检测物的实例分割和检测识别结果发送至所述安检终端，以使所述安检终端显示所述结果。

9.根据权利要求8所述的一种基于深度学习的智能安检装置，其特征在于，所述深度学习模型为基于卷积神经网络的深度学习模型。

10.根据权利要求8-9任一所述的一种基于深度学习的智能安检方法，其特征在于，所述检测识别，用于获得包括待检测物位置、物体类别标签和掩膜的信息。

11.根据权利要求8-9任一所述的一种基于深度学习的智能安检方法，其特征在于，所述实例分割，其步骤包括：建立三维空间坐标系，将待检测物图像的标签由二维空间投影到三维空间，利用特征融合技术对待检测目标进行三维空间的拆分，完成重叠遮挡目标的实例分割。

12.根据权利要求9所述的一种基于深度学习的智能安检方法，其特征在于，所述卷积神经网络的网络结构包括特征编码通道、特征解码通道、目标解析网络及输出网络四部分。

13.根据权利要求12所述的一种基于深度学习的智能安检方法，其特征在于，所述特征编码通道和特征解码通道以U-Net网络结构为基础。

14.根据权利要求8-13中的任一项所述的一种基于深度学习的智能安检装置，还包括自动报警模块：用于检测结果有违禁品后的报警处理。

15.一种基于深度学习的智能安检***，其特征在于，包括安检机、安检终端及安检识别设备，所述安检机的安检箱内设置有X光机，所述安检识别设备包括如权利要求8-14任一所述的安检装置。

16.根据权利要求15所述的一种基于深度学习的智能安检***，所述X光机、所述安检识别设备分别与所述安检终端连接；所述X光机，用于采集经过所述安检机的安检通道的待检测物的X光图像，将所述X光图像发送至所述安检终端；所述安检终端，用于当监听到接收的所述X光图像时，将所述X光图像发送至安检识别设备；还用于接收所述安检识别设备发送的所述待检测物的识别结果，将所述识别结果通过显示屏显示。

17.一种基于深度学习的智能安检电子设备，包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至7任一项所述的方法。