CN107766829A - 一种物品检测的方法和设备 - Google Patents

Abstract

本发明公开了一种物品检测的方法和设备，用以解决现有技术中存在的漏检、误检、效率低，准确性差的问题。在本发明实施例中进行安检时，首先对当前帧图像进行包裹切割；然后判断目标包裹是否是新包裹；新包裹则通过物体检测神经网络确定所述目标包裹的检测结果；反之，则将与目标包裹相同的包裹的检测结果作为目标包裹的检测结果；最后将当前帧图像中每个目标包裹的检测结果进行合成处理。由于本发明实施例中，物品检测全部是由机器操作的，因而节省了人力，同时避免了由于安检人员的高度疲劳导致的漏检，错检的问题。同时，也不会存在由于X光图像不显示而导致的漏检的情况。故本发明实施例能够有效地减少漏检、误检并提高安检的效率以及准确性。

Description

一种物品检测的方法和设备

技术领域

本发明涉及视频处理领域，特别涉及一种物品检测的方法和设备。

背景技术

随着社会经济的发展，全球一体化加速，各国政府对各类公共场所的安全越来越重视，随之安检的重要性越来越高。

安检主要是检查公共场所的来往人员及其行李物品中是否携带有***、弹药、易燃、易爆、腐蚀、有毒放射性等危险物品，以确保公共产所内公众人员的人身及财产安全，因此安全检查必须在公众人员进入公共场所之前进行。

目前，安全检查主要依靠人工检测。一般是通过X光成像仪器获取人员行李的图像，在显示器端进行X光图像显示，其中一幅图像是伪彩色图，另一幅图像是灰度图，然后再经过安检员通过肉眼对上述两幅图像进行人工甄别。此方案由于需要人工甄别，所以会存在安检人员由于长时间的注意力集中而导致高度疲劳的问题。且由于安检人员的高度疲劳还会导致漏检，误检、效率低，准确性差等一系列的问题。另一方面，由于这些安检方法都是基于图片进行的，一旦图片不显示就会出现漏检的情况，这将会给公共安全带来极大地隐患。

综上所述，目前实现安检的方法存在漏检、误检、效率低，准确性差的问题。

发明内容

本发明提供一种物品检测的方法和设备，用以解决现有技术中存在的漏检、误检、效率低，准确性差的问题。

本发明实施例提供了一种物品检测的方法，该方法包括：

对监控视频流的当前帧图像进行包裹切割得到至少一个子图像；

针对任意一个子图像，通过包裹检测神经网络和前N帧图像，判断所述子图像对应的目标包裹是否是新包裹，其中N为正整数；

如果是新包裹，则通过物体检测神经网络确定所述目标包裹的检测结果；如果不是新包裹，则将与目标包裹相同的包裹的检测结果作为所述目标包裹的检测结果；

将所述当前帧图像中每个目标包裹的检测结果进行合成处理。

本发明实施例提供了一种物品检测的设备，该设备包括：

至少一个处理单元以及至少一个存储单元，其中，所述存储单元存储有程序代码，当所述程序代码被所述处理单元执行时，使得所述处理单元执行下列过程：

对监控视频流的当前帧图像进行包裹切割得到至少一个子图像；针对任意一个子图像，通过包裹检测神经网络和前N帧图像，判断所述子图像对应的目标包裹是否是新包裹，其中N为正整数；如果是新包裹，则通过物体检测神经网络确定所述目标包裹的检测结果；如果不是新包裹，则将与目标包裹相同的包裹的检测结果作为所述目标包裹的检测结果；将所述当前帧图像中每个目标包裹的检测结果进行合成处理。

本发明实施例提供了一种物品检测的设备，该设备包括：

切割模块，用于对监控视频流的当前帧图像进行包裹切割得到至少一个子图像；

判断模块，用于针对任意一个子图像，通过包裹检测神经网络和前N帧图像，判断所述子图像对应的目标包裹是否是新包裹，其中N为正整数；

操作模块，用于如果是新包裹，则通过物体检测神经网络确定所述目标包裹的检测结果；如果不是新包裹，则将与目标包裹相同的包裹的检测结果作为所述目标包裹的检测结果；

合成模块，用于将所述当前帧图像中每个目标包裹的检测结果进行合成处理。

本发明实施例在进行物品检测时，首先对当前帧图像进行包裹切割；然后判断目标包裹是否是新包裹；如果是新包裹，则通过物体检测神经网络确定所述目标包裹的检测结果；如果不是新包裹，则将与目标包裹相同的包裹的检测结果作为所述目标包裹的检测结果；最后将所述当前帧图像中每个目标包裹的检测结果进行合成处理。由于本发明实施例中，物品安检全部是由机器操作的，因而节省了人力，同时避免了由于安检人员的高度疲劳导致的漏检，错检的问题。同时，也不会存在由于X光图像不显示而导致的漏检的情况。故本发明实施例能够有效地减少漏检、误检并提高安检的效率以及准确性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一种物品检测的方法的逻辑流程示意图；

图2为本发明实施例一种物品检测的方法的流程示意图；

图3为本发明实施例三种状态的包裹的示意图；

图4为本发明实施例确定已有包裹的对应的确定的包裹的示意图；

图5为本发明实施例物品检测结果合成以智能帧形式嵌入视频流的示意图；

图6为本发明实施例异常包裹划分的示意图；

图7为本发明实施例删除已经完成安检的包裹的检测结果信息的示意图；

图8为本发明实施例第一种物品检测的设备的结构示意图；

图9为本发明实施例第二种物品检测的设备的结构示意图；

图10为本发明实施例一种物品检测的方法的详细示意图。

具体实施方式

本申请实施例提供一种物品检测的方法，此方法的流程示意图如图1所示。视频流输入后，对视频帧图像内包裹进行切割，然后判断目标包裹是新包裹还是已有包裹，若是新包裹，则采用物体检测算法；若是已有包裹，则采用包裹跟踪算法，然后将计算得到的检测结果更新到历史信息中，在将视频帧内各个包裹的检测结果合成形成全图检测结果跟随视频流输出。

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

如图2所示，本发明提供一种物品检测的方法，该方法包括：

步骤200，对监控视频流的当前帧图像进行包裹切割得到至少一个子图像；

步骤201，针对任意一个子图像，通过包裹检测神经网络和前N帧图像，判断所述子图像对应的目标包裹是否是新包裹，其中N为正整数；

步骤202，如果是新包裹，则通过物体检测神经网络确定所述目标包裹的检测结果；如果不是新包裹，则将与目标包裹相同的包裹的检测结果作为所述目标包裹的检测结果；

步骤203，将所述当前帧图像中每个目标包裹的检测结果进行合成处理。

本发明实施例在进行物品检测时，首先对当前帧图像进行包裹切割；然后判断目标包裹是否是新包裹；如果是新包裹，则通过物体检测神经网络确定所述目标包裹的检测结果；如果不是新包裹，则将与目标包裹相同的包裹的检测结果作为所述目标包裹的检测结果；最后将所述当前帧图像中每个目标包裹的检测结果进行合成处理。由于本发明实施例中，物品安检全部是由机器操作的，因而节省了人力，同时避免了由于安检人员的高度疲劳导致的漏检，错检的问题。同时，也不会存在由于X光图像不显示而导致的漏检的情况。故本发明实施例能够有效地减少漏检、误检并提高安检的效率以及准确性。

其中，卷积神经网络，是一种前馈神经网络，人工神经元可以响应周围单元，可以处理大型图像。卷积神经网络包括卷积层和池化层。

本发明实施例用到多个卷积神经网络：

1、包裹检测神经网络，用于在对监控视频流的当前帧图像进行包裹切割后，对每个子图像中的包裹进行分类，确定完整包裹、异常包裹和不完整包裹。该网络是一个神经网络分类模型，采用一般分类模型训练方法进行训练。

2、物体检测神经网络，用于在通过包裹检测神经网络和前N帧图像，判断所述子图像对应的目标包裹是新包裹时，对包裹进行检测查看是否有违禁物品。该网络是一个深度卷积神经网络检测模型，采用一般检测模型训练方法进行训练。

3、包裹划分神经网络，用在根据切分得到的包裹的总数量、各包裹的直方图特征和各包裹的几何特征，对每个子图像中的包裹进行分类，确定目标包裹为异常包裹后，通过包裹划分神经网络对异常包裹的子图像再次进行划分。该网络是一个深度卷积神经网络分割模型，采用一般分割模型训练方法进行训练。

4、包裹位置神经网络，用于在通过包裹检测神经网络和前N帧图像，判断所述子图像对应的目标包裹是已有包裹后，运算求得已有包裹在当前视频帧内的位置。该网络是一个深度卷积神经网络回归模型，采用一般回归模型训练方法进行训练。

其中，运用上述神经网络时需要对这些卷积神经网络进行训练，且训练使用的视频流的格式和后续使用中的视频流的格式一致。

比如：(1)假设上述神经网络训练时使用的是YUV视频流，则在后续算法输入时使用中的视频流也应是YUV视频流。

(2)假设上述神经网络训练时使用的是RGB视频流，则在后续使用中需要先通过硬件将YUV视频流解码为RGB视频流，随后再运用到后续算法中。

(3)假设上述神经网络训练时使用的是RGB视频流或者YUV视频流和RGB视频流合并后的六通道视频流，则在后续使用中需要先通过硬件将YUV视频流解码为RGB视频流，然后将RGB视频流和YUV视频流合并形成六通道视频流，然后再作为后续算法的输入。

其中，每个完全进入监测区域的包裹在第一次完整出现时，将被分配一个编号，作为包裹的身份识别码，直到包裹跑出监测区域前，包裹的身份识别码不变。身份识别码是用来区别各个包裹，以使得能够在得到告警后快速找到包裹。同时，也可以用来在历史信息中快速检索包裹的特征信息。

其中，本发明提供的方法可以用于多种物品检测的场景，例如：IVSS视频监控平台。

在实施例的具体实施中，首先要根据视频流中当前视频帧图像对应的图像直方图对当前帧图像进行切割。

可选的，在对监控视频流的当前帧图像进行包裹切割得到至少一个子图像时，根据当前帧图像计算图像直方图，根据图像直方图中的峰值，对当前帧图像进行包裹切割得到至少一个符合条件的子图像，子图像与包裹一一对应。

在对监控视频流的当前帧图像进行包裹切割得到至少一个子图像时，首先要根据当前视频帧图像计算出对应的图像直方图，然后根据图像直方图的峰值对包裹进行切割，使得图像中的包裹都有其对应的子图像。如此可以将当前视频帧图像内所有的包裹进行一定的划分，从而可以将包裹区分出来，方便后续对包裹进行数据分析。

其中，图像直方图是反映一个图像像素分布的统计表，图像像素的种类，可以是灰度的，可以是彩色的，也可以是像素值在某函数下的映射值。横坐标代表了统计变量，可以是像素类别或者像素点的位置等，纵坐标代表了每一种像素在图像中的总数或者占所有像素个数的百分比，代表了画面中有多少像素是某个种类的，由此可以看出来画面中不同种像素的分布和比例。

在对监控视频流的当前帧图像进行包裹切割得到至少一个子图像时，需要统计水平方向的位置-灰度直方图，根据波峰波谷的高度、宽度等信息排除干扰筛选出主峰，然后根据峰谷值的位置对当前帧图像进行切割得到图像内各个包裹对应的子图像。其中，子图像与包裹一一对应，包裹的总数量、各个包裹的直方图特征、几何特征均可由子图像的特征表现出来。

在实际操作时，包裹进入监测区域的状态各有不同，可能导致检测结果的存在差错，从而使得检测结果的准确性变差。为了保证包裹检测结果的准确性，故在对包裹进行具体的物体检测前需要根据包裹状态对包裹一些处理，使得包裹的状态对检测结果的影响较小甚至消失。其中，首先要对包裹的状态进行检测并对包裹进行分类。

可选的，在对监控视频流的当前帧图像进行包裹切割后，根据切分得到的包裹的总数量、各包裹的直方图特征和各包裹的几何特征，对每个子图像中的包裹进行分类，确定完整包裹、异常包裹和不完整包裹。

如图3所示，在对监控视频流的当前帧图像进行包裹切割后，根据切分得到的包裹的总数量、各个包裹的直方图特征、几何特征将等特征信息可以将包裹划分为正常包裹、不完整包裹以及异常包裹。

在进一步的处理中，针对不同的类型的包裹有不同的处理方式，下面分别列举。

类型1、正常包裹：子图像中有且只有一个包裹，且子图像形状完整，即单个包裹完全处于监测区域内。

在确定切割分得的目标包裹为正常包裹后，直接判断目标包裹是否为新包裹。

在判断目标包裹是否为新包裹时，采用包裹特征对比算法，将目标包裹的包裹特征信息与历史信息中保存的已有的包裹特征信息相比较，得到没有已经经过检测的包裹与目标包裹的包裹特征相同的结果，则确定该目标包裹为新包裹；反之，该目标包裹为已有包裹。其中目标包裹的特征信息包括：直方图特征、几何特征等。

一、目标包裹为新包裹；

采用包裹特征对比算法，将目标包裹的包裹特征信息与历史信息中保存的已有的包裹特征信息相比较，结果得到历史信息中没有已经经过检测的包裹的特征信息与目标包裹的包裹特征信息相同，确认目标包裹为新包裹，随后通过物体检测神经网络对目标包裹进行物品检测，以确定目标包裹内是否有违禁物品。如果有违禁物品，则采取一定的措施进行告警。

一般的，在通过物体检测神经网络确定所述目标包裹的检测结果后，将目标包裹的检测结果置于历史信息中。

在对包裹内的物品进行检测前，需要对包裹内可能包含的物品进行预设。一般的，预设的类别包括刀具、枪械、手机笔记本充电宝等电子设备、可疑瓶装液体以及可疑金属制品等。

下面以根据X光图像进行安检为例：

预设的类别包括刀具、枪械、手机笔记本充电宝等电子设备、可疑瓶装液体以及可疑金属制品等。

假设刀具的危险等级为4级、枪械的危险等级为5级、易燃易爆物的危险等级为5级、手机笔记本充电宝等电子设备的危险等级为2级、可疑瓶装液体的危险等级为3级、可疑金属制品的危险等级为3级，衣物的危险等级为0级……。

当对包裹内的物品进行安全检测时，判定的方法有多种：

一、以当前包裹内危险等级最高的物品等级作为该包裹的危险等级，设定危险等级大于或等于3级需告警并开箱检查，危险等级为大于或等4级，提示高度警戒、告警并要求人工进行开箱检查。

例如：

(一)、有一包裹A，该包裹内由衣物、手机、可疑金属制品。

此时，包裹A的检测结果为该包裹的危险等级为3级，告警并要求人工进行开箱检查；

(二)、有一包裹B，该包裹内由衣物、手机、笔记本、充电宝。

此时，包裹B的检测结果为该包裹的危险等级为2级，反馈显示该包裹安全；

(三)、有一包裹C，该包裹内由衣物、刀具、笔记本、充电宝、枪械。

此时，包裹C的检测结果为该包裹的危险等级为5级，提示高度警戒、告警并要求人工进行开箱检查；

二、以当前包裹内物品的平均危险等级作为该包裹的危险等级，设定危险等级大于2级需告警并开箱检查，危险等级为大于3级，提示高度警戒、告警并要求人工进行开箱检查。

(一)、有一包裹A，该包裹内由衣物、手机、可疑金属制品、可疑瓶装液体。

此时，包裹A的检测结果为该包裹的危险等级为3级，示高度警戒、告警并要求人工进行开箱检查；

(二)、有一包裹B，该包裹内由衣物、手机、笔记本、充电宝。

此时，包裹B的检测结果为该包裹的危险等级为2级，反馈显示该包裹安全；

(三)、有一包裹C，该包裹内有刀具、笔记本、充电宝、枪械。

此时，包裹C的检测结果为该包裹的危险等级为3级，提示高度警戒、告警并要求人工进行开箱检查。

三、以当前包裹内物品的危险等级的总和作为该包裹的危险等级，设定危险等级大于或等于10级需告警并开箱检查，危险等级为大于或等12级，提示高度警戒、告警并要求人工进行开箱检查。

(一)、有一包裹A，该包裹内由衣物、手机、可疑金属制品。

此时，包裹A的检测结果为该包裹的危险等级为5级，反馈显示该包裹安全；

(二)、有一包裹B，该包裹内由衣物、手机、笔记本、充电宝。

此时，包裹B的检测结果为该包裹的危险等级为6级，反馈显示该包裹安全；

(三)、有一包裹C，该包裹内由衣物、刀具、笔记本、充电宝、枪械。

此时，包裹C的检测结果为该包裹的危险等级为13级，提示高度警戒、告警并要求人工进行开箱检查。

二、目标包裹为已有包裹；

由于本发明实施例的物品检测是基于视频图像进行的，由于视频图像的特性，对于目标包裹为已有包裹时，可以复用当前视频帧前的目标包裹的检测结果，将与目标包裹相同的包裹的检测结果作为所述目标包裹的检测结果，从而提高检测效率。

一般的，将与目标包裹相同的包裹的检测结果作为所述目标包裹的检测结果可分为三个步骤。

(1)通过包裹位置神经网络，确定目标包裹在当前帧图像中的位置。

即当前的目标包裹是已有包裹时，运用包裹位置神经网络计算出当前帧目标包裹的确切位置，用于计算与历史包裹的位移。

以X光图像YUV监控视频流为例。

例如，当前视频帧为第T帧视频帧，其内包含由目标包裹，且目标包裹为已有包裹。

在运用包裹位置神经网络计算出当前帧目标包裹的确切位置时，首先第T帧视频帧中的子图像与历史信息中的第T-k(1<＝k<＝K)帧对应的子图像同时送入回归网络，预测T帧中包裹的位置信息。若包裹仍在检测区域内，则综合K帧回归结果，精确算出包裹所在位置。

即包裹位置神经网络由包裹完整出现在监测区域后的K帧视频帧中包裹的位置信息通过训练学习，综合运算结果，计算得到当前包裹的精确位置。

(2)从上一帧图像中确定与目标包裹在当前帧图像中的位置的距离小于阈值的包裹。

以大华IVSS视频监控平台，实时获取X光YUV视频流为例。

假设，当前视频帧为第T帧视频帧，其内包含有目标包裹，且目标包裹为已有包裹。设定阈值为0.01m。第T帧视频帧图像内包裹A与第T-1帧视频帧图像内包裹A₁之间的距离为x。

如图4所示，目标包裹A在第T帧视频帧图像内的精确位置信息与包裹A₁在第T-1帧视频帧图像内的位置之间的距离x，当x小于0.01m时，确定包裹A₁为的目标包裹A的对应的确定的包裹，目标包裹A的对应的确定的包裹A₁即为前一帧视频帧内的目标包裹，将前一帧对应的确定包裹A₁的检测信息作为当前帧目标包裹A的检测结果。

其中，确定的包裹与目标包裹在当前帧图像像中的距离的阈值由视频流每一帧间的时间间隔决定。

除了由目标包裹的位置信息决定目标包裹的对应的确定的包裹之外，目标包裹的确定的包裹也可以由包裹检测神经网络计算得到。运用包裹检测神经网络确定目标包裹的确定的包裹时，包裹检测神经网络通过训练学习确定目标包裹的直方图特征、几何特征、位置特征等，然后将目标包裹的的特征信息与历史信息中已有的包裹的特征信息进行比对，从而确定目标包裹对应的确定的包裹。

与由目标包裹特征信息确定目标包裹对应的确定的包裹的方法相比较，由目标包裹的位置信息确定目标包裹对应的确定的包裹的方法运用的是包裹位置神经网络，包裹位置神经网络的算法比包裹检测神经网络的算法简单，包裹位置神经网络的结构相较于包裹检测神经网络的结构来说也比较简单，同时由目标包裹的位置信息确定目标包裹对应的确定的包裹的方法的运算量小于由目标包裹特征信息确定目标包裹对应的确定的包裹的方法，故由目标包裹的位置信息确定目标包裹对应的确定的包裹的方法更为简单易操作

(3)将确定的包裹的检测结果作为目标包裹的检测结果。

在将确定的包裹的检测结果作为目标包裹的检测结果时，从所述历史信息中获取确定的包裹的检测结果并修正位移，作为目标包裹的检测结果。随后将目标包裹在当前视频帧图像内的精确位置信息更新到历史信息中。

其中，历史信息中记录着视频帧的中各个包裹检测结果以及所属包裹的编号、特征信息等数据。

在得到目标包裹内物品检测的检测结果后，还要将所得到的检测结果汇总并反馈。

可选的，在将所述当前帧图像中每个目标包裹的检测结果进行合成处理时，将合成后的检测结果置于所述当前帧图像的数据中。

本发明实施例中，将当前视频帧中的每个包裹的安检信息都记录更新后，会将检测信息合成并放置于当前视频帧的图像数据中。以便后续根据合成后的视频帧的图像数据内的检测结果确定是否进行告警处理。

实施中，当前视频帧中所有的包裹都完成了安检，得到检测结果后，将视频帧内所有包裹的检测结果合成，然后放置于当前视频帧的图像信息。此时，当前帧图像数据中即为全图的检测结果，随后随视频流输出。

如图5所示，在对当前帧图像中每个包裹都进行了物体检测后，得到对应于每一个包裹的检测信息，然后将这些检测结果进行合成处理，并将合成后的当前视频帧内所有包裹的检测信息放置到一个数据中，称为全图的检测结果。随后，全图的检测结果随视频流输出是以智能帧的形式嵌入到输出的视频流中的。

其中，全图的检测结果包含有各个物品的预设类型、位置信息以及所属包裹的编号等。同时，每一帧视频帧图像都有对应的智能帧。

最终，根据合成后的全图的检测结果内的信息对物品的检测结果进行反馈。

可选的，在将所述当前帧图像中每个目标包裹的检测结果进行合成处理之后，根据合成后的检测结果在确定所述目标包裹中包括违禁物品后，进行告警处理。

本发明实施例中，将所述当前帧图像中每个目标包裹的检测结果进行合成处理之后，根据合成后的检测结果在确定所述目标包裹中包括违禁物品后，进行告警处理。如此，在确定目标包裹中含有违禁物品时能够及时告警，进一步找出目标包裹，排除危险，保证公共产所的人员安全。

实施中，当合成后的检测结果在确定所述目标包裹中包括违禁物品后，进行告警处理。同时，将视频帧对应的智能帧在显示器上绘制显示出来，以便安检人员能够快速找到违禁物品所在的包裹。

其中，告警的方式多种多样，比如：鸣警笛告警、广播告警、短信告警、发闪烁耀眼的光告警等。

将视频帧对应的智能帧在显示器上绘制显示可以直接绘制到对应的包裹图像上，也可以在图像的一侧或一角列出相关的数据信息等。

其中，智能帧是综合各个子图像检测与跟踪结果得到全图的检测结果合成的全图检测结果的数据帧，智能帧中包含有各个物品的预设类别、位置信息以及所属包裹编号。在将视频帧对应的智能帧在显示器上绘制显示出来前，智能帧需要嵌入到输出的视频流中，智能帧嵌入视频流时可以在当前视频前嵌入也可以在当前视频帧后嵌入。其中，每帧视频帧图像都有其对应的智能帧。

类型2、不完整包裹：子图像形状特性不完整的包裹，即刚开始进入监测区域但仍未全部进入监测区域或者开始超出监测区域但仍未完全超出监测区域的包裹。

可选的，在对每个子图像中的包裹进行检测确定切割分的目标包裹为不完整包裹后，对该包裹采取删除措施。

在将当前视频帧图像根据图像直方图进行切割并对切割后的子图像进行分类，确定切割分得的目标包裹为不完整包裹后，对该包裹采取删除措施。由于本发明实施例中将不完整的包裹删除了，因而降低了由不完整包裹检测带来的错检的可能性。与此同时，在包裹进入监测区域且未离开监测区域前，在视频中存在完整形态的包裹，其内的物品必然也是完整的，因而也不会存在漏检。如此可以提高检测的准确性。

不完整的包裹一般是刚开始进入监测区域但仍未全部进入监测区域或者开始超出监测区域但仍未完全超出监测区域的包裹，这类包裹由于包裹本身不完整，因而其中的物品的信息也不完整，倘若对其进行安检，得到的数据会存在差错，所以，需要删除不完整的包裹的子图像，以减少安检数据误差。

类型3、异常包裹：子图像是几个包裹堆叠在一起的子图像，切割当前帧图像时被当做一个包裹处理，即多个包裹堆叠在一起。

异常包裹处理方法保证检测区域的存在物品时，包裹切割方法至少得到一个子图像。

本发明实施例是以包裹为单位进行检测与显示的，当堆叠包裹对应子图像的图像宽度超出显示端预设的最大宽度时，虽然检测算法仍能处理该子图像，但显示端无法完整显示包裹的检测结果，影响用户使用。因此需要对该子图像进行进一步划分，得到满足显示条件的若干个子图像。

可选的，在根据切分得到的包裹的总数量、各包裹的直方图特征和各包裹的几何特征，对每个子图像中的包裹进行分类，确定目标包裹为异常包裹后，通过包裹划分神经网络对异常包裹的子图像再次进行划分。

具体实施中，在根据切分得到的包裹的总数量、各包裹的直方图特征和各包裹的几何特征，对每个子图像中的包裹进行分类，确定目标包裹为异常包裹后，通过包裹划分神经网络对异常包裹的子图像再次进行划分。在用包裹划分神经网络对异常包裹的子图像进行划分后，得到若干个子图像，每个子图像可以包含单个或多个不可再划分的堆叠包裹(可认为是一个大包裹)，每个子图像满足显示条件。得到各个子图像以及对应包裹划分神经网络的特征，然后运用包裹比对算法判断是否为新包裹或已有包裹。

如图6所示，箭头所示为包裹移动方向，当前检测区域内存在包裹A～F，其中包裹C～F发生堆叠，在示例中包裹C与包裹D高度堆叠，包裹E与包裹F高度堆叠，而包裹D与包裹E低度堆叠，包裹A、B不与其他包裹堆叠或粘连。初步包裹划分得到子图像A、B、C。子图像A包含不完整包裹A，子图像B包含正常包裹B。子图像C图像宽度过大被判断为异常包裹。对子图像C，调用异常包裹处理方法，划分为子图像C1与子图像C2，划分后，认为子图像C1包含正常包裹，子图像C2包含不完整包裹(靠近检测区域边缘)。切割本帧图像，最终获取了符合条件的子图像B、C1。

在上例中，假设不存在包裹A、B，包裹F可能与更多后续包裹叠放。初步包裹划分得到子图像C为异常包裹图像，若不进行异常包裹处理，则得不到符合条件的子图像，包裹C、D以及更多后续包裹可能发生漏检。

在当前视频帧的所有操作都完成，且对当前视频帧包裹内物品检测的结果反馈后，进行下一帧视频帧图像的检测工作。在下一帧视频帧图像处理过程中，可能出现目标包裹不存在的情况。

可选的，在对监控视频流的当前帧图像进行包裹切割得到至少一个子图像之后，从所述历史信息中删除位于前一帧图像中、且未出现在当前帧图像中的包裹的检测结果。

在对监控视频流的当前帧图像进行包裹切割得到至少一个子图像之后，会将当前帧内的包裹与历史信息内记录的包裹进行比对，当有包裹存在于前一帧视频帧图像中，却不存在于当前视频帧图像中时，可以推断出该包裹已经完全超出监测区域，该包裹的检测工作已完成，不需要再记录物品检测结果。因此，将历史信息内对应于该包裹的信息数据删除。如此可以使得检测结果数据简洁，从而节省存储空间，加快比对速度。

如图7所示，第T帧中包裹A的检测信息还存在于历史信息中，第T+1帧中包裹A不在监测区域内，包裹A检测工作完成，删除历史信息内对应于包裹A的检测结果数据信息。

基于同一发明构思，本发明实施例还提供了物品检测的设备，由于本发明实施例的设备解决问题的原理与本发明实施例的方法相似，因此本发明实施例的设备的实施可以参见本发明实施例的方法的实施，重复之处不再赘述。

如图8所示，本发明实施例提供一种物品检测的设备，该设备包括：

至少一个处理单元800以及至少一个存储单元801，其中，所述存储单元存储有程序代码，当所述程序代码被所述处理单元执行时，使得所述处理单元执行下列过程：

对监控视频流的当前帧图像进行包裹切割得到至少一个子图像；针对任意一个子图像，通过包裹检测神经网络和前N帧图像，判断所述子图像对应的目标包裹是否是新包裹，其中N为正整数；如果是新包裹，则通过物体检测神经网络确定所述目标包裹的检测结果；如果不是新包裹，则将与目标包裹相同的包裹的检测结果作为所述目标包裹的检测结果；将所述当前帧图像中每个目标包裹的检测结果进行合成处理。

可选的，所述处理单元800具体用于：

在对监控视频流的当前帧图像进行包裹切割得到至少一个子图像时，根据当前帧图像计算图像直方图；根据图像直方图中的峰值，对当前帧图像进行包裹切割得到至少一个子图像。

可选的，所述处理单元800还用于：

在对监控视频流的当前帧图像进行包裹切割，对每个子图像中的包裹进行分类，确定完整包裹、异常包裹和不完整包裹；删除不完整包裹的子图像，以及通过包裹划分神经网络对异常包裹的子图像再次进行划分，得到至少一个子图像时。

可选的，所述处理单元800还用于：

根据切分得到的包裹的总数量、各包裹的直方图特征和各包裹的几何特征，对每个子图像中的包裹进行分类，确定完整包裹、异常包裹和不完整包裹。

可选的，所述处理单元800还用于：

在将与目标包裹相同的包裹的检测结果作为所述目标包裹的检测结果时，通过包裹位置神经网络，确定目标包裹在当前帧图像中的位置；从上一帧图像中确定与目标包裹在当前帧图像中的位置的距离小于阈值的包裹；将确定的包裹的检测结果作为目标包裹的检测结果。

可选的，所述处理单元800还用于：

在通过物体检测神经网络确定所述目标包裹的检测结果时，所述目标包裹的检测结果置于历史信息中；

在将确定的包裹的检测结果作为目标包裹的检测结果时，将从所述历史信息中确定的包裹的检测结果作为目标包裹的检测结果。

可选的，所述处理单元800还用于：

在对监控视频流的当前帧图像进行包裹切割得到至少一个子图像之后，从所述历史信息中删除位于前一帧图像中、且未出现在当前帧图像中的包裹的检测结果。

可选的，所述处理单元800还用于：

在将所述当前帧图像中每个目标包裹的检测结果进行合成处理时，将合成后的检测结果置于所述当前帧图像的数据中。

可选的，所述处理单元800还用于：

在将所述当前帧图像中每个目标包裹的检测结果进行合成处理之后，根据合成后的检测结果在确定所述目标包裹中包括违禁物品后，进行告警处理。

如图9所示，本发明实施例提供一种物品检测的设备，该设备包括：

切割模块900，用于对监控视频流的当前帧图像进行包裹切割得到至少一个子图像；

判断模块901，用于针对任意一个子图像，通过包裹检测神经网络和前N帧图像，判断所述子图像对应的目标包裹是否是新包裹，其中N为正整数；

操作模块902，用于如果是新包裹，则通过物体检测神经网络确定所述目标包裹的检测结果；如果不是新包裹，则将与目标包裹相同的包裹的检测结果作为所述目标包裹的检测结果；

合成模块909，用于将所述当前帧图像中每个目标包裹的检测结果进行合成处理。

可选的，所述切割模块900具体用于：

在对监控视频流的当前帧图像进行包裹切割得到至少一个子图像时，根据当前帧图像计算图像直方图；根据图像直方图中的峰值，对当前帧图像进行包裹切割得到至少一个子图像

可选的，所述判断模块901还用于：

在对监控视频流的当前帧图像进行包裹切割后，对每个子图像中的包裹进行分类，确定完整包裹、异常包裹和不完整包裹；

所述操作模块902还用于：

删除不完整包裹的子图像，以及通过包裹划分神经网络对异常包裹的子图像再次进行划分，得到至少一个子图像。

可选的，所述判断模块901具体用于：

根据切分得到的包裹的总数量、各包裹的直方图特征和各包裹的几何特征，对每个子图像中的包裹进行分类，确定完整包裹、异常包裹和不完整包裹。

可选的，所述操作模块902具体用于：

在将与目标包裹相同的包裹的检测结果作为所述目标包裹的检测结果时，通过包裹位置神经网络，确定目标包裹在当前帧图像中的位置；

从上一帧图像中确定与目标包裹在当前帧图像中的位置的距离小于阈值的包裹；

将确定的包裹的检测结果作为目标包裹的检测结果。

可选的，所述操作模块902具体用于：

在通过物体检测神经网络确定所述目标包裹的检测结果时，所述目标包裹的检测结果置于历史信息中；

在将确定的包裹的检测结果作为目标包裹的检测结果时，将从所述历史信息中确定的包裹的检测结果作为目标包裹的检测结果。

可选的，所述切割模块900还用于：

在对监控视频流的当前帧图像进行包裹切割得到至少一个子图像之后，从所述历史信息中删除位于前一帧图像中、且未出现在当前帧图像中的包裹的检测结果。

可选的,所述合成模块903具体用于：

在将所述当前帧图像中每个目标包裹的检测结果进行合成处理时，将合成后的检测结果置于所述当前帧图像的数据中。

可选的，所述操作模块902还用于:

在将所述当前帧图像中每个目标包裹的检测结果进行合成处理之后，根据合成后的检测结果在确定所述目标包裹中包括违禁物品后，进行告警处理。

本发明实施例提供了一种计算机可存储介质，其上存储有计算机程序，该程序被处理器执行时实现图2的方法中的步骤。

如图10所示，本发明实施例一种物品检测的方法的详细流程示意图，以一件包裹从进入检测区域为例。

步骤1000：监控视频流输入；

步骤1001：根据当前视频帧图像计算图像直方图；

步骤1002：根据当前视频帧图像对应的图像直方图对当前帧图像进行包裹切割；

步骤1003：判断目标包裹是否完整，如果完整，则执行步骤1004；否则，执行步骤1005；

步骤1004：判断目标包裹是否正常，如果正常，则执行步骤1006；否则，执行步骤1007；

步骤1005：删除不完整的包裹子图像；

步骤1006：判断目标包裹是否是新包裹，如果是，则执行步骤1009；否则，执行步骤1010；

步骤1007：通过包裹划分神经网络对异常包裹的子图像再次进行划分；

步骤1008：通过物体检测神经网络对新包裹进行物体检测；

步骤1009：通过包裹位置神经网络，确定目标包裹在当前帧图像中的位置；

步骤1010：从上一帧图像中确定与目标包裹在当前帧图像中的位置的距离小于阈值的包裹；

步骤1011：将确定的包裹的检测结果作为目标包裹的检测结果。

步骤1012：根据各个包裹物体检测的结果更新历史消息；

步骤1013：判断目标包裹内是否含有违禁物品，如果是，则执行步骤1015；否则，执行步骤1018；

步骤1014：合并当前视频帧内所有包裹的检测结果并将合成后的检测结果置于所述当前帧图像的数据中；

步骤1015：将合成后的检测结果置于当前帧图像的数据中以智能帧的形式嵌入视频流随视频流输出；

步骤1016：在显示端将智能帧绘制到对应的图像上，并提供报警提示；

以上参照示出根据本申请实施例的方法、装置(***)和/或计算机程序产品的框图和/或流程图描述本申请。应理解，可以通过计算机程序指令来实现框图和/或流程图示图的一个块以及框图和/或流程图示图的块的组合。可以将这些计算机程序指令提供给通用计算机、专用计算机的处理器和/或其它可编程数据处理装置，以产生机器，使得经由计算机处理器和/或其它可编程数据处理装置执行的指令创建用于实现框图和/或流程图块中所指定的功能/动作的方法。

相应地，还可以用硬件和/或软件(包括固件、驻留软件、微码等)来实施本申请。更进一步地，本申请可以采取计算机可使用或计算机可读存储介质上的计算机程序产品的形式，其具有在介质中实现的计算机可使用或计算机可读程序代码，以由指令执行***来使用或结合指令执行***而使用。在本申请上下文中，计算机可使用或计算机可读介质可以是任意介质，其可以包含、存储、通信、传输、或传送程序，以由指令执行***、装置或设备使用，或结合指令执行***、装置或设备使用。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (19)

1.一种物品检测的方法，其特征在于，该方法包括：

对监控视频流的当前帧图像进行包裹切割得到至少一个子图像；

针对任意一个子图像，通过包裹检测神经网络和前N帧图像，判断所述子图像对应的目标包裹是否是新包裹，其中N为正整数；

如果是新包裹，则通过物体检测神经网络确定所述目标包裹的检测结果；如果不是新包裹，则将与目标包裹相同的包裹的检测结果作为所述目标包裹的检测结果；

将所述当前帧图像中每个目标包裹的检测结果进行合成处理。

2.如权利要求1所述的方法，其特征在于，所述对监控视频流的当前帧图像进行包裹切割得到至少一个子图像，包括：

根据当前帧图像计算图像直方图；

根据图像直方图中的峰值，对当前帧图像进行包裹切割得到至少一个子图像。

3.如权利要求2所述的方法，其特征在于，所述对监控视频流的当前帧图像进行包裹切割，得到至少一个子图像，还包括：

对当前帧图像进行包裹切割得到至少一个子图像后，对每个子图像中的包裹进行分类，确定完整包裹、异常包裹和不完整包裹；

删除不完整包裹的子图像，以及通过包裹划分神经网络对异常包裹的子图像再次进行划分。

4.如权利要求3所述的方法，其特征在于，所述对每个子图像中的包裹进行分类，确定完整包裹、异常包裹和不完整包裹，包括：

根据切分得到的包裹的总数量、各包裹的直方图特征和各包裹的几何特征，对每个子图像中的包裹进行分类，确定完整包裹、异常包裹和不完整包裹。

5.如权利要求1所述的方法，其特征在于，所述将与目标包裹相同的包裹的检测结果作为所述目标包裹的检测结果，包括：

通过包裹位置神经网络，确定目标包裹在当前帧图像中的位置；

从上一帧图像中确定与目标包裹在当前帧图像中的位置的距离小于阈值的包裹；

将确定的包裹的检测结果作为目标包裹的检测结果。

6.如权利要求5所述的方法，其特征在于，所述通过物体检测神经网络确定所述目标包裹的检测结果，包括：

所述目标包裹的检测结果置于历史信息中；

所述将确定的包裹的检测结果作为目标包裹的检测结果，包括：

将从所述历史信息中确定的包裹的检测结果作为目标包裹的检测结果。

7.如权利要求1～6任一所述的方法，其特征在于，所述对监控视频流的当前帧图像进行包裹切割得到至少一个子图像之后，还包括：

从所述历史信息中删除位于前一帧图像中、且未出现在当前帧图像中的包裹的检测结果。

8.如权利要求1～6任一所述的方法，其特征在于，所述将所述当前帧图像中每个目标包裹的检测结果进行合成处理，包括：

将合成后的检测结果置于所述当前帧图像的数据中。

9.如权利要求1～6任一所述的方法，其特征在于，所述将所述当前帧图像中每个目标包裹的检测结果进行合成处理之后，还包括：

根据合成后的检测结果在确定所述目标包裹中包括违禁物品后，进行告警处理。

10.一种物品检测的设备，其特征在于，该设备包括：

至少一个处理单元以及至少一个存储单元，其中，所述存储单元存储有程序代码，当所述程序代码被所述处理单元执行时，使得所述处理单元执行下列过程：

对监控视频流的当前帧图像进行包裹切割得到至少一个子图像；针对任意一个子图像，通过包裹检测神经网络和前N帧图像，判断所述子图像对应的目标包裹是否是新包裹，其中N为正整数；如果是新包裹，则通过物体检测神经网络确定所述目标包裹的检测结果；如果不是新包裹，则将与目标包裹相同的包裹的检测结果作为所述目标包裹的检测结果；将所述当前帧图像中每个目标包裹的检测结果进行合成处理。

11.如权利要求10所述的设备，所述处理单元具体用于：

在对监控视频流的当前帧图像进行包裹切割得到至少一个子图像时，根据当前帧图像计算图像直方图；根据图像直方图中的峰值，对当前帧图像进行包裹切割得到至少一个子图像。

12.如权利要求11所述的设备，所述处理单元还用于：

在对监控视频流的当前帧图像进行包裹切割后，对每个子图像中的包裹进行分类，确定完整包裹、异常包裹和不完整包裹；删除不完整包裹的子图像，以及通过包裹划分神经网络对异常包裹的子图像再次进行划分，得到至少一个子图像。

13.如权利要求12所述的设备，所述处理单元具体用于：

根据切分得到的包裹的总数量、各包裹的直方图特征和各包裹的几何特征，对每个子图像中的包裹进行分类，确定完整包裹、异常包裹和不完整包裹。

14.如权利要求10所述的设备，所述处理单元具体用于：

在将与目标包裹相同的包裹的检测结果作为所述目标包裹的检测结果时，通过包裹位置神经网络，确定目标包裹在当前帧图像中的位置；从上一帧图像中确定与目标包裹在当前帧图像中的位置的距离小于阈值的包裹；将确定的包裹的检测结果作为目标包裹的检测结果。

15.如权利要求14所述的设备，所述处理单元具体用于：

在通过物体检测神经网络确定所述目标包裹的检测结果时，所述目标包裹的检测结果置于历史信息中；

在将确定的包裹的检测结果作为目标包裹的检测结果时，将从所述历史信息中确定的包裹的检测结果作为目标包裹的检测结果。

16.如权利要求10～15任一所述的设备，所述处理单元还用于：

在对监控视频流的当前帧图像进行包裹切割得到至少一个子图像之后，从所述历史信息中删除位于前一帧图像中、且未出现在当前帧图像中的包裹的检测结果。

17.如权利要求10～15任一所述的设备，所述处理单元具体用于：

在将所述当前帧图像中每个目标包裹的检测结果进行合成处理时，将合成后的检测结果置于所述当前帧图像的数据中。

18.如权利要求10～15所述的设备，所述处理单元还用于：

在将所述当前帧图像中每个目标包裹的检测结果进行合成处理之后，根据合成后的检测结果在确定所述目标包裹中包括违禁物品后，进行告警处理。

19.一种物品检测的设备，其特征在于，该设备包括：

切割模块，用于对监控视频流的当前帧图像进行包裹切割得到至少一个子图像；

判断模块，用于针对任意一个子图像，通过包裹检测神经网络和前N帧图像，判断所述子图像对应的目标包裹是否是新包裹，其中N为正整数；

操作模块，用于如果是新包裹，则通过物体检测神经网络确定所述目标包裹的检测结果；如果不是新包裹，则将与目标包裹相同的包裹的检测结果作为所述目标包裹的检测结果；

合成模块，用于将所述当前帧图像中每个目标包裹的检测结果进行合成处理。