CN113468918A - 包裹检测方法、装置、设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种包裹检测方法、装置、设备及存储介质，该包裹检测方法包括：获取传输包裹的监控区域对应的监控视频流中当前帧图像；获取监控区域中无包裹时第一预设区域的第一参考区域图像，以及监控区域中无包裹时第二预设区域的第二参考区域图像，判断当前帧图像中第一预设区域的图像与第一参考区域图像是否匹配；若当前帧图像中第一预设区域的图像与第一参考区域图像不匹配，则判断当前帧图像中第二预设区域的图像与第二参考区域图像是否匹配；若当前帧图像中第二预设区域的图像与第二参考区域图像不匹配，则对当前帧图像进行包裹切割，得到至少一个待存储包裹图像。本申请可以保证切割到包裹，同时避免出现包裹漏检情况。

Description

包裹检测方法、装置、设备及存储介质

技术领域

本申请涉及图像处理技术领域，具体涉及一种包裹检测方法、装置、设备及存储介质。

背景技术

在机场、地铁和车站等公共场所，通常会有X射线的安检机对用户的包裹进行安全检测，以保证人们的生命和财产安全。一般地，安检机包括有电机、传送***、包围在传送***中部的机身和X光机。用户的包裹放置在传送***的一端，传送***将会将包裹从放置的一端传输到另一端，在传输的过程中，X光机将会在安检通道对包裹进行扫描生成X光成像，从而可以检测包裹中是否存在违禁物品。

然而，现有的安检机在面对传送***速度较快或传送***上包裹较多时，会出现连续多个包裹距离过近，导致无法切割的现象，进而造成包裹漏检的情况。

也即，现有技术的包裹检测方法会发生包裹漏检的情况。

发明内容

本申请实施例提供一种包裹检测方法、图像处理方法及装置，旨在解决如何避免发生包裹漏检。

第一方面，本申请提供一种包裹检测方法，所述包裹检测方法包括：

获取传输包裹的监控区域对应的监控视频流中当前帧图像；

获取所述监控区域中无包裹时第一预设区域的第一参考区域图像，以及所述监控区域中无包裹时第二预设区域的第二参考区域图像，其中，第一预设区域和第二预设区域沿预设方向上依次排布，所述预设方向为监控视频流中图像的移动方向；

判断当前帧图像中第一预设区域的图像与第一参考区域图像是否匹配；

若当前帧图像中第一预设区域的图像与第一参考区域图像不匹配，则判断当前帧图像中第二预设区域的图像与第二参考区域图像是否匹配；

若当前帧图像中第二预设区域的图像与第二参考区域图像不匹配，则对当前帧图像进行包裹切割，得到至少一个待存储包裹图像。

其中，所述包裹检测方法还包括：

若当前帧图像中第一预设区域的图像与第一参考区域图像匹配，则获取当前帧图像的前一帧图像；

判断当前帧图像的前一帧图像的第一预设区域的图像与第一参考区域是否匹配；

若当前帧图像的前一帧图像的第一预设区域的图像与第一参考区域不匹配，则对当前帧图像进行包裹切割，得到所述至少一个待存储包裹图像。

其中，所述包裹检测方法还包括：

获取图像集中最新存入的至少一个已存储包裹图像；

基于所述至少一个已存储包裹图像对所述待存储包裹图像进行去重，得到去重后的待存储包裹图像；

将去重后的待存储包裹图像存储至所述图像集内。

其中，所述将去重后的所述待存储包裹图像存储至所述图像集内，包括：

分别获取各个去重后的所述待存储包裹对应的第一外接矩形，以得到至少一个所述第一外接矩形；

判断所述至少一个第一外接矩形中是否存在重叠的第一外接矩形；

若所述至少一个外接矩形中存在重叠的所述第一外接矩形，则获取所述重叠的第一外接矩形的并集对应的第二外接矩形；

将所述第二外接矩形和不重叠的所述第一外接矩形图形存储至所述图像集内。

其中，判断所述至少一个第一外接矩形中是否存在重叠的第一外接矩形，包括：

判断所述第一外接矩形是否满足预设图像条件；

若满足，则判断满足所述预设条件的所述第一外接矩形中是否存在重叠的第一外接矩形。

其中，所述预设图像条件包括：

所述第一外接矩形的长度大于预设长度值且所述第一外接矩形的宽度大于预设宽度值；

和/或，所述第一外接矩形长度与所述第一外接矩形的宽度的比值在第一预设比值范围内；

和/或，所述第一外接矩形中预设像素点数量与总像素点数量的比值在第二预设比值范围内。

其中，所述判断当前帧图像中第一预设区域的图像与第一参考区域图像是否匹配，包括：

判断当前帧图像中第一预设区域的图像与第一参考区域图像的图像相似度是否大于预设阈值；

若是，则判断当前帧图像中第一预设区域的图像与第一参考区域图像匹配；若否，则判断当前帧图像中第一预设区域的图像与第一参考区域图像不匹配。

第二方面，本申请提供一种包裹检测装置，所述包裹检测装置包括：

第一获取单元，用于获取传输包裹的监控区域对应的监控视频流中当前帧图像；

第二获取单元，用于获取所述监控区域中无包裹时第一预设区域的第一参考区域图像，以及所述监控区域中无包裹时第二预设区域的第二参考区域图像，其中，第一预设区域和第二预设区域沿预设方向上依次排布，所述预设方向为监控视频流中图像的移动方向；

第一判断单元，用于判断当前帧图像中第一预设区域的图像与第一参考区域图像是否匹配；

第二判断单元，用于若当前帧图像中第一预设区域的图像与第一参考区域图像不匹配，则判断当前帧图像中第二预设区域的图像与第二参考区域图像是否匹配，其中，第一预设区域和第二预设区域沿预设方向上依次排布，所述预设方向为监控视频流中图像的移动方向；

包裹切割单元，用于若当前帧图像中第二预设区域的图像与第二参考区域图像不匹配，则对当前帧图像进行包裹切割，得到至少一个待存储包裹图像。

第三方面，本申请提供一种包裹检测设备，所述包裹检测设备包括：

一个或多个处理器；

存储器；以及

一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现第一方面中任一项所述的包裹检测方法。

第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行第一方面中任一项所述的包裹检测方法中的步骤。

本申请提供一种包裹检测方法，该包裹检测方法在获取监控视频流的当前帧图像后，先判断当前帧图像中第一预设区域的图像与第一参考区域图像是否匹配，若当前帧图像中第一预设区域的图像与第一参考区域图像不匹配，表明当前帧图像中第一预设区域内有包裹特征，包裹未完全进入监控画面；然后判断当前帧图像中第二预设区域的图像与第二参考区域图像是否匹配，若当前帧图像中第二预设区域的图像与第二参考区域图像不匹配，表明包裹即将移出监控画面中，此时包裹位于第一预设区域和第二预设区域之间且即将移出监控画面，此时进行包裹切割，可以保证切割到包裹，同时避免出现包裹漏检情况。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的包裹检测方法一个实施例流程示意图；

图2是本申请实施例提供的包裹检测方法一个实施例中监控视频流中图像的移动方向示意图；

图3是本申请实施例提供的包裹检测方法一个实施例中第一预设区域和第二预设区域的示意图；

图4是本申请实施例提供的包裹检测方法一个实施例中包裹刚刚进入第一预设区域的示意图；

图5是本申请实施例提供的包裹检测方法一个实施例中包裹即将越过第一预设区域的示意图；

图6是本申请实施例提供的包裹检测方法一个实施例中新的包裹再次抵达第二预设区域时的示意图；

图7是本申请实施例提供的包裹检测方法一个实施例中第一预设区域位于包裹之间的间隔时的示意图；

图8是本申请实施例提供的包裹检测方法一个实施例中当前帧的前一帧图像的示意图；

图9是本申请实施例提供的包裹检测方法一个实施例中包裹A的第一外接矩形的示意图；

图10是本申请实施例提供的包裹检测方法一个实施例中多个包裹的第二外接矩形的示意图；

图11是本申请实施例中提供的包裹检测装置一个实施例结构示意图；

图12是本申请实施例中提供的包裹检测设备一个实施例结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本申请中，“示例性”一词用来表示“用作例子、例证或说明”。本申请中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本申请，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本申请。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本申请的描述变得晦涩。因此，本申请并非旨在限于所示的实施例，而是与符合本申请所公开的原理和特征的最广范围相一致。

本申请实施例提供一种包裹检测方法、装置、设备及存储介质。以下分别进行详细说明。

首先，本申请实施例中提供一种包裹检测方法，包裹检测方法包括：

获取传输包裹的监控区域对应的监控视频流中当前帧图像；获取监控区域中无包裹时第一预设区域的第一参考区域图像，以及监控区域中无包裹时第二预设区域的第二参考区域图像，其中，第一预设区域和第二预设区域沿预设方向上依次排布，预设方向为监控视频流中图像的移动方向；判断当前帧图像中第一预设区域的图像与第一参考区域图像是否匹配；若当前帧图像中第一预设区域的图像与第一参考区域图像不匹配，则判断当前帧图像中第二预设区域的图像与第二参考区域图像是否匹配；若当前帧图像中第二预设区域的图像与第二参考区域图像不匹配，则对当前帧图像进行包裹切割，得到至少一个待存储包裹图像。

参阅图1，图1是本申请实施例提供的包裹检测方法一个实施例流程示意图。如图1所示，该包裹检测方法包括：

S101、获取传输包裹的监控区域对应的监控视频流中当前帧图像。

本申请实施例中，通过安检机获取传输包裹的监控区域对应的原始监控视频流，从原始监控视频流提取当前帧图像。安检机，又名安检仪，包括安检X光机，行李安检机，通道式X光机，物检X光机，X射线安检仪，X光行李安检机，X射线检测仪，X射线异物检测机，X光安检机，X光行包检测仪，三品检测仪，三品检查机，三品检查仪，查危仪。安检机广泛应用于机场、火车站、地铁站、汽车站、政府机关大楼、大使馆、会议中心、会展中心、酒店、商场、大型活动、邮局、学校、物流行业、工业检测等。

在一个具体的实施例中，根据安检机主机或显示器的型号及接口方式，通过接口获取安检机的原始监控视频流。接口可以是VGA(Video Graphics Array，视频图形阵列)、DVI(Digital Visual Interface，数字视频接口)、HDMI(High Definition MultimediaInterface，高清多媒体接口)等，其中，VGA接口采用的是模拟信号，DVI和HDMI使用数字信号，HDMI相比DVI接口支持了音频的输出。当安检机支持多种接口方式时，优先按照HDMI、DVI、VGA的顺序选择接口方式，以减少视频信号的损失。

现有安检机图像读取接口基本不开放，同时由于安检机型号、接口及出厂时间等区别，部分已开放接口的安检机接口方式也不相同，需要根据不同的安检机进行适配。因此，难以获取图片动态保存路径等信息，也不方便实时分析统计包裹数量、对包裹内物体进行识别、检测包裹中是否含有违禁物品并进行报警等。即使在离线图片存储状态下，现有部分安检机厂家自带的切图工具切割保存的图片质量不佳，如存在包裹过切、临近包裹无法切除等问题，无法保留高质量的包裹图像。而安检机显示屏可以实时显示包裹视频流信息，因此对视频流信息进行处理，即可切割得到每一个包裹图片。

在另一个具体的实施例中，采用对安检机的显示屏录屏的方式获取安检机的原始监控视频流。安检机厂家众多、接口各异，我们可能可以获取一两种安检机切割图像底层信息或接口形式，但没法拿到全部的接口，也没法获得所有厂家、所有品牌安检机的切割图像，局限性较大。采用录屏的方式获取安检机的监控视频流，能够避免安检机的接口不开放导致无法获取监控视频流的情况，针对任何的安检机均可以获取监控视频流。目前安检机厂家是不使用录屏方式切割包裹的。而采用录屏方式，与安检机厂家无关，使用算法可以对任何一种安检机进行包裹分割。

需要说明的是，当通过接口获取安检机的原始监控视频流时，监控区域为安检机的拍摄界面；当采用对安检机的显示屏录屏的方式获取安检机的原始监控视频流，监控区域为录屏装置的拍摄界面。

在获取原始监控视频流之后，判断原始监控视频流的监控窗口的前端是否存在弹窗，若原始监控视频流的监控窗口的前端不存在弹窗，表明监控窗口未被阻挡，则获取原始监控视频流的当前帧图像，形成正常监控视频流；若监控视频流的监控窗口的前端存在弹窗，表明监控窗口被阻挡，此时的图像为异常帧，则暂停获取监控视频流的当前帧图像。进一步的，当监控视频流的监控窗口的前端存在弹窗时，发出提示信息，以使得工作人员进行处理。

在实际操作中，首先通过程序获取安检机的进程，通过安检机的进程显示屏中各个显示窗口的位置。当新的显示窗口位于显示屏的最前端时，即遮挡住默认的监控窗口时，判断为异常帧，停止数据传输并报警。当新的显示窗口不遮挡默认的监控窗口或消失时，判断为正常帧，恢复图像数据传输。

由于安检机的原始监控视频流是工控计算机通过显卡输出的，使得输出的安检视频画面中将会包含有：X光图展示区域和控制面板区域，此外，安检视频中也可能会包含有非安检图像界面的内容，例如工控计算机在显示安视频过程中，将安检图像界面最小化、或是切换到其他***界面、或在安检图像界面上显示其它内容，因此输出的原始监控视频流将会携带有包含有非安检图像界面的内容，X光图像展示区域是出现包裹的区域。控制面板区域是用于控制安检视频播放的功能区。

在一个具体的实施例中，基于预设有效检测区域对正常监控视频流中的图像进行裁剪，得到有效视频帧图像，形成有效监控视频流。其中，在安检机内不存在包裹时，对安检机的原始监控视频流中的图像进行灰度检查，确定灰度值相等的区域，将灰度值相等的区域的内接矩形确定为预设有效检测区域，将正常监控视频流中预设有效检测区域中的图像提取出来，得到有效视频帧图像。安检机内不存在包裹时，安检机的监控视频流中的图像为近似白色，菜单栏、边界等颜色差异较大，在对图像进行二值化处理后，可清晰得到中间空白区域，取此最大区域矩形框，即可得到预设有效检测区域。当然，也可以人工确定预设有效检测区域，例如可以手动设置一定的矩形框区域，如设置预设有效检测区域为1000×1000，该区域包含完整的包裹信息，同时不包含软件菜单或者背景等其余信息。

在一个具体的实施例中，在获取有效监控视频流之后，对有效监控视频流中的有效视频帧图像进行缩放，得到缩放后的有效监控视频流。通过对图像进行裁剪，对裁剪的图像进行尺度缩放处理，小尺度的缩放对包裹边缘检测影响较小，但会大大加快图像处理的速度。

在一个优选的实施例中，获取缩放后的有效监控视频流的当前帧图像。当然，在其他实施例中，可以是原始监控视频流、正常监控视频流以及缩放后的有效监控视频流中的任意一种中获取当前帧图像。

S102：获取监控区域中无包裹时第一预设区域的第一参考区域图像，以及监控区域中无包裹时第二预设区域的第二参考区域图像。

参阅图2和图3，图2是本申请实施例提供的包裹检测方法一个实施例中监控视频流中图像的移动方向示意图；图3是本申请实施例提供的包裹检测方法一个实施例中第一预设区域和第二预设区域的示意图。

本申请实施例中，监控视频流中的图像上包括依次排布的第一预设区域1000、第二预设区域2000。第一预设区域1000和第二预设区域2000沿预设方向上依次排布，预设方向为监控视频流中图像的移动方向。

具体的，在获取监控视频流的当前帧图像之前，获取监控视频流中图像的移动方向，根据监控视频流中图像的移动方向确定第一预设区域1000和第二预设区域2000。具体的，获取监控视频流中的至少两帧图像，根据同一预设图像在至少两帧图像中的位置得到预设图像的运动轨迹，根据预设图像的运动轨迹确定监控视频流中图像的移动方向。将监控视频流中图像在预设方向的两块图像区域确定为第一预设区域1000和第二预设区域2000。

在一个具体的实施例中，预设图像为带有包裹特征的n列像素区域，n不小于1，获取监控视频流中的前后两帧图像，获取n列像素区域在前后两帧图像中的位置，例如n列像素区域在前一帧图像上的位置为P1，n列像素区域在前一帧图像上的位置为P2，则判定物体运动方向为F1方向，从左向右运动。若P1在P2的右侧，则判定物体运动方向与F1方向相反，为从右向左运动。

在一个具体的实施例中，监控视频流中的图像的宽度为L，第一预设区域1000与监控视频流中图像的进入端边界的距离为d，d为距离，根据具体情况设定。第二预设区域2000距离进入端边界处为宽度的0.75L。第一预设区域1000和第二预设区域2000可以是矩形区域。

本申请实施例中，第一参考区域图像为安检机中未进入包裹时获取的监控视频流中图像的第一预设区域1000上的图像。第二参考区域图像为安检机中未进入包裹时获取的监控视频流中图像的第二预设区域2000上的图像。一般而言，当安检机中未进入包裹时获取的监控视频流中图像为白色背景图像，因此，第一参考区域图像和第二参考区域图像可以均为白色背景图像。当然，第一参考区域图像和第二参考区域图像根据不同的安检机有所不同，根据具体情况确定即可。

S103、判断当前帧图像中第一预设区域的图像与第一参考区域图像是否匹配。

本申请实施例中，判断当前帧图像中第一预设区域1000上的图像与第一参考区域图像的图像相似度是否大于预设阈值。其中，预设阈值可以根据具体的安检机类型设定，例如80％，90％等。图像匹配是图像处理中常用的算法，包括平方差匹配法，归一化平方差匹配法，相关匹配法归一化相关匹配法，相关系数匹配法，归一化相关系数匹配法等。

例如，当安检机中没有包裹时，当前帧图像就是白色背景图像，当前帧图像中第一预设区域1000上的图像与第一参考区域图像的相似度为100％，当新的包裹逐渐进入安检机时，当前帧图像中第一预设区域1000上的图像与第一参考区域图像的相似度是会逐渐降低的，比如当新的物体跟之前的模板相似度降低到小于80％时，即表示有新的物体进入了。这个阈值是根据每台安检机都会有些小的改变的。

若当前帧图像中第一预设区域1000上的图像与第一参考区域图像的图像相似度大于预设阈值，则判断当前帧图像中第一预设区域1000上的图像与第一参考区域图像匹配，表示当前帧图像中第一预设区域1000没有包裹特征；若当前帧图像中第一预设区域1000上的图像与第一参考区域图像的图像相似度不大于预设阈值，则判断当前帧图像中第一预设区域1000上的图像与第一参考区域图像不匹配，表示当前帧图像中第一预设区域1000有有包裹特征。

S104、若当前帧图像中第一预设区域的图像与第一参考区域图像不匹配，则判断当前帧图像中第二预设区域的图像与第二参考区域图像是否匹配。

参阅图4和图5，图4是本申请实施例提供的包裹检测方法一个实施例中包裹刚刚进入第一预设区域的示意图；图5是本申请实施例提供的包裹检测方法一个实施例中包裹即将越过第一预设区域的示意图。

本申请实施例中，若当前帧图像中第一预设区域1000上的图像与第一参考区域图像不匹配，表示当前帧图像中第一预设区域1000有包裹特征。此时，可能是包裹刚进入第一预设区域1000，如图4所示。当然，也可能是包裹即将离开第一预设区域1000，如图5所示。此时，需要进一步进行判断，则判断当前帧图像中第二预设区域2000的图像与第二参考区域图像是否匹配。具体的，判断当前帧图像中第二预设区域2000的图像与第二参考区域图像是否匹配的步骤可以参阅S103，本申请在此不再赘述。

S105、若当前帧图像中第二预设区域的图像与第二参考区域图像不匹配，则对当前帧图像进行包裹切割，得到至少一个待存储包裹图像。

继续参阅图5，本申请实施例中，当前帧图像中第二预设区域2000的图像与第二参考区域图像不匹配，表示第二预设区域2000内有包裹特征，此时包裹位于第一预设区域1000和第二预设区域2000之间且即将移出监控画面，需要进行强制切割。则对当前帧图像进行包裹切割，得到至少一个待存储包裹图像。也即，对即当连续包裹占据屏幕大部分界面时，执行强制切割程序。如包裹为由左向右运动，当包裹在水平方向占据屏幕3/4以上时即启动强制切割程序。

具体的，包裹切割流程主要包括提取包裹最外侧轮廓。采用膨胀、腐蚀及边界提取方式来生成边界轮廓。腐蚀会使图像中包裹的边界收缩，可以用来消除小且无意义的目标物。膨胀会使包裹范围变大，将与包裹接触的背景点合并到包裹中，使包裹边界向外部扩张，用来填补包裹中某些空洞以及消除包裹中的小颗粒噪声等。在实际安检机图像切割过程中，为了保证包裹的完整性、同时去除包裹内的微小空洞，进行先膨胀后腐蚀的闭运算。由于水平方向包裹间距比较小，较多的膨胀会导致不相连的包裹连在一起，为了方便切割出不同的包裹，在水平方向进行少膨胀，多腐蚀操作。而在竖直方向上，进行正常的腐蚀与膨胀操作。

图像边缘是图像局部特性不连续性的反应，如灰度、颜色、纹理结构突变等。图像沿边缘方向像素变化平缓，垂直于边缘方向像素变化剧烈。边缘上的这种变化可以用Prewitt、Sobel、Lapacian等微分算子检测出来，用一阶或两阶导数来检测边缘。

对灰度渐变和噪声不多的X光机图像，使用Sobel算子提取边界轮廓。Sobel算子具有检测速度快，效率高等特点。基于Sobel算子进行边缘提取时，先分别求垂直和竖直方向上的亮度差分近似值，并对每一像素的横向及纵向灰度值进行结合，求出该点梯度大小；然后定义阈值，设定梯度大于该阀值的点为边缘点，计算得到梯度图像的二值化图像即为边缘图像。

当X光机图像中噪声较多时，使用Canny算法提取边界轮廓。在提取轮廓过程中，首先使用高斯滤波器滤除噪声，计算图像中每个像素点的梯度大小和方向，对梯度大小进行非极大值抑制，用双阈值检测方法来检测及连接边缘。在检测边缘时，使用两种不同的阈值分别检测强边缘和弱边缘，当弱边缘和强边缘相连时，将弱边缘同时输出到保存图像中。

优选的，对当前帧图像的进入端边界至第二预设区域2000之间的图像进行强制切割。也即对左侧边界到第二预设区域2000的图像进行包裹切割处理。这样可以做到上下两张已处理的图像没有重合区域，不会导致重复切割。

进一步的，在对当前帧图像的进入端边界至第二预设区域2000之间的图像进行强制切割之前包括，获取上一次强制切割时间至当前时间的时间段内监控视频流中的图像的移动距离，当上一次强制切割时间至当前时间的时间段内监控视频流中的图像的移动距离超过当前帧图像的进入端边界至第二预设区域2000之间的距离，则进行强制切割；若上一次强制切割时间至当前时间的时间段内监控视频流中的图像的移动距离不超过当前帧图像的进入端边界至第二预设区域2000之间的距离，则不进行强制切割。

参阅图6，图6是本申请实施例提供的包裹检测方法一个实施例中新的包裹再次抵达第二预设区域时的示意图。

例如，同时在距离左侧边界d2位置取固定n列像素组成的图像作为模板。当包裹继续进入时，以模板在图像中进行匹配操作，获取上一次强制切割时间至当前时间的时间段内监控视频流中的图像的移动距离。上一次强制切割的图像为包括包裹A、包裹B和包裹C的图像。当模板第二预设区域2000右侧d2处时，即上一次强制切割至当前时间的时间段内监控视频流中的图像的移动距离为3/4L，表明新的包裹，即包括包裹D、包裹E和包裹F的图像，已完全移动到最大边界处，即对该帧图像进行处理，提取左侧边界到3/4位置为包裹图像，对图像进行包裹切割处理。

进一步的，该包裹检测方法还包括：

(1)若当前帧图像中第一预设区域1000上的图像与第一参考区域图像匹配，则获取当前帧图像的前一帧图像。

参阅图7，图7是本申请实施例提供的包裹检测方法一个实施例中第一预设区域位于包裹之间的间隔时的示意图；图8是本申请实施例提供的包裹检测方法一个实施例中当前帧的前一帧图像的示意图。

若当前帧图像中第一预设区域1000上的图像与第一参考区域图像匹配，表明第一预设区域1000内没有包裹特征，需要结合之前的帧图像判断包裹状态。

(2)判断当前帧图像的前一帧图像的第一预设区域1000上的图像与第一参考区域是否匹配。

判断当前帧图像的前一帧图像的第一预设区域1000上的图像与第一参考区域是否匹配的步骤可参考S102，在此不再赘述。

(3)若当前帧图像的前一帧图像的第一预设区域1000上的图像与第一参考区域不匹配，则对当前帧图像进行包裹切割，得到至少一个待存储包裹图像。

若当前帧图像的前一帧图像的第一预设区域1000上的图像与第一参考区域不匹配，表明当前帧图像的前一帧图像的第一预设区域1000上存在包裹特征。也即，第一预设区域1000的图像是由白色背景图像突变为非白色背景区域，由此可判断包裹的尾部开始离开第一预设区域1000，表示包裹完全进入监控界面，此时对当前帧图像进行包裹切割，

进一步的，包裹检测方法还包括：

(1)获取图像集中最新存入的至少一个已存储包裹图像。

其中，图像集用于存储包裹切割后的包裹图像。至少一个已存储包裹图像可以是1个，2个，3个，4个或者更多个图像，根据具体情况设定。

(2)基于至少一个已存储包裹图像对待存储包裹图像进行去重，得到去重后的待存储包裹图像。

本申请实施例中，可以将每个待存储包裹图像逐一与至少一个已存储包裹图像进行图像匹配，若待存储包裹图像与至少一个已存储包裹图像中的任意一个匹配，则判定该待存储包裹图像已经存储过，将重复的待存储包裹图像去除后，得到去重后的待存储包裹图像。

(3)将去重后的待存储包裹图像存储至图像集内。

进一步的，将去重后的待存储包裹图像存储至图像集内，包括以下步骤：

(1)分别获取各个去重后的待存储包裹对应的第一外接矩形3000，以得到至少一个第一外接矩形3000；

参阅图9，图9是本申请实施例提供的包裹检测方法一个实施例中包裹A的第一外接矩形的示意图。

(2)判断至少一个第一外接矩形3000中是否存在重叠的第一外接矩形3000。

具体的，判断第一外接矩形3000是否满足预设图像条件；若满足，则判断满足预设条件的第一外接矩形3000中是否存在重叠的第一外接矩形3000。

在一个具体的实施例中，预设图像条件为第一外接矩形3000的长度大于预设长度值且第一外接矩形3000的宽度大于预设宽度值。预设长度值和预设宽度值根据具体情况设定。针对较小尺寸包裹，通过设定矩形包围框最小宽和高来过滤这些异常包裹，小于阈值的包裹不保存。

在另一个具体的实施例中，所第一外接矩形3000长度与第一外接矩形3000的宽度的比值在第一预设比值范围内。第一预设比值根据具体情况设定。针对形状异常包裹，分别通过设定宽高比例、高宽比例小于设定阈值来进行包裹过滤，超过阈值的包裹不保存。

在又一个具体的实施例中，所第一外接矩形3000中预设像素点数量与总像素点数量的比值在第二预设比值范围内。预设像素点可以为黄色像素，第二预设比值根据具体情况设定。一般无效低分辨率包裹为接近黄色背景的图像，图像内颜色差异较小，且没有有效物品。通过检测灰度图像中黄色像素占整个图像中像素的比例来实现，当该比例小于设定阈值时，判定为低分辨率图像，不做保存处理。

(3)若至少一个外接矩形中存在重叠的第一外接矩形3000，则获取重叠的第一外接矩形3000的并集对应的第二外接矩形4000。

参阅图10，图10是本申请实施例提供的包裹检测方法一个实施例中多个包裹的第二外接矩形的示意图。

对连续的多个包裹进行分割会形成多个外接矩形框。以相近的两个包裹为例，当两个包裹距离较近时，生成的矩形框会有一定的重叠。基于单个矩形框进行切割会导致包裹切割不完整，为避免这一现象，将临近两矩形框进行合并，以两矩形框组成的单个最大矩形框为基准进行切割，可保证包裹的完整性。同样，当多个连续包裹矩形框有重叠时，以多个矩形框的上、下、左、右极点位置组成新的矩形框来切割包裹。

(4)将第二外接矩形4000和不重叠的第一外接矩形3000图形存储至图像集内。

区别于现有技术，本申请提供一种包裹检测方法，该包裹检测方法在获取监控视频流的当前帧图像后，先判断当前帧图像中第一预设区域的图像与第一参考区域图像是否匹配，若当前帧图像中第一预设区域的图像与第一参考区域图像不匹配，表明当前帧图像中第一预设区域内有包裹特征，包裹未完全进入监控画面；然后判断当前帧图像中第二预设区域的图像与第二参考区域图像是否匹配，若当前帧图像中第二预设区域的图像与第二参考区域图像不匹配，表明包裹即将移出监控画面中，此时包裹位于第一预设区域和第二预设区域之间且即将移出监控画面，此时进行包裹切割，可以保证切割到包裹，同时避免出现包裹漏检情况。

为了更好实施本申请实施例中包裹检测方法，在包裹检测方法基础之上，本申请实施例中还提供一种包裹检测装置，如图11所示，图11是本申请实施例中提供的包裹检测装置一个实施例结构示意图，该包裹检测装置包括第一获取单元301、第二获取单元302、第一判断单元303、第二判断单元304、包裹切割单元305：

第一获取单元301，用于获取传输包裹的监控区域对应的监控视频流中当前帧图像；

第二获取单元302，用于获取所述监控区域中无包裹时第一预设区域的第一参考区域图像，以及所述监控区域中无包裹时第二预设区域的第二参考区域图像，其中，第一预设区域和第二预设区域沿预设方向上依次排布，所述预设方向为监控视频流中图像的移动方向；

第一判断单元303，用于判断当前帧图像中第一预设区域的图像与第一参考区域图像是否匹配；

第二判断单元304，用于若当前帧图像中第一预设区域的图像与第一参考区域图像不匹配，则判断当前帧图像中第二预设区域的图像与第二参考区域图像是否匹配，其中，第一预设区域和第二预设区域沿预设方向上依次排布，所述预设方向为监控视频流中图像的移动方向；

包裹切割单元305，用于若当前帧图像中第二预设区域的图像与第二参考区域图像不匹配，则对当前帧图像进行包裹切割，得到至少一个待存储包裹图像。

第一判断单元303，还用于若当前帧图像中第一预设区域的图像与第一参考区域图像匹配，则获取当前帧图像的前一帧图像；

判断当前帧图像的前一帧图像的第一预设区域的图像与第一参考区域是否匹配；

若当前帧图像的前一帧图像的第一预设区域的图像与第一参考区域不匹配，则对当前帧图像进行包裹切割，得到所述至少一个待存储包裹图像。

其中，包裹切割单元305，还用于获取图像集中最新存入的至少一个已存储包裹图像；

基于所述至少一个已存储包裹图像对所述待存储包裹图像进行去重，得到去重后的待存储包裹图像；

将去重后的待存储包裹图像存储至所述图像集内。

其中，包裹切割单元305，还用于分别获取各个去重后的所述待存储包裹对应的第一外接矩形，以得到至少一个所述第一外接矩形；

判断所述至少一个第一外接矩形中是否存在重叠的第一外接矩形；

若所述至少一个外接矩形中存在重叠的所述第一外接矩形，则获取所述重叠的第一外接矩形的并集对应的第二外接矩形；

将所述第二外接矩形和不重叠的所述第一外接矩形图形存储至所述图像集内。

其中，第一判断单元303，还用于判断所述第一外接矩形是否满足预设图像条件；

若满足，则判断满足所述预设条件的所述第一外接矩形中是否存在重叠的第一外接矩形。

其中，所述预设图像条件包括：

所述第一外接矩形的长度大于预设长度值且所述第一外接矩形的宽度大于预设宽度值；

和/或，所述第一外接矩形长度与所述第一外接矩形的宽度的比值在第一预设比值范围内；

和/或，所述第一外接矩形中预设像素点数量与总像素点数量的比值在第二预设比值范围内。

其中，第一判断单元303，还用于判断当前帧图像中第一预设区域的图像与第一参考区域图像的图像相似度是否大于预设阈值；

若是，则判断当前帧图像中第一预设区域的图像与第一参考区域图像匹配；若否，则判断当前帧图像中第一预设区域的图像与第一参考区域图像不匹配。

本申请实施例还提供一种包裹检测装置。如图12所示，图12是本申请实施例中提供的包裹检测设备一个实施例结构示意图，具体来讲：

该包裹检测设备可以包括一个或者一个以上处理核心的处理器501、一个或一个以上计算机可读计算机可读存储介质的存储器502、电源503和输入单元504等部件。本领域技术人员可以理解，图中示出的包裹检测设备结构并不构成对包裹检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器501是该包裹检测设备的控制中心，利用各种接口和线路连接整个包裹检测设备的各个部分，通过运行或执行存储在存储器502内的软件程序和/或模块，以及调用存储在存储器502内的数据，执行包裹检测设备的各种功能和处理数据，从而对包裹检测设备进行整体监控。可选的，处理器501可包括一个或多个处理核心；优选的，处理器501可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器501中。

存储器502可用于存储软件程序以及模块，处理器501通过运行存储在存储器502的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器502可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据包裹检测设备的使用所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器502还可以包括存储器控制器，以提供处理器501对存储器502的访问。

包裹检测设备还包括给各个部件供电的电源503，优选的，电源503可以通过电源管理***与处理器501逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。电源503还可以包括一个或一个以上的直流或交流电源、再充电***、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该包裹检测设备还可包括输入单元504，该输入单元504可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，包裹检测设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，包裹检测设备中的处理器501会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器502中，并由处理器501来运行存储在存储器502中的应用程序，从而实现各种功能，如下：

获取传输包裹的监控区域对应的监控视频流中当前帧图像；

获取监控区域中无包裹时第一预设区域的第一参考区域图像，以及监控区域中无包裹时第二预设区域的第二参考区域图像，其中，第一预设区域和第二预设区域沿预设方向上依次排布，预设方向为监控视频流中图像的移动方向；

判断当前帧图像中第一预设区域的图像与第一参考区域图像是否匹配；

若当前帧图像中第一预设区域的图像与第一参考区域图像不匹配，则判断当前帧图像中第二预设区域的图像与第二参考区域图像是否匹配；

若当前帧图像中第二预设区域的图像与第二参考区域图像不匹配，则对当前帧图像进行包裹切割，得到至少一个待存储包裹图像。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读计算机可读存储介质中，并由处理器进行加载和执行。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请实施例提供一种计算机可读存储介质，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random AccessMemory)、磁盘或光盘等。其上存储有计算机程序，计算机程序被处理器进行加载，以执行本申请实施例所提供的任一种包裹检测方法中的步骤。例如，计算机程序被处理器进行加载可以执行如下步骤：

获取传输包裹的监控区域对应的监控视频流中当前帧图像；

获取监控区域中无包裹时第一预设区域的第一参考区域图像，以及监控区域中无包裹时第二预设区域的第二参考区域图像，其中，第一预设区域和第二预设区域沿预设方向上依次排布，预设方向为监控视频流中图像的移动方向；

判断当前帧图像中第一预设区域的图像与第一参考区域图像是否匹配；

若当前帧图像中第一预设区域的图像与第一参考区域图像不匹配，则判断当前帧图像中第二预设区域的图像与第二参考区域图像是否匹配；

若当前帧图像中第二预设区域的图像与第二参考区域图像不匹配，则对当前帧图像进行包裹切割，得到至少一个待存储包裹图像。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对其他实施例的详细描述，此处不再赘述。

具体实施时，以上各个单元或结构可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元或结构的具体实施可参见前面的方法实施例，在此不再赘述。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

以上对本申请实施例所提供的一种包裹检测方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种包裹检测方法，其特征在于，所述包裹检测方法包括：

获取传输包裹的监控区域对应的监控视频流中当前帧图像；

获取所述监控区域中无包裹时第一预设区域的第一参考区域图像，以及所述监控区域中无包裹时第二预设区域的第二参考区域图像，其中，第一预设区域和第二预设区域沿预设方向上依次排布，所述预设方向为监控视频流中图像的移动方向；

判断当前帧图像中第一预设区域的图像与第一参考区域图像是否匹配；

若当前帧图像中第一预设区域的图像与第一参考区域图像不匹配，则判断当前帧图像中第二预设区域的图像与第二参考区域图像是否匹配；

若当前帧图像中第二预设区域的图像与第二参考区域图像不匹配，则对当前帧图像进行包裹切割，得到至少一个待存储包裹图像。

2.根据权利要求1所述的包裹检测方法，其特征在于，所述包裹检测方法还包括：

若当前帧图像中第一预设区域的图像与第一参考区域图像匹配，则获取当前帧图像的前一帧图像；

判断当前帧图像的前一帧图像的第一预设区域的图像与第一参考区域是否匹配；

若当前帧图像的前一帧图像的第一预设区域的图像与第一参考区域不匹配，则对当前帧图像进行包裹切割，得到所述至少一个待存储包裹图像。

3.根据权利要求1或2所述的包裹检测方法，其特征在于，所述包裹检测方法还包括：

获取图像集中最新存入的至少一个已存储包裹图像；

基于所述至少一个已存储包裹图像对所述待存储包裹图像进行去重，得到去重后的待存储包裹图像；

将去重后的待存储包裹图像存储至所述图像集内。

4.根据权利要求3所述的包裹检测方法，其特征在于，所述将去重后的所述待存储包裹图像存储至所述图像集内，包括：

分别获取各个去重后的所述待存储包裹对应的第一外接矩形，以得到至少一个所述第一外接矩形；

判断所述至少一个第一外接矩形中是否存在重叠的第一外接矩形；

若所述至少一个外接矩形中存在重叠的所述第一外接矩形，则获取所述重叠的第一外接矩形的并集对应的第二外接矩形；

将所述第二外接矩形和不重叠的所述第一外接矩形图形存储至所述图像集内。

5.根据权利要求4所述的包裹检测方法，其特征在于，判断所述至少一个第一外接矩形中是否存在重叠的第一外接矩形，包括：

判断所述第一外接矩形是否满足预设图像条件；

若满足，则判断满足所述预设条件的所述第一外接矩形中是否存在重叠的第一外接矩形。

6.根据权利要求5所述的包裹检测方法，其特征在于，所述预设图像条件包括：

所述第一外接矩形的长度大于预设长度值且所述第一外接矩形的宽度大于预设宽度值；

和/或，所述第一外接矩形长度与所述第一外接矩形的宽度的比值在第一预设比值范围内；

和/或，所述第一外接矩形中预设像素点数量与总像素点数量的比值在第二预设比值范围内。

7.根据权利要求1所述的包裹检测方法，其特征在于，所述判断当前帧图像中第一预设区域的图像与第一参考区域图像是否匹配，包括：

判断当前帧图像中第一预设区域的图像与第一参考区域图像的图像相似度是否大于预设阈值；

若是，则判断当前帧图像中第一预设区域的图像与第一参考区域图像匹配；若否，则判断当前帧图像中第一预设区域的图像与第一参考区域图像不匹配。

8.一种包裹检测装置，其特征在于，所述包裹检测装置包括：

第一获取单元，用于获取传输包裹的监控区域对应的监控视频流中当前帧图像；

第二获取单元，用于获取所述监控区域中无包裹时第一预设区域的第一参考区域图像，以及所述监控区域中无包裹时第二预设区域的第二参考区域图像，其中，第一预设区域和第二预设区域沿预设方向上依次排布，所述预设方向为监控视频流中图像的移动方向；

第一判断单元，用于判断当前帧图像中第一预设区域的图像与第一参考区域图像是否匹配；

第二判断单元，用于若当前帧图像中第一预设区域的图像与第一参考区域图像不匹配，则判断当前帧图像中第二预设区域的图像与第二参考区域图像是否匹配，其中，第一预设区域和第二预设区域沿预设方向上依次排布，所述预设方向为监控视频流中图像的移动方向；

包裹切割单元，用于若当前帧图像中第二预设区域的图像与第二参考区域图像不匹配，则对当前帧图像进行包裹切割，得到至少一个待存储包裹图像。

9.一种包裹检测设备，其特征在于，所述包裹检测设备包括：

一个或多个处理器；

存储器；以及

一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现权利要求1至7中任一项所述的包裹检测方法。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行权利要求1至7中任一项所述的包裹检测方法中的步骤。

Images