CN109800621A - 自助通道检测***及方法 - Google Patents

Abstract

一种自助通道检测***及方法，通过于自助通道设置第一与第二双目摄像模块，以监控自助通道内所定义的三维检测区域，并由处理模块通过对第一、第二双目摄像模块所输出的第一、第二监控视频流进行撷取，以生成第一检测图像与第二检测图像，且检测各第一检测图像与第二检测图像中的人体骨架，并分析人体骨架的移动轨迹与骨骼形态，并通过将人体骨架的移动轨迹与骨骼形态与参考模型进行比对，从而判断自助通道内是否存在异常，借此，本发明可有效阻断多人闯闸的异常发生，以增强自助通道的安全性。

Description

自助通道检测***及方法

技术领域

本申请实施例涉及视频监控领域，尤指一种可防止尾随的自助通道检测***及方法。

背景技术

对于一些特定的通道，比如出入境通道、验票通道等，存在必须单人依次通行的通行要求，因此，目前针对此类通道，大都会安装专门的监控***，其可用于在当检测到有多人同时进入通道时，能够及时地输出相关预警信息，以防止尾随的发生。

目前，用于检测自助通道的尾随异常的方式主要有两种，一种为传统的红外对射传感器，另一种为头顶视频分析仪。

传统红外对射传感器，采用多对传感器分布于通道内，其包括分别安装在通道的相对两侧的发射端与接收端，其中，接收端通过过桥线以接收发射端的信号。传统红外对射传感器一般采用上下两排，位于上排的传感器主要用于检测通道内是否同时存在多人的异常，而位于下排的传感器则主要用于检测通道内的物品，但当通道内的物品的高度高于上排传感器的设置高度时，该物品则会被位于上排的传感器误判为人，同样地，当位于通道内的人的身高低于上排传感器的设置高度时，则该同行者会被误判为物。此外在进行多人检测时，两者之间必须要有一定的间隔，否则传感器则无法得出多人的判断结果，也就是说，传统红外对射传感器无法检测出通道内的并肩、背人、紧贴、抱人(婴儿、小孩)等多人异常状态。

头顶视频分析仪则采用一个或者多个摄像头来检测通道内部情况，但由于设备需安装于通道内部的上方(一般高度在2.6米左右)，因此，设备的电源线与通讯线必须从天花板上进行走线，造成施工与维护比较麻烦的问题。再者，由于头顶视频分析仪采用的是图层分析人体形态，存在一定的盲区，特别是针对小孩、婴儿的检测难以区分，且当通道内的人或物低于一定的高度时，还需要借助其它装置进行辅助检测。

因此，如何提供一种自助通道的检测技术，以克服目前技术中存在的上述问题，即为本申请待解决的技术课题。

发明内容

有鉴于此，本发明实施例的主要目的在于提供一种自助通道检测***及方法，可检测多人同时进入自助通道的异常，以防止尾随。

本发明实施例的另一目的在于提供一种自助通道检测***及方法，可精确区分进入自助通道的人和物，且无需其他装置进行辅助检测，且安装维护方便。

本申请的第一实施例提供了一种自助通道检测***，应用于自助通道，所述自助通道定义有三维检测区域，其特征在于，包括：第一与第二双目摄像模块，其设置于所述自助通道，用于针对所述三维检测区域进行监控，并生成第一监控视频流与第二监控视频流；以及处理模块，其具有：存储单元，其用于储存参考模型特征值；图像撷取单元，其用于分别从所述第一与第二监控视频流中撷取第一检测图像与第二检测图像；以及分析单元，其用于检测各第一检测图像与第二检测图像中的人体骨架，并分析人体骨架的移动轨迹与骨骼形态，并将所述人体骨架的移动轨迹与骨骼形态与所述参考模型特征值进行比对，以判断所述自助通道中的所述三维检测区域是否存在异常。

可选地，在本申请的任一实施例中，所述第一与第二双目摄像模块因应所述自助通道中所定的所述三维检测区域的位置而分别设置于所述自助通道的入口处与出口处。

可选地，在本申请的任一实施例中，所述处理模块为单片机。

可选地，在本申请的任一实施例中，所述第一双目摄像模块所输出的所述第一监控视频流与所述第二双目摄像模块所输出的所述第二监控视频流为帧同步。

可选地，在本申请的任一实施例中，所述图像撷取单元还包括分别从所述第一与第二监控视频流中撷取多组连续的第一检测图像与第二检测图像，且各组所述第一与第二检测图像为同步，并合成各组所述第一与第二检测图像，以生成多个连续的三维待检测图像。

可选地，在本申请的任一实施例中，所述分析单元还包括：骨架检测子单元，其用于检测各所述三维待检测图像中的人体骨架，并生成多组人体骨架数据信息；骨架分析子单元，其依据所述骨架检测子单元所生成的人体骨架数据信息，判断所述三维待检测图像中的人体骨架的数量；骨架比重计算子单元，其用于当所述骨架分析子单元判断所述三维待检测图像中的人体骨架的数量为一个时，计算所述人体骨架相较于所述三维检测区域的占用比重，并判断所述占用比重是否大于预设的阈值；以及异常状态判断子单元，其用于当所述骨架分析子单元判断所述三维待检测图像中的人体骨架的数量为至少二个时或者当所述骨架比重计算子单元判断所述占用比重小于所述阈值时，从所述骨架检测子单元所生成的所述人体骨架数据信息中提取至少一特征点，并依据各所述三维待检测图像中的人体骨架中所提取的所述特征点，分析所述特征点的移动轨迹并生成特征点移动轨迹分析数据，以及依据所提取的所述特征点，分析人体骨骼形态并生成人体骨骼形态分析数据，且结合所述特征点移动轨迹分析数据与所述人体骨骼形态分析数据，并与所述存储单元中所储存的所述参考模型特征值进行比对，以判断所述自助通道中的所述三维检测区域是否存在异常以及分析所述三维检测区域中的所述异常状态。

可选地，在本申请的任一实施例中，所述异常状态至少包括左右并肩、前后跟随、前后紧贴、背人、抱婴中的一者。

可选地，在本申请的任一实施例中，所述分析单元还包括数据输出子单元，其通讯连接上位机，并根据所述异常状态判断子单元的判断结果生成相应的通道状态分析报告，并将所述通道状态分析报告传送至所述上位机。

可选地，在本申请的任一实施例中，所述分析单元还包括位置计算子单元，其用于当所述骨架比重计算子单元计算所述人体骨架相较于所述三维检测区域的占用比重大于所述阈值时，或异常状态判断子单元判断所述自助通道中的所述三维检测区域存在异常时，计算所述人体骨架于所述三维检测区域中的位置，并输出位置计算结果予所述数据输出子单元。

可选地，在本申请的任一实施例中，所述异常状态判断子单元还包括当所述骨架分析子单元判断所述三维待检测图像中的人体骨架的数量为零时，判断所述自助通道中的所述三维检测区域是否存在物体，且所述位置计算子单元还包括当所述异常状态判断子单元判断所述三维检测区域存在物体时，计算所述物体于所述三维检测区域中的位置。

可选地，在本申请的任一实施例中，所述参考模型特征值包括人体形态模型特征值与物体特征值。

本申请的第一实施例提供了一种自助通道检测方法，应用于定义有三维检测区域的自助通道，于所述自助通道设置有第一与第二双目摄像模块，其特征在于，包括：导入参考模型特征值；通过所述第一与第二双目摄像模块监控所述自助通道的所述三维检测区域，以生成第一监控视频流与第二监控视频流；从所述第一与第二监控视频流中撷取多组连续的第一检测图像与第二检测图像；检测各所述第一检测图像与第二检测图像中的人体骨架；分析人体骨架的移动轨迹与骨骼形态，并将所述人体骨架的移动轨迹与骨骼形态与所述参考模型特征值进行比对，以判断所述自助通道中的所述三维检测区域是否存在异常。

可选地，在本申请的任一实施例中，所述第一与第二双目摄像模块因应所述自助通道中所定的所述三维检测区域的位置而分别设置于所述自助通道的入口处与出口处。

可选地，在本申请的任一实施例中，第一双目摄像模块所输出的所述第一监控视频流与所述第二双目摄像模块所输出的所述第二监控视频流为帧同步。

可选地，在本申请的任一实施例中，各组所述第一与第二检测图像为同步，且所述方法还包括合成各组所述第一与第二检测图像，以生成多个连续的三维待检测图像。

可选地，在本申请的任一实施例中，所述方法还包括：检测各所述三维待检测图像中的人体骨架，并生成多组人体骨架数据信息；以及依据所述人体骨架数据信息，判断所述三维待检测图像中的人体骨架的数量。

可选地，在本申请的任一实施例中，所述方法还包括：当判断所述三维待检测图像中的人体骨架的数量为一个时，首先，从所述人体骨架数据信息中提取至少一特征点，并依据各所述三维待检测图像中的人体骨架中所提取的所述特征点，分析所述特征点的移动轨迹并生成特征点移动轨迹分析数据以及依据所提取的所述特征点，分析人体骨骼形态并生成人体骨骼形态分析数据，接着，计算所述人体骨架相较于所述三维检测区域的占用比重，并判断所述占用比重是否大于预设的阈值；当判断所述占用比重小于预设的阈值时，结合所述特征点移动轨迹分析数据与所述人体骨骼形态分析数据，并与所述参考模型特征值进行比对分析，以判断所述自助通道中的所述三维检测区域是否存在异常，并当判断所述自助通道中的所述三维检测区域存在异常时，分析所述自助通道中的所述三维检测区域中的所述异常状态，并据以输出第二异常分析报告，而当判断所述占用比重大于预设的所述阈值时，输出第四异常分析报告；当判断所述三维待检测图像中的人体骨架的数量为至少二个时，从所述人体骨架数据信息中提取至少一特征点，并依据各所述三维待检测图像中的人体骨架中所提取的所述特征点，分析所述特征点的移动轨迹并生成特征点移动轨迹分析数据以及依据所提取的所述特征点，分析人体骨骼形态并生成人体骨骼形态分析数据，结合所述特征点移动轨迹分析数据与所述人体骨骼形态分析数据，并与所储存的所述参考模型特征值进行比对，以分析所述自助通道中的所述三维检测区域中的异常状态，并据以输出第一异常分析报告；当判断所述三维待检测图像中的人体骨架的数量为零时，依据所述参考模型特征值，判断所述自助通道中的所述三维检测区域是否存在物体，并当判断所述自助通道中的所述三维检测区域存在所述物体时，输出第三异常分析报告；以及接收所述第一、第二、第三或第四异常分析报告，计算所述人体骨架或所述物体于所述三维检测区域中的位置，以生成位置计算结果，并整合所述位置计算结果与所述第一、第二、第三或第四异常分析报告后予以输出。

可选地，在本申请的任一实施例中，所述异常状态至少包括左右并肩、前后跟随、前后紧贴、背人、抱婴中的一者。

可选地，在本申请的任一实施例中，所述参考模型特征值包括人体形态模型特征值与物体特征值。

由上可知，本申请实施例所提供的自助通道检测***及方法通过在自助通道的入口与出口分别设置双目摄像头，以对自助通道的三维检测区域进行监控检测，可以精确地区分出自助通道内的人和物，并可以精确地检测出通道内存在多人的各种异常状态，例如背人、左右并肩、紧贴、抱人、小孩、抱婴、牵小孩等。

再者，本申请实施例所提供的自助通道检测***及方法无需借助其他装置进行辅助，安装维护简单方便，且采用单片机独立处理，整个***均集成于单片机中，具有体积小、结构加单、可靠性高，控制能力强的优点。

附图说明

后文将参照附图以示例性而非限制性的方式详细描述本申请实施例的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：

图1是根据本申请的一实施例所示的自助通道检测***的架构示意图。

图2是图1所示的自助通道检测***的实施例示意图；

图3是图1所示的自助通道检测***的信号线的连接关系示意图；

图4是图1所示的自助通道检测***的双目摄像模组于自助通道内的设置位置示意图；

图5是根据本申请的一实施例所示的自助通道检测方法的基本流程示意图；以及

图6是图5所示的流程图中的图像分析的具体执行步骤示意图。

具体实施方式

实施本发明实施例的任一技术方案必不一定需要同时达到以上的所有优点。

为了使本领域的人员更好地理解本发明实施例中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明实施例一部分实施例，而不是全部的实施例。基于本发明实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本发明实施例保护的范围。

下面结合本发明实施例附图进一步说明本发明实施例具体实现。

请配合参阅图1及图3，本申请的一实施例提供一种自助通道检测***1，可应用于自助通道2，例如出入境自助通道、验票自助通道等，于自助通道2中预先定义有三维检测区域21(如图4所示)。

请参阅图1，本实施例的自助通道检测***1主要包括第一双目摄像模块11、第二双目摄像模块12、与处理模块13。请配合参阅图3，第一与第二双目摄像模块11,12例如为双目摄像头，处理模块13为单片机，用于通过USB通讯接口分别连接第一、第二双目摄像模块11,12，主要用于接收第一、第二双目摄像模块11,12所采集的视频图像。于单片机中集成有分析软件可用于分析第一、第二双目摄像模块11,12所采集的视频图像，从而判断进入自助通道2的一人还是多人，分析的结果可通过RS485通讯接口传送给上位机3(例如通道控制器32)，例如上传自助通道内的状态信息，而上位机3(例如工控机31)可通过单片机的RJ45通讯接口获取第一、第二双目摄像模块11,12所采集的视频图像。

具体而言，请配合参阅图4，第一双目摄像模块11与第二双目摄像模块12分别设置于自助通道2，用于针对三维检测区域21进行监控，以生成第一监控视频流与第二监控视频流。请配合参阅图4，于本实施例中，第一双目摄像模块11与第二双目摄像模块12因应自助通道2中所定的三维检测区域21的位置而分别设置于所述自助通道2的入口处与出口处，具体而言，第一双目摄像模块11设置于自助通道2的入口处(即图4中A点位置)，设置高度例如在1.1m左右，其镜头朝通道内部，镜头上下安装，负责采集进入通道的人员的正面视频图像。第二双目摄像模块12设置在自助通道2的出口入(即图4中B点位置)，设置高度例如在1.65m左右，镜头同样朝向通道内部，镜头上下安装，负责采集进入通道的人员的背面视频图像。再者，第一双目摄像模块11所输出的所述第一监控视频流与第二双目摄像模块12所输出的所述第二监控视频流为帧同步。

处理模块13(例如为单片机)可安装于通道机体内部，其作为自助通道检测***1的核心，主要用于接收分析第一、第二双目摄像模块11,12所采集的视频信息并分析，以计算自助通道2的内部状态。

于本实施例中，处理模块13具有存储单元131、图像撷取单元132、与分析单元133。

存储单元131用于储存参考模型特征值，于本实施例中，存储单元131中所存储的参考模型特征值包括有人体形态模型特征值与物体特征值。此外，本申请也可以根据第一、第二双目摄像单元11,12所保存的实时的第一检测图像与第二检测图像进行学习，以生成新的参考模型特征值。

图像撷取单元132用于分别从第一与第二监控视频流中撷取多组连续的第一检测图像与第二检测图像，其中各组所述第一与第二检测图像为同步，并合成各组所述第一与第二检测图像，以生成多个连续的三维待检测图像。具体来说，针对各组第一检测图像与第二检测图像而言，如上所述，由于第一双目摄像模块11所输出的所述第一监控视频流与第二双目摄像模块12所输出的所述第二监控视频流为帧同步，图像撷取单元132可按照监控视频流中的每一帧图像对应的时间戳信息，自第一监控视频流与第二监控视频流中分别撷取具有相同的时间戳的第一检测图像与第二检测图像以形成一组图像，分别代表进入自助通道2的人或物在同一时刻点的正面视频图像与背面视频图像，并分别将每一组中具有相同时间戳的第一检测图像与第二检测图像进行合成处理，以生成相对应的三维待检测图像。此外，上述连续的多组第一检测图像与第二检测图像即是指时间戳连续的多组第一检测图像与第二检测图像，所生成的多个三维待检测图亦为时间戳连续。

分析单元133用于检测各所述三维待检测图像中的人体骨架，并从各组人体骨架中分别提取至少一特征点，并依据所提取的所述特征点，分析所述特征点的移动轨迹并生成特征点移动轨迹分析数据，以及依据所提取的所述特征点，分析人体骨骼形态并生成人体骨骼形态分析数据，并结合所述特征点移动轨迹分析数据与所述人体骨骼形态分析数据，并与存储单元131中所储存的所述参考模型特征值进行比对，以判断自助通道2中的三维检测区域21是否存在异常。

于本实施例中，分析单元133还包括骨架检测子单元1330、骨架分析子单元1331、骨架比重计算子单元1332、以及异常状态判断子单元1333。

骨架检测子单元1330用于检测各连续的三维待检测图像中的人体骨架，并生成多组人体骨架数据信息。于本实施例中，骨架检测子单元1330可通过图像深度学习技术、人体骨骼算法检测各连续的三维待检测图像中的人体骨架。

骨架分析子单元1331用于依据骨架检测子单元1330所生成的人体骨架数据信息，判断三维待检测图像中的人体骨架的数量。于本实施例中，骨架分析子单元1331通过将与三维待检测图像所对应的第一检测图像与第二检测图像中的人体骨架的特征进行比对，也就是将时间戳为相同的第一检测图像与第二检测图像中的人体骨架的特征进行比对，以分析两者的相似度，若比对特征相似度大于或等于预设值时，则可判断三维待检测图像中的人体骨架的数量为一个，也就是判定进入自助通道2的三维检测区域21的为同一人，若比对特征相似度低于预设值时，则判断三维待检测图像中的人体骨架的数量为至少二个，也就是判定自助通道2的三维检测区域21的为多人；若没有检测到骨架时，则判断三维待检测图像中的人体骨架的数量为零，即可能当前有物体进入了自助通道2的三维检测区域21。

骨架比重计算子单元1332用于当骨架分析子单元1331判断三维待检测图像中的人体骨架的数量为一个(即一人)时，计算所述人体骨架相较于三维检测区域21的占用比重，并判断所述占用比重是否大于预设的阈值。具体而言，当骨架分析子单元1331判定为一个骨架时，则根据与所述三维待检测图像所对应的第一检测图像与第二检测图像，计算所述人体骨架在三维检测区域占用的比重，也就是旅客的人体体态在三维检测区域中占用的空间比重，若比重超过一定阈值，则判定为非正常状态，若比重小于一定阈值时，则再由异常状态判断子单元1333进行进一步的判断(请容后详述)。此外，所述阈值可以根据检测等级进行设定或调整。

异常状态判断子单元1333用于当骨架分析子单元1331判断所述三维待检测图像中的人体骨架的数量为至少二个时(即多人)时，或者当骨架比重计算子单元1332判断所述占用比重小于所述阈值时，则从骨架检测子单元1330所生成的人体骨架数据信息中提取至少一特征点，并依据各所述三维待检测图像中的人体骨架中所提取的所述特征点，分析所述特征点的移动轨迹并生成特征点移动轨迹分析数据，以及依据所提取的所述特征点，分析人体骨骼形态并生成人体骨骼形态分析数据，且结合所述特征点移动轨迹分析数据与所述人体骨骼形态分析数据，并与存储单元131中所储存的所述参考模型特征值进行比对，以判断自助通道2中的三维检测区域21是否存在异常，且当判断自助通道2中的三维检测区域21存在异常时，则进一步分析三维检测区域21中的所述异常状态。

于本实施例中，异常状态判断子单元1333可通过图像深度学习技术、人体骨骼算法从人体面部(例如五官)或四肢的位置提取至少一特征点，并通过特征点追踪算法对多组连续的三维待检测图像中的人体骨架的变化轨迹进行追踪，以计算出所述特征点的移动轨迹并生成特征点移动轨迹分析数据。并可依据所提取的特征点，通过例如人体行为算法而对人体形态进行分析以生成人体骨骼形态分析数据。而后，异常状态判断子单元1333结合所述特征点移动轨迹分析数据与所述人体骨骼形态分析数据，并与存储单元131中所储存的所述参考模型特征值进行比对，以分析人体形态，例如，通过与参考模型特征值进行比对，以判别旅客是否存在左右并肩、前后跟随、前后紧贴、背人、抱婴等行为特征，然并不以此为限，也可为坐轮椅、推行李箱、拉行李箱、推单车等行为特征。

再者，当骨架分析子单元1331判断所述三维待检测图像中的人体骨架的数量为零时，异常状态判断子单元1333还用于判断自助通道2中的所述三维检测区域21是否存在物体。

此外，若异常状态判断子单元1333从参考模型特征值找到相匹配者，还可进一步根据预设的预警等级，判断是否输出预警信息，由此，用户可以根据特定的需求，而按照安全等级来设定报警的级别。

于本申请的实施例中，分析单元133还包括数据输出子单元1334，其可通讯连接上位机3，并根据异常状态判断子单元1333的判断结果生成相应的通道状态分析报告，并将所述通道状态分析报告传送至上位机3。

较佳者，分析单元133还包括有位置计算子单元1335，其用于当骨架比重计算子单元1332计算所述人体骨架相较于三维检测区域21的占用比重大于所述阈值时，或异常状态判断子单元1333判断所述自助通道2中的所述三维检测区域21存在异常时，计算所述人体骨架于三维检测区域21中的位置，并输出位置计算结果予数据输出子单元1334。此外，位置计算子单元1335还当异常状态判断子单元1333判断三维检测区域21存在物体时，计算所述物体于所述三维检测区域21中的位置，并输出位置计算结果予数据输出子单元1334，以供数据输出子单元1334一并输出至上位机3。

请配合参阅图5，且为显示本发明的自助通道检测方法的基本流程示意图。本申请的方法应用于定义有三维检测区域的自助通道，于所述自助通道设置有第一与第二双目摄像模块，于本实施例中，第一与第二双目摄像模块(因应所述自助通道中所定的所述三维检测区域的位置而分别设置于所述自助通道的入口处与出口处，如图5所示，所述方法包括：

步骤S51，导入参考模型特征值。于本实施例中，所述参考模型特征值包括人体形态模型特征值与物体特征值。

步骤S52,通过第一与第二双目摄像模块监控自助通道的三维检测区域，以生成第一监控视频流与第二监控视频流。于本实施例中，第一双目摄像模块所输出的所述第一监控视频流与所述第二双目摄像模块所输出的所述第二监控视频流为帧同步。

步骤S53，从所述第一与第二监控视频流中撷取多组连续的第一检测图像与第二检测图像。于本实施例中，从所述第一与第二监控视频流中撷取多组连续的第一检测图像与第二检测图像，其中，各组所述第一与第二检测图像为同步。如上所述，由于第一双目摄像模块所输出的所述第一监控视频流与第二双目摄像模块所输出的所述第二监控视频流为帧同步，故可按照监控视频流中的每一帧图像对应的时间戳信息，自第一监控视频流与第二监控视频流中分别撷取具有相同的时间戳的第一检测图像与第二检测图像以形成一组图像，上述连续的多组第一检测图像与第二检测图像即是指时间戳连续的多组第一检测图像与第二检测图像。较佳者，本步骤还包括合成各组所述第一与第二检测图像，以生成多个连续的三维待检测图像。具体而言，通过分别将每一组中具有相同时间戳的第一检测图像与第二检测图像进行合成处理，以生成相对应的三维待检测图像，所生成的多个三维待检测图亦为时间戳连续。

步骤S54，检测各所述第一检测图像与第二检测图像中的人体骨架。具体而言，是通过检测各所述三维待检测图像中的人体骨架，以生成多组人体骨架数据信息。例如通过图像深度学习技术、人体骨骼算法检测各连续的三维待检测图像中的人体骨架。

步骤S55，分析人体骨架的移动轨迹与骨骼形态，并将所述人体骨架的移动轨迹与骨骼形态与所述参考模型特征值进行比对，以判断所述自助通道中的所述三维检测区域是否存在异常。具体而言，是从各组所述人体骨架数据信息中分别提取至少一特征点，并依据所提取的所述特征点，分析所述特征点的移动轨迹并生成特征点移动轨迹分析数据，还依据所提取的所述特征点，分析人体骨骼形态并生成人体骨骼形态分析数据，而后，结合所述特征点移动轨迹分析数据与所述人体骨骼形态分析数据，并与所述参考模型特征值进行比对分析，以判断所述自助通道中的所述三维检测区域是否存在异常状态。

请配合参阅图6，其为显示本申请一实施例的图像检测分析的具体流程示意图，也就是图5中步骤S55的具体执行步骤流程，具体如下：

接续图5的步骤S54之后，接续执行步骤61，判断人体骨架的数量，也就是依据所述人体骨架数据信息，判断所述三维待检测图像中的人体骨架的数量，当判断结果为一个，则进行步骤S621；当判断结果为至少二个，则进行步骤S631；若判断结果为不存在人体骨架，则进行步骤S64。于本实施例中，通过将与三维待检测图像所对应的第一检测图像与第二检测图像中的人体骨架的特征进行比对，也就是将时间戳为相同的第一检测图像与第二检测图像中的人体骨架的特征进行比对，以分析两者的相似度，若比对特征相似度大于或等于预设值时，则可判断三维待检测图像中的人体骨架的数量为一个，也就是判定进入自助通道的三维检测区域的为同一人，若比对特征相低于预设值时，则判断三维待检测图像中的人体骨架的数量为至少二个，也就是判定自助通道的三维检测区域的为多人；若没有检测到骨架时，则判断三维待检测图像中的人体骨架的数量为零。

步骤S621，从各组所述人体骨架数据信息中分别提取至少一特征点。例如可通过图像深度学习技术、人体骨骼算法从人体面部(例如五官)或四肢的位置提取至少一特征点。

步骤S622，依据所提取的所述特征点，分析所述特征点的移动轨迹并生成特征点移动轨迹分析数据。例如通过特征点追踪算法对多组连续的三维待检测图像中的人体骨架的变化轨迹进行追踪，以计算出所述特征点的移动轨迹并生成特征点移动轨迹分析数据。

步骤S623，计算所述人体骨架相较于所述三维检测区域的占用比重。例如根据与所述三维待检测图像所对应的第一检测图像与第二检测图像，计算所述人体骨架在三维检测区域占用的比重，即旅客的人体体态在三维检测区域中占用的空间比重。

步骤S624，判断占用比重是否大于阈值，若大于阈值，输出第四异常分析报告，并进行步骤S65，若小于阈值，则进行步骤S625。

步骤S625，结合所述特征点移动轨迹分析数据与所述人体骨骼形态分析数据，并与所述参考模型特征值进行比对分析，以判断所述自助通道中的所述三维检测区域是否存在异常，若判断结果为异常，则进行步骤S626，若判断结果无异常则分析下一帧。

步骤S626，分析自助通道中的三维检测区域21中的所述异常形态，并据以输出第二异常分析报告，接着进行步骤S65。于本实施例中，所述异常形态至少包括背人、抱人、推行李、推车、轮椅等。

步骤S631，从各组所述人体骨架数据信息中分别提取至少一特征点。例如可通过图像深度学习技术、人体骨骼算法从人体面部(例如五官)或四肢的位置提取至少一特征点。

步骤S632，依据所提取的所述特征点，分析所述特征点的移动轨迹并生成特征点移动轨迹分析数据。例如通过特征点追踪算法对多组连续的三维待检测图像中的人体骨架的变化轨迹进行追踪，以计算出所述特征点的移动轨迹并生成特征点移动轨迹分析数据。

步骤S633，结合所述特征点移动轨迹分析数据与所述人体骨骼形态分析数据，并与所储存的所述参考模型特征值进行比对，以分析所述自助通道中的所述三维检测区域中的异常形态,并据以输出第一异常分析报告，接着进行步骤S65。于本实施例中，所述异常形至少包括左右并肩、前后跟随或紧贴、前后牵小孩、背人、抱人等。

步骤S64，判断自助通道中的三维检测区域是否存在物体，也就是自助通道中是否有物体闯入，当判断自助通道中的三维检测区域存在所述物体时，输出第三异常分析报告，并进行步骤S65，若判断不存在物体闯入时，则分析下一帧。

步骤S65，计算所述人体骨架或所述物体于三维检测区域中的位置，以生成位置计算结果，并进行步骤S66。

步骤S66，整合所述位置计算结果与所述第一、第二、第三或第四异常分析报告后予以输出，例如输出至上位机，接着进行下一帧的分析。

综上所述，本申请实施例所提供的自助通道检测***及方法，可精确地检测出通道内的异常形态，误报率小，且安装维护方便，有效弥补了传统红外对射传感器无法检测背人、左右并肩、紧贴、抱人、小孩、抱婴、牵小孩等功能缺陷，同时可弥补了头顶视频分析仪安装维护不便，检测存在盲区等缺点。

再者，本申请实施例所提供的自助通道检测***及方法无需其他装置进行辅助，并采用图像深度学习技术、人体骨骼算法、人体行为算法，特征点追踪算法等多项技术分析监控视频图像，可针对通道内的各种异常形态进行精确地识别，以有效阻断多人闯闸的情事发生，大大增强了自助通道的安全性。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，所述计算机可读记录介质包括用于以计算机(例如计算机)可读的形式存储或传送信息的任何机制。例如，机器可读介质包括只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪速存储介质、电、光、声或其他形式的传播信号(例如，载波、红外信号、数字信号等)等，该计算机软件产品包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本申请实施例的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

本领域的技术人员应明白，本发明实施例的实施例可提供为方法、装置(设备)、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

Claims (19)

1.一种自助通道检测***，应用于自助通道，所述自助通道定义有三维检测区域，其特征在于，包括：

第一与第二双目摄像模块，其设置于所述自助通道，用于针对所述三维检测区域进行监控，并生成第一监控视频流与第二监控视频流；以及

处理模块，其具有：

存储单元，其用于储存参考模型特征值；

图像撷取单元，其用于分别从所述第一与第二监控视频流中撷取第一检测图像与第二检测图像；以及

分析单元，其用于检测各第一检测图像与第二检测图像中的人体骨架，并分析人体骨架的移动轨迹与骨骼形态，并将所述人体骨架的移动轨迹与骨骼形态与所述参考模型特征值进行比对，以判断所述自助通道中的所述三维检测区域是否存在异常。

2.根据权利要求1所述的自助通道检测***，其特征在于，所述第一与第二双目摄像模块因应所述自助通道中所定的所述三维检测区域的位置而分别设置于所述自助通道的入口处与出口处。

3.根据权利要求1所述的自助通道检测***，其特征在于，所述处理模块为单片机。

4.根据权利要求1所述的自助通道检测***，其特征在于，所述第一双目摄像模块所输出的所述第一监控视频流与所述第二双目摄像模块所输出的所述第二监控视频流为帧同步。

5.根据权利要求4所述的自助通道检测***，其特征在于，所述图像撷取单元还包括分别从所述第一与第二监控视频流中撷取多组连续的第一检测图像与第二检测图像，且各组所述第一与第二检测图像为同步，并合成各组所述第一与第二检测图像，以生成多个连续的三维待检测图像。

6.根据权利要求5所述的自助通道检测***，其特征在于，所述分析单元还包括：

骨架检测子单元，其用于检测各所述三维待检测图像中的人体骨架，并生成多组人体骨架数据信息；

骨架分析子单元，其依据所述骨架检测子单元所生成的人体骨架数据信息，判断所述三维待检测图像中的人体骨架的数量；

骨架比重计算子单元，其用于当所述骨架分析子单元判断所述三维待检测图像中的人体骨架的数量为一个时，计算所述人体骨架相较于所述三维检测区域的占用比重，并判断所述占用比重是否大于预设的阈值；以及

异常状态判断子单元，其用于当所述骨架分析子单元判断所述三维待检测图像中的人体骨架的数量为至少二个时或者当所述骨架比重计算子单元判断所述占用比重小于所述阈值时，从所述骨架检测子单元所生成的所述人体骨架数据信息中提取至少一特征点，并依据各所述三维待检测图像中的人体骨架中所提取的所述特征点，分析所述特征点的移动轨迹并生成特征点移动轨迹分析数据，以及依据所提取的所述特征点，分析人体骨骼形态并生成人体骨骼形态分析数据，且结合所述特征点移动轨迹分析数据与所述人体骨骼形态分析数据，并与所述存储单元中所储存的所述参考模型特征值进行比对，以判断所述自助通道中的所述三维检测区域是否存在异常以及分析所述三维检测区域中的异常状态。

7.根据权利要求6所述的自助通道检测***，其特征在于，所述异常状态至少包括左右并肩、前后跟随、前后紧贴、背人、抱婴中的一者。

8.根据权利要求7所述的自助通道检测***，其特征在于，所述分析单元还包括：

数据输出子单元，其通讯连接上位机，并根据所述异常状态判断子单元的判断结果生成相应的通道状态分析报告，并将所述通道状态分析报告传送至所述上位机。

9.根据权利要求8所述的自助通道检测***，其特征在于，所述分析单元还包括：

位置计算子单元，其用于当所述骨架比重计算子单元计算所述人体骨架相较于所述三维检测区域的占用比重大于所述阈值时，或所述异常状态判断子单元判断所述自助通道中的所述三维检测区域存在异常时，计算所述人体骨架于所述三维检测区域中的位置，并输出位置计算结果予所述数据输出子单元。

10.根据权利要求9所述的自助通道检测***，其特征在于，所述异常状态判断子单元还包括当所述骨架分析子单元判断所述三维待检测图像中的人体骨架的数量为零时，判断所述自助通道中的所述三维检测区域是否存在物体，且所述位置计算子单元还包括当所述异常状态判断子单元判断所述三维检测区域存在物体时，计算所述物体于所述三维检测区域中的位置。

11.根据权利要求10所述的自助通道检测***，其特征在于，所述参考模型特征值包括人体形态模型特征值与物体特征值。

12.一种自助通道检测方法，应用于定义有三维检测区域的自助通道，于所述自助通道设置有第一与第二双目摄像模块，其特征在于，包括：

导入参考模型特征值；

通过所述第一与第二双目摄像模块监控所述自助通道的所述三维检测区域，以生成第一监控视频流与第二监控视频流；

从所述第一与第二监控视频流中撷取多组连续的第一检测图像与第二检测图像；

检测各所述第一检测图像与第二检测图像中的人体骨架；以及

分析人体骨架的移动轨迹与骨骼形态，并将所述人体骨架的移动轨迹与骨骼形态与所述参考模型特征值进行比对，以判断所述自助通道中的所述三维检测区域是否存在异常。

13.根据权利要求12所述的自助通道检测方法，其特征在于，所述第一与第二双目摄像模块因应所述自助通道中所定的所述三维检测区域的位置而分别设置于所述自助通道的入口处与出口处。

14.根据权利要求12所述的自助通道检测方法，其特征在于，第一双目摄像模块所输出的所述第一监控视频流与所述第二双目摄像模块所输出的所述第二监控视频流为帧同步。

15.根据权利要求12所述的自助通道检测方法，其特征在于，各组所述第一与第二检测图像为同步，且所述方法还包括合成各组所述第一与第二检测图像，以生成多个连续的三维待检测图像。

16.根据权利要求15所述的自助通道检测方法，其特征在于，所述方法还包括：

检测各所述三维待检测图像中的人体骨架，并生成多组人体骨架数据信息；以及

依据所述人体骨架数据信息，判断所述三维待检测图像中的人体骨架的数量。

17.根据权利要求16所述的自助通道检测方法，其特征在于，所述方法还包括：

当判断所述三维待检测图像中的人体骨架的数量为一个时，首先，从所述人体骨架数据信息中提取至少一特征点，并依据各所述三维待检测图像中的人体骨架中所提取的所述特征点，分析所述特征点的移动轨迹并生成特征点移动轨迹分析数据以及依据所提取的所述特征点，分析人体骨骼形态并生成人体骨骼形态分析数据，接着，计算所述人体骨架相较于所述三维检测区域的占用比重，并判断所述占用比重是否大于预设的阈值；当判断所述占用比重小于预设的阈值时，结合所述特征点移动轨迹分析数据与所述人体骨骼形态分析数据，并与所述参考模型特征值进行比对分析，以判断所述自助通道中的所述三维检测区域是否存在异常，并当判断所述自助通道中的所述三维检测区域存在异常时，分析所述自助通道中的所述三维检测区域中的异常状态，并据以输出第二异常分析报告，而当判断所述占用比重大于预设的所述阈值时，输出第四异常分析报告；

当判断所述三维待检测图像中的人体骨架的数量为至少二个时，从所述人体骨架数据信息中提取至少一特征点，并依据各所述三维待检测图像中的人体骨架中所提取的所述特征点，分析所述特征点的移动轨迹并生成特征点移动轨迹分析数据以及依据所提取的所述特征点，分析人体骨骼形态并生成人体骨骼形态分析数据，结合所述特征点移动轨迹分析数据与所述人体骨骼形态分析数据，并与所储存的所述参考模型特征值进行比对，以分析所述自助通道中的所述三维检测区域中的所述异常状态，并据以输出第一异常分析报告；

当判断所述三维待检测图像中的人体骨架的数量为零时，依据所述参考模型特征值，判断所述自助通道中的所述三维检测区域是否存在物体，并当判断所述自助通道中的所述三维检测区域存在所述物体时，输出第三异常分析报告；以及

接收所述第一、第二、第三或第四异常分析报告，计算所述人体骨架或所述物体于所述三维检测区域中的位置，以生成位置计算结果，并整合所述位置计算结果与所述第一、第二、第三或第四异常分析报告后予以输出。

18.根据权利要求17所述的自助通道检测方法，其特征在于，所述异常状态至少包括左右并肩、前后跟随、前后紧贴、背人、抱婴中的一者。

19.根据权利要求17所述的自助通道检测方法，其特征在于，所述参考模型特征值包括人体形态模型特征值与物体特征值。