CN115457455B

CN115457455B - 一种基于判定更新的人包关联方法及装置

Info

Publication number: CN115457455B
Application number: CN202210991179.6A
Authority: CN
Inventors: 姜旭; 张利; 邓军; 拜正斌; 连天友; 邓秋雄; 赵玲
Original assignee: Chengdu Zhiyuanhui Information Technology Co Ltd
Current assignee: Chengdu Zhiyuanhui Information Technology Co Ltd
Priority date: 2022-08-18
Filing date: 2022-08-18
Publication date: 2023-08-04
Anticipated expiration: 2042-08-18
Also published as: CN115457455A

Abstract

本发明公开了一种基于判定更新的人包关联方法及装置，配置摄像头拍摄区域，所述摄像头拍摄区域包括X光安检机的进包口处区域，用于拍摄乘客及乘客包裹的人包图片，具体包括以下步骤：接收；识别；判定：将当前时刻的人包图片输入动作检测模型，用于判断当前时刻的人包图片是否存在递包至传送带的动作；若存在，则提取当前时刻的人包图片的乘客信息及其对应的乘客ID；更新：基于所述乘客ID的乘客信息,执行更新策略更新所述乘客ID的最优乘客信息，所述更新策略包括包裹图片更新策略。本发明采用双路线更新策略，将动态更新中部分背部背包的遗漏人群识别出来，使得人包关联图片的数据更加完备，提高摄像头拍摄的人包图片的质量的同时，补充了遗漏数据。

Description

一种基于判定更新的人包关联方法及装置

技术领域

本发明涉及智慧安检技术领域，具体涉及一种基于判定更新的人包关联方法及装置。

背景技术

在安检场景下，当乘客把包裹放到传送带进入安检机后，会对包裹进行违禁品识别，当包裹中识别出违禁品时，需要马上确定对应的包。所以需要把安检机X光包裹图片和外置摄像头拍摄的包裹图片进行关联，才方便安检员确认。现有技术中，对来自安检点发送的图像信息以时间段的形式存储在数据库中，通过获取来自X光检查机发送的包裹图像信息的拍摄时刻点，查找数据库中与拍摄时刻点对应的旅客图像信息，即“包-包”，用以解决现有的安检人包关联解决方案需要获取旅客及旅客身上的包裹图片与X光检查机拍摄的图像进行图像识别，即“人包-包”，然而现有技术中，乘客或背包或斜跨或手提等等多种拿包姿势，然而在X光安检进包处安装的摄像头拍摄的照片中无法获得乘客背在背部的包裹图片，以至于在进行后续人包关联的处理中，遗漏了很多乘客及其关联包裹的信息，进而无法进行安检机X光包裹图片和外置摄像头拍摄的包裹图片的关联，严重影响其安检效率和安检准确性。

发明内容

本发明的目的在于提供一种基于判定更新的人包关联方法及装置，在摄像可照射的范围，在此范围内，设置递包动作识别，从而将动态更新中部分背部背包的遗漏人群识别出来，使得人包关联图片的数据更加完备，提高摄像头拍摄的人包图片的质量的同时，补充了遗漏数据，用以解决现有的人包关联准确性低的问题。

一种基于判定更新的人包关联方法，配置摄像头拍摄区域，所述摄像头拍摄区域包括X光安检机的进包口处区域，用于拍摄乘客及乘客包裹的人包图片，具体包括以下步骤：

接收：不间断地获取人包图片；

识别：根据人包图片进行识别，生成所述人包图片的至少一个乘客信息及其对应的乘客ID；

判定：将当前时刻的人包图片输入动作检测模型，用于判断当前时刻的人包图片是否存在递包至传送带的动作；

若存在，则提取当前时刻的人包图片的乘客信息及其对应的乘客ID；

更新：基于所述乘客ID的乘客信息,执行更新策略更新，获得所述乘客ID的最优乘客信息，所述更新策略包括包裹图片更新策略。

所述最优乘客信息用于进行人包关联。

进一步地，所述乘客信息包括与乘客ID对应的包裹信息集合，所述包裹信息集合为所述乘客ID对应的所有包裹图片的集合，所述包裹图片更新策略具体包括以下步骤：

比较最优乘客信息中包裹图片的质量值与当前时刻的乘客信息中同一包裹图片的质量值；

若当前时刻的乘客信息中包裹图片的质量值大于最优乘客信息中同一包裹图片的质量值；则将所述最优乘客信息中所述包裹图片更新为当前时刻的乘客信息对应的包裹图片。

进一步地，所述乘客信息包括乘客ID对应的人包图片以及置信度、包裹信息集合，所述包裹信息集合为所述乘客ID对应的所有包裹图片的集合，所述更新策略还包括人包图片更新策略，所述更新策略具体包括以下步骤：

将当前时刻的乘客信息的置信度S1与最优乘客信息的置信度S0进行比较：

若所述S1＞S0，则将最优乘客信息中的人包图片更新为当前时刻的乘客信息的人包图片，并比较最优乘客信息中包裹图片的质量值与当前时刻的乘客信息中同一包裹图片的质量值；

进一步地，所述质量值为以下列举中的一种：包裹图片尺寸值、包裹图片清晰度值、包裹图片尺寸值与清晰度值加权求和值。

进一步地，在判定的同时，还包括动态更新，所述动态更新具体包括以下步骤：

基于同一个乘客ID,每获取一次人包图片，执行更新策略更新最优乘客信息，直到摄像头拍摄区域内不存在所述乘客ID，所述更新策略包括以下策略中的至少有一种：人包图片更新策略，包裹图片更新策略。

进一步地，所述摄像头拍摄区域内不存在所述乘客ID对应的乘客，具体包括以下步骤：

遍历当前时刻人包图片所有乘客ID，每遍历一个乘客ID，将所述乘客ID与前一时刻人包图片所有乘客ID进行匹配；

获得不匹配的当前时刻人包图片中的乘客ID确定为摄像头拍摄区域内不存在的乘客ID。

进一步地，所述动作检测为机器学习模型，获得人包图片，具体包括以下步骤：

将待识别的人包图片输入到预先设置的模型中；

从所述预先设置的模型中获取所述人包图片中是否存在递包至传送带的动作，其中，所述模型为使用多组数据通过机器学习训练得出的，所述多组数据包括第一类数据和第二类数据，所述第一类数据中的每组数据均包括：包括人包图片和标识该图片存在递包至传送带的动作的标签；第二类数据中的每组数据均包括：包括人包图片和标识该图片不存在递包至传送带的动作的标签。

进一步地，所述识别包括人脸识别，所述人脸识别具体包括以下步骤：

对所述人包图片进行相应分区，每个分区对应一个乘客和包裹；

提取分区后的人包图片的各区的特征数据；

根据各区的特征数据与所述人脸特征数据库内的对应数据进行比对并分别计算出各区与所述人脸特征数据库内的各人脸数据的置信度，根据相似度最高的人脸数据确定对应乘客的乘客ID；

进一步地，所述识别还包括包裹识别，所述包裹识别具体包括以下步骤：

根据乘客ID对应的分区进行剪切，获得乘客ID对应乘客包裹图片；

将所述乘客ID对应的乘客包裹图片输入识别模型，获得乘客ID对应的包裹信息集合；

将所述乘客ID对应的人包图片、包裹信息集合、对应的置信度打包为乘客ID对应的乘客信息。

一种提升包裹关联准确率的控制装置，包括：

一个或多个处理器；

存储单元，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，能使得所述一个或多个处理器实现所述的一种基于判定更新的人包关联方法。

本发明具有的有益效果：

1、不影响现有安检效率的前提下，采用双路线更新，路线一：乘客进入摄像头拍摄区域，在此范围内，不断做乘客识别和动态更新的算法来实现人和包的判定更新；路线一：因为所有带包乘客均需将包裹放置在传送带上进行安检X光机的检查，因此乘客在将包裹递至传送带时，设置动作检测模型，因此动态更新中遗漏的背包可以在此路线中得到补充，使得获得的人包关联图片质量提高的同时，补充了遗漏数据，从而提高了旅客进站乘车时在X光安检机进包口处的摄像头拍摄的人包图片质量，在进行人包关联的过程中提高了人包关联的准确性，降低了安检管理的人工成本，解决了传统的安检过程中一旦旅客发现危险品被检出，就会放弃包裹离开或者不承认包裹是其所有而导致的追溯困难，当前时间周期内高频出现的违禁品进行重点检测，更加智能化、具有针对性，对切实保障安检过程的实时高效具有重要意义；

2、通过本申请获得外置摄像头拍摄的高质量包裹图片，其中包含对应的包裹信息及乘客信息，并识别出已扫描安检机X光包裹图片中的物品信息，通过将安检机X光包裹图片和外置摄像头拍摄的包裹图片的关联的绑定，同时判断当X光包裹图片中的物品信息是否为违禁物品，若是，则提前将异常的判别结果告知安检人员，提醒安检人员对旅客行包进行开包检查，提高了旅客进站乘车的安检效率，降低了安检管理的人工成本。

附图说明

图1为本发明的基于判定更新的人包关联示意图；

图2为本发明的双路线更新的人包关联示意图；

图3为本发明的拍摄区域示意图；

图4为本发明的更新策略示意图；

图5为本发明的人包关联方法示意图；

图6为本发明的人包关联场景示意图；

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

另外，为了清楚和简洁起见，可能省略了对公知的结构、功能和配置的描述。本领域普通技术人员将认识到，在不脱离本公开的精神和范围的情况下，可以对本文描述的示例进行各种改变和修改。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。

在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。

实施例1

接收：不间断地获取人包图片；

更新：基于所述乘客ID的乘客信息,执行更新策略更新所述乘客ID的最优乘客信息，所述更新策略包括包裹图片更新策略。

所述最优乘客信息用于人包关联。

需要进行说明的是，摄像头的安装位置需要根据X光安检机的位置、现场安检通道的位置以及其之间的相互位置关系进行安装调试，以获得较好角度的乘客以及乘客包裹的人包图片。

具体地，所述乘客信息包括与乘客ID对应的包裹信息集合，所述包裹信息集合为所述乘客ID对应的所有包裹图片的集合，所述包裹图片更新策略具体包括以下步骤：

具体地，所述乘客信息包括乘客ID对应的人包图片以及置信度、包裹信息集合，所述包裹信息集合为所述乘客ID对应的所有包裹图片的集合，所述更新策略还包括人包图片更新策略，所述更新策略具体包括以下步骤：

具体地，所述质量值为以下列举中的一种：包裹图片尺寸值、包裹图片清晰度值、包裹图片尺寸值与清晰度值加权求和值。

具体地，在判定的同时，还包括动态更新，所述动态更新具体包括以下步骤：

具体地，所述摄像头拍摄区域内不存在所述乘客ID对应的乘客，具体包括以下步骤：

具体地，所述动作检测为机器学习模型，获得人包图片，具体包括以下步骤：

将待识别的人包图片输入到预先设置的模型中；

具体地，所述识别包括人脸识别，所述人脸识别具体包括以下步骤：

提取分区后的人包图片的各区的特征数据；

根据各区的特征数据与所述人脸特征数据库内的对应数据进行比对并分别计算出各区与所述人脸特征数据库内的各人脸数据的置信度，根据相似度最高的人脸数据确定对应乘客的乘客ID。

在一种实施例中，所述人脸识别具体包括以下步骤：

S110、预建包含多个人脸的人脸特征数据库，

S111、输入待识别的人包图片。

S112、对输入的人包图片进行人脸定位，即识别出人包图片中的人脸部分。

S113、对定位后的人脸进行裁剪，例如可采用鼠标拉框或预先设置的取脸框对定位后的人脸进行裁剪。

S114、对裁减后的人脸进行预处理，所述预处理包括人脸尺寸归一化、光照补偿及姿态校正，所述预处理都为本领域技术人员所熟悉的技术，在此不再详述。

S115、将所裁减后的人脸与所述人脸特征数据库内的对应数据进行比对并计算出待识别的人脸与所述人脸特征数据库内的各人脸的相似度。

S116、结果处理，即根据所计算出的相似度在人脸特征数据库内找出与待识别的人脸最为相似的人脸，并生成对应的乘客ID。

具体地，所述识别还包括包裹识别，所述包裹识别具体包括以下步骤：

具体地，所述分区之前，还包括将所述人脸识别进行正面脸识别，将正面脸的人包图片进行分区。对人包图片进行正面脸识别，从而对所述人包图片进行相应的正面脸分区，具体的包括：

对待识别的人包图片进行人脸检测以确定其是否包含人脸，并对包含人脸的待识别人包图片进行双眼定位；

根据定位的双眼判断所述双眼是否水平，若双眼不为水平，则旋转所述待识别的人包图片以使所述双眼水平；

根据处于水平的双眼的距离自相应待识别的人包图片中截取出相应人脸部分；

根据所截取出的相应人脸部分生成与所述人脸部分相应的镜像人脸；

根据所述人脸部分与镜像人脸对应各像素点的灰度值计算两图像之间的差距；按照公式计算所述差距，其中，d为差距，A(x，y)为截取出的人脸部分中像素点(x，y)的灰度值，B(x，y)为镜像人脸中对应像素点(x，y)的灰度值；

将所述差距与预设的阀值进行比较以判断所述待识别的人包图片包含的人脸是否为正面脸。

所述人包关联具体包括以下步骤：

一种提升包裹关联准确率的方法，在安检机外部的传送带上方设置有外置摄像头，具体包括以下步骤：

S1、对外置摄像头拍摄的包裹图片进行图像识别，获得实物包裹图片，并按包裹拍摄时刻将实物包裹图片存入缓存中；

S2、对X光安检机拍摄的X光机图片进行图像识别，获得X光包裹图片，并记录提取时刻T1；

S3、根据所述提取时刻T1，传送带的移动速率v以及包裹在传送带上的运动位移，推算包裹在外置摄像头拍摄区域内运动的时间段，将所述时间段确定为关联时间段；

S4、从所述数据库中提取关联时间段内的实物包裹图片集；

S5、将所述X光包裹图片与实物包裹图片集进行相似性匹配，获得关联的X光包裹图片及其对应的包裹图片。

具体地，所述传送带上沿传送带的运动方向布设有外置摄像头拍摄区域、X光扫描区域，所述外置摄像头拍摄区域、X光扫描区域分别布设在安检机铅帘的两侧，且彼此相邻，所述关联时间段为[TA，TB]，其中TA为包裹进入外置摄像头拍摄区域的时刻，TB为包裹进入X光扫描区域的时刻。

具体地，所述提取时刻T1为基于包裹在X光机图片中预设位置的识别提取，所述预设位置与安检机内X光扫描区域的物理位置一一对应，所述时刻TA，具体由以下步骤获得：

获得传送带的移动速率v；

获得包裹从外置摄像头拍摄区域至X光扫描区域对应的物理位置的位移S1；

计算包裹从外置摄像头拍摄区域至X光扫描区域对应的物理位置的时间段t1＝(S1+S0)/v；

根据所述提取时刻T1、时间段t1计算时刻TA＝T1-t1。

具体地，所述时刻TB，具体由以下步骤获得：

获得传送带的移动速率v；

获得包裹在X光扫描区域中运动至对应的物理位置的位移S2；

计算包裹在X光扫描区域中运动至对应的物理位置的时间段t2＝(S2+S0)/v；

根据所述提取时刻T1、时间段t2计算时刻TB＝T1-t2。

其中S0为包裹的实际长度，可以通过标定法获得，具体包括：

在所述摄像头至所述传送带的视场中，在距离所述摄像头预设距离的位置处设置所述标定窗口，其中所述标定窗口具有预定的物理窗口尺寸；基于所述标定窗口的窗口像素值和所述包裹运动轨迹的像素值以及所述物理窗口尺寸，估计所述包裹运动轨迹相对于所述标定窗口的实际值，其中所述窗口尺寸与所述包裹运动轨迹的像素比和物理尺寸比相等。

其中，还可以在预设区域上粘贴有已知尺寸的贴纸等标志作为参考，这里不做限定。并且，该标定窗口可移动地设置于预定区域内，即该标定窗口是可以移动的，在进行标定时可以由工作人员放置在该预定区域内的任意位置。例如，该参照物可以为一个立方体，且尺寸已知并存储在装置中。

可以理解的是，本申请中的模型可以为基于RNN模型、CNN模型或LSTM模型等配置，此为常规技术，在此不赘述。

示例性的：

1、乘客进入A区域后，识别出乘客，记为O，O包含的信息如下：

O＝{id,M,m_img,r,flag},id表示乘客的乘客id，随机生成，m_img是捕获到的乘客及包裹信息，r表示m_img为正面照的置信度，flag表示乘客是否带包，初始化为0，如果检测到乘客带包则记为1，M是个包裹列表，因为有可能乘客有多个包裹，M表示如下：

M＝{BAG0,BAG1,…},BAGi表示的是包裹信息，i表示包裹的标号，包裹BAG包含如下信息：

BAG＝{id,b_img},id表示包裹id，随机生成，b_img是包裹的图片

2、在1识别出乘客后，得到乘客图片m_img，然后从m_img识别是否带包，如果有包，则生成BAG放入M中，生成BAG时，需要生成包裹id和存入包裹图片b_img

3、跟踪乘客，判断乘客是否有递包到传送带的动作。如果有，则获取识别出递送的包裹BAG”，然后比较BAG和BAG”的包裹图片的质量，主要比较图片尺寸，如果尺寸大，说明包裹成像好。用如果BAG”的包裹图片成像比BAG的好，则用BAG’的包裹图片替换BAG的原有包裹图片。

4、跟踪乘客，判断乘客如果从区域B中消失。如果消失，则把乘客数据上传。如果没有消失，则继续3。4、跟踪乘客，判断乘客如果从区域B中消失。如果消失，则把乘客数据上传。如果没有消失，则继续步骤3。

实施例2

一种提升包裹关联准确率的控制装置，包括：

一个或多个处理器；

存储单元，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，能使得所述一个或多个处理器实现根据所述的一种基于判定更新的人包关联方法。

实施例3，一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时能实现所述的一种基于判定更新的人包关联方法。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，依据本发明的技术实质，在本发明的精神和原则之内，对以上实施例所作的任何简单的修改、等同替换与改进等，均仍属于本发明技术方案的保护范围之内。

Claims

1.一种基于判断更新的人包关联方法，其特征在于，配置摄像头拍摄区域，所述摄像头拍摄区域包括X光安检机的进包口处区域，用于拍摄乘客及乘客包裹的人包图片，具体包括以下步骤：

接收：不间断地获取人包图片；

更新：基于所述乘客ID的乘客信息，执行更新策略更新所述乘客ID的最优乘客信息，所述更新策略包括包裹图片更新策略；

在判定的同时，还包括动态更新，所述动态更新具体包括以下步骤：

基于同一个乘客ID,每获取一次人包图片，执行更新策略更新最优乘客信息，直到摄像头拍摄区域内不存在所述乘客ID，所述更新策略包括以下策略中的至少有一种：人包图片更新策略，包裹图片更新策略；

所述乘客信息包括与乘客ID对应的包裹信息集合，所述包裹信息集合为所述乘客ID对应的所有包裹图片的集合，所述包裹图片更新策略具体包括以下步骤：

若当前时刻的乘客信息中包裹图片的质量值大于最优乘客信息中同一包裹图片的质量值；则将所述最优乘客信息中所述包裹图片更新为当前时刻的乘客信息对应的包裹图片；

所述乘客信息包括乘客ID对应的人包图片以及置信度、包裹信息集合，所述包裹信息集合为所述乘客ID对应的所有包裹图片的集合，所述更新策略还包括人包图片更新策略，所述更新策略具体包括以下步骤：

2.根据权利要求1所述的一种基于判断更新的人包关联方法，其特征在于，所述质量值为以下列举中的一种：包裹图片尺寸值、包裹图片清晰度值、包裹图片尺寸值与清晰度值加权求和值。

3.根据权利要求1所述的一种基于判断更新的人包关联方法，其特征在于，所述摄像头拍摄区域内不存在所述乘客ID对应的乘客，具体包括以下步骤：

4.根据权利要求1所述的一种基于判断更新的人包关联方法，其特征在于，所述动作检测为机器学习模型，获得人包图片，具体包括以下步骤：

将待识别的人包图片输入到预先设置的模型中；

5.根据权利要求1所述的一种基于判断更新的人包关联方法，其特征在于，所述识别包括人脸识别，所述人脸识别具体包括以下步骤：

提取分区后的人包图片的各区的特征数据；

6.根据权利要求5所述的一种基于判断更新的人包关联方法，其特征在于，所述识别还包括包裹识别，所述包裹识别具体包括以下步骤：

7.一种提升包裹关联准确率的控制装置，其特征在于，包括：

一个或多个处理器；

存储单元，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，能使得所述一个或多个处理器实现根据权利要求1至6中任意一项所述的一种基于判断更新的人包关联方法。