CN112818802B - 一种银行柜台人员举手识别方法及*** - Google Patents
一种银行柜台人员举手识别方法及*** Download PDFInfo
- Publication number
- CN112818802B CN112818802B CN202110105141.XA CN202110105141A CN112818802B CN 112818802 B CN112818802 B CN 112818802B CN 202110105141 A CN202110105141 A CN 202110105141A CN 112818802 B CN112818802 B CN 112818802B
- Authority
- CN
- China
- Prior art keywords
- hand
- worker
- lifting
- picture
- working
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种银行柜台人员举手识别方法及***，方法包括：利用图像采集装置分别采集银行柜台处工作人员的工作视频和图片并分别进行预处理；将预处理后的数据输入到目标检测模型中进行行为分析识别和推理，输出工作视频和图片中工作人员的位置和工作人员举手时手部的位置；设定举手重合度阈值，计算工作视频和图片中每个工作人员的位置框和其手部的举手重合度，并将计算出的举手重合度与设定的举手重合度阈值进行比较；若计算出的举手重合度大于设定举手重合度阈值则认为该工作人员有举手行为，否则认定该工作人员没有举手行为。本发明能够在GPU 1080Ti的主机上以10+ms的推理速度完成举手的动作识别，提高目标事件识别精度和效率。
Description
技术领域
本发明涉及图像识别领域，尤其涉及一种银行柜台人员举手识别方法及***。
背景技术
在超市、酒店、银行或商场等消费场所的收银台处，收银员可以使用收银机对客户的消费行为进行结算。同时，商家可以根据监控***所监控或记录的视频和相关收银行为规范，来检查收银员的收银行为是否违规。
而对于人工服务的银行，不管客户是需要办理低权限的业务，还是需要办理高权限的业务，都采用人工服务的方式进行无区别处理方式，全程都使人工服务的柜台服务人员陪同办理，但是在人工服务过程中银行柜台人员的行为是否符合行为规范这一问题光靠人员监控不能及时发现，且监控过程中增加了人工成本，无法及时监督和管理柜台人员的行为规范。
同时目前常用的姿态识别技术手段往往过于耗时，而且针对于俯视角的内部监控的关键点数据收集和标注比较困难。因此缺乏一种能自动识别工作人员举手动作的方法和***。
发明内容
本发明的目的在于克服现有技术的不足，提供一种银行柜台人员举手识别方法及***，首先针对输入视频和图片做预处理，预处理的图像输入到目标检测模型进行推理，输出人和举手时手的位置（如果存在）。设定重合度的阈值，计算每个人的位置框和图像中每一个只举起的手的重合度，并与阈值进行比较，如果得到的计算值超过阈值则认为这个人举手，否则不认为当前判断的人举手。
本发明的目的是通过以下技术方案来实现的：
一种银行柜台人员举手识别方法，包括以下步骤：
步骤一：获取图像数据，利用图像采集装置分别采集银行柜台处工作人员的工作视频和图片，并分别对采集到工作视频和图片进行预处理；
步骤二，行为识别推理，将预处理后的工作视频和图片输入到目标检测模型中进行行为分析识别和推理，输出工作视频和图片中工作人员的位置和工作人员举手时手部的位置；
步骤三：行为比较判定，设定举手重合度阈值，计算工作视频和图片中每个工作人员的位置框和工作人员手部的举手重合度，并将计算出的举手重合度与设定的举手重合度阈值进行比较；若计算出的举手重合度大于设定举手重合度阈值则认为该工作人员有举手行为，否则认定该工作人员没有举手行为。
具体的，所述步骤二具体包括以下子步骤：
S201，先通过监控设备获取银行工作人员的工作视频和图片并进行预处理，将预处理后的工作视频和图片输入到CNN-backbone主干网络提取特征图中；
S202，CNN-backbone主干网络提取特征图通过PANet结构加快特征信息间的流通，使用类似YOLOV3-Head检测头生成三个不同尺度的检测结果特征图；
S203，通过自适ASFF模块对检测结果特征图进行空间滤波，滤除冲突信息，把检测结果特征图进行转化和拼接输出工作视频和图片中工作人员身***置和工作人员举手时的手部位置。
具体的，所述步骤一中的对采集到工作视频和图片进行预处理过程具体包括：
(1) 输入图像自适应图片缩放，该过程具体包括：先根据输入模型的长宽尺度，计算长宽各自的缩放系数。然后选择缩放系数较小的那个作为整体缩放系数，原始长宽乘以缩放系数得到缩放后的尺寸。原始图像的宽是大于高的, 对高进行黑边填充，因为模型要下采样32倍，所以图片的宽的尺寸要填充到32的倍数，并且与放缩后的尺寸差值最小。计算差值后，对图片的上下进行黑边补充。
(2) 图片像素点除以255进行归一化后, 交换通道得到输入模型的特征值。
一种银行柜台人员举手识别***，包括图像预处理模块、目标检测模块、中心计算模块、比对模块和报警模块；
图像预处理模块用于实时采集并获取银行柜台工作人员的工作视频和图片，并对获取的工作视频和图片进行预处理；
目标检测模块用于对预处理后的工作视频和图片进行推理和分析处理，输出工作视频和图片中工作人员身***置和工作人员举手时的手部位置；
中心计算模块用于计算工作视频和图片中计算监控图像中每个工作人员的位置框和每个工作人员举手动作的重合度；
比对模块用于根据预先设定的工作人员举手重合度阈值，并将计算出的每个工作人员举手动作的重合度与设定的重合度阈值进行比较，最后输出比较结果。
本发明的有益效果：
1.模型架构简单利于移植到各种边缘设备运行。
2.模型需要的训练数据收集、制作简单，节省了效率
3.基于目标检测的模型性能高，速度能达到 10+ms, 满足工业要求。
附图说明
图1是本发明的方法流程图。
图2是本发明实施例的举手识别过程示意图。
图3是本发明实施例的举手识别模型结构示意图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图说明本发明的具体实施方式。
本实施例中，如图1所示，一种银行柜台人员举手识别方法，包括以下步骤：
步骤一：获取图像数据，利用图像采集装置分别采集银行柜台处工作人员的工作视频和图片，并分别对采集到工作视频和图片进行预处理；
步骤二，行为识别推理，将预处理后的工作视频和图片输入到目标检测模型中进行行为分析识别和推理，输出工作视频和图片中工作人员的位置和工作人员举手时手部的位置；
步骤三：行为比较判定，设定举手重合度阈值，计算工作视频和图片中每个工作人员的位置框和工作人员手部的举手重合度，并将计算出的举手重合度与设定的举手重合度阈值进行比较；若计算出的举手重合度大于设定举手重合度阈值则认为该工作人员有举手行为，否则认定该工作人员没有举手行为。
具体的，所述步骤二具体包括以下子步骤：
S201，先通过监控设备获取银行工作人员的工作视频和图片并进行预处理，将预处理后的工作视频和图片输入到CNN-backbone主干网络提取特征图中；
S202，CNN-backbone主干网络提取特征图通过PANet结构加快特征信息间的流通，使用类似YOLOV3-Head检测头生成三个不同尺度的检测结果特征图；
S203，通过自适ASFF模块对检测结果特征图进行空间滤波，滤除冲突信息，把检测结果特征图进行转化和拼接输出工作视频和图片中工作人员身***置和工作人员举手时的手部位置。
具体的，所述步骤一中的对采集到工作视频和图片进行预处理过程具体包括：
(1) 输入图像自适应图片缩放，该过程具体包括：先根据输入模型的长宽尺度，计算长宽各自的缩放系数。然后选择缩放系数较小的那个作为整体缩放系数，原始长宽乘以缩放系数得到缩放后的尺寸。原始图像的宽是大于高的, 对高进行黑边填充，因为模型要下采样32倍，所以图片的宽的尺寸要填充到32的倍数，并且与放缩后的尺寸差值最小。计算差值后，对图片的上下进行黑边补充。
(2) 图片像素点除以255进行归一化后, 交换通道得到输入模型的特征值。
一种银行柜台人员举手识别***，包括图像预处理模块、目标检测模块、中心计算模块、比对模块和报警模块；
图像预处理模块用于实时采集并获取银行柜台工作人员的工作视频和图片，并对获取的工作视频和图片进行预处理；
目标检测模块用于对预处理后的工作视频和图片进行推理和分析处理，输出工作视频和图片中工作人员身***置和工作人员举手时的手部位置；
中心计算模块用于计算工作视频和图片中计算监控图像中每个工作人员的位置框和每个工作人员举手动作的重合度；
比对模块用于根据预先设定的工作人员举手重合度阈值，并将计算出的每个工作人员举手动作的重合度与设定的重合度阈值进行比较，最后输出比较结果。
本发明的目标检测模型采用YOLOV4的模型结构， 输出人和***的位置框，具体结构如图3所示。YOLOV4 是以 CSPDarknet53 为主干网提取特征图，然后通过SPP进行多尺度的采样，通过 PANet 加快特征信息间的流通性，并且使用YOLOV3 的头结构得到需要的输出。
本发明的实施例中，举手识别过程如图2所示，对工作人员进行举手识别时首先针对输入视频和图片做预处理，预处理的图像输入到目标检测模型进行推理，输出人和举手时手的位置（如果存在）。设定重合度的阈值，计算每个人的位置框和图像中每一个只举起的手的重合度，并于阈值进行比较，如果得到的计算值超过阈值则认为这个人举手，否则不认为当前判断的人举手。
其中本发明使用的举手识别模型图像如图3所示，模型输入为经过预处理的图像，首先传入CNN-backbone主干网络提取特征图，特征图通过PANet结构加快特征信息间的流通，使用类似YOLOV3-Head检测头生成三个不同尺度的检测结果特征图，通过自适ASFF模块学习了空间滤波冲突信息以抑制不一致性的方法，提高了特征的尺度不变性。最后通过方法把预测的进行转化和拼接得到我们需要输出的内容。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护的范围由所附的权利要求书及其等效物界定。
Claims (4)
1.一种银行柜台人员举手识别方法，其特征在于，包括以下步骤：
步骤一：获取图像数据，利用图像采集装置分别采集银行柜台处工作人员的工作视频和图片，并分别对采集到工作视频和图片进行预处理；
步骤二，行为识别推理，将预处理后的工作视频和图片输入到目标检测模型中进行行为分析识别和推理，输出工作视频和图片中工作人员的位置和工作人员举手时手部的位置；
步骤三：行为比较判定，设定举手重合度阈值，计算工作视频和图片中每个工作人员的位置框和工作人员手部的举手重合度，并将计算出的举手重合度与设定的举手重合度阈值进行比较；若计算出的举手重合度大于设定举手重合度阈值则认为该工作人员有举手行为，否则认定该工作人员没有举手行为。
2.根据权利要求1所述的一种银行柜台人员举手识别方法，其特征在于，所述步骤二具体包括以下子步骤：
S201，先通过监控设备获取银行工作人员的工作视频和图片并进行预处理，将预处理后的工作视频和图片输入到CNN-backbone主干网络提取特征图中；
S202，CNN-backbone主干网络提取特征图通过PANet结构加快特征信息间的流通，使用类似YOLOV3-Head检测头生成三个不同尺度的检测结果特征图；
S203，通过自适ASFF模块对检测结果特征图进行空间滤波，滤除冲突信息，把检测结果特征图进行转化和拼接输出工作视频和图片中工作人员身***置和工作人员举手时的手部位置。
3.根据权利要求1所述的一种银行柜台人员举手识别方法，其特征在于，所述步骤一中的对采集到工作视频和图片进行预处理过程具体包括：
S101， 输入图像自适应图片缩放，先根据输入模型的长宽尺度，计算长宽各自的缩放系数；然后选择缩放系数较小的那个作为整体缩放系数，原始长宽乘以缩放系数得到缩放后的尺寸；然后对高进行黑边填充，将图片的宽的尺寸填充到32的倍数，且与放缩后的尺寸差值最小；计算差值后，对图片的上下进行黑边补充；
S102，图片像素点除以255进行归一化后, 交换通道得到输入模型的特征值。
4.一种银行柜台人员举手识别***，其特征在于，包括图像预处理模块、目标检测模块、中心计算模块、比对模块和报警模块；
图像预处理模块用于实时采集并获取银行柜台工作人员的工作视频和图片，并对获取的工作视频和图片进行预处理；
目标检测模块用于对预处理后的工作视频和图片进行推理和分析处理，输出工作视频和图片中工作人员身***置和工作人员举手时的手部位置；
中心计算模块用于计算工作视频和图片中计算监控图像中每个工作人员的位置框和每个工作人员举手动作的重合度；
比对模块用于根据预先设定的工作人员举手重合度阈值，并将计算出的每个工作人员举手动作的重合度与设定的重合度阈值进行比较，最后输出比较结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110105141.XA CN112818802B (zh) | 2021-01-26 | 2021-01-26 | 一种银行柜台人员举手识别方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110105141.XA CN112818802B (zh) | 2021-01-26 | 2021-01-26 | 一种银行柜台人员举手识别方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112818802A CN112818802A (zh) | 2021-05-18 |
| CN112818802B true CN112818802B (zh) | 2022-07-05 |
Family
ID=75859431
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110105141.XA Active CN112818802B (zh) | 2021-01-26 | 2021-01-26 | 一种银行柜台人员举手识别方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112818802B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113449717B (zh) * | 2021-05-27 | 2023-07-11 | 众安在线财产保险股份有限公司 | ***图片处理方法、保险理赔方法、装置、设备和介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013013487A1 (zh) * | 2011-07-26 | 2013-01-31 | 华南理工大学 | 基于视频检测的驾驶员驾驶行为监控装置及监控方法 |
| CN103297751A (zh) * | 2013-04-23 | 2013-09-11 | 四川天翼网络服务有限公司 | 智慧天网视频行为分析*** |
| CN110399822A (zh) * | 2019-07-17 | 2019-11-01 | 思百达物联网科技(北京)有限公司 | 基于深度学习的举手动作识别方法、装置及存储介质 |
| WO2020192498A1 (zh) * | 2019-03-28 | 2020-10-01 | 虹软科技股份有限公司 | 手握方向盘状态的检测方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10380429B2 (en) * | 2016-07-11 | 2019-08-13 | Google Llc | Methods and systems for person detection in a video feed |
-
2021
- 2021-01-26 CN CN202110105141.XA patent/CN112818802B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013013487A1 (zh) * | 2011-07-26 | 2013-01-31 | 华南理工大学 | 基于视频检测的驾驶员驾驶行为监控装置及监控方法 |
| CN103297751A (zh) * | 2013-04-23 | 2013-09-11 | 四川天翼网络服务有限公司 | 智慧天网视频行为分析*** |
| WO2020192498A1 (zh) * | 2019-03-28 | 2020-10-01 | 虹软科技股份有限公司 | 手握方向盘状态的检测方法及装置 |
| CN110399822A (zh) * | 2019-07-17 | 2019-11-01 | 思百达物联网科技(北京)有限公司 | 基于深度学习的举手动作识别方法、装置及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| Real Time Hand Gesture Recognition Including Hand Segmentation and Tracking;Thomas Coogan 等;《Advances in Visual Computing. ISVC 2006. Lecture Notes in Computer Science》;20061108;第4291卷;第495–504页 * |
| 基于形态嵌入特征的室内日常行为识别方法研究;袁欢;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20191215;C038-254 * |
| 面向教室场景的举手动作识别算法的研究与实现;廖望;《中国优秀硕士学位论文全文数据库 信息科技辑》;20200315;I138-1235 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112818802A (zh) | 2021-05-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110728209B (zh) | 一种姿态识别方法、装置、电子设备及存储介质 | |
| CN107808139B (zh) | 一种基于深度学习的实时监控威胁分析方法及*** | |
| CN110472870A (zh) | 一种基于人工智能的收银台服务规范检测*** | |
| CN108304816B (zh) | 身份识别方法、装置、存储介质及电子设备 | |
| CN104463167A (zh) | 一种餐厅自动结算方法及*** | |
| CN113033706B (zh) | 基于视觉检测和重识别的多源两阶段菜品识别方法 | |
| Cerman et al. | A mobile recognition system for analog energy meter scanning | |
| CN105117740A (zh) | 字体识别方法及装置 | |
| CN114863189B (zh) | 一种基于大数据的图像智能识别方法 | |
| CN112818802B (zh) | 一种银行柜台人员举手识别方法及*** | |
| CN110909578A (zh) | 一种低分辨率图像识别方法、装置和存储介质 | |
| EP3376438A1 (en) | A system and method for detecting change using ontology based saliency | |
| CN110414431B (zh) | 基于弹性上下文关系损失函数的人脸识别方法及*** | |
| CN104966109A (zh) | 医疗化验单图像分类方法及装置 | |
| CN114612897A (zh) | 一种智能果蔬称重打票方法、装置、电子设备及存储介质 | |
| CN104463091A (zh) | 一种基于图像lgbp特征子向量的人脸图像识别方法 | |
| CN111753618A (zh) | 图像识别方法、装置、计算机设备及计算机可读存储介质 | |
| CN102004537B (zh) | ***上下电控制装置和方法 | |
| CN112560848A (zh) | 兴趣点poi预训练模型的训练方法、装置及电子设备 | |
| CN114612971A (zh) | 人脸检测方法、模型训练方法、电子设备及程序产品 | |
| CN114612651A (zh) | Roi检测模型训练方法、检测方法、装置、设备和介质 | |
| CN114359997A (zh) | 业务引导方法及*** | |
| CN113792569A (zh) | 对象识别方法、装置、电子设备及可读介质 | |
| CN111079660A (zh) | 基于热红外成像图片的影院在线人数统计方法 | |
| CN112861841B (zh) | 票据置信值模型的训练方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder |
Address after: Third floor, No.10, Jiuxing Avenue, high tech Zone, Chengdu, Sichuan 610041 Patentee after: Sichuan Tianyi Network Co.,Ltd. Address before: Third floor, No.10, Jiuxing Avenue, high tech Zone, Chengdu, Sichuan 610041 Patentee before: SICHUAN TIANYI NETWORK SERVICE Co.,Ltd. |
|
| CP01 | Change in the name or title of a patent holder | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A method and system for identifying bank counter personnel by raising their hands Effective date of registration: 20230804 Granted publication date: 20220705 Pledgee: Zheshang Bank Co.,Ltd. Chengdu Branch Pledgor: Sichuan Tianyi Network Co.,Ltd. Registration number: Y2023510000192 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right |