CN110472870A - 一种基于人工智能的收银台服务规范检测*** - Google Patents
一种基于人工智能的收银台服务规范检测*** Download PDFInfo
- Publication number
- CN110472870A CN110472870A CN201910755266.XA CN201910755266A CN110472870A CN 110472870 A CN110472870 A CN 110472870A CN 201910755266 A CN201910755266 A CN 201910755266A CN 110472870 A CN110472870 A CN 110472870A
- Authority
- CN
- China
- Prior art keywords
- employee
- detection
- receipt
- bank card
- artificial intelligence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 69
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 20
- 230000033001 locomotion Effects 0.000 claims abstract description 14
- 238000012360 testing method Methods 0.000 claims abstract description 9
- 238000012544 monitoring process Methods 0.000 claims abstract description 8
- 230000003542 behavioural effect Effects 0.000 claims abstract description 5
- 238000007405 data analysis Methods 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 16
- 210000000707 wrist Anatomy 0.000 claims description 13
- 210000004247 hand Anatomy 0.000 claims description 8
- 230000006399 behavior Effects 0.000 claims description 6
- 230000009471 action Effects 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims description 3
- 238000011017 operating method Methods 0.000 claims description 3
- 238000011897 real-time detection Methods 0.000 claims description 3
- 210000001364 upper extremity Anatomy 0.000 claims description 3
- 230000003442 weekly effect Effects 0.000 claims description 3
- 230000002776 aggregation Effects 0.000 claims description 2
- 238000004220 aggregation Methods 0.000 claims description 2
- 238000012512 characterization method Methods 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 claims description 2
- 230000001144 postural effect Effects 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 claims description 2
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 claims 1
- 238000013441 quality evaluation Methods 0.000 abstract description 3
- 230000005540 biological transmission Effects 0.000 abstract description 2
- 230000001815 facial effect Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000003209 petroleum derivative Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06398—Performance of employee with respect to a job function
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- General Health & Medical Sciences (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Economics (AREA)
- Game Theory and Decision Science (AREA)
- Emergency Management (AREA)
- General Business, Economics & Management (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Marketing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Tourism & Hospitality (AREA)
- Acoustics & Sound (AREA)
- Operations Research (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Cash Registers Or Receiving Machines (AREA)
Abstract
本发明公开了一种基于人工智能的收银台服务规范检测***,包括图像采集摄像头、员工态势识别服务器、介质检测服务器、收银服务检测器,违规事件语音报警器,违规短信发送服务器,数据分析处理中心和前端展示界面。本发明可基于视频流,对超市收银区的工作人员、顾客、POS机、扫码枪、***机、银行卡、小票、手机等进行实时监测及定位;基于监测结果分别实现员工在进行递接卡和递接***服务时动作是否规范的检测,以及员工私自盗刷银行卡以及私开***和小票的行为检测,输出检测结果;当识别到员工有违规操作时,实时进行语音报警、短信发送、违规画面展示等。本发明能够同时实现自动、智能的收银风险管控,以及便捷、全面的员工服务规范化管理和服务质量评价。
Description
技术领域
本发明涉及大数据、人工智能、智慧城市、智能监控技术领域,具体涉及一种基于人工智能的收银台服务规范检测***。
背景技术
在现在的超市管理***中,尤其是类似中国石油加油站便利店这种需要统一管理方式的超市,对员工的服务要求都有特定的标准以便给顾客带来更好的服务。但在标准制定后,往往在具体落实时都不能被很好的执行,人工评价每个员工的服务质量既费时又费力。
在没有顾客时或收银台只有一个员工时,容易出现员工私自盗刷银行卡以及私开***和小票的行为,而如果出现这种情况,往往被发现时周期都比较长,而且可能存在未被发现的情况,通过人工排查效率低且费时费力。
因此,目前需要一种基于人工智能的收银台服务规范检测***可以实时的对员工的服务质量以及员工操作安全问题进行实时检测并对违规现象进行实时报警。
发明内容
本发明提供了一种基于人工智能的收银台服务规范检测***,可同时实现自动、智能的收银风险管控,以及便捷、全面的员工服务规范化管理和服务质量评价。
本发明的技术方案如下:一种基于人工智能的收银台服务规范检测***,包括:
1)图像采集摄像头:可以为单个或多个摄像头,用于实时监视并采集收银区域场景画面,并传递视频流;
2)员工态势识别服务器:基于视频流,实时检测超市收银区的工作人员和顾客;对于工作人员,进一步实现人脸识别及采集,以及上肢肢体动作识别及采集;
3)介质检测服务器:基于视频流,实现收银台上的工作相关目标介质的检测及定位功能;
4)收银服务检测器:基于工作人员、目标介质、顾客检测结果,位置,分别实现员工在进行递接卡和递接***服务时动作是否规范的检测,以及员工私自盗刷银行卡以及私开***和小票的行为检测,输出检测结果;
5)违规事件报警器:包括语音报警器和短信发送服务器,当识别到员工有违规操作时,实时进行语音报警或将报警文本信息和图片信息发送到管理人员的监管终端。
进一步地,所述的员工态势识别服务器的具体工作步骤为:
1)将传输过来的视频流解码成单帧图片,通过目标检测算法对顾客和员工进行定位和识别;
2)将识别后的员工图片进一步进行人脸数据采集,将人脸数据与之前录入***中的人脸库进行比对,定位到具体员工;然后通过人体关键点检测算法识别员工手部、腕部、肘部;同时识别上肢动作;
所述的通过人体关键点检测算法识别员工手部、腕部、肘部;同时识别上肢动作,具体方法步骤为:
1)员工关键点检测,通过人体关键点检测的AlphaPose算法对员工手部,腕部,以及肘部的关键点进行识别,并通过对各个关键点之间夹角的运算对员工的上肢动作进行识别;Faster-RCNN对人员目标进行识别,然后通过SPPE算法对各个关键点进行聚合,得到手部腕部以及肘部的关键点;然后采用Deformable Pose Traversal Convolution模型来实现对工作人员操作步骤的检测,该模型通过人体姿态关键点检测生成人体骨骼图,利用视频的时序性借助convLSTM判断人员动作;
2)员工手势规范的检测,***采用了基于多任务深度学习的2/3D动作识别算法,该网络结合了姿势评估算法的优点,同时采集图像的视觉特征,在外观表征和动作表征的两个维度上聚合特征,以达到较好的姿势检测效果。
进一步地,,所述的收银服务检测器具体工作步骤为:接受所述员工态势识别服务器和介质检测服务器的输入信息后,再:
1)通过判断员工手部与顾客之间的相对位置,员工手部与银行卡和小票的相对位置,员工手部与POS机的位置,判断员工是否在进行收银服务;
2)判定为员工进行收银服务后,通过判断两个手臂各自的夹角关系以及两个手臂之间的平行关系来确定员工进行递接银行卡,***以及小票时是否是双手操作;
判定为没有进行收银服务时,通过手机与扫码枪的位置,POS机是否***银行卡,以及此时是否有小票被打印来判断员工是否有私自盗刷银行卡和私自开小票的行为。
采用本发明基于人工智能的收银台服务规范检测***,可基于视频流,对超市收银区的工作人员、顾客、POS机、扫码枪、***机、银行卡、小票、手机等进行实时监测及定位;基于监测结果分别实现员工在进行递接卡和递接***服务时动作是否规范的检测,以及员工私自盗刷银行卡以及私开***和小票的行为检测,输出检测结果;当识别到员工有违规操作时,实时进行语音报警、短信发送、违规画面展示等。本发明能够同时实现自动、智能的收银风险管控,以及便捷、全面的员工服务规范化管理和服务质量评价。
附图说明
图1是本发明提供的一种基于人工智能的收银台服务规范检测***的***逻辑组成图。
图2是本发明提供的一种基于人工智能的收银台服务规范检测***的主要业务流程图。
图3是本发明提供的一种基于人工智能的收银台服务规范检测***的典型应用效果图。
图4是本发明提供的一种基于人工智能的收银台服务规范检测***的图像采集摄像头业务流程图。
具体实施方式
为了更清楚地说明本发明内容和实施例的技术方案,下面将对发明内容和实施例中所需要使用的附图作简单地介绍。
本发明实施例涉及一种基于人工智能的收银台服务规范检测***,包括图像采集摄像头、员工态势识别服务器、介质检测服务器、收银服务检测器,违规事件语音报警器,违规短信发送服务器,数据分析处理中心和前端展示界面,具体***逻辑组成如图1所示,图中:
图像采集摄像头:可以为单个或多个摄像头,用于实时监视并采集收银区域场景画面,并传递视频流。具体实施方式:通过读取现有摄像头IP,使用FFmpeg的流编解码技术实时读取摄像头rtsp视频流,并将数据传递到检测模块,将视频流的读取封装成一个单路视频解码调度模块,通过ICE中间件跟检测模块进行通信,其业务流程如图4所示。
员工态势识别服务器:基于视频流,实时检测超市收银区的工作人员和顾客;对于工作人员,进一步实现人脸识别及采集,以及上肢肢体动作识别及采集,其具体实施步骤包括:
A.将传输过来的视频流解码成单帧图片,通过目标检测算法对顾客和员工进行定位和识别,其具体实施子步骤如下:
1)将传输过来的视频流解码成单帧图片,然后将图片输入网络,预测标志的位置;
2)检测到的标志都会被用于池化特征,获取不会因为变型或者折叠而变化的局部特征;
3)将全局特征和局部特征池化层进行一个融合输入最后一层网络,将网络与FasterRCNN目标检测算法相结合对目标进行定位和识别;
B.将识别后的员工图片进一步进行人脸数据采集,将人脸数据与之前录入***中的人脸库进行比对,定位到具体员工,其具体实施子步骤如下:
1)人脸图像采集:从目标检测的结果中提取员工的人脸图像。
2)人脸检测:采用Adaboost学***衡策略。
3)人脸图像预处理:对于人脸的图像预处理是基于人脸检测结果,对图像进行处理并最终服务于特征提取的过程。***获取的原始图像由于受到各种条件的限制和随机干扰,往往不能直接使用,必须在图像处理的早期阶段对它进行灰度校正、噪声过滤等图像预处理。对于人脸图像而言,该***中主要运用了人脸图像的光线补偿、灰度变换、直方图均衡化、归一化、几何校正、滤波以及锐化等。
4)人脸图像特征提取:根据人脸器官的形状描述以及他们之间的距离特性来获得人脸分类的特征数据,其特征分量包括特征点间的欧氏距离、曲率和角度。
5)人脸图像匹配与识别:提取的人脸图像的特征数据与数据库中存储的特征模板进行搜索匹配,通过设定一个阈值,当相似度超过这一阈值,则把匹配得到的结果输出。人脸识别就是将待识别的人脸特征与已得到的人脸特征模板进行比较,根据相似程度对人脸的身份信息进行判断,一对多进行图像匹配对比的过程。
C.通过人体关键点检测算法识别员工手部、腕部、肘部;同时识别上肢动作,其具体实施子步骤如下:
员工人体关键点检测,通过人体关键点检测的AlphaPose算法对员工手部,腕部,以及肘部的关键点进行识别,并通过对各个关键点之间夹角的运算对员工的上肢动作进行识别。首先使用Faster-RCNN对人员目标进行识别,然后通过SPPE算法对各个关键点进行聚合,得到手部腕部以及肘部的关键点。然后采Deformable Pose Traversal Convolution模型来实现对工作人员操作步骤的检测,该模型通过人体姿态关键点检测生成人体骨骼图,利用视频的时序性借助convLSTM判断人员动作。
检测服务器:基于视频流,实现收银台上的POS机,扫码枪,***机,银行卡,小票,手机等介质检测及定位功能,其具体实施步骤如下:
A.通过FasterRCNN算法先对目标进行初步定为识别;
B.运用细粒度分类与小目标识别算法对手机,小票,银行卡之类的小目标进行进一步识别,具体技术细节与人员检测的技术相同。
收银服务检测器:基于工作人员、介质、顾客检测结果,含位置,分别实现员工在进行递接卡和递接***服务时动作是否规范的检测,以及员工私自盗刷银行卡以及私开***和小票的行为检测,输出检测结果,其具体实施步骤如下:
步骤1:利用Temporal Segment Networks(TSN)来对动作进行检测,判断员工手部与顾客之间的相对位置,员工手部与银行卡和小票的相对位置,员工手部与POS机的位置,判断员工是否在进行收银服务。
步骤2:判定为员工进行收银服务后,通过判断两个手臂各自的夹角关系以及两个手臂之间的平行关系来确定员工进行递接银行卡,***以及小票时是否是双手操作;其中员工手势规范的检测具体是收银台单双手接递***、银行卡的事件检测,主要基于目标检测和关键点检测结果进行判断。在进行事件判断之前需要下列目标检测的结果,包括工作人员、顾客、扫码枪、银行卡、***、手机、pos机等;关键点结果涉及所有人员的关键点信息:手腕、手肘、双肩等。
获得以上信息后,对信息处理将经过三个过程,分别是转换层、分析层和处理层,分别完成数据预处理、事件分析和事件处理。
转换层:
首先要针对摄像头的角度,收银员和顾客活动的区域绘制遮罩区域,对于顾客出现在收银台里面、收银员出现在收银台前等情况进行过滤。然后,通过和上一帧数据进行IOU匹配,对目标进行跟踪,对于首次出现的目标或活跃度过大的目标重新设置全局ID,并设置活跃度为1。活跃度表示同一目标相对位置和面积变化的程度,其计算公式如下:
A{i+1}=A{i}*(1-α)+α*(1-(IOU(bbox{i+1},bbox{i}))2) (1)
其中IOU计算的是同一目标的IOU值,α表示手动设定的阈值。
分析层:
根据关键的相对位置关系变化、顾客和店员的相对位置关系和时序信息得到下一个中间分析结果:
活跃度(active):目标活动的剧烈程度,针对潜在的接递对象(银行卡、***、小票)
双手距离得分(pv0):双手的距离,距离越远得分越高
平行关系得分(pv1):手肘连线和手腕连线的平行程度,越接***行得分越高
伸直程度得分(pv1|pv2):区分左右手,臂膀越伸直得分越高
运动向量得分(vl|vr):区分左右手,前伸方向得分高,后退方向得分低
事件距离得分(ev0):顾客和店员的手越近得分越高
前伸方向得分(ev1):向前伸的距离越远得分越高
前伸距离得分(ev2):向前伸的距离越远得分越高
递物操作概率(passv):顾客和店员发送一次递物行为,手上存在银行卡、***的可能性
递物操作概率(scanv):顾客和店员手持扫码抢的可能性
交互概率(score):顾客和店员进行一次递物行为的可能性
单手接递概率P1计算公式如下:
P1=((1-(pv0*pv1)0.5)*(score*ev0*ev1*ev2)0.5))*passv*active (2)
双手接递概率P2计算公式如下
P2=(((pv0*pv1*pv2*pv3)0.25)*(score*ev0*ev1*ev2)0.5)*passv*active (3)
扫码概率P3计算公式如下
P3=((1-(pv0*pv1)0.5)*(score*ev0*ev1*ev2)0.5))*scanv*active (4)
处理层:
设定事件判断的阈值,对于极有可能的单手接递事件进行报警,并保存图片和历史视频。
步骤3:判定为没有进行收银服务时,通过手机与扫码枪的位置,POS机是否***银行卡,以及此时是否有小票被打印来判断员工是否有私自盗刷银行卡和私自开小票的行为。
1)违规事件语音报警器:当识别到员工有违规操作时,实时进行语音报警。其具体实施方法:当识别到员工有违规操作时,实时进行语音报警。采用一种新的文字转语音的神经网络方法,可以将从开放场景下采样到的声音中提取的文字转化为语音。不同于其他的文字转语音***,这种方法能够处理从公开演讲中提取出来的非约束性的样本,而且网络架构比现存的解决同样问题的架构要简单。它基于新的移位缓冲内存储器区,这个缓冲区也可以用于评估注意力,计算输出音频,以及自身的更新。
2)违规短信发送服务器:当识别到员工有违规操作时,实时将报警文本信息和图片信息发送到管理人员的手机。其具体实施方法:当识别到员工有违规操作时,实时将报警文本信息和图片信息发送到管理人员的手机。通过将***检测到的信息编辑成文字,利用第三方的***短信接口,发送预警信息给用户。
3)数据分析处理中心:用于对历史信息按每天每周每月的形式进行数据统计,生成柱状图,折线图,饼图等统计信息,并在此基础上形成日报,周报,月报。
4)前端展示界面:可以方便管理人员实时查看现场信息,并且可以查看历史报警信息统计。
Claims (6)
1.一种基于人工智能的收银台服务规范检测***,其特征在于,包括:
1)图像采集摄像头:可以为单个或多个摄像头,用于实时监视并采集收银区域场景画面,并传递视频流;
2)员工态势识别服务器:基于视频流,实时检测超市收银区的工作人员和顾客;对于工作人员,进一步实现人脸识别及采集,以及上肢肢体动作识别及采集;
3)介质检测服务器:基于视频流,实现收银台上的工作相关目标介质的检测及定位功能;
4)收银服务检测器:基于工作人员、目标介质、顾客检测结果,位置,分别实现员工在进行递接卡和递接***服务时动作是否规范的检测,以及员工私自盗刷银行卡以及私开***和小票的行为检测,输出检测结果;
5)违规事件报警器:包括语音报警器和短信发送服务器,当识别到员工有违规操作时,实时进行语音报警或将报警文本信息和图片信息发送到管理人员的监管终端。
2.根据权利要求1所述的基于人工智能的收银台服务规范检测***,其特征在于,所述的员工态势识别服务器的具体工作步骤为:
1)将传输过来的视频流解码成单帧图片,通过目标检测算法对顾客和员工进行定位和识别;
2)将识别后的员工图片进一步进行人脸数据采集,将人脸数据与之前录入***中的人脸库进行比对,定位到具体员工;然后通过人体关键点检测算法识别员工手部、腕部、肘部;同时识别上肢动作;
所述的通过人体关键点检测算法识别员工手部、腕部、肘部;同时识别上肢动作,具体方法步骤为:
1)员工关键点检测,通过人体关键点检测的AlphaPose算法对员工手部,腕部,以及肘部的关键点进行识别,并通过对各个关键点之间夹角的运算对员工的上肢动作进行识别;Faster-RCNN对人员目标进行识别,然后通过SPPE算法对各个关键点进行聚合,得到手部腕部以及肘部的关键点;然后采用Deformable Pose Traversal Convolution模型来实现对工作人员操作步骤的检测,该模型通过人体姿态关键点检测生成人体骨骼图,利用视频的时序性借助convLSTM判断人员动作;
2)员工手势规范的检测,***采用了基于多任务深度学习的2/3D动作识别算法,该网络结合了姿势评估算法的优点,同时采集图像的视觉特征,在外观表征和动作表征的两个维度上聚合特征,以达到较好的姿势检测效果。
3.根据权利要求1所述的基于人工智能的收银台服务规范检测***,其特征在于,所述的收银服务检测器具体工作步骤为:接受所述员工态势识别服务器和介质检测服务器的输入信息后,再:
1)通过判断员工手部与顾客之间的相对位置,员工手部与银行卡和小票的相对位置,员工手部与POS机的位置,判断员工是否在进行收银服务;
2)判定为员工进行收银服务后,通过判断两个手臂各自的夹角关系以及两个手臂之间的平行关系来确定员工进行递接银行卡,***以及小票时是否是双手操作;
3)判定为没有进行收银服务时,通过手机与扫码枪的位置,POS机是否***银行卡,以及此时是否有小票被打印来判断员工是否有私自盗刷银行卡和私自开小票的行为。
4.根据权利要求1所述的基于人工智能的收银台服务规范检测***,其特征在于,所述的介质检测服务器具体工作步骤为:
1)通过目标识别算法对工作相关介质目标进行初步定为识别;
2)运用细粒度分类与小目标识别算法对手机,小票,银行卡之类的小目标进行进一步识别。
5.根据权利要求1所述的基于人工智能的收银台服务规范检测***,其特征在于,所述作相关介质目标包括但不限于:POS机,扫码枪,***机,银行卡,小票,手机。
6.根据权利要求1所述的基于人工智能的收银台服务规范检测***,其特征在于,所述收银服务检测器的检测结果输入后续的数据分析处理中心:用于对历史信息按每天每周每月的形式进行数据统计,生成柱状图,折线图,饼图等统计信息,并在此基础上形成日报,周报,月报;或输入前端展示界面:以方便管理人员实时查看现场信息,查看历史报警信息统计。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910755266.XA CN110472870B (zh) | 2019-08-15 | 2019-08-15 | 一种基于人工智能的收银台服务规范检测*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910755266.XA CN110472870B (zh) | 2019-08-15 | 2019-08-15 | 一种基于人工智能的收银台服务规范检测*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110472870A true CN110472870A (zh) | 2019-11-19 |
CN110472870B CN110472870B (zh) | 2023-02-28 |
Family
ID=68510185
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910755266.XA Active CN110472870B (zh) | 2019-08-15 | 2019-08-15 | 一种基于人工智能的收银台服务规范检测*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110472870B (zh) |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111147821A (zh) * | 2020-01-02 | 2020-05-12 | 朔黄铁路发展有限责任公司 | 机车车载视频智能监控方法及其装置 |
CN111161743A (zh) * | 2019-12-31 | 2020-05-15 | 秒针信息技术有限公司 | 基于语音识别的收银监督方法及*** |
CN111191523A (zh) * | 2019-12-11 | 2020-05-22 | 秒针信息技术有限公司 | 信息的显示方法和装置、存储介质及电子装置 |
CN111310612A (zh) * | 2020-01-22 | 2020-06-19 | 中国建设银行股份有限公司 | 行为督导方法和装置 |
CN111369170A (zh) * | 2020-03-18 | 2020-07-03 | 浩云科技股份有限公司 | 银行文优服务评价*** |
CN111626707A (zh) * | 2020-05-28 | 2020-09-04 | 广东电力信息科技有限公司 | 一种作业智能远程安全管控方法和装置 |
CN111666812A (zh) * | 2020-04-28 | 2020-09-15 | 苏宁云计算有限公司 | 一种人员行为的识别方法和*** |
CN111738150A (zh) * | 2020-06-22 | 2020-10-02 | 中国银行股份有限公司 | 自动化监督方法、装置及*** |
CN111814601A (zh) * | 2020-06-23 | 2020-10-23 | 国网上海市电力公司 | 一种将目标检测与人体姿态估计相结合的视频分析方法 |
CN111932704A (zh) * | 2020-07-17 | 2020-11-13 | 苏州企智信息科技有限公司 | 一种基于视频行为识别的经营规范智能巡查方法 |
CN111967321A (zh) * | 2020-07-15 | 2020-11-20 | 菜鸟智能物流控股有限公司 | 视频数据处理方法、装置、电子设备和存储介质 |
CN112019806A (zh) * | 2020-08-05 | 2020-12-01 | 程子赫 | 人工智能技术对重要岗位操作不规范行为监控矫正*** |
CN112163531A (zh) * | 2020-09-30 | 2021-01-01 | 四川弘和通讯有限公司 | 一种基于行人手臂角度分析的加油员手势识别的方法 |
CN112183417A (zh) * | 2020-09-30 | 2021-01-05 | 重庆天智慧启科技有限公司 | 一种置业顾问服务能力评价***及方法 |
CN112488827A (zh) * | 2021-01-13 | 2021-03-12 | 润邦汇金金融服务外包(北京)有限公司 | 一种人工智能检测银行网点风控与管理*** |
CN112541410A (zh) * | 2020-12-01 | 2021-03-23 | 中国工商银行股份有限公司 | 一种金库人员行为规范检测方法及装置 |
CN112668398A (zh) * | 2020-12-07 | 2021-04-16 | 浙江大华技术股份有限公司 | 人员行为合规检测方法、装置和电子装置 |
CN112836150A (zh) * | 2021-02-03 | 2021-05-25 | 捷玛计算机信息技术(上海)股份有限公司 | 药品的追溯码的识别方法、***、设备和介质 |
CN112906646A (zh) * | 2021-03-23 | 2021-06-04 | 中国联合网络通信集团有限公司 | 人体姿态的检测方法及装置 |
CN113537034A (zh) * | 2021-07-12 | 2021-10-22 | 上海商米科技集团股份有限公司 | 收银防损方法及*** |
CN113850187A (zh) * | 2021-09-24 | 2021-12-28 | 南京奥拓电子科技有限公司 | 一种超级柜台违规操作的监控方法及*** |
CN115861940B (zh) * | 2023-02-24 | 2023-04-28 | 珠海金智维信息科技有限公司 | 基于人体跟踪及识别技术的工作场景行为评估方法及*** |
WO2024046003A1 (zh) * | 2022-09-02 | 2024-03-07 | 重庆邮电大学 | 一种理发店员工工作内容智能识别方法 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1508741A (zh) * | 2002-12-16 | 2004-06-30 | ��³����ʽ���� | 位置信息管理*** |
US20060104479A1 (en) * | 2004-11-12 | 2006-05-18 | Iss Technology | Methods of unattended detection of operator's deliberate or unintentional breaches of the operating procedure and devices therefore. |
US20070058040A1 (en) * | 2005-09-09 | 2007-03-15 | Objectvideo, Inc. | Video surveillance using spatial-temporal motion analysis |
JP2011065327A (ja) * | 2009-09-16 | 2011-03-31 | Seiko Epson Corp | 警告装置、警告装置の制御方法およびプログラム |
JP2011123527A (ja) * | 2009-12-08 | 2011-06-23 | Seiko Epson Corp | 警告装置、警告装置の制御方法およびプログラム |
CN103718546A (zh) * | 2011-07-29 | 2014-04-09 | 松下电器产业株式会社 | 用于通过检测异常来改善站点运营的***和方法 |
US20140267735A1 (en) * | 2013-03-15 | 2014-09-18 | James Carey | Investigation generation in an observation and surveillance system |
US20140347479A1 (en) * | 2011-11-13 | 2014-11-27 | Dor Givon | Methods, Systems, Apparatuses, Circuits and Associated Computer Executable Code for Video Based Subject Characterization, Categorization, Identification, Tracking, Monitoring and/or Presence Response |
CN105956775A (zh) * | 2016-05-03 | 2016-09-21 | 山东国兴智能科技有限公司 | 全自动无人加油站自主加油、监控管理***及相应方法 |
CN107403528A (zh) * | 2016-04-27 | 2017-11-28 | 东芝泰格有限公司 | 商品销售数据处理装置及***、以及控制方法 |
CN109271961A (zh) * | 2018-10-09 | 2019-01-25 | 成都阳帆网络科技有限公司 | 基于人物身份特征识别的行为模式判断方法 |
CN109961457A (zh) * | 2017-12-25 | 2019-07-02 | 北京顺智信科技有限公司 | 一种收银防损方法及*** |
-
2019
- 2019-08-15 CN CN201910755266.XA patent/CN110472870B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1508741A (zh) * | 2002-12-16 | 2004-06-30 | ��³����ʽ���� | 位置信息管理*** |
US20060104479A1 (en) * | 2004-11-12 | 2006-05-18 | Iss Technology | Methods of unattended detection of operator's deliberate or unintentional breaches of the operating procedure and devices therefore. |
US20070058040A1 (en) * | 2005-09-09 | 2007-03-15 | Objectvideo, Inc. | Video surveillance using spatial-temporal motion analysis |
JP2011065327A (ja) * | 2009-09-16 | 2011-03-31 | Seiko Epson Corp | 警告装置、警告装置の制御方法およびプログラム |
JP2011123527A (ja) * | 2009-12-08 | 2011-06-23 | Seiko Epson Corp | 警告装置、警告装置の制御方法およびプログラム |
CN103718546A (zh) * | 2011-07-29 | 2014-04-09 | 松下电器产业株式会社 | 用于通过检测异常来改善站点运营的***和方法 |
US20140347479A1 (en) * | 2011-11-13 | 2014-11-27 | Dor Givon | Methods, Systems, Apparatuses, Circuits and Associated Computer Executable Code for Video Based Subject Characterization, Categorization, Identification, Tracking, Monitoring and/or Presence Response |
US20140267735A1 (en) * | 2013-03-15 | 2014-09-18 | James Carey | Investigation generation in an observation and surveillance system |
CN107403528A (zh) * | 2016-04-27 | 2017-11-28 | 东芝泰格有限公司 | 商品销售数据处理装置及***、以及控制方法 |
CN105956775A (zh) * | 2016-05-03 | 2016-09-21 | 山东国兴智能科技有限公司 | 全自动无人加油站自主加油、监控管理***及相应方法 |
CN109961457A (zh) * | 2017-12-25 | 2019-07-02 | 北京顺智信科技有限公司 | 一种收银防损方法及*** |
CN109271961A (zh) * | 2018-10-09 | 2019-01-25 | 成都阳帆网络科技有限公司 | 基于人物身份特征识别的行为模式判断方法 |
Cited By (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111191523A (zh) * | 2019-12-11 | 2020-05-22 | 秒针信息技术有限公司 | 信息的显示方法和装置、存储介质及电子装置 |
CN111161743B (zh) * | 2019-12-31 | 2022-12-13 | 上海明胜品智人工智能科技有限公司 | 基于语音识别的收银监督方法及*** |
CN111161743A (zh) * | 2019-12-31 | 2020-05-15 | 秒针信息技术有限公司 | 基于语音识别的收银监督方法及*** |
CN111147821A (zh) * | 2020-01-02 | 2020-05-12 | 朔黄铁路发展有限责任公司 | 机车车载视频智能监控方法及其装置 |
CN111310612A (zh) * | 2020-01-22 | 2020-06-19 | 中国建设银行股份有限公司 | 行为督导方法和装置 |
CN111369170A (zh) * | 2020-03-18 | 2020-07-03 | 浩云科技股份有限公司 | 银行文优服务评价*** |
CN111369170B (zh) * | 2020-03-18 | 2023-09-01 | 浩云科技股份有限公司 | 银行文优服务评价方法 |
CN111666812A (zh) * | 2020-04-28 | 2020-09-15 | 苏宁云计算有限公司 | 一种人员行为的识别方法和*** |
CN111626707A (zh) * | 2020-05-28 | 2020-09-04 | 广东电力信息科技有限公司 | 一种作业智能远程安全管控方法和装置 |
CN111738150A (zh) * | 2020-06-22 | 2020-10-02 | 中国银行股份有限公司 | 自动化监督方法、装置及*** |
CN111738150B (zh) * | 2020-06-22 | 2024-02-09 | 中国银行股份有限公司 | 自动化监督方法、装置及*** |
CN111814601A (zh) * | 2020-06-23 | 2020-10-23 | 国网上海市电力公司 | 一种将目标检测与人体姿态估计相结合的视频分析方法 |
CN111967321A (zh) * | 2020-07-15 | 2020-11-20 | 菜鸟智能物流控股有限公司 | 视频数据处理方法、装置、电子设备和存储介质 |
CN111967321B (zh) * | 2020-07-15 | 2024-04-05 | 菜鸟智能物流控股有限公司 | 视频数据处理方法、装置、电子设备和存储介质 |
CN111932704A (zh) * | 2020-07-17 | 2020-11-13 | 苏州企智信息科技有限公司 | 一种基于视频行为识别的经营规范智能巡查方法 |
CN112019806A (zh) * | 2020-08-05 | 2020-12-01 | 程子赫 | 人工智能技术对重要岗位操作不规范行为监控矫正*** |
CN112183417A (zh) * | 2020-09-30 | 2021-01-05 | 重庆天智慧启科技有限公司 | 一种置业顾问服务能力评价***及方法 |
CN112183417B (zh) * | 2020-09-30 | 2023-12-05 | 重庆天智慧启科技有限公司 | 一种置业顾问服务能力评价***及方法 |
CN112163531A (zh) * | 2020-09-30 | 2021-01-01 | 四川弘和通讯有限公司 | 一种基于行人手臂角度分析的加油员手势识别的方法 |
CN112541410A (zh) * | 2020-12-01 | 2021-03-23 | 中国工商银行股份有限公司 | 一种金库人员行为规范检测方法及装置 |
CN112541410B (zh) * | 2020-12-01 | 2024-03-26 | 中国工商银行股份有限公司 | 一种金库人员行为规范检测方法及装置 |
CN112668398A (zh) * | 2020-12-07 | 2021-04-16 | 浙江大华技术股份有限公司 | 人员行为合规检测方法、装置和电子装置 |
CN112488827A (zh) * | 2021-01-13 | 2021-03-12 | 润邦汇金金融服务外包(北京)有限公司 | 一种人工智能检测银行网点风控与管理*** |
CN112836150A (zh) * | 2021-02-03 | 2021-05-25 | 捷玛计算机信息技术(上海)股份有限公司 | 药品的追溯码的识别方法、***、设备和介质 |
CN112906646A (zh) * | 2021-03-23 | 2021-06-04 | 中国联合网络通信集团有限公司 | 人体姿态的检测方法及装置 |
CN113537034A (zh) * | 2021-07-12 | 2021-10-22 | 上海商米科技集团股份有限公司 | 收银防损方法及*** |
CN113850187A (zh) * | 2021-09-24 | 2021-12-28 | 南京奥拓电子科技有限公司 | 一种超级柜台违规操作的监控方法及*** |
WO2024046003A1 (zh) * | 2022-09-02 | 2024-03-07 | 重庆邮电大学 | 一种理发店员工工作内容智能识别方法 |
CN115861940B (zh) * | 2023-02-24 | 2023-04-28 | 珠海金智维信息科技有限公司 | 基于人体跟踪及识别技术的工作场景行为评估方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN110472870B (zh) | 2023-02-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110472870A (zh) | 一种基于人工智能的收银台服务规范检测*** | |
CN109934176B (zh) | 行人识别***、识别方法及计算机可读存储介质 | |
CN110532970B (zh) | 人脸2d图像的年龄性别属性分析方法、***、设备和介质 | |
US8761517B2 (en) | Human activity determination from video | |
CN105590097B (zh) | 暗视觉条件下双摄像头协同实时人脸识别安防***及方法 | |
CN109819208A (zh) | 一种基于人工智能动态监控的密集人群安防监控管理方法 | |
CN108229335A (zh) | 关联人脸识别方法和装置、电子设备、存储介质、程序 | |
CN108171207A (zh) | 基于视频序列的人脸识别方法和装置 | |
CN109858388A (zh) | 一种智慧旅游管理*** | |
CN105139040A (zh) | 一种排队状态信息检测方法及其*** | |
CN110399835B (zh) | 一种人员停留时间的分析方法、装置及*** | |
CN105447532A (zh) | 身份认证方法和装置 | |
CN109214263A (zh) | 一种基于特征复用的人脸识别方法 | |
CN111985348B (zh) | 人脸识别方法和*** | |
CN108133197B (zh) | 用于生成信息的方法和装置 | |
CN110827432B (zh) | 一种基于人脸识别的课堂考勤方法及*** | |
CN113630721A (zh) | 推荐游览路线的生成方法和装置、及计算机可读存储介质 | |
CN113780145A (zh) | ***形态检测方法、装置、计算机设备和存储介质 | |
CN113269010B (zh) | 一种人脸活体检测模型的训练方法和相关装置 | |
CN116959099B (zh) | 一种基于时空图卷积神经网络的异常行为识别方法 | |
US20220335725A1 (en) | Monitoring presence or absence of an object using local region matching | |
CN114898287A (zh) | 用于餐盘检测预警的方法、装置、电子设备、存储介质 | |
CN115565097A (zh) | 交易场景人员行为是否合规检测方法及装置 | |
KR20230117945A (ko) | 고객 객체 분석 시스템 및 방법 | |
CN113486201A (zh) | 一种卡通人物图像分类处理方法与*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |