CN113989499B - 一种基于人工智能的银行场景下智能报警方法 - Google Patents

一种基于人工智能的银行场景下智能报警方法 Download PDF

Info

Publication number
CN113989499B
CN113989499B CN202111607199.0A CN202111607199A CN113989499B CN 113989499 B CN113989499 B CN 113989499B CN 202111607199 A CN202111607199 A CN 202111607199A CN 113989499 B CN113989499 B CN 113989499B
Authority
CN
China
Prior art keywords
target
bank
scene
customer
target detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111607199.0A
Other languages
English (en)
Other versions
CN113989499A (zh
Inventor
张亚辉
胡志坤
张悦
方亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhiyang Innovation Technology Co Ltd
Original Assignee
Zhiyang Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhiyang Innovation Technology Co Ltd filed Critical Zhiyang Innovation Technology Co Ltd
Priority to CN202111607199.0A priority Critical patent/CN113989499B/zh
Publication of CN113989499A publication Critical patent/CN113989499A/zh
Application granted granted Critical
Publication of CN113989499B publication Critical patent/CN113989499B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/02—Banking, e.g. interest calculation or account maintenance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Finance (AREA)
  • General Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)

Abstract

一种基于人工智能的银行场景下智能报警方法，属于计算机视觉智能识别的技术领域，针对检测出来的目标中的员工和顾客类别进行针对性的判断，该方法根据目标的特异性设计不同的逻辑，提高了报警***的智能程度。提出了一种新的标注类别方法，包括将场景中的人物分别按照职业划分为银行职员、保安人员以及顾客，场景中的物品按照种类的不同划分为顾客遗失物品、手机和广告牌；同时提出了改进的yolov5的目标检测算法，对原始yolov5目标检测算法加入ASFF自适应特征融合模块，对银行场景下的目标物体进行检测识别，提高了算法对目标检测识别的准确率以及实时性。

Description

一种基于人工智能的银行场景下智能报警方法
技术领域
本发明公开一种基于人工智能的银行场景下智能报警方法，属于计算机视觉智能识别的技术领域。
背景技术
银行是经营存款、放款、汇兑、储蓄等业务，承担信用中介的金融机构，其具有规模多样化、金融服务设备众多、出入人员复杂、管理涉及范围广等特点。因此，基于此场景下，经常发生因员工消极怠工而导致顾客未能得到高效服务的情况。除此之外，虽然顾客没有需要专业帮助的意愿，但是如能通过某种监督可以督促工作人员积极关注客户需求，也会大大提高客户服务体验，同时增加银行创收。
当前银行场景下的监控方法主要依靠工作人员人为的不间断的监控顾客是否需要帮助以及员工行为是否合规、安全等，需要大量的人力。传统的监控方法主要依靠人工检测的方法，这种方法存在着诸多缺陷，比如劳动强度大，自动化程度低等，并且容易受到监控人员的主观情绪影响，而且由于人力容易出现疲劳等情况，所以监控误差较大。
发明内容
针对现有技术的不足，本发明公开一种基于人工智能的银行场景下智能报警方法。本发明涉及深度学习算法在计算机视觉领域的应用，具体是指基于深度神经网络，自动识别银行场景中人员以及物品位置和类别信息的方法，并依据检测结果进行智能报警。
本发明详细的技术方案如下：
一种基于人工智能的银行场景下智能报警方法，其特征在于，包括：
S1：通过银行监控摄像头收集银行正常工作场景下的视频流；
S2：将收集得到的视频流通过抽帧的方法，获取视频流中不同时刻的银行场景照片，以制作数据集；
S3：然后利用基于改进的yolov5目标检测算法，对所述数据集进行离线训练；所述基于改进的yolov5目标检测算法为：针对yolov5目标检测模型添加ASFF自适应特征融合模块，对上层的输出特征进行加权融合，提升算法的检测效果，所述ASFF自适应特征融合模块的原理：对于上层的输入特征
Figure 571098DEST_PATH_IMAGE001
分别乘上权重
Figure 783773DEST_PATH_IMAGE002
，公式
为
Figure 316386DEST_PATH_IMAGE003
，所述
Figure 780865DEST_PATH_IMAGE004
经过降维之后通过softmax函数使得范围都在[0,1]内并且和为1；
S4：训练的到的模型对场景中标注的人和物做检测识别，同时得到其位置与类别标签；
S5：根据模型的检测结果，通过后处理模块，得到是否有顾客需要帮助情况，和/或是否有员工玩手机的情况。
根据本发明优选的，所述S1的具体流程为：
S11：在银行场景下部署监控摄像头；
S12：将监控摄像头拍摄的到的视频，分不同的时间段分别收集视频流。
根据本发明优选的，所述S2的具体流程为：
S21：将收集得到的视频流按照抽帧的方法对视频进行处理，时间间隔取为2s，每隔2s从视频中抽取一张图片；
S22：将所有收集得到的图片汇总成数据集；
S23：利用开源标注工具Labeling对数据集进行标注，在图像中出现的人和物进行标注，包括：customer（顾客），customer_missing_package（顾客遗失物品），phone（手机），poster（广告牌），securer（保安）和staff（银行职员）；
将人员按照职业的不同分为customer（顾客）、securer（保安），staff（银行职员）；将物体按照种类的不同分为customer_missing_package（顾客遗失物品），phone（手机），poster（广告牌）；
S24：将标注完成的数据集按照8：1：1的比例，将数据集乱序分配，分为训练集、测试集和验证集。
根据本发明优选的，所述S3的具体流程为：
在S24标注得到的数据集上，训练改进的yolov5模型，得到基于改进的yolov5的银行场景下识别人员及物品位置和类别信息的目标检测算法。
根据本发明优选的，所述S4的具体流程为：
S41：将S3得到的目标检测算法，运用在S2中获取的银行场景下的数据图像上，对图像中的人员以及物品进行检测，并形成目标检测框；
S42：根据S41的检测结果，将同一帧的检测结果进行统计，并显示在视频帧中。
根据本发明优选的，所述S5的具体流程为：
S51：针对检测出来的所有目标进行循环遍历，先判断该目标是否是员工：
如果是员工，则判断其它目标检测框与该员工检测框相交的目标检测框中是否有手机存在，如果有，则对后台报警：有员工玩手机；
如果判断该目标不是员工，则判断该目标是否是顾客，如果是顾客，则判断其它目标检测框与该顾客检测框相交的目标是否有员工存在，如果无，则对后台报警：有顾客需要帮助；
S52：如果该目标既不是员工也不是顾客，则跳过该目标，当所有目标都遍历一遍之后，结束该后处理模块。
与现有技术相比，本发明具有以下有益效果：
1) 本发明设计了一种基于人工智能的银行场景下智能报警方法，提出了一种新的标注类别方法，包括将场景中的人物分别按照职业划分为银行职员、保安人员以及顾客，场景中的物品按照种类的不同划分为顾客遗失物品、手机和广告牌，该方法按照目标的特异性划分，可以最大程度的发挥出基于深度学习的计算机视觉的优势，提高了算法对目标识别的准确率。
2) 本发明设计了一种基于人工智能的银行场景下智能报警方法，提出了改进的yolov5的目标检测算法，对原始yolov5目标检测算法加入ASFF自适应特征融合模块，对银行场景下的目标物体进行检测识别，提高了算法对目标检测识别的准确率以及实时性。
3) 本发明设计了一种基于模型检测结果的后处理方法，提出了一种新的逻辑判断方法，针对检测出来的目标中的员工和顾客类别进行针对性的判断，该方法根据目标的特异性设计不同的逻辑，提高了报警***的智能程度。
附图说明
图1是发明所述智能报警方法的流程图。
图2是银行场景下数据集的标注框图。
图3是ASFF自适应特征融合示意图。
图4是目标检测模型识别结果无报警的场景示意图。
图5是目标检测模型识别到员工玩手机报警的场景示意图。
图6是目标检测模型识别到顾客需要帮助报警的场景示意图。
具体实施方式
下面结合实施例对本发明做进一步说明，但不限于此。
实施例、
如图1所示，一种基于人工智能的银行场景下智能报警方法，包括：
S1：通过银行监控摄像头收集银行正常工作场景下的视频流；
S2：将收集得到的视频流通过抽帧的方法，获取视频流中不同时刻的银行场景照片，以制作数据集；
S3：然后利用基于改进的yolov5目标检测算法，对所述数据集进行离线训练；所述基于改进的yolov5目标检测算法为：针对yolov5目标检测模型添加ASFF自适应特征融合模块，对上层的输出特征进行加权融合，提升算法的检测效果，所述ASFF自适应特征融合模块的原理：对于上层的输入特征
Figure 715323DEST_PATH_IMAGE005
分别乘上权重
Figure 849632DEST_PATH_IMAGE006
，公式
为
Figure 869541DEST_PATH_IMAGE007
，所述
Figure 872132DEST_PATH_IMAGE008
经过降维之后通过softmax函数使得范围都在[0,1]内并且和为1；
S4：训练的到的模型对场景中标注的人和物做检测识别，同时得到其位置与类别标签；
S5：根据模型的检测结果，通过后处理模块，得到是否有顾客需要帮助情况，和/或是否有员工玩手机的情况。
所述S1的具体流程为：
S11：在银行场景下部署监控摄像头；
S12：将监控摄像头拍摄的到的视频，分不同的时间段分别收集视频流。
所述S2的具体流程为：
S21：将收集得到的视频流按照抽帧的方法对视频进行处理，时间间隔取为2s，每隔2s从视频中抽取一张图片；
S22：将所有收集得到的图片汇总成数据集；
S23：利用开源标注工具Labeling对数据集进行标注，在图像中出现的人和物进行标注，包括：customer（顾客），customer_missing_package（顾客遗失物品），phone（手机），poster（广告牌），securer（保安）和staff（银行职员）；
S24：将标注完成的数据集按照8：1：1的比例，将数据集乱序分配，分为训练集、测试集和验证集。
所述S3的具体流程为：
在S24标注得到的数据集上，训练改进的yolov5模型，得到基于改进的yolov5的银行场景下识别人员及物品位置和类别信息的目标检测算法。
所述S4的具体流程为：
S41：将S3得到的目标检测算法，运用在S2中获取的银行场景下的数据图像上，对图像中的人员以及物品进行检测，并形成目标检测框；
S42：根据S41的检测结果，将同一帧的检测结果进行统计，并显示在视频帧中。
所述S5的具体流程为：
S51：针对检测出来的所有目标进行循环遍历，先判断该目标是否是员工：
如果是员工，则判断其它目标检测框与该员工检测框相交的目标检测框中是否有手机存在，如果有，则对后台报警：有员工玩手机；
如果判断该目标不是员工，则判断该目标是否是顾客，如果是顾客，则判断其它目标检测框与该顾客检测框相交的目标是否有员工存在，如果无，则对后台报警：有顾客需要帮助；
S52：如果该目标既不是员工也不是顾客，则跳过该目标，当所有目标都遍历一遍之后，结束该后处理模块。
应用例、
某银行业务点监控实时拍摄，在视频流中抽取图片送入目标检测模型后，在某一时刻检测出目标信息。针对员工和顾客检测结果数据，进行分析，根据结果判断是否存在员工玩手机以及是否存在顾客需要帮助，对后台管理人员进行报警，方便银行人员以及业务管理。银行场景下智能报警具体步骤如下：
S1：收集银行场景下摄像数据，共13846张图片，训练改进的yolov5模型，如附图2是对数据图片进行标注，附图3为ASFF自适应特征融合示意图；
S2：通过目标检测模型的识别结果，获取银行场景下检测结果图像数据；
S3：针对检测出来的所有目标进行循环遍历，先判断该目标是否是员工，如果是员工，则判断其它目标检测框与该员工检测框相交的目标是否有手机存在，如果有，则对后台报警，有员工玩手机，附图5是检测到有员工玩手机，并给出警告信息；
S4：如果判断该目标不是员工，则判断该目标是否是顾客，如果是顾客，则判断其它目标检测框与该顾客检测框相交的目标是否有员工存在，如果无，则对后台报警，有顾客需要帮助，附图6是检测到有顾客需要帮助，并给出警告信息；
S5：如果该目标既不是员工也不是顾客，则跳过该目标，附图4为正常情况，无报警信息，当所有目标都遍历一遍之后，结束该后处理模块。
在本发明中，通过改进的yolov5目标检测算法，得到银行场景下图像数据的识别结果，针对结果进行分析，如果存在员工玩手机以及顾客需要帮助的情况，就给出相应的报警信息，可以做到实时准确的保证银行工作的高效率运行，更好的为顾客提供服务。

Claims (1)

1.一种基于人工智能的银行场景下智能报警方法，其特征在于，包括：
S1：通过银行监控摄像头收集银行正常工作场景下的视频流；
S2：将收集得到的视频流通过抽帧的方法，获取视频流中不同时刻的银行场景照片，以制作数据集；
S3：然后利用基于改进的yolov5目标检测算法，对所述数据集进行离线训练；所述基于改进的yolov5目标检测算法为：针对yolov5目标检测模型添加ASFF自适应特征融合模块，对上层的输出特征进行加权融合，所述ASFF自适应特征融合模块的原理：对于上层的输入特征
Figure 426626DEST_PATH_IMAGE001
分别乘上权重
Figure 290676DEST_PATH_IMAGE002
，公式为
Figure 573890DEST_PATH_IMAGE003
，所述
Figure 865194DEST_PATH_IMAGE004
经过降维之后通过softmax函数使得范围都在[0,1]内并且和为1；
S4：训练的到的模型对场景中标注的人和物做检测识别，同时得到其位置与类别标签；
S5：根据模型的检测结果，通过后处理模块，得到是否有顾客需要帮助情况，和/或是否有员工玩手机的情况；
所述S1的具体流程为：
S11：在银行场景下部署监控摄像头；
S12：将监控摄像头拍摄的到的视频，分不同的时间段分别收集视频流；
所述S2的具体流程为：
S21：将收集得到的视频流按照抽帧的方法对视频进行处理，时间间隔取为2s，每隔2s从视频中抽取一张图片；
S22：将所有收集得到的图片汇总成数据集；
S23：利用开源标注工具Labeling对数据集进行标注，在图像中出现的人和物进行标注，包括：customer顾客，customer_missing_package顾客遗失物品，phone手机，poster广告牌，securer保安和staff银行职员；
S24：将标注完成的数据集按照8：1：1的比例，分为训练集、测试集和验证集；
所述S3的具体流程为：
在S24标注得到的数据集上，训练改进的yolov5模型，得到基于改进的yolov5的银行场景下识别人员及物品位置和类别信息的目标检测算法；
所述S4的具体流程为：
S41：将S3得到的目标检测算法，运用在S2中获取的银行场景下的数据图像上，对图像中的人员以及物品进行检测，并形成目标检测框；
S42：根据S41的检测结果，将同一帧的检测结果进行统计，并显示在视频帧中；
所述S5的具体流程为：
S51：针对检测出来的所有目标进行循环遍历，先判断该目标是否是员工：
如果是员工，则判断其它目标检测框与该员工检测框相交的目标检测框中是否有手机存在，如果有，则对后台报警：有员工玩手机；
如果判断该目标不是员工，则判断该目标是否是顾客，如果是顾客，则判断其它目标检测框与该顾客检测框相交的目标是否有员工存在，如果无，则对后台报警：有顾客需要帮助；
S52：如果该目标既不是员工也不是顾客，则跳过该目标，当所有目标都遍历一遍之后，结束该后处理模块。
CN202111607199.0A 2021-12-27 2021-12-27 一种基于人工智能的银行场景下智能报警方法 Active CN113989499B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111607199.0A CN113989499B (zh) 2021-12-27 2021-12-27 一种基于人工智能的银行场景下智能报警方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111607199.0A CN113989499B (zh) 2021-12-27 2021-12-27 一种基于人工智能的银行场景下智能报警方法

Publications (2)

Publication Number Publication Date
CN113989499A CN113989499A (zh) 2022-01-28
CN113989499B true CN113989499B (zh) 2022-03-29

Family

ID=79734373

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111607199.0A Active CN113989499B (zh) 2021-12-27 2021-12-27 一种基于人工智能的银行场景下智能报警方法

Country Status (1)

Country Link
CN (1) CN113989499B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115222946B (zh) * 2022-09-19 2022-11-25 南京信息工程大学 一种单阶段实例图像分割方法、装置以及计算机设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109086971A (zh) * 2018-07-09 2018-12-25 河南深实科技有限公司 一种基于实体店内顾客行为识别的店员派遣***
CN109948490A (zh) * 2019-03-11 2019-06-28 浙江工业大学 一种基于行人重识别的员工特定行为记录方法
CN111079694A (zh) * 2019-12-28 2020-04-28 神思电子技术股份有限公司 一种柜面助手履职监控装置和方法
WO2020222236A1 (en) * 2019-04-30 2020-11-05 Tracxone Ltd System and methods for customer action verification in a shopping cart and point of sale

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269039A (zh) * 2021-04-21 2021-08-17 南京鸣赫信息技术有限公司 一种在岗人员行为识别方法和***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109086971A (zh) * 2018-07-09 2018-12-25 河南深实科技有限公司 一种基于实体店内顾客行为识别的店员派遣***
CN109948490A (zh) * 2019-03-11 2019-06-28 浙江工业大学 一种基于行人重识别的员工特定行为记录方法
WO2020222236A1 (en) * 2019-04-30 2020-11-05 Tracxone Ltd System and methods for customer action verification in a shopping cart and point of sale
CN111079694A (zh) * 2019-12-28 2020-04-28 神思电子技术股份有限公司 一种柜面助手履职监控装置和方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Learning Spatial Fusion for Single-Shot Object Detection;Songtao Liu 等;《arXiv》;20191130;第1-10页 *
基于改进YOLO v3的相似外部特征人员检测算法;梁思源等;《平顶山学院学报》;20200425(第02期);第52-59页 *

Also Published As

Publication number Publication date
CN113989499A (zh) 2022-01-28

Similar Documents

Publication Publication Date Title
Li et al. Deep learning‐based safety helmet detection in engineering management based on convolutional neural networks
CN110826538B (zh) 一种用于电力营业厅的异常离岗识别***
CN109271554B (zh) 一种智能视频识别***及其应用
CN111353338B (zh) 一种基于营业厅视频监控的能效改进方法
CN110728252A (zh) 一种应用于区域人员运动轨迹监控的人脸检测方法
CN112541393A (zh) 一种基于深度学习的变电站人员检测方法及装置
Aljarrah et al. Video content analysis using convolutional neural networks
CN112861673A (zh) 一种用于监控视频多目标检测的去误报预警方法和***
CN113989499B (zh) 一种基于人工智能的银行场景下智能报警方法
CN110458198A (zh) 多分辨率目标识别方法及装置
WO2023071188A1 (zh) 一种异常行为检测的方法、装置、电子设备及存储介质
Liu et al. Video content analysis for compliance audit in finance and security industry
CN107944373A (zh) 一种基于深度学习的视频异常行为检测方法
CN110309737A (zh) 一种应用于香烟柜台的信息处理方法、装置及***
CN111191498A (zh) 行为识别方法和相关产品
CN111199172A (zh) 基于终端录屏的处理方法及装置、存储介质
CN114360182B (zh) 一种智能告警方法、装置、设备及存储介质
CN109345427A (zh) 一种结合人脸识别和行人识别技术的教室视频点到方法
CN210091231U (zh) 一种智慧园区管理***
CN115859689B (zh) 一种全景可视化数字孪生应用的方法
CN116419059A (zh) 基于行为标签的自动监控方法、装置、设备及介质
Baliniskite et al. Affective state based anomaly detection in crowd
CN110533889A (zh) 一种敏感区域电子设备监测定位装置与方法
Hossain et al. Modeling quality of information in multi-sensor surveillance systems
KR20150029324A (ko) 감시카메라 영상을 이용한 실시간 결제 이벤트 요약 시스템 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant