CN113971836A - 一种基于计算机视觉的体育场监控和安全预警方法 - Google Patents

一种基于计算机视觉的体育场监控和安全预警方法 Download PDF

Info

Publication number
CN113971836A
CN113971836A CN202111251367.7A CN202111251367A CN113971836A CN 113971836 A CN113971836 A CN 113971836A CN 202111251367 A CN202111251367 A CN 202111251367A CN 113971836 A CN113971836 A CN 113971836A
Authority
CN
China
Prior art keywords
posture
computer vision
extracting
action
warning method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111251367.7A
Other languages
English (en)
Inventor
马宏宾
陈博凡
陈庚汝
谢兆辰
陆文宇轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Zhining Artificial Intelligence Research Institute Co ltd
Original Assignee
Nanjing Zhining Artificial Intelligence Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Zhining Artificial Intelligence Research Institute Co ltd filed Critical Nanjing Zhining Artificial Intelligence Research Institute Co ltd
Priority to CN202111251367.7A priority Critical patent/CN113971836A/zh
Publication of CN113971836A publication Critical patent/CN113971836A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0635—Risk analysis of enterprise or organisation activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G06Q50/265—Personal security, identity or safety

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于安全预警方法技术领域，具体公开一种基于计算机视觉的体育场监控和安全预警方法，包括以下步骤，步骤1，获取观众图像，提取观众图像中的动作特征，制作数据集；步骤2，提取观众的动作特征；步骤3，根据动作特征判断是否发出预警。

Description

一种基于计算机视觉的体育场监控和安全预警方法
技术领域
本发明属于安全预警方法技术领域，具体涉及一种基于计算机视觉的体育场监控和安全预警方法。
背景技术
视频监控是赛场安全管控的重要方式之一，然而目前大型赛场安全管控仍主要采用人工分析监控视频的方式，不仅费时费力，而且时效性不强。近年来，基于人体姿态识别技术的迅猛发展，人们试图找到一种能够快速有效识别观众异常行为的技术方法。
在此背景下，本文以赛场观众异常姿态为研究目标，研究姿态特征提取，分类以及行为识别算法，采用“人体关节点识别”+“分类器”的技术方案，提出一种基于OpenPose多人姿态估计算法的观众危险行为检测模型，开发针对赛场观众冲向比赛场地和不文明观赛影响比赛进程等异常行为的监控及预警***，用于提高基于视频监控的赛场安全管控的智能化水平。通过对赛场边缘的提取和标定，结合人体关键关节点的识别，以观众身体是否在标定的赛场区域内以及观众席上观众是否有投掷不明物体等异常行为为依据，自动判断观众行为是否需要反馈给预警报警***,监控人员通过反馈的观众坐标快速部署现场安保人员处理突发事件。
发明内容
本发明的目的在于提供一种基于计算机视觉的体育场监控和安全预警方法。
基于上述目的，本发明采用如下技术方案：
一种基于计算机视觉的体育场监控和安全预警方法，包括以下步骤，
步骤1，获取观众图像，提取观众图像中的动作特征，制作数据集；
步骤2，提取观众的动作特征；
步骤3，根据动作特征判断是否发出预警。
进一步的，在步骤1中，将数据集中的动作特征分为站立姿态、坐姿和投掷姿态，并将站立姿态和坐姿定义为安全状态，将投掷姿态定义为风险姿态。
进一步的，在步骤2中，提取观众的动作特征的方法为：采用OpenPose算法人体骨骼18个关节点的输出方式提取观众的动作特征，计数关节点的缺点个数，然后根据缺点个数进行补点，获得18个关节点，提取有价值的动作特征。
进一步的，在步骤2中，补点的方法为：如果缺点个数为一个或两个，通过OpenPose算法进行自动补点；如果缺点个数大于等于三，选择赋零补点；最后，根据可补缺点个数进行补点，获得18个关节点。
进一步的，在步骤2中，提取有价值的动作特征的方法为：采取组合特征，将人体姿态骨骼关节点之间的距离作为距离特征和某三个关节点之间的夹角作为角度特征整合到一个数组中，获得有价值的动作特征。
进一步的，在步骤3中，把步骤2获取的有价值的动作特征送入分类器，将有价值的动作特征与数据集中额动作特征进行对比，若对比结果为风险姿态，则发出预警，否则不发出预警。
与现有技术相比，本发明具有以下有益效果：
本发明设计的观众异常姿态检测方案满足准确性、实时性和较强的环境适应性。通过选用自下而上的OpenPose多人关键点检测算法，可以快速地从画面中提取多个人体姿态关键点结构，再通过合适的SVM分类器对人体姿态进行分类，从而筛选出具有危险的观众姿态，在客户端界面上进行提示与报警。
附图说明
图1为本发明实施例1的动作姿态示意图；
图2为本发明实施例1的关节点示意图；
图3为本发明实施例1的动作与关节点关系示意图；
图4为本发明实施例1的关键特征示意图。
具体实施方式
实施例1
一种基于计算机视觉的体育场监控和安全预警方法，包括以下步骤，
步骤1，获取观众图像，提取观众图像中的动作特征，制作数据集；基于常见的观众姿态分类，可以归纳出如下三类常见的观众姿态：站立姿态、坐姿和投掷姿态。其中站立和坐姿都是观众的正常观赛姿态，定义该姿态为安全状态，在比赛期间，检测识别到这两种姿态无需进行报警或提示。而投掷姿态具有潜在的发生事故的风险，容易对身边群众和赛场上的运动员造成一定的损伤，因此定义这类人体姿态为警告级别，***需要作出相应警告提示，相关人员应该立即前往现场进行指引，避免危险进一步升级。
在机器学***台Kaggle上用户上传的拍摄图片。而大部分的投掷图片是组内成员以校操场***台的白墙为背景，通过拍摄连续的模拟投掷动作视频，再经过OpenCV程序实现视频剪切和图像帧的提取，最后经过人工清洗，留下清晰的图片形成的。本文将数据样本按照这三种姿态特征进行图片数据分类。
步骤2，提取观众的动作特征；提取观众的动作特征的方法为：OpenPose一共有两种人体骨骼关节点的输出方式，分别为18个关节点和25个关节点，两者的主要差别在于足部关节点的多少。本文主要通过人体关节点识别观众的观赛姿态，而足部关节点的多少对最终的识别效果并没有太大的影响。因此，本文采用18个关节点的输出格式，关节点示意图如图2所示。
使用OpenPose生成的关节点坐标有以下两个显著的问题：出现缺少关节点和维数过大。对于缺少关节点的现象，OpenPose通过None予以表述，而其他有效数据则是例如(122，69)的形式，因此，补全缺少的关节点是必要的一步。针对多SVM分类器投票分类的方法，传统的方法使用的是赋0，这在SVM分类器数量较多并且类间差异小的情况下是有一定作用的。但对于本设计，由于一共有三类分类对象、且类间均有明显差异的情况，我们采取每一种分类器个性化补缺点的方法。我们的第一个策略为：首先，计数缺点个数。其次，根据缺点个数进行补点，如果缺点数量为一个或两个，结合实际情况可以通过程序进行自动补点；如果缺点数量大于等于三，选择赋零补点。最后，根据可补缺点个数进行补点。由于大多数缺点数据的缺点个数小于等于二，因此这种方法较全部赋零补点有很大优势。
这样获得18个关键点后，如果直接将坐标送入SVM分类器固然可以实现分类，但是固然会存在冗余特征，增加数据特征的维度，降低分类器的准确性。所以，本文采取第二种策略：先提取有价值的特征再送入分类器，以达到较好的分类结果。
什么是有价值的特征？如图3所示，欢呼与投掷的动作可以通过计算左手到右手的距离来进行判断，即点4到点7的距离。站立与坐姿的动作可以通过计算左腿或右腿的夹角来判断，即8-9-10或11-12-13的夹角。通过上述分析，本文提炼出25组关键特征如图4所示：步骤3，根据动作特征判断是否发出预警，把步骤2获取的有价值的动作特征送入分类器，将有价值的动作特征与数据集中额动作特征进行对比，若对比结果为风险姿态，则发出预警，否则不发出预警。

Claims (6)

1.一种基于计算机视觉的体育场监控和安全预警方法，其特征在于，包括以下步骤，
步骤1，获取观众图像，提取观众图像中的动作特征，制作数据集；
步骤2，提取观众的动作特征；
步骤3，根据动作特征判断是否发出预警。
2.如权利要求1所述的基于计算机视觉的体育场监控和安全预警方法，其特征在于，在步骤1中，将数据集中的动作特征分为站立姿态、坐姿和投掷姿态，并将站立姿态和坐姿定义为安全状态，将投掷姿态定义为风险姿态。
3.如权利要求2所述的基于计算机视觉的体育场监控和安全预警方法，其特征在于，在步骤2中，提取观众的动作特征的方法为：采用OpenPose算法人体骨骼18个关节点的输出方式提取观众的动作特征，计数关节点的缺点个数，然后根据缺点个数进行补点，获得18个关节点，提取有价值的动作特征。
4.如权利要求3所述的基于计算机视觉的体育场监控和安全预警方法，其特征在于，在步骤2中，补点的方法为：如果缺点个数为一个或两个，通过OpenPose算法进行自动补点；如果缺点个数大于等于三，选择赋零补点；最后，根据可补缺点个数进行补点，获得18个关节点。
5.如权利要求3所述的基于计算机视觉的体育场监控和安全预警方法，其特征在于，在步骤2中，提取有价值的动作特征的方法为：采取组合特征，将人体姿态骨骼关节点之间的距离作为距离特征和某三个关节点之间的夹角作为角度特征整合到一个数组中，获得有价值的动作特征。
6.如权利要求4所述的基于计算机视觉的体育场监控和安全预警方法，其特征在于，在步骤3中，把步骤2获取的有价值的动作特征送入分类器，将有价值的动作特征与数据集中额动作特征进行对比，若对比结果为风险姿态，则发出预警，否则不发出预警。
CN202111251367.7A 2021-10-26 2021-10-26 一种基于计算机视觉的体育场监控和安全预警方法 Pending CN113971836A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111251367.7A CN113971836A (zh) 2021-10-26 2021-10-26 一种基于计算机视觉的体育场监控和安全预警方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111251367.7A CN113971836A (zh) 2021-10-26 2021-10-26 一种基于计算机视觉的体育场监控和安全预警方法

Publications (1)

Publication Number Publication Date
CN113971836A true CN113971836A (zh) 2022-01-25

Family

ID=79588501

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111251367.7A Pending CN113971836A (zh) 2021-10-26 2021-10-26 一种基于计算机视觉的体育场监控和安全预警方法

Country Status (1)

Country Link
CN (1) CN113971836A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108417230A (zh) * 2017-02-09 2018-08-17 王立娥 基于指纹识别和动作识别的支付装置
CN109614882A (zh) * 2018-11-19 2019-04-12 浙江大学 一种基于人体姿态估计的暴力行为检测***及方法
CN110210323A (zh) * 2019-05-09 2019-09-06 浙江大学 一种基于机器视觉的溺水行为在线识别方法
CN110363131A (zh) * 2019-07-08 2019-10-22 上海交通大学 基于人体骨架的异常行为检测方法、***及介质
CN112668422A (zh) * 2020-12-19 2021-04-16 中建浩运有限公司 一种展会观众行为分析***
WO2021114892A1 (zh) * 2020-05-29 2021-06-17 平安科技（深圳）有限公司 基于环境语义理解的人体行为识别方法、装置、设备及存储介质
CN112991656A (zh) * 2021-02-04 2021-06-18 北京工业大学 基于姿态估计的全景监控下人体异常行为识别报警***及方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108417230A (zh) * 2017-02-09 2018-08-17 王立娥 基于指纹识别和动作识别的支付装置
CN109614882A (zh) * 2018-11-19 2019-04-12 浙江大学 一种基于人体姿态估计的暴力行为检测***及方法
CN110210323A (zh) * 2019-05-09 2019-09-06 浙江大学 一种基于机器视觉的溺水行为在线识别方法
CN110363131A (zh) * 2019-07-08 2019-10-22 上海交通大学 基于人体骨架的异常行为检测方法、***及介质
WO2021114892A1 (zh) * 2020-05-29 2021-06-17 平安科技（深圳）有限公司 基于环境语义理解的人体行为识别方法、装置、设备及存储介质
CN112668422A (zh) * 2020-12-19 2021-04-16 中建浩运有限公司 一种展会观众行为分析***
CN112991656A (zh) * 2021-02-04 2021-06-18 北京工业大学 基于姿态估计的全景监控下人体异常行为识别报警***及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
吴冬梅;卢静;蒋瑜;: "基于双通道C3D的基建现场人体异常行为识别", 信息技术与信息化, no. 01, 10 February 2020 (2020-02-10) *
朱建宝;许志龙;孙玉玮;马青山;: "基于OpenPose人体姿态识别的变电站危险行为检测", 自动化与仪表, no. 02, 24 February 2020 (2020-02-24) *

Similar Documents

Publication Publication Date Title
CN106407914B (zh) 用于检测人脸的方法、装置和远程柜员机***
CN106056035A (zh) 一种基于体感技术的幼儿园智能监控方法
KR20090084563A (ko) 비디오 영상의 깊이 지도 생성 방법 및 장치
CN104951773A (zh) 一种实时人脸识别监视***
CN105138954A (zh) 一种图像自动筛选查询识别***
CN105184823B (zh) 基于视觉感知的运动目标检测算法性能的评价方法
CN103020606A (zh) 一种基于时空上下文信息的行人检测方法
CN108875586B (zh) 一种基于深度图像与骨骼数据多特征融合的功能性肢体康复训练检测方法
Poonsri et al. Improvement of fall detection using consecutive-frame voting
CN112069988A (zh) 一种基于枪球联动的驾驶员安全驾驶行为检测方法
CN111833380B (zh) 一种多视角影像融合的空间目标跟踪***及方法
CN114625251A (zh) 基于vr的交互方法、装置、计算机设备及存储介质
CN108596019B (zh) 一种基于对角之势的摄像头监控方法及***
Carbonneau et al. Real-time visual play-break detection in sport events using a context descriptor
KR102277929B1 (ko) 얼굴 인식에 기반한 실시간 얼굴 마스킹 시스템 및 이를 이용한 실시간 얼굴 마스킹 방법
CN113971836A (zh) 一种基于计算机视觉的体育场监控和安全预警方法
JP2021026744A (ja) 情報処理装置、画像認識方法及び学習モデル生成方法
CN104751144A (zh) 一种面向视频监控的正面人脸快速评价方法
CN112669578B (zh) 余光区域中基于声源的感兴趣对象告警方法和***
CN111797802B (zh) 一种基于ai视觉的扶梯不安全行为实时预警方法
CN113869127A (zh) 人体行为的检测方法、监控设备、电子设备以及介质
CN111241919A (zh) 一种结合光验证码的人脸活体检测方法和***
CN114783000B (zh) 一种明厨亮灶场景下工作人员着装规范检测方法及装置
Atienza-Vanacloig et al. People and luggage recognition in airport surveillance under real-time constraints
US20230326031A1 (en) Image processing method and apparatus

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination