CN116259101A - 一种用于考场或课堂纪律巡视的方法及巡视机器人 - Google Patents

一种用于考场或课堂纪律巡视的方法及巡视机器人 Download PDF

Info

Publication number
CN116259101A
CN116259101A CN202211572157.2A CN202211572157A CN116259101A CN 116259101 A CN116259101 A CN 116259101A CN 202211572157 A CN202211572157 A CN 202211572157A CN 116259101 A CN116259101 A CN 116259101A
Authority
CN
China
Prior art keywords
behaviors
characteristic
behavior
tour
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211572157.2A
Other languages
English (en)
Inventor
张坛
钟浩洋
钟智伶
陈晨阳
梁文斌
张政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Technology University
Original Assignee
Shenzhen Technology University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Technology University filed Critical Shenzhen Technology University
Priority to CN202211572157.2A priority Critical patent/CN116259101A/zh
Publication of CN116259101A publication Critical patent/CN116259101A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种用于考场或课堂纪律巡视的方法及巡视机器人，涉及图像分析技术领域，所述方法包括：获取巡视路线，根据所述巡视路线对考场或课堂场景进行拍摄，得到当前场景图像，对所述当前场景图像进行预处理，得到目标图像；提取所述目标图像中的特征行为，将所述特征行为输入到卷积神经网络中，判断所述特征行为是否属于所述卷积神经网络中的预设异常行为，若判定所述特征行为属于所述预设异常行为，则进行语音播报。本发明通过对考场或课堂场景进行图像采集，结合卷积神经网络和目标检测算法可识别出场景图像中的异常行为，并将异常行为进行语音播报，有助于减少考场作弊行为以及改善课堂纪律。

Description

一种用于考场或课堂纪律巡视的方法及巡视机器人
技术领域
本发明涉及图像分析技术领域，尤其涉及一种用于考场或课堂纪律巡视的方法、***、巡视机器人及计算机可读存储介质。
背景技术
考试作为人才选拔机制以及衡量学生所学知识是否合格的一种手段，在促进我国教育发展和社会发展方面起着举足轻重的作用，其公平性和重要性是不言而喻的。由于考试结果往往与考生的利益有着极大的关系，不乏有一些考生铤而走险，采用各种方式来进行舞弊，较为典型的是考生在考场内相互交流传递答案。
并且，课堂中也时常出现学生上课玩手机，走神，偷吃零食，讲话，离堂的情况，但是传统的对考场或课堂中的视频监控大多是由人工完成，却无法对考场或课堂中的考生或学生的异常行为进行实时分析处理，人工判断效率较低。
因此，现有技术还有待于改进和发展。
发明内容
本发明的主要目的在于提供一种用于考场或课堂纪律巡视的方法、***、巡视机器人及计算机可读存储介质，旨在解决考场或课堂中视频监控无法实时分析处理考生或学生异常行为的问题。
为实现上述目的，本发明提供一种用于考场或课堂纪律巡视的方法，所述用于考场或课堂纪律巡视的方法包括如下步骤：
获取巡视路线，根据所述巡视路线对考场或课堂场景进行拍摄，得到当前场景图像，对所述当前场景图像进行预处理，得到目标图像；
提取所述目标图像中的特征行为，将所述特征行为输入到卷积神经网络中，判断所述特征行为是否属于所述卷积神经网络中的预设异常行为，若判定所述特征行为属于所述预设异常行为，则进行语音播报。
可选地，所述的用于考场或课堂纪律巡视的方法，其中，获取巡视路线，根据所述巡视路线对考场或课堂场景进行拍摄，得到当前场景图像，对所述当前场景图像进行预处理，得到目标图像；
所述获取巡视路线，根据所述巡视路线对考场或课堂场景进行拍摄，得到当前场景图像，对所述当前场景图像进行预处理，得到目标图像，之前包括：
建立存储数据库，所述存储数据库包括预设异常行为、预设正常行为和骨骼关键点；
在所述卷积神经网络中建立目标数据集，所述目标数据集包括不同场景下的视频数据集；
将所述视频数据集进行分帧处理得到多个分帧图像，将所述多个分帧图像中的异常行为和正常行为进行标注，得到预设异常行为和预设正常行为，并对所述预设异常行为和所述预设正常行为所对应的分帧图像进行增强；
所述获取巡视路线，根据所述巡视路线对考场或课堂场景进行拍摄，得到当前场景图像，对所述当前场景图像进行预处理，得到目标图像，之前还包括：
建立动态环境下的决策模型，根据所述决策模型得到所述巡视路线；
所述决策模型包括多任务决策功能和预测障碍运动功能；
所述多任务决策功能包括：路径规划、避障决策、目标检测和自主巡逻；
所述预测障碍运动功能包括：3D视觉检测、视觉SLAM和特征语义信息识别；
所述获取巡视路线，根据所述巡视路线对考场或课堂场景进行拍摄，得到当前场景图像，对所述当前场景图像进行预处理，得到目标图像，具体包括：
根据所述决策模型得到所述巡视路线后，对巡视路线中经过的考场或课堂场景进行实时拍摄，得到当前场景图像；
对所述当前场景图像进行滤波、噪声消除和卷积处理后得到所述目标图像。
可选地，所述的用于考场或课堂纪律巡视的方法，其中，提取所述目标图像中的特征行为，将所述特征行为输入到卷积神经网络中，判断所述特征行为是否属于所述卷积神经网络中的预设异常行为，若判定所述特征行为属于所述预设异常行为，则进行语音播报；
所述提取所述目标图像中的特征行为，将所述特征行为输入到卷积神经网络中，判断所述特征行为是否属于所述卷积神经网络中的预设异常行为，若判定所述特征行为属于所述预设异常行为，则进行语音播报，具体包括：
根据目标检测算法提取所述目标图像的特征行为，并将所述特征行为输入到所述卷积神经网络中；
将所述特征行为与所述卷积神经网络中的预设异常行为进行比对，判断所述特征行为是否属于所述预设异常行为；
若判定所述特征行为属于所述预设异常行为，则判定所述特征行为属于异常行为，并将所述异常行为进行语音播报；
所述提取所述目标图像中的特征行为，将所述特征行为输入到卷积神经网络中，判断所述特征行为是否属于所述卷积神经网络中的预设异常行为，若判定所述特征行为属于所述预设异常行为，则进行语音播报，之后包括：
当判定所述特征行为属于所述异常行为，并将所述异常行为进行语音播报后，根据所述目标检测算法提取所述异常行为对应的目标图像中的骨骼关键点；
将所述骨骼关键点通过CSV的模式保存到所述存储数据库，根据所述骨骼关键点提取后期检测课堂图像中的行为特征。
可选地，所述的用于考场或课堂纪律巡视的方法，其中，所述目标检测算法包括：yolo目标提取算法、hrnet人体骨骼提取算法和fernet情感识别算法。
此外，为实现上述目的，本发明还提供一种用于课堂纪律巡视的***，其中，所述用于课堂纪律巡视的***包括：
图像处理模块，用于获取巡视路线，根据所述巡视路线对考场或课堂场景进行拍摄，得到当前场景图像，对所述当前场景图像进行预处理，得到目标图像；
行为分析模块，用于提取所述目标图像中的特征行为，将所述特征行为输入到卷积神经网络中，判断所述特征行为是否属于所述卷积神经网络中的预设异常行为，若判定所述特征行为属于所述预设异常行为，则进行语音播报。
此外，为实现上述目的，本发明还提供一种巡视机器人，其中，所述巡视机器人包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的用于课堂纪律巡视的程序，所述用于课堂纪律巡视的程序被所述处理器执行时实现如上所述的一种用于考场或课堂纪律巡视的方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有用于课堂纪律巡视的程序，所述用于课堂纪律巡视的程序被处理器执行时实现如上所述的一种用于考场或课堂纪律巡视的方法的步骤。
本发明中，获取巡视路线，根据所述巡视路线对考场或课堂场景进行拍摄，得到当前场景图像，对所述当前场景图像进行预处理，得到目标图像；
提取所述目标图像中的特征行为，将所述特征行为输入到卷积神经网络中，判断所述特征行为是否属于所述卷积神经网络中的预设异常行为，若判定所述特征行为属于所述预设异常行为，则进行语音播报。本发明通过巡视机器人搭载摄像头，按照制定的规划路线对考场或课堂进行拍照来获取当前场景图像，并传入至后台，由卷积神经网络和目标检测算法对场景图像进行分析，判断当前场景图像中是否存在异常行为，若存在，则进行语音播报。本发明能够对考场或课堂中的考生或学生的异常行为进行实时分析处理，有助于减少考场作弊行为以及改善课堂纪律。
附图说明
图1是本发明的用于考场或课堂纪律巡视的方法的较佳实施例的流程图；
图2是本发明的用于考场或课堂纪律巡视的方法的巡视机器人产品的示意图；
图3是本发明的用于考场或课堂纪律巡视的方法的人工标注的示意图；
图4是本发明用于课堂纪律巡视的***的行为提取的示意图；
图5是本发明用于课堂纪律巡视的***的人体骨骼点的示意图；
图6是本发明用于课堂纪律巡视的***的较佳实施例的结构图；
图7为本发明巡视机器人的较佳实施例的结构图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明较佳实施例所述的一种用于考场或课堂纪律巡视的方法，如图1所示，所述用于考场或课堂纪律巡视的方法包括以下步骤：
步骤S10、获取巡视路线，根据所述巡视路线对考场或课堂场景进行拍摄，得到当前场景图像，对所述当前场景图像进行预处理，得到目标图像。
其中，如图2所示，巡视机器人采用先进的SLAM(Simultaneous Localization andMapping，指同步定位与地图构建)控制***，搭载前视摄像头、超声波雷达、双目视觉摄像头等智能化设备，具有稳定可靠的自主行走、自主移动多点巡视检测等功能，能够根据设定的路线自动、高效、精准的对室内外进行巡视检测。
此外，巡视机器人还具有自动检测低电量并主动回充电桩充电、规避各种障碍物，24小时无人值守等特点，用户可通过手机APP对巡视视器人进行控制，实现了人机分离，减少了人员的接触，提高了使用的安全性，并且部署简单，方便管理维护。
具体地，建立存储数据库，所述存储数据库包括预设异常行为、预设正常行为和骨骼关键点。
其中，所述预设异常行为可包括：在考场中，传纸条、交头接耳、使用手机、旁窥、互打暗号等；在课堂上，玩手机、交头接耳、吃零食等行为。
在所述卷积神经网络中建立目标数据集，所述目标数据集包括不同场景下的视频数据集。
其中，这些视频数据集来自于巡视机器人在不同环境条件下监控摄像头所采集的场景图像。
如图3所示，将所述视频数据集进行分帧处理得到多个分帧图像，将所述多个分帧图像中的异常行为和正常行为进行标注，得到预设异常行为和预设正常行为，并对所述预设异常行为和所述预设正常行为所对应的分帧图像进行增强。
其中，如图4所示，预先收集不同考场或课堂中的视频数据集，并将这些视频数据集输入卷积神经网络进行训练，由于卷积神经网络中的视频数据集是由图像构成的，因此需要对其中的视频数据进行分帧处理，得到分帧图像，并且使用Labelimg软件(Labelimg是一款开源的数据标注工具，可以标注三种格式)将分帧图像中存在的异常行为和正常行为进行人工进行标注并且转换为VOC格式(Visual Object Classes，VOC格式是一种图片的标注规范，也是一套检测和识别标准化的数据集)，另外，对于已经标记好的异常行为与正常行为所对应的分帧图像也需要进行图像增强，这样可以使后期训练过程中的特征行为提取过程更加顺利，训练效果更加明显。
建立动态环境下的决策模型，根据所述决策模型得到所述巡视路线，从运动控制和运动决策两方面来规划巡视机器人的巡视路线，提高了巡视机器人前期训练的效率，同时，也为实时在线训练路径规划提供了重要保障。
其中，巡视路线的制定包括地图创建和保存、设置巡逻点和设置工作时间，在此之前还需要通过WIFI连接的方式实现手机APP与巡视机器人的连接，并且可在巡视机器人的显示屏界面完成各参数的设置。
地图创建和保存：遥控巡视机器人进行日常使用场地的地图构建，通过遥控机器人行驶经过日常工作的整个区域来创建地图，操作时用户尽量位于机器人行走方向的后部，距离机器人10m之内。机器人每走10m需要遥控机器人原地旋转360°，使地图构建更准确；在玻璃墙面、转角处和十字路口等区域需要遥控机器人重复原地旋转。构建时，若发现地图上有一些灰点或者重复黑线的部分，需要遥控机器人重新走几遍，直至灰点消除，并且只存在一条黑线墙面。构建地图完成后，用户遥控机器人到充电桩附近0.5m处，正面朝向充电桩，保存地图。
设置巡逻点：在地图中长按某处设置日常工作的巡逻点(注意：最好将巡逻点设置到过道中间位置，过道宽度需要大于1.5m，不可将巡逻点设置到地图之外。如设置到不合理之处重新设置即可，巡逻点一般设置4-8个)，设置完毕后将机器人遥控至充电桩前0.5m处，点击Start Patrol即可开始工作。若机器人正在巡逻过程中，需点击Patrol->PausePatrol停止巡逻后，再点击Set Points设置巡逻点。
设置工作时间：点击System->Work Time，可设置早上、下午两个工作时间段，***采用24小时制，设置完成后点击OK后生效。
所述决策模型包括多任务决策功能和预测障碍运动功能，所述决策模型为URDF模型(URDF代表巡视机器人的格式)，在gazebo仿真环境中显示(gazebo是巡视机器人运行的一种环境)。
所述多任务决策功能包括：路径规划、避障决策、目标检测和自主巡逻。
其中，路径规划功能是指将激光雷达、里程计、IMU(Inertial Measurement Unit，指惯性传感器)、电机驱动器等传感器发出的数据进行收集、整合，发送到巡视机器人进行综合处理，再通过巡视机器人的ROS_nvigation(导航框架简介)模块的进行处理后，再将对应的决策发送到控制模块，实现路径规划过程。
避障决策功能是指当巡视机器人对所感知的环境进行路径规划过程中，某个障碍物的位置改变可能会导致之前规划路径的路径失效，而这个时候的避障决策功能就会启动，巡视机器人会根据当前场景的变化，重新快速地制定变化后的路径。
目标检测功能是指巡视机器人对应用场景图像中的人物进行检测，当检测到目标人物时，启动拍摄，而未检测的应用场景图像中的人物时，则关闭拍摄。
自主巡逻功能是指当巡视机器人收到规划好的指定路线后，便可以沿着指定路线自主进行巡逻，而无需用户的实时监控。
所述预测障碍运动功能包括：3D视觉检测、视觉SLAM(同步定位和制图)和特征语义信息识别，通过预测障碍运动功能保证了巡视机器人对于实况环境的认知和理解，并且也提高了目标检测算法的鲁棒性。
根据所述决策模型得到所述巡视路线后，对巡视路线中经过的考场或课堂场景进行实时拍摄，得到当前场景图像。
其中，本发明优先采用巡视机器人搭载摄像头对考场或课堂场景图像进行拍摄，预先设置好巡视机器人的巡视路线，使巡视机器人可以按照巡视路线对途径的考场或课堂场景中的图像进行拍摄，并将拍摄的内容上传至后台进行分析。
对所述当前场景图像进行滤波、噪声消除和卷积处理后得到所述目标图像。
其中，巡视机器人摄像头获取的当前考场或课堂图像可能会受到噪声或杂质的干扰，会影响当前场景图像的像素，从而引起目标检测算法分析的误差过大，因此需要对获取的当前场景图像进行滤波、噪声消除和卷积处理。
步骤S20、提取所述目标图像中的特征行为，将所述特征行为输入到卷积神经网络中，判断所述特征行为是否属于所述卷积神经网络中的预设异常行为，若判定所述特征行为属于所述预设异常行为，则进行语音播报。
具体地，根据目标检测算法提取所述目标图像的特征行为，并将所述特征行为输入到所述卷积神经网络中。
将所述特征行为与所述卷积神经网络中的预设异常行为进行比对，判断所述特征行为是否属于所述预设异常行为。
其中，如图5所示，通过目标检测算法可以对目标图像进行目标提取、人体骨骼提取和情感识别，当巡视机器人将当前场景图像传输至后台，则会提取当前场景中的目标图像，并识别出目标图像中的每一个人体骨骼点，根据目标图像中的人体骨骼点组合与卷积神经网络中预设异常行为的人体骨骼点组合进行匹配，若匹配成功，则判定属于异常行为，另外，还可以通过情感识别，通过获取目标图像中人脸的表情状态来判断，比如眼睛四处张望，有频率的观看四周等，也可以通过人体骨骼提取和情感识别共同作用来识别异常行为。
若判定所述特征行为属于所述预设异常行为，则判定所述特征行为属于异常行为，并将所述异常行为进行语音播报。
其中，当检测到巡视机器人所采集的场景图像中存在异常行为时，巡视机器人会将异常行为的内容通过语音的形式进行播报，并将异常行为的图像进行显示。
例如：当巡视机器人在巡视过程中，在当前场景图像中的检测到有考生的行为属于异常行为，且判定异常行为为偷传纸条，则进行语音播报：检测到考生存在异常行为，判定为传阅信息，请查看。并且会将当前场景图像中判定为异常行为的截图画面在显示屏上进行展示，此时，监考员便可以根据显示屏上的截图内容，结合实际情况判断该考生行为是否为作弊行为。
当判定所述特征行为属于所述异常行为，并将所述异常行为进行语音播报后，根据所述目标检测算法提取所述异常行为对应的目标图像中的骨骼关键点。
将所述骨骼关键点通过CSV(Comma-Separated Values，指逗号分隔值文件格式)的模式保存到所述存储数据库，根据所述骨骼关键点提取后期检测课堂图像中的行为特征。
其中，无论判断场景图像特征行为是异常行为还是正常行为，都是建立在以骨骼关键点连接的基础上，每一种行为，每一个动作都是由多个人体骨骼关键点组成。
当判定当前场景图像中的特征行为为异常行为时，则会通过目标检测算法来获取异常行为所对应的骨骼关键点，并将所述骨骼关键点通过CSV的模式进行保存，并存储到存储数据库中。
获取异常行为所对应的骨骼关键点在于同一异常行为会有多个不同的骨骼关键点组合表示，检测异常行为主要是通过检测目标的动作，而同一行为可由多种动作可以表示，因此，也会有多种骨骼关键点的组合，通过将当前场景中检测出的异常行为所对应的骨骼关键点组合保存到存储数据库中，进一步扩展了存储数据库的中预设异常行为的丰富度，同时也更有利于后期对特征行为的精确识别。
另外，本发明还会对当前场景图像中的特征行为进行预测，当检测到特征行为并不属于异常行为，但是根据目标算法检测出的骨骼关键点组合与预设异常行为的骨骼关键点组合较为接近，则会对当前场景图像中的特征行为进行跟踪，在预设时间内(可设置为3-5分钟)持续检测特征行为变化，提高了巡视机器人判别异常行为的准确性。
所述目标检测算法包括：yolo目标提取算法、hrnet人体骨骼提取算法和fernet情感识别算法。
若判定所述特征行为与预设正常行为相匹配时，则判断当前场景图像下该考生没有作弊行为。
本发明通过使用巡检机器人搭载摄像头进行拍摄任务并上传后台的智能视频处理算法，不仅可以过滤大量无价值的冗余信息，还能够自动检测场景下的异常行为和发出警报，做到实时无间断地监控，以分担安保人员的巡视任务。
这样一个可以自动分析个人或群体行为信息的智能***，不仅可以提升监控***发现潜在危险的能力和效率，还可以无间断、长时间地替代人力以降低监控成本，在构建当前的智能型社会和安全型城市中蕴涵着巨大的商机和非常可观的经济效益。
另外，本发明在大区域范围下的公共安全防护方面大有可为，比如，在家庭中可以检测老人和小孩的跌倒等行为；在医院、监狱等公共服务措施中，利用视频监控技术可以远程检测病人或犯人的异常行为，能够及时地进行警报，以便于工作人员快速地处理相应的问题。
进一步地，如图6所示，基于上述一种用于考场或课堂纪律巡视的方法，本发明还相应提供了一种用于课堂纪律巡视的***，其中，所述用于课堂纪律巡视的***包括：
图像处理模块51，用于获取巡视路线，根据所述巡视路线对考场或课堂场景进行拍摄，得到当前场景图像，对所述当前场景图像进行预处理，得到目标图像。
行为分析模块52，用于提取所述目标图像中的特征行为，将所述特征行为输入到卷积神经网络中，判断所述特征行为是否属于所述卷积神经网络中的预设异常行为，若判定所述特征行为属于所述预设异常行为，则进行语音播报。
进一步地，如图7所示，基于上述一种用于考场或课堂纪律巡视的方法和***，本发明还相应提供了一种巡视机器人，所述巡视机器人包括处理器10、存储器20及显示器30。图7仅示出了巡视机器人的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
所述存储器20在一些实施例中可以是所述巡视机器人的内部存储单元，例如巡视机器人的硬盘或内存。所述存储器20在另一些实施例中也可以是所述巡视机器人的外部存储设备，例如所述巡视机器人上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器20还可以既包括所述巡视机器人的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述巡视机器人的应用软件及各类数据，例如所述安装巡视机器人的程序代码等。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有用于考场或课堂纪律巡视程序40，该用于考场或课堂纪律巡视的程序40可被处理器10所执行，从而实现本申请中一种用于考场或课堂纪律巡视的方法。
所述处理器10在一些实施例中可以是一中央处理器(Central Processing Unit，CPU)，微处理器或其他数据处理芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执行所述一种用于考场或课堂纪律巡视的方法等。
所述显示器30在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。所述显示器30用于显示在所述巡视机器人的信息以及用于显示可视化的用户界面。所述巡视机器人的部件10-30通过***总线相互通信。
在一实施例中，当处理器10执行所述存储器20中用于课堂纪律巡视的程序40时实现以下步骤：
获取巡视路线，根据所述巡视路线对考场或课堂场景进行拍摄，得到当前场景图像，对所述当前场景图像进行预处理，得到目标图像；
提取所述目标图像中的特征行为，将所述特征行为输入到卷积神经网络中，判断所述特征行为是否属于所述卷积神经网络中的预设异常行为，若判定所述特征行为属于所述预设异常行为，则进行语音播报。
其中，所述获取巡视路线，根据所述巡视路线对考场或课堂场景进行拍摄，得到当前场景图像，对所述当前场景图像进行预处理，得到目标图像，之前包括：
建立存储数据库，所述存储数据库包括预设异常行为、预设正常行为和骨骼关键点；
在所述卷积神经网络中建立目标数据集，所述目标数据集包括不同场景下的视频数据集；
将所述视频数据集进行分帧处理得到多个分帧图像，将所述多个分帧图像中的异常行为和正常行为进行标注，得到预设异常行为和预设正常行为，并对所述预设异常行为和所述预设正常行为所对应的分帧图像进行增强。
其中，所述获取巡视路线，根据所述巡视路线对考场或课堂场景进行拍摄，得到当前场景图像，对所述当前场景图像进行预处理，得到目标图像，之前还包括：
建立动态环境下的决策模型，根据所述决策模型得到所述巡视路线；
所述决策模型包括多任务决策功能和预测障碍运动功能；
所述多任务决策功能包括：路径规划、避障决策、目标检测和自主巡逻；
所述预测障碍运动功能包括：3D视觉检测、视觉SLAM和特征语义信息识别。
其中，所述获取巡视路线，根据所述巡视路线对考场或课堂场景进行拍摄，得到当前场景图像，对所述当前场景图像进行预处理，得到目标图像，具体包括：
根据所述决策模型得到所述巡视路线后，对巡视路线中经过的考场或课堂场景进行实时拍摄，得到当前场景图像；
对所述当前场景图像进行滤波、噪声消除和卷积处理后得到所述目标图像。
其中，所述提取所述目标图像中的特征行为，将所述特征行为输入到卷积神经网络中，判断所述特征行为是否属于所述卷积神经网络中的预设异常行为，若判定所述特征行为属于所述预设异常行为，则进行语音播报，具体包括：
根据目标检测算法提取所述目标图像的特征行为，并将所述特征行为输入到所述卷积神经网络中；
将所述特征行为与所述卷积神经网络中的预设异常行为进行比对，判断所述特征行为是否属于所述预设异常行为；
若判定所述特征行为属于所述预设异常行为，则判定所述特征行为属于异常行为，并将所述异常行为进行语音播报。
其中，所述提取所述目标图像中的特征行为，将所述特征行为输入到卷积神经网络中，判断所述特征行为是否属于所述卷积神经网络中的预设异常行为，若判定所述特征行为属于所述预设异常行为，则进行语音播报，之后包括：
当判定所述特征行为属于所述异常行为，并将所述异常行为进行语音播报后，根据所述目标检测算法提取所述异常行为对应的目标图像中的骨骼关键点；
将所述骨骼关键点通过CSV的模式保存到所述存储数据库，根据所述骨骼关键点提取后期检测课堂图像中的行为特征。
其中，所述目标检测算法包括：yolo目标提取算法、hrnet人体骨骼提取算法和fernet情感识别算法。
本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有用于课堂纪律巡视的程序，所述用于课堂纪律巡视的程序被处理器执行时实现如上所述的一种用于考场或课堂纪律巡视的方法的步骤。
综上所述，本发明提供一种用于考场或课堂纪律巡视的方法、***、巡视机器人及计算机可读存储介质，所述方法包括：获取巡视路线，根据所述巡视路线对考场或课堂场景进行拍摄，得到当前场景图像，对所述当前场景图像进行预处理，得到目标图像；提取所述目标图像中的特征行为，将所述特征行为输入到卷积神经网络中，判断所述特征行为是否属于所述卷积神经网络中的预设异常行为，若判定所述特征行为属于所述预设异常行为，则进行语音播报。本发明通过巡视机器人搭载摄像头，按照制定的规划路线对考场或课堂进行拍照来获取当前场景图像，并传入至后台，由卷积神经网络和目标检测算法对场景图像进行分析，判断当前场景图像中是否存在异常行为，若存在，则进行语音播报。本发明能够对考场或课堂中的考生或学生的异常行为进行实时分析处理，有助于减少考场作弊行为以及改善课堂纪律。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者巡视机器人不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者巡视机器人所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者巡视机器人中还存在另外的相同要素。
当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件(如处理器，控制器等)来完成，所述的程序可存储于一计算机可读取的计算机可读存储介质中，所述程序在执行时可包括如上述各方法实施例的流程。其中所述的计算机可读存储介质可为存储器、磁碟、光盘等。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种用于考场或课堂纪律巡视的方法，其特征在于，所述用于考场或课堂纪律巡视的方法包括：
获取巡视路线，根据所述巡视路线对考场或课堂场景进行拍摄，得到当前场景图像，对所述当前场景图像进行预处理，得到目标图像；
提取所述目标图像中的特征行为，将所述特征行为输入到卷积神经网络中，判断所述特征行为是否属于所述卷积神经网络中的预设异常行为，若判定所述特征行为属于所述预设异常行为，则进行语音播报。
2.根据权利要求1所述的用于考场或课堂纪律巡视的方法，其特征在于，所述获取巡视路线，根据所述巡视路线对考场或课堂场景进行拍摄，得到当前场景图像，对所述当前场景图像进行预处理，得到目标图像，之前包括：
建立存储数据库，所述存储数据库包括预设异常行为、预设正常行为和骨骼关键点；
在所述卷积神经网络中建立目标数据集，所述目标数据集包括不同场景下的视频数据集；
将所述视频数据集进行分帧处理得到多个分帧图像，将所述多个分帧图像中的异常行为和正常行为进行标注，得到预设异常行为和预设正常行为，并对所述预设异常行为和所述预设正常行为所对应的分帧图像进行增强。
3.根据权利要求1所述的用于考场或课堂纪律巡视的方法，其特征在于，所述获取巡视路线，根据所述巡视路线对考场或课堂场景进行拍摄，得到当前场景图像，对所述当前场景图像进行预处理，得到目标图像，之前还包括：
建立动态环境下的决策模型，根据所述决策模型得到所述巡视路线；
所述决策模型包括多任务决策功能和预测障碍运动功能；
所述多任务决策功能包括：路径规划、避障决策、目标检测和自主巡逻；
所述预测障碍运动功能包括：3D视觉检测、视觉SLAM和特征语义信息识别。
4.根据权利要求3所述的用于考场或课堂纪律巡视的方法，其特征在于，所述获取巡视路线，根据所述巡视路线对考场或课堂场景进行拍摄，得到当前场景图像，对所述当前场景图像进行预处理，得到目标图像，具体包括：
根据所述决策模型得到所述巡视路线后，对巡视路线中经过的考场或课堂场景进行实时拍摄，得到当前场景图像；
对所述当前场景图像进行滤波、噪声消除和卷积处理后得到所述目标图像。
5.根据权利要求2所述的用于考场或课堂纪律巡视的方法，其特征在于，所述提取所述目标图像中的特征行为，将所述特征行为输入到卷积神经网络中，判断所述特征行为是否属于所述卷积神经网络中的预设异常行为，若判定所述特征行为属于所述预设异常行为，则进行语音播报，具体包括：
根据目标检测算法提取所述目标图像的特征行为，并将所述特征行为输入到所述卷积神经网络中；
将所述特征行为与所述卷积神经网络中的预设异常行为进行比对，判断所述特征行为是否属于所述预设异常行为；
若判定所述特征行为属于所述预设异常行为，则判定所述特征行为属于异常行为，并将所述异常行为进行语音播报。
6.根据权利要求5所述的用于考场或课堂纪律巡视的方法，其特征在于，所述提取所述目标图像中的特征行为，将所述特征行为输入到卷积神经网络中，判断所述特征行为是否属于所述卷积神经网络中的预设异常行为，若判定所述特征行为属于所述预设异常行为，则进行语音播报，之后包括：
当判定所述特征行为属于所述异常行为，并将所述异常行为进行语音播报后，根据所述目标检测算法提取所述异常行为对应的目标图像中的骨骼关键点；
将所述骨骼关键点通过CSV的模式保存到所述存储数据库，根据所述骨骼关键点提取后期检测课堂图像中的行为特征。
7.根据权利要求5或6所述的用于考场或课堂纪律巡视的方法，其特征在于，所述目标检测算法包括：yolo目标提取算法、hrnet人体骨骼提取算法和fernet情感识别算法。
8.一种用于考场或课堂纪律巡视***，其特征在于，所述用于考场或课堂纪律巡视***包括：
图像处理模块，用于获取巡视路线，根据所述巡视路线对考场或课堂场景进行拍摄，得到当前场景图像，对所述当前场景图像进行预处理，得到目标图像；
行为分析模块，用于提取所述目标图像中的特征行为，将所述特征行为输入到卷积神经网络中，判断所述特征行为是否属于所述卷积神经网络中的预设异常行为，若判定所述特征行为属于所述预设异常行为，则进行语音播报。
9.一种巡视机器人，其特征在于，所述巡视机器人包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的用于课堂纪律巡视的程序，所述用于课堂纪律巡视的程序被所述处理器执行时实现如权利要求1-7任一项所述的一种用于考场或课堂纪律巡视的方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有用于课堂纪律巡视的程序，所述用于课堂纪律巡视的程序被处理器执行时实现如权利要求1-7任一项所述的用于考场或课堂纪律巡视的方法的步骤。
CN202211572157.2A 2022-12-08 2022-12-08 一种用于考场或课堂纪律巡视的方法及巡视机器人 Pending CN116259101A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211572157.2A CN116259101A (zh) 2022-12-08 2022-12-08 一种用于考场或课堂纪律巡视的方法及巡视机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211572157.2A CN116259101A (zh) 2022-12-08 2022-12-08 一种用于考场或课堂纪律巡视的方法及巡视机器人

Publications (1)

Publication Number Publication Date
CN116259101A true CN116259101A (zh) 2023-06-13

Family

ID=86683304

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211572157.2A Pending CN116259101A (zh) 2022-12-08 2022-12-08 一种用于考场或课堂纪律巡视的方法及巡视机器人

Country Status (1)

Country Link
CN (1) CN116259101A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117437696A (zh) * 2023-12-20 2024-01-23 山东山大鸥玛软件股份有限公司 基于深度学习的行为监控分析方法、***、设备及介质
CN117746524A (zh) * 2023-12-08 2024-03-22 中北大学 一种基于slam和人群异常行为识别的安防巡检***和方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117746524A (zh) * 2023-12-08 2024-03-22 中北大学 一种基于slam和人群异常行为识别的安防巡检***和方法
CN117437696A (zh) * 2023-12-20 2024-01-23 山东山大鸥玛软件股份有限公司 基于深度学习的行为监控分析方法、***、设备及介质

Similar Documents

Publication Publication Date Title
CN116259101A (zh) 一种用于考场或课堂纪律巡视的方法及巡视机器人
CN108596148B (zh) 一种基于计算机视觉的建筑工人劳动状态分析***及方法
CN107679471B (zh) 基于视频监控平台的室内人员空岗检测方法
CN109298785A (zh) 一种监测设备的人机联控***及方法
US11935297B2 (en) Item monitoring for doorbell cameras
US11676360B2 (en) Assisted creation of video rules via scene analysis
US11200435B1 (en) Property video surveillance from a vehicle
US11257355B2 (en) System and method for preventing false alarms due to display images
CN110458794B (zh) 用于轨道列车的配件质量检测方法及装置
CN113807240A (zh) 基于非配合式人脸识别的变电站人员着装智能监控方法
CN114445780A (zh) 裸土苫盖的检测方法及装置、识别模型的训练方法及装置
CN112949457A (zh) 基于增强现实技术的维修方法、装置及***
CN112785564B (zh) 一种基于机械臂的行人检测跟踪***与方法
CN115083229B (zh) 基于ai视觉识别的飞行训练设备智能识别与警示***
CN115063921B (zh) 一种工地智能闸机***及搭建方法
US11631245B2 (en) Smart glasses for property evaluation using AI and ML
US11893714B2 (en) Precipitation removal from video
CN114429677A (zh) 一种煤矿场景作业行为安全识别考核方法及***
CN113762096A (zh) 健康码识别方法、装置、存储介质及电子设备
CN111696194A (zh) 基于现场勘查的三维可视化实现方法、***和存储介质
JP7467311B2 (ja) 点検システムおよび点検方法
CN114612068B (zh) 一种考勤自动补签方法及装置
CN115100871A (zh) 一种行人交通违规识别方法及***
CN118097198A (zh) 一种基于人工智能的自动着装合规性管控***及方法
CN113989698A (zh) 一种基于视频智能物体检测技术的自动区域设备联动方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination