CN114255508A - 一种基于OpenPose的学生体态检测分析及效率评估方法 - Google Patents

一种基于OpenPose的学生体态检测分析及效率评估方法 Download PDF

Info

Publication number
CN114255508A
CN114255508A CN202010997266.3A CN202010997266A CN114255508A CN 114255508 A CN114255508 A CN 114255508A CN 202010997266 A CN202010997266 A CN 202010997266A CN 114255508 A CN114255508 A CN 114255508A
Authority
CN
China
Prior art keywords
student
data
openpose
posture
students
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010997266.3A
Other languages
English (en)
Inventor
高聪
陈煜喆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Posts and Telecommunications
Original Assignee
Xian University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Posts and Telecommunications filed Critical Xian University of Posts and Telecommunications
Priority to CN202010997266.3A priority Critical patent/CN114255508A/zh
Publication of CN114255508A publication Critical patent/CN114255508A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • G06Q50/205Education administration or guidance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • General Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Resources & Organizations (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Economics (AREA)
  • Software Systems (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Biomedical Technology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于OpenPose的学生写作业时体态监测分析及效率评估方法。包括:1)通过实时监控获取学生在做作业时的肢体动作及面部表情数据。2)采集的数据包括肩膀、脖子、头、肘关节、手腕、手指以及眼睛、鼻子、嘴巴等面部表情。3)通过OpenPose人体姿态识别和深度学习对学生动作进行分析。4)在OpenPose识别学生动作时还可以监测学生与书桌的距离,并提示学生注意坐姿,还可以提示学生专注学习时间太长,提示学生进行适当休息,保证健康。5)通过采集到的各类数据分析当前学生的学习状态,是否走神、精神是否集中等。

Description

一种基于OpenPose的学生体态检测分析及效率评估方法
技术领域
本发明属于人工智能机器人技术领域,尤其涉及一种基于OpenPose的学生体态监测分析及效率评估方法。
背景技术
人工智能机器人是科学技术共同发展的结果,人工智能机器人可以通过深度学习和各种传感器获得与人或其他动物相似的部分能力,如感知能力、规划能力、数据分析能力以及智能语音对话能力。很多的孩子不能自觉地对自己的学习行为进行把控,只能依赖父母的监督和辅导。但现代社会父母工作压力大,回家后还需要辅导孩子做作业,更加加重了父母的压力,不仅耗费了家长的精力,而且孩子也没有得到学习上的成效。而且非常多的农村家庭,孩子父母外出打工,由爷爷奶奶照顾孩子。老人行动不便,照顾孩子的饮食起居已经非常不容易了,还需要监督和辅导孩子写作业。
针对以上问题的分析,OpenPose是一个基于卷积神经网络(CNN)和监督学习(SL)并以Caffe为框架开发的一个开源库,可以实现人体动作、面部表情、手指运动等姿态估计。本发明提出了一种基于OpenPose的学生体态监测分析及效率评估方法,用以解决上述问题。
发明内容
本发明的目的在于提出了一种基于OpenPose的学生体态监测分析及效率评估方法,以解决包括:1)通过实时监控获取学生在做作业时的肢体动作及面部表情数据。2)采集的数据包括肩膀、脖子、头、肘关节、手腕、手指以及眼睛、鼻子、嘴巴等面部表情。3)通过OpenPose人体姿态识别和深度学习对学生动作进行分析。4)在OpenPose识别学生动作时还可以监测学生与书桌的距离,对于检测到的不健康的姿势及时提醒,还可以提示学生专注学习时间太长,提示学生进行适当休息,保证健康。5)通过采集到的各类数据分析当前学生的学习状态,是否走神、精神是否集中等。最终形成孩子在整个作业过程中的行为数据报告。为实现上述目的,本发明采用如下技术方案:OpenPose是一种自下而上的人体姿态估计方法,先检测中一幅图像中所有的关节点坐标,再进行坐标聚类,形成与人对应的关键点坐标,经典OpenPose框架中多人姿态检测的过程中涉及到6个stage,每一个stage都分为两支,一个用来预测heatmap,一个用来预测paf。每一个stage均以前一阶段的stage的预测和从原图提取的特征作为输出,OpenPose框架主要应用于多人姿势检测,本发明针对的只是学生单人在学习时的姿态检测,场景单一,用于单人检测时计算复杂度较小,没有多人的复杂环境。所以有理由针对本发明的应用场景,对传统的OpenPose提出以下改进:
1、将OpenPose的6个阶段缩减为3个阶段,只保留初始阶段和单个优化阶段。
2、用1×1和3×3的卷积核代替7×7的卷积核,不仅可以缓和降维,而且可以减少计算量。
3、因为本发明将传统OpenPose的6个阶段缩减至3个阶段,计算精度难免受到影响,所以本发明通过对池化过程的优化来防止过拟合的发生以及提高计算结果的精度。
运用计算机视觉技术对写作业中学生的行为与面部行为监测进行及时的获取和分析,利用OpenPose将提取到的特征向量通过支持向量机进行分类训练生成模型,进行了详细的需求分析,分为了数据训练模块、行为获取模块、行为判别模块、数据分析模块以及数据库分别实现不同的功能。其中包括以下步骤:
首先是行为获取模块,其中包括了距离传感器、视觉传感器,收集并将数据发送到行为数据分析模块,将数据分析处理后,通过与数据训练模块所得到的对比模型的对比,将结果发送至行为判别模块对学生的行为及状态做出一个准确的判断。其具体步骤为:
步骤S101:视觉传感器、红外线测距传感器等收集数据。
步骤S102:视觉传感器采集***,通过摄像头收集光源信息,并通过CCD 和CMOS技术***将传感器接收到的光源信息转化为电信号。红外线测距传感器利用红外信号遇到障碍物距离的不同反射的强度也不同的原理,对学生头部与书桌之间的距离进行检测,并设定一个距离阀值,超过阀值后提醒学生注意坐姿。
步骤S103:在数据收集完成后,将采集到的数据通过传感器带有的总线接口(如RS-232,RS-485,CAN等)传输到数据分析模块,由数据模块对数据进行下一步的处理。
数据训练模块实现了模型建立,从网络上下载大量的人疲惫的面部表情以及体态姿势进行深度学习训练,目前人脸检测的方法有基于先验知识的人脸检测、基于模板匹配的检测方法、基于特征提取的检测方法和基于机器学习的检测方法。本发明采用的是模板匹配的方法。针对不同状态条件下的学生体态和面部表情的图片,比如打哈欠、伸懒腰、瞌睡点头、双眼无神不集中等特定姿势及表情,在网上下载寻找不同光照、角度、背景等条件下的人在精神状态不集中、疲惫状态下的图片。利用面部表情识别程序进行训练。通过视频图像内容进行标准化、统一化的标记。建立对比数据库。具体步骤如下:
步骤S201:从网络上下载大量不同光照、角度、背景环境下的人在精神状态不集中和疲惫状态下的面部表情和体态姿势。
步骤S202:使用网络上下载的大量不同光照、角度、背景环境下的人在精神状态不集中和疲惫状态下的面部表情和体态姿势图片样本作为训练数据集。采用计算机视觉研究中应用广泛的COCO数据集作为人体关键点模型的测试数据集。如图5所示,COCO输出格式为鼻子-0,脖子-1,右肩-2,右肘-3,右手腕-4,左肩-5,左肘-6,左手腕-7,右臀-8,右膝盖-9,右脚踝-10,左臀-11,左膝盖-12,左脚踝-13,右眼-14,左眼-15,有耳朵-16,左耳朵-17,背景-18。
步骤S203:增广数据集,由于训练模型需要大量的参数,但网络上相关资源较少,所以需要对已有的数据进行翻转、平移或旋转等操作。创造出更多的数据,增加模型训练的数据量,提高模型的泛化能力,增加噪声数据,提升模型的鲁棒性。
步骤S204:在模型架构上选择了***的深度学习框架tensorflow为后端,将以上数据进行深度训练,最后建立模型。通过视频图像内容进行标准化、统一化的标记,建立对比数据库。
接下来是数据分析模块,其中包括了数据处理芯片以及***内存和存储,把从行为获取模块发送过来的数据进行处理,根据核心算法构建数据逻辑,处理具体数据,最后将处理的结果发送数据训练模块进行下一步工作。数据分析模块所做工作的具体步骤如下:
步骤S301:对行为获取模块传输来的数据进行处理。
步骤S302:通过优化算法构建数据之间的逻辑,采用并行算法,利用深度学习对图像数据进行预处理,有效的改善图像的质量效果,突出识别的特征效果。使得数据处理效率提高,识别准确度提高。
步骤S303:将经过预处理的数据传输到行为判别模块,与数据训练模块得到的对比数据库进行对比,对学生体态进行判断。
行为判别模块通过前面这些步骤,综合给出学生体态和学生精神状态的一个评测结果。通过评测的结果判断学生的学习状态以及坐姿是否标准等并给出语音提示。
步骤S401:将经过预处理的数据利用OpenPose进行人体姿态识别。
步骤S402:基于OpenPose,在过程中设置一个计时器,定时从实时视频中截取图片,经过神经网络模型vgg-19经过卷积和池化操作从图像中提取CNN特征。
步骤S403:OpenPose包含六个阶段,其中每个阶段又包括两个分支,一个用来使用卷积网络检测人体姿态关节点的heatmap,一个是用CNN得到所有相连关节点的部分亲和域vectmap,最终得到所有的关节信息关键点。
步骤S404:用关节信息和pafs(用于部位关联)来获得肢体连接。模型包含 19个肢体,确定每一肢体所对应的两个part和paf,将两个part之间的paf信息进行积分所得结果作为该肢体的置信度,置信图的作用是以灰白程度展示人体部位出现的可能性。最后利用部分亲和力字段PAFs(Part Affinity Fields)找到肢体连接,每一个连接就可以看做一个肢体。
步骤S405:获得所有肢体后,将相同关节连接的肢体看作同一人的肢体,并将数据传输至数据训练模块与经过深度训练的模型进行比较其相似度,并设定一个阀值,超过阀值则可以判断出学生的体态姿势。
根据学生在做作业的整个过程中的具体情况,最终形成学生在整个作业过程中的行为数据报告,其中例如专注学习多长时间,坐姿标准多长时间和走神多长时间及坐姿不标准多长时间。在整个作业过程中的行为数据形成学生的作业报告。
附图说明
为了更清楚的说明本发明实施的技术方案,下面将对发明的主要过程所设计的步骤用流程图加以说明,以下附图仅示出了本发明的某些实例,因此不应被看作是对范围的限定,凡是在不脱离本发明的构思和原则的前提下,任何本领域的技术人员所做出的等同变化与修改,均属于本发明保护的范围。
图1为行为获取模块的工作流程图;
图2为数据训练模块的工作流程图;
图3为数据分析模块的工作流程图;
图4为行为判别模块的工作流程图;
图5为OpenPose的骨骼结构图。

Claims (7)

1.一种基于OpenPose的学生写作业时体态监测分析及效率评估方法。包括本体、电源以及各类传感器,该电源设于本体内,可充电使用,也可接电源。其特征在于,具备:
传感器***,由传感器得到的数据交由我们基于OpenPose改进的算法进行数据处理。其特征在于,所述摄像传感器模块包括用于测量视觉范围内的人物及景物深度信息和轮廓信息的深度摄影单元和用于普通摄像的主摄像单元以及连接的体感识别单元,用于识别学生的体态和面部表情信息。还有红外测距传感器用于检测学生头部与桌子的距离,并且此智能机器人内部还包括用于数据处理的数据处理芯片。
2.一种基于OpenPose的改进算法,其特征在于:
1)将OpenPose的6个阶段缩减为3个阶段,只保留初始阶段和单个优化阶段。
2)用1×1和3×3的卷积核代替7×7的卷积核,不仅可以缓和降维,而且可以减少计算量。
3)因为本发明将传统OpenPose的6个阶段缩减至3个阶段,计算精度难免受到影响,所以本发明通过对池化过程的优化来防止过拟合的发生以及提高计算结果的精度。
3.根据权利要求1和权利要求2所述的一种基于OpenPose的学生写作业时体态监测分析及效率评估方法,其特征在于,第一步具体包括:
1)通过传感器采集学生的体态数据和面部表情数据。
2)将采集到的数据利用基于OpenPose改进的算法对学生的体态以及面部表情进行建模。对于学生坐姿的检测,我们采用人体骨骼关键点特征提取方法,人在坐着或者运动中骨骼关键点都会表现出不同的运动轨迹、肢体角度变化等。以此来分析学生的行为动作,目前检测人体骨骼关键点的自上而下的算法有PMPE、CFN、Mask RCNN、G-RMI。对于采集到的关键点之间关系的相关建模算法有Asssociative Embedding、Mid-Range offsets、PAF。此方法采用的建模方式也是基于上述的多种算法并进行改进的,以达到对学生骨骼关键点的准确采集及建模分析。
4.基于权利1和权利2的步骤,还包括神经网络模型训练模块,其特征在于:针对不同状态条件下的学生体态和面部表情的图片,比如打哈欠、伸懒腰、瞌睡点头、双眼无神不集中等特定姿势及表情,在网上下载寻找不同光照、角度、背景等条件下的人在状态不集中、人脸疲劳的图片。利用面部表情识别程序进行训练。通过视频图像内容进行标准化、统一化的标记。建立对比数据库。
5.基于权利4所述的神经网络训练模块,实现体态检测。其特征在于:对学生体态以及面部表情模型进行深度学习训练,通过对样本的模型训练测试,通过我们的基于OpenPose改进的算法对采集到的数据和建立的模型进行不同动作的分类及识别工作。将玩手机、趴着、仰着等动作训练成模板模型,得出可供对比的模型。将采集到的体态数据分析后与模板对比,根据对比相似度判断学生当前的坐姿状态,并设置一个阈值,超过阈值则语音提醒学生注意坐姿。
6.基于权利4所述的神经网络训练模块,实现学生精神状态检测。其特征在于:利用卷积神经网络,搭建合适的模型对学生的不同学习状态以及精神是否集中等特征进行训练学习,通过各参数的设置和调整,从学生面部数据中,实现对学生的学习状态和精神是否集中的判断。将采集到的面部表情分析后与经过训练得到的模板对比,根据对比相似度判断学生当前的精神状态。综上所述,用机器视觉技术,采用图像处理与卷积神经网络相结合的方法,通过传感器采集到的人脸图像数据进行采样,通过网络模型训练学习体态和面部疲劳表情特征,实现对学生状态的判断。
7.根据权利1所述一种基于OpenPose的学生写作业时体态监测分析及效率评估方法,其特征在于,该方法还包括总结反馈模块,根据学生在做作业的整个过程中的具体情况,最终形成学生在整个作业过程中的行为数据报告,其中专注学习的时间长度,坐姿标准的时间长度和走神的时间长度以及坐姿不标准的时间长度。
CN202010997266.3A 2020-09-21 2020-09-21 一种基于OpenPose的学生体态检测分析及效率评估方法 Pending CN114255508A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010997266.3A CN114255508A (zh) 2020-09-21 2020-09-21 一种基于OpenPose的学生体态检测分析及效率评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010997266.3A CN114255508A (zh) 2020-09-21 2020-09-21 一种基于OpenPose的学生体态检测分析及效率评估方法

Publications (1)

Publication Number Publication Date
CN114255508A true CN114255508A (zh) 2022-03-29

Family

ID=80789159

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010997266.3A Pending CN114255508A (zh) 2020-09-21 2020-09-21 一种基于OpenPose的学生体态检测分析及效率评估方法

Country Status (1)

Country Link
CN (1) CN114255508A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114821708A (zh) * 2022-03-31 2022-07-29 黑龙江大学 一种自主沉浸式学习***及方法
CN115337607A (zh) * 2022-10-14 2022-11-15 佛山科学技术学院 一种基于计算机视觉的上肢运动康复训练方法
CN116563797A (zh) * 2023-07-10 2023-08-08 安徽网谷智能技术有限公司 一种用于智慧校园的监控管理***
CN116645721A (zh) * 2023-04-26 2023-08-25 贵州大学 基于深度学习的坐姿识别方法及***

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114821708A (zh) * 2022-03-31 2022-07-29 黑龙江大学 一种自主沉浸式学习***及方法
CN115337607A (zh) * 2022-10-14 2022-11-15 佛山科学技术学院 一种基于计算机视觉的上肢运动康复训练方法
CN116645721A (zh) * 2023-04-26 2023-08-25 贵州大学 基于深度学习的坐姿识别方法及***
CN116645721B (zh) * 2023-04-26 2024-03-15 贵州大学 基于深度学习的坐姿识别方法及***
CN116563797A (zh) * 2023-07-10 2023-08-08 安徽网谷智能技术有限公司 一种用于智慧校园的监控管理***
CN116563797B (zh) * 2023-07-10 2023-10-27 安徽网谷智能技术有限公司 一种用于智慧校园的监控管理***

Similar Documents

Publication Publication Date Title
CN114255508A (zh) 一种基于OpenPose的学生体态检测分析及效率评估方法
Wang et al. Fall detection based on dual-channel feature integration
Piyathilaka et al. Gaussian mixture based HMM for human daily activity recognition using 3D skeleton features
Wu et al. Human activity recognition based on the combined SVM&HMM
CN109635727A (zh) 一种人脸表情识别方法及装置
CN110490109B (zh) 一种基于单目视觉的在线人体康复动作识别方法
CN110135242B (zh) 基于低分辨率红外热成像深度感知的情绪识别装置及方法
Bu Human motion gesture recognition algorithm in video based on convolutional neural features of training images
CN113920326A (zh) 基于人体骨骼关键点检测的摔倒行为识别方法
CN109934182A (zh) 对象行为分析方法、装置、电子设备及计算机存储介质
Yahaya et al. Gesture recognition intermediary robot for abnormality detection in human activities
Chiu et al. Emotion recognition through gait on mobile devices
CN208969808U (zh) 基于人脸检测和声音检测的婴儿监护器
CN114842547A (zh) 基于手势动作生成与识别的手语教学方法、装置及***
CN113869276A (zh) 基于微表情的谎言识别方法及***
Hazari et al. Designing a sign language translation system using kinect motion sensor device
Jayaweera et al. Gesture driven smart home solution for bedridden people
Alhersh et al. Learning human activity from visual data using deep learning
CN114970701A (zh) 一种基于多模态融合的课堂互动分析方法及***
Zhu et al. Realtime human daily activity recognition through fusion of motion and location data
CN112883922B (zh) 基于CNN-BiGRU神经网络融合的手语识别方法
CN117532609A (zh) 融合脑肌电与单目视觉的仿人机器人实时控制***及方法
CN112257559A (zh) 一种基于生物个体步态信息的身份识别方法
CN111339878A (zh) 一种基于眼动数据的修正型实时情感识别方法及***
Ramanathan et al. Combining pose-invariant kinematic features and object context features for rgb-d action recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination