CN117649702A - 一种基于人体姿态的教学辅助方法、设备及介质 - Google Patents
一种基于人体姿态的教学辅助方法、设备及介质 Download PDFInfo
- Publication number
- CN117649702A CN117649702A CN202410121442.5A CN202410121442A CN117649702A CN 117649702 A CN117649702 A CN 117649702A CN 202410121442 A CN202410121442 A CN 202410121442A CN 117649702 A CN117649702 A CN 117649702A
- Authority
- CN
- China
- Prior art keywords
- teaching aid
- appointed
- teaching
- teacher
- human body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000008569 process Effects 0.000 claims abstract description 19
- 238000010191 image analysis Methods 0.000 claims abstract description 13
- 238000013507 mapping Methods 0.000 claims description 33
- 239000000523 sample Substances 0.000 claims description 31
- 238000012706 support-vector machine Methods 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 16
- 238000012544 monitoring process Methods 0.000 claims description 10
- 230000009471 action Effects 0.000 claims description 8
- 238000009434 installation Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 4
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 239000013598 vector Substances 0.000 description 8
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241001310793 Podium Species 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000002715 modification method Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 210000001202 rhombencephalon Anatomy 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Artificial Intelligence (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- Computational Linguistics (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- General Business, Economics & Management (AREA)
- Primary Health Care (AREA)
- Marketing (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种基于人体姿态的教学辅助方法、设备及介质，方法包括：采集指定教师对应的教学视频数据；对教学视频数据进行图像分析，以确定指定教师在教学任务执行过程中的人体姿态数据；基于人体姿态数据，确定人体姿态数据命中的指定教具；若确定指定教具对应的命中时长超过预设时长，则确定指定教师对指定教具具有使用意图；辅助指定教师启动或使用指定教具。帮助部分教师对智能教具能够快速上手，不仅能够提高教学的便利性，还可以使教学过程更加生动形象。且整个过程无需进行语音控制，不仅不需要向智能音箱开放相应的接口，且不存在方言识别困难等问题，且不会打断教师的教学思路，保障教学的连贯性。
Description
技术领域
本申请涉及适用于教育行业的管理领域，具体涉及一种基于人体姿态的教学辅助方法、设备及介质。
背景技术
随着科技的发展，智慧课堂逐渐实现建设，增加了教师授课过程中的生动性以及便利性。
基于智慧课堂的建设，能够采集教师、学生的课堂表现，并通过分析对后续的教学环境进行改进，比如，申请号为201911265444.7的专利中，能够基于面部表情识别、语音识别、光符识别的计算机视觉和听觉技术，从采集生成的大数据中挖掘出有用的信息，可以方便快速的得到课堂教学效果评价结论，生成指向明确、目的性极强的课后辅导建议。
然而，其难以在课堂教学过程中对教师进行实时辅助，尤其是对一些年龄较大，或比较少接触智能设备的教师，该教师可能难以快速上手使用一些智能教具，导致智能教具在教学过程中并没有发挥出其应有的功能。
传统的方案中，可以通过智能音箱对智能教具的控制，然而，这需要智能音箱开放相应的接口，并且可能还会存在，教师口音问题导致语音识别不清、使用语音控制智能音箱容易打断教学思路等问题的出现，从而影响智能教具的使用效果。
发明内容
为了解决上述问题，本申请提出了一种基于人体姿态的教学辅助方法，包括：
通过已设置的监控探头，对当前执行教学任务的教师进行人脸识别，以确定其为需要进行教具辅助的指定教师，并采集所述指定教师对应的教学视频数据；
对所述教学视频数据进行图像分析，以确定所述指定教师在教学任务执行过程中的人体姿态数据，所述人体姿态数据包括多个维度；
基于所述人体姿态数据，以及预先设置的映射关系表，确定所述人体姿态数据命中的指定教具，所述映射关系表中预先记录了不同智能教具所分别对应的人体姿态数据；
若确定所述指定教具对应的命中时长超过预设时长，则确定所述指定教师对所述指定教具具有使用意图；
获取所述指定教具的使用状态，并根据所述使用状态，确定所述指定教具未被正确启动或使用，辅助所述指定教师启动或使用所述指定教具。
在一个示例中，所述人体姿态数据的多个维度包括：所处区域、手部姿势、面部朝向；
基于所述人体姿态数据，以及预先设置的映射关系表，确定所述人体姿态数据命中的指定教具之前，所述方法还包括：
确定已设置的所有智能教具，并确定所述智能教具的安装位置、触发距离以及触发方式，所述触发方式至少包括：触摸触发、手持触发、远程触发；
基于所述安装位置，以及所述触发距离，确定所述智能教具对应的触发区域，并根据所述触发区域，得到映射关系表中所述所处区域对应的维度；
基于所述触发方式，得到映射关系表中所述手部姿势对应的维度；
基于所述触发方式，得到映射关系表中所述面部朝向对应的维度，其中，当所述触发方式为触摸触发、手持触发时，所述面部朝向至少包括面向所述指定教具，当所述触发方式为远程触发时，所述面部朝向至少包括面向所述指定教具、面向远程触发设备。
在一个示例中，若确定所述指定教具对应的命中时长超过预设时长，则确定所述指定教师对所述指定教具具有使用意图，具体包括：
基于预先设置的映射关系表，确定各智能教具对应的所处区域；
若所述所处区域为预设的常驻区域，则在所述手部姿势或所述面部朝向的命中时长超过第一预设时长时，确定所述指定教师对所述指定教具具有使用意图；
若所述所处区域为预设的非常驻区域，则在确定所述所处区域的命中时长超过第二预设时长，且在所述手部姿势或所述面部朝向的命中时长超过第一预设时长时，确定所述指定教师对所述指定教具具有使用意图；
其中，所述所处区域的命中时长为连续命中时长，所述手部姿势或所述面部朝向的命中时长为所述第二预设时长内的总命中时长，所述常驻区域和所述非常驻区域均是预先设置的，属于教室中的区域，所述第二预设时长高于所述第一预设时长。
在一个示例中，获取所述指定教具的使用状态，并根据所述使用状态，确定所述指定教具未被正确启动或使用，具体包括：
确定所述指定教具的教具类型，所述教具类型至少包括自动型、操作型；
针对所述自动型以及所述操作型的智能教具，获取所述指定教具的使用状态，并根据所述使用状态，确定所述指定教具是否被正确启动；
针对所述操作型的智能教具，若已正确启动，则基于所述操作型的智能教具的工作日志中的异常状态，确定所述指定教具是否被正确使用。
在一个示例中，辅助所述指定教师启动或使用所述指定教具，具体包括：
针对未被正确启动的指定教具，控制具有显示屏的预设教具启动，并向所述指定教师询问，是否需要启动所述指定教具；
若接收到正向反馈，则启动所述指定教具启动；
针对未被正确使用的指定教具，若所述指定教具自身具有显示屏，则在所述显示屏上展示所述指定教具的正确使用流程；
若所述指定教具未具有所述显示屏，则通过所述预设教具的显示屏展示所述指定教具的正确使用流程。
在一个示例中，所述方法还包括：
若确定在第三预设时长内，所述指定教具仍未被正确使用，则确定所述第三预设时长内，所述指定教师的第一人体姿态数据，以及指定学生的第二人体姿态数据；
若确定所述第一人体姿态数据，仍命中所述指定教具，或，所述第一人体姿态数据、所述第二人体姿态数据均命中预设动作，则继续辅助所述指定教师使用所述指定教具；
否则，停止辅助所述指定教师使用所述指定教具；
其中，所述预设动作包括：所述指定教师与所述指定学生之间进行交互、所述指定教师与所述指定学生的所处区域同时命中所述指定教具。
在一个示例中，所述方法还包括：
针对所述指定教师，若确定所述指定教师，已基于所述正确使用流程，对所述指定教具的正确使用次数超过预设次数后，则停止对所述指定教具的辅助。
在一个示例中，对所述教学视频数据进行图像分析，以确定所述指定教师在教学任务执行过程中的人体姿态数据，具体包括：
确定所述教学视频数据的当前分辨率低于预设分辨率；
确定预先采集的，且分辨率低于所述预设分辨率的第一课堂样本图像，将所述第一课堂样本图像进行灰度处理，得到第一灰度图像；
将所述第一灰度图像分割为多个第一子图像，并针对每个第一子图像，通过径向基函数，确定该第一子图像为低频区域还是高频区域；
针对所述高频区域中的每个未组成训练样本的像素点，将该像素点，以及周围相邻像素点进行结合，并将结合后的像素点域作为一个训练样本，对预先构建的支持向量机进行训练，以通过训练好的第一支持向量机的分类器，对所述像素点域中的像素点进行分割；
通过所述第一支持向量机，将所述教学视频数据中的每帧图像作为输入，对所述每帧图像进行分割，并根据输出的分割结果，对所述每帧图像中处于分割边界附近预设范围内的像素点进行图像增强；
基于图像增强后的每帧图像，进行图像分析，以确定所述指定教师在教学任务执行过程中的人体姿态数据。
另一方面，本申请还提出了一种基于人体姿态的教学辅助设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：执行如上述示例所述的基于人体姿态的教学辅助方法。
另一方面，本申请还提出了一种非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为：执行如上述示例所述的基于人体姿态的教学辅助方法。
通过本申请提出基于人体姿态的教学辅助方法能够带来如下有益效果：
1、通过采集教师的人体姿态数据，可以分析得到其是否具有教具的使用意图，若具有，则可以进行自动化的教学辅助，从而帮助部分教师对智能教具能够快速上手，不仅能够提高教学的便利性，还可以使教学过程更加生动形象。且整个过程无需进行语音控制，不仅不需要向智能音箱开放相应的接口，且不存在方言识别困难等问题，且不会打断教师的教学思路，保障教学的连贯性。
2、基于已经设置的映射关系表，能够明确不同情况下，准确识别教师对于不同教具的使用意图，保证识别的准确性。并且针对一些处于常驻区域的教具，适应性的改变相应的识别过程，从而使得识别结果更加准确。
3、将教具划分为多个类型，能够快速明确教具是未被正确启动还是未被正确使用，以便于后续的辅助使用。且通过具有显示屏的预设教具，能够对教师进行更快速合理的提示，以辅助教师正确使用教具。
4、当教师在经过辅助之后，仍未正确使用教具，则可以进一步识别，其是否真的需要辅助，且识别过程中，不仅包括是否命中指定教具，还可以对教师向学生发出帮助获取信号等动作考虑在内，增加后续进一步判定时的考虑范围。且对于已经多次提示的教师，可以适当停止提示，节约算力。
5、对于低分辨率的场景，通过训练后的支持向量机对图像进行图像增强后进行图像分析，可以增强在这些情况下的图像识别效果，保证最终图像识别的准确性。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请实施例中基于人体姿态的教学辅助方法的流程示意图；
图2为本申请实施例中人体姿态数据识别过程的流程示意图；
图3为本申请实施例中图像匹配过程的流程示意图；
图4为本申请实施例中所处区域识别的流程示意图；
图5为本申请实施例中面部朝向识别的流程示意图；
图6为本申请实施例中基于人体姿态的教学辅助设备的示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
以下结合附图，详细说明本申请各实施例提供的技术方案。
如图1所示，本申请实施例提供基于人体姿态的教学辅助方法，包括：
S101：通过已设置的监控探头，对当前执行教学任务的教师进行人脸识别，以确定其为需要进行教具辅助的指定教师，并采集所述指定教师对应的教学视频数据。
当教师执行教学任务时，可以通过预先设置在教室中的监控探头对教师进行人脸识别（比如，通过卷积神经网络或支持向量机训练机器学习模型，从而实现人脸识别），从而确定当前教师的身份，该身份可以以教师ID进行记录。
预先在服务器端设置相应的教师表格，其中记录有需要进行教具辅助的教师，将其称作指定教师。比如，可以设置一些年龄比较大或者接触智能设备比较少的教师作为指定教师，在其他教师执行教学任务时，则无需进行教学辅助，从而节省相应的算力资源。
监控探头可以在教室内设置多个，并分别进行编号，从而方便采集教学视频数据。在教学视频数据中，需要采集到指定教师的相应行为，以便于后续的分析。
S102：对所述教学视频数据进行图像分析，以确定所述指定教师在教学任务执行过程中的人体姿态数据，所述人体姿态数据包括多个维度。
人体姿态数据指的是，指定教师的姿态，其通常包括多个维度，比如，包括：所处区域、手部姿势、面部朝向。所处区域指的是，指定教师所站的位置区域，手部姿势和面部朝向分别指的是手部的姿势以及手持或接触的物品，以及面朝的方向。
S103：基于所述人体姿态数据，以及预先设置的映射关系表，确定所述人体姿态数据命中的指定教具，所述映射关系表中预先记录了不同智能教具所分别对应的人体姿态数据。
映射关系表中记录有各智能教具对应的人体姿态数据，当指定教师的人体姿态数据命中了映射关系表中记录的数据时，表示其对于相应的智能教具具有较高的可能性，去使用该指定教具。
其中，智能教具可以包括智慧大屏、电脑主机、投影仪、智能门禁等。以智慧大屏为例进行解释说明。映射关系表中其对应的人体姿态数据可以包括：指定教师的所处区域位于智慧大屏的附近1米内，手部姿势正在接触智慧大屏，其可以是按压、拖动等姿势，面部朝向则望向智慧大屏所在的方向，或者面向学生所在的方向。
当然，可以只针对部分操作比较复杂，或者比较重要的智能教具设置相应的映射关系表，从而进行教学辅助。
具体地，可以确定已设置的所有智能教具（当然，也可以再进行筛选，只选取其中的部分智能教具），并确定智能教具的安装位置、触发距离以及触发方式，其中，安装位置指的是在教室中的安装位置，而触发方式少包括：触摸触发、手持触发、远程触发，其对应的触发距离分别为：0米，以及根据远程遥控的范围确定。
基于安装位置，以及触发距离，即可确定智能教具对应的触发区域，并根据触发区域，得到映射关系表中所处区域对应的维度。比如，智能教具的安装位置为讲台，触发方式需要触摸出发，此时，触发距离为0，考虑到手臂的长度，智能教具的触发区域为其附近的0.5米范围内。
基于触发方式，得到映射关系表中手部姿势对应的维度，当触发方式为触摸出发（比如，智慧大屏）时，手部姿势可以是按压、点击等姿势。当触发方式为手持触发（比如，实验台）时，手部姿势可以是握持智慧教具等姿势。当触发方式为远程触发（比如，投影仪）时，手部姿势可以是指向智能教具的紧握姿势。
基于触发方式，得到映射关系表中面部朝向对应的维度，其中，基于人的自然习惯，当触发方式为触摸触发、手持触发时，面部朝向至少包括面向指定教具，当触发方式为远程触发时，面部朝向至少包括面向指定教具、面向远程触发设备（比如，遥控器）。
S104：若确定所述指定教具对应的命中时长超过预设时长，则确定所述指定教师对所述指定教具具有使用意图。
在确定指定教师具有指定教具的使用可能性后，为了进一步判断其是否具有相应意图，可以基于持续时长确定是否存在使用意图。
首先基于预先设置的映射关系表，确定各智能教具对应的所处区域，判断所处区域为常驻区域还是非常驻区域。其中，常驻区域和非常驻区域均是预先设置的，属于教室中的区域，常驻区域指的是，教师经常所在的区域，比如，讲台区域，而非常驻区域则是指的教师中，常驻区域之外的区域。
若映射关系表中，智能教具对应的所处区域为常驻区域，则说明教师长时间均在该区域中，此时，无需考虑所处区域这一维度，此时，在手部姿势或面部朝向的命中时长超过第一预设时长（比如，设置为15秒）时，确定指定教师对指定教具具有使用意图。
若所处区域为非常驻区域，则此时，需要将三个维度共同考虑，此时，在确定所处区域的命中时长超过第二预设时长（比如，设置为30秒），且在手部姿势或面部朝向的命中时长超过第一预设时长时，确定指定教师对指定教具具有使用意图。
其中，由于教师需要先到达所处区域，才能够执行相应的手部姿势或面部朝向，故而第二预设时长高于第一预设时长。
另外，基于自然规律，只有当教师一直处于所处区域时，才能表示其具有使用意图，故而所处区域的命中时长为连续命中时长，一旦教师离开所处区域，则命中时长需要重新计算，防止教师路过导致的误判。手部姿势或面部朝向则可以不是持续的，其命中时长为第二预设时长内的总命中时长，比如，教师在第二预设时长内，可能会出现来回张望的情况发生，此时，只需要面部朝向的总命中时长达到第一预设时长，即可认为其具有相应的使用意图。
S105：获取所述指定教具的使用状态，并根据所述使用状态，确定所述指定教具未被正确启动或使用，辅助所述指定教师启动或使用所述指定教具。
使用状态可以包括未启动、已启动、未正确使用、已正确使用等。是否启动可以基于智能教具的物联网实现，比如，比如，智能教具在待机模式下未成功启动，而是否正确使用，可以基于智能教具的工作日志中是否出现异常判定。
具体地，若预设时长内确定指定教师未正确启动或使用，则认为该指定教师需要帮助，此时对其进行辅助启动或使用。此时，可以预先将指定教具进行分类，划分为两个教具类型，包括自动型、操作型。自动型指的是，只要启动后，会按照相应的工作模式自动工作，无需人工参与，比如，打印机、投影仪等，而操作型指的是，在启动之后，需要人工去操作使用。
基于此，对于自动型，只需要关心其是否正确启动，而对于操作型，还需要关心其是否正确使用。针对自动型以及操作型的智能教具，获取指定教具的使用状态，并根据使用状态，确定指定教具是否被正确启动。
而针对操作型的智能教具，若已正确启动，则进一步判断，基于操作型的智能教具的工作日志中的异常状态，确定指定教具是否被正确使用。若工作日志中出现异常，则认为未正确使用。
进一步地，在进行辅助时，针对未被正确启动的指定教具，则可以控制具有显示屏的预设教具启动，并向指定教师询问，是否需要启动指定教具，比如，预设教具可以是设置在讲台的电脑主机，弹出对话框向教师提问，教师若点击是，则认为接收到正向反馈，则启动指定教具启动。
而针对未被正确使用的指定教具，若指定教具自身具有显示屏（比如，其是电脑、智慧大屏），则在显示屏上展示指定教具的正确使用流程。若指定教具未具有显示屏（比如，其是打印机、投影仪），则通过预设教具的显示屏展示指定教具的正确使用流程。
当然，若接收到指定教师的负向反馈，表示不需要使用，或，在一定时间内未接收到反馈，则停止询问，并暂停针对指定教具的辅助，以防止多次对指定教师产生不必要的询问，影响教学任务。
另外，若确定在第三预设时长（比如，30秒）内，指定教具仍未被正确使用，则确定第三预设时长内，指定教师的第一人体姿态数据，以及指定学生的第二人体姿态数据。指定学生可以是任一学生，或者，是预先设置的固定职位的学生，比如，班长、学习委员等。
若确定第一人体姿态数据，仍命中指定教具，或者，第一人体姿态数据、第二人体姿态数据均命中预设动作，表示此时教师仍需要辅助来使用教具，只是由于操作不当导致仍未被正确使用，则继续辅助指定教师使用指定教具，否则，认为本次辅助为误判，教师并没有使用指定教具的意图，停止继续辅助指定教师使用指定教具。
其中，预设动作包括：指定教师与指定学生之间进行交互、指定教师与指定学生的所处区域同时命中指定教具。当指定教师与指定学生之间的所处区域同时命中指定教具，且进行交互时，认为该学生正在辅导老师使用指定教具，故而继续对教师进行辅助。
当然，针对指定教师，若确定指定教师，已基于正确使用流程，对指定教具的正确使用次数超过预设次数后，则认为该指定教师已经可以熟练使用指定教具，此时，停止对指定教具的辅助。
通过采集教师的人体姿态数据，可以分析得到其是否具有教具的使用意图，若具有，则可以进行自动化的教学辅助，从而帮助部分教师对智能教具能够快速上手，不仅能够提高教学的便利性，还可以使教学过程更加生动形象。且整个过程无需进行语音控制，不仅不需要向智能音箱开放相应的接口，且不存在方言识别困难等问题，且不会打断教师的教学思路，保障教学的连贯性。
在一个实施例中，对于一些乡村教室，其虽然配备了智能教具，但是由于预算等原因，导致监控探头的质量较差，其分辨率较低，采集到的教学视频数据的当前分辨率低于预设分辨率。此时，需要先对采集到的教学视频数据中的图像增强。
具体地，确定预先采集的，且分辨率低于预设分辨率的第一课堂样本图像，将第一课堂样本图像进行灰度处理，得到第一灰度图像。其可以通过网络采集，或者，通过在当地进行摄像采集。
将第一灰度图像分割为多个第一子图像（比如，每个子图像的像素大小为9*9，或者，也可以基于实际需求进行设置），并针对每个第一子图像，通过径向基函数，确定该第一子图像为低频区域还是高频区域。
高频区域通常表示的是图像中的边界区域，故而针对高频区域中的每个未组成训练样本的像素点，将该像素点，以及周围相邻像素点进行结合，组成一个3*3的像素点域，并将结合后的像素点域作为一个训练样本，对预先构建的支持向量机进行训练，在此将该支持向量机称作第一支持向量机。
在训练好的第一支持向量机中，通过其中包含的分类器，能够对像素点域中的像素点进行分割，此时，通过第一支持向量机，将教学视频数据中的每帧图像作为输入，对每帧图像进行分割，从而能够在图像中分割出高频区域和低频区域，并根据输出的分割结果，对每帧图像中处于分割边界附近预设范围（比如，间隔3个像素范围）内的像素点进行图像增强。其中，处于分割边界处的像素点，通常代表其就是图像中高频区域和低频区域的分割边界，故而可以对该部分像素进行图像增强。
图像增强的方式可以包括对边界处的该部分内容进行线性变换、对数变换、指数变换等灰度变换，或者，通过直方图均衡化、直方图规定化等直方图修整法。
此时，即可基于图像增强后的每帧图像，进行图像分析，以确定指定教师对应的人体姿态数据。
进一步地，在视频数据的采集过程中，可能会出现教师移动的情况发生，此时，监控探头需要进行人物追踪，可能需要发生放大、缩小、平移等情况的发生。故而需要对上下帧图像进行图像匹配，从而更精准的实现人体姿态数据的分析。
具体地，如图2所示，基于图像增强后的每帧图像，进行图像分析，以确定指定教师在当前帧图像中对应的人体姿态数据，包括：所处区域、手部姿势、面部朝向。若确定监控探头的采集范围发生变化（比如，采集范围放大、缩小、发生平移等），则根据图像匹配结果持续进行图像分析，以将当前帧图像与下一帧图像进行关联，从而便于确定教师在下一帧图像中对应的人体姿态数据。
在图像匹配时，如图3所示，确定预先采集的，且经过图像增强后的第二课堂样本图像，该图像可以基于历史记录中，增强后的图像得到，将第二课堂样本图像进行灰度处理，得到第二灰度图像。
针对第二灰度图像，进行仿射映射，得到映射灰度图像。仿射映射，也称作放射变换，指在几何中，一个向量空间进行一次线性变换并接上一个平移，变换为另一个向量空间。
针对每个第二灰度图像，将该第二灰度图像，以及由该第二灰度图像进行仿射映射得到的映射灰度图像进行组合，得到多元组。通常来说，仿射映射的次数为1或者2，此时，多元组为二元组或三元组。
将多元组作为一个训练样本，构建样本集。针对每个多元组，通过小波变换进行图像特征提取，并将每个多元组中的提取得到的图像特征作为单个训练样本，以通过训练样本对预先构建的支持向量机进行训练，得到训练好的第二支持向量机。
每个训练样本中，均是图像经过仿射映射后得到的图像，体现出了同样的图像在不同尺度中的对应关系，从而能够通过第二支持向量机对相同的图像进行识别。
此时，将图像增强后的下一帧图像与当前帧图像输入第二支持向量机，输出下一帧图像与当前帧图像之间的图像匹配区域，并通过图像匹配区域进行图像匹配，便于人体姿态数据的分析。
基于此，已经完成了图像增强和图像匹配的过程，可以继续进行图像分析，识别指定教师的人体姿态数据。
此时，如图4所示，与图像匹配中类似地，确定预先采集的，且经过图像增强后的第二课堂样本图像，将第二课堂样本图像进行灰度处理，得到第二灰度图像。
针对第二灰度图像，将其分割多个第二子图像，通常来说，第二子图像的范围要比第一子图像更大，可以将第二灰度图像分割成16个或25个第二子图像。在第二灰度图像中，将预设的课桌区域所对应的第二子图像删除，得到待识别灰度图像，其中，课桌区域基于监控探头的当前采集范围确定。
课桌区域可以基于图像识别确定，由于课桌区域均是固定的，故而也可以基于监控探头当前的旋转角度、焦距预先设置映射关系，通过旋转角度和焦距确定当前采集范围，从而确定对应的课桌区域，将其排除后，可以将学生排除，减少计算量。当然，可以保留课桌之间的过道区域，作为识别区域。
通过AdaBoost算法逐步训练多个弱分类器，并将多个弱分类器组合得到级联分类器，其中，级联分类器由多个级别组成，每个级别中都包含弱分类器。
此时，通过训练好的级联分类器对待识别灰度图像进行滑窗检测，以在待识别灰度图像上，滑动固定尺寸（固定尺寸与第二子图像的尺寸一致）的矩形窗口，以计算每个矩形窗口中的LBP特征向量，LBP指局部二值模式，英文全称：Local Binary Patterns，其能够反映出图像的纹理特征。
通过级联分类器根据LBP特征向量确定每个矩形窗口中的图像是否包含人体内容，将所有包含人体内容的区域进行组合，得到指定教师对应的人体区域，即可根据人体区域确定指定教师的所处区域。
更进一步地，如图5所示，在确定了所处区域后，对于人体区域，基于尺度不变特征变换算法可以提取出人体区域对应的特征点。其中，尺度不变特征转换(Scale-invariantfeature transform，SIFT)是一种机器视觉的算法用来侦测与描述影像中的局部性特征，它在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变数。
基于最近邻的匹配算法（比如，SIFT特征检测和匹配算法、ORB特征检测和匹配算法、k-NN最近邻算法（k-nearest neighbors algorithm）等）将特征点与预设的关键点进行特征匹配，从而可以确定人体区域中的关键点，其中，关键点至少包括手部位置、头部位置。此时，已经确定了手部位置，即可基于其确定手部姿势，并且可基于头部位置所在的关键区域，确定面部朝向。
确定预先采集的人脸图像集，人脸图像集中包含多个人脸图像，其中包含不同面部朝向的人脸图像，当然也可以选择背向（也就是只能看到后脑勺位置的人脸图像）作为负例样本。
根据人脸图像的面部朝向，为人脸图像赋予对应的标签（比如，通过角度对面部朝向的标签进行标注），并提取人脸图像的LBP特征向量，并将标签与LBP特征向量进行关联。
通过已经得到的级联分类器将不同尺度的LBP特征向量进行特征融合，并将特征融合后的特征向量以及标签作为输入，将面部朝向作为输出，训练得到第三支持向量机。
此时，即可将头部位置所在的关键区域作为输入，通过第三支持向量机输出指定教师的面部朝向，完成对于指定教师的人体姿态数据中面部朝向的分析。
如图6所示，本申请实施例还提出了一种基于人体姿态的教学辅助设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：执行如上述任一实施例所述的基于人体姿态的教学辅助方法。
本申请实施例还提出了一种非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为：执行如上述任一实施例所述的基于人体姿态的教学辅助方法。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的范围之内。
Claims (10)
1.一种基于人体姿态的教学辅助方法，其特征在于，包括：
通过已设置的监控探头，对当前执行教学任务的教师进行人脸识别，以确定其为需要进行教具辅助的指定教师，并采集所述指定教师对应的教学视频数据；
对所述教学视频数据进行图像分析，以确定所述指定教师在教学任务执行过程中的人体姿态数据，所述人体姿态数据包括多个维度；
基于所述人体姿态数据，以及预先设置的映射关系表，确定所述人体姿态数据命中的指定教具，所述映射关系表中预先记录了不同智能教具所分别对应的人体姿态数据；
若确定所述指定教具对应的命中时长超过预设时长，则确定所述指定教师对所述指定教具具有使用意图；
获取所述指定教具的使用状态，并根据所述使用状态，确定所述指定教具未被正确启动或使用，辅助所述指定教师启动或使用所述指定教具。
2.根据权利要求1所述的方法，其特征在于，所述人体姿态数据的多个维度包括：所处区域、手部姿势、面部朝向；
基于所述人体姿态数据，以及预先设置的映射关系表，确定所述人体姿态数据命中的指定教具之前，所述方法还包括：
确定已设置的所有智能教具，并确定所述智能教具的安装位置、触发距离以及触发方式，所述触发方式至少包括：触摸触发、手持触发、远程触发；
基于所述安装位置，以及所述触发距离，确定所述智能教具对应的触发区域，并根据所述触发区域，得到映射关系表中所述所处区域对应的维度；
基于所述触发方式，得到映射关系表中所述手部姿势对应的维度；
基于所述触发方式，得到映射关系表中所述面部朝向对应的维度，其中，当所述触发方式为触摸触发、手持触发时，所述面部朝向至少包括面向所述指定教具，当所述触发方式为远程触发时，所述面部朝向至少包括面向所述指定教具、面向远程触发设备。
3.根据权利要求2所述的方法，其特征在于，若确定所述指定教具对应的命中时长超过预设时长，则确定所述指定教师对所述指定教具具有使用意图，具体包括：
基于预先设置的映射关系表，确定各智能教具对应的所处区域；
若所述所处区域为预设的常驻区域，则在所述手部姿势或所述面部朝向的命中时长超过第一预设时长时，确定所述指定教师对所述指定教具具有使用意图；
若所述所处区域为预设的非常驻区域，则在确定所述所处区域的命中时长超过第二预设时长，且在所述手部姿势或所述面部朝向的命中时长超过第一预设时长时，确定所述指定教师对所述指定教具具有使用意图；
其中，所述所处区域的命中时长为连续命中时长，所述手部姿势或所述面部朝向的命中时长为所述第二预设时长内的总命中时长，所述常驻区域和所述非常驻区域均是预先设置的，属于教室中的区域，所述第二预设时长高于所述第一预设时长。
4.根据权利要求1所述的方法，其特征在于，获取所述指定教具的使用状态，并根据所述使用状态，确定所述指定教具未被正确启动或使用，具体包括：
确定所述指定教具的教具类型，所述教具类型至少包括自动型、操作型；
针对所述自动型以及所述操作型的智能教具，获取所述指定教具的使用状态，并根据所述使用状态，确定所述指定教具是否被正确启动；
针对所述操作型的智能教具，若已正确启动，则基于所述操作型的智能教具的工作日志中的异常状态，确定所述指定教具是否被正确使用。
5.根据权利要求4所述的方法，其特征在于，辅助所述指定教师启动或使用所述指定教具，具体包括：
针对未被正确启动的指定教具，控制具有显示屏的预设教具启动，并向所述指定教师询问，是否需要启动所述指定教具；
若接收到正向反馈，则启动所述指定教具启动；
针对未被正确使用的指定教具，若所述指定教具自身具有显示屏，则在所述显示屏上展示所述指定教具的正确使用流程；
若所述指定教具未具有所述显示屏，则通过所述预设教具的显示屏展示所述指定教具的正确使用流程。
6.根据权利要求2所述的方法，其特征在于，所述方法还包括：
若确定在第三预设时长内，所述指定教具仍未被正确使用，则确定所述第三预设时长内，所述指定教师的第一人体姿态数据，以及指定学生的第二人体姿态数据；
若确定所述第一人体姿态数据，仍命中所述指定教具，或，所述第一人体姿态数据、所述第二人体姿态数据均命中预设动作，则继续辅助所述指定教师使用所述指定教具；
否则，停止辅助所述指定教师使用所述指定教具；
其中，所述预设动作包括：所述指定教师与所述指定学生之间进行交互、所述指定教师与所述指定学生的所处区域同时命中所述指定教具。
7.根据权利要求5所述的方法，其特征在于，所述方法还包括：
针对所述指定教师，若确定所述指定教师，已基于所述正确使用流程，对所述指定教具的正确使用次数超过预设次数后，则停止对所述指定教具的辅助。
8.根据权利要求1所述的方法，其特征在于，对所述教学视频数据进行图像分析，以确定所述指定教师在教学任务执行过程中的人体姿态数据，具体包括：
确定所述教学视频数据的当前分辨率低于预设分辨率；
确定预先采集的，且分辨率低于所述预设分辨率的第一课堂样本图像，将所述第一课堂样本图像进行灰度处理，得到第一灰度图像；
将所述第一灰度图像分割为多个第一子图像，并针对每个第一子图像，通过径向基函数，确定该第一子图像为低频区域还是高频区域；
针对所述高频区域中的每个未组成训练样本的像素点，将该像素点，以及周围相邻像素点进行结合，并将结合后的像素点域作为一个训练样本，对预先构建的支持向量机进行训练，以通过训练好的第一支持向量机的分类器，对所述像素点域中的像素点进行分割；
通过所述第一支持向量机，将所述教学视频数据中的每帧图像作为输入，对所述每帧图像进行分割，并根据输出的分割结果，对所述每帧图像中处于分割边界附近预设范围内的像素点进行图像增强；
基于图像增强后的每帧图像，进行图像分析，以确定所述指定教师在教学任务执行过程中的人体姿态数据。
9.一种基于人体姿态的教学辅助设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：执行如权利要求1~8中任一项权利要求所述的基于人体姿态的教学辅助方法。
10.一种非易失性计算机存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令设置为：执行如权利要求1~8中任一项权利要求所述的基于人体姿态的教学辅助方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410121442.5A CN117649702B (zh) | 2024-01-30 | 2024-01-30 | 一种基于人体姿态的教学辅助方法、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410121442.5A CN117649702B (zh) | 2024-01-30 | 2024-01-30 | 一种基于人体姿态的教学辅助方法、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117649702A true CN117649702A (zh) | 2024-03-05 |
| CN117649702B CN117649702B (zh) | 2024-05-07 |
Family
ID=90046364
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410121442.5A Active CN117649702B (zh) | 2024-01-30 | 2024-01-30 | 一种基于人体姿态的教学辅助方法、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117649702B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150044657A1 (en) * | 2013-08-07 | 2015-02-12 | Xerox Corporation | Video-based teacher assistance |
| WO2019028592A1 (zh) * | 2017-08-07 | 2019-02-14 | 中国科学院深圳先进技术研究院 | 一种教学辅助方法及采用该方法的教学辅助*** |
| CN110244846A (zh) * | 2019-06-13 | 2019-09-17 | 陕西国际商贸学院 | 基于课堂辅助教学智能化***的人机交互方法 |
| CN113723250A (zh) * | 2021-08-23 | 2021-11-30 | 华中师范大学 | 一种用于帮助教师反思性成长的课堂智能分析方法及*** |
| CN114779922A (zh) * | 2022-03-11 | 2022-07-22 | 南京谦萃智能科技服务有限公司 | 教学设备的控制方法、控制设备、教学***和存储介质 |
| CN115719516A (zh) * | 2022-11-30 | 2023-02-28 | 华中师范大学 | 一种基于多通道的课堂教学行为识别方法及*** |
| CN115761809A (zh) * | 2022-11-25 | 2023-03-07 | 峰米(重庆)创新科技有限公司 | 基于手势识别的投影仪操控方法、装置、设备及存储介质 |
-
2024
- 2024-01-30 CN CN202410121442.5A patent/CN117649702B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150044657A1 (en) * | 2013-08-07 | 2015-02-12 | Xerox Corporation | Video-based teacher assistance |
| WO2019028592A1 (zh) * | 2017-08-07 | 2019-02-14 | 中国科学院深圳先进技术研究院 | 一种教学辅助方法及采用该方法的教学辅助*** |
| CN110244846A (zh) * | 2019-06-13 | 2019-09-17 | 陕西国际商贸学院 | 基于课堂辅助教学智能化***的人机交互方法 |
| CN113723250A (zh) * | 2021-08-23 | 2021-11-30 | 华中师范大学 | 一种用于帮助教师反思性成长的课堂智能分析方法及*** |
| CN114779922A (zh) * | 2022-03-11 | 2022-07-22 | 南京谦萃智能科技服务有限公司 | 教学设备的控制方法、控制设备、教学***和存储介质 |
| CN115761809A (zh) * | 2022-11-25 | 2023-03-07 | 峰米(重庆)创新科技有限公司 | 基于手势识别的投影仪操控方法、装置、设备及存储介质 |
| CN115719516A (zh) * | 2022-11-30 | 2023-02-28 | 华中师范大学 | 一种基于多通道的课堂教学行为识别方法及*** |
Non-Patent Citations (3)
| Title |
|---|
| TAO GUAN: "On-Device Mobile Landmark Recognition Using Binarized Descriptor with Multifeature Fusion", 《ACM TRANS. INTELL. SYST. TECHNOL》, vol. 7, no. 1, 30 September 2015 (2015-09-30), pages 1 - 29, XP058680323, DOI: 10.1145/2795234 * |
| 查敏菊: "基于手势动作的智能输入***", 《知网》, vol. 2016, no. 1, 15 January 2016 (2016-01-15) * |
| 金瑭;: "行为识别技术在教学中应用的探讨", 电脑知识与技术, no. 07, 5 March 2017 (2017-03-05) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117649702B (zh) | 2024-05-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10902056B2 (en) | Method and apparatus for processing image | |
| CN109063587B (zh) | 数据处理方法、存储介质和电子设备 | |
| WO2019237942A1 (zh) | 一种基于结构光的视线追踪方法、装置、设备及存储介质 | |
| Yun et al. | An automatic hand gesture recognition system based on Viola-Jones method and SVMs | |
| CN104809458B (zh) | 一种瞳孔中心定位方法及装置 | |
| Hu et al. | Research on abnormal behavior detection of online examination based on image information | |
| EP3035235B1 (en) | Method for setting a tridimensional shape detection classifier and method for tridimensional shape detection using said shape detection classifier | |
| CN106909220A (zh) | 一种适用于触控的视线交互方法 | |
| CN108898115B (zh) | 数据处理方法、存储介质和电子设备 | |
| CN103677274A (zh) | 一种基于主动视觉的互动投影方法及*** | |
| Balasuriya et al. | Learning platform for visually impaired children through artificial intelligence and computer vision | |
| CN105279492A (zh) | 虹膜识别的方法和装置 | |
| WO2020007097A1 (zh) | 数据处理方法、存储介质和电子设备 | |
| Joshi et al. | American sign language translation using edge detection and cross correlation | |
| CN106814853A (zh) | 一种基于机器学习的眼控跟踪方法 | |
| CN115937928A (zh) | 基于多视觉特征融合的学习状态监测方法及*** | |
| Agarwal et al. | Face recognition based smart and robust attendance monitoring using deep CNN | |
| CN114332927A (zh) | 课堂举手行为检测方法、***、计算机设备和存储介质 | |
| CN112199015B (zh) | 智能交互一体机及其书写方法、装置 | |
| CN117649702B (zh) | 一种基于人体姿态的教学辅助方法、设备及介质 | |
| CN111507555B (zh) | 人体状态检测方法、课堂教学质量的评价方法及相关装置 | |
| Kourbane et al. | Skeleton-aware multi-scale heatmap regression for 2D hand pose estimation | |
| Liu et al. | Gesture recognition based on Kinect | |
| Pradeep et al. | Advancement of sign language recognition through technology using python and OpenCV | |
| CN116894978B (zh) | 一种融合面部情绪与行为多特征的线上考试防作弊*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |