CN112528790B - 基于行为识别的教学管理方法、装置及服务器 - Google Patents

基于行为识别的教学管理方法、装置及服务器 Download PDF

Info

Publication number
CN112528790B
CN112528790B CN202011392577.3A CN202011392577A CN112528790B CN 112528790 B CN112528790 B CN 112528790B CN 202011392577 A CN202011392577 A CN 202011392577A CN 112528790 B CN112528790 B CN 112528790B
Authority
CN
China
Prior art keywords
target
behavior recognition
recognition result
student
teaching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011392577.3A
Other languages
English (en)
Other versions
CN112528790A (zh
Inventor
邹芳
李尔卫
张亚男
谢树家
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Life Insurance Company of China Ltd
Original Assignee
Ping An Life Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Life Insurance Company of China Ltd filed Critical Ping An Life Insurance Company of China Ltd
Priority to CN202011392577.3A priority Critical patent/CN112528790B/zh
Publication of CN112528790A publication Critical patent/CN112528790A/zh
Application granted granted Critical
Publication of CN112528790B publication Critical patent/CN112528790B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/335Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/02Methods for producing synthetic speech; Speech synthesisers

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Computational Linguistics (AREA)
  • Psychiatry (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Social Psychology (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及生物识别技术领域,可用于智慧城市建设,本申请实施例提供了一种基于行为识别的教学管理方法、装置及服务器,该方法包括:在目标教师的教学过程中,获得目标教师教学的多个学生中目标学生的人脸图像;根据目标学生的人脸图像对目标学生进行行为识别,得到行为识别结果,行为识别结果包括第一行为识别结果或第二行为识别结果;在行为识别结果为目标行为识别结果时,根据目标行为识别结果获取对应的教学策略;根据教学策略进行教学管理。本申请实施例涉及区块链技术,如可将目标学生的标识信息与行为识别结果之间的对应关系写入区块链。

Description

基于行为识别的教学管理方法、装置及服务器
技术领域
本申请涉及生物识别技术领域,尤其涉及一种基于行为识别的教学管理方法、装置及服务器。
背景技术
远程培训就是一个以互联网通讯***为基础,利用多媒体技术和远程视频传输技术为学校或者企业提供优质人才资源服务的平台***,培训双方在此***中可进行人与人、面对面的语音即时交流及影像的在线审视,短时间内便可完成整个培训过程,达到预定的培训效果。然而,现有的远程培训***存在因教师无法现场监管学生导致远程教学效果不佳等问题。
发明内容
本申请实施例提供了一种基于行为识别的教学管理方法、装置及服务器,可以提升教学效果。
第一方面,本申请实施例提供了一种基于行为识别的教学管理方法,包括:
在目标教师的教学过程中,获得所述目标教师教学的多个学生中目标学生的人脸图像;所述目标学生的人脸图像为目标学生终端按照预设时间间隔采集的;
根据所述目标学生的人脸图像对所述目标学生进行行为识别,得到行为识别结果,所述行为识别结果包括第一行为识别结果或第二行为识别结果,所述第一行为识别结果为用于指示所述目标学生是否有提问倾向的行为识别结果,所述第二行为识别结果为用于指示所述目标学生是否处于睡觉状态的行为识别结果;
在所述行为识别结果为目标行为识别结果时,根据所述目标行为识别结果获取所述目标学生的行为数据,并根据所述行为数据确定对应的教学策略;
根据所述教学策略进行教学管理。
可选地,在所述目标行为识别结果包括第一行为识别结果时,所述根据所述目标学生的人脸图像对所述目标学生进行行为识别,得到行为识别结果,包括:
对所述目标学生的人脸图像进行特征点提取,得到目标学生的唇部特征点,所述唇部特征点包括上唇特征点以及下唇特征点;
获取所述上唇特征点的位置信息以及下唇特征点的位置信息;
根据所述上唇特征点的位置信息以及所述下唇特征点的位置信息计算所述上唇特征点与所述下唇特征点之间的距离值;
根据所述上唇特征点与所述下唇特征点之间的距离值以及第一预设距离值,获得第一行为识别结果。
可选地,在所述目标行为识别结果包括第二行为识别结果时,所述根据所述目标学生的人脸图像对所述目标学生进行行为识别,得到行为识别结果,包括:
对所述目标学生的人脸图像进行特征点提取,得到目标学生的眼睑特征点,所述眼睑特征点包括上眼睑特征点以及下眼睑特征点;
获取所述上眼睑特征点的位置信息以及下眼睑特征点的位置信息;
根据所述上眼睑特征点的位置信息以及所述下眼睑特征点的位置信息计算所述上眼睑特征点与所述下眼睑特征点之间的距离值;
根据所述上眼睑特征点与所述下眼睑特征点之间的距离值以及第二预设距离值,获得第二行为识别结果。
可选地,在所述目标行为识别结果包括第一行为识别结果,且所述第一行为识别结果为用于指示所述目标学生有提问倾向的行为识别结果时,所述根据所述目标行为识别结果获取所述目标学生的行为数据,包括:
通过所述目标学生终端弹出问题入口,以便所述目标学生终端获取所述目标学生基于所述问题入口填写的提问数据;
接收所述目标学生终端发送的所述提问数据以用于构建第一提问数据集合,所述第一提问数据集合包括至少一个提问数据。
可选地,所述教学策略包括问题处理教学策略,所述根据所述教学策略进行教学管理,包括:
根据第一提问数据集合得到第二提问数据集合,所述第二提问数据集合为所述第一提问数据集合或为对所述第一提问数据集合进行过滤处理后得到的提问数据集合;
对所述第二提问数据集合中的提问数据进行分类,得到分类结果,所述分类结果包括多个类别中每个类别对应的提问数据;
将所述分类结果发送至目标教师终端以进行展示。
可选地,所述方法还包括:
接收所述目标教师终端根据所述分类结果返回的对目标提问数据的投屏指令;
根据所述投屏指令将所述目标提问数据发送至所述目标教师绑定的电子白板以进行展示。
可选地,在所述目标行为识别结果包括第二行为识别结果,且所述第二行为识别结果为用于指示所述目标学生处于睡觉状态的行为识别结果时,所述根据所述目标行为识别结果获取所述目标学生的行为数据,包括:
获取所述目标教师的教学视频中的预设数量帧视频画面,所述视频画面包括所述目标学生的人脸图像;
根据所述每帧视频画面包括的所述目标学生的人脸图像,确定所述目标学生的睡觉时长。
可选地,所述教学策略包括睡觉处理教学策略,所述根据所述教学策略进行教学管理,包括:
当检测到所述目标学生的睡觉时长大于或等于预设时长时,获取所述目标教师的语音数据;
根据所述目标教师的语音数据进行语音合成处理,得到所述目标教师对所述目标学生的提示音;
将所述提示音发送至所述目标学生终端以进行输出。
第二方面,本申请实施例提供了一种基于行为识别的教学管理装置,包括:
获取模块,用于在目标教师的教学过程中,获得所述目标教师教学的多个学生中目标学生的人脸图像;所述目标学生的人脸图像为目标学生终端按照预设时间间隔采集的;
识别模块,用于根据所述目标学生的人脸图像对所述目标学生进行行为识别,得到行为识别结果,所述行为识别结果包括第一行为识别结果或第二行为识别结果,所述第一行为识别结果为用于指示所述目标学生是否有提问倾向的行为识别结果,所述第二行为识别结果为用于指示所述目标学生是否处于睡觉状态的行为识别结果;
所述获取模块,还用于在所述行为识别结果为目标行为识别结果时,根据所述目标行为识别结果获取所述目标学生的行为数据;
管理模块,用于根据所述行为数据确定对应的教学策略,并根据所述教学策略进行教学管理。
第三方面,本申请实施例提供了一种服务器,包括处理器和存储器,所述处理器和所述存储器相互连接,其中,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行如第一方面所述的方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行以实现如第一方面所述的方法。
综上所述,服务器可以在目标教师的教学过程中,获得该目标教师教学的多个学生中目标学生的人脸图像,并根据该目标学生的人脸图像对该目标学生进行行为识别,得到行为识别结果,进而在该行为识别结果为目标行为识别结果时,根据该目标行为识别结果获取该目标学生的行为数据,并根据该行为数据确定对应的教学策略以根据该教学策略进行教学管理,本申请实施例通过实时行为数据的识别并根据不同行为采取不同教学策略,能够解决现有技术的远程培训***中因教师无法现场监管学生导致远程教学效果较差的问题,采用本申请,能够提升教学效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种基于行为识别的教学管理方法的流程示意图;
图2A是本申请实施例提供的一种提问数据分类过程的示意图;
图2B是本申请实施例提供的一种对分类的提问数据的处理过程的示意图;
图3是本申请实施例提供的另一种基于行为识别的教学管理方法的流程示意图;
图4是本申请实施例提供的一种基于行为识别的教学管理装置的结构示意图;
图5是本申请实施例提供的一种服务器的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。
本申请实施例提出一种基于行为识别的教学管理方案,可以根据学生的人脸图像对相应学生进行行为识别,并得到行为识别结果,以根据不同行为识别结果采用不同教学策略来进行教学处理,进而提升远程教学效果。该教学管理方案可以由服务器实现,该服务器可以一个服务器或服务器集群。该教学管理方案可以应用于教师对学生一对一远程教学或一对多远程教学的场景等场景中。
在一个应用场景中,学生可以在学生终端设置用于在线学习的软件。教学也可以在教师终端设置该软件。该软件可以支持教学直播、教学互动等功能。教学直播支持教师的教学直播等过程,教学互动支持学生的实时提问等过程。在这个场景下,该服务器可以为该软件对应的服务器。
本申请实施例中,所述的教学管理方案可助力于智慧城市的建设,本申请实施例涉及区块链技术,如可将目标学生的标识信息与行为识别结果之间的对应关系写入区块链。
请参阅图1,为本申请实施例提供的一种基于行为识别的教学管理方法的流程示意图。该方法可以应用于服务器,该服务器可以一个服务器或服务集群。
具体地,该方法可以包括以下步骤:
S101、在目标教师的教学过程中,获得所述目标教师教学的多个学生中目标学生的人脸图像。
其中,所述目标学生的人脸图像为目标学生终端按照预设时间间隔采集的。其中目标学生终端为该目标学生使用的终端设备。
在一个实施例中,服务器可以将目标教师教学的多个学生中的任一学生确定为目标学生。即,该目标学生可以为多个学生中的任一学生。
在一个实施例中,服务器可以获取目标教师教学的多个学生中每个学生的标识信息,并根据多个学生中每个学生的标识信息查询每个学生的历史睡觉次数,历史睡觉次数包括记录的预设时间范围内的睡觉次数;服务器根据每个学生的历史睡觉次数,从多个学生中确定出睡觉次数最多的学生作为目标学生。即,该目标学生可以为多个学生中在预设时间范围内睡觉次数最多的学习。其中,学生的标识信息可以为学生的姓名或学号等用于唯一标识该学生的信息。该方式可以自动化确定出需要重点监管的学生。
在一个实施例中,服务器可以在检测到目标教师终端发送的监管指令时,将该监管指令指示的待监管的学生确定为目标学生,该监管指令携带待监管学生的标识信息。即,该目标学生可以为待监管的学生。其中,目标教师终端指目标教师对应的终端设备。该方式可以根据教师的指示确定出需要重点监管的学生。
S102、根据所述目标学生的人脸图像对所述目标学生进行行为识别,得到行为识别结果,所述行为识别结果包括第一行为识别结果或第二行为识别结果,所述第一行为识别结果为用于指示所述目标学生是否有提问倾向的行为识别结果,所述第二行为识别结果为用于指示所述目标学生是否处于睡觉状态的行为识别结果。
其中,第一行为识别结果为用于指示该目标学习有提问倾向的行为识别结果,或用于指示该目标学习没有提问倾向的行为识别结果。第二行为识别结果为用于指示该目标学生处于睡觉状态的行为识别结果,或为用于指示该目标学生不处于睡觉状态的行为识别结果。
在一个实施例中,服务器根据该目标学生的人脸图像对该目标学生进行行为识别,得到行为识别结果的过程可以为:服务器调用预训练的卷积神经网络,并根据该目标学生的人脸图像对该目标学生进行行为识别,得到行为识别结果。在提问倾向识别的场景下,该过程能够有效地识别学生是否有提问倾向,尤其可以识别到一些由于性格内向害怕提问的学生的提问倾向。在睡觉状态识别的场景下,该过程能够有效识别学生是否处于睡觉状态。其中,该预训练的卷积网络模型可以采用大量的人脸图像(可以为学生的人脸图像)以及对应的行为标签对原始的卷积神经网络模型训练得到。
在一个实施例中,当行为识别结果包括第一行为识别结果时,服务器调用预训练的卷积神经网络,并根据该目标学生的人脸图像对该目标学生进行行为识别,得到行为识别结果的过程可以为:服务器调用预训练的卷积神经网络模型根据该目标学生的人脸图像进行特征提取,得到该目标学生的用于提问倾向识别的第一人脸特征(如唇部特征),并根据该第一人脸特征获得第一行为识别结果。在一个实施例中,当行为识别结果包括第二行为识别结果时,服务器调用预训练的卷积神经网络,并根据该目标学生的人脸图像对该目标学生进行行为识别,得到行为识别结果的过程可以为:服务器调用预训练的卷积神经网络模型根据该目标学生的人脸图像进行特征提取,得到该目标学生的用于睡觉状态识别的第二人脸特征(如眼部特征),并根据该第二人脸特征获得第二行为识别结果。
S103、在所述行为识别结果为目标行为识别结果时,根据所述目标行为识别结果获取所述目标学生的行为数据,并根据所述行为数据确定对应的教学策略。
S104、根据所述教学策略进行教学管理。
其中,该目标行为识别结果为第一行为识别结果,且第一行为识别结果为用于指示该目标学生有提问倾向的行为识别结果。或该目标行为识别结果为第二行为识别结果,且第二行为识别结果为用于指示该目标学生处于睡觉状态的行为识别结果。
在一个实施例中,服务器在该目标行为识别结果包括第一行为识别结果,且该第一行为识别结果为用于指示该目标学生有提问倾向的行为识别结果时,服务器根据该目标行为识别结果获取该目标学生的行为数据的过程具体为服务器通过该目标学生终端弹出问题入口,以便该目标学生终端获取该目标学生基于该问题入口填写的提问数据;服务器接收该目标学生终端发送的该提问数据以用于构建第一提问数据集合,该第一提问数据集合包括至少一个提问数据。可见,获取的目标学生的行为数据可以为目标学生终端发送的该提问数据。
在一个应用场景中,服务器可以通过目标学习终端弹出问题入口,目标学生可以基于该问题入口填写提问数据,在目标学生填写好该提问数据后,可以点击提交按钮,目标学生终端可以响应于该点击操作,获取该目标学生基于该问题入口填写的提问数据,并将该提问数据发送至服务器。服务器可以接收该目标学生终端发送的该提问数据,并利用该提问数据构建第一提问数据集合。
在一个实施例中,服务器在得到目标学生终端发送的提问数据后,可以根据该目标学生终端发送的提问数据确定对应的问题处理教学策略。相应地,在教学策略为问题处理策略时,服务器根据该教学策略进行教学管理的过程可以为服务器根据第一提问数据集合得到第二提问数据集合,该第二提问数据集合为该第一提问数据集合或为对该第一提问数据集合进行过滤处理后得到的提问数据集合;服务器对该第二提问数据集合中的提问数据进行分类,得到分类结果,并将该分类结果发送至目标教师终端以进行展示,该分类结果包括多个类别中每个类别对应的提问数据。其中,第二提问数据集合包括的提问数据的数量可以小于或等于第一提问数据集合包括的提问数据的数量。
在一个实施例中,前述提及的过滤处理方式可以为:服务器计算第一提问数据集合包括的各提问数据之间的相似度,根据各提问数据之间的相似度从第一提问数据集合中确定出至少一个子提问数据集合,该子提问数据集合包括的各提问数据之间的相似度大于或等于预设相似度;服务器针对每个子提问数据集合保留该子提问数据集合中的一个提问数据。本申请实施例可以删除相似度较高的提问数据,从而避免提问数据的重复。
在一个实施例中,前述提及的过滤处理方式还可以为:服务器当检测到该第一提问数据集合包括不合法提问数据时,对该第一提问数据集合包括的该不合法的提问数据进行删除处理。其中,检测该第一提问数据集合是否包括不合法的提问数据的手段可以为检测到第一提问数据集合中提问数据是否包括敏感关键字库中记录的敏感关键字,若包括,则确定该提问数据为不合法提问数据,即可以确定该第一提问数据集合包括不合法提问数据,采用该过程,可以对非法信息进行过滤。
在一个实施例中,服务器对所述第二提问数据集合中的提问数据进行分类,得到分类结果的过程可以为:服务器根据第二提问数据集合中每个提问数据的类别,对所述第二提问数据集合中的提问数据进行分类,得到分类结果。
在一个实施例中,服务器可以对第二提问数据集合包括的每个提问数据进行文本预处理,得到词集合;根据该词集合对该第二提问数据集合包括的每个提问数据进行向量表示,得到文本向量集合,该文本向量集合包括第二提问数据集合中的每个提问数据的文本向量;服务器将文本向量集合作为预设的文本分类模型的输入数据,由该文本分类模型根据该文本向量集合进行分类,得到第二提问数据集合包括的每个提问数据的类别。例如,参见图2A,服务器可以对文本,也就是第二提问数据集合中提问数据进行预处理,之后对第二提问数据集合包括的每个提问数据进行特征提取和文本表示,便可以得到文本向量集合。再之后,便可以将文本向量集合作为预设的分类模型,此处为分类器的输入数据,由分类器根据该文本向量集合进行分类处理,进而得到第二提问数据集合包括的每个提问数据的类别,以便对同一类问题进行归类。
在一个实施例中,服务器可以接收该目标教师终端根据该分类结果返回的对目标提问数据的投屏指令,并根据该投屏指令将该目标提问数据发送至该目标教师绑定的电子白板以进行展示。采用该过程,教师可以及时在教学过程中对学习答疑解惑,从而提升学生的学习效果。
在一个应用场景中,结合图2B来说,服务器(此处可以为图2B所示的教学互动服务器)在将分类结果发送目标教师终端(此处可以为图2B所示的管理台)后,目标教师终端可以显示该分类结果,即显示多个类别中每个类别对应的提问数据,例如,类别1的问题1、类别2的问题1和问题2,类别3的问题1、问题2和问题3。目标教师可以在选取类别2的问题1后,可以点击投屏按钮,目标教师终端可以响应于该点击操作,针对类别2的问题1发送投屏指令至服务器,服务器可以在接收到该投屏指令后,将类别2的问题1发送至目标教师绑定的电子白板以进行展示。
在一个实施例中,在多个类别中的目标类别对应的提问数据为多个时,服务器还可以统计目标类别对应的各个提问数据在第一提问数据集合中的出现频率,并根据该出现频率,对该目标类别的各提问数据进行排序,得到排序结果数据,将排序结果发送至目标教师终端,该目标类别为该多个类别中的任一类别。服务器可以接收目标教师终端根据该排序结果返回的对某一个或多个提问数据的投屏指令,并通过目标教师对应的电子白板输出某一个或多个指定提问数据。
在一个实施例中,服务器除了可以通过学生终端实时弹出问题入口以采集学生的提问数据之外,还可以获取学生终端基于指定问题入口提交的提问数据以用于构建第三提问数据集合,该指定问题入口不同于弹出的问题入口。弹出的问题入口是根据行为识别结果实时弹出的问题入口,指定问题入口可以是本身嵌入在指定教学页面的问题入口,一个是动态入口,一个是静态入口。服务器可以对第二提问数据集合以及第三提问数据集合进行数据融合处理,得到第四提问数据集合,并对该第四提问数据集合中的提问数据进行分类,得到多个提问数据组,每个提问数据组对应一个类型,将该多个提问数据组发送至目标教师终端,并接收该目标教师终端根据该多个提问数据组返回的对指定提问数据的投屏指令,并通过该目标教师对应的电子白板输出该指定提问数据。
在一个实施例中,在该目标行为识别结果包括第二行为识别结果,且该第二行为识别结果为用于指示该目标学生处于睡觉状态的行为识别结果时,服务器根据该目标行为识别结果获取该目标学生的行为数据的过程可以为:服务器获取该目标教师的教学视频中的预设数量帧视频画面,该视频画面包括该目标学生的人脸图像;服务器根据该每帧视频画面包括的该目标学生的人脸图像,确定该目标学生的睡觉时长。即,此处获取的该目标学生的行为数据为该目标学生的睡觉时长。
在一个实施例中,服务器可以当该目标学生在预设数量帧视频中每帧视频画面中处于睡觉状态时,确定该预设数量帧视频画面的录制时长,将该录制时长确定为该目标学生的睡觉时长。
在一个实施例中,服务器可以从预设数量帧视频画面确定出第一帧视频画面(开始帧)和第二帧视频画面(结束帧),并当当该目标学生在第一帧视频画面和第二帧视频画面帧视频画面都处于睡觉状态时,根据该第一帧视频画面对应的录制时间以及第二帧视频画面的录制时间确定该目标学生的睡觉时长。通过两帧视频画面来确定目标学生的睡觉时长,能够提升对目标学生的睡觉时长的确定效率。
在一个实施例中,服务器在确定目标学生的睡觉时长后,可以根据该目标学生的睡觉时长确定对应的睡觉处理教学策略。相应地,在一个实施例中,教学策略包括睡觉处理教学策略,服务器根据该教学策略进行教学管理的过程可以为服务器当检测到该目标学生的睡觉时长大于或等于预设时长时,获取该目标教师的语音数据,并根据该目标教师的语音数据进行语音合成处理,得到该目标教师对该目标学生的提示音,从而将该提示音发送至该目标学生终端以进行输出。采用该方式能够及时有效地对上课不专注的学生进行提醒,从而提升学生的上课专注度,防止学生出现打瞌睡的行为。
在一个实施例中,服务器除了可以合成提示音之外,还可以获取目标教师的人脸图像;根据目标教师的人脸图像以及该提示音进行视频合成,得到该目标教师对该目标学生的提示视频以发送至目标学生终端进行输出。在一个实施例中,为了保证视频的真实性,服务器可以利用生成对抗网络对该目标教师的人脸图像以及其他教师的提示视频包括的其他教师的人脸图像进行人脸合成,得到该目标教师的视频序列(由多个视频图像构成,每个视频图像包括该目标教师的合成人脸图像),并为该视频序列添加提示音,得到该目标教师对该目标学生的提示视频。采用上述过程提示学生,能够提升学生的上课专注度,防止学生出现打瞌睡的行为。
可见,图1所示的实施例中,服务器可以在目标教师的教学过程中,获得该目标教师教学的多个学生中目标学生的人脸图像,并根据该目标学生的人脸图像对该目标学生进行行为识别,得到行为识别结果,进而在该行为识别结果为目标行为识别结果时,根据该目标行为识别结果获取该目标学生的行为数据,并根据该行为数据确定对应的教学策略以根据该教学策略进行教学管理,从而提升教学效果。
请参阅图3,为本申请实施例提供的另一种基于行为识别的教学管理方法的流程示意图。该方法可以应用于服务器,该服务器可以一个服务器或服务集群。具体地,该方法可以包括以下步骤:
S301、在目标教师的教学过程中,获得所述目标教师教学的多个学生中目标学生的人脸图像;所述目标学生的人脸图像为目标学生终端按照预设时间间隔采集的。
其中,步骤S301可参见图1实施例中的步骤S101,本申请实施例在此不做赘述。服务器可以在执行步骤S301后,并列执行步骤S302和步骤S306。
S302、对所述目标学生的人脸图像进行特征点提取,得到目标学生的唇部特征点,所述唇部特征点包括上唇特征点以及下唇特征点。
本申请实施例中,服务器可以通过特征点提取算法对该目标学生的人脸图像进行特征点提取,得到该目标学生的唇部特征点。其中,所述的上唇特征点可以为一个或多个,下唇特征点也可以为一个或多个。该上唇特征点和下唇特征点可以一一对应。在一个实施例中,在上唇特征点为一个时,该上唇特征点可以是上唇的中间位置的特征点。在下唇特征点为一个时,该下唇特征点可以为下唇的中间位置的特征点。
S303、获取所述上唇特征点的位置信息以及下唇特征点的位置信息。
S304、根据所述上唇特征点的位置信息以及所述下唇特征点的位置信息计算所述上唇特征点与所述下唇特征点之间的距离值。
本申请实施例中,服务器可以在得到目标学生的上唇特征点和下唇特征点后,获取该上唇特征点的位置信息以及该下唇特征点的位置信息,根据该上唇特征点的位置信息以及该下唇特征点的位置信息计算该上唇特征点与该下唇特征点之间的距离值,该位置信息可以包括坐标信息。
例如,该上唇特征点为多个时,多个上唇特征点包括特征点1、特征点2、特征点3。相应地,该下唇特征点可以为多个,多个下唇特征点可以包括特征点4、特征点5和特征点6。服务器可以获取特征点1的位置信息1,特征点2的位置信息2、特征点3的位置信息3、特征点4的位置信息4、特征点5的位置信息5和特征点6的位置信息6,并可以根据位置信息1和位置信息4计算特征点1和特征点4之间的距离值,根据位置信息2和位置信息5计算特征点2和特征点5之间的距离值,根据位置信息3和位置信息6计算特征点3和特征点6之间的距离值。
S305、根据所述上唇特征点与所述下唇特征点之间的距离值以及第一预设距离值,获得第一行为识别结果。
本申请实施例中,在上唇特征点为一个且下唇特征点为一个时。服务器可以判断这个上唇特征点和这个下唇特征点之间的距离值是否大于第一预设距离值,并在大于第一预设距离值时,获得第一行为识别结果,该第一行为识别结果为用于指示该目标学生有提问倾向的行为识别结果,反之,该第一行为识别结果为用于指示该目标学生没有提问倾向的行为识别结果。
在一个实施例中,在上唇特征点为多个且下唇特征点为多个时,服务器可以根据该上唇特征点与该下唇特征点之间的距离值,确定距离值大于第一预设距离值的特征点对数,并判断该特征点对数是否大于预设对象,在特征点对数大于预设对数时,获得第一行为识别结果,该第一行为识别结果为用于指示该目标学生有提问倾向的行为识别结果;反之,该第一行为识别结果为用于指示该目标学生没有提问倾向的行为识别结果。或,服务器可以根据该上唇特征点与该下唇特征点之间的距离值,计算距离值均值,并判断该距离值均值是否大于第一预设距离值,当该距离值均值大于预设第一预设距离值时,获得第一行为识别结果,该第一行为识别结果为用于指示该目标学生有提问倾向的行为识别结果;反之,该第一行为识别结果为用于指示该目标学生没有提问倾向的行为识别结果。
S306、对所述目标学生的人脸图像进行特征点提取,得到目标学生的眼睑特征点,所述眼睑特征点包括上眼睑特征点以及下眼睑特征点;
本申请实施例中,服务器可以通过特征点提取算法对该目标学生的人脸图像进行特征点提取,得到该目标学生的眼睑特征点。其中,所述的上眼睑特征点可以为一个或多个,下眼睑特征点也可以为一个或多个。该上眼睑特征点和下眼睑特征点可以一一对应。在一个实施例中,在上眼睑特征点为一个时,该上眼睑特征点可以是上眼睑的中间位置的特征点。在下眼睑特征点为一个时,该下眼睑特征点可以为下眼睑的中间位置的特征点。
S307、获取所述上眼睑特征点的位置信息以及下眼睑特征点的位置信息。
S308、根据所述上眼睑特征点的位置信息以及所述下眼睑特征点的位置信息计算所述上眼睑特征点与所述下眼睑特征点之间的距离值。
本申请实施例中,服务器可以在得到目标学生的上眼睑特征点和下眼睑特征点后,获取该上眼睑特征点的位置信息以及该下眼睑特征点的位置信息,根据该上眼睑特征点的位置信息以及该下眼睑特征点的位置信息计算该上眼睑特征点与该下眼睑特征点之间的距离值,该位置信息可以包括坐标信息。
例如,该上眼睑特征点为多个时,多个上眼睑特征点包括特征点a、特征点b、特征点c。相应地,该下眼睑特征点可以为多个,多个下眼睑特征点可以包括特征点d、特征点e和特征点f。服务器可以获取特征点a的位置信息a,特征点b的位置信息b、特征点c的位置信息c、特征点d的位置信息d、特征点e的位置信息e和特征点f的位置信息f,并可以根据位置信息a和位置信息d计算特征点a和特征点d之间的距离值,根据位置信息b和位置信息e计算特征点b和特征点e之间的距离值,根据位置信息c和位置信息f计算特征点c和特征点f之间的距离值。
S309、根据所述上眼睑特征点与所述下眼睑特征点之间的距离值以及第二预设距离值,获得第二行为识别结果。
本申请实施例中,在上眼睑特征点为一个且下眼睑特征点为一个时。服务器可以判断这个上眼睑特征点和这个下眼睑特征点之间的距离值是否小于或等于第二预设距离值,并在小于或等于第二预设距离值时,获得第二行为识别结果,该第二行为识别结果为用于指示该目标学生处于睡觉状态的行为识别结果,反之,该第二行为识别结果为用于指示该目标学生不处于睡觉状态的行为识别结果。
在一个实施例中,在上眼睑特征点为多个且下眼睑特征点为多个时,服务器可以根据该上眼睑特征点与该下眼睑特征点之间的距离值,确定距离值小于或等于第二预设距离值的特征点对数,并判断该特征点对数是否小于或等于预设对象,在特征点对数大于预设对数时,获得第二行为识别结果,该第二行为识别结果为用于指示该目标学生处于睡觉状态的行为识别结果;反之,该第二行为识别结果为用于指示该目标学生不处于睡觉状态的行为识别结果。或,服务器可以根据该上眼睑特征点与该下眼睑特征点之间的距离值,计算距离值均值,并判断该距离值均值是否小于或等于第二预设距离值,当该距离值均值小于或等于预设第二预设距离值时,获得第二行为识别结果,该第二行为识别结果为用于指示该目标学生处于睡觉状态的行为识别结果;反之,该第二行为识别结果为用于指示该目标学生没有提问倾向的行为识别结果。
S310、在所述行为识别结果为目标行为识别结果时,根据所述目标行为识别结果获取所述目标学生的行为数据,并根据所述行为数据确定对应的教学策略;
S311、根据所述教学策略进行教学管理。
其中,步骤S310和步骤S311可参见图1实施例中的步骤S103和步骤S104。本申请实施例在此不做赘述。
在一个实施例中,当该目标学生的人脸图像为多张时,服务器还可以根据多张该目标学生的人脸图像计算该目标学生的人脸姿态(可以为上下翻转的角度和/或平面内旋转的角度)的变化速度以及变化幅度;服务器根据该目标学生的人脸姿态的变化速度以及变化幅度,获得第二行为识别结果。例如,人在打瞌睡时,头会突然往前倾和/或平面内旋转,因此采用上述方式分析学生是否处于睡觉状态,可以有效把控学生的上课质量。
可见,图3所示的实施例中,电子设备可以通过特征点检测、特征点间的距离的计算来获取行为识别结果,并基于该行为识别结果采用相应的教学策略进行教学,该过程可以提高提问倾向识别和睡觉状态识别的准确度,进而在一定程度上提升教学效果。
请参阅图4,为本申请实施例提供的一种基于行为识别的教学管理装置的结构示意图。该教学管理装置可以应用于服务器。该教学管理装置可以包括:
获取模块401,用于在目标教师的教学过程中,获得所述目标教师教学的多个学生中目标学生的人脸图像;所述目标学生的人脸图像为目标学生终端按照预设时间间隔采集的。
识别模块402,用于根据所述目标学生的人脸图像对所述目标学生进行行为识别,得到行为识别结果,所述行为识别结果包括第一行为识别结果或第二行为识别结果,所述第一行为识别结果为用于指示所述目标学生是否有提问倾向的行为识别结果,所述第二行为识别结果为用于指示所述目标学生是否处于睡觉状态的行为识别结果。
获取模块401,还用于在所述行为识别结果为目标行为识别结果时,根据所述目标行为识别结果获取所述目标学生的行为数据;
管理模块403,用于根据所述行为数据确定对应的教学策略,并根据所述教学策略进行教学管理。
在一种可选的实施方式中,在所述目标行为识别结果包括第一行为识别结果时,识别模块402根据所述目标学生的人脸图像对所述目标学生进行行为识别,得到行为识别结果,具体为对所述目标学生的人脸图像进行特征点提取,得到目标学生的唇部特征点,所述唇部特征点包括上唇特征点以及下唇特征点;获取所述上唇特征点的位置信息以及下唇特征点的位置信息;根据所述上唇特征点的位置信息以及所述下唇特征点的位置信息计算所述上唇特征点与所述下唇特征点之间的距离值;根据所述上唇特征点与所述下唇特征点之间的距离值以及第一预设距离值,获得第一行为识别结果。
在一种可选的实施方式中,在所述目标行为识别结果包括第二行为识别结果时,识别模块402根据所述目标学生的人脸图像对所述目标学生进行行为识别,得到行为识别结果,具体为对所述目标学生的人脸图像进行特征点提取,得到目标学生的眼睑特征点,所述眼睑特征点包括上眼睑特征点以及下眼睑特征点;获取所述上眼睑特征点的位置信息以及下眼睑特征点的位置信息;根据所述上眼睑特征点的位置信息以及所述下眼睑特征点的位置信息计算所述上眼睑特征点与所述下眼睑特征点之间的距离值;根据所述上眼睑特征点与所述下眼睑特征点之间的距离值以及第二预设距离值,获得第二行为识别结果。
在一种可选的实施方式中,在所述目标行为识别结果包括第一行为识别结果,且所述第一行为识别结果为用于指示所述目标学生有提问倾向的行为识别结果时,获取模块401根据所述目标行为识别结果获取所述目标学生的行为数据,具体为通过所述目标学生终端弹出问题入口,以便所述目标学生终端获取所述目标学生基于所述问题入口填写的提问数据;接收所述目标学生终端发送的所述提问数据以用于构建第一提问数据集合,所述第一提问数据集合包括至少一个提问数据。
在一种可选的实施方式中,所述教学策略包括问题处理教学策略,管理模块403根据所述教学策略进行教学管理,具体为根据第一提问数据集合得到第二提问数据集合,所述第二提问数据集合为所述第一提问数据集合或为对所述第一提问数据集合进行过滤处理后得到的提问数据集合;对所述第二提问数据集合中的提问数据进行分类,得到分类结果,所述分类结果包括多个类别中每个类别对应的提问数据;将所述分类结果发送至目标教师终端以进行展示。
在一种可选的实施方式中,管理模块403,还用于接收所述目标教师终端根据所述分类结果返回的对目标提问数据的投屏指令;根据所述投屏指令将所述目标提问数据发送至所述目标教师绑定的电子白板以进行展示。
在一种可选的实施方式中,在所述目标行为识别结果包括第二行为识别结果,且所述第二行为识别结果为用于指示所述目标学生处于睡觉状态的行为识别结果时,获取模块401根据所述目标行为识别结果获取所述目标学生的行为数据,具体为获取所述目标教师的教学视频中的预设数量帧视频画面,所述视频画面包括所述目标学生的人脸图像;根据所述每帧视频画面包括的所述目标学生的人脸图像,确定所述目标学生的睡觉时长。
在一种可选的实施方式中,所述教学策略包括睡觉处理教学策略,管理模块403根据所述教学策略进行教学管理,具体为当检测到所述目标学生的睡觉时长大于或等于预设时长时,获取所述目标教师的语音数据;根据所述目标教师的语音数据进行语音合成处理,得到所述目标教师对所述目标学生的提示音;将所述提示音发送至所述目标学生终端以进行输出。
可见,图4所示的实施例中,教学管理装置可以在目标教师的教学过程中,获得该目标教师教学的多个学生中目标学生的人脸图像,并根据该目标学生的人脸图像对该目标学生进行行为识别,得到行为识别结果,进而在该行为识别结果为目标行为识别结果时,根据该目标行为识别结果获取该目标学生的行为数据,并根据该行为数据确定对应的教学策略以根据该教学策略进行教学管理,从而提升教学效果。
请参阅图5,为本申请实施例提供的一种服务器的结构示意图。本实施例中所描述的服务器可以包括:一个或多个处理器1000和存储器2000。处理器1000、和存储器2000可以通过总线连接。
处理器1000可以是中央处理模块(Central Processing Unit,CPU),该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器2000可以是高速RAM存储器,也可为非不稳定的存储器(non-volatilememory),例如磁盘存储器。其中,存储器2000用于存储计算机程序,所述计算机程序包括程序指令,处理器1000被配置用于调用所述程序指令,执行以下步骤:
在目标教师的教学过程中,获得所述目标教师教学的多个学生中目标学生的人脸图像;所述目标学生的人脸图像为目标学生终端按照预设时间间隔采集的;
根据所述目标学生的人脸图像对所述目标学生进行行为识别,得到行为识别结果,所述行为识别结果包括第一行为识别结果或第二行为识别结果,所述第一行为识别结果为用于指示所述目标学生是否有提问倾向的行为识别结果,所述第二行为识别结果为用于指示所述目标学生是否处于睡觉状态的行为识别结果;
在所述行为识别结果为目标行为识别结果时,根据所述目标行为识别结果获取所述目标学生的行为数据,并根据所述行为数据确定对应的教学策略;
根据所述教学策略进行教学管理。
在一个实施例中,在所述目标行为识别结果包括第一行为识别结果时,在根据所述目标学生的人脸图像对所述目标学生进行行为识别,得到行为识别结果时,处理器1000被配置用于调用所述程序指令,执行以下步骤:
对所述目标学生的人脸图像进行特征点提取,得到目标学生的唇部特征点,所述唇部特征点包括上唇特征点以及下唇特征点;
获取所述上唇特征点的位置信息以及下唇特征点的位置信息;
根据所述上唇特征点的位置信息以及所述下唇特征点的位置信息计算所述上唇特征点与所述下唇特征点之间的距离值;
根据所述上唇特征点与所述下唇特征点之间的距离值以及第一预设距离值,获得第一行为识别结果。
在一个实施例中,在所述目标行为识别结果包括第二行为识别结果时,在根据所述目标学生的人脸图像对所述目标学生进行行为识别,得到行为识别结果时,处理器1000被配置用于调用所述程序指令,执行以下步骤:
对所述目标学生的人脸图像进行特征点提取,得到目标学生的眼睑特征点,所述眼睑特征点包括上眼睑特征点以及下眼睑特征点;
获取所述上眼睑特征点的位置信息以及下眼睑特征点的位置信息;
根据所述上眼睑特征点的位置信息以及所述下眼睑特征点的位置信息计算所述上眼睑特征点与所述下眼睑特征点之间的距离值;
根据所述上眼睑特征点与所述下眼睑特征点之间的距离值以及第二预设距离值,获得第二行为识别结果。
在一个实施例中,在所述目标行为识别结果包括第一行为识别结果,且所述第一行为识别结果为用于指示所述目标学生有提问倾向的行为识别结果时,在根据所述目标行为识别结果获取所述目标学生的行为数据时,处理器1000被配置用于调用所述程序指令,执行以下步骤:
通过所述目标学生终端弹出问题入口,以便所述目标学生终端获取所述目标学生基于所述问题入口填写的提问数据;
接收所述目标学生终端发送的所述提问数据以用于构建第一提问数据集合,所述第一提问数据集合包括至少一个提问数据。
在一个实施例中,所述的服务器还可以包括通信接口(图未示),该通信接口可以为标准的有线或无线通信接口。本申请实施例中,可以通过通信接口接收该目标学生终端发送的所述提问数据以用于构建第一提问数据集合,所述第一提问数据集合包括至少一个提问数据。
在一个实施例中,所述教学策略包括问题处理教学策略,在根据所述教学策略进行教学管理时,处理器1000被配置用于调用所述程序指令,执行以下步骤:
根据第一提问数据集合得到第二提问数据集合,所述第二提问数据集合为所述第一提问数据集合或为对所述第一提问数据集合进行过滤处理后得到的提问数据集合;
对所述第二提问数据集合中的提问数据进行分类,得到分类结果,所述分类结果包括多个类别中每个类别对应的提问数据;
将所述分类结果发送至目标教师终端以进行展示。
本申请实施例中,可以通过通信接口将所述分类结果发送至目标教师终端以进行展示。
在一个实施例中,处理器1000被配置用于调用所述程序指令,还执行以下步骤:
接收所述目标教师终端根据所述分类结果返回的对目标提问数据的投屏指令;
根据所述投屏指令将所述目标提问数据发送至所述目标教师绑定的电子白板以进行展示。
本申请实施例中,可以通过通信接口接收所述目标教师终端根据所述分类结果返回的对目标提问数据的投屏指令,并可以通过通信接口根据所述投屏指令将所述目标提问数据发送至所述目标教师绑定的电子白板以进行展示。
在一个实施例中,在所述目标行为识别结果包括第二行为识别结果,且所述第二行为识别结果为用于指示所述目标学生处于睡觉状态的行为识别结果时,在根据所述目标行为识别结果获取所述目标学生的行为数据时,处理器1000被配置用于调用所述程序指令,执行以下步骤:
获取所述目标教师的教学视频中的预设数量帧视频画面,所述视频画面包括所述目标学生的人脸图像;
根据所述每帧视频画面包括的所述目标学生的人脸图像,确定所述目标学生的睡觉时长。
在一个实施例中,所述教学策略包括睡觉处理教学策略,在根据所述教学策略进行教学管理时,处理器1000被配置用于调用所述程序指令,执行以下步骤:
当检测到所述目标学生的睡觉时长大于或等于预设时长时,获取所述目标教师的语音数据;
根据所述目标教师的语音数据进行语音合成处理,得到所述目标教师对所述目标学生的提示音;
将所述提示音发送至所述目标学生终端以进行输出。
本申请实施例中,可以通过通信接口将所述提示音发送至所述目标学生终端以进行输出。
具体实现中,本申请实施例中所描述的处理器1000可执行图1实施例、图3实施例所描述的实现方式,也可执行本申请实施例所描述的实现方式,在此不再赘述。
在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以是两个或两个以上模块集成在一个模块中。上述集成的模块既可以采样硬件的形式实现,也可以采样软件功能模块的形式实现。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的计算机可读存储介质可为易失性的或非易失性的。例如,该计算机存储介质可以为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。所述的计算机可读存储介质可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序等;存储数据区可存储根据区块链节点的使用所创建的数据等。
其中,本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
以上所揭露的仅为本申请一种较佳实施例而已,当然不能以此来限定本申请之权利范围,本领域普通技术人员可以理解实现上述实施例的全部或部分流程,并依本申请权利要求所作的等同变化,仍属于本申请所涵盖的范围。

Claims (7)

1.一种基于行为识别的教学管理方法,其特征在于,包括:
在目标教师的教学过程中,获得所述目标教师教学的多个学生中目标学生的人脸图像;所述目标学生的人脸图像为目标学生终端按照预设时间间隔采集的;
根据所述目标学生的人脸图像对所述目标学生进行行为识别,得到行为识别结果,所述行为识别结果包括第一行为识别结果或第二行为识别结果,所述第一行为识别结果为用于指示所述目标学生是否有提问倾向的行为识别结果,所述第二行为识别结果为用于指示所述目标学生是否处于睡觉状态的行为识别结果;
在所述行为识别结果为目标行为识别结果时,根据所述目标行为识别结果获取所述目标学生的行为数据,并根据所述行为数据确定对应的教学策略;
根据所述教学策略进行教学管理;
其中,在所述目标行为识别结果包括第一行为识别结果,且所述第一行为识别结果为用于指示所述目标学生有提问倾向的行为识别结果时,所述根据所述目标行为识别结果获取所述目标学生的行为数据,包括:通过所述目标学生终端弹出问题入口,以便所述目标学生终端获取所述目标学生基于所述问题入口填写的提问数据;接收所述目标学生终端发送的所述提问数据以用于构建第一提问数据集合,所述第一提问数据集合包括至少一个提问数据;所述教学策略包括问题处理教学策略,所述根据所述教学策略进行教学管理,包括:根据第一提问数据集合得到第二提问数据集合,所述第二提问数据集合为所述第一提问数据集合或为对所述第一提问数据集合进行过滤处理后得到的提问数据集合;对所述第二提问数据集合中的提问数据进行分类,得到分类结果,所述分类结果包括多个类别中每个类别对应的提问数据;将所述分类结果发送至目标教师终端以进行展示;所述方法还包括:接收所述目标教师终端根据所述分类结果返回的对目标提问数据的投屏指令;根据所述投屏指令将所述目标提问数据发送至所述目标教师绑定的电子白板以进行展示;
在所述目标行为识别结果包括第二行为识别结果,且所述第二行为识别结果为用于指示所述目标学生处于睡觉状态的行为识别结果时,所述根据所述目标行为识别结果获取所述目标学生的行为数据,包括:获取目标教师的教学视频中的预设数量帧视频画面,所述视频画面包括目标学生的人脸图像;根据每帧视频画面包括的所述目标学生的人脸图像,确定所述目标学生的睡觉时长。
2.根据权利要求1所述的方法,其特征在于,在所述目标行为识别结果包括第一行为识别结果时,所述根据所述目标学生的人脸图像对所述目标学生进行行为识别,得到行为识别结果,包括:
对所述目标学生的人脸图像进行特征点提取,得到目标学生的唇部特征点,所述唇部特征点包括上唇特征点以及下唇特征点;
获取所述上唇特征点的位置信息以及下唇特征点的位置信息;
根据所述上唇特征点的位置信息以及所述下唇特征点的位置信息计算所述上唇特征点与所述下唇特征点之间的距离值;
根据所述上唇特征点与所述下唇特征点之间的距离值以及第一预设距离值,获得第一行为识别结果。
3.根据权利要求1所述的方法,其特征在于,在所述目标行为识别结果包括第二行为识别结果时,所述根据所述目标学生的人脸图像对所述目标学生进行行为识别,得到行为识别结果,包括:
对所述目标学生的人脸图像进行特征点提取,得到目标学生的眼睑特征点,所述眼睑特征点包括上眼睑特征点以及下眼睑特征点;
获取所述上眼睑特征点的位置信息以及下眼睑特征点的位置信息;
根据所述上眼睑特征点的位置信息以及所述下眼睑特征点的位置信息计算所述上眼睑特征点与所述下眼睑特征点之间的距离值;
根据所述上眼睑特征点与所述下眼睑特征点之间的距离值以及第二预设距离值,获得第二行为识别结果。
4.根据权利要求1所述的方法,其特征在于,所述教学策略包括睡觉处理教学策略,所述根据所述教学策略进行教学管理,包括:
当检测到所述目标学生的睡觉时长大于或等于预设时长时,获取所述目标教师的语音数据;
根据所述目标教师的语音数据进行语音合成处理,得到所述目标教师对所述目标学生的提示音;
将所述提示音发送至所述目标学生终端以进行输出。
5.一种基于行为识别的教学管理装置,其特征在于,所述装置用于执行如权利要求1-4任一项所述的方法,所述装置包括:
获取模块,用于在目标教师的教学过程中,获得所述目标教师教学的多个学生中目标学生的人脸图像;所述目标学生的人脸图像为目标学生终端按照预设时间间隔采集的;
识别模块,用于根据所述目标学生的人脸图像对所述目标学生进行行为识别,得到行为识别结果,所述行为识别结果包括第一行为识别结果或第二行为识别结果,所述第一行为识别结果为用于指示所述目标学生是否有提问倾向的行为识别结果,所述第二行为识别结果为用于指示所述目标学生是否处于睡觉状态的行为识别结果;
所述获取模块,还用于在所述行为识别结果为目标行为识别结果时,根据所述目标行为识别结果获取所述目标学生的行为数据;
管理模块,用于根据所述行为数据确定对应的教学策略,并根据所述教学策略进行教学管理。
6.一种服务器,其特征在于,包括处理器和存储器,所述处理器和所述存储器相互连接,其中,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行如权利要求1-4任一项所述的方法。
7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行以实现如权利要求1-4任一项所述的方法。
CN202011392577.3A 2020-12-02 2020-12-02 基于行为识别的教学管理方法、装置及服务器 Active CN112528790B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011392577.3A CN112528790B (zh) 2020-12-02 2020-12-02 基于行为识别的教学管理方法、装置及服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011392577.3A CN112528790B (zh) 2020-12-02 2020-12-02 基于行为识别的教学管理方法、装置及服务器

Publications (2)

Publication Number Publication Date
CN112528790A CN112528790A (zh) 2021-03-19
CN112528790B true CN112528790B (zh) 2024-06-11

Family

ID=74996328

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011392577.3A Active CN112528790B (zh) 2020-12-02 2020-12-02 基于行为识别的教学管理方法、装置及服务器

Country Status (1)

Country Link
CN (1) CN112528790B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113781853B (zh) * 2021-08-23 2023-04-25 安徽教育出版社 基于终端的师生远程互动教育平台

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010096739A (ko) * 2000-04-14 2001-11-08 김기대 온라인과 오프라인을 결합시킨 학습 방법
CN107895244A (zh) * 2017-12-26 2018-04-10 重庆大争科技有限公司 课堂教学质量评估方法
CN108108903A (zh) * 2017-12-26 2018-06-01 重庆大争科技有限公司 课堂教学质量评估***
KR20200050281A (ko) * 2018-11-01 2020-05-11 유엔젤주식회사 인공지능 기반 증강 현실과 가상 현실을 이용한 학습 지원 시스템 및 방법
CN111783687A (zh) * 2020-07-03 2020-10-16 佛山市海协科技有限公司 一种基于人工智能的教学直播方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010096739A (ko) * 2000-04-14 2001-11-08 김기대 온라인과 오프라인을 결합시킨 학습 방법
CN107895244A (zh) * 2017-12-26 2018-04-10 重庆大争科技有限公司 课堂教学质量评估方法
CN108108903A (zh) * 2017-12-26 2018-06-01 重庆大争科技有限公司 课堂教学质量评估***
KR20200050281A (ko) * 2018-11-01 2020-05-11 유엔젤주식회사 인공지능 기반 증강 현실과 가상 현실을 이용한 학습 지원 시스템 및 방법
CN111783687A (zh) * 2020-07-03 2020-10-16 佛山市海协科技有限公司 一种基于人工智能的教学直播方法

Also Published As

Publication number Publication date
CN112528790A (zh) 2021-03-19

Similar Documents

Publication Publication Date Title
CN109522815B (zh) 一种专注度评估方法、装置及电子设备
CN107292271B (zh) 学习监控方法、装置及电子设备
US10685236B2 (en) Multi-model techniques to generate video metadata
WO2020000876A1 (zh) 用于生成模型的方法和装置
EP4053733A1 (en) Content check model training method and apparatus, video content check method and apparatus, computer device, and storage medium
WO2023050650A1 (zh) 动画视频生成方法、装置、设备及存储介质
CN109754661A (zh) 一种在线学习方法、装置、设备及介质
CN115205764B (zh) 基于机器视觉的在线学习专注度监测方法、***及介质
CN112101231A (zh) 学习行为的监控方法、终端、小程序以及服务器
CN111402096A (zh) 一种在线授课质量管理方法、***、设备和介质
CN112613780A (zh) 一种学习报告生成的方法、装置、电子设备及存储介质
US20160180727A1 (en) Student assessment grading engine
CN112528790B (zh) 基于行为识别的教学管理方法、装置及服务器
WO2018098730A1 (zh) 一种基于教育平台的数据处理方法及服务器
CN113283383A (zh) 一种直播行为识别方法、装置、设备和可读介质
CN111008914A (zh) 对象专注度分析方法、装置、电子终端及存储介质
CN113257060A (zh) 一种答疑解决方法、装置、设备和存储介质
CN110363245B (zh) 在线课堂的精彩图片筛选方法、装置及***
Rabiha et al. Image processing model based E-Learning for students authentication
Kurni et al. AI-Assisted Remote Proctored Examinations
CN110895691A (zh) 图像处理方法、装置及电子设备
CN114493952A (zh) 一种基于大数据的教育软件数据处理***及方法
CN110415688B (zh) 一种信息交互方法及机器人
CN110781322B (zh) 一种多媒体课件的生成方法、装置、存储介质及终端设备
CN111327943B (zh) 信息管理方法及装置、***、计算机设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant