CN109614934B - 在线教学质量评估参数生成方法及装置 - Google Patents

在线教学质量评估参数生成方法及装置 Download PDF

Info

Publication number
CN109614934B
CN109614934B CN201811516802.2A CN201811516802A CN109614934B CN 109614934 B CN109614934 B CN 109614934B CN 201811516802 A CN201811516802 A CN 201811516802A CN 109614934 B CN109614934 B CN 109614934B
Authority
CN
China
Prior art keywords
face
information
yaw
audio
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811516802.2A
Other languages
English (en)
Other versions
CN109614934A (zh
Inventor
田泽康
谢建
邓卉
敖华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ysten Technology Co ltd
Original Assignee
Ysten Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ysten Technology Co ltd filed Critical Ysten Technology Co ltd
Priority to CN201811516802.2A priority Critical patent/CN109614934B/zh
Publication of CN109614934A publication Critical patent/CN109614934A/zh
Application granted granted Critical
Publication of CN109614934B publication Critical patent/CN109614934B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/164—Detection; Localisation; Normalisation using holistic features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Educational Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Primary Health Care (AREA)
  • Signal Processing (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明为了解决提升在线教学质量评估的效率，提供了一种在线教学质量评估参数生成方法，包括如下步骤：获取在线教学过程中的音视频流，所述音视频流包括被教学用户的图像信息和音频采样片段信息；对所述图像信息、音频采样片段信息进行分析获取所述质量评估参数。对应还提供相应的装置、设备和介质。本发明中的方法和装置能够利用图像分析技术和音频分析技术获取在线教学过程中用户的质量评估参数，形成曲线，提升了评估效率，为后续的评价提供参考。

Description

在线教学质量评估参数生成方法及装置
技术领域
本发明属于图像处理技术领域，具体而言，涉及一种在线教学质量评估参数生成方法、生成装置、计算机可读介质及电子设备。
背景技术
多媒体和网络技术的发展，扩展了教学课堂的范围。基于在线视频的一对一网络教学是一种新兴的教学方式，使教师和学生之间摆脱了地域限制进行远程交流和知识教授。在线教育平台为教学者和学生提供了极大的便利，为更好的为学生服务，在线教育平台需要对教学的过程和质量进行评估。若采用人工的方式对平台上的课堂进行评估，将耗费大量的人力成本。
发明内容
本发明为了解决上述现有技术的缺点，针对绘本在线教学中产生的音频、视频流，进行分析获取相应的评估参数的方法，使得评估效率得到有效提升；具体地，第一方面，本发明实施例提供了一种在线教学质量评估参数生成方法，包括如下步骤：
S110、获取在线教学过程中的音视频流，所述音视频流包括被教学用户的图像信息和音频采样片段信息；
S120、对所述图像信息、音频采样片段信息进行分析获取所述质量评估参数。
进一步地，所述质量评估参数包括人脸是否在摄像头前信息、人脸姿态专注度信息、人脸面部表情信息、是否说话信息和人体姿态信息中的一种或多种。
进一步地，
所述步骤S120包括：
使用人脸检测技术对当前帧的图像进行人脸检测，输出检测到的人脸矩形
faceRect:<x,y,w,h>，其中，x，y标识人脸的左上角坐标，w，h标识人脸的宽高，若检测到多个人脸，则取最大的一个人脸，且该人脸的中心与图像中心的欧氏距离不超过阈值时，设定所述人脸是否在摄像头前信息为True，若检测不到人脸，设定所述人脸是否在摄像头前信息为False。
进一步地，
所述S120还包括：
使用面部关键点检测技术对检测到的人脸进行面部关键点检测，得到人脸上多个关键点的位置外形shape，计算所述位置外形shape中上嘴唇下沿中点和下嘴唇上沿中点的距离D_vlip，计算嘴角两点之间的距离D_hlip，计算嘴巴的张开系数lip_ratio＝D_vlip/D_hlip，若所述张开系数大于阈值，则判定所述人脸的嘴巴张开，设定标记flag_lip＝True,否则flag_lip＝False；
使用语音活动检测技术，对所述音频采样片段信息进行检测并进行判断，若当前语音片段位于语音活动段内，则设置标记flag_vad＝True，否则设置flag_vad＝False；
判定若flag_vad和flag_lip二者都为True，则判断当前帧人脸在说话，设定所述是否说话信息为True，否则认为当前帧人脸不在说话，设定所述是否说话信息为False。
进一步地，
所述S120还包括：
使用人脸姿态估计技术，得到预先训练人脸姿态估计模型；将上述位置外形shape输入到预先训练人脸姿态估计模型，得到被测人头部的俯仰角pitch、偏航角yaw、旋转角roll，根据所述俯俯仰角pitch、偏航角yaw、旋转角roll获取人脸姿态专注度信息。
进一步地，所述根据所述俯俯仰角pitch、偏航角yaw、旋转角roll获取人脸姿态专注度信息包括：根据如下公式计算人脸姿态专注度信息focus：
Figure BDA0001902180110000021
，其中，pitch,yaw,roll都为弧度值，
范围[-π/2，π/2]，w1,w2,w3为各角度的敏感系数，wi＞0，
Figure BDA0001902180110000022
进一步地，所述人脸面部表情信息包括表情类别和置信度；所述S120还包括：
使用面部表情识别技术对检测到的人脸进行表情识别，得到当前人脸的置信度最高的表情类别以及对应的置信度。
进一步地，所述人体姿态信息包括与人脸对应的骨架pose；
所述步骤S120还包括：
使用人体姿态估计技术对当前帧图像进行人体姿态估计，得到当前帧所有人体的骨架列表pose_list:<pose1,...,poseN>，其中每个人体骨架posei，是人体预定义的多个关节点在图像中的像素坐标位置的集合；
求出pose_list中各骨架的包围矩形pose_bounds，计算每个包围矩形pose_bounds与人脸矩形faceRect重叠的位置的面积S_overlap与人脸矩形faceRect的面积S_face之比overlap_ratio＝S_overlap/S_face，若该overlap_ratio比值小于预定义的阈值T_overlap，则认为人脸与该骨架不匹配，并从pose_list中将其删除，否则保留；
根据posei中预定义的关键点，确定头部中心点的位置，若预定的关节点中头部仅一个点，可直接取作中心点head_center，若有多个关节点，可以取多个点的质心作中心点head_center，计算该head_center与人脸矩形faceRect的中心点的欧式距离，取距离最小的人体骨架作为匹配到人脸的对应骨架pose。
本发明实施例第二方面，提供了一种在线教学质量评估参数生成装置，包括如下模块：
接收模块，用于获取在线教学过程中的音视频流，所述音视频流包括被教学用户的图像信息和音频采样片段信息；
生成模块，用于对所述图像信息、音频采样片段信息进行分析获取所述质量评估参数。
本发明第三方面，提供了一种电子设备，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一所述的方法。
本发明第四方面，提供了一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现上述任一所述的方法。
本发明实施例通过获取用户在在线教学过程中的视频、音频流信息，对视频、音频流信息进行分析，获取相应的评估参数，增加了评估的效率；进一步地，通过图像处理技术能够获取相应的人脸动作信息，姿态信息，专注度信息等。
通过对在线教育课堂的音视频进行智能分析，输出学生上课时每个采样时刻的一种或多种信息，其包括且不限于：
(1)人脸是否在摄像头前，和(或)
(2)人脸姿态的专注度，和(或)
(3)面部表情，和(或)
(4)是否在说话，和(或)
(5)人体姿态
上述信息可以直接绘制成曲线供查看，也可以供进一步统计分析使用以得到教学质量的综合评估情况。例如统计是否说话曲线，可以得到学生的说话次数和时长；统计专注度曲线，可以得到学生的平均听课专注程度等。
附图说明
通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：
图1为本发明一些实例中的在线教学质量评估参数生成方法、生成装置运行的***架构示意图；
图2为本发明一些实例中的在线教学质量评估参数生成方法流程图；
图3为本发明另一些实施例中的在线教学质量评估参数生成方法流程示意图；
图4为本发明一些实施例中的在线教学质量评估参数生成方法中人脸检测效果示意图；
图5为本发明一些实施例中的在线教学质量评估参数生成方法中面部关键点检测效果示意图；
图6为本发明一些实施例中在线教学质量评估参数生成方法中的人脸姿态估计效果示意图；
图7为本发明另一些实施例中的在线教学质量评估参数生成方法中的人体姿态估计效果示意图；
图8为本发明一些实施例中的在线教学质量评估参数生成的***组成示意图；
图9为本发明一些实施例中在线教学质量评估参数生成方法或者提取装置运行的计算机***结构示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
图1示出了可以应用本申请实施例的在线教学质量评估参数生成方法或在线教学质量评估参数生成装置的实施例的示例性***架构100。
如图1所示，***架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送数据(例如视频)等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如视频播放软件、视频处理类应用、网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有显示屏并且支持数据传输的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的视频提供支持的后台服务器。后台服务器可以对接收到的图像处理请求等数据进行分析等处理，并将处理结果(例如对视频进行分割后得到的视频片段或其他数据)反馈给与其通信连接的电子设备(例如终端设备)。
需要说明的是，本申请实施例所提供的在线教学质量评估参数生成方法可以由服务器105执行，相应地，在线教学质量评估参数生成装置可以设置于服务器105中。此外，本申请实施例所提供的在线教学质量评估参数生成方法也可以由终端设备101、102、103执行，相应地，在线教学质量评估参数生成装置也可以设置于终端设备101、102、103中。
需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务的软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。当在线教学质量评估参数生成方法运行于其上的电子设备不需要与其他电子设备进行数据传输时，该***架构可以仅包括用于评估参数生成方法运行于其上的电子设备(例如终端设备101、102、103或服务器105)。
图2示出了依照本发明实施例的一种在线教学质量评估参数生成方法，包括如下步骤：
S110、获取在线教学过程中的音视频流，所述音视频流包括被教学用户的图像信息和音频采样片段信息；
S120、对所述图像信息、音频采样片段信息进行分析获取所述质量评估参数。
通过对图像信息和音频采样片段信息进行分析，获取相应的质量评估参数，提升了评估的效率。所述质量评估参数包括人脸是否在摄像头前信息、人脸姿态专注度信息、人脸面部表情信息、是否说话信息和人体姿态信息中的一种或多种。
以下介绍一下针对上述的评估参数，是如何进行分析的。
具体地，所述步骤S120包括：
使用人脸检测技术对当前帧的图像进行人脸检测，输出检测到的人脸矩形faceRect:<x,y,w,h>，其中，x，y标识人脸的左上角坐标，w，h标识人脸的宽高，若检测到多个人脸，则取最大的一个人脸，且该人脸的中心与图像中心的欧氏距离不超过阈值时，设定所述人脸是否在摄像头前信息为True，若检测不到人脸，设定所述人脸是否在摄像头前信息为False。
进一步地，所述S120还包括：
使用面部关键点检测技术对检测到的人脸进行面部关键点检测，得到人脸上多个关键点的位置外形shape，计算所述位置外形shape中上嘴唇下沿中点和下嘴唇上沿中点的距离D_vlip，计算嘴角两点之间的距离D_hlip，计算嘴巴的张开系数lip_ratio＝D_vlip/D_hlip，若所述张开系数大于阈值，则判定所述人脸的嘴巴张开，设定标记flag_lip＝True,否则flag_lip＝False；
使用语音活动检测技术，对所述音频采样片段信息进行检测并进行判断，若当前语音片段位于语音活动段内，则设置标记flag_vad＝True，否则设置flag_vad＝False；
判定若flag_vad和flag_lip二者都为True，则判断当前帧人脸在说话，设定所述是否说话信息为True，否则认为当前帧人脸不在说话，设定所述是否说话信息为False。
进一步地，所述S120还包括：
使用人脸姿态估计技术，得到预先训练人脸姿态估计模型；将上述位置外形shape输入到预先训练人脸姿态估计模型，得到被测人头部的俯仰角pitch、偏航角yaw、旋转角roll，根据所述俯俯仰角pitch、偏航角yaw、旋转角roll获取人脸姿态专注度信息。
进一步地，所述根据所述俯俯仰角pitch、偏航角yaw、旋转角roll获取人脸姿态专注度信息包括：根据如下公式计算人脸姿态专注度信息focus：
Figure BDA0001902180110000061
其中，pitch,yaw,roll都为弧度值，
范围[-π/2，π/2]，w1,w2,w3为各角度的敏感系数，wi＞0，
Figure BDA0001902180110000062
进一步地，所述人脸面部表情信息包括表情类别和置信度；所述S120还包括：
使用面部表情识别技术对检测到的人脸进行表情识别，得到当前人脸的置信度最高的表情类别以及对应的置信度。
进一步地，所述人体姿态信息包括与人脸对应的骨架pose；
所述步骤S120还包括：
使用人体姿态估计技术对当前帧图像进行人体姿态估计，得到当前帧所有人体的骨架列表pose_list:<pose1,...,poseN>，其中每个人体骨架posei，是人体预定义的多个关节点在图像中的像素坐标位置的集合；
求出pose_list中各骨架的包围矩形pose_bounds，计算每个包围矩形pose_bounds与人脸矩形faceRect重叠的位置的面积S_overlap与人脸矩形faceRect的面积S_face之比overlap_ratio＝S_overlap/S_face，若该overlap_ratio比值小于预定义的阈值T_overlap，则认为人脸与该骨架不匹配，并从pose_list中将其删除，否则保留；
根据posei中预定义的关键点，确定头部中心点的位置，若预定的关节点中头部仅一个点，可直接取作中心点head_center，若有多个关节点，可以取多个点的质心作中心点head_center，计算该head_center与人脸矩形faceRect的中心点的欧式距离，取距离最小的人体骨架作为匹配到人脸的对应骨架pose。
本发明对音视频进行智能评估，判断镜头前是否存在人脸；结合图像和音频判断镜头前人脸是否说话，根据人脸的姿态角计算专注度；将提取的人体姿态与人脸检测进行匹配。可以直接绘制成曲线供查看，也可以供进一步统计分析使用以得到教学质量的综合评估情况。例如统计是否说话曲线，可以得到学生的说话次数和时长；统计专注度曲线，可以得到学生的平均听课专注程度等。
本发明另一类似实施例如图3所示，提供了一种智能在线教学质量评估参数生成方法，所述方法的主要步骤为:
一、读取在线教学过程的音视频流，其中当前帧的图像记为Img，音频采样片段为Audio。
二、如图4所示，使用人脸检测技术对当前帧的图像Img进行人脸检测，输出检测到的人脸矩形位置faceRect:<x,y,w,h>(包括四个数值，标识人脸的左上角坐标<x,y>，人脸的宽高<w,h>)。若检测到多个人脸，则取最大的一个人脸，且该人脸的中心与图像的中心的欧氏距离dist不超过一定的阈值T_face，阈值T_face可以取图像宽高的一定比例，可根据实际需要选取。若检测不到人脸，则不进行后续处理，输出当前帧无人脸。
三、如图5所示，使用面部关键点检测技术对检测到的人脸进行面部关键点检测，得到人脸上多个关键点的位置shape，该shape为一系列预定义的人脸关键点在人脸图像Img中的坐标位置集合。计算shape中上嘴唇下沿中点和下嘴唇上沿中点的距离D_vlip，计算嘴角两点之间的距离D_hlip，计算嘴巴的张开系数lip_ratio＝D_vlip/D_hlip，若该系数大于一定的阈值T_lip，则认为该人脸嘴巴张开，设置标记flag_lip＝True,否则flag_lip＝False。在一个实施例中阈值T_lip取0.1。
四、使用语音活动检测(Voice Activity Detection)技术，对音频Audio进行检测并进行判断，若当前语音片段Audio位于语音活动段内，则设置标记flag_vad＝True，否则设置flag_vad＝False。综合步骤三中的所述当前人脸说话标记值flag_lip，若flag_vad和flag_lip二者都为True，则判断当前帧人脸在说话，输出标记flag_voice＝True，否则认为当前帧人脸不在说话，flag_voice＝False。
五、如图6所示，使用人脸姿态估计技术，得到与训练的人脸姿态估计模型。将上述shape输入到预训练的人脸姿态估计模型，得到被测人头部的俯仰角(pitch)、偏航角(yaw)、旋转角(roll)。定义专注度focus为所述俯仰角、偏航角和旋转角三者的函数，
Figure BDA0001902180110000081
/>
其中，pitch,yaw,roll都为弧度值，范围[-π/2，π/2]，w1,w2,w3为各角度的敏感系数，满足各系数大于零且三者之和为1，即
Figure BDA0001902180110000082
Figure BDA0001902180110000083
由该函数定义可知focus的数值范围为[1/e,1]。在一个实施例中，取w1,w2,w3分别为0.3,0.5,0.2，表示专注度对yaw值最为敏感，pitch次之，roll最弱。
六、使用面部表情识别技术，对检测到的人脸进行表情识别，得到当前人脸的置信度最高的表情类别以及对应的置信度。在一个实施例中使用一种可以识别高兴、悲伤、恐惧、惊讶、愤怒、厌恶和正常等7种表情的神经网络模型，检测后输出当前人脸表情属于每种表情的置信度值，其总和1，取其中置信度最大的表情exp_type作为输出，并输出对应置信度值exp_prob。
七、如图7所示，使用人体姿态估计技术对当前帧图像Img进行人体姿态估计，得到当前帧所有人体的骨架列表pose_list:<pose1,...,poseN>，其中每个人体骨架posei，是人体预定义的多个关节点在图像Img中的像素坐标位置的集合。在步骤二中已经选取了当前帧中关注的人脸位置faceRect，因此需要在pose_list中找到与该人脸位置匹配的人体骨架。一种所述匹配方法为，
首先，求出pose_list中各骨架的包围矩形pose_bounds，计算每个包围矩形与faceRect矩形重叠的位置的面积S_overlap与faceRect的面积S_face之比overlap_ratio＝S_overlap/S_face，若该overlap_ratio比值小于预定义的阈值T_overlap，则认为人脸与该骨架不匹配，并从pose_list中将其删除。在一个实施例中取T_overlap＝0.15。
其次，根据posei中预定义的关键点，确定头部中心点的位置，若预定的关节点中头部仅一个点，可直接取作中心点head_center，若有多个关节点，可以取多个点的质心作中心点head_center，计算该head_center与人脸矩形faceRect的中心点的欧式距离，取距离最小的人体骨架作为匹配到人脸的对应骨架pose。
本发明实施例已经在一个在线英语课堂的平台上进行验证和使用，其输出为反映教学过程的多个维度的曲线，根据实际需要对输出的数据进行统计和分析，可以得到反映课堂质量的量化指标，例如统计是否说话曲线，可以得到学生的说话次数和时长；统计专注度曲线，可以得到学生的平均听课专注程度；统计前后帧的姿态的位移，可以反映学生在课堂上互动的程度。
基于上述的在线教学质量评估参数生成方法，本发明另外一些实施例如图8所示，提供了一种在线教学质量评估参数生成装置100，包括：
接收模块110，用于获取在线教学过程中的音视频流，所述音视频流包括被教学用户的图像信息和音频采样片段信息；
生成模块120，用于对所述图像信息、音频采样片段信息进行分析获取所述质量评估参数。
所述质量评估参数包括人脸是否在摄像头前信息、人脸姿态专注度信息、人脸面部表情信息、是否说话信息和人体姿态信息中的一种或多种。
3、根据权利要求2所述的在线教学质量评估参数生成方法，其特征在于，
所述生成模块120还包括人脸检测模块，所述人脸检测模块用于：
使用人脸检测技术对当前帧的图像进行人脸检测，输出检测到的人脸矩形faceRect:<x,y,w,h>，其中，x，y标识人脸的左上角坐标，w，h标识人脸的宽高，若检测到多个人脸，则取最大的一个人脸，且该人脸的中心与图像中心的欧氏距离不超过阈值时，设定所述人脸是否在摄像头前信息为True，若检测不到人脸，设定所述人脸是否在摄像头前信息为False。
所述生成模块120还包括说话检测模块，所述说话检测模块用于：
使用面部关键点检测技术对检测到的人脸进行面部关键点检测，得到人脸上多个关键点的位置外形shape，计算所述位置外形shape中上嘴唇下沿中点和下嘴唇上沿中点的距离D_vlip，计算嘴角两点之间的距离D_hlip，计算嘴巴的张开系数lip_ratio＝D_vlip/D_hlip，若所述张开系数大于阈值，则判定所述人脸的嘴巴张开，设定标记flag_lip＝True,否则flag_lip＝False；
使用语音活动检测技术，对所述音频采样片段信息进行检测并进行判断，若当前语音片段位于语音活动段内，则设置标记flag_vad＝True，否则设置flag_vad＝False；
判定若flag_vad和flag_lip二者都为True，则判断当前帧人脸在说话，设定所述是否说话信息为True，否则认为当前帧人脸不在说话，设定所述是否说话信息为False。
所述生成模块120还包括专注度信息获取模块，所述专注度信息获取模块用于：
使用人脸姿态估计技术，得到预先训练人脸姿态估计模型；将上述位置外形shape输入到预先训练人脸姿态估计模型，得到被测人头部的俯仰角pitch、偏航角yaw、旋转角roll，根据所述俯俯仰角pitch、偏航角yaw、旋转角roll获取人脸姿态专注度信息。
所述专注度信息获取模块具体根据如下公式计算人脸姿态专注度信息focus：
Figure BDA0001902180110000101
其中，pitch,yaw,roll都为弧度值，
范围[-π/2，π/2]，w1,w2,w3为各角度的敏感系数，wi＞0，
Figure BDA0001902180110000102
所述人脸面部表情信息包括表情类别和置信度；所述生成模块120还包括，面部表情信息获取模块，所述面部表情信息获取模块用于：
使用面部表情识别技术对检测到的人脸进行表情识别，得到当前人脸的置信度最高的表情类别以及对应的置信度。
所述人体姿态信息包括与人脸对应的骨架pose；所述生成模块120还包括人体姿态获取模块，所述人体姿态获取模块用于：
使用人体姿态估计技术对当前帧图像进行人体姿态估计，得到当前帧所有人体的骨架列表pose_list:<pose1,...,poseN>，其中每个人体骨架posei，是人体预定义的多个关节点在图像中的像素坐标位置的集合；
求出pose_list中各骨架的包围矩形pose_bounds，计算每个包围矩形pose_bounds与人脸矩形faceRect重叠的位置的面积S_overlap与人脸矩形faceRect的面积S_face之比overlap_ratio＝S_overlap/S_face，若该overlap_ratio比值小于预定义的阈值T_overlap，则认为人脸与该骨架不匹配，并从pose_list中将其删除，否则保留；
根据posei中预定义的关键点，确定头部中心点的位置，若预定的关节点中头部仅一个点，可直接取作中心点head_center，若有多个关节点，可以取多个点的质心作中心点head_center，计算该head_center与人脸矩形faceRect的中心点的欧式距离，取距离最小的人体骨架作为匹配到人脸的对应骨架pose。
上述各个模块的具体执行步骤在在线教学质量评估参数生成方法中对应的步骤中已进行详细叙述，在此不做过多赘述。
下面参考图9，其示出了适于用来实现本申请实施例的控制设备的计算机***800的结构示意图。图9示出的控制设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图9所示，计算机***800包括中央处理单元(CPU)801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM 803中，还存储有***800操作所需的各种程序和数据。CPU 801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(CPU)801执行时，执行本申请的方法中限定的上述功能。
需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向目标的程序设计语言—诸如Python、Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括获取单元、分割单元、确定单元和选择单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，获取单元还可以被描述为“获取待处理绘本图像的单元”。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取在线教学过程中的音视频流，所述音视频流包括被教学用户的图像信息和音频采样片段信息；对所述图像信息、音频采样片段信息进行分析获取所述质量评估参数。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (7)

1.一种在线教学质量评估参数生成方法，其特征在于，包括如下步骤：
S110、获取在线教学过程中的音视频流，所述音视频流包括被教学用户的图像信息和音频采样片段信息；
S120、对所述图像信息、音频采样片段信息进行分析获取所述质量评估参数；所述质量评估参数包括人脸是否在摄像头前信息、人脸姿态专注度信息、人脸面部表情信息、是否说话信息和人体姿态信息中的一种或多种；
步骤S120包括：
使用人脸检测技术对当前帧的图像进行人脸检测，输出检测到的人脸矩形faceRect:<x,y,w,h>，其中，x，y标识人脸的左上角坐标，w，h标识人脸的宽高，若检测到多个人脸，则取最大的一个人脸，且该人脸的中心与图像中心的欧氏距离不超过阈值时，设定所述人脸是否在摄像头前信息为True，若检测不到人脸，设定所述人脸是否在摄像头前信息为False；
S120还包括：
使用人脸姿态估计技术，得到预先训练人脸姿态估计模型；将上述位置外形shape输入到预先训练人脸姿态估计模型，得到被测人头部的俯仰角pitch、偏航角yaw、旋转角roll，根据所述俯仰角pitch、偏航角yaw、旋转角roll获取人脸姿态专注度信息；
根据所述俯仰角pitch、偏航角yaw、旋转角roll获取人脸姿态专注度信息包括：根据如下公式计算人脸姿态专注度信息focus：
Figure FDA0004179335510000011
其中，pitch,yaw,roll都为弧度值，范围[-π/2，π/2]，w1,w2,w3为各角度的敏感系数，/>
Figure FDA0004179335510000012
2.根据权利要求1所述的在线教学质量评估参数生成方法，其特征在于，
所述S120还包括：
使用面部关键点检测技术对检测到的人脸进行面部关键点检测，得到人脸上多个关键点的位置外形shape，计算所述位置外形shape中上嘴唇下沿中点和下嘴唇上沿中点的距离D_vlip，计算嘴角两点之间的距离D_hlip，计算嘴巴的张开系数lip_ratio＝D_vlip/D_hlip，若所述张开系数大于阈值，则判定所述人脸的嘴巴张开，设定标记flag_lip＝True,否则flag_lip＝False；
使用语音活动检测技术，对所述音频采样片段信息进行检测并进行判断，若当前语音片段位于语音活动段内，则设置标记flag_vad＝True，否则设置flag_vad＝False；
判定若flag_vad和flag_lip二者都为True，则判断当前帧人脸在说话，设定所述是否说话信息为True，否则认为当前帧人脸不在说话，设定所述是否说话信息为False。
3.根据权利要求1所述的在线教学质量评估参数生成方法，其特征在于，所述人脸面部表情信息包括表情类别和置信度；所述S120还包括：
使用面部表情识别技术对检测到的人脸进行表情识别，得到当前人脸的置信度最高的表情类别以及对应的置信度。
4.根据权利要求1所述的在线教学质量评估参数生成方法，其特征在于，所述人体姿态信息包括与人脸对应的骨架pose；
所述步骤S120还包括：
使用人体姿态估计技术对当前帧图像进行人体姿态估计，得到当前帧所有人体的骨架列表pose_list:<pose1,...,poseN>，其中每个人体骨架posei，是人体预定义的多个关节点在图像中的像素坐标位置的集合；
求出pose_list中各骨架的包围矩形pose_bounds，计算每个包围矩形pose_bounds与人脸矩形faceRect重叠的位置的面积S_overlap与人脸矩形faceRect的面积S_face之比overlap_ratio＝S_overlap/S_face，若该overlap_ratio比值小于预定义的阈值T_overlap，则认为人脸与该骨架不匹配，并从pose_list中将其删除，否则保留；
根据posei中预定义的关键点，确定头部中心点的位置，若预定的关节点中头部仅一个点，可直接取作中心点head_center，若有多个关节点，可以取多个点的质心作中心点head_center，计算该head_center与人脸矩形faceRect的中心点的欧式距离，取距离最小的人体骨架作为匹配到人脸的对应骨架pose。
5.一种在线教学质量评估参数生成装置，其特征在于，包括如下模块：
接收模块，用于获取在线教学过程中的音视频流，所述音视频流包括被教学用户的图像信息和音频采样片段信息；
生成模块，用于对所述图像信息、音频采样片段信息进行分析获取所述质量评估参数；所述质量评估参数包括人脸是否在摄像头前信息、人脸姿态专注度信息、人脸面部表情信息、是否说话信息和人体姿态信息中的一种或多种；
其中，人脸是否在摄像头前信息的获取：使用人脸检测技术对当前帧的图像进行人脸检测，输出检测到的人脸矩形faceRect:<x,y,w,h>，其中，x，y标识人脸的左上角坐标，w，h标识人脸的宽高，若检测到多个人脸，则取最大的一个人脸，且该人脸的中心与图像中心的欧氏距离不超过阈值时，设定所述人脸是否在摄像头前信息为True，若检测不到人脸，设定所述人脸是否在摄像头前信息为False；
人脸姿态专注度信息的获取：使用人脸姿态估计技术，得到预先训练人脸姿态估计模型；将上述位置外形shape输入到预先训练人脸姿态估计模型，得到被测人头部的俯仰角pitch、偏航角yaw、旋转角roll，根据所述俯仰角pitch、偏航角yaw、旋转角roll获取人脸姿态专注度信息；
根据所述俯仰角pitch、偏航角yaw、旋转角roll获取人脸姿态专注度信息包括：根据如下公式计算人脸姿态专注度信息focus：
Figure FDA0004179335510000031
其中，pitch,yaw,roll都为弧度值，范围[-π/2，π/2]，w1,w2,w3为各角度的敏感系数，/>
Figure FDA0004179335510000032
6.一种电子设备，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-4中任一所述的方法。
7.一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如权利要求1-4中任一所述的方法。
CN201811516802.2A 2018-12-12 2018-12-12 在线教学质量评估参数生成方法及装置 Active CN109614934B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811516802.2A CN109614934B (zh) 2018-12-12 2018-12-12 在线教学质量评估参数生成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811516802.2A CN109614934B (zh) 2018-12-12 2018-12-12 在线教学质量评估参数生成方法及装置

Publications (2)

Publication Number Publication Date
CN109614934A CN109614934A (zh) 2019-04-12
CN109614934B true CN109614934B (zh) 2023-06-06

Family

ID=66008089

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811516802.2A Active CN109614934B (zh) 2018-12-12 2018-12-12 在线教学质量评估参数生成方法及装置

Country Status (1)

Country Link
CN (1) CN109614934B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110197447B (zh) * 2019-04-17 2022-09-30 哈尔滨沥海佳源科技发展有限公司 基于通讯指数在线教育方法、装置、电子设备、存储介质
CN110334620A (zh) * 2019-06-24 2019-10-15 北京大米科技有限公司 教学质量的评估方法、装置、存储介质及电子设备
CN112559798B (zh) * 2019-09-26 2022-05-17 北京新唐思创教育科技有限公司 音频内容质量的检测方法及装置
CN110796005A (zh) * 2019-09-27 2020-02-14 北京大米科技有限公司 在线教学监控的方法、装置、电子设备及介质
CN110675675A (zh) * 2019-10-16 2020-01-10 北京爱论答科技有限公司 一种基于在线互动培训课堂培训的方法及装置
CN110675669A (zh) * 2019-11-01 2020-01-10 广州云蝶科技有限公司 录课方法
CN111754368A (zh) * 2020-01-17 2020-10-09 天津师范大学 一种高校教学评估方法及基于边缘智能的高校教学评估***
CN111402096A (zh) * 2020-04-03 2020-07-10 广州云从鼎望科技有限公司 一种在线授课质量管理方法、***、设备和介质
CN116018789A (zh) * 2020-09-14 2023-04-25 华为技术有限公司 在线学习中用于对学生注意力进行基于上下文的评估的方法、***和介质
CN111968431A (zh) * 2020-09-15 2020-11-20 石家庄小雨淞教育科技有限公司 一种远程教育教学***
CN112599135A (zh) * 2020-12-15 2021-04-02 华中师范大学 一种教学模式分析方法及***
CN113822927B (zh) * 2021-09-22 2024-01-23 易联众智鼎(厦门)科技有限公司 一种适用弱质量图像的人脸检测方法、装置、介质及设备
DE202022100887U1 (de) 2022-02-16 2022-02-24 Marggise Anusha Angel System zur Verbesserung des Online-Unterrichts und der Unterrichtsevaluation mit Hilfe der Informations- und Kommunikationstechnologie

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106228293A (zh) * 2016-07-18 2016-12-14 重庆中科云丛科技有限公司 教学评估方法及***
CN108399376A (zh) * 2018-02-07 2018-08-14 华中师范大学 学生课堂学习兴趣智能分析方法及***
CN108898115A (zh) * 2018-07-03 2018-11-27 北京大米科技有限公司 数据处理方法、存储介质和电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9666088B2 (en) * 2013-08-07 2017-05-30 Xerox Corporation Video-based teacher assistance

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106228293A (zh) * 2016-07-18 2016-12-14 重庆中科云丛科技有限公司 教学评估方法及***
CN108399376A (zh) * 2018-02-07 2018-08-14 华中师范大学 学生课堂学习兴趣智能分析方法及***
CN108898115A (zh) * 2018-07-03 2018-11-27 北京大米科技有限公司 数据处理方法、存储介质和电子设备

Also Published As

Publication number Publication date
CN109614934A (zh) 2019-04-12

Similar Documents

Publication Publication Date Title
CN109614934B (zh) 在线教学质量评估参数生成方法及装置
US11062090B2 (en) Method and apparatus for mining general text content, server, and storage medium
CN108038880B (zh) 用于处理图像的方法和装置
CN111738041A (zh) 一种视频分割方法、装置、设备及介质
US11436863B2 (en) Method and apparatus for outputting data
CN109583389B (zh) 绘本识别方法及装置
CN109214501B (zh) 用于识别信息的方法和装置
KR102002024B1 (ko) 객체 라벨링 처리 방법 및 객체 관리 서버
CN111475627B (zh) 解答推导题目的检查方法、装置、电子设备及存储介质
US11915447B2 (en) Audio acquisition device positioning method and apparatus, and speaker recognition method and system
CN112396032B (zh) 书写检测方法、装置、存储介质及电子设备
WO2023078070A1 (zh) 一种字符识别方法、装置、设备、介质及产品
CN108665769B (zh) 基于卷积神经网络的网络教学方法以及装置
CN111967739A (zh) 一种基于专注度的在线授课方法和***
CN112925470B (zh) 交互式电子白板的触摸控制方法、***和可读介质
CN110909889A (zh) 一种基于特征分布的训练集生成、模型训练方法及装置
CN112087590A (zh) 图像处理方法、装置、***及计算机存储介质
CN110378261B (zh) 一种学生识别方法及装置
CN112309389A (zh) 信息交互方法和装置
CN116629236A (zh) 一种待办事项提取方法、装置、设备及存储介质
WO2022194130A1 (zh) 字符位置修正方法、装置、电子设备和存储介质
CN114565449A (zh) 智能交互方法和装置、***、电子设备、计算机可读介质
CN111787264B (zh) 一种远程教学的提问方法、装置、提问终端和可读介质
CN111291758B (zh) 用于识别***文字的方法和装置
CN112446360A (zh) 目标行为检测方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant