CN113128421A - 学习状态检测方法、***、学习终端、服务器及电子设备 - Google Patents

Abstract

本公开提供了一种学习状态检测方法、***、学习终端、服务器及电子设备，其中，该方法包括：获取第一用户在学习预设课程时产生的学习视频；对学习视频中的图像帧进行图像识别处理，并根据图像识别处理结果确定第一用户的学习状态；若确定学习状态为困惑状态，则确定困惑数据，并向服务器发送困惑数据，以使服务器对困惑数据进行统计分析，得到统计结果，并将统计结果推送至教师终端。本公开实施例通过学习视频来确定第一用户的困惑数据的方式，能够缓解现有技术的人工反馈方式无法及时反馈学生的困惑状态的技术问题。

Description

学习状态检测方法、***、学习终端、服务器及电子设备

技术领域

本公开涉及线上教育技术领域，具体而言，涉及一种学习状态检测方法、***、学习终端、服务器及电子设备。

背景技术

目前，线上教育如火如荼的发展，促进了教育行业愈加广泛和深刻的变革，同时为通过互联网和信息技术为跨时空整合教育资源和提高教学质量带来了可能。然而，教学是一个教师和学生双方互动的过程，在现有的线上教学技术方案中，对于知识难点部分，需要学生主动在线反馈，或者教师主动询问学生是否能能够理解，教师再根据得到的反馈结果反复讲解，使得学生能够理解对应知识点。

因此，现有技术方案中的反馈方式受到学生反馈积极性等方面的影响，无法确保教师对学生反馈信息做出相对正确的分析，很难评估有多少学生对相同知识点有疑惑，影响教师的教学效率。

发明内容

本公开实施例至少提供一种学习状态检测方法、***、学习终端、服务器及电子设备。

第一方面，本公开实施例提供了一种学习状态检测方法，应用于学习终端，包括：获取第一用户在学习预设课程时产生的学习视频；对所述学习视频中的图像帧进行图像识别处理，并根据图像识别处理结果确定所述第一用户的学习状态；若确定所述学习状态为困惑状态，则确定困惑数据，并向服务器发送所述困惑数据，以使所述服务器对所述困惑数据进行统计分析，得到统计结果，并将所述统计结果推送至教师终端。

结合第一方面，本公开实施例提供了第一方面的第一种可能的实施方式，其中，所述对所述学习视频中的图像帧进行图像识别处理，并根据图像识别处理结果确定所述第一用户的学习状态，包括：通过第一预设图像处理模型对所述学习视频中的图像帧进行表情检测，得到表情检测结果，并根据所述表情检测结果确定所述学习状态；和/或通过第二预设图像处理模型对所述学习视频中的图像帧进行姿势检测，得到姿势检测结果，并根据所述姿势检测结果确定所述学习状态。

结合第一方面，本公开实施例提供了第一方面的第二种可能的实施方式，其中，在向服务器发送所述困惑数据之前，还包括：向所述第一用户发送确认请求；其中，所述确认请求用于向所述第一用户请求是否确认当前时刻的学习状态为困惑状态；检测到所述第一用户基于所述确认请求发送的确认信息。

结合第一方面，本公开实施例提供了第一方面的第三种可能的实施方式，其中，所述确定困惑数据，包括：确定在检测到所述困惑状态时所述预设课程的播放进度信息；所述播放进度信息包括当前播放时间，和/或，当前实际时间；确定与所述播放进度信息相对应的课程内容，并将所述课程内容作为所述困惑数据。

结合第一方面，本公开实施例提供了第一方面的第四种可能的实施方式，其中，所述确定困惑数据，包括：确定在检测到所述困惑状态时所述预设课程的播放界面信息；确定与所述播放界面信息相对应的课程内容，并将所述课程内容作为所述困惑数据。

第二方面，本公开实施例提供了一种学习状态检测方法，应用于服务器，包括：获取至少一个学习终端发送的困惑数据；所述困惑数据是所述至少一个学习终端在检测到与其对应的第一用户的学习状态为困惑状态时确定的；所述学习状态是所述至少一个学习终端对获取到的学习视频中的图像帧进行图像识别处理得到的；所述学习视频是与所述至少一个学习终端对应的第一用户学习预设课程时产生的；对所述困惑数据进行统计分析，得到统计结果，并将所述统计结果推送至教师终端。

结合第二方面，本公开实施例提供了第二方面的第一种可能的实施方式，其中，在将所述统计结果推送至教师终端之前，所述方法还包括：在所述统计结果满足推送条件时，向教师终端推送所述统计结果；其中，所述推送条件包括困惑数据所对应的第一用户的数量高于设定阈值、困惑数据所对应的第一用户的占比高于设定占比、困惑数据所对应的难易程度高于设定难度。

第三方面，本公开实施例提供了一种学习终端，包括：第一获取单元，用于获取第一用户在学习预设课程时产生的学习视频；图像识别处理单元，用于对所述学习视频中的图像帧进行图像识别处理，并根据图像识别处理结果确定所述第一用户的学习状态；确定单元，用于若确定所述学习状态为困惑状态，则确定困惑数据，并向服务器发送所述困惑数据，以使所述服务器对所述困惑数据进行统计分析，得到统计结果，并将所述统计结果推送至教师终端。

第四方面，本公开实施例提供了一种服务器，包括：第二获取单元，用于获取至少一个学习终端发送的困惑数据；所述困惑数据是所述至少一个学习终端在检测到与其对应的第一用户的学习状态为困惑状态时确定的；所述学习状态是所述至少一个学习终端对获取到的学习视频中的图像帧进行图像识别处理得到的；所述学习视频是与所述至少一个学习终端对应的第一用户学习预设课程时产生的；统计分析单元，用于对所述困惑数据进行统计分析，得到统计结果，并将所述统计结果推送至教师终端。

第五方面，本公开实施例提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面或第二方面中任一所述的学习状态检测方法的步骤。

第六方面，本公开实施例提供了一种学习状态检测***，包括：至少一个学习终端、至少一个教师终端以及服务器，其中：针对所述至少一个学习终端中的任一学习终端，所述学习终端用于获取第一用户在学习预设课程时产生的学习视频；对所述学习视频中的图像帧进行图像识别处理，并根据图像识别处理结果确定所述第一用户的学习状态；若确定所述学习状态为困惑状态，则确定困惑数据，并向服务器发送所述困惑数据；所述服务器，用于对所述困惑数据进行统计分析，得到统计结果，并将所述统计结果推送至所述至少一个教师终端；针对所述至少一个教师终端中的任一教师终端，所述教师终端用于针对所述推送结果，做出与所述困惑数据相对应的反馈。

在本公开实施例中，首先，获取第一用户在学习预设课程时产生的学习视频，然后，对学习视频中的图像帧进行图像识别处理，并根据图像识别结果确定第一用户的学习状态；最后，若确定学习状态为困惑状态，则确定困惑数据，并向服务器发送困惑数据，以使服务器对所述困惑数据进行统计分析，得到统计结果，并将统计结果推送至教师终端。通过上述描述可知，本公开实施例通过学习视频来确定第一用户的困惑数据的方式，能够缓解现有技术的人工反馈方式无法及时反馈学生的困惑状态的技术问题。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例所提供的一种学习状态检测方法的流程图；

图2示出了本公开实施例所提供的另一种学习状态检测方法的流程图；

图3示出了本公开实施例所提供的学习状态检测方法中，困惑数据的预置显示方式的显示示意图；

图4示出了本公开实施例所提供的一种学习状态检测***的示意图；

图5示出了本公开实施例所提供的一种学习终端的示意图；

图6示出了本公开实施例所提供的一种服务器的示意图；

图7示出了本公开实施例所提供的一种电子设备的示意图；

图8示出了本公开实施例所提供的另一种电子设备的示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

经研究发现，在线教育场景中，对于知识难点部分，需要学生主动在线反馈，或者教师主动询问学生是否能能够理解，教师再根据得到的反馈结果反复讲解，使得学生能够理解对应知识点。因此，现有技术方案中的反馈方式受到学生反馈积极性等方面的影响，无法确保教师对学生反馈信息做出相对正确的分析，因此很难评估有多少学生对相同知识点有疑惑，影响教师的教学效率。

基于上述研究，本公开提供了一种学习状态检测方法、***、学习终端、服务器及电子设备，本公开实施例通过学习视频来确定第一用户的困惑数据的方式，能够缓解现有技术的人工反馈方式无法及时反馈学生的困惑状态的技术问题。

为便于对本实施例进行理解，首先对本公开实施例所公开的一种学***板电脑，智能穿戴设备等。

在该电子设备中，预先安装了相应的学习应用程序，该学习应用程序用于执行本公开所提供的学习状态检测方法。在一些可能的实现方式中，该学习状态检测方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

参见图1所示，为本公开实施例提供的一种学习状态检测方法的流程图。其中，可以通过学习终端执行如图1所示的学习状态检测方法，该学习终端为预先安装了线上教学所用的应用程序的学习侧终端设备。具体地，所述方法包括步骤S101～S105，其中：

S101：获取第一用户在学习预设课程时产生的学习视频。

在本公开实施例中，可以预先在学习终端中安装线上教学所用的应用程序，在安装该线上教学所用的应用程序时，可以设置允许调用学习终端的摄像装置，以通过第一用户的学习终端的摄像装置获取第一用户在学习预设课程中的学习视频。在本公开实施例中，可以设置学习终端的摄像头周期性采集该第一用户在学习过程中的学习视频，例如，每隔5分钟采集第一用户在学习过程中的学习视频。需要说明的是，在本公开实施例中，并不限定采集学习视频的周期时间，用户可以根据实际需要来进行设定。

在一些可能的实施方式中，摄像头除了可为学习终端上自带的摄像头之外，还可为另外设置、并与学习终端建立连接的其他外挂摄像头，从而能够避免由于第一用户距离学习终端过于近所导致的拍摄效果不佳的问题，对此不作赘述。

在本公开实施例中，上述预设课程可以为直播课程，还可以为录播课程，本公开对此不作具体限定。

在本公开实施例中，第一用户首先在学习终端中打开线上教学所用的应用程序，并进入到预设课程的学习界面。之后，线上教学所用的应用程序判断是否能够调用学习终端的摄像头，若是，则周期性采集第一用户在学习过程中的学习视频，若否，则第一用户通过主动在留言区反馈困惑知识点的方式表达困惑。

在本公开实施例中，第一用户可以在线上教学所用的应用程序设置摄像头的打开权限。例如，需要说明的是，若该第一用户通过学习终端进行上述预设课程的学习时，不便打开摄像头，可以设置不允许打开摄像头，而是通过主动在留言区反馈困惑知识点的方式表达困惑。

S103：对所述学习视频中的图像帧进行图像识别处理，并根据图像识别处理结果确定所述第一用户的学习状态。

在本公开实施例中，在获取到学习视频之后，就可以通过神经网络模型对学习视频中的图像帧进行图像识别处理，得到第一用户的学习状态。

具体地，图像识别处理可以为以下至少之一：微表情识别、语音识别、姿势识别，本公开实施例中对图像识别处理的具体方式不做限定。除了上述所描述的图像识别方式之外，还可以为其他能够确定第一用户的学习状态的图像识别方法。

需要说明的是，在本公开实施例中，学习状态可以为处于困惑的状态，其中，处于困惑的状态可以分为：由于走神没听到讲解导致的困惑，或者，由于没听懂导致的困惑。因此，在本公开实施例中，上述学习状态除了表示当前学习状态是否为困惑状态之外，还可以确定困惑状态的原因。

S105：若确定所述学习状态为困惑状态，则确定困惑数据，并向服务器发送所述困惑数据，以使所述服务器对所述困惑数据进行统计分析，得到统计结果，并将所述统计结果推送至教师终端。

这里，困惑数据为检测到第一用户的学习状态为困惑状态时，预设课程的课程内容。此处的课程内容可以包括以下至少之一：预设课程的标识信息、在检测到困惑状态时预设课程的当前播放时间、检测到困惑状态时所述学习终端的当前实际时间、预设课程中的困惑内容(例如，困惑的知识点)、预设课程的开课时间等。

在本公开实施例中，首先，获取第一用户在学习预设课程时产生的学习视频，然后，对学习视频中的图像帧进行图像识别处理，并根据图像识别结果确定第一用户的学习状态；最后，若确定学习状态为困惑状态，则确定困惑数据，并向服务器发送困惑数据，以使服务器对所述困惑数据进行统计分析，得到统计结果，并将该统计结果推送至教师终端。通过上述描述可知，本公开实施例通过学习视频来确定第一用户的困惑数据的方式，能够缓解现有技术的人工反馈方式无法及时反馈学生的困惑状态的技术问题。

需要说明的是，本申请中所述的图像帧具体可为图像帧序列，该图像帧序列中至少包括一个图片，或者两个以上连续的图片，对此不做赘述。

通过上述描述可知，在本公开实施例中，在获取到学习视频之后，首先对所述学习视频中的图像帧进行图像识别处理，并根据图像识别处理结果确定所述第一用户的学习状态。

在一个可选的实施方式中，可以通过以下任一种方式确定所述第一用户的学习状态，具体包括：

方式一：

通过第一预设图像处理模型对所述学习视频中的图像帧进行表情检测，得到表情检测结果，并根据所述表情检测结果确定所述学习状态。

在本公开实施例中，第一预设图像处理模型为用于进行表情检查的神经网络模型，该第一预设图像处理模型的输入可以为包含人脸的图像，该第一预设图像处理模型的输出可以为输入图像的表情检测结果，例如，可以为该图像中人脸的表情属于多种预设表情(例如，预设困惑表情类型)的概率等数据。

在一些可能的实施方式中，预设困惑表情可包括：皱眉、噘嘴、咬唇、眼睛看向别处、不在摄像头捕捉范围内等任意能够表征人处于困惑状态的表情，对此不做列举。

也就是说，在本公开实施例中，可以预先设置多种困惑表情类型(即，预设困惑表情类型)，当第一预设图像处理模型对学习视频中的图像帧进行识别处理时，就可以得到图像识别结果，即该图像帧所属于每种预设困惑表情类型的概率。在得到图像识别结果之后，就可以根据该图像识别结果确定第一用户的学习状态。

例如，预设困惑表情类型包括：预设困惑表情类型A1、预设困惑表情类型A2、预设困惑表情类型A3。在通过第一预设图像处理模型对学习视频中的图像帧进行识别处理之后，可以得到图像帧所属于预设困惑表情类型A1至A3的概率P1、P2和P3。之后，就可以根据概率P1、P2和P3确定第一用户的学习状态。例如，可以设定阈值C1，若概率P1、P2和P3中包含大于阈值C1的概率，则确定第一用户的学习状态为困惑状态。

此时，还可以根据大于C1的概率来确定学习视频中的图像帧的预设困惑表情类型。假设，P1和P2均大于阈值C1，则确定学习视频中的图像帧的预设困惑表情类型为A1和A2。

需要说明的是，第一预设图像处理模型对图像帧的图像识别过程可以描述为以下过程：首先判断图像帧中是否包含人脸，如果包含人脸，则识别该人脸的特征点，例如，可以得到84个人脸特征点，人脸特征点是人脸五官用于表征五官轮廓的特征点。在识别得到人脸特征点之后，确定每个人脸特征点的位置信息。在得到该位置信息之后，将该位置信息与标准位置信息进行比对，标准位置信息为预设困惑表情类型的标准困惑表情所对应的五官特征点的位置信息。最后，就可以根据比对结果判断人脸的表情是否为困惑表情。需要说明的是，人脸特征点的数量越多，图像识别结果越准确，但是对于学习终端的CPU消耗量也就越大。

在本公开实施例中，可以设置实时监测CPU消耗量，如果CPU消耗量满足预设计算要求，则可以增大人脸特征点的数量。如果CPU消耗量不满足预设计算要求，则可以适当减小人脸特征点的数量。通过该设置方式，可以自适应的调整图像识别过程，从而做到在提高图像识别精度的基础上，降低CPU消耗量。

通过上述描述可知，在本公开实施例中，预设困惑表情类型可以为一至多种，例如，预设困惑表情类型可以设置为由于没听懂导致学生出现困惑状态的类型，预设困惑表情类型还可以为由于没听清楚导致学生出现困惑状态的类型。

通过上述描述可知，在本公开实施例中，通过学习终端对学生的学习状态进行检测的方式，可以实时检测出学生的学习状态是否为困惑状态，从而缓解现有技术的人工反馈方式无法及时反馈学生的困惑状态的技术问题。

方式二：

通过第二预设图像处理模型对所述学习视频中的图像帧进行姿势检测，得到姿势检测结果，并根据所述姿势检测结果确定所述学习状态。

需要说明的是，除了上述所描述的通过表情检测的方式来确定第一用户的学习状态是否为困惑状态之外，还可以采用姿势检测的方式来确定第一用户的学习状态。上述第二预设图像处理模型与上述第一预设图像处理模型的结构可以相同，还可以不相同；且第二预设图像处理模型和第一预设图像处理模型为采用两种不同训练方法训练得到的图像处理模型。第二预设图像处理模型的输入数据为学习视频中的图像帧，第二预设图像处理模型的输出数据为第一用户的姿势检测结果。

在本公开实施例中，第二预设图像处理模型的姿势检测过程包括：提取图像帧中第一用户的身体轮廓的特征点的位置信息，将该位置信息与预设困惑姿势的特征点的位置信息进行比对，从而确定第一用户的学习状态(即，第一用户的学习姿势)。

在一些可能的实施方式中，预设困惑姿势可包括：挠头、摇头、扶额、举手、捂脸等等任意能够表征人处于困惑状态的姿态，对此不做列举。

通过上述描述可知，除了通过表情检测的方式来确定第一用户的学习状态之外，还可以通过姿势检测的方式来确定第一用户的学习状态。通过设置上述两种确定方式，可以更加准确地检测到第一用户的困惑状态，从而缓解现有技术的人工反馈方式无法及时反馈学生的困惑状态的技术问题。

方式三：

这里，可以结合上述方式一和方式二所描述的方式确定所述第一用户的学习状态，此处不再详细描述具体确定过程。

在方式三中，可以通过上述方式一所描述的方式得到表情检测结果，以及通过上述方式二所描述的方式得到姿态检测结果；进而根据表情检测结果和姿态检测结果确定第一用户的学习状态。

在本公开的另一个可选的实施方式中，还通过语音识别的方式进行困惑状态检测，具体地，可以预设至少一个困惑关键词，例如报告、有问题、不懂等关键词。当上述第一用户的学习终端的语音识别***匹配到上述困惑关键词时，就可以确定该第一用户的学习状态为困惑状态。

通过上述描述可知，在本公开实施例中，在第一用户学习预设课程的过程中，可以通过多种实施方式确定该第一用户的学习状态是否为困惑状态。通过多种实施方式的操作一定程度上增加了判定第一用户的困惑状态方式的灵活性，并且较单一判定方式来说，提高了判定结果的准确性。

在本实施例的一个可选实施方式中，在向服务器发送困惑数据之前，还可以向所述第一用户发送确认请求，其中，所述确认请求用于向所述第一用户请求是否确认当前时刻的学习状态为困惑状态。之后，检测所述第一用户基于所述确认请求发送的确认信息，并在检测到该确认信息的情况下，确认当前时刻的学习状态为困惑状态。

在本公开实施例中，在根据上述所描述的方式一至方式三中任一种方式确定出上述第一用户处于疑似的困惑状态之后，可以通过推送服务，向该第一用户的学习终端发送确认请求，该确认请求可以以多种形式显示在学习终端的显示界面上。

例如，可以以对话框的形式显示该确认请求，该对话框包含确认上述第一用户是否处于困惑状态的确认请求，第一用户可以通过该对话框对上述确认请求进行确认。例如，第一用户点击对话框中的确认按钮，则确定第一用户的当前学习状态为困惑状态。

在本公开实施例中，通过设置多次(例如，两次)确认的方式，可以有效防止由于困惑状态的误检测造成的错误信息上传。因此，设置多次(例如，二次)确认的方式可以提高困惑数据的准确性。

在本公开实施例的一个可选实施方式中，上述步骤S105中确定所述困惑数据的步骤具体包括如下过程：

步骤S11：确定在检测到所述困惑状态时所述预设课程的播放进度信息；所述播放进度信息包括当前播放时间，和/或，当前实际时间。

步骤S12：确定与所述播放进度信息相对应的课程内容，并将所述课程内容作为所述困惑数据。

通过上述描述可知，在本公开实施例中，在确定上述困惑数据时，可以将预设课程分为直播课程和录播课程两种情况，并根据检测到困惑状态时的播放进度信息确定相对应的表征知识点的课程内容。下面将分情况对直播课程和录播课程进行分别介绍。

情况一、预设课程为录播课程。

当预设课程为录播课程时，可以针对该预设课程中的知识点对该课程进行对应的目标时间段的划分，例如，一个知识点对应该课程中的一个目标时间段。

在获取到学习视频之后，就可以对学习视频中的图像帧进行图像识别处理(例如，表情识别和/或姿势识别)等方式得到图像识别处理结果。在确定出学习状态为困惑状态的情况下，可以确定检测到困惑状态时预设录播课程的播放进度信息，其中，该播放进度时间可以为当前播放时间。例如，确定检测到困惑状态时录播课程的当前播放时间为20分钟05秒。之后，可以确定录播课程的当前播放时间所属的目标时间段；最后，确定该目标时间段所对应的课程内容；最后，将确定出的课程内容确定为困惑数据。

当学生学习录播课程时，由于没有实时在线的教师，此时，学生很容易出现走神的情况，此时，学生就很容易处于困惑状态。因此，通过对录播课程设置学习状态的检测的方式，可以了解学生的学习情况，达到与直播课程相同的学习的效果，从而使得教师依然可以及时了解学生的学习状态。相比较于现有技术中，通过人工互动的方式对线上直播进行实时难点反馈，本公开实施例的实施方式更加灵活，同时也能适应更多的应用场景。

情况二、预设课程为直播课程。

在本公开实施例中，可以确定在检测到困惑状态时直播课程的播放进度信息，其中，该播放进度信息可以为当前实际时间。这里，当前实际时间可以为学习终端在检测到第一用户的困惑状态的实际时间。例如，该当前实际时间可以为15:00分。之后，就可以确定直播课程中当前实际时间所对应的课程内容，并将该课程内容确定为困惑数据。

通过上述描述可知，在本公开实施例中，通过确定检测到困惑状态时直播课程的当前实际时间来确定困惑数据的方式，增加了在线上授课过程中，教师对学生困惑内容把握的准确度，能够更好的模拟线下教学模式中教师和学生面对面的交互感。

在本公开实施例的另一个可选实施方式中，确定所述困惑数据，还包括如下过程：

步骤S21：确定在检测到所述困惑状态时所述预设课程的播放界面信息。

步骤S22：确定与所述播放界面信息相对应的课程内容，并将所述课程内容作为所述困惑数据。

在本公开实施例中，在检测到第一用户的学习状态为困惑状态时，确定检测到该困惑状态时预设课程的播放界面信息。

这里，播放界面信息可以为检测到困惑状态的时刻，正在播放的PPT(演示文稿)中所讲述的知识点。

除此之外，该播放界面信息还可以为与该正在播放的PPT相邻播放的PPT中所讲述的知识点。例如，该正在播放的PPT之前的至少一页PPT和/或该正在播放的PPT之后的至少一页PPT中所讲述的知识点。

在按照上述所描述的内容确定播放界面信息之后，可以确定与该播放界面信息相对应的课程内容，并将该课程内容作为困惑数据。

参见图2所示，为本公开实施例提供的学习状态检测方法的流程图，所述方法包括步骤S201～S203，其中：

S201：获取至少一个学习终端发送的困惑数据；所述困惑数据是所述至少一个学习终端在检测到与其对应的第一用户的学习状态为困惑状态时确定的；所述学习状态是所述至少一个学习终端对获取到的学习视频中的图像帧进行图像识别处理得到的；所述学习视频是与所述至少一个学习终端对应的第一用户学习预设课程时产生的。

这里，困惑数据为检测到第一用户的学习状态为困惑状态时，预设课程的课程内容。此处的课程内容可以包括以下至少之一：所述预设课程的标识信息、在检测到所述困惑状态时所述预设课程的当前播放时间、检测到所述困惑状态时学习终端的当前实际时间、所述预设课程中的困惑内容(例如，困惑的知识点)。

S203：对所述困惑数据进行统计分析，得到统计结果，并将所述统计结果推送至教师终端。

在本公开实施例中，服务器在获取到上述困惑数据之后，可以对学习终端上报的困惑数据进行周期性汇总，其中，汇总周期可根据实际需要进行调节，例如可设置每隔5s对学习终端上报的困惑数据进行汇总。

除此之外，还可以根据不同知识点对应的时间节点设置汇总周期，具体周期时长在本公开实施例中不做限定。

另外，服务器除了进行上述周期性汇总之外，还预置了浮动控制功能。当学习终端由于网络的波动延迟上报困惑数据时，可以通过该浮动控制功能对由于学习终端的网络波动造成的延迟上报的困惑数据的上报时间进行修正。

在得到汇总之后的困惑数据之后，可以对汇总之后的困惑数据进行实时的统计分析，并将统计结果和预置的推送条件进行对比。当满足统计结果推送条件时，通过推送服务向教师终端推送统计结果。

需要说明的是，上述预设课程可以为直播课程，还可以为录播课程，本公开对预设课程的课程类型不做具体限定。在预设课程为录播课程时，该录播课程对应的教师终端不在线，此时，服务器可以对统计结果进行缓存预设时长。当该教师终端在预设时长内上线时，服务器可以将该统计结果推送到教师终端的终端设备。需要说明的是，上述统计结果包括：表征该统计结果满足上述推送条件的标识信息，以及和该统计结果对应的困惑数据。

在本公开实施例中，在将所述统计结果推送至教师终端之前，还可以在统计结果满足推送条件时，向教师终端推送统计结果；其中，推送条件包括困惑数据所对应的第一用户的数量高于设定阈值、困惑数据所对应的第一用户的占比高于设定占比、困惑数据所对应的难易程度高于设定难度。

这里，在汇总得到统计结果之后，可以判断统计结果是否满足推送条件。若满推送条件，则向教师终端推送该统计结果。

这里，推送条件包括以下至少之一：困惑数据所对应的第一用户的数量高于设定阈值、困惑数据所对应的第一用户的占比高于设定占比、困惑数据所对应的难易程度高于设定难度。

在一个可能的实施方式中，判断统计结果是否满足推送条件的具体过程描述如下：

在推送条件的数量为多个的情况下，可以将统计结果与每个推送条件进行比对，以判断统计结果是否满足每个推送条件。在确定出是的情况下，向教师终端推送该统计结果。

除此之外，还可以设置数量阈值。在统计结果所满足的推送条件的数量大于或者等于预设阈值的情况下，向教师终端推送该统计结果。

这里，预设阈值可以根据实际需要来进行设定，本公开不作具体限定。例如，可以根据经验选择一个数值作为预设阈值。

在本公开实施例中，可以按照预设推送方式向教师终端推送该统计结果，其中，推送方式可以为短信推送，消息栏推送或者以自定义的小动画方式推送等，本公开对预设推送方式不做具体限定。

这里需要说明的是，在学习预设课程的过程中，若第一用户的数量发生变化，则可以将变化过程中第一用户的最大数量确定为最终的第一用户数量。

在另一个可选的实施方式中，还可以通过下述所描述的方式对困惑数据进行统计分析，得到统计结果：

对困惑数据进行分类统计，得到至少一个分类组，并确定每个分类组的统计结果，比如，针对每个分类组，可以计算每个分类组中的第一用户的数量；并计算每个分类组所对应的第一用户中检测到困惑状态的第一用户的数量；以及确定每个分类组所对应困惑数据的难易程度(比如，每个分类组所对应知识点的难易程度)。

具体地，服务器可以按照知识点对困惑数据进行分类，得到至少一个分类组。之后，可以确定上报困惑数据的第一用户中所属于每个分类组的第一用户。也就是说，在本公开实施例中，根据第一用户上报的困惑知识点对上报困惑数据的第一用户进行分类，得到至少一个用户组。之后，就可以计算每个用户组中用户数量、第一用户数量和每个知识点的难以程度确定每个分类组的统计结果。

在本公开实施例中，在向教师终端推送所述统计结果之后，所述教师终端就可以对所述困惑数据进行调用。

在一个可选的实施方式中，在上述教师终端的显示屏上，可以设置一个用于调用困惑数据的标识信息，用户能够通过点击该标识信息向服务器发起调出该困惑数据的调用请求。其中，上述标识信息的形式可以设置为悬浮按钮，自定义动画或其他形式，本公开实施例对该标识信息的具体形式不做限定。在该服务器检测到上述调用请求后，就可以向所述教师终端发送所述困惑数据，以在所述教师终端按照预设显示方式显示所述困惑数据，从而更好的模拟了线下教学中的课堂模式，能够有效的解决因为线上教学导致的沟通效率低。

需要说明的是，在本公开实施例中，预置显示方式可以设置为不同形式，例如，以可调尺寸显示在终端设备显示屏的固定位置，如图3所示。

综上，在本发明实施例中，通过终端设备对第一用户进行学习状态检测，确定该用户的困惑状态，根据困惑状态确定困惑数据，并对困惑数据进行统计分析，得到统计结果；并在统计结果满足推送条件的情况下，推送统计结果至教师终端。本发明所提供的实施方式相较于现有技术方案来说，能够以一种模拟线下教学的方式，使教师终端的教师能更好把握第一用户端的学生的困惑知识点，降低了现有技术方案中因为学生反馈积极性等方面对反馈效果产生的影响，提高了教师的教学效率。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

本公开实施例中还提供了一种学习状态检测***，如图4所示，该学习状态检测***包括：至少一个学习终端100、服务器200和至少一个教师终端300，具体地：

针对所述至少一个学习终端中的任一学习终端，所述学习终端用于获取第一用户在学习预设课程时产生的学习视频；对所述学习视频中的图像帧进行图像识别处理，并根据图像识别处理结果确定所述第一用户的学习状态；若确定所述学习状态为困惑状态，则确定困惑数据，并向服务器发送所述困惑数据；

所述服务器，用于对所述困惑数据进行统计分析，得到统计结果，并将所述统计结果推送至所述至少一个教师终端；

针对所述至少一个教师终端中的任一教师终端，所述教师终端用于针对所述推送结果，做出与所述困惑数据相对应的反馈。

在本公开实施例中，首先，获取第一用户在学习预设课程时产生的学习视频，然后，对学习视频中的图像帧进行图像识别处理，并根据图像识别结果确定第一用户的学习状态；最后，若确定学习状态为困惑状态，则确定困惑数据，并向服务器发送该困惑数据，以使服务器对该困惑数据进行统计分析，得到统计结果，并将统计结果推送至教师终端。教师终端在获取到该统计结果之后，做出与困惑数据相对应的反馈。

这里，与困惑数据相对应的反馈可以为教师根据困惑数据，对与该困惑数据相应的知识点进行重新讲解，或者对该困惑数据所对应的知识点进行标记，或者对该困惑数据所对应的知识点安排答疑等。

通过上述描述可知，本公开实施例通过学习视频来确定第一用户的困惑数据的方式，能够缓解现有技术的人工反馈方式无法及时反馈学生的困惑状态的技术问题。

参照图5所示，为本公开实施例提供的一种学习终端的示意图，所述装置包括：第一获取单元51、图像识别处理单元52、确定单元53；其中，

第一获取单元51，用于获取第一用户在学习预设课程时产生的学习视频；

图像识别处理单元52，用于对所述学习视频中的图像帧进行图像识别处理，并根据图像识别处理结果确定所述第一用户的学习状态；

确定单元53，用于若确定所述学习状态为困惑状态，则确定困惑数据，并向服务器发送所述困惑数据，以使所述服务器对所述困惑数据进行统计分析，得到统计结果，并将所述统计结果推送至教师终端。

在本公开实施例中，首先，获取第一用户在对预设课程进行学习过程中的学习视频，然后，对学习视频中的图像帧进行图像识别处理，并根据图像识别结果确定第一用户的学习状态；最后，在确定出学习状态为困惑状态的情况下，确定困惑数据，并向服务器发送困惑数据，以使服务器对所述困惑数据进行统计分析，得到统计结果。通过上述描述可知，本公开实施例通过学习视频来确定第一用户的困惑数据的方式，能够缓解现有技术的人工反馈方式无法及时反馈学生的困惑状态的技术问题。

一种可能的实施方式中，图像识别处理单元，用于：通过第一预设图像处理模型对所述学习视频中的图像帧进行表情检测，得到表情检测结果，并根据所述表情检测结果确定所述学习状态；和/或，通过第二预设图像处理模型对所述学习视频中的图像帧进行所述第一用户的姿势检测，得到姿势检测结果，并根据所述姿势检测结果确定所述学习状态。

一种可能的实施方式中，该装置还用于：在向服务器发送所述困惑数据之前，向所述第一用户发送确认请求；其中，所述确认请求用于向所述第一用户请求是否确认当前时刻的学习状态为困惑状态；检测到所述第一用户基于所述确认请求发送的确认信息。

一种可能的实施方式中，确定单元，用于：确定在检测到所述困惑状态时所述预设课程的播放进度信息；所述播放进度信息包括当前播放时间，和/或，当前实际时间；确定与所述播放进度信息相对应的课程内容，并将所述课程内容作为所述困惑数据。

一种可能的实施方式中，确定单元，还用于：确定在检测到所述困惑状态时所述预设课程的播放界面信息；确定与所述播放界面信息相对应的课程内容，并将所述课程内容作为所述困惑数据。

参照图6所示，为本公开实施例提供的一种服务器的示意图，所述装置包括：第二获取单元61、统计分析单元62；其中，

第二获取单元61，用于获取至少一个学习终端发送的困惑数据；所述困惑数据是所述至少一个学习终端在检测到与其对应的第一用户的学习状态为困惑状态时确定的；所述学习状态是所述至少一个学习终端对获取到的学习视频中的图像帧进行图像识别处理得到的；所述学习视频是与所述至少一个学习终端对应的第一用户学习预设课程时产生的；

统计分析单元62，用于对所述困惑数据进行统计分析，得到统计结果，并将所述统计结果推送至教师终端。

一种可能的实施方式中，该装置还用于：在将所述统计结果推送至教师终端之前，在所述统计结果满足推送条件时，向教师终端推送所述统计结果；其中，所述推送条件包括困惑数据所对应的第一用户的数量高于设定阈值、困惑数据所对应的第一用户的占比高于设定占比、困惑数据所对应的难易程度高于设定难度。

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。

对应于图1中的学习状态检测方法，本公开实施例还提供了一种电子设备700，如图7所示，为本公开实施例提供的电子设备700结构示意图，包括：

处理器71、存储器72、和总线73；存储器72用于存储执行指令，包括内存721和外部存储器722；这里的内存721也称内存储器，用于暂时存放处理器71中的运算数据，以及与硬盘等外部存储器722交换的数据，处理器71通过内存721与外部存储器722进行数据交换，当所述电子设备700运行时，所述处理器71与所述存储器72之间通过总线73通信，使得所述处理器71执行以下指令：

获取第一用户在学习预设课程时产生的学习视频；对所述学习视频中的图像帧进行图像识别处理，并根据图像识别处理结果确定所述第一用户的学习状态；若确定所述学习状态为困惑状态，则确定困惑数据，并向服务器发送所述困惑数据，以使所述服务器对所述困惑数据进行统计分析，得到统计结果，并将所述统计结果推送至教师终端。

对应于图2中的学习状态检测方法，本公开实施例还提供了另一种电子设备800，如图8所示，为本公开实施例提供的电子设备800结构示意图，包括：

处理器81、存储器82、和总线83；存储器82用于存储执行指令，包括内存821和外部存储器822；这里的内存821也称内存储器，用于暂时存放处理器81中的运算数据，以及与硬盘等外部存储器822交换的数据，处理器81通过内存821与外部存储器822进行数据交换，当所述电子设备800运行时，所述处理器81与所述存储器82之间通过总线83通信，使得所述处理器81执行以下指令：

获取至少一个学习终端发送的困惑数据；所述困惑数据是所述至少一个学习终端在检测到与其对应的第一用户的学习状态为困惑状态时确定的；所述学习状态是所述至少一个学习终端对获取到的学习视频中的图像帧进行图像识别处理得到的；所述学习视频是与所述至少一个学习终端对应的第一用户学习预设课程时产生的；对所述困惑数据进行统计分析，得到统计结果，并将所述统计结果推送至教师终端。

本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的学习状态检测方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的学习状态检测方法的步骤，具体可参见上述方法实施例，在此不再赘述。

其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (11)

1.一种学习状态检测方法，其特征在于，应用于学习终端，包括：

获取第一用户在学习预设课程时产生的学习视频；

对所述学习视频中的图像帧进行图像识别处理，并根据图像识别处理结果确定所述第一用户的学习状态；

若确定所述学习状态为困惑状态，则确定困惑数据，并向服务器发送所述困惑数据，以使所述服务器对所述困惑数据进行统计分析，得到统计结果，并将所述统计结果推送至教师终端。

2.根据权利要求1所述的方法，其特征在于，所述对所述学习视频中的图像帧进行图像识别处理，并根据图像识别处理结果确定所述第一用户的学习状态，包括：

通过第一预设图像处理模型对所述学习视频中的图像帧进行表情检测，得到表情检测结果，并根据所述表情检测结果确定所述学习状态；

和/或，

通过第二预设图像处理模型对所述学习视频中的图像帧进行姿势检测，得到姿势检测结果，并根据所述姿势检测结果确定所述学习状态。

3.根据权利要求1述的方法，其特征在于，在向服务器发送所述困惑数据之前，所述方法还包括：

向所述第一用户发送确认请求；其中，所述确认请求用于向所述第一用户请求是否确认当前时刻的学习状态为困惑状态；

检测到所述第一用户基于所述确认请求发送的确认信息。

4.根据权利要求1述的方法，其特征在于，所述确定困惑数据，包括：

确定在检测到所述困惑状态时所述预设课程的播放进度信息；所述播放进度信息包括当前播放时间，和/或，当前实际时间；

确定与所述播放进度信息相对应的课程内容，并将所述课程内容作为所述困惑数据。

5.根据权利要求1述的方法，其特征在于，所述确定困惑数据，包括：

确定在检测到所述困惑状态时所述预设课程的播放界面信息；

确定与所述播放界面信息相对应的课程内容，并将所述课程内容作为所述困惑数据。

6.一种学习状态检测方法，其特征在于，应用于服务器，包括：

获取至少一个学习终端发送的困惑数据；所述困惑数据是所述至少一个学习终端在检测到与其对应的第一用户的学习状态为困惑状态时确定的；所述学习状态是所述至少一个学习终端对获取到的学习视频中的图像帧进行图像识别处理得到的；所述学习视频是与所述至少一个学习终端对应的第一用户学习预设课程时产生的；

对所述困惑数据进行统计分析，得到统计结果，并将所述统计结果推送至教师终端。

7.根据权利要求6所述的方法，其特征在于，在将所述统计结果推送至教师终端之前，所述方法还包括：

在所述统计结果满足推送条件时，向教师终端推送所述统计结果；其中，所述推送条件包括困惑数据所对应的第一用户的数量高于设定阈值、困惑数据所对应的第一用户的占比高于设定占比、困惑数据所对应的难易程度高于设定难度。

8.一种学习终端，其特征在于，包括：

第一获取单元，用于获取第一用户在学习预设课程时产生的学习视频；

图像识别处理单元，用于对所述学习视频中的图像帧进行图像识别处理，并根据图像识别处理结果确定所述第一用户的学习状态；

确定单元，用于若确定所述学习状态为困惑状态，则确定困惑数据，并向服务器发送所述困惑数据，以使所述服务器对所述困惑数据进行统计分析，得到统计结果，并将所述统计结果推送至教师终端。

9.一种服务器，其特征在于，包括：

第二获取单元，用于获取至少一个学习终端发送的困惑数据；所述困惑数据是所述至少一个学习终端在检测到与其对应的第一用户的学习状态为困惑状态时确定的；所述学习状态是所述至少一个学习终端对获取到的学习视频中的图像帧进行图像识别处理得到的；所述学习视频是与所述至少一个学习终端对应的第一用户学习预设课程时产生的；

统计分析单元，用于对所述困惑数据进行统计分析，得到统计结果，并将所述统计结果推送至教师终端。

10.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至7中任一所述的学习状态检测方法的步骤。

11.一种学习状态检测***，其特征在于，包括至少一个学习终端、至少一个教师终端以及服务器，其中：

针对所述至少一个学习终端中的任一学习终端，所述学习终端用于获取第一用户在学习预设课程时产生的学习视频；对所述学习视频中的图像帧进行图像识别处理，并根据图像识别处理结果确定所述第一用户的学习状态；若确定所述学习状态为困惑状态，则确定困惑数据，并向服务器发送所述困惑数据；

所述服务器，用于对所述困惑数据进行统计分析，得到统计结果，并将所述统计结果推送至所述至少一个教师终端；

针对所述至少一个教师终端中的任一教师终端，所述教师终端用于针对所述统计结果，做出与所述困惑数据相对应的反馈。

Images