CN109753855A - 教学场景状态的确定方法及装置 - Google Patents

Abstract

本发明实施例提供一种教学场景状态的确定方法及装置，确定方法包括：建立面部特征模板与教学场景状态模板之间的映射关系；识别不同身份ID号所标示的学生在课堂实时视频流中的面部特征；根据学生在课堂实时视频流中的面部特征以及所述映射关系，确定所述不同身份ID号所标示学生的教学场景状态，从而使得可直观地了解在线教育中学生的教育场景状态，从而基于此提供***性的互动的方案。

Description

教学场景状态的确定方法及装置

技术领域

本发明实施例涉及在线直播技术领域，尤其涉及一种教学场景状态的确定方法及装置。

背景技术

在线教育或称远程教育、在线学习，以网络为介质的教学方式，通过网络，学员与教师即使相隔万里也可以开展教学活动；此外，借助网络课件，学员还可以随时随地进行学习，真正打破了时间和空间的限制。在线教育可以尽可能的摆脱时空、人力、物力等限制，可以实现资源利用最大化。

现有技术中，教育培训机构可通过互联网远程教学平台，运用视频、语音等教学软件，使老师和学生之间进行沟通，使得整个培训过程更具有互动性；另外，也使得老师、学生尽享足不出户却犹如面对面交流的感觉；同时也可以让教育培训机构与学生节省更多时间和人力物力的支出，得学生能够在短时间内学到更多需要的专业知识，让培训机构招纳更多的学员。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：由于目前的在线教育主要依赖于互联网，尤其其中通过互联网来进行基于课件的互动，互动的难度要大于实际课堂的互动难度，但是现有技术中并未提供***性的互动方案。

发明内容

有鉴于此，本发明实施例所解决的技术问题之一在于提供一种教学场景状态的确定方法及装置，用以克服或者缓解现有技术中上述缺陷。

本发明实施例提供一种教学场景状态的确定方法，其包括：

建立面部特征模板与教学场景状态模板之间的映射关系；

识别不同身份ID号所标示的学生在课堂实时视频流中的面部特征；

根据学生在课堂实时视频流中的面部特征以及所述映射关系，确定所述不同身份ID号所标示学生的教学场景状态。

可选地，在本发明的任一实施例中，识别不同身份ID号所标示的学生在课堂实时视频流中的面部特征包括：

对采集到的课堂实时视频流进行切分得到多帧图片，并检测含有正面人脸图像的图片；

根据图片中学生的正面人脸图像，识别不同身份ID号所标示的学生在课堂实时视频流中的面部特征。

可选地，在本发明的任一实施例中，根据图片中学生的正面人脸图像，识别不同身份ID号所标示的学生在课堂实时视频流中的面部特征包括：从图片中学生的正面人脸图像上抽取面部特征，并将所述面部特征转换为机器语言。

可选地，在本发明的任一实施例中，从图片中学生的正面人脸图像上抽取面部特征包括：根据不同面部特征在人脸图像上的位置和形状模型，从图片中学生的正面人脸图像上抽取对应的面部特征。

可选地，在本发明的任一实施例中，建立面部特征模板与教学场景状态模板之间的映射关系包括：每一教学场景状态模板对应有面部特征模型，根据面部特征模板与不同教学场景状态模板的面部特征模型进行匹配，建立所述映射关系。

可选地，在本发明的任一实施例中，检测含有正面人脸图像的图片包括：提取图片上像素点的灰度值，并根据设定的灰度值阈值对提取的灰度值进行二值化得到特征向量，并与面部特征向量模板进行匹配，以检测含有正面人脸图像的图片。

可选地，在本发明的任一实施例中，每一个教学场景状态具有状态ID号；对应地，确定所述不同身份ID号所标示学生的教学场景状态包括：根据身份ID号所标示的学生在课堂实时视频流中的面部特征的变化,对对应身份ID号所表示的学生对应的教学场景状态进行跟踪并记录跟踪到的的教学场景状态对应状态ID号。

可选地，在本发明的任一实施例中，对对应身份ID号所表示的学生对应的教学场景状态进行跟踪并记录跟踪到的教学场景状态对应状态ID号包括：循环遍历每一身份ID号所标示学生在多帧帧图片上的面部特征变化以对对应身份ID号所表示的学生对应的教学场景状态进行跟踪并记录跟踪到的的教学场景状态对应状态ID号。

可选地，在本发明的任一实施例中，确定方法还可以包括：根据给不同教学场景状态赋予的色块，对每一身份ID号所标示的学生的教学场景状态进行色块统计分析。

可选地，在本发明的任一实施例中，确定方法还可以包括：根据从课堂实时视频流中提取的面部特征，对所述教学场景状态模板进行训练并更新。

可选地，在本发明的任一实施例中，所述面部特征包括眼睛、眉毛以及嘴角中任一一种或多种的组合。

本发明实施例还提供一种教学场景状态的确定装置，其包括：

映射模块，用于建立面部特征模板与教学场景状态模板之间的映射关系；

识别模块，用于在采集到的课堂实时视频流中对不同的学生赋予身份ID号，并识别不同身份ID号所标示的学生在课堂实时视频流中的面部特征；

确定模块，用于根据学生在课堂实时视频流中的面部特征以及所述映射关系，确定所述不同身份ID号所标示学生的教学场景状态。

可选地，在本发明的任一实施例中，所述确定模块进一步用于根据身份ID号所标示的学生在课堂实时视频流中的面部特征的变化,对对应身份ID号所表示的学生对应的教学场景状态进行跟踪并记录跟踪到的的教学场景状态对应状态ID号。

可选地，在本发明的任一实施例中，确定装置还可以包括：更新模块，用于根据从课堂实时视频流中提取的面部特征，对所述教学场景状态模板进行训练并更新。

可选地，在本发明的任一实施例中，确定装置还可以包括：统计模块，用于根据给不同教学场景状态赋予的色块，对每一身份ID号所标示的学生的教学场景状态进行色块统计分析。

由以上技术方案可见，本发明实施例中，通过建立面部特征模板与教学场景状态模板之间的映射关系；识别不同身份ID号所标示的学生在课堂实时视频流中的面部特征；最后根据学生在课堂实时视频流中的面部特征以及所述映射关系，确定所述不同身份ID号所标示学生的教学场景状态，从而使得可直观地了解在线教育中学生的教育场景状态，从而基于此提供***性的互动的方案。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本申请实施例一中教学场景状态的识别方法流程示意图；

图2为本发明实施例二提供的教学场景状态的确定装置结构示意图。

具体实施方式

当然，实施本发明实施例的任一技术方案必不一定需要同时达到以上的所有优点。

为了使本领域的人员更好地理解本发明实施例中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明实施例一部分实施例，而不是全部的实施例。基于本发明实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本发明实施例保护的范围。

下面结合本发明实施例附图进一步说明本发明实施例具体实现。

图1为本申请实施例一中教学场景状态的识别方法流程示意图；如图1所示，其包括：

S101、建立面部特征模板与教学场景状态模板之间的映射关系；

本实施例中，教学场景状态模板可以分别对应听课、看书、写字、扭头、低头、答题等。但是，需要说明的是，此处教学场景状态模板仅是示意性举例，并非限定。

预先通过采集多个面部特征作为面部特征模板，对这些面部特征模板进行训练得到教育场景状态模板的映射关系。比如，听课时的面部特征、看书时的面部特征、写字时的面部特征、扭头时的面部特征、答题时的面部特征进行统计分析，从而得到能反映出学生处于听课时的面部特征，学生处于看书时的面部特征，以此类推，从而通过大量的归类分析以及机器学习得到所述映射关系。

即，上述建立映射关系的处理可概括为：每一教学场景状态模板对应有面部特征模型，根据面部特征模板与不同教学场景状态模板的面部特征模型进行匹配，建立所述映射关系。

S102、识别不同身份ID号所标示的学生在课堂实时视频流中的面部特征；

本实施例中，本实施例中，步骤S102中识别不同身份ID号所标示的学生在课堂实时视频流中的面部特征时，可以具体包括：对采集到的课堂实时视频流进行切分得到多帧图片，并检测含有正面人脸图像的图片；根据图片中学生的正面人脸图像，识别不同身份ID号所标示的学生在课堂实时视频流中的面部特征。由于上述切分得到的每一帧图片实际上是静态图片，从而可以快速准确地完成上述面部特征的识别。

进一步地，本实施例中，根据图片中学生的正面人脸图像，识别不同身份ID号所标示的学生在课堂实时视频流中的面部特征包括：从图片中学生的正面人脸图像上抽取面部特征，并将所述面部特征转换为机器语言。

进一步地，本实施例中，检测含有正面人脸图像的图片可以包括：提取图片上像素点的灰度值，并根据设定的灰度值阈值对提取的灰度值进行二值化得到特征向量，并与面部特征向量模板进行匹配，以检测含有正面人脸图像的图片。

具体地，本实施例中，从图片中学生的正面人脸图像上抽取面部特征包括：根据不同面部特征在人脸图像上的位置和形状模型，从图片中学生的正面人脸图像上抽取对应的面部特征。

具体地，本实施例中，可以通过在一系列人脸图像上的面部特征周围标记控制点矢量，对该控制点矢量进行统计分析从而得到面部特征的形状模型。控制点主要来自四个面部特征的轮廓：2只眼睛、鼻子、嘴巴，从而得到四个面部特征形状模型。另外，通过计算所有特征点矢量的均值和协方差矩阵，还可以得到面部的整体形状模型。具体地，对每个面部特征形状的控制点进行主元分析还可以得到对应的面部特征形状模型。

本实施例中，控制点的数量可以根据需求比如数据分析的准确度来设置或者选择，比如针对嘴设置12个控制点，针对两只眼睛设置16个控制点。

在其他实施例中，所述面部特征包括还可以包括眉毛，进一步得到眉毛的形状模型。

S103、根据学生在课堂实时视频流中的面部特征以及所述映射关系，确定所述不同身份ID号所标示学生的教学场景状态。

本实施例中，步骤S103中在确定教学场景状态时，可以具体包括：从实时视频流中得到的面部特征与建立映射关系的面部特征模板进行匹配，若有匹配到面部特征模板，则与该匹配到的面部特征模板有隐射关系的教学场景状态即为当前身份ID号所标示学生的教学场景状态。

本实施例中，每一个教学场景状态具有状态ID号；对应地，确定所述不同身份ID号所标示学生的教学场景状态还可以包括：根据身份ID号所标示的学生在课堂实时视频流中的面部特征的变化,对对应身份ID号所表示的学生对应的教学场景状态进行跟踪并记录跟踪到的的教学场景状态对应状态ID号。

进一步地，对对应身份ID号所表示的学生对应的教学场景状态进行跟踪并记录跟踪到的教学场景状态对应状态ID号包括：循环遍历每一身份ID号所标示学生在多帧帧图片上的面部特征变化以对对应身份ID号所表示的学生对应的教学场景状态进行跟踪并记录跟踪到的的教学场景状态对应状态ID号。

在图1实施例的基础上，为了便于直观明了的显示教学场景状态，上述确定方法还可以包括：根据给不同教学场景状态赋予的色块，对每一身份ID号所标示的学生的教学场景状态进行色块统计分析。色块的颜色和大小可以根据实际需求灵活进行选择，另外，色块统计分析的展现可以是对于同一个学生的多个色块排列显示，以直观的能观察到该学生的教学场景状态变化，从而一目了然的让教师掌握学生在课堂上的表现，当然，也可以使学生自己对其在课堂上的表现有所了解。

在图1实施例的基础上，为了提高确定教学场景状态的准确度，上述确定方法还可以包括：根据从课堂实时视频流中提取的面部特征，对所述教学场景状态模板进行训练并更新。

在具体实施时，在步骤S101中使用的所述面部特征模板可以直接从预先设置的面部特征数据库中进行选取。另外，步骤S102中得到的面部特征也可以增加到面部特征数据中，作为下一次确定方法流程执行时使用的面部特征模板。

在一具体应用示例中，假如将学生的教学场景状态分成M类，分别用m1-mM编号表示，例如：m1表示听课，m2表示看书，m3表示写字，m4表示扭头，m5表示低头，m6表示举手。

假设一帧画面有N个学生的标定，该N个学生具有正面清晰面部图像，用n1-nN编号分别表示不同的学生，一帧图像中所有被识别的学生对应到教学场景状态进行如下表示：{n1：m1}，{n2:m1},{n3:m4},…{nN:mM}。

循环遍历实时课堂视频中的每一帧图像中出现的学生的教学场景状态，比如以时间差为1S为间隔来统计学生的教学场景状态，具体表示如下：

{[n1:m1]:t1,..,[n1:mi]:ti,…}；

{[n2:m1]:t1,..,[n2:mi]:ti,…}；

{[n2:m1]:t1,..,[n2:mi]:ti,…}；

…

{[nN:m1]:t1,..,[nN:mi]:ti,…}。

在具体实现时，比如，m1表示听课时，用红色横条表示；m2表示看书，用黄色横条表示；m3表示写字，用蓝色横条表示；m4表示扭头，用紫色横条表示；m5表示低头，用橙色横条表示；m6表示举手，用绿色表示。

图2为本发明实施例二提供的教学场景状态的确定装置结构示意图；如图2所示，其可以包括：

映射模块201，用于建立面部特征模板与教学场景状态模板之间的映射关系；

识别模块202，用于在采集到的课堂实时视频流中对不同的学生赋予身份ID号，并识别不同身份ID号所标示的学生在课堂实时视频流中的面部特征；

确定模块203，用于根据学生在课堂实时视频流中的面部特征以及所述映射关系，确定所述不同身份ID号所标示学生的教学场景状态。

可选地，在本发明的任一实施例中，所述确定模块203进一步用于根据身份ID号所标示的学生在课堂实时视频流中的面部特征的变化,对对应身份ID号所表示的学生对应的教学场景状态进行跟踪并记录跟踪到的的教学场景状态对应状态ID号。

可选地，在本发明的任一实施例中，确定装置还可以包括：更新模块(图中未示出)，用于根据从课堂实时视频流中提取的面部特征，对所述教学场景状态模板进行训练并更新。

可选地，在本发明的任一实施例中，确定装置还可以包括：统计模块(图中未示出)，用于根据给不同教学场景状态赋予的色块，对每一身份ID号所标示的学生的教学场景状态进行色块统计分析。

在图2实施例中，上述模块可以理解为在软件设计是的程序模块，上述程序模块的名称并非对其实现技术作用的唯一或者特别限定。

另外，图2中的确定装置可以设置在就别数据处理能力或者指令执行能力的处理器上，比如CPU或者MCU，而上述虚拟装置对应的指令可以存储在一存储介质上。

上述实施例中，仅仅只是说明，并不表示在具体实现时，上述实施例中的所有技术特征都是解决现有技术问题必须的技术特征。在可以解决或者缓解现有技术问题的前提下，本领域普通技术人员可以根据实际需要缺省部分技术特征。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，所述计算机可读记录介质包括用于以计算机(例如计算机)可读的形式存储或传送信息的任何机制。例如，机器可读介质包括只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪速存储介质、电、光、声或其他形式的传播信号(例如，载波、红外信号、数字信号等)等，该计算机软件产品包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本申请实施例的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

本领域的技术人员应明白，本发明实施例的实施例可提供为方法、装置(设备)、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

Claims (15)

1.一种教学场景状态的确定方法，其特征在于，包括：

建立面部特征模板与教学场景状态模板之间的映射关系；

识别不同身份ID号所标示的学生在课堂实时视频流中的面部特征；

根据学生在课堂实时视频流中的面部特征以及所述映射关系，确定所述不同身份ID号所标示学生的教学场景状态。

2.根据权利要求1所述的确定方法，其特征在于，识别不同身份ID号所标示的学生在课堂实时视频流中的面部特征包括：

对采集到的课堂实时视频流进行切分得到多帧图片，并检测含有正面人脸图像的图片；

根据图片中学生的正面人脸图像，识别不同身份ID号所标示的学生在课堂实时视频流中的面部特征。

3.根据权利要求2所述的确定方法，其特征在于，根据图片中学生的正面人脸图像，识别不同身份ID号所标示的学生在课堂实时视频流中的面部特征包括：从图片中学生的正面人脸图像上抽取面部特征，并将所述面部特征转换为机器语言。

4.根据权利要求3所述的确定方法，其特征在于，从图片中学生的正面人脸图像上抽取面部特征包括：根据不同面部特征在人脸图像上的位置和形状模型，从图片中学生的正面人脸图像上抽取对应的面部特征。

5.根据权利要求1所述的确定方法，其特征在于，建立面部特征模板与教学场景状态模板之间的映射关系包括：每一教学场景状态模板对应有面部特征模型，根据面部特征模板与不同教学场景状态模板的面部特征模型进行匹配，建立所述映射关系。

6.根据权利要求2所述的确定方法，其特征在于，检测含有正面人脸图像的图片包括：提取图片上像素点的灰度值，并根据设定的灰度值阈值对提取的灰度值进行二值化得到特征向量，并与面部特征向量模板进行匹配，以检测含有正面人脸图像的图片。

7.根据权利要求2所述的确定方法，其特征在于，每一个教学场景状态具有状态ID号；对应地，确定所述不同身份ID号所标示学生的教学场景状态包括：根据身份ID号所标示的学生在课堂实时视频流中的面部特征的变化,对对应身份ID号所表示的学生对应的教学场景状态进行跟踪并记录跟踪到的的教学场景状态对应状态ID号。

8.根据权利要求7所述的确定方法，其特征在于，对对应身份ID号所表示的学生对应的教学场景状态进行跟踪并记录跟踪到的教学场景状态对应状态ID号包括：循环遍历每一身份ID号所标示学生在多帧帧图片上的面部特征变化以对对应身份ID号所表示的学生对应的教学场景状态进行跟踪并记录跟踪到的的教学场景状态对应状态ID号。

9.根据权利要求1-8任一项所述的确定方法，其特征在于，还包括：根据给不同教学场景状态赋予的色块，对每一身份ID号所标示的学生的教学场景状态进行色块统计分析。

10.根据权利要求9所述的确定方法，其特征在于，还包括：根据从课堂实时视频流中提取的面部特征，对所述教学场景状态模板进行训练并更新。

11.根据权利要求10所述的确定方法，其特征在于，所述面部特征包括眼睛、眉毛以及嘴角中任一一种或多种的组合。

12.一种教学场景状态的确定装置，其特征在于，包括：

映射模块，用于建立面部特征模板与教学场景状态模板之间的映射关系；

识别模块，用于在采集到的课堂实时视频流中对不同的学生赋予身份ID号，并识别不同身份ID号所标示的学生在课堂实时视频流中的面部特征；

确定模块，用于根据学生在课堂实时视频流中的面部特征以及所述映射关系，确定所述不同身份ID号所标示学生的教学场景状态。

13.根据权利要求12所述的确定装置，其特征在于，所述确定模块进一步用于根据身份ID号所标示的学生在课堂实时视频流中的面部特征的变化,对对应身份ID号所表示的学生对应的教学场景状态进行跟踪并记录跟踪到的的教学场景状态对应状态ID号。

14.根据权利要求12所述的确定装置，其特征在于，还包括：更新模块，用于根据从课堂实时视频流中提取的面部特征，对所述教学场景状态模板进行训练并更新。

15.根据权利要求12所述的确定装置，其特征在于，还包括：统计模块，用于根据给不同教学场景状态赋予的色块，对每一身份ID号所标示的学生的教学场景状态进行色块统计分析。