CN111967739A - 一种基于专注度的在线授课方法和*** - Google Patents
一种基于专注度的在线授课方法和*** Download PDFInfo
- Publication number
- CN111967739A CN111967739A CN202010762941.4A CN202010762941A CN111967739A CN 111967739 A CN111967739 A CN 111967739A CN 202010762941 A CN202010762941 A CN 202010762941A CN 111967739 A CN111967739 A CN 111967739A
- Authority
- CN
- China
- Prior art keywords
- teaching
- concentration
- listening
- user
- facial features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000011156 evaluation Methods 0.000 claims abstract description 101
- 230000001815 facial effect Effects 0.000 claims abstract description 49
- 230000036544 posture Effects 0.000 claims abstract description 43
- 238000013527 convolutional neural network Methods 0.000 claims description 35
- 238000010801 machine learning Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 7
- 238000003066 decision tree Methods 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 208000003028 Stuttering Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- Health & Medical Sciences (AREA)
- Strategic Management (AREA)
- Educational Administration (AREA)
- General Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Educational Technology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Development Economics (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Business, Economics & Management (AREA)
- Artificial Intelligence (AREA)
- Marketing (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Game Theory and Decision Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Primary Health Care (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种基于专注度的在线授课方法和***。所述方法包括:采集用户在线听课时的面部特征和肢体姿态;基于所述面部特征和肢体姿态确定所述用户在线听课时各专注度评价指标的评估值;根据所述各专注度评价指标的评估值调整教学方式,并利用调整后的教学方式进行授课。本申请提供的技术方案,可以根据用户在线听课时的专注度情况提供不同的教学方式,能够提高在线教学的教学质量。
Description
技术领域
本发明涉及在线教育技术领域,特别是指一种基于专注度的在线授课方法和***。
背景技术
随着互联网多媒体技术的快速发展,基于网络的在线教育平台已经逐渐被人们接受。
现有的在线教育一般是基于知识图谱内容的教学,即:按照知识图谱搭建的教学方式进行相关内容的教学。这种在线教育方式忽略了学生主体,无法估计学生的上课状态,因此使得教学过程过于机械,影响了教学质量和教学效果。
发明内容
有鉴于此,本发明的主要目的在于提供一种基于专注度的在线授课方法和***,根据学生的专注度进行在线授课,以提高教学质量和教学效果。
本发明提供的一种基于专注度的在线授课方法,包括:
采集用户在线听课时的面部特征和肢体姿态;
基于所述面部特征和肢体姿态确定所述用户在线听课时各专注度评价指标的评估值;
根据所述各专注度评价指标的评估值调整教学方式,并利用调整后的教学方式进行授课。
由上,通过用户在线听课时的面部特征和肢体姿态确定出各专注度评价指标的评估值,再利用各专注度评价指标的评估值来调整教学方式。本步骤中,将用户听课时的专注度作为调整教学方式的参考量,从用户的状态出发,可以提高用户的学习效率,提升教学质量和教学效果。
作为第一方面的一种实现方式,所述采集用户在线听课时的面部特征和肢体姿态,包括:
利用单目摄像头、深度摄像头、红外摄像头中的一种或多种采集用户在线听课时的面部特征和肢体姿态。
由上,可以获得用户较为清晰的面部特征和肢体姿态。
作为第一方面的一种实现方式,所述基于所述面部特征和肢体姿态确定所述用户在线听课时各专注度评价指标的评估值,包括:
将所述面部特征和肢体姿态作为预先训练的卷积神经网络的输入层数据,获得所述预先训练的卷积神经网络输出的用户在线听课时各专注度评价指标的评估值。
由上,利用预先训练的卷积神经网络来获得用户在线听课时各专注度评价指标的评估值,可以提高各专注度评价指标的评估值的准确性并且可以节省大量时间,提高效率。
作为第一方面的一种实现方式,预先训练的卷积神经网络的输出层为基于SoftMax函数的输出层。
作为第一方面的一种实现方式,所述预先训练的卷积神经网络的获取过程,包括:
获取用户历史在线听课时的面部特征和肢体姿态及其对应的专注度评价指标的评估值;
将所述用户历史在线听课时的面部特征和肢体姿态作为卷积神经网络的输入层训练样本,将所述对应的专注度评价指标的评估值作为卷积神经网络的输出层样本,训练卷积神经网络,获得所述预先训练的卷积神经网络。
由上,通过训练该卷积神经网络,并将该卷积神经网络的输出层设为基于SoftMax函数的输出层,可以保证获得的各专注度评价指标的评估值的准确性。
作为第一方面的一种实现方式,所述根据所述各专注度评价指标的评估值调整教学方式,包括:
当所述各专注度评价指标的评估值满足预设条件时,所述教学方式为基于知识图谱生成的默认教学方式;
当所述各专注度评价指标的评估值不满足预设条件时,利用预先训练的机器学习模型确定教学方式。
由上,通过判断各专注度评价指标的评估值与预设条件间的关系来选择输出给用户的教学方式,可以提高用户的学习效率,保证教学质量。
作为第一方面的一种实现方式,所述预先训练的机器学习模型利用决策树、隐马尔可夫和深度学习算法进行训练。
由上,通过上述算法训练的机器学习模型,可以最大程度保证输出数据的准确性。
作为第一方面的一种实现方式,所述预先训练的机器学习模型的输入层数据为用户各专注度评价指标的评估值和所述基于知识图谱生成的默认教学方式;
所述预先训练的机器学习模型的输出层数据为调整后的教学方式。
由上,将用户各专注度评价指标的评估值和基于知识图谱生成的默认教学方式二者作为预先训练的机器学习模型的输入层数据,既考虑了用户专注度,又考虑了默认教学方式,保证了预先训练的机器学习模型输出的调整后的教学方式更为适合用户此时状态。
作为第一方面的一种实现方式,所述教学方式包括:
教学文本、教学顺序、教学声调、教学语速、虚拟教师影像的表情。
由上,多方面考虑了教学方式,可以提供给用户多样的定制化教学方式,以满足用户当时的状态,提高学习效率。
一种基于专注度的在线授课***,包括:
特征采集模块,用于采集用户在线听课时的面部特征和肢体姿态;
专注度确定模块,用于基于所述面部特征和肢体姿态确定所述用户在线听课时各专注度评价指标的评估值;
教学调整模块,用于根据所述各专注度评价指标的评估值调整教学方式,并利用调整后的教学方式进行授课。
综上,本发明可以解决下述问题:通过考虑学生的听课专注度来进行适应性授课,提高学生学习效率,提升教学质量。
附图说明
图1为本申请实施例提供的一种基于专注度的在线授课方法的流程图;
图2为本申请实施例提供的一种基于专注度的在线授课***的结构示意图;
图3为本申请实施例提供的一种计算设备的结构示意图。
具体实施方式
为了便于理解本申请,下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的首选实施例。但是,本申请可以以许多不同的形式来实现,并不局限于本文所描述的实施例。相反地,提供这些实施例的目的是使本申请的公开内容更加透彻全面。
在以下的描述中,所涉及的术语“第一\第二\第三等”或模块A、模块B、模块C等,仅用于区别类似的对象,不代表针对对象的特定排序,可以理解地,在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
在以下的描述中,所涉及的表示步骤的标号,如S100、S200……等,并不表示一定会按此步骤执行,在允许的情况下可以互换前后步骤的顺序,或同时执行。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中使用的属于只是为了描述具体的实施例的目的,不是旨在限制本申请。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
如图1所示,本申请的其中一个实施例提供了一种基于专注度的在线授课方法。该方法包括下述步骤:
S100:采集用户在线听课时的面部特征和肢体姿态;
S200:基于所述面部特征和肢体姿态确定所述用户在线听课时各专注度评价指标的评估值;
S300:根据所述各专注度评价指标的评估值调整教学方式,并利用调整后的教学方式进行授课。
在步骤S100中,可以通过调用摄像头等图像采集设备采集用户在线听课时的面部特征和肢体姿态。本步骤中所用的摄像头可以为单目摄像头、深度摄像头、红外摄像头等中的一种或多种。另外,本步骤中所使用的摄像头还可以根据用户所使用的听课设备来决定。例如:用户使用手机进行听课,此时摄像头可以为手机前置摄像头;用户使用平板电脑进行听课,此时摄像头可以为平板电脑前置摄像头;用户使用笔记本电脑进行听课,此时摄像头可以为笔记本电脑内嵌摄像头;用户使用台式机进行听课,此时摄像头可以为台式机外接摄像头等。
在本实施例中,采集的面部特征可以包括但不局限于面部位置、面部表情、眼睛方向、面部关键点和/或面部关键区域等;采集的肢体姿态可以包括但不局限于用户的坐姿、头部朝向、手部的摆放位置和/或手部的摆放姿势等。
为了方便操作,在本实施例中,可以通过图像采集设备(摄像头)对用户听课时的正面相关区域(上半身)拍照或录像,以获得用户在线听课时的面部特征和肢体姿态。在本步骤中,通过在不同的应用场景下,根据实际需要选用单目摄像头、深度摄像头、红外摄像头中的一种或多种,可以保证采集到的图像的质量受环境影响较小,扩大了本申请的适应场景。
其中,由于面部特征相比姿态特征为局部范围,因此,较佳的是至少使用一分辨率高的摄像头仅采集和截取面部特征,使用一分辨率低的摄像头采集姿态特征,这样可以在较少的数据情况下可以获得姿态特征又能获得足够清晰的面部特征数据。
另一方面,还可以借助不同种类的摄像头,以采集到不同种类的复合数据(如可见光数据与红外数据的复合数据),以便于神经网络对特征数据的识别与获取。
在步骤S200中,可以将步骤S100中采集到的用户在线听课时的面部特征和肢体姿态作为预先训练的卷积神经网络(CNN)的输入层数据,以获得该卷积神经网络输出层数据,即用户在线听课时各专注度评价指标的评估值。在本步骤中,该卷积神经网络输入层图像可以为3通道或复合红外通道的捕捉图像。优选的,输入层图像的分辨率应不小于256*256标准,且以单通道图像像素值为最小输入向量。该卷积神经网络输出层是基于SoftMax函数的输出层。另外,在本步骤中,专注度评价指标可以包括但不局限于集中度、分散度、思考度、活跃度和发呆度等,该专注度评价指标为多角度测评用户当前学习状态的专注度标签,各评价指标间可以为互斥关系和/或近似关系。优选的,专注度评价指标的评估值的取值区间为[0,1]之间的任意值,在本实施例中,该取值保留小数点后6位。
另外,本实施例还提供了步骤S200中预先训练的卷积神经网络的获取过程,该过程包括:首先,获取用户历史在线听课时的面部特征和肢体姿态及其对应的专注度评价指标的评估值。然后,将该用户历史在线听课时的面部特征和肢体姿态作为卷积神经网络的输入层训练样本,将该对应的专注度评价指标的评估值作为卷积神经网络的输出层样本,训练卷积神经网络,以获得预先训练的卷积神经网络。具体的,用户历史在线听课时的面部特征和肢体姿态及其对应的专注度评价指标的评估值可以在训练卷积神经网络之前,通过对用户进行观察或调查并进行分析记录获得;也可以利用模拟仿真软件来仿真分析获得。
在步骤S300中,可以将多种教学方式预存于在线教育平台,一般情况下,默认的教学方式为基于知识图谱的教学方式。因此,当步骤S200中获得的各专注度评价指标的评估值满足预设条件时,教学方式采用基于知识图谱生成的默认教学方式。当步骤S200中获得的各专注度评价指标的评估值不满足预设条件时,可以利用预先训练的机器学习模型确定教学方式,以得到更适合用户当前专注度的教学方式。在本实施例中,预先训练的机器学习模型利用决策树、隐马尔可夫和深度学习算法进行训练。该预先训练的机器学习模型的输入层数据为用户各专注度评价指标的评估值和基于知识图谱生成的默认教学方式,此处基于知识图谱生成的默认教学方式为根据预设的教案内容下一时刻即将输出的教学内容。该预先训练的机器学习模型的输出层数据为调整后的教学方式。在本实施例中,教学方式可以包括但不局限于教学文本、教学顺序、教学声调、教学语速、虚拟教师影像的表情、虚拟教师影像的肢体动作等。
下面,提供一种基于专注度的在线授课场景下的具体实现方式。首先需要说明的是,本实施例的授课场景可以分为问答场景和听课场景,下面提供两种场景下授课的具体实现方式。
在问答场景下:
通过语音识别技术获得用户提出的问题并将该问题转化为文本数据。根据该文本数据并结合知识图谱计算出该问题的答案与答案解析,通过语音和影像的形式将该答案与答案的解析输出给用户。
在本实施例中,语音识别可以通过选用通用ASR功能的语音识别模块来进行语音识别。文本数据可以为中文、英文、中英文混合等,也可以为其它语言的文本数据。
在听课场景下:
利用摄像头等图像采集设备采集用户在线听课时的面部特征和肢体姿态的图像。其中,摄像头可以根据用户所使用的不同设备进行选择,比如:手机前置摄像头、笔记本电脑内嵌摄像头、台式电脑外接摄像头等。
将采集到的用户在线听课时的面部特征和肢体姿态的图像输入至预先训练的卷积神经网络中,通过该预先训练的卷积神经网络的处理,获得用户在线听课时专注度标签的评估值。该专注度标签用来评价用户的专注度,即为专注度评价指标。在本实施例中,专注度标签可以包括互斥标签和近似标签。
判断用户在线听课时专注度标签的评估值是否达到预设的条件,如果达到预设的条件,则采用基于知识图谱生成的默认的教学方式进行教学。如果未达到预设的条件,则将专注度评价指标的评估值和基于知识图谱的原本即将输出的授课方式作为预先训练的机器学习模型的输入,通过该预先训练的机器学习模型进行处理,获得调整后的教学方式并利用该调整后的教学方式进行授课。
如图2所示,基于上述实施例的同一构思,本申请的另外一实施例提供一种基于专注度的在线授课***,该***包括:
特征采集模块,用于采集用户在线听课时的面部特征和肢体姿态;
专注度确定模块,用于基于所述面部特征和肢体姿态确定所述用户在线听课时各专注度评价指标的评估值;
教学调整模块,用于根据所述各专注度评价指标的评估值调整教学方式,并利用调整后的教学方式进行授课。
所述特征采集模块,具体用于:利用单目摄像头、深度摄像头、红外摄像头中的一种或多种采集用户在线听课时的面部特征和肢体姿态。
所述专注度确定模块,具体用于:将所述面部特征和肢体姿态作为预先训练的卷积神经网络的输入层数据,获得所述预先训练的卷积神经网络输出的用户在线听课时各专注度评价指标的评估值。
在所述专注度确定模块中,预先训练的卷积神经网络的输出层为基于SoftMax函数的输出层。
所述教学调整模块,具体用于:当所述各专注度评价指标的评估值满足预设条件时,所述教学方式为基于知识图谱生成的默认教学方式;当所述各专注度评价指标的评估值不满足预设条件时,利用预先训练的机器学习模型确定教学方式。
在所述教学调整模块中,预先训练的机器学习模型利用决策树、隐马尔可夫和深度学习算法进行训练。
在所述教学调整模块中,教学方式包括:
教学文本、教学顺序、教学声调、教学语速、虚拟教师影像的表情、虚拟教师影像的肢体动作。
本申请的另外一个实施例还提供一种服务器,包括上述实施例所述的基于专注度的在线授课方法。
如图3所示,是本申请实施例提供的一种计算设备5000的结构性示意性图。该计算设备5000包括:处理器5010、存储器5020、通信接口5030、总线5040。
应理解,该图所示的计算设备5000中的通信接口5030可以用于与其他设备之间进行通信。
其中,该处理器5010可以与存储器5020连接。该存储器5020可以用于存储该程序代码和数据。因此,该存储器5020可以是处理器5010内部的存储单元,也可以是与处理器5010独立的外部存储单元,还可以是包括处理器5010内部的存储单元和与处理器5010独立的外部存储单元的部件。
可选的,计算设备5000还可以包括总线5040。其中,存储器5020、通信接口5030可以通过总线5040与处理器5010连接。总线5040可以是外设部件互连标准(PeripheralComponent Interconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。所述总线5040可以分为地址总线、数据总线、控制总线等。为便于表示,该图中仅用一条线表示,但并不表示仅有一根总线或一种类型的总线。
应理解,在本申请实施例中,该处理器5010可以采用中央处理单元(centralprocessing unit,CPU)。该处理器还可以是其它通用处理器、数字信号处理器(digitalsignal processor,DSP)、专用集成电路(application specific integrated circuit,ASIC)、现成可编程门阵列(field programmable gate Array,FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。或者该处理器5010采用一个或多个集成电路,用于执行相关程序,以实现本申请实施例所提供的技术方案。
该存储器5020可以包括只读存储器和随机存取存储器,并向处理器5010提供指令和数据。处理器5010的一部分还可以包括非易失性随机存取存储器。例如,处理器5010还可以存储设备类型的信息。
在计算设备5000运行时,所述处理器5010执行所述存储器5020中的计算机执行指令执行上述方法的操作步骤。
应理解,根据本申请实施例的计算设备5000可以对应于执行根据本申请各实施例的方法中的相应主体,并且计算设备5000中的各个模块的上述和其它操作和/或功能分别为了实现本实施例各方法的相应流程,为了简洁,在此不再赘述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的***、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时用于执行基于专注度的在线授课方法,该方法包括上述各个实施例所描述的方案中的至少之一。
本申请实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是,但不限于,电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括、但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解,本申请不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此,虽然通过以上实施例对本申请进行了较为详细的说明,但是本申请不仅仅限于以上实施例,在不脱离本申请构思的情况下,还可以包括更多其他等效实施例,均属于本申请保护范畴。
Claims (10)
1.一种基于专注度的在线授课方法,其特征在于,所述方法包括:
采集用户在线听课时的面部特征和肢体姿态;
基于所述面部特征和肢体姿态确定所述用户在线听课时各专注度评价指标的评估值;
根据所述各专注度评价指标的评估值调整教学方式,并利用调整后的教学方式进行授课。
2.根据权利要求1所述的方法,其特征在于,所述采集用户在线听课时的面部特征和肢体姿态,包括:
利用单目摄像头、深度摄像头、红外摄像头中的一种或多种采集用户在线听课时的面部特征和肢体姿态。
3.根据权利要求1所述的方法,其特征在于,所述基于所述面部特征和肢体姿态确定所述用户在线听课时各专注度评价指标的评估值,包括:
将所述面部特征和肢体姿态作为预先训练的卷积神经网络的输入层数据,获得所述预先训练的卷积神经网络输出的用户在线听课时各专注度评价指标的评估值。
4.根据权利要求3所述的方法,其特征在于,所述预先训练的卷积神经网络的输出层为基于SoftMax函数的输出层。
5.根据权利要求3所述的方法,其特征在于,所述预先训练的卷积神经网络的获取过程,包括:
获取用户历史在线听课时的面部特征和肢体姿态及其对应的专注度评价指标的评估值;
将所述用户历史在线听课时的面部特征和肢体姿态作为卷积神经网络的输入层训练样本,将所述对应的专注度评价指标的评估值作为卷积神经网络的输出层样本,训练卷积神经网络,获得所述预先训练的卷积神经网络。
6.根据权利要求1所述的方法,其特征在于,所述根据所述各专注度评价指标的评估值调整教学方式,包括:
当所述各专注度评价指标的评估值满足预设条件时,所述教学方式为基于知识图谱生成的默认教学方式;
当所述各专注度评价指标的评估值不满足预设条件时,利用预先训练的机器学习模型确定教学方式。
7.根据权利要求6所述的方法,其特征在于,所述预先训练的机器学习模型利用决策树、隐马尔可夫和深度学习算法进行训练。
8.根据权利要求7所述的方法,其特征在于,所述预先训练的机器学习模型的输入层数据为用户各专注度评价指标的评估值和所述基于知识图谱生成的默认教学方式;
所述预先训练的机器学习模型的输出层数据为调整后的教学方式。
9.根据权利要求1所述的方法,其特征在于,所述教学方式包括:
教学文本、教学顺序、教学声调、教学语速、虚拟教师影像的表情、虚拟教师影像的肢体动作。
10.一种基于专注度的在线授课***,其特征在于,所述***包括:
特征采集模块,用于采集用户在线听课时的面部特征和肢体姿态;
专注度确定模块,用于基于所述面部特征和肢体姿态确定所述用户在线听课时各专注度评价指标的评估值;
教学调整模块,用于根据所述各专注度评价指标的评估值调整教学方式,并利用调整后的教学方式进行授课。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010762941.4A CN111967739A (zh) | 2020-07-31 | 2020-07-31 | 一种基于专注度的在线授课方法和*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010762941.4A CN111967739A (zh) | 2020-07-31 | 2020-07-31 | 一种基于专注度的在线授课方法和*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111967739A true CN111967739A (zh) | 2020-11-20 |
Family
ID=73363033
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010762941.4A Pending CN111967739A (zh) | 2020-07-31 | 2020-07-31 | 一种基于专注度的在线授课方法和*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111967739A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114548732A (zh) * | 2022-02-17 | 2022-05-27 | 上海高顿教育科技有限公司 | 一种基于深度学习的直播课程评价方法 |
CN116416097A (zh) * | 2023-06-02 | 2023-07-11 | 成都优学家科技有限公司 | 一种基于多维教学模型的教学方法、***及设备 |
CN117615182A (zh) * | 2024-01-23 | 2024-02-27 | 江苏欧帝电子科技有限公司 | 基于参与人数进行直播及互动动态切换方法、***及终端 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140122415A (ko) * | 2013-04-10 | 2014-10-20 | 주식회사 에듀엠월드 | 학습컨텐츠 생성방법 및 이를 이용한 학습관리 시스템 및 방법 |
CN110069707A (zh) * | 2019-03-28 | 2019-07-30 | 广州创梦空间人工智能科技有限公司 | 一种人工智能自适应互动教学*** |
CN111353439A (zh) * | 2020-03-02 | 2020-06-30 | 北京文香信息技术有限公司 | 一种教学行为的分析方法、装置、***及设备 |
CN111369408A (zh) * | 2020-03-06 | 2020-07-03 | 昆明医科大学第一附属医院 | 一种医院本科实习生教学管理***及方法 |
-
2020
- 2020-07-31 CN CN202010762941.4A patent/CN111967739A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140122415A (ko) * | 2013-04-10 | 2014-10-20 | 주식회사 에듀엠월드 | 학습컨텐츠 생성방법 및 이를 이용한 학습관리 시스템 및 방법 |
CN110069707A (zh) * | 2019-03-28 | 2019-07-30 | 广州创梦空间人工智能科技有限公司 | 一种人工智能自适应互动教学*** |
CN111353439A (zh) * | 2020-03-02 | 2020-06-30 | 北京文香信息技术有限公司 | 一种教学行为的分析方法、装置、***及设备 |
CN111369408A (zh) * | 2020-03-06 | 2020-07-03 | 昆明医科大学第一附属医院 | 一种医院本科实习生教学管理***及方法 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114548732A (zh) * | 2022-02-17 | 2022-05-27 | 上海高顿教育科技有限公司 | 一种基于深度学习的直播课程评价方法 |
CN116416097A (zh) * | 2023-06-02 | 2023-07-11 | 成都优学家科技有限公司 | 一种基于多维教学模型的教学方法、***及设备 |
CN116416097B (zh) * | 2023-06-02 | 2023-08-18 | 成都优学家科技有限公司 | 一种基于多维教学模型的教学方法、***及设备 |
CN117615182A (zh) * | 2024-01-23 | 2024-02-27 | 江苏欧帝电子科技有限公司 | 基于参与人数进行直播及互动动态切换方法、***及终端 |
CN117615182B (zh) * | 2024-01-23 | 2024-04-26 | 江苏欧帝电子科技有限公司 | 一种直播互动动态切换方法、***及终端 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11062090B2 (en) | Method and apparatus for mining general text content, server, and storage medium | |
CN109614934B (zh) | 在线教学质量评估参数生成方法及装置 | |
CN111967739A (zh) | 一种基于专注度的在线授课方法和*** | |
EP3989104A1 (en) | Facial feature extraction model training method and apparatus, facial feature extraction method and apparatus, device, and storage medium | |
CN111767366B (zh) | 问答资源挖掘方法、装置、计算机设备及存储介质 | |
CN114419736B (zh) | 一种实验评分方法、***、设备及可读存储介质 | |
CN111079554A (zh) | 分析学生课堂表现的方法、装置、电子设备、及存储介质 | |
CN111738041A (zh) | 一种视频分割方法、装置、设备及介质 | |
CN105516280A (zh) | 一种多模态学习过程状态信息压缩记录方法 | |
WO2022188697A1 (zh) | 提取生物特征的方法、装置、设备、介质及程序产品 | |
CN111475627B (zh) | 解答推导题目的检查方法、装置、电子设备及存储介质 | |
CN112631436B (zh) | 输入法敏感词的过滤方法及装置 | |
CN110825867A (zh) | 相似文本推荐方法、装置、电子设备和存储介质 | |
CN115205764B (zh) | 基于机器视觉的在线学习专注度监测方法、***及介质 | |
CN112926525A (zh) | 情绪识别方法、装置、电子设备和存储介质 | |
CN113505786A (zh) | 试题拍照评判方法、装置及电子设备 | |
CN113723530A (zh) | 基于视频分析和电子心理沙盘的智能心理评估*** | |
CN115131867A (zh) | 基于学生学习效率检测方法、***、设备及介质 | |
CN110765241B (zh) | 推荐题的超纲检测方法、装置、电子设备和存储介质 | |
CN114885216A (zh) | 习题推送方法、***、电子设备和存储介质 | |
CN114419514B (zh) | 一种数据处理方法、装置、计算机设备及存储介质 | |
CN116029968A (zh) | 猴痘感染皮肤图像检测方法和装置、电子设备及存储介质 | |
CN115171042A (zh) | 一种学生课堂行为的识别方法、装置、终端设备及介质 | |
US10255906B2 (en) | Sensors and analytics for reading comprehension | |
US20240118745A1 (en) | Describing content entities for visually impaired users of augmented reality applications |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |