CN107832740A - 一种远程教学的教学质量评估方法及*** - Google Patents
一种远程教学的教学质量评估方法及*** Download PDFInfo
- Publication number
- CN107832740A CN107832740A CN201711213743.7A CN201711213743A CN107832740A CN 107832740 A CN107832740 A CN 107832740A CN 201711213743 A CN201711213743 A CN 201711213743A CN 107832740 A CN107832740 A CN 107832740A
- Authority
- CN
- China
- Prior art keywords
- expression
- intensity
- image
- facial
- quality evaluation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 30
- 230000014509 gene expression Effects 0.000 claims abstract description 76
- 230000008921 facial expression Effects 0.000 claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 40
- 230000001815 facial effect Effects 0.000 claims abstract description 17
- 208000019901 Anxiety disease Diseases 0.000 claims abstract description 10
- 230000036506 anxiety Effects 0.000 claims abstract description 10
- 238000007405 data analysis Methods 0.000 claims abstract description 3
- 238000012549 training Methods 0.000 claims description 13
- 238000007637 random forest analysis Methods 0.000 claims description 12
- 238000000611 regression analysis Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000010008 shearing Methods 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 3
- 210000000744 eyelid Anatomy 0.000 claims description 3
- 210000001747 pupil Anatomy 0.000 claims description 3
- 238000003066 decision tree Methods 0.000 description 5
- 230000007547 defect Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06395—Quality analysis or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Strategic Management (AREA)
- Educational Administration (AREA)
- Tourism & Hospitality (AREA)
- Economics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Development Economics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Entrepreneurship & Innovation (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Marketing (AREA)
- Educational Technology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
- Game Theory and Decision Science (AREA)
- Quality & Reliability (AREA)
- Primary Health Care (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Operations Research (AREA)
Abstract
一种远程教学的教学质量评估方法及***，首先获取各学习端的拍摄装置所拍摄的学习者学习时的面部的表情图像，然后分别对各个拍摄装置的表情图像进行处理，对任一个拍摄装置的表情图像进行处理的方法如下：先将表情图像进行表情分类处理，再将表情图像输入至分类到的表情所对应的强度处理子模型进行处理，得到分类到的表情的强度，其中一个表情分类下的强度处理子模型中具有该表情分类的多个强度，再根据预设的转换关系，将得到的各表情分类以及对应的表情的强度进行整体数据分析，得到教学质量评估指标。本发明基于表情识别做出表情强度的估计，准确获知学习者在学习时高兴、疑惑、焦虑的程度，能够更加准确的反映出学习者的学习状态以及教学质量的好坏。
Description
技术领域
本发明涉及领域远程教学领域，更具体地说，涉及一种远程教学的教学质量评估方法及***。
背景技术
目前，一些在线教育***中添加了能够识别表情的辅助***，实时的获取学习者的面部表情，以此判断出学习者的情感状态，继而了解学习者的学习状态，并对此提出相应的情感支持策略。这些辅助***只是对基本的表情类别进行粗略的分类，比如开心、疑惑、害怕、伤心、吃惊等，并未基于表情识别做出表情强度的估计，因此无法准确获知学习者在学习时愉悦或疑惑的程度，缺陷在于不能反映出学习者对问题的理解程度。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述现有的辅助***未基于表情识别做出表情强度的估计，无法准确获知学习者在学习时愉悦或疑惑的程度，不能反映出学习者对问题的理解程度缺陷，提供一种远程教学的教学质量评估方法及***。
本发明解决其技术问题，所采用的种远程教学的教学质量评估方法包含如下步骤：
S1、获取各学习端的拍摄装置所拍摄的学习者学习时的面部的表情图像；
S2、分别对各个拍摄装置的表情图像进行处理；对任一个拍摄装置的表情图像进行处理的方法如下：先将表情图像进行表情分类处理，再将表情图像输入至分类到的表情所对应的强度处理子模型进行处理，得到分类到的表情的强度，其中一个表情分类下的强度处理子模型中具有该表情分类的多个强度；
S3、根据预设的转换关系，将步骤S2得到各表情分类以及对应的表情的强度进行整体数据分析，得到教学质量评估指标。
在本发明的教学质量评估方法的步骤S2中的表情分类由高兴、疑惑、及焦虑组成，强度处理子模型是指高兴强度处理子模型、疑惑强度处理子模型、焦虑强度处理子模型三种之一。
在本发明的教学质量评估方法中，还包括分别训练各个强度处理子模型的步骤，任意一个强度处理子模型的训练步骤包括：
A1、获取某一表情分类下的用于训练的包含人面部分的表情数据库，所述表情数据库包含具有面部表情强度标签的数据库与无面部表情强度标签的数据库；
A2、对所述表情数据库中的图像数据进行预处理，提取出人面部分的数据；
A3、对提取出的人面部分的数据分别进行面部几何特征、局部二值模式和Gabor小波变换三种模式的特征提取；
A4、分别使用全监督模式、半监督模式和无监督模式对步骤A3输出的数据进行训练，得到特征与面部表情强度的关系；
A5、将所述训练后形成的数据分别作为序数随机森林算法的输入进行训练，分别得出面部表情强度处理子模型，将k1*B1+k2*B2+k3*B3作为最终的面部表情强度计算模型，其中系数k1、k2、k3的取值范围均为(0，1)，且k1+k2+k3＝1，B1、B2、B3分别为同一输入条件下全监督模式、半监督模式和无监督模式对应的输出值；
其中，全监督模式是指采用带有强度标签的图像数据作为该模式的表情数据库进行训练；半监督模式是指采用部分带有强度标签部分不带有强度标签的图像数据作为该模式的表情数据库进行训练；无监督模式是指采用不带有强度标签的图像数据作为该模式的表情数据库进行训练。
在本发明的教学质量评估方法中，步骤A2中预处理包括：人脸特征点定位、人脸识别、图像剪切和直方图均衡化；方案采用主动形状模型ASM获取面部特征点，利用瞳孔间的连线与水平线的夹角，旋转图像使得瞳孔间连线为水平，之后调用OpenCV库中人脸识别框架获取图像数据中人面部分，并且剪切面部区域为M*N像素，最后对剪切后的所有图像数据进行直方图均衡化处理；其中，M、N均为正整数且均大于3。
在本发明的教学质量评估方法中，步骤A3中还包括步骤：采用主成分分析方法，分别对三种模式提取的特征进行处理以降低特征数据的维度。
在本发明的教学质量评估方法中，步骤A3中对于任意一帧：是以该帧中下巴与鼻尖的像素间距离为标准值，将嘴角、下巴、眼角、上下眼皮之间的像素间的相互距离与该帧的标准值的比值作为面部几何特征。
在本发明的教学质量评估方法中，步骤A3中采用局部二值模式提取图像特征时，具体是指将步骤A2中提取出的人面部分的数据分割得到的面部图像均匀分为P*Q块，得到P*Q块(M/P)*(N/Q)的区域，对每一区域进行3*3邻域像素的处理，对比所有像素临近的8个像素的灰度值，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0，得到8个二进制数，将8位二进制数转换为10进制，得到该像素点的LBP值，最终按行拼接P*Q块图像的LBP值，得到图像的局部二值模式特征；其中，P、Q、M、N均为正整数，M、N分别为人面部分的图像数据的横向、纵向的像素大小。
在本发明的教学质量评估方法中，步骤A3中采用Gabor小波变换进行特征提取具体是指，将剪切后形成的M*N像素的面部图像进行多尺度多方向的Gabor小波变换，每幅图像得到(V*R)*M*N维的特征,V为尺度数，R为方向数。
在本发明的教学质量评估方法中，序数随机森林算法中：对于参与训练的数据库中的图像序列中每一帧，首先进行序数回归分析，预测该帧在各个强度值上的分布比，然后在随机森林算法对该图像序列中的帧进行回归分析时，对每个决策树得到的强度值Q进行加权，所加权重为该帧在单独进行序数回归分析时，分析结果中强度值Q所占的比例。
本发明为解决其技术问题，还提供了一种远程教学的教学质量评估***，该***采用如上述的任意一种教学质量评估方法获取远程教学的教学质量。
实施本发明的远程教学的教学质量评估方法及***，首先获取各学习者面部的表情图像，分别对各个拍摄装置的表情图像进行处理，先将表情图像进行表情分类处理，再将表情图像输入至分类到的表情所对应的强度处理子模型进行处理，得到分类到的表情的强度，根据预设的转换关系，到各表情分类以及对应的表情的强度进行整体数据分析，得到教学质量评估指标。本发明基于表情识别做出表情强度的估计，准确获知学习者在学习时高兴、疑惑、焦虑的程度，能够更加准确的反映出学习者的学习状态以及教学质量的好坏。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明的远程教学的教学质量评估方法的一实施例的流程图；
图2是本发明的远程教学的教学质量评估方法中的强度处理子模型的训练流程图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
参考图1，其为本发明的远程教学的教学质量评估方法的一实施例的流程图，在本实施例中该获取方法包含如下步骤：
S1、获取各学习端的拍摄装置所拍摄的学习者学习时的面部的表情图像。对于学习者而言，学习可以通过电脑或者手机进行，然后通过电脑配置的摄像头或者手机上安装的摄像头获取学习者的面部的表情图像，并优选的在学习时实时获取学习者的面部的表情图像，拍摄装置可被位于远程的授课端控制，以进行打开。
S2、分别对各个拍摄装置的表情图像进行处理；对任一个拍摄装置的表情图像进行处理的方法如下：S21、先将表情图像进行表情分类处理，S22、再将表情图像输入至分类到的表情所对应的强度处理子模型进行处理，得到分类到的表情的强度，其中强度处理子模型中一个表情分类下具有该表情分类的多个强度。在本实施例中，在获取到各学习端的学习者的面部图像数据后，将表情图像进行表情分类处理，分类的所有类型包括：高兴、疑惑、焦虑，相应的，存在与之一一对应的强度处理子模型：高兴强度处理子模型、疑惑强度处理子模型、焦虑强度处理子模型。所有的表情分类组合起来应该可以概括出学习学习时所有的学习好坏的可能情况，在本实施例中每个表情分类下具有6个强度值，分别记为0-5。各个学习端的数据可以并行或者串行处理，处理后分别得到各个学习端的表情分类以及对应的表情的强度，如以高兴.2表示高兴表情分类下的强度值2。
S3、根据预设的转换关系，将步骤S2得到各表情分类以及对应的表情的强度进行整体数据分析，得到教学质量评估指标。本实施例中，如焦虑.0至焦虑.5依次记为分数0至5，疑惑.0至疑惑.5依次记为分数6至11，高兴.0至高兴.5依次记为分数12至17，得出每个客户端的分数后，把在同一时刻的客户端的分数求平均值，该平均值的大小即可作为教学质量评估指标，该值越大教学质量越好。应当理解的是，本发明不限于此种实现方式。
如图2所示，其为本发明的远程教学的教学质量评估方法中的强度处理子模型的训练流程图。下述仅以高兴表情分类所对应的高兴强度处理子模型的训练形成方法为例进行说明，其他表情分类的处理方式与此相同，下述不再进行重复叙述。
A1、获取高兴表情分类下用于训练的包含人面部分的表情数据库，数据库包含具有面部表情强度标签的数据库与无面部表情强度标签的数据库。数据库是人工采集的包含不同学习者三种表情(高兴、疑惑、焦虑)的图像序列，并且由专业人员制作图像序列每一帧对应的强度标签和分类标签，然后作为表情数据库用于训练。
A2、对表情数据库中的图像数据进行预处理，提取出人面部分的数据。在本步骤中，由于在数据库中图像数据所包含的用户的头部姿势、拍摄光照强度等因素会导致图像质量有差别，因此首先要进行图像预处理，包括人脸特征点定位、人脸识别、图像剪切和直方图均衡化。方案采用主动形状模型ASM获取面部特征点，利用瞳孔间的连线与水平线的夹角，旋转图像使得瞳孔间连线为水平，之后采用OpenCV库中人脸识别框架获取图像中人面部分，并剪切面部区域为100*100像素，最后对所有图像数据进行直方图均衡化处理，以此减弱光照等干扰因素的影响。
S3、对提取出的人面部分的数据分别进行面部几何特征、局部二值模式和Gabor小波变换三种模式的特征提取，然后采用主成分分析方法，分别对三种模式提取的特征进行处理以降低特征数据的维度。本实施例对于任意一帧以下巴与鼻尖的距离为标准，将嘴角、下巴、眼角、上下眼皮之间的相互距离与该帧的标准的比值作为面部几何特征；对于任意两帧，其各自的标准值可能相同，也可能不同，具体视每一帧中内容而定。局部二值模式提取图像特征时，将前面步骤分割得到的100*100的面部图像均匀分为5*5块，得到25块20*20的区域，对每一区域进行3*3邻域像素的处理，即对比所有像素临近的8个像素的灰度值，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0，得到8个二进制数，将8位二进制数转换为10进制，得到该像素点的LBP值，最终按行拼接25块图像的LBP值，得到图像的局部二值模式特征。在提取图像Gabor小波变换特征时，我们将100*100的面部图像进行5尺度(v＝0，1，2，3，4)8方向的Gabor小波变换，每幅图像得到40*100*100维的特征。由于三种特征维度较高，计算量大，本实施例采用主成分分析方法，将高维特征映射到低维空间中，并保留每类特征95％的能量，达到降低特征维度，减少计算量的目的。最后，我们将降维后的特征用于后续步骤的学习训练。
A4、分别使用全监督模式、半监督模式和无监督模式对步骤S3输出的数据进行训练，得到特征与面部表情强度的关系。全监督模式是指采用带有强度标签的图像数据作为该模式的表情数据库；半监督模式是指，采用部分带有强度标签部分不带有强度标签的图像数据作为该模式的表情数据库；无监督模式是指，采用不带有强度标签的图像数据作为该模式的表情数据库。在无监督试验中，利用训练用的数据库中的某一帧距离顶点帧的相对距离来计算该帧的相对强度值，具体做法是：图像序列的每一帧均有一个序列号j，将图像序列的起点帧(序列号为1)和顶点帧(序列号为p)的强度分别标识为MIN和MAX(本实施例中MIN＝0，MAX＝10)，那么图像序列中序列号为j的帧的强度Q定义为其中δ表示预设的常数，m为图像序列长度。
A5、将所述训练后形成的数据分别作为序数随机森林算法的输入进行训练，分别得出面部表情强度处理子模型，将k1*B1+k2*B2+k3*B3作为最终的面部表情强度计算模型，其中系数k1、k2、k3的取值范围均为(0，1)，且k1+k2+k3＝1，B1、B2、B3分别为同一输入条件下全监督模式、半监督模式和无监督模式对应的输出值。在训练表情强度估计模型时，我们秉承了传统机器学***均值。而序数回归是利用序列的顺序关系进行回归分析，不考虑序列的值(也就是随机森林回归分析时所关心的强度值信息)。本发明将两者结合，对于图像序列中某一帧，首先进行序数回归分析，预测该帧的强度值在MIN～MAX之间的分布比，然后在随机森林对图像序列中任意一帧进行回归分析时，对每个决策树得到的强度值Q进行加权，所加权重为该帧在单独进行序数回归分析时，分析结果中强度值Q所占的比例。本实施例通过寻找最优的参数和回归范围等，训练出了既注重标签信息又注重图像序列关系的模型。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。
Claims (10)
1.一种远程教学的教学质量评估方法，其特征在于，包含如下步骤：
S1、获取各学习端的拍摄装置所拍摄的学习者学习时的面部的表情图像；
S2、分别对各个拍摄装置的表情图像进行处理；对任一个拍摄装置的表情图像进行处理的方法如下：先将表情图像进行表情分类处理，再将表情图像输入至分类到的表情所对应的强度处理子模型进行处理，得到分类到的表情的强度，其中一个表情分类下的强度处理子模型中具有该表情分类的多个强度；
S3、根据预设的转换关系，将步骤S2得到各表情分类以及对应的表情的强度进行整体数据分析，得到教学质量评估指标。
2.根据权利要求1所述的教学质量评估方法，其特征在于，步骤S2中的表情分类由高兴、疑惑、及焦虑组成，强度处理子模型是指高兴强度处理子模型、疑惑强度处理子模型、焦虑强度处理子模型三种之一。
3.根据权利要求1所述的教学质量评估方法，其特征在于，还包括分别训练各个强度处理子模型的步骤，任意一个强度处理子模型的训练步骤包括：
A1、获取某一表情分类下的用于训练的包含人面部分的表情数据库，所述表情数据库包含具有面部表情强度标签的数据库与无面部表情强度标签的数据库；
A2、对所述表情数据库中的图像数据进行预处理，提取出人面部分的数据；
A3、对提取出的人面部分的数据分别进行面部几何特征、局部二值模式和Gabor小波变换三种模式的特征提取；
A4、分别使用全监督模式、半监督模式和无监督模式对步骤A3输出的数据进行训练，得到特征与面部表情强度的关系；
A5、将所述训练后形成的数据分别作为序数随机森林算法的输入进行训练，分别得出面部表情强度处理子模型，将k1*B1+k2*B2+k3*B3作为最终的面部表情强度计算模型，其中系数k1、k2、k3的取值范围均为(0，1)，且k1+k2+k3＝1，B1、B2、B3分别为同一输入条件下全监督模式、半监督模式和无监督模式对应的输出值；
其中，全监督模式是指采用带有强度标签的图像数据作为该模式的表情数据库进行训练；半监督模式是指采用部分带有强度标签部分不带有强度标签的图像数据作为该模式的表情数据库进行训练；无监督模式是指采用不带有强度标签的图像数据作为该模式的表情数据库进行训练。
4.根据权利要求3所述的教学质量评估方法，其特征在于，所述步骤A2中预处理包括：人脸特征点定位、人脸识别、图像剪切和直方图均衡化；方案采用主动形状模型ASM获取面部特征点，利用瞳孔间的连线与水平线的夹角，旋转图像使得瞳孔间连线为水平，之后调用OpenCV库中人脸识别框架获取图像数据中人面部分，并且剪切面部区域为M*N像素，最后对剪切后的所有图像数据进行直方图均衡化处理；其中，M、N均为正整数且均大于3。
5.根据权利要求3所述的教学质量评估方法，其特征在于，所述步骤A3中还包括步骤：采用主成分分析方法，分别对三种模式提取的特征进行处理以降低特征数据的维度。
6.根据权利要求3所述的教学质量评估方法，其特征在于，所述步骤A3中对于任意一帧：是以该帧中下巴与鼻尖的像素间距离为标准值，将嘴角、下巴、眼角、上下眼皮之间的像素间的相互距离与该帧的标准值的比值作为面部几何特征。
7.根据权利要求3所述的教学质量评估方法，其特征在于，所述步骤A3中采用局部二值模式提取图像特征时，具体是指将步骤A2中提取出的人面部分的数据分割得到的面部图像均匀分为P*Q块，得到P*Q块(M/P)*(N/Q)的区域，对每一区域进行3*3邻域像素的处理，对比所有像素临近的8个像素的灰度值，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0，得到8个二进制数，将8位二进制数转换为10进制，得到该像素点的LBP值，最终按行拼接P*Q块图像的LBP值，得到图像的局部二值模式特征；其中，P、Q、M、N均为正整数，M、N分别为人面部分的图像数据的横向、纵向的像素大小。
8.根据权利要求4所述的教学质量评估方法，其特征在于，所述步骤A3中采用Gabor小波变换进行特征提取具体是指，将剪切后形成的M*N像素的面部图像进行多尺度多方向的Gabor小波变换，每幅图像得到(V*R)*M*N维的特征,V为尺度数，R为方向数。
9.根据权利要求3所述的教学质量评估方法，其特征在于，所述序数随机森林算法中：对于参与训练的数据库中的图像序列中每一帧，首先进行序数回归分析，预测该帧在各个强度值上的分布比，然后在随机森林算法对该图像序列中的帧进行回归分析时，对每个决策树得到的强度值Q进行加权，所加权重为该帧在单独进行序数回归分析时，分析结果中强度值Q所占的比例。
10.一种远程教学的教学质量评估***，其特征在于，采用如权利要求1-9任一项所述的教学质量评估方法获取远程教学的教学质量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711213743.7A CN107832740B (zh) | 2017-11-28 | 2017-11-28 | 一种远程教学的教学质量评估方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711213743.7A CN107832740B (zh) | 2017-11-28 | 2017-11-28 | 一种远程教学的教学质量评估方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107832740A true CN107832740A (zh) | 2018-03-23 |
| CN107832740B CN107832740B (zh) | 2020-08-25 |
Family
ID=61646138
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711213743.7A Expired - Fee Related CN107832740B (zh) | 2017-11-28 | 2017-11-28 | 一种远程教学的教学质量评估方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107832740B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109255028A (zh) * | 2018-08-28 | 2019-01-22 | 西安交通大学 | 基于教学评价数据可信度的教学质量综合评价方法 |
| CN109409759A (zh) * | 2018-11-06 | 2019-03-01 | 河南理工大学 | 一种基于煤矿安全培训游戏的数据挖掘***及方法 |
| TWI674553B (zh) * | 2018-07-27 | 2019-10-11 | 財團法人資訊工業策進會 | 教學品質監測系統及方法 |
| CN110532971A (zh) * | 2019-09-02 | 2019-12-03 | 京东方科技集团股份有限公司 | 图像处理及装置、训练方法以及计算机可读存储介质 |
| CN110532977A (zh) * | 2019-09-02 | 2019-12-03 | 西南大学 | 一种学习状态的确定方法及装置 |
| CN111222759A (zh) * | 2019-12-26 | 2020-06-02 | 河北地质大学 | 一种智能经济管理用专业教学使用展示控制***及方法 |
| CN114219346A (zh) * | 2021-12-24 | 2022-03-22 | 江苏童能文化科技有限公司 | 一种提高网络学习环境服务质量的方法及*** |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101620669A (zh) * | 2008-07-01 | 2010-01-06 | 邹采荣 | 一种人脸身份和表情的同步识别方法 |
| KR20130128210A (ko) * | 2012-05-16 | 2013-11-26 | 조용개 | ｅ-티칭 포트폴리오 관리/평가 시스템 및 방법 |
| CN105005765A (zh) * | 2015-06-29 | 2015-10-28 | 北京工业大学 | 一种基于Gabor小波和灰度共生矩阵的人脸表情识别方法 |
| CN105913053A (zh) * | 2016-06-07 | 2016-08-31 | 合肥工业大学 | 一种基于稀疏融合的单演多特征的人脸表情识别方法 |
| CN106372622A (zh) * | 2016-09-30 | 2017-02-01 | 北京奇虎科技有限公司 | 一种人脸表情分类方法及装置 |
| CN106485227A (zh) * | 2016-10-14 | 2017-03-08 | 深圳市唯特视科技有限公司 | 一种基于视频面部表情的客户满意度分析方法 |
| CN107154002A (zh) * | 2017-05-08 | 2017-09-12 | 湖南科乐坊教育科技股份有限公司 | 一种幼儿教学效果评估方法及其*** |
-
2017
- 2017-11-28 CN CN201711213743.7A patent/CN107832740B/zh not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101620669A (zh) * | 2008-07-01 | 2010-01-06 | 邹采荣 | 一种人脸身份和表情的同步识别方法 |
| KR20130128210A (ko) * | 2012-05-16 | 2013-11-26 | 조용개 | ｅ-티칭 포트폴리오 관리/평가 시스템 및 방법 |
| CN105005765A (zh) * | 2015-06-29 | 2015-10-28 | 北京工业大学 | 一种基于Gabor小波和灰度共生矩阵的人脸表情识别方法 |
| CN105913053A (zh) * | 2016-06-07 | 2016-08-31 | 合肥工业大学 | 一种基于稀疏融合的单演多特征的人脸表情识别方法 |
| CN106372622A (zh) * | 2016-09-30 | 2017-02-01 | 北京奇虎科技有限公司 | 一种人脸表情分类方法及装置 |
| CN106485227A (zh) * | 2016-10-14 | 2017-03-08 | 深圳市唯特视科技有限公司 | 一种基于视频面部表情的客户满意度分析方法 |
| CN107154002A (zh) * | 2017-05-08 | 2017-09-12 | 湖南科乐坊教育科技股份有限公司 | 一种幼儿教学效果评估方法及其*** |
Non-Patent Citations (3)
| Title |
|---|
| 《中国优秀硕士学位论文全文数据库》: "基于组合多分类器的变压器故障诊断方法研究", 《中国优秀硕士学位论文全文数据库》 * |
| ZHANG JUN等: "Teaching Evaluation Model Research Based on Integration of Information Technology", 《2015 8TH INTERNATIONAL CONFERENCE ON INTELLIGENT COMPUTATION TECHNOLOGY AND AUTOMATION (ICICTA)》 * |
| 李燕 等: "基于SVM的面部表情分析", 《微处理机》 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10726247B2 (en) | 2018-07-27 | 2020-07-28 | Institute For Information Industry | System and method for monitoring qualities of teaching and learning |
| TWI674553B (zh) * | 2018-07-27 | 2019-10-11 | 財團法人資訊工業策進會 | 教學品質監測系統及方法 |
| CN109255028A (zh) * | 2018-08-28 | 2019-01-22 | 西安交通大学 | 基于教学评价数据可信度的教学质量综合评价方法 |
| CN109255028B (zh) * | 2018-08-28 | 2021-08-13 | 西安交通大学 | 基于教学评价数据可信度的教学质量综合评价方法 |
| CN109409759A (zh) * | 2018-11-06 | 2019-03-01 | 河南理工大学 | 一种基于煤矿安全培训游戏的数据挖掘***及方法 |
| CN110532971A (zh) * | 2019-09-02 | 2019-12-03 | 京东方科技集团股份有限公司 | 图像处理及装置、训练方法以及计算机可读存储介质 |
| CN110532977A (zh) * | 2019-09-02 | 2019-12-03 | 西南大学 | 一种学习状态的确定方法及装置 |
| US20220019775A1 (en) * | 2019-09-02 | 2022-01-20 | Boe Technology Group Co., Ltd. | Image processing method and device, classifier training method, and readable storage medium |
| CN110532971B (zh) * | 2019-09-02 | 2023-04-28 | 京东方科技集团股份有限公司 | 图像处理及装置、训练方法以及计算机可读存储介质 |
| CN110532977B (zh) * | 2019-09-02 | 2023-09-12 | 西南大学 | 一种学习状态的确定方法及装置 |
| US11961327B2 (en) * | 2019-09-02 | 2024-04-16 | Boe Technology Group Co., Ltd. | Image processing method and device, classifier training method, and readable storage medium |
| CN111222759A (zh) * | 2019-12-26 | 2020-06-02 | 河北地质大学 | 一种智能经济管理用专业教学使用展示控制***及方法 |
| CN114219346A (zh) * | 2021-12-24 | 2022-03-22 | 江苏童能文化科技有限公司 | 一种提高网络学习环境服务质量的方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107832740B (zh) | 2020-08-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107832740A (zh) | 一种远程教学的教学质量评估方法及*** | |
| Shan et al. | Automatic facial expression recognition based on a deep convolutional-neural-network structure | |
| CN105069400B (zh) | 基于栈式稀疏自编码的人脸图像性别识别*** | |
| CN105138993B (zh) | 建立人脸识别模型的方法及装置 | |
| CN110443189B (zh) | 基于多任务多标签学习卷积神经网络的人脸属性识别方法 | |
| JP6788264B2 (ja) | 表情認識方法、表情認識装置、コンピュータプログラム及び広告管理システム | |
| CN106778785B (zh) | 构建图像特征提取模型的方法及图像识别的方法、装置 | |
| CN109508669A (zh) | 一种基于生成式对抗网络的人脸表情识别方法 | |
| CN107194371B (zh) | 基于层次化卷积神经网络的用户专注度识别方法及*** | |
| CN109815826A (zh) | 人脸属性模型的生成方法及装置 | |
| CN112560810B (zh) | 基于多尺度时空特征神经网络的微表情识别方法 | |
| CN107169508B (zh) | 一种基于融合特征的旗袍图像情感语义识别方法 | |
| CN108108760A (zh) | 一种快速人脸识别方法 | |
| CN113239839B (zh) | 基于dca人脸特征融合的表情识别方法 | |
| CN113657168A (zh) | 基于卷积神经网络的学生学习情绪的识别方法 | |
| CN107516083A (zh) | 一种面向识别的远距离人脸图像增强方法 | |
| CN109522865A (zh) | 一种基于深度神经网络的特征加权融合人脸识别方法 | |
| CN107895154A (zh) | 面部表情强度计算模型的形成方法及*** | |
| CN109948569B (zh) | 一种利用粒子滤波框架的三维混合表情识别方法 | |
| Utaminingrum et al. | Alphabet Sign Language Recognition Using K-Nearest Neighbor Optimization. | |
| CN117437691A (zh) | 一种基于轻量化网络的实时多人异常行为识别方法及*** | |
| CN108288034B (zh) | 一种游戏设计的质量评估方法及*** | |
| CN108399358A (zh) | 一种在视频聊天的表情显示方法及*** | |
| CN116311472A (zh) | 基于多层次图卷积网络的微表情识别方法及装置 | |
| Shaban et al. | A Novel Fusion System Based on Iris and Ear Biometrics for E-exams. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200825 Termination date: 20201128 |