CN112001222A - 一种基于半监督学习的学生表情预测方法 - Google Patents
一种基于半监督学习的学生表情预测方法 Download PDFInfo
- Publication number
- CN112001222A CN112001222A CN202010627930.5A CN202010627930A CN112001222A CN 112001222 A CN112001222 A CN 112001222A CN 202010627930 A CN202010627930 A CN 202010627930A CN 112001222 A CN112001222 A CN 112001222A
- Authority
- CN
- China
- Prior art keywords
- student
- matrix
- input
- expression
- semi
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000014509 gene expression Effects 0.000 title claims abstract description 23
- 238000000034 method Methods 0.000 title claims abstract description 19
- 239000011159 matrix material Substances 0.000 claims description 27
- 239000013598 vector Substances 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 9
- 230000008921 facial expression Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 6
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 6
- 239000000126 substance Substances 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims 1
- 238000002372 labelling Methods 0.000 abstract description 4
- 230000008569 process Effects 0.000 abstract description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000010195 expression analysis Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于半监督学习的学生表情预测方法,属于教学技术领域,包括数据采集与初始化、一级网络模块构建、二级网络模块构建、以及预测新样本共四个主要步骤。已有的技术中缺少考虑两个问题:1、需要大量的人工标注工作,而人工标注不仅费时且昂贵;2、某些类别的样本可能非常少,因此需要考虑类别不均衡问题。与已有的技术方案相比,本发明具有流程简单、易于执行、占用资源少等优点、特别是无需大量人工标注、且能够准确地识别较少出现的表情。
Description
技术领域
本发明属于教学技术领域,特别是涉及一种基于半监督学习的学生表情预测方法。
背景技术
在课堂教学中,老师可以根据学生的表情以了解学生对当前所讲内容的理解程度。例如,当大部分学生的表情为愉悦时,老师对于该部分内容可以加快讲解速度,反之需要重复多次讲解。在专利CN201610453639.4中提出了一种MOOC课程中学生面部表情的动态识别方法,该方法对MOOC课程中拍摄的视频进行分帧,对分帧得到的图像提取特征点,并抽取关键部位特征点组成特征向量后,训练表情模式分类器,利用表情模式分类器对MOOC课程中拍摄的实时视频中学生面部表情进行表情模式的分类。专利CN201711071886.9中提出了一种基于面部识别捕捉的在线课堂提问解答***,包括教师客户端、网络传输服务器、中央控制器、学生客户端、表情分析模块、正常表情数据库、分类模块以及统计模块,教师能够实时了解到学生的学习状态,为学生及时做出解答,让学生更快的掌握学习要点,提高学生学习的积极性和效率,降低了教师的工作强度,具有很好的推广和使用价值。专利CN201910712839.0提出一种基于深度学习的学生表情识别的方法及***,通过获取视频序列中的第一学生的人脸信息视频帧;对所述的第一学生的人脸信息进行特征提取,并构建表情识别模型;基于所述特征对人脸信息进行第一识别;当所述第一识别结果超过预设的阈值时则发出提示信息。
已有的技术中,缺少考虑两个问题:1、为数据打标签是一项非常繁重且昂贵的工作,因此将该问题描述为一般的监督学习是不合适的;2、某些类别的样本可能非常少,因此需要考虑类别不均衡问题。
发明内容
针对上述问题,本发明提出了一种基于半监督学习的学生表情预测方法,其过程如下:
步骤1、数据采集与初始化:
收集学生脸部图像,对每幅图像提取特征,得到样本集合对进行标记,得到对应的类别标签其中,为d维行向量,ck对应一种表情,表示实数域,n为所有样本数量,为有标注样本数,u=n-l未标注样本数,d为样本维度,d,l,n,u均为正整数;
初始化:人工设定以下参数:λ,CA,CB>0,一级隐藏节点数量LA,二级隐藏节点数量LA,LA与LB均为正整数;构造图拉普拉斯矩阵L=D-A,A为相似性矩阵,其第i行第j列元素Aij为:
其中,xi与xj为样本,i,j∈{1,...,n},σ>0为高斯核宽,D为A的度矩阵,D为对角阵,D的第i个对角元素Dii=∑jAij;
步骤2、一级网络模块构建:
G(W,b,x)为激活函数,x表示样本,W为输入权重,b为输入偏置;
步骤3、二级网络模块构建:
G(W,b,x)为激活函数,x表示样本,W为输入权重,b为输入偏置;
步骤303、计算k=1,2,...,κ情况下的二级输出权重矩阵当n<LB时, 否则,其中,为对角阵,如果xi有标签且标签yi=ck,则的第i个对角元素为1,否则为0,为n维列向量,如果xi有标签且标签yi=ck,则的第i个元素为1,否则为0;
步骤4、预测新样本:
其中,所涉及的激活函数G(W,b,x)为:
其中,所涉及的输入权重W和输入偏置b从零均值的高斯分布中抽样生成。
其中,在步骤1中进行特征提取时,采用自动编码器进行图像的无监督训练,以提取特征向量,该自动编码器包括至少一个卷积层和一个池化层。
其中,在步骤1中进行特征提取时,采用通用的视觉词典来提取特征。
与已有的技术方案相比,本发明具有流程简单、易于执行、占用资源少等优点、特别是无需大量人工标注、且能够准确地识别较少出现的表情。
附图说明
图1为本发明方法流程图;
具体实施方式
下面结合实例对本发明作进一步描述,但本发明的保护范围并不限于此。
如图1所示,本发明具体实现如下:
步骤1、数据采集与初始化:
收集学生脸部图像,对每幅图像提取特征,得到样本集合对进行标记,得到对应的类别标签其中,为d维行向量,ck对应一种表情,表示实数域,n为所有样本数量,为有标注样本数,u=n-l未标注样本数,d为样本维度,d,l,n,u均为正整数;
初始化:人工设定以下参数:λ,CA,CB>0,一级隐藏节点数量LA,二级隐藏节点数量LB,LA与LB均为正整数;构造图拉普拉斯矩阵L=D-A,A为相似性矩阵,其第i行第j列元素Aij为:
其中,xi与xj为样本,i,j∈{1,...,n},σ>0为高斯核宽,D为A的度矩阵,D为对角阵,D的第i个对角元素Dii=∑jAij;
步骤2、一级网络模块构建:
G(W,b,x)为激活函数,x表示样本,W为输入权重,b为输入偏置;
步骤3、二级网络模块构建:
G(W,b,x)为激活函数,x表示样本,W为输入权重,b为输入偏置;
步骤303、计算k=1,2,...,κ情况下的二级输出权重矩阵当n<LB时, 否则,其中,为对角阵,如果xi有标签且标签yi=ck,则的第i个对角元素为1,否则为0,为n维列向量,如果xi有标签且标签yi=ck,则的第i个元素为1,否则为0;
步骤4、预测新样本:
优选地,所涉及的激活函数G(W,b,x)为:
优选地,所涉及的输入权重W和输入偏置b从零均值的高斯分布中抽样生成。
优选地,在步骤1中进行特征提取时,采用自动编码器进行图像的无监督训练,以提取特征向量,该自动编码器包括至少一个卷积层和一个池化层。
最后优选地,在步骤1中进行特征提取时,采用通用的视觉词典来提取特征。
实际中,θ可固定设置为0.8。
提供以上实施例仅仅是为了描述本发明的目的,而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改,均应涵盖在本发明的范围之内。
Claims (7)
1.一种基于半监督学习的学生表情预测方法,其特征在于包括以下步骤:
步骤1、数据采集与初始化:
收集学生脸部图像,对每幅图像提取特征,得到样本集合对进行标记,得到对应的类别标签其中,xp,为d维行向量,ck对应一种表情,表示实数域,n为所有样本数量,为有标注样本数,u=n-l未标注样本数,d为样本维度,d,l,n,u均为正整数;
初始化:人工设定以下参数:λ,CA,CB>0,一级隐藏节点数量LA,二级隐藏节点数量LB,LA与LB均为正整数;构造图拉普拉斯矩阵L=D-A,A为相似性矩阵,其第i行第j列元素Aij为:
其中,xi与xj为样本,i,j∈{1,...,n},σ>0为高斯核宽,D为A的度矩阵,D为对角阵,D的第i个对角元素Dii=∑jAij;
步骤2、一级网络模块构建:
G(W,b,x)为激活函数,x表示样本,W为输入权重,b为输入偏置;
步骤3、二级网络模块构建:
G(W,b,x)为激活函数,x表示样本,W为输入权重,b为输入偏置;
步骤303、计算k=1,2,...,κ情况下的二级输出权重矩阵当n<LB时, 否则,其中,为对角阵,如果xi有标签且标签yi=ck,则的第i个对角元素为1,否则为0,为n维列向量,如果xi有标签且标签yi=ck,则的第i个元素为1,否则为0;
步骤4、预测新样本:
将一个新的学生脸部图像进行特征抽取,得到一个新的样本x,求取∈k(x),如果∈k(x)≤Θk,则预测该学生表情为ck。
3.如权利要求1、2所述的任意一种基于半监督学习的学生表情预测方法,其特征在于,所涉及的输入权重W和输入偏置b从零均值的高斯分布中抽样生成。
4.如权利要求1、2任意所述的一种基于半监督学习的学生表情预测方法,其特征在于,在步骤1中进行特征提取时,采用自动编码器进行图像的无监督训练,以提取特征向量,该自动编码器包括至少一个卷积层和一个池化层。
5.如权利要求1、2任意所述的一种基于半监督学习的学生表情预测方法,其特征在于,在步骤1中进行特征提取时,采用通用的视觉词典来提取特征。
6.如权利要求3所述的一种基于半监督学习的学生表情预测方法,其特征在于,在步骤1中进行特征提取时,采用自动编码器进行图像的无监督训练,以提取特征向量,该自动编码器包括至少一个卷积层和一个池化层。
7.如权利要求3所述的一种基于半监督学习的学生表情预测方法,其特征在于,在步骤1中进行特征提取时,采用通用的视觉词典来提取特征。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010627930.5A CN112001222B (zh) | 2020-07-01 | 2020-07-01 | 一种基于半监督学习的学生表情预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010627930.5A CN112001222B (zh) | 2020-07-01 | 2020-07-01 | 一种基于半监督学习的学生表情预测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112001222A true CN112001222A (zh) | 2020-11-27 |
CN112001222B CN112001222B (zh) | 2023-11-24 |
Family
ID=73467366
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010627930.5A Active CN112001222B (zh) | 2020-07-01 | 2020-07-01 | 一种基于半监督学习的学生表情预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112001222B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115506783A (zh) * | 2021-06-21 | 2022-12-23 | 中国石油化工股份有限公司 | 一种岩性识别方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120041906A1 (en) * | 2010-08-11 | 2012-02-16 | Huh Seung-Il | Supervised Nonnegative Matrix Factorization |
CN104751191A (zh) * | 2015-04-23 | 2015-07-01 | 重庆大学 | 一种稀疏自适应半监督多流形学习的高光谱影像分类方法 |
US20190042952A1 (en) * | 2017-08-03 | 2019-02-07 | Beijing University Of Technology | Multi-task Semi-Supervised Online Sequential Extreme Learning Method for Emotion Judgment of User |
CN111062928A (zh) * | 2019-12-19 | 2020-04-24 | 安徽威奥曼机器人有限公司 | 一种医学ct图像中病变的识别方法 |
-
2020
- 2020-07-01 CN CN202010627930.5A patent/CN112001222B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120041906A1 (en) * | 2010-08-11 | 2012-02-16 | Huh Seung-Il | Supervised Nonnegative Matrix Factorization |
CN104751191A (zh) * | 2015-04-23 | 2015-07-01 | 重庆大学 | 一种稀疏自适应半监督多流形学习的高光谱影像分类方法 |
US20190042952A1 (en) * | 2017-08-03 | 2019-02-07 | Beijing University Of Technology | Multi-task Semi-Supervised Online Sequential Extreme Learning Method for Emotion Judgment of User |
CN111062928A (zh) * | 2019-12-19 | 2020-04-24 | 安徽威奥曼机器人有限公司 | 一种医学ct图像中病变的识别方法 |
Non-Patent Citations (2)
Title |
---|
杜友田;辛刚;郑庆华;: "融合异构信息的网络视频在线半监督分类方法", 西安交通大学学报, no. 07 * |
桑凤娟;张贵仓;: "基于张量的半监督判别分析算法", 计算机工程, no. 20 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115506783A (zh) * | 2021-06-21 | 2022-12-23 | 中国石油化工股份有限公司 | 一种岩性识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112001222B (zh) | 2023-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107122375B (zh) | 基于图像特征的图像主体的识别方法 | |
CN111414461B (zh) | 一种融合知识库与用户建模的智能问答方法及*** | |
CN109902615B (zh) | 一种基于对抗网络的多个年龄段图像生成方法 | |
CN110837846A (zh) | 一种图像识别模型的构建方法、图像识别方法及装置 | |
CN114092742B (zh) | 一种基于多角度的小样本图像分类装置和方法 | |
CN109977213B (zh) | 一种面向智能问答***的最优答案选择方法 | |
CN112100212A (zh) | 一种基于机器学习和规则匹配的案件情节抽取方法 | |
Alon et al. | Deep-hand: a deep inference vision approach of recognizing a hand sign language using american alphabet | |
CN110795410A (zh) | 一种多领域文本分类方法 | |
CN112001222B (zh) | 一种基于半监督学习的学生表情预测方法 | |
CN111652238B (zh) | 一种多模型集成方法及*** | |
CN111611854A (zh) | 一种基于模式识别的课堂情况评价方法 | |
CN111191027A (zh) | 一种基于高斯混合分布vae的广义零样本识别方法 | |
CN115761235A (zh) | 基于知识蒸馏的零样本语义分割方法、***、设备及介质 | |
CN113158878B (zh) | 一种基于子空间的异构迁移故障诊断方法、***和模型 | |
CN114663910A (zh) | 基于多模态学习状态分析*** | |
CN113963235A (zh) | 一种跨类别图像识别模型重用方法和*** | |
Tran et al. | Baby learning with vision transformer for face recognition | |
CN113688789A (zh) | 一种基于深度学习的在线学习投入度识别方法及*** | |
Bagde et al. | A handwritten recognition for free style Marathi script using genetic algorithm | |
CN110570349A (zh) | 一种基于生成对抗网络由父母照片生成子女照片的方法 | |
Wen et al. | Classification of optical music symbols based on combined neural network | |
CN114580415B (zh) | 一种面向教育考试的跨域图匹配实体识别方法 | |
KR102263375B1 (ko) | 커널 기법을 사용한 제한된 볼츠만 머신 시스템 | |
Bhopi et al. | Review on optical character recognition of Devanagari script using neural network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: Zone 50268, Zhongke Dadaozhen Building, No. 767 Yulan Avenue, High tech Zone, Hefei City, Anhui Province, 230088 Applicant after: Anhui Xinzhi Digital Technology Co.,Ltd. Address before: 230088 building 210-c2, A3 / F, Hefei Innovation Industrial Park, 800 Wangjiang West Road, high tech Zone, Hefei City, Anhui Province Applicant before: Anhui Xinzhi digital media information technology Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |