CN115439915A - 区域编码和样本平衡优化的课堂参与度识别方法和装置 - Google Patents

区域编码和样本平衡优化的课堂参与度识别方法和装置 Download PDF

Info

Publication number
CN115439915A
CN115439915A CN202211246980.4A CN202211246980A CN115439915A CN 115439915 A CN115439915 A CN 115439915A CN 202211246980 A CN202211246980 A CN 202211246980A CN 115439915 A CN115439915 A CN 115439915A
Authority
CN
China
Prior art keywords
participation
model
sample
representing
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211246980.4A
Other languages
English (en)
Inventor
徐敏
张曦淼
王嘉豪
孙众
邱德慧
董瑶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Capital Normal University
Original Assignee
Capital Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Capital Normal University filed Critical Capital Normal University
Priority to CN202211246980.4A priority Critical patent/CN115439915A/zh
Publication of CN115439915A publication Critical patent/CN115439915A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Medical Informatics (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • General Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Marketing (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Primary Health Care (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Image Analysis (AREA)

Abstract

本申请提出了一种区域编码和样本平衡优化的课堂参与度识别方法，该方法包括：获取学生在线学***衡和手遮挡面部问题，显著提升了网络模型的判别力和鲁棒性。

Description

区域编码和样本平衡优化的课堂参与度识别方法和装置
技术领域
本申请涉及智能教育和计算机视觉交叉研究技术领域，尤其涉及一种区域编码和样本平衡优化的课堂参与度识别方法和装置。
背景技术
在线教育提供了一种全新的知识传播模式和学***台，教师们可以进行直播教学、录播回放、在线答疑、批改作业等教育活动，学生们可以按照自己的节奏完成学习任务。在线教学具有学习资源丰富、知识获取及时、学习方式多样等特性，已经逐渐成为正常教育教学活动的有机组成部分。师生互动是教学过程中的关键环节。在传统课堂环境中，教师可以直接观察学生的面部表情和行为判断学生的投入程度。然而，在线课堂上，受制于教学场景等因素，学生缺乏跟教师面对面交流的真实性和实时性的互动，注意力易分散，教师无法获得学生投入状态的实时反馈，学生的学习效果只能通过课堂提问和课后作业反馈来判断。因此，如何通过计算机视觉技术，实现在线学习环境中学生学习参与度自动评估，是当前亟待解决的问题。
参与度自动识别的研究可以分为基于传统机器学***衡问题，即低参与度的样本数量极少，高参与度的样本数量占较大比例。而目前大多数参与度识别算法虽然在整个分类任务中能够得到较高的准确率，但往往提高的是对多数类的分类能力，忽略了对少数类样本的判别。另外，由于自然环境下学生在学习过程中的行为不受人为约束，经常会不经意的用手遮住部分面部区域，导致其面部表情变化无法被捕捉到，这种情况很容易被模型错误地识别为注意力分散而得到较低的参与度预测值。
综上所示，现有技术中学***衡、参与度样本手遮挡情况等特点，具有识别准确率低的缺陷。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本申请的第一个目的在于提出一种区域编码和样本平衡优化的课堂参与度识别方法，解决了现有参与度识别方法的参与度识别任务中样本分布极不平衡和手遮挡面部的技术问题，通过提出一种StarGAN(Star Generative Adversarial Networks，星形生成对抗网络)模型生成低参与度样本，增强参与度数据库，同时提出一种用于面部区域编码的RCN(Region Coding Network，区域编码网络)模型，能够自适应地学习不同面部区域的注意权值，并联合建模特征学习和遮挡区域编码，显著提升了网络模型的判别力和鲁棒性。
本申请的第二个目的在于提出一种区域编码和样本平衡优化的课堂参与度识别装置。
本申请的第三个目的在于提出一种非临时性计算机可读存储介质。
为达上述目的，本申请第一方面实施例提出了一种区域编码和样本平衡优化的课堂参与度识别方法，包括：获取学生在线学习的视频数据，并根据视频数据生成原始样本数据，其中，原始样本数据包括高参与样本数据和低参与样本数据；将低参与样本数据输入StarGAN模型，生成具有不同风格的目标低参与样本；将原始样本数据和目标低参与样本输入RCN模型中进行训练，得到训练好的RCN模型；获取待识别视频数据，根据待识别视频数据生成待识别图像数据；将待识别图像数据输入训练好的RCN模型，得到参与度识别结果。
可选地，在本申请的一个实施例中，根据视频数据生成原始样本数据，包括：
利用人工及先验信息，定义视频数据的参与度标签；
从视频数据提取图像帧，并裁剪提取图像帧的人脸区域，得到人脸图像作为原始样本数据，其中，根据参与度标签将原始样本数据分为高参与样本数据和低参与样本数据。
可选地，在本申请的一个实施例中，StarGAN模型包括：映射网络、风格编码器、生成器和鉴别器，在将低参与样本数据输入StarGAN模型，生成具有不同风格的目标低参与样本之前，还包括：
获取低参与训练数据，其中，低参与训练数据为人脸图像；
将低参与训练数据输入StarGAN模型进行训练，通过损失函数对StarGAN模型进行迭代优化。
可选地，在本申请的一个实施例中，StarGAN模型的损失函数，包括：对抗损失、风格重建损失、多样性敏感损失和循环一致性损失，其中，
对抗损失表示为：
Figure BDA0003887076360000021
其中，Ladv表示对抗损失，E()表示数学期望值，x表示输入图像，y表示输入图像的原始域，Dy(x)是鉴别器在原始域y的输出，
Figure BDA0003887076360000022
表示目标域，z表示随机高斯噪声，
Figure BDA0003887076360000023
表示映射网络根据随机高斯噪声生成目标域的风格特征，
Figure BDA0003887076360000031
表示鉴别器对生成器生成的图像的输出结果，
Figure BDA0003887076360000032
表示生成器根据输入图像和目标风格特征生成域为y的虚假图像；
风格重建损失表示为：
Figure BDA0003887076360000033
其中，Lsty表示风格重建损失，E()表示数学期望值，x表示输入图像，y表示输入图像的原始域，
Figure BDA0003887076360000034
表示目标域，z表示随机高斯噪声，
Figure BDA0003887076360000035
表示映射网络根据随机高斯噪声生成目标域的风格特征，
Figure BDA0003887076360000036
表示生成器根据输入图像和目标风格特征生成域为y的虚假图像；
多样性敏感损失表示为：
Figure BDA0003887076360000037
其中，Lds表示多样性敏感损失，E()表示数学期望值，z1和z2表示随机高斯噪声向量，
Figure BDA0003887076360000038
和
Figure BDA0003887076360000039
分别表示由映射网络根据随机高斯噪声向量z1和z2输出得到的风格特征向量，
Figure BDA00038870763600000310
表示生成器根据输入图像和风格特征
Figure BDA00038870763600000311
生成的图像，
Figure BDA00038870763600000312
表示生成器根据输入图像和风格特征
Figure BDA00038870763600000313
生成的图像；
循环一致性损失表示为：
Figure BDA00038870763600000314
其中，Lcyc表示循环一致性损失，E()表示数学期望值，x表示输入图像，y表示输入图像的原始域，
Figure BDA00038870763600000315
表示目标域，z表示随机高斯噪声，
Figure BDA00038870763600000316
是输入图像x的估计风格编码，
Figure BDA00038870763600000317
表示使用生成器将生成的虚假图像
Figure BDA00038870763600000318
和
Figure BDA00038870763600000319
进行重构，得到带有风格
Figure BDA00038870763600000320
的图像，
Figure BDA00038870763600000321
表示生成器根据输入图像和风格特征
Figure BDA00038870763600000322
生成的图像；
使用目标函数对StarGAN模型进行优化，其中，目标函数表示为：
minG,F,EmaxDLadv+λstyLsty-λdsLds+λcycLcyc；
其中，minG,F,E表示通过训练生成器、映射网络和风格编码器最小化目标函数，maxD表示通过训练判别器最大化目标函数，Ladv表示对抗损失，Lsty表示风格重建损失，Lds表示多样性敏感损失，Lcyc表示循环一致性损失，λsty、λds和λcyc是用于平衡各项损失的超参数。
可选地，在本申请的一个实施例中，将低参与样本数据输入StarGAN模型，生成具有不同风格的目标低参与样本，包括：
将低参与样本数据中的人脸图像输入StarGAN模型，通过映射网络或风格编码器生成不同的风格特征，通过生成器根据输入的人脸图像和不同的风格特征，生成具有不同风格的目标低参与样本。
可选地，在本申请的一个实施例中，RCN模型包括特征提取单元、区域注意单元和全局注意单元，将原始样本数据和目标低参与样本输入RCN模型中进行训练，得到训练好的RCN模型，包括：
将原始样本数据和目标低参与样本输入RCN模型中，通过特征提取单元对原始样本数据和目标低参与样本进行特征提取，得到样本局部区域特征；
在特征空间中，通过区域注意单元学习不同面部区域的注意力权重对样本局部区域特征进行区域编码，得到样本全局特征；
将样本局部区域特征分别和样本全局特征进行串联，得到样本特征，通过全局注意单元得到样本特征的注意力权重，对样本特征进行加权融合得到最终样本特征；
根据最终样本特征，通过联合区域偏差损失和交叉熵损失，使用SGD算法对RCN模型的网络参数进行迭代更新和优化，得到训练好的RCN模型。
可选地，在本申请的一个实施例中，将待识别图像数据输入训练好的RCN模型，得到参与度识别结果，包括：
将待识别图像数据输入特征提取单元进行特征提取，得到特征图，将特征图随机裁剪成预设数量的区域特征；
将区域特征输入区域注意单元，计算区域特征的注意力权重，对区域特征进行加权，得到全局特征；
将区域特征分别与全局特征进行串联，得到目标特征，并通过全局注意单元得到目标特征的注意力权重，对目标特征进行加权，得到最终特征，对最终特征进行识别分类，得到待识别图像数据的参与度识别结果。
为达上述目的，本申请第二方面实施例提出了一种区域编码和样本平衡优化的课堂参与度识别装置，包括：
第一获取模块，用于获取学生在线学习的视频数据，并根据视频数据生成原始样本数据，其中，原始样本数据包括高参与样本数据和低参与样本数据；
生成模块，用于将低参与样本数据输入StarGAN模型，生成具有不同风格的目标低参与样本；
训练模块，用于将原始样本数据和目标低参与样本输入RCN模型中进行训练，得到训练好的RCN模型；
第二获取模块，用于获取待识别视频数据，根据待识别视频数据生成待识别图像数据；
识别模块，用于将待识别图像数据输入训练好的RCN模型，得到参与度识别结果。
可选地，在本申请的一个实施例中，根据视频数据生成原始样本数据，包括：
利用人工及先验信息，定义视频数据的参与度标签；
从视频数据提取图像帧，并裁剪提取图像帧的人脸区域，得到人脸图像作为原始样本数据，其中，根据参与度标签将原始样本数据分为高参与样本数据和低参与样本数据。
为了实现上述目的，本申请第三方面实施例提出了一种非临时性计算机可读存储介质，当所述存储介质中的指令由处理器被执行时，能够执行一种区域编码和样本平衡优化的课堂参与度识别方法。
本申请实施例的区域编码和样本平衡优化的课堂参与度识别方法、装置和非临时性计算机可读存储介质，解决了现有参与度识别方法的参与度识别任务中样本分布极不平衡和手遮挡面部的技术问题，通过提出一种StarGAN模型生成低参与度样本，增强参与度数据库，同时提出一种用于面部区域编码的区域编码网络，能够自适应地学习不同面部区域的注意权值，并联合建模特征学习和遮挡区域编码，显著提升了网络模型的判别力和鲁棒性。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例一所提供的一种区域编码和样本平衡优化的课堂参与度识别方法的流程图；
图2为本申请实施例的区域编码和样本平衡优化的课堂参与度识别方法的另一个流程图；
图3为本申请实施例的区域编码和样本平衡优化的课堂参与度识别方法的基于StarGAN模型生成在线学习低参与图像的结构示意图；
图4为本申请实施例的区域编码和样本平衡优化的课堂参与度识别方法的基于StarGAN模型生成的低参与样本示意图；
图5为本申请实施例的区域编码和样本平衡优化的课堂参与度识别方法的特征提取卷积神经网络结构示意图；
图6为本申请实施例的区域编码和样本平衡优化的课堂参与度识别方法的基于RCN模型的参与度识别框架示意图；
图7为本申请实施例二所提供的一种区域编码和样本平衡优化的课堂参与度识别装置的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的区域编码和样本平衡优化的课堂参与度识别方法和装置。
图1为本申请实施例一所提供的一种区域编码和样本平衡优化的课堂参与度识别方法的流程图。
如图1所示，该区域编码和样本平衡优化的课堂参与度识别方法，包括以下步骤：
步骤101，获取学生在线学习的视频数据，并根据视频数据生成原始样本数据，其中，原始样本数据包括高参与样本数据和低参与样本数据；
步骤102，将低参与样本数据输入StarGAN模型，生成具有不同风格的目标低参与样本；
步骤103，将原始样本数据和目标低参与样本输入RCN模型中进行训练，得到训练好的RCN模型；
步骤104，获取待识别视频数据，根据待识别视频数据生成待识别图像数据；
步骤105，将待识别图像数据输入训练好的RCN模型，得到参与度识别结果。
本申请实施例的区域编码和样本平衡优化的课堂参与度识别方法，通过获取学生在线学***衡和手遮挡面部的技术问题，通过提出一种StarGAN模型生成低参与度样本，增强参与度数据库，同时提出一种用于面部区域编码的区域编码网络，能够自适应地学习不同面部区域的注意权值，并联合建模特征学习和遮挡区域编码，显著提升了网络模型的判别力和鲁棒性。
进一步地，在本申请实施例中，根据视频数据生成原始样本数据，包括：
利用人工及先验信息，定义视频数据的参与度标签；
从视频数据提取图像帧，并裁剪提取图像帧的人脸区域，得到人脸图像作为原始样本数据，其中，根据参与度标签将原始样本数据分为高参与样本数据和低参与样本数据。
示例性的，可以通过摄像机获取学生在线学习的视频，每10秒保存为一个视频，并利用人工及先验信息，给每个视频定义参与度标签{0,1,2,3}。
本申请采用OpenCV提取图像帧，采用人脸识别开源工具face_recognition裁剪提取图像帧的人脸区域并保存到数据库中，其中，可以根据视频数据的参与度标签将原始样本数据分为高参与样本数据和低参与样本数据，例如，将参与度标签为0和1的视频生成的原始样本数据分为低参与样本数据，将参与度标签为2和3的视频生成的原始样本数据分为高参与样本数据。
进一步地，在本申请实施例中，StarGAN模型包括：映射网络、风格编码器、生成器和鉴别器，在将低参与样本数据输入StarGAN模型，生成具有不同风格的目标低参与样本之前，还包括：
获取低参与训练数据，其中，低参与训练数据为人脸图像；
将低参与训练数据输入StarGAN模型进行训练，通过损失函数对StarGAN模型进行迭代优化。
本申请通过引入生成对抗网络的“对抗博弈”思想，基于星形生成对抗网络StarGAN，并基于对抗网络StarGAN生成低参与度样本，扩充数据库的少样本数量，增强参与度数据库，以改善数据集不平衡带来的影响。
初始化StarGAN模型参数，将参与度标签为0和1的低参与样本数据输入StarGAN模型中，生成具有不同风格的低参与样本，增强数据库。
本申请的StarGAN模型包括映射网络、风格编码器、生成器和鉴别器。其中，映射网络由带有多个输出分支的多层感知器构成，能够将给定的随机高斯噪声映射成多样化的风格特征表示。风格编码器能够根据给定的不同参考图像，使用一个深度网络提取不同的风格特征表示。映射网络和风格编码器均具有多个输出分支，每个分支对应特定域的风格特征。生成器根据给定的输入图像和风格特征，生成具有多种风格但内容不变的虚假图像。鉴别器有多个输出分支对应于多个目标域，每个输出分支都是二分类器，在其特定的目标域上判别输入图像是否真实。
在StarGAN模型训练的过程中，生成器结合输入的风格特征尽可能生成具有某种风格特征的逼真图像，而鉴别器尽可能将生成器生成的虚假图像鉴别出来，二者不断相互博弈，生成器生成逼真图像的能力不断提升，最终使得生成器生成的虚假图像与真实图像尽可能接近。
根据学生在线学习参与度的数据分布，基于学生的参与程度设置参与度数据的域，即本申请中的“域”的概念是指参与度标签，图像的风格特征包括人物发型、肤色、胡须、是否佩戴眼镜以及眼睛凝视屏幕的角度、姿势等。
进一步地，在本申请实施例中，StarGAN模型的损失函数，包括：对抗损失、风格重建损失、多样性敏感损失和循环一致性损失，其中，
对抗损失表示为：
Figure BDA0003887076360000081
其中，Ladv表示对抗损失，E()表示数学期望值，x表示输入图像，y表示输入图像的原始域，Dy(x)是鉴别器在原始域y的输出，
Figure BDA0003887076360000082
表示目标域，z表示随机高斯噪声，
Figure BDA0003887076360000083
表示映射网络根据随机高斯噪声生成目标域的风格特征，
Figure BDA0003887076360000084
表示鉴别器对生成器生成的图像的输出结果，
Figure BDA0003887076360000085
表示生成器根据输入图像和目标风格特征生成域为y的虚假图像，将虚假图像和目标域输入鉴别器中，使得鉴别器学习辨别输入图像的真假；
风格重建损失表示为：
Figure BDA0003887076360000086
其中，Lsty表示风格重建损失，E()表示数学期望值，x表示输入图像，y表示输入图像的原始域，
Figure BDA0003887076360000087
表示目标域，z表示随机高斯噪声，
Figure BDA0003887076360000088
表示映射网络根据随机高斯噪声生成目标域的风格特征，
Figure BDA0003887076360000089
表示生成器根据输入图像和目标风格特征生成域为y的虚假图像；
多样性敏感损失表示为：
Figure BDA00038870763600000810
其中，Lds表示多样性敏感损失，E()表示数学期望值，z1和z2表示随机高斯噪声向量，
Figure BDA00038870763600000811
和
Figure BDA00038870763600000812
分别表示由映射网络根据随机高斯噪声向量z1和z2输出得到的风格特征向量，
Figure BDA00038870763600000813
表示生成器根据输入图像和风格特征
Figure BDA00038870763600000814
生成的图像，
Figure BDA00038870763600000815
表示生成器根据输入图像和风格特征
Figure BDA00038870763600000816
生成的图像，该方法使具有不同风格的生成图像之间的损失最大化，从而鼓励生成器在训练过程中生成更富有多样性风格的图像；
循环一致性损失表示为：
Figure BDA00038870763600000817
其中，Lcyc表示循环一致性损失，E()表示数学期望值，x表示输入图像，y表示输入图像的原始域，
Figure BDA00038870763600000818
表示目标域，z表示随机高斯噪声，
Figure BDA00038870763600000819
是输入图像x的估计风格编码，
Figure BDA00038870763600000820
表示使用生成器将生成的虚假图像
Figure BDA00038870763600000821
和
Figure BDA00038870763600000822
进行重构，得到带有风格
Figure BDA00038870763600000823
的图像
Figure BDA00038870763600000824
表示生成器根据输入图像和风格特征
Figure BDA00038870763600000825
生成的图像，通过约束
Figure BDA00038870763600000826
与输入图像x之间的L1损失，使得生成器在改变风格的同时保留x的部分原始特征；
使用目标函数对StarGAN模型进行优化，其中，目标函数表示为：
minG,F,EmaxDLadv+λstyLsty-λdsLds+λcycLcyc；
其中，minG,F,E表示通过训练生成器、映射网络和风格编码器最小化目标函数，maxD表示通过训练判别器最大化目标函数，Ladv表示对抗损失，Lsty表示风格重建损失，Lds表示多样性敏感损失，Lcyc表示循环一致性损失，λsty、λds和λcyc是用于平衡各项损失的超参数。
本申请的StarGAN模型的损失函数包括对抗损失、风格重建损失、多样性敏感损失和循环一致性损失。其中，对抗损失使得生成器与鉴别器在训练过程中对抗优化，不断提升模型性能。风格重建损失使得生成器在生成图像时使用某个特定风格表示，若使用其他风格表示会得到较大损失值。多样性敏感损失通过最大化不同域的两个图像之间的L1损失，使得生成器生成的图像富有多样性，其中，L1损失用于最小化误差，表示为真实值与预测值之间差的绝对值。循环一致性损失用于保证输入图像的某些不被改变的特征能够被正确地保留到生成图像中。
进一步地，在本申请实施例中，将低参与样本数据输入StarGAN模型，生成具有不同风格的目标低参与样本，包括：
将低参与样本数据中的人脸图像输入StarGAN模型，通过映射网络或风格编码器生成不同的风格特征，通过生成器根据输入的人脸图像和不同的风格特征，生成具有不同风格的目标低参与样本。
进一步地，在本申请实施例中，RCN模型包括特征提取单元、区域注意单元和全局注意单元，将原始样本数据和目标低参与样本输入RCN模型中进行训练，得到训练好的RCN模型，包括：
将原始样本数据和目标低参与样本输入RCN模型中，通过特征提取单元对原始样本数据和目标低参与样本进行特征提取，得到样本局部区域特征；
在特征空间中，通过区域注意单元学习不同面部区域的注意力权重对样本局部区域特征进行区域编码，得到样本全局特征；
将样本局部区域特征分别和样本全局特征进行串联，得到样本特征，通过全局注意单元得到样本特征的注意力权重，对样本特征进行加权融合得到最终样本特征；
根据最终样本特征，通过联合区域偏差损失和交叉熵损失，使用SGD算法对RCN模型的网络参数进行迭代更新和优化，得到训练好的RCN模型。
本申请通过学习不同面部区域的注意力权重进行区域编码，使得模型更关注权重较大的区域，进一步提高模型识别性能。
本申请将原始样本数据和目标低参与样本共同输入到RCN中，首先对输入样本进行特征提取，然后在特征空间中，通过学习不同面部区域的注意力权重进行区域编码；将所有局部区域特征进行加权融合后得到全局特征，将局部特征和全局特征串联后，采用注意力机制得到更精确的权重，加权融合后得到最终的特征表示；最后通过联合区域偏差损失和交叉熵损失，用SGD算法对网络参数进行迭代更新和优化，得到更优的参与度识别模型。
其中，区域偏差损失用于约束注意力权值αi，即使用一个超参数δ约束存在某个局部区域Fi的注意力权重αi大于带边缘的原始人脸图像F0的权重α0，
区域偏差损失表示为
LRB＝max{0,δ-(αmax-α0)}
其中，LRB表示区域偏差损失，δ表示超参数，α0是原始人脸图像的注意力权重，αmax表示所有局部区域的最大权重。
交叉熵损失表示为：
Figure BDA0003887076360000101
其中，LCE(p,y)表示交叉熵损失，N表示样本数量，yi表示第i个样本的标签，pi表示经过模型计算输出后第i个结果。
进一步地，在本申请实施例中，将待识别图像数据输入训练好的RCN模型，得到参与度识别结果，包括：
将待识别图像数据输入特征提取单元进行特征提取，得到特征图，将特征图随机裁剪成预设数量的区域特征；
将区域特征输入区域注意单元，计算区域特征的注意力权重，对区域特征进行加权，得到全局特征；
将区域特征分别与全局特征进行串联，得到目标特征，并通过全局注意单元得到目标特征的注意力权重，对目标特征进行加权，得到最终特征，对最终特征进行识别分类，得到待识别图像数据的参与度识别结果。
采用OpenCV从待识别视频提取图像帧，并采用人脸识别开源工具face_recognition裁剪提取图像帧的人脸区域，得到人脸面部图像作为待识别图像；将待识别图像输入训练好的RCN模型，首先提取输入图像的面部特征并进行随机裁剪，然后通过自适应地学习不同面部区域的权重，加权融合得到全局特征；将局部特征和全局特征串联后进行参与度识别，输出识别结果。
本申请中RCN模型包括特征提取单元、区域注意单元和全局注意单元。
下面详细说明基于RCN模型对待识别图像进行识别的方法。
特征提取单元将尺寸为224×224×3的待识别的人脸表情图像作为输入，使用一个卷积神经网络进行特征提取，得到28×28×512大小的特征图f0。卷积神经网络包括10个卷积层和3个池化层。首先经过64个卷积核的两次卷积后进行一次池化，然后经过128个卷积核的两次卷积后再进行一次池化，然后经过256个卷积核的三次卷积后再进行一次池化，最后经过512个卷积核的三次卷积后，得到特征图f0。然后将f0随机裁剪成n个大小为6×6×512的区域特征fi(i＝1,2,...,n)，每个区域分别由区域注意单元进行处理。区域注意单元由一个注意力网络实现，该网络包括一个池化层、卷积核分别为512和128的两个卷积层、一个全连接层和sigmoid层组成。通过计算输入的区域特征fi(i＝0,1,...,n)的注意力权重αi(i＝0,1,...,n)，对区域特征fi进行加权，得到全局注意表示fm，从全局角度来辅助优化区域编码机制，自适应调节权重参数。
其中，区域特征的注意力权重αi表示为：
αi＝sigmoid(fi T·q)
其中，sigmoid()为非线性激活函数，fi T表示转置后的区域特征，q全连接层参数，
全局注意表示fm表示为：
Figure BDA0003887076360000111
其中，n表示区域数量，αi表示区域特征的注意力权重，fi表示区域特征。
在区域注意单元中使用一个区域偏差损失用于约束注意力权值αi，即约束存在某个区域fi(i＝1,2,...,n)的注意力权重αi大于带边缘的原始人脸图像f0的权重α0，通过“鼓励”RCN模型提高对重要区域的关注度，使得模型能够获得更好的区域和全局表示权值。
区域偏差损失损失函数表示为：
LRB＝max{0,δ-(αmax-α0)}
其中，LRB表示区域偏差损失，δ是超参数，αmax表示所有局部区域的最大权重。
全局注意单元由一个注意力网络实现，该网络包括一个全连接层和sigmoid层。将区域特征fi(i＝0,1,...,n)分别与全局表示特征fm进行串联，得到目标特征[fi:fm]，然后通过全局注意单元得到注意力权重βi(i＝0,1,...,n)，对[fi:fm]进行加权得到最终特征表示P，最后对P进行识别分类。
其中，目标特征的注意力权重βi表示为：
Figure BDA0003887076360000112
其中，sigmoid()为非线性激活函数，
Figure BDA0003887076360000113
表示区域特征和全局特征串联后转置后的特征，
Figure BDA0003887076360000114
表示全连接层参数。
最终特征表示P表示为：
Figure BDA0003887076360000115
其中，n表示区域数量，αi表示区域特征的注意力权重，βi表示目标特征注意力权重，[fi:fm]表示目标特征。
图2为本申请实施例的区域编码和样本平衡优化的课堂参与度识别方法的另一个流程图。
如图2所示，该区域编码和样本平衡优化的课堂参与度识别方法，包括利用摄像头捕获受教育者实时在线学***衡带来的影响；将原始数据和生成的低参与样本共同输入到RCN中，通过学习不同面部区域的注意力权重进行区域编码，使得模型更关注权重较大的区域；在线采集的实时学习视频通过训练后的参与度识别框架得到参与度识别结果。
图3为本申请实施例的区域编码和样本平衡优化的课堂参与度识别方法的基于StarGAN模型生成在线学习低参与图像的结构示意图。
如图3所示，将随机高斯噪声z和参考图像
Figure BDA0003887076360000121
分别输入到映射网络和风格编码器，生成目标风格特征
Figure BDA0003887076360000123
将目标风格特征
Figure BDA0003887076360000122
和给定图像x输入到生成器G中生成虚假图像，最后由鉴别器D对生成图像进行鉴别，得到低参与样本。
图4为本申请实施例的区域编码和样本平衡优化的课堂参与度识别方法的基于StarGAN模型生成的低参与样本示意图。
如图4所示，在给定输入图像和参考图像情况下，经过不同训练迭代次数后，得到不同的低参与生成图像样例。
图5为本申请实施例的区域编码和样本平衡优化的课堂参与度识别方法的特征提取卷积神经网络结构示意图。
如图5所示，特征提取单元使用卷积神经网络进行特征提取，将尺寸为224×224×3的人脸表情图像作为输入进行特征提取，经过VGG16模型后特征的宽和高的维度减少，通道数不断增加，最终得到维度为28×28×512的特征图。
图6为本申请实施例的区域编码和样本平衡优化的课堂参与度识别方法的基于RCN模型的参与度识别框架示意图。
如图6所示，原始图像和生成图像输入特征提取单元进行特征提取，得到特征图f0，将f0随机裁剪成n个区域特征fi(i＝0,1,...,n)，通过区域注意单元计算输入的区域特征fi(i＝0,1,...,n)的注意力权重αi(i＝0,1,...,n)，并对区域特征fi进行加权，得到全局注意表示fm，将区域特征fi(i＝0,1,...,n)分别与全局表示特征fm进行串联，得到目标特征[fi:fm]，然后通过全局注意单元得到注意力权重βi(i＝0,1,...,n)，并对[fi:fm]进行加权得到最终特征表示P。
图7为本申请实施例二所提供的一种区域编码和样本平衡优化的课堂参与度识别装置的结构示意图。
如图7所示，该区域编码和样本平衡优化的课堂参与度识别装置，包括：
第一获取模块10，用于获取学生在线学习的视频数据，并根据视频数据生成原始样本数据，其中，原始样本数据包括高参与样本数据和低参与样本数据；
生成模块20，用于将低参与样本数据输入StarGAN模型，生成具有不同风格的目标低参与样本；
训练模块30，用于将原始样本数据和目标低参与样本输入RCN模型中进行训练，得到训练好的RCN模型；
第二获取模块40，用于获取待识别视频数据，根据待识别视频数据生成待识别图像数据；
识别模块50，用于将待识别图像数据输入训练好的RCN模型，得到参与度识别结果。
本申请实施例的区域编码和样本平衡优化的课堂参与度识别装置，包括第一获取模块，用于获取学生在线学***衡和手遮挡面部的技术问题，通过提出一种StarGAN模型生成低参与度样本，增强参与度数据库，同时提出一种用于面部区域编码的区域编码网络，能够自适应地学习不同面部区域的注意权值，并联合建模特征学习和遮挡区域编码，显著提升了网络模型的判别力和鲁棒性。
进一步地，在本申请实施例中，根据视频数据生成原始样本数据，包括：
利用人工及先验信息，定义视频数据的参与度标签；
从视频数据提取图像帧，并裁剪提取图像帧的人脸区域，得到人脸图像作为原始样本数据，其中，根据参与度标签将原始样本数据分为高参与样本数据和低参与样本数据。
为了实现上述实施例，本申请还提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例的区域编码和样本平衡优化的课堂参与度识别方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种区域编码和样本平衡优化的课堂参与度识别方法，其特征在于，包括以下步骤：
获取学生在线学习的视频数据，并根据所述视频数据生成原始样本数据，其中，所述原始样本数据包括高参与样本数据和低参与样本数据；
将所述低参与样本数据输入StarGAN模型，生成具有不同风格的目标低参与样本；
将所述原始样本数据和所述目标低参与样本输入RCN模型中进行训练，得到训练好的RCN模型；
获取待识别视频数据，根据所述待识别视频数据生成待识别图像数据；
将所述待识别图像数据输入所述训练好的RCN模型，得到参与度识别结果。
2.如权利要求1所述的方法，其特征在于，所述根据所述视频数据生成原始样本数据，包括：
利用人工及先验信息，定义所述视频数据的参与度标签；
从所述视频数据提取图像帧，并裁剪提取所述图像帧的人脸区域，得到人脸图像作为所述原始样本数据，其中，根据所述参与度标签将所述原始样本数据分为高参与样本数据和低参与样本数据。
3.如权利要求1所述的方法，其特征在于，所述StarGAN模型包括：映射网络、风格编码器、生成器和鉴别器，在将所述低参与样本数据输入StarGAN模型，生成具有不同风格的目标低参与样本之前，还包括：
获取低参与训练数据，其中，所述低参与训练数据为人脸图像；
将所述低参与训练数据输入StarGAN模型进行训练，通过损失函数对所述StarGAN模型进行迭代优化。
4.如权利要求3所述的方法，其特征在于，StarGAN模型的损失函数，包括：对抗损失、风格重建损失、多样性敏感损失和循环一致性损失，其中，
所述对抗损失表示为：
Figure FDA0003887076350000011
其中，Ladv表示对抗损失，E()表示数学期望值，x表示输入图像，y表示输入图像的原始域，Dy(x)是鉴别器在原始域y的输出，
Figure FDA0003887076350000012
表示目标域，z表示随机高斯噪声，
Figure FDA0003887076350000013
表示映射网络根据随机高斯噪声生成目标域的风格特征，
Figure FDA0003887076350000014
表示鉴别器对生成器生成的图像的输出结果，
Figure FDA0003887076350000021
表示生成器根据输入图像和目标风格特征生成域为y的虚假图像；
所述风格重建损失表示为：
Figure FDA0003887076350000022
其中，Lsty表示风格重建损失，E()表示数学期望值，x表示输入图像，y表示输入图像的原始域，
Figure FDA0003887076350000023
表示目标域，z表示随机高斯噪声，
Figure FDA0003887076350000024
表示映射网络根据随机高斯噪声生成目标域的风格特征，
Figure FDA0003887076350000025
表示生成器根据输入图像和目标风格特征生成域为y的虚假图像；
所述多样性敏感损失表示为：
Figure FDA0003887076350000026
其中，Lds表示多样性敏感损失，E()表示数学期望值，z1和z2表示随机高斯噪声向量，
Figure FDA0003887076350000027
和
Figure FDA0003887076350000028
分别表示由映射网络根据随机高斯噪声向量z1和z2输出得到的风格特征向量，
Figure FDA0003887076350000029
表示生成器根据输入图像和风格特征
Figure FDA00038870763500000210
生成的图像，
Figure FDA00038870763500000211
表示生成器根据输入图像和风格特征
Figure FDA00038870763500000212
生成的图像；
所述循环一致性损失表示为：
Figure FDA00038870763500000213
其中，Lcyc表示循环一致性损失，E()表示数学期望值，x表示输入图像，y表示输入图像的原始域，
Figure FDA00038870763500000214
表示目标域，z表示随机高斯噪声，
Figure FDA00038870763500000215
是输入图像x的估计风格编码，
Figure FDA00038870763500000216
表示使用生成器将生成的虚假图像
Figure FDA00038870763500000217
和
Figure FDA00038870763500000218
进行重构，得到带有风格
Figure FDA00038870763500000219
的图像，
Figure FDA00038870763500000220
表示生成器根据输入图像和风格特征
Figure FDA00038870763500000221
生成的图像；
使用目标函数对所述StarGAN模型进行优化，其中，所述目标函数表示为：
minG,F,EmaxDLadv+λstyLsty-λdsLds+λcycLcyc；
其中，minG,F,E表示通过训练生成器、映射网络和风格编码器最小化目标函数，maxD表示通过训练判别器最大化目标函数，Ladv表示对抗损失，Lsty表示风格重建损失，Lds表示多样性敏感损失，Lcyc表示循环一致性损失，λsty、λds和λcyc是用于平衡各项损失的超参数。
5.如权利要求4所述的方法，其特征在于，所述将所述低参与样本数据输入StarGAN模型，生成具有不同风格的目标低参与样本，包括：
将所述低参与样本数据中的人脸图像输入StarGAN模型，通过所述映射网络或所述风格编码器生成不同的风格特征，通过生成器根据输入的人脸图像和所述不同的风格特征，生成具有不同风格的目标低参与样本。
6.如权利要求1所述的方法，其特征在于，所述RCN模型包括特征提取单元、区域注意单元和全局注意单元，所述将所述原始样本数据和所述目标低参与样本输入RCN模型中进行训练，得到训练好的RCN模型，包括：
将所述原始样本数据和所述目标低参与样本输入RCN模型中，通过所述特征提取单元对所述原始样本数据和所述目标低参与样本进行特征提取，得到样本局部区域特征；
在特征空间中，通过所述区域注意单元学习不同面部区域的注意力权重对所述样本局部区域特征进行区域编码，得到样本全局特征；
将所述样本局部区域特征分别和所述样本全局特征进行串联，得到样本特征，通过所述全局注意单元得到所述样本特征的注意力权重，对所述样本特征进行加权融合得到最终样本特征；
根据所述最终样本特征，通过联合区域偏差损失和交叉熵损失，使用SGD算法对所述RCN模型的网络参数进行迭代更新和优化，得到训练好的RCN模型。
7.如权利要求6所述的方法，其特征在于，所述将所述待识别图像数据输入所述训练好的RCN模型，得到参与度识别结果，包括：
将所述待识别图像数据输入所述特征提取单元进行特征提取，得到特征图，将所述特征图随机裁剪成预设数量的区域特征；
将所述区域特征输入所述区域注意单元，计算所述区域特征的注意力权重，对所述区域特征进行加权，得到全局特征；
将所述区域特征分别与所述全局特征进行串联，得到目标特征，并通过所述全局注意单元得到所述目标特征的注意力权重，对所述目标特征进行加权，得到最终特征，对所述最终特征进行识别分类，得到所述待识别图像数据的参与度识别结果。
8.一种区域编码和样本平衡优化的课堂参与度识别装置，其特征在于，包括：
第一获取模块，用于获取学生在线学习的视频数据，并根据所述视频数据生成原始样本数据，其中，所述原始样本数据包括高参与样本数据和低参与样本数据；
生成模块，用于将所述低参与样本数据输入StarGAN模型，生成具有不同风格的目标低参与样本；
训练模块，用于将所述原始样本数据和所述目标低参与样本输入RCN模型中进行训练，得到训练好的RCN模型；
第二获取模块，用于获取待识别视频数据，根据所述待识别视频数据生成待识别图像数据；
识别模块，用于将所述待识别图像数据输入所述训练好的RCN模型，得到参与度识别结果。
9.如权利要求8所述的装置，其特征在于，所述根据所述视频数据生成原始样本数据，包括：
利用人工及先验信息，定义所述视频数据的参与度标签；
从所述视频数据提取图像帧，并裁剪提取所述图像帧的人脸区域，得到人脸图像作为所述原始样本数据，其中，根据所述参与度标签将所述原始样本数据分为高参与样本数据和低参与样本数据。
10.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一所述的方法。
CN202211246980.4A 2022-10-12 2022-10-12 区域编码和样本平衡优化的课堂参与度识别方法和装置 Pending CN115439915A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211246980.4A CN115439915A (zh) 2022-10-12 2022-10-12 区域编码和样本平衡优化的课堂参与度识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211246980.4A CN115439915A (zh) 2022-10-12 2022-10-12 区域编码和样本平衡优化的课堂参与度识别方法和装置

Publications (1)

Publication Number Publication Date
CN115439915A true CN115439915A (zh) 2022-12-06

Family

ID=84251064

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211246980.4A Pending CN115439915A (zh) 2022-10-12 2022-10-12 区域编码和样本平衡优化的课堂参与度识别方法和装置

Country Status (1)

Country Link
CN (1) CN115439915A (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111291819A (zh) * 2020-02-19 2020-06-16 腾讯科技（深圳）有限公司 图像识别方法、装置、电子设备及存储介质
CN111597978A (zh) * 2020-05-14 2020-08-28 公安部第三研究所 基于StarGAN网络模型实现行人重识别图片自动生成的方法
CN113159002A (zh) * 2021-05-26 2021-07-23 重庆大学 一种基于自注意力权重辅助模块的人脸表情识别方法
CN113158872A (zh) * 2021-04-16 2021-07-23 中国海洋大学 一种在线学习者情绪识别方法
CN113344479A (zh) * 2021-08-06 2021-09-03 首都师范大学 面向在线课堂的学习参与度智能评估方法和装置
CN113421187A (zh) * 2021-06-10 2021-09-21 山东师范大学 一种超分辨率重建方法、***、存储介质、设备
CN113537254A (zh) * 2021-08-27 2021-10-22 重庆紫光华山智安科技有限公司 图像特征提取方法、装置、电子设备及可读存储介质
CN113936317A (zh) * 2021-10-15 2022-01-14 南京大学 一种基于先验知识的人脸表情识别方法
CN114065874A (zh) * 2021-11-30 2022-02-18 河北省科学院应用数学研究所 医药玻璃瓶外观缺陷检测模型训练方法、装置及终端设备
CN114973126A (zh) * 2022-05-17 2022-08-30 中南大学 在线课程的学生参与度实时可视化分析方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111291819A (zh) * 2020-02-19 2020-06-16 腾讯科技（深圳）有限公司 图像识别方法、装置、电子设备及存储介质
CN111597978A (zh) * 2020-05-14 2020-08-28 公安部第三研究所 基于StarGAN网络模型实现行人重识别图片自动生成的方法
CN113158872A (zh) * 2021-04-16 2021-07-23 中国海洋大学 一种在线学习者情绪识别方法
CN113159002A (zh) * 2021-05-26 2021-07-23 重庆大学 一种基于自注意力权重辅助模块的人脸表情识别方法
CN113421187A (zh) * 2021-06-10 2021-09-21 山东师范大学 一种超分辨率重建方法、***、存储介质、设备
CN113344479A (zh) * 2021-08-06 2021-09-03 首都师范大学 面向在线课堂的学习参与度智能评估方法和装置
CN113537254A (zh) * 2021-08-27 2021-10-22 重庆紫光华山智安科技有限公司 图像特征提取方法、装置、电子设备及可读存储介质
CN113936317A (zh) * 2021-10-15 2022-01-14 南京大学 一种基于先验知识的人脸表情识别方法
CN114065874A (zh) * 2021-11-30 2022-02-18 河北省科学院应用数学研究所 医药玻璃瓶外观缺陷检测模型训练方法、装置及终端设备
CN114973126A (zh) * 2022-05-17 2022-08-30 中南大学 在线课程的学生参与度实时可视化分析方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KAI WANG等: "Region Attention Networks for Pose and Occlusion Robust Facial Expression Recognition", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》, vol. 29, pages 1 *
YUNJEY CHOI等: "StarGAN v2: Diverse Image Synthesis for Multiple Domains", 《ARXIV:1912.01865V2》, pages 1 - 3 *

Similar Documents

Publication Publication Date Title
Matern et al. Exploiting visual artifacts to expose deepfakes and face manipulations
CN110889672B (zh) 一种基于深度学习的学生打卡及上课状态的检测***
CN109558832A (zh) 一种人体姿态检测方法、装置、设备及存储介质
CN110263681A (zh) 面部表情的识别方法和装置、存储介质、电子装置
CN114359526B (zh) 基于语义gan的跨域图像风格迁移方法
CN109086660A (zh) 多任务学习深度网络的训练方法、设备及存储介质
CN109033953A (zh) 多任务学习深度网络的训练方法、设备及存储介质
US20110150301A1 (en) Face Identification Method and System Using Thereof
CN109101869A (zh) 多任务学习深度网络的测试方法、设备及存储介质
Ververas et al. Slidergan: Synthesizing expressive face images by sliding 3d blendshape parameters
CN110110648A (zh) 基于视觉感知与人工智能的动作提名方法
Li et al. Image manipulation localization using attentional cross-domain CNN features
CN111275638A (zh) 基于多通道注意力选择生成对抗网络的人脸修复方法
Gafni et al. Wish you were here: Context-aware human generation
CN113112416A (zh) 一种语义引导的人脸图像修复方法
Liu et al. Modern architecture style transfer for ruin or old buildings
CN115731596A (zh) 基于渐进式标签分布和深度网络的自发表情识别方法
CN113283334B (zh) 一种课堂专注度分析方法、装置和存储介质
CN112070181A (zh) 一种基于图像流的协同检测方法及装置、存储介质
CN108665455B (zh) 图像显著性预测结果的评价方法和装置
CN116403262A (zh) 一种基于机器视觉的在线学习专注度监测方法、***及介质
CN115439915A (zh) 区域编码和样本平衡优化的课堂参与度识别方法和装置
CN112115779B (zh) 可解释性课堂学生情感分析方法、***、装置及介质
JP7362924B2 (ja) データ増強基盤空間分析モデル学習装置及び方法
Li et al. Face mask removal based on generative adversarial network and texture network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination