CN115019374B - 基于人工智能的智慧课堂学生专注度低耗检测方法及*** - Google Patents
基于人工智能的智慧课堂学生专注度低耗检测方法及*** Download PDFInfo
- Publication number
- CN115019374B CN115019374B CN202210838610.3A CN202210838610A CN115019374B CN 115019374 B CN115019374 B CN 115019374B CN 202210838610 A CN202210838610 A CN 202210838610A CN 115019374 B CN115019374 B CN 115019374B
- Authority
- CN
- China
- Prior art keywords
- key frame
- image
- concentration
- similarity
- frame image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于人工智能的智慧课堂学生专注度低耗检测方法及***,涉及数据处理技术领域。该方法包括:获取对应的关键帧图像;筛选得到核心关键帧图像;得到核心优化关键帧图像;得到基于SVM模型的专注度检测模型;计算有效人脸图像与人脸专注度正样本、人脸专注度负样本的相似度,生成相似度判定结果;生成有效人脸图像对应的学生的专注度检测结果或对应的未识别结果;根据未识别结果将对应的有效人脸图像导入至基于SVM模型的专注度检测模型,生成对应的学生的专注度检测结果。本发明将复杂的视频处理转换为图像处理,采用低耗的简易模型实现对智慧课堂学生专注度的精准检测,保证检测精度的同时大大降低了资源消耗。
Description
技术领域
本发明涉及数据处理技术领域,具体而言,涉及一种基于人工智能的智慧课堂学生专注度低耗检测方法及***。
背景技术
随着社会的发展,学校、教师、学生、家长越来越重视智慧课堂的建设,在智慧课堂的建设过程中,如果能够对学生进行高质量的专注度检测,不仅可以帮助学生实时掌握自己的学习状态,而且可以帮助学校、教师全方位地了解学生的听课状况。
现有技术中尽管已经将部分专注度检测方法应用于智慧课堂中,但仍然存在较为明显的局限性。其局限性具体为:现有的复杂专注度检测方法虽然能够较为精准地对学生专注度进行检测,但往往会消耗巨大的计算资源;而现有的简易专注度检测方法虽然能够降低计算资源的消耗,但专注度检测精度会显著下降,无法满足精准检测的需求。因此,如何充分利用人工智能领域中的简易模型,实现高质量的智慧课堂学生专注度低耗检测成为一个亟需解决的问题。
发明内容
为了克服上述问题或者至少部分地解决上述问题,本发明实施例提供一种基于人工智能的智慧课堂学生专注度低耗检测方法及***,将复杂的视频处理转换为图像处理,采用低耗的简易模型实现对智慧课堂学生专注度的精准检测,保证检测精度的同时大大降低了资源消耗。
本发明的实施例是这样实现的:
第一方面,本发明实施例提供一种基于人工智能的智慧课堂学生专注度低耗检测方法,包括以下步骤:
获取并采用关键帧检测方法对课堂中的学生学习视频进行关键帧检测,以得到对应的关键帧图像;
选取基准人脸图像,并利用多尺度的基准人脸匹配方法将基准人脸图像与各个关键帧图像进行匹配,筛选得到核心关键帧图像;
对任意一个核心关键帧图像进行图像超分辨率重建,并利用图像增强方法对重建后的图像进行优化,以得到核心优化关键帧图像;
选取并基于人脸专注度正样本和人脸专注度负样本对预置的SVM模型进行训练,以得到基于SVM模型的专注度检测模型;
利用基于差异性卷积核的相似度匹配方法分别计算核心优化关键帧图像中的有效人脸图像与人脸专注度正样本、人脸专注度负样本的相似度,生成对应的相似度判定结果;
根据相似度判定结果生成核心优化关键帧图像中的有效人脸图像对应的学生的专注度检测结果或对应的未识别结果;
根据未识别结果将对应的核心优化关键帧图像中的有效人脸图像导入至基于SVM模型的专注度检测模型中进行检测分析,以生成对应的核心优化关键帧图像中对应的学生的专注度检测结果。
为了解决上述现有技术中的问题,本发明在关键帧检测的基础上,利用多尺度的基准人脸匹配方法,将基准人脸图像和关键帧图像进行匹配,更加有效地选取了的视频中的核心关键帧图像;同时,利用图像超分辨率重建模型和图像增强模型对核心关键帧图像进行优化,显著提升了核心关键帧图像的质量;本发明还利用基于差异性卷积核的相似度匹配方法,分别计算有效人脸区域和显著正样本、显著负样本的相似度,显著提升了学生专注度检测的精度。其本发明在专注度检测模型构建过程中,利用差异性权重SVM模型基于选取的正负样本进行训练,构建了更加精良的专注度检测模型,进一步提升了学生专注度检测的精度。本发明将视频处理问题转化为核心关键帧图像的处理问题,大大降低了计算资源消耗。同时,本发明中采用的核心模型为低耗模型,进一步降低了计算资源的消耗。本发明可实现将复杂的视频处理转换为图像处理,采用低耗的简易模型实现对智慧课堂学生专注度的精准检测,保证检测精度的同时大大降低了资源消耗。
基于第一方面,在本发明的一些实施例中,上述利用多尺度的基准人脸匹配方法将基准人脸图像与各个关键帧图像进行匹配,筛选得到核心关键帧图像的方法包括以下步骤:
分别将基准人脸图像和关键帧图像进行多尺度重建,以得到多个尺度下的基准人脸图像和关键帧图像;
分别在各个尺度下将对应的基准人脸图像和关键帧图像进行匹配,生成多个尺度下的匹配结果;
统计并根据所有尺度下的匹配结果对关键帧图像进行筛选,以得到核心关键帧图像。
基于第一方面,在本发明的一些实施例中,上述人脸专注度正样本包括显著正样本和普通正样本,上述人脸专注度负样本包括显著负样本和普通负样本。
基于第一方面,在本发明的一些实施例中,上述显著正样本和显著负样本的数量分别至少为普通正样本和普通负样本的数量的两倍。
基于第一方面,在本发明的一些实施例中,上述利用基于差异性卷积核的相似度匹配方法分别计算核心优化关键帧图像中的有效人脸图像与人脸专注度正样本、人脸专注度负样本的相似度的方法包括以下步骤:
利用平滑卷积核对核心优化关键帧图像中的任意一个有效人脸区域和显著正样本进行处理,分别得到该有效人脸区域和显著正样本的平滑处理结果;分别对该有效人脸区域和显著正样本的平滑处理结果进行自编码,并利用欧式距离计算该有效人脸区域和显著正样本的相似度,得到第一相似度结果;
利用去噪卷积核对核心优化关键帧图像中的任意一个有效人脸区域和显著正样本进行处理,分别得到该有效人脸区域和显著正样本的去噪处理结果;分别对该有效人脸区域和显著正样本的去噪处理结果进行自编码,并利用欧式距离计算该有效人脸区域和显著正样本的相似度,得到第二相似度结果;
利用锐化卷积核对核心优化关键帧图像中的任意一个有效人脸区域和显著正样本进行处理,分别得到该有效人脸区域和显著正样本的去锐化理结果;分别对该有效人脸区域和显著正样本的锐化处理结果进行自编码,并利用欧式距离计算该有效人脸区域和显著正样本的相似度,得到第三相似度结果。
基于第一方面,在本发明的一些实施例中,上述生成对应的相似度判定结果的方法包括以下步骤:
当第一相似度结果、第二相似度结果和第三相似度结果中至少存在一个大于预置的相似度阈值,则生成对应的有效人脸区域和显著性正样本相似度高的相似度判定结果。
基于第一方面,在本发明的一些实施例中,该基于人工智能的智慧课堂学生专注度低耗检测方法还包括以下步骤:
统计并根据各个核心优化关键帧图像中的每个学生的专注度检测结果生成每个学生的总专注度评价信息。
第二方面,本发明实施例提供一种基于人工智能的智慧课堂学生专注度低耗检测***,包括:关键帧检测模块、核心匹配模块、图像优化模块、模型构建模块、相似度判定模块、第一检测模块以及第二检测模块,其中:
关键帧检测模块,用于获取并采用关键帧检测方法对课堂中的学生学习视频进行关键帧检测,以得到对应的关键帧图像;
核心匹配模块,用于选取基准人脸图像,并利用多尺度的基准人脸匹配方法将基准人脸图像与各个关键帧图像进行匹配,筛选得到核心关键帧图像;
图像优化模块,用于对任意一个核心关键帧图像进行图像超分辨率重建,并利用图像增强方法对重建后的图像进行优化,以得到核心优化关键帧图像;
模型构建模块,用于选取并基于人脸专注度正样本和人脸专注度负样本对预置的SVM模型进行训练,以得到基于SVM模型的专注度检测模型;
相似度判定模块,用于利用基于差异性卷积核的相似度匹配方法分别计算核心优化关键帧图像中的有效人脸图像与人脸专注度正样本、人脸专注度负样本的相似度,生成对应的相似度判定结果;
第一检测模块,用于根据相似度判定结果生成核心优化关键帧图像中的有效人脸图像对应的学生的专注度检测结果或对应的未识别结果;
第二检测模块,用于根据未识别结果将对应的核心优化关键帧图像中的有效人脸图像导入至基于SVM模型的专注度检测模型中进行检测分析,以生成对应的核心优化关键帧图像中对应的学生的专注度检测结果。
为了解决上述现有技术中的问题,本***通过关键帧检测模块、核心匹配模块、图像优化模块、模型构建模块、相似度判定模块、第一检测模块以及第二检测模块等多个模块的配合,在关键帧检测的基础上,利用多尺度的基准人脸匹配方法,将基准人脸图像和关键帧图像进行匹配,更加有效地选取了的视频中的核心关键帧图像;同时,利用图像超分辨率重建模型和图像增强模型对核心关键帧图像进行优化,显著提升了核心关键帧图像的质量;本发明还利用基于差异性卷积核的相似度匹配方法,分别计算有效人脸区域和显著正样本、显著负样本的相似度,显著提升了学生专注度检测的精度。其本发明在专注度检测模型构建过程中,利用差异性权重SVM模型基于选取的正负样本进行训练,构建了更加精良的专注度检测模型,进一步提升了学生专注度检测的精度。本发明将视频处理问题转化为核心关键帧图像的处理问题,大大降低了计算资源消耗。同时,本发明中采用的核心模型为低耗模型,进一步降低了计算资源的消耗。本发明可实现将复杂的视频处理转换为图像处理,采用低耗的简易模型实现对智慧课堂学生专注度的精准检测,保证检测精度的同时大大降低了资源消耗。
第三方面,本申请实施例提供一种电子设备,其包括存储器,用于存储一个或多个程序;处理器。当一个或多个程序被处理器执行时,实现如上述第一方面中任一项的方法。
第四方面,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述第一方面中任一项的方法。
本发明实施例至少具有如下优点或有益效果:
本发明实施例提供一种基于人工智能的智慧课堂学生专注度低耗检测方法及***,解决了上述现有技术中的问题,本发明在关键帧检测的基础上,利用多尺度的基准人脸匹配方法,将基准人脸图像和关键帧图像进行匹配,更加有效地选取了的视频中的核心关键帧图像;同时,利用图像超分辨率重建模型和图像增强模型对核心关键帧图像进行优化,显著提升了核心关键帧图像的质量;本发明还利用基于差异性卷积核的相似度匹配方法,分别计算有效人脸区域和显著正样本、显著负样本的相似度,显著提升了学生专注度检测的精度。其本发明在专注度检测模型构建过程中,利用差异性权重SVM模型基于选取的正负样本进行训练,构建了更加精良的专注度检测模型,进一步提升了学生专注度检测的精度。本发明将视频处理问题转化为核心关键帧图像的处理问题,大大降低了计算资源消耗。同时,本发明中采用的核心模型为低耗模型,进一步降低了计算资源的消耗。本发明可实现将复杂的视频处理转换为图像处理,采用低耗的简易模型实现对智慧课堂学生专注度的精准检测,保证检测精度的同时大大降低了资源消耗。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例一种基于人工智能的智慧课堂学生专注度低耗检测方法的流程图;
图2为本发明实施例一种基于人工智能的智慧课堂学生专注度低耗检测方法中多尺度匹配的流程图;
图3为本发明实施例一种基于人工智能的智慧课堂学生专注度低耗检测方法中对学生进行专注度评价的流程图;
图4为本发明实施例一种基于人工智能的智慧课堂学生专注度低耗检测***的原理框图;
图5为本发明实施例提供的一种电子设备的结构框图。
附图标记说明:100、关键帧检测模块;200、核心匹配模块;300、图像优化模块;400、模型构建模块;500、相似度判定模块;600、第一检测模块;700、第二检测模块;101、存储器;102、处理器;103、通信接口。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
实施例:
如图1-图2所示,第一方面,本发明实施例提供一种基于人工智能的智慧课堂学生专注度低耗检测方法,包括以下步骤:
S1、获取并采用关键帧检测方法对课堂中的学生学习视频进行关键帧检测,以得到对应的关键帧图像;提取课堂中的学生学习视频,利用关键帧检测技术对视频进行关键帧检测。可以采用基于openCV的关键帧提取算法进行视频关键帧图像检测,还可以采用现有其他方法进行检测,上述关键帧检测方法采用常规现有算法,在此不做赘述。
S2、选取基准人脸图像,并利用多尺度的基准人脸匹配方法将基准人脸图像与各个关键帧图像进行匹配,筛选得到核心关键帧图像;
进一步地,如图2所示,包括:
S21、分别将基准人脸图像和关键帧图像进行多尺度重建,以得到多个尺度下的基准人脸图像和关键帧图像;
S22、分别在各个尺度下将对应的基准人脸图像和关键帧图像进行匹配,生成多个尺度下的匹配结果;
S23、统计并根据所有尺度下的匹配结果对关键帧图像进行筛选,以得到核心关键帧图像。
在本发明的一些实施例中,挑选面部姿态较好的一个基准人脸图像,网络下载、人工收集都可,选取面部姿态良好,面部图像完整的图像作为基准人脸图像,为后续提供更为精确的参考对比数据。对于任意一个关键帧图像,利用多尺度的基准人脸匹配方法,将基准人脸图像和关键帧图像进行匹配。分别将基准人脸和关键帧图像进行多尺度重建。如果在任意一个尺度下,关键帧图像中的某个区域和基准人脸图像都能够匹配,说明该区域确实为有效人脸区域。例如,如果对该关键帧图像不低于2/3的人脸被匹配为有效人脸(假设教室有30个学生,匹配到不低于20个有效人脸),将此帧图像作为核心关键帧图像。利用此方法,匹配到所有的有效人脸区域,并计算有效人脸的数目。
S3、对任意一个核心关键帧图像进行图像超分辨率重建,并利用图像增强方法对重建后的图像进行优化,以得到核心优化关键帧图像;
S4、选取并基于人脸专注度正样本和人脸专注度负样本对预置的SVM模型进行训练,以得到基于SVM模型的专注度检测模型;上述人脸专注度正样本包括显著正样本和普通正样本,上述人脸专注度负样本包括显著负样本和普通负样本。上述显著正样本和显著负样本的数量分别至少为普通正样本和普通负样本的数量的两倍。
在本发明的一些实施例中,挑选一些专注度很高的人脸图像作为显著正样本,挑选一些专注度较高的人脸图像作为普通正样本;挑选一些专注度极低的人脸图像作为显著负样本,挑选一些专注度较高的人脸图像作为普通负样本,选取全面的参考样本,为后续模型的训练以及相似度匹配计算提供合理的数据。利用差异性权重SVM模型基于正负样本进行训练,得到基于SVM模型的专注度检测模型。具体地,在训练的过程中,显著正样本和显著负样本均占两倍权重(其它和传统SVM模型一致)。
S5、利用基于差异性卷积核的相似度匹配方法分别计算核心优化关键帧图像中的有效人脸图像与人脸专注度正样本、人脸专注度负样本的相似度,生成对应的相似度判定结果;
进一步地,利用平滑卷积核对核心优化关键帧图像中的任意一个有效人脸区域和显著正样本进行处理,分别得到该有效人脸区域和显著正样本的平滑处理结果;分别对该有效人脸区域和显著正样本的平滑处理结果进行自编码,并利用欧式距离计算该有效人脸区域和显著正样本的相似度,得到第一相似度结果;利用去噪卷积核对核心优化关键帧图像中的任意一个有效人脸区域和显著正样本进行处理,分别得到该有效人脸区域和显著正样本的去噪处理结果;分别对该有效人脸区域和显著正样本的去噪处理结果进行自编码,并利用欧式距离计算该有效人脸区域和显著正样本的相似度,得到第二相似度结果;利用锐化卷积核对核心优化关键帧图像中的任意一个有效人脸区域和显著正样本进行处理,分别得到该有效人脸区域和显著正样本的去锐化理结果;分别对该有效人脸区域和显著正样本的锐化处理结果进行自编码,并利用欧式距离计算该有效人脸区域和显著正样本的相似度,得到第三相似度结果。
进一步地,当第一相似度结果、第二相似度结果和第三相似度结果中至少存在一个大于预置的相似度阈值,则生成对应的有效人脸区域和显著性正样本相似度高的相似度判定结果。
同样的,基于相同的方法,计算各个有效人脸区域和显著负样本的相似度。具体包括:
(a)利用平滑卷积核对某个有效人脸区域和显著负样本进行处理,分别得到该有效人脸区域和显著负样本的平滑处理结果;然后分别对该有效人脸区域和显著负样本的平滑处理结果进行自编码,并利用欧式距离计算二者的相似度;
(b)利用去噪卷积核对某个有效人脸区域和显著负样本进行处理,分别得到该有效人脸区域和显著负样本的去噪处理结果;然后分别对该有效人脸区域和显著负样本的去噪处理结果进行自编码,并利用欧式距离计算二者的相似度;
(a)利用锐化卷积核对某个有效人脸区域和显著负样本进行处理,分别得到该有效人脸区域和显著负样本的去锐化理结果;然后分别对该有效人脸区域和显著负样本的锐化处理结果进行自编码,并利用欧式距离计算二者的相似度;
当上述(a)(b)(c)3个步骤中,任意一个步骤中得到相似度较高的结果(大于预置的相似度阈值),都认定该有效人脸区域和显著负样本相似度较高。
S6、根据相似度判定结果生成核心优化关键帧图像中的有效人脸图像对应的学生的专注度检测结果或对应的未识别结果;
S7、根据未识别结果将对应的核心优化关键帧图像中的有效人脸图像导入至基于SVM模型的专注度检测模型中进行检测分析,以生成对应的核心优化关键帧图像中对应的学生的专注度检测结果。
在本发明的一些实施例中,对于任意一个优化后的核心关键帧图像,利用基于差异性卷积核的相似度匹配方法,对有效人脸区域和显著正样本、显著负样本都进行相似度计算。如果某个有效人脸区域和显著正样本相似度较高(大于预置的相似度阈值),直接认定为该同学专注度较高;如果某个有效人脸区域和显著负样本相似度较高(大于预置的相似度阈值),直接认定该同学专注度较低;对于和显著正样本、显著负样本都无较高相似度的有效人脸区域,继续进行下一步,利用专注度检测模型,对未判断出专注度结果的有效人脸区域进行检测。如果某有效人脸区域得分较高,认定该同学专注度较高;如果某有效人脸区域得分较低,认定该同学专注度较低。
为了解决上述现有技术中的问题,本发明在关键帧检测的基础上,利用多尺度的基准人脸匹配方法,将基准人脸图像和关键帧图像进行匹配,更加有效地选取了的视频中的核心关键帧图像;同时,利用图像超分辨率重建模型和图像增强模型对核心关键帧图像进行优化,显著提升了核心关键帧图像的质量;本发明还利用基于差异性卷积核的相似度匹配方法,分别计算有效人脸区域和显著正样本、显著负样本的相似度,显著提升了学生专注度检测的精度。其本发明在专注度检测模型构建过程中,利用差异性权重SVM模型基于选取的正负样本进行训练,构建了更加精良的专注度检测模型,进一步提升了学生专注度检测的精度。本发明将视频处理问题转化为核心关键帧图像的处理问题,大大降低了计算资源消耗。同时,本发明中采用的核心模型为低耗模型,进一步降低了计算资源的消耗。本发明可实现将复杂的视频处理转换为图像处理,采用低耗的简易模型实现对智慧课堂学生专注度的精准检测,保证检测精度的同时大大降低了资源消耗。
如图3所示,基于第一方面,在本发明的一些实施例中,该基于人工智能的智慧课堂学生专注度低耗检测方法还包括以下步骤:
S8、统计并根据各个核心优化关键帧图像中的每个学生的专注度检测结果生成每个学生的总专注度评价信息。
为了进一步提高对学生专注度检测评价的合理性和精准性,对于每一个核心关键帧图像中的每个有效人脸区域进行专注度检测,得到每位同学的专注度数据(例如有50张核心关键帧图像,有35张认定学生张三专注度较高,有39张认定学生李四专注度较高),从而对每位学生进行总体的专注度评价。
如图4所示,第二方面,本发明实施例提供一种基于人工智能的智慧课堂学生专注度低耗检测***,包括:关键帧检测模块100、核心匹配模块200、图像优化模块300、模型构建模块400、相似度判定模块500、第一检测模块600以及第二检测模块700,其中:
关键帧检测模块100,用于获取并采用关键帧检测方法对课堂中的学生学习视频进行关键帧检测,以得到对应的关键帧图像;
核心匹配模块200,用于选取基准人脸图像,并利用多尺度的基准人脸匹配方法将基准人脸图像与各个关键帧图像进行匹配,筛选得到核心关键帧图像;
图像优化模块300,用于对任意一个核心关键帧图像进行图像超分辨率重建,并利用图像增强方法对重建后的图像进行优化,以得到核心优化关键帧图像;
模型构建模块400,用于选取并基于人脸专注度正样本和人脸专注度负样本对预置的SVM模型进行训练,以得到基于SVM模型的专注度检测模型;
相似度判定模块500,用于利用基于差异性卷积核的相似度匹配方法分别计算核心优化关键帧图像中的有效人脸图像与人脸专注度正样本、人脸专注度负样本的相似度,生成对应的相似度判定结果;
第一检测模块600,用于根据相似度判定结果生成核心优化关键帧图像中的有效人脸图像对应的学生的专注度检测结果或对应的未识别结果;
第二检测模块700,用于根据未识别结果将对应的核心优化关键帧图像中的有效人脸图像导入至基于SVM模型的专注度检测模型中进行检测分析,以生成对应的核心优化关键帧图像中对应的学生的专注度检测结果。
为了解决上述现有技术中的问题,本***通过关键帧检测模块100、核心匹配模块200、图像优化模块300、模型构建模块400、相似度判定模块500、第一检测模块600以及第二检测模块700等多个模块的配合,在关键帧检测的基础上,利用多尺度的基准人脸匹配方法,将基准人脸图像和关键帧图像进行匹配,更加有效地选取了的视频中的核心关键帧图像;同时,利用图像超分辨率重建模型和图像增强模型对核心关键帧图像进行优化,显著提升了核心关键帧图像的质量;本发明还利用基于差异性卷积核的相似度匹配方法,分别计算有效人脸区域和显著正样本、显著负样本的相似度,显著提升了学生专注度检测的精度。其本发明在专注度检测模型构建过程中,利用差异性权重SVM模型基于选取的正负样本进行训练,构建了更加精良的专注度检测模型,进一步提升了学生专注度检测的精度。本发明将视频处理问题转化为核心关键帧图像的处理问题,大大降低了计算资源消耗。同时,本发明中采用的核心模型为低耗模型,进一步降低了计算资源的消耗。本发明可实现将复杂的视频处理转换为图像处理,采用低耗的简易模型实现对智慧课堂学生专注度的精准检测,保证检测精度的同时大大降低了资源消耗。
如图5所示,第三方面,本申请实施例提供一种电子设备,其包括存储器101,用于存储一个或多个程序;处理器102。当一个或多个程序被处理器102执行时,实现如上述第一方面中任一项的方法。
还包括通信接口103,该存储器101、处理器102和通信接口103相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器101可用于存储软件程序及模块,处理器102通过执行存储在存储器101内的软件程序及模块,从而执行各种功能应用以及数据处理。该通信接口103可用于与其他节点设备进行信令或数据的通信。
其中,存储器101可以是但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-OnlyMemory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。
处理器102可以是一种集成电路芯片,具有信号处理能力。该处理器102可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(NetworkProcessor,NP)等;还可以是数字信号处理器(Digital Signal Processing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请所提供的实施例中,应该理解到,所揭露的方法及***和方法,也可以通过其它的方式实现。以上所描述的方法及***实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的方法及***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
第四方面,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器102执行时实现如上述第一方面中任一项的方法。所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random AccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
对于本领域技术人员而言,显然本申请不限于上述示范性实施例的细节,而且在不背离本申请的精神或基本特征的情况下,能够以其它的具体形式实现本申请。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
Claims (10)
1.一种基于人工智能的智慧课堂学生专注度低耗检测方法,其特征在于,包括以下步骤:
获取并采用关键帧检测方法对课堂中的学生学习视频进行关键帧检测,以得到对应的关键帧图像;
选取基准人脸图像,并利用多尺度的基准人脸匹配方法将基准人脸图像与各个关键帧图像进行匹配,筛选得到核心关键帧图像;
对任意一个核心关键帧图像进行图像超分辨率重建,并利用图像增强方法对重建后的图像进行优化,以得到核心优化关键帧图像;
选取并基于人脸专注度正样本和人脸专注度负样本对预置的SVM模型进行训练,以得到基于SVM模型的专注度检测模型;
利用基于差异性卷积核的相似度匹配方法分别计算核心优化关键帧图像中的有效人脸图像与人脸专注度正样本、人脸专注度负样本的相似度,生成对应的相似度判定结果;
根据相似度判定结果生成核心优化关键帧图像中的有效人脸图像对应的学生的专注度检测结果或对应的未识别结果;
根据未识别结果将对应的核心优化关键帧图像中的有效人脸图像导入至基于SVM模型的专注度检测模型中进行检测分析,以生成对应的核心优化关键帧图像中对应的学生的专注度检测结果。
2.根据权利要求1所述的一种基于人工智能的智慧课堂学生专注度低耗检测方法,其特征在于,所述利用多尺度的基准人脸匹配方法将基准人脸图像与各个关键帧图像进行匹配,筛选得到核心关键帧图像的方法包括以下步骤:
分别将基准人脸图像和关键帧图像进行多尺度重建,以得到多个尺度下的基准人脸图像和关键帧图像;
分别在各个尺度下将对应的基准人脸图像和关键帧图像进行匹配,生成多个尺度下的匹配结果;
统计并根据所有尺度下的匹配结果对关键帧图像进行筛选,以得到核心关键帧图像。
3.根据权利要求1所述的一种基于人工智能的智慧课堂学生专注度低耗检测方法,其特征在于,所述人脸专注度正样本包括显著正样本和普通正样本,所述人脸专注度负样本包括显著负样本和普通负样本。
4.根据权利要求3所述的一种基于人工智能的智慧课堂学生专注度低耗检测方法,其特征在于,所述显著正样本和显著负样本的数量分别至少为普通正样本和普通负样本的数量的两倍。
5.根据权利要求3所述的一种基于人工智能的智慧课堂学生专注度低耗检测方法,其特征在于,所述利用基于差异性卷积核的相似度匹配方法分别计算核心优化关键帧图像中的有效人脸图像与人脸专注度正样本、人脸专注度负样本的相似度的方法包括以下步骤:
利用平滑卷积核对核心优化关键帧图像中的任意一个有效人脸区域和显著正样本进行处理,分别得到该有效人脸区域和显著正样本的平滑处理结果;分别对该有效人脸区域和显著正样本的平滑处理结果进行自编码,并利用欧式距离计算该有效人脸区域和显著正样本的相似度,得到第一相似度结果;
利用去噪卷积核对核心优化关键帧图像中的任意一个有效人脸区域和显著正样本进行处理,分别得到该有效人脸区域和显著正样本的去噪处理结果;分别对该有效人脸区域和显著正样本的去噪处理结果进行自编码,并利用欧式距离计算该有效人脸区域和显著正样本的相似度,得到第二相似度结果;
利用锐化卷积核对核心优化关键帧图像中的任意一个有效人脸区域和显著正样本进行处理,分别得到该有效人脸区域和显著正样本的去锐化理结果;分别对该有效人脸区域和显著正样本的锐化处理结果进行自编码,并利用欧式距离计算该有效人脸区域和显著正样本的相似度,得到第三相似度结果。
6.根据权利要求5所述的一种基于人工智能的智慧课堂学生专注度低耗检测方法,其特征在于,所述生成对应的相似度判定结果的方法包括以下步骤:
当第一相似度结果、第二相似度结果和第三相似度结果中至少存在一个大于预置的相似度阈值,则生成对应的有效人脸区域和显著性正样本相似度高的相似度判定结果。
7.根据权利要求1所述的一种基于人工智能的智慧课堂学生专注度低耗检测方法,其特征在于,还包括以下步骤:
统计并根据各个核心优化关键帧图像中的每个学生的专注度检测结果生成每个学生的总专注度评价信息。
8.一种基于人工智能的智慧课堂学生专注度低耗检测***,其特征在于,包括:关键帧检测模块、核心匹配模块、图像优化模块、模型构建模块、相似度判定模块、第一检测模块以及第二检测模块,其中:
关键帧检测模块,用于获取并采用关键帧检测方法对课堂中的学生学习视频进行关键帧检测,以得到对应的关键帧图像;
核心匹配模块,用于选取基准人脸图像,并利用多尺度的基准人脸匹配方法将基准人脸图像与各个关键帧图像进行匹配,筛选得到核心关键帧图像;
图像优化模块,用于对任意一个核心关键帧图像进行图像超分辨率重建,并利用图像增强方法对重建后的图像进行优化,以得到核心优化关键帧图像;
模型构建模块,用于选取并基于人脸专注度正样本和人脸专注度负样本对预置的SVM模型进行训练,以得到基于SVM模型的专注度检测模型;
相似度判定模块,用于利用基于差异性卷积核的相似度匹配方法分别计算核心优化关键帧图像中的有效人脸图像与人脸专注度正样本、人脸专注度负样本的相似度,生成对应的相似度判定结果;
第一检测模块,用于根据相似度判定结果生成核心优化关键帧图像中的有效人脸图像对应的学生的专注度检测结果或对应的未识别结果;
第二检测模块,用于根据未识别结果将对应的核心优化关键帧图像中的有效人脸图像导入至基于SVM模型的专注度检测模型中进行检测分析,以生成对应的核心优化关键帧图像中对应的学生的专注度检测结果。
9.一种电子设备,其特征在于,包括:
存储器,用于存储一个或多个程序;
处理器;
当所述一个或多个程序被所述处理器执行时,实现如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210838610.3A CN115019374B (zh) | 2022-07-18 | 2022-07-18 | 基于人工智能的智慧课堂学生专注度低耗检测方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210838610.3A CN115019374B (zh) | 2022-07-18 | 2022-07-18 | 基于人工智能的智慧课堂学生专注度低耗检测方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115019374A CN115019374A (zh) | 2022-09-06 |
CN115019374B true CN115019374B (zh) | 2022-10-11 |
Family
ID=83081926
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210838610.3A Active CN115019374B (zh) | 2022-07-18 | 2022-07-18 | 基于人工智能的智慧课堂学生专注度低耗检测方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115019374B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115205950B (zh) * | 2022-09-16 | 2023-04-25 | 广州昇创达科技有限公司 | 基于区块链的智慧交通地铁乘客检测及结账方法和*** |
CN116739704A (zh) * | 2023-06-07 | 2023-09-12 | 北京海上升科技有限公司 | 基于人工智能的电商平台兴趣分析式商品推荐方法及*** |
CN117235306A (zh) * | 2023-11-13 | 2023-12-15 | 北京师范大学 | 基于人工智能的人机交互式教育视频精准推送方法及*** |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107918755A (zh) * | 2017-03-29 | 2018-04-17 | 广州思涵信息科技有限公司 | 一种基于人脸识别技术的实时专注度分析方法及*** |
CN110135380A (zh) * | 2019-05-22 | 2019-08-16 | 东北大学 | 一种基于人脸检测的课堂专注度识别的方法 |
CN110175501A (zh) * | 2019-03-28 | 2019-08-27 | 重庆电政信息科技有限公司 | 基于人脸识别的多人场景专注度识别方法 |
CN110363084A (zh) * | 2019-06-10 | 2019-10-22 | 北京大米科技有限公司 | 一种上课状态检测方法、装置、存储介质及电子 |
WO2020029406A1 (zh) * | 2018-08-07 | 2020-02-13 | 平安科技(深圳)有限公司 | 人脸情绪识别方法、装置、计算机设备及存储介质 |
WO2021017261A1 (zh) * | 2019-08-01 | 2021-02-04 | 平安科技(深圳)有限公司 | 识别模型训练方法、图像识别方法、装置、设备及介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107578017B (zh) * | 2017-09-08 | 2020-11-17 | 百度在线网络技术(北京)有限公司 | 用于生成图像的方法和装置 |
CN110650368B (zh) * | 2019-09-25 | 2022-04-26 | 新东方教育科技集团有限公司 | 视频处理方法、装置和电子设备 |
-
2022
- 2022-07-18 CN CN202210838610.3A patent/CN115019374B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107918755A (zh) * | 2017-03-29 | 2018-04-17 | 广州思涵信息科技有限公司 | 一种基于人脸识别技术的实时专注度分析方法及*** |
WO2020029406A1 (zh) * | 2018-08-07 | 2020-02-13 | 平安科技(深圳)有限公司 | 人脸情绪识别方法、装置、计算机设备及存储介质 |
CN110175501A (zh) * | 2019-03-28 | 2019-08-27 | 重庆电政信息科技有限公司 | 基于人脸识别的多人场景专注度识别方法 |
CN110135380A (zh) * | 2019-05-22 | 2019-08-16 | 东北大学 | 一种基于人脸检测的课堂专注度识别的方法 |
CN110363084A (zh) * | 2019-06-10 | 2019-10-22 | 北京大米科技有限公司 | 一种上课状态检测方法、装置、存储介质及电子 |
WO2021017261A1 (zh) * | 2019-08-01 | 2021-02-04 | 平安科技(深圳)有限公司 | 识别模型训练方法、图像识别方法、装置、设备及介质 |
Non-Patent Citations (9)
Title |
---|
An Online Classroom Atmosphere Assessment System for Evaluating teaching Quality;Can Liu;《《2018 IEEE International Conference of Safety Produce Informatization (IICSPI)》》;20190414;全文 * |
CNNs and Transfer Learning for Lecture Venue Occupancy and Student Attention Monitoring;Antonie J. Smith;《International Symposium on Visual Computing(ISVC 2019):Advances in Visual Computing》;20191021;第383-393页 * |
Quantifying Student Attention using Convolutional Neural Networks;Andreea Coaja;《Proceedings of the 14th International Conference on Agents and Artificial Intelligence-Volume 3: ICAART》;20220421;第293-299页 * |
基于CNN人脸识别模型的大学生课堂行为分析研究;左国才等;《智能计算机与应用》;20191101(第06期);第114-117页 * |
基于Faster R-CNN的学生课堂行为检测算法研究;谭斌等;《现代计算机(专业版)》;20181125(第33期);第47-49页 * |
基于深度学习的低质视频人脸增强识别方法;刘鑫;《电脑知识与技术》;20210810;第94-96、第103页 * |
基于深度学习的学生课堂异常行为检测与分析***;廖鹏等;《电子世界》;20180423(第08期);第99-100页 * |
基于超分辨率重建的低质量视频人脸识别方法;陆要要;《计算机科学》;20211231;第295-302页 * |
多级FFD融合超分辨率重建的视频人脸识别;宋定宇;《激光杂志》;20141225(第12期);第34-39页 * |
Also Published As
Publication number | Publication date |
---|---|
CN115019374A (zh) | 2022-09-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115019374B (zh) | 基于人工智能的智慧课堂学生专注度低耗检测方法及*** | |
Song et al. | EDRNet: Encoder–decoder residual network for salient object detection of strip steel surface defects | |
CN109960810B (zh) | 一种实体对齐方法及装置 | |
Li et al. | Cross-layer feature pyramid network for salient object detection | |
CN108734212B (zh) | 一种确定分类结果的方法以及相关装置 | |
CN112508079B (zh) | 海洋锋面的精细化识别方法、***、设备、终端及应用 | |
CN111401339B (zh) | 识别人脸图像中的人的年龄的方法、装置及电子设备 | |
CN104537252A (zh) | 用户状态单分类模型训练方法和装置 | |
CN109086794A (zh) | 一种基于t-lda主题模型的驾驶行为模式识方法 | |
CN110826323B (zh) | 评论信息有效性检测方法及装置 | |
CN114596441A (zh) | 一种面向网络直播社交大数据的海量图像去噪方法及*** | |
CN115798020A (zh) | 一种基于人工智能的中小学生学习投入度检测方法与*** | |
CN117095230A (zh) | 基于图像大数据智能分析的空气质量低耗评估方法及*** | |
CN111046786A (zh) | 年龄估计神经网络的生成方法、装置以及电子设备 | |
CN116522282A (zh) | 一种基于bold信号的注意缺陷与多动障碍检测方法 | |
CN116468043A (zh) | 嵌套实体识别方法、装置、设备及存储介质 | |
CN116092101A (zh) | 训练方法、图像识别方法、装置、设备及可读存储介质 | |
CN115713630A (zh) | 基于人工智能的低质量盖章图像大数据识别方法及*** | |
CN109241146A (zh) | 集群环境下的学生智助方法和*** | |
CN114443898A (zh) | 一种面向互联网智慧教育的视频大数据推送方法 | |
CN112861874A (zh) | 一种基于多滤波器去噪结果的专家场去噪方法及*** | |
CN115393914A (zh) | 多任务模型训练方法、装置、设备及存储介质 | |
CN117475448B (zh) | 图像处理模型的训练方法、图像处理方法及装置 | |
Zhao et al. | Face Verification Between ID Document Photos and Partial Occluded Spot Photos | |
Luo et al. | Infrared Road Object Detection Based on Improved YOLOv8. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |