CN110580470A - 基于人脸识别的监测方法、装置、存储介质及计算机设备 - Google Patents
基于人脸识别的监测方法、装置、存储介质及计算机设备 Download PDFInfo
- Publication number
- CN110580470A CN110580470A CN201910865404.XA CN201910865404A CN110580470A CN 110580470 A CN110580470 A CN 110580470A CN 201910865404 A CN201910865404 A CN 201910865404A CN 110580470 A CN110580470 A CN 110580470A
- Authority
- CN
- China
- Prior art keywords
- image
- face
- abnormal
- identity
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000012544 monitoring process Methods 0.000 title claims abstract description 20
- 230000014509 gene expression Effects 0.000 claims abstract description 161
- 230000002159 abnormal effect Effects 0.000 claims abstract description 79
- 206010000117 Abnormal behaviour Diseases 0.000 claims abstract description 36
- 238000012806 monitoring device Methods 0.000 claims abstract description 8
- 230000001815 facial effect Effects 0.000 claims description 40
- 238000013528 artificial neural network Methods 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 19
- 230000015654 memory Effects 0.000 claims description 18
- 230000000306 recurrent effect Effects 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 11
- 230000008451 emotion Effects 0.000 abstract description 7
- 230000000694 effects Effects 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008921 facial expression Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 210000001097 facial muscle Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000007958 sleep Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于人脸识别的监测方法、装置、存储介质及计算机设备，其中，该方法包括：获取待识别图像，并提取待识别图像中的所有人脸图像，确定每个人脸图像所对应的身份标识；确定人脸图像中的表情信息，并判断表情信息是否异常；在表情信息异常时，将与具有异常的表情信息的人脸图像相对应的身份标识作为异常身份标识，并生成异常身份标识的异常行为记录。本发明提供的一种基于人脸识别的监测方法、装置、存储介质及计算机设备，可以自动识别全班学生的表情情绪变化，并抓取异常的表情，不需要老师过多参与；基于异常行为记录可以有针对性地分析相应学生的教学概况，也方便教师有针对性地进行教学，可以提高教师的教学效果。
Description
技术领域
本发明涉及教学教育领域，特别涉及一种基于人脸识别的监测方法、装置、存储介质及计算机设备。
背景技术
课堂教学是教师给学生传授知识和技能的全过程，是人才培养过程中进行理论知识传授最基本、最重要的环节。其是教育教学中普遍使用的一种手段，课堂教学质量的优劣对人才培养的质量有着直接的影响。为了提高课堂教学质量，需要教师了解学生在课堂中的实际学习情况。在上课过程中，学生容易出现自制能力比较弱，容易走神等状况。若老师无法及时察觉并及时制止，长期下来学生容易出现跟不上课堂的授课内容、成绩下滑等情况。
在目前的教师授课过程中，尤其大班授课，学生课堂听课状况实时掌握非常困难，而辅导机构的一对一辅导虽然可以有效避免该问题，但其收费昂贵，并不具有普遍适用性。
发明内容
为解决上述问题，本发明提供一种基于人脸识别的监测方法、装置、存储介质及计算机设备。
根据本发明的第一个方面，提供一种基于人脸识别的监测方法，包括：
获取待识别图像，并提取所述待识别图像中的所有人脸图像，确定每个所述人脸图像所对应的身份标识；
确定所述人脸图像中的表情信息，并判断所述表情信息是否异常；
在所述表情信息异常时，将与具有异常的所述表情信息的人脸图像相对应的身份标识作为异常身份标识，并生成所述异常身份标识的异常行为记录。
在一种可能的实现方式中，所述确定每个所述人脸图像所对应的身份标识包括：
对所述人脸图像与人脸数据库进行匹配处理，将所述人脸数据库中与所述人脸图像相匹配的人脸的身份标识作为所述人脸图像的身份标识；或者
预先设置所述待识别图像中每个图像区域与身份标识之间的对应关系，根据所述人脸图像在所述待识别图像中所属的图像区域以及图像区域与身份标识之间的对应关系确定所述人脸图像所对应的身份标识；或者
基于设在不同位置的多个拍摄装置所采集的图像生成具有景深信息的待识别图像，并提取出所述待识别图像中具有景深信息的人脸图像；根据所述人脸图像的景深信息以及所述人脸图像在所述待识别图像中的位置确定所述人脸图像在世界坐标系下的三维坐标，将所述三维坐标所对应的用户的身份标识作为所述人脸图像的身份标识。
在一种可能的实现方式中，所述确定所述人脸图像中的表情信息包括：
将所述人脸图像划分为多个部位，并确定每个部位所对应的人脸部位图像；
根据所有的所述人脸部位图像生成所述人脸图像的人脸特征序列，并将所述人脸特征序列作为预先训练好的表情识别模型的输入，根据所述表情识别模型确定所述人脸图像所对应的表情信息。
在一种可能的实现方式中，所述根据所有的所述人脸部位图像生成所述人脸图像的人脸特征序列包括：
根据所述人脸部位图像在所述人脸图像中的位置分别确定每个所述人脸部位图像与其他人脸部位图像之间的邻接关系；
将具有最多邻接关系的人脸部位图像作为待定的图像序列的第一顺位图像，之后将所述第一顺位图像作为当前顺位图像，并将与所述当前顺位图像具有邻接关系的其他人脸部位图像作为下一顺位图像，重复上述基于当前顺位图像选取下一顺位图像的过程，直至遍历所有的所述人脸部位图像、且遍历所述人脸部位图像之间的所有邻接关系，最终生成包含所有的所述人脸部位图像、以及所述人脸部位图像之间的所有邻接关系的图像序列；
基于循环神经网络将所述图像序列转换为所述人脸图像的人脸特征序列。
在一种可能的实现方式中，所述将所述人脸特征序列作为预先训练好的表情识别模型的输入，根据所述表情识别模型确定所述人脸图像所对应的表情信息包括；
连续获取多帧的待识别图像，从多帧的所述待识别图像中依次提取出具有相同身份标识的多帧的人脸图像，并确定每一帧的人脸图像的人脸特征序列；
将多帧的人脸图像的人脸特征序列作为预先训练好的表情识别模型的输入，根据所述表情识别模型确定多帧的所述人脸图像所对应的表情信息。
在一种可能的实现方式中，在所述将所述人脸特征序列作为预先训练好的表情识别模型的输入之前，该方法还包括：
确定训练样本，并建立表情识别模型，所述训练样本包括人脸样本图像的人脸特征序列以及与所述人脸样本图像相对应表情信息；
将所述人脸样本图像的人脸特征序列作为所述表情识别模型的输入、将与所述人脸样本图像相对应表情信息作为所述表情识别模型的输出，对所述表情识别模型进行训练，并生成训练好的表情识别模型。
在一种可能的实现方式中，在所述生成所述异常身份标识的异常行为记录之后，该方法还包括：
获取相关联***中记录的所述异常身份标识的关联信息，根据所述关联信息以及所述异常行为记录生成所述异常身份标识的综合教学记录；或者
将所述异常行为记录发送至相关联***，指示所述相关联***基于所述相关联***中记录的所述异常身份标识的关联信息以及所述异常行为记录生成所述异常身份标识的综合教学记录。
根据本发明的第二个方面，提供一种基于人脸识别的监测装置，包括：
获取模块，用于获取待识别图像，并提取所述待识别图像中的所有人脸图像，确定每个所述人脸图像所对应的身份标识；
表情识别模块，用于确定所述人脸图像中的表情信息，并判断所述表情信息是否异常；
异常记录模块，用于在所述表情信息异常时，将与具有异常的所述表情信息的人脸图像相对应的身份标识作为异常身份标识，并生成所述异常身份标识的异常行为记录。
根据本申请的第三个方面，提供一种计算机可读存储介质，其上存储有计算机可读指令，该计算机可读指令被处理器执行时实现基于人脸识别的监测步骤。
根据本申请的第四个方面，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现基于人脸识别的监测步骤。
本发明实施例提供的一种基于人脸识别的监测方法、装置、存储介质及计算机设备，在提取待识别图像中学生的人脸图像的同时，还确定每个人脸图像对应的学生的身份标识，并基于表情识别确定学生表情是否异常；在表情异常时可以准确定位异常的学生，且可以为相应的学生生成异常行为记录。该方式可以自动识别全班学生的表情情绪变化，并抓取异常的表情，不需要老师过多参与；基于异常行为记录可以有针对性地分析相应学生的教学概况，也方便教师有针对性地进行教学，可以提高教师的教学效果。基于循环神经网络可以生成包含所有人脸部位图像以及所有邻接关系的图像序列，可以保证表情识别的准确性；且将多维的人脸图像转换为一维的人脸特征序列，可以更加快速地训练表情识别模型，模型的识别结果更加准确。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例提供的基于人脸识别的监测方法的流程示意图；
图2为本发明实施例提供的基于人脸识别的监测方法中，确定人脸图像中的表情信息的具体流程示意图；
图3为本发明实施例提供的人脸图像的一种划分示意图；
图4为本发明实施例提供的循环神经网络的一种结构示意图；
图5为本发明实施例提供的基于人脸识别的监测装置的结构示意图；
图6为本发明实施例提供的执行课堂监测方法的计算机设备的结构示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
本发明实施例提供的一种基于人脸识别的监测方法，参见图1所示，包括：
步骤101：获取待识别图像，并提取待识别图像中的所有人脸图像，确定每个人脸图像所对应的身份标识。
本发明实施例中，基于预先设置好的摄像设备可以采集到包含人脸的图像，即待识别图像，进而可以提取出该待识别图像中的人脸图像。本实施例中，教师在向学生授课的过程中，可以在课堂内架设拍摄装置，例如相机、摄像头等，且该拍摄装置可以采集到包含学生人脸图像的课堂图像，即上述待识别图像。具体的，该拍摄装置可以架设在课堂的前方，且镜头朝向听课的学生。在获取到待识别图像之后，即可基于人脸识别技术提取出待识别图像中所有的人脸图像。其中，可以通过拍摄装置直接采集到待识别图像；或者，通过拍摄装置采集课堂视频，并从课堂视频中提取出待识别图像。同时，课堂中不同学生具有不同的人脸特征，即每个人脸图像可以对应相应的学生，从而可以确定每个人脸图像所对应是哪个学生，即可以确定人脸图像所对应的学生的身份标识。
可选的，可以采用多种方式来确定人脸图像对应的身份标识。具体的，上述步骤101中“确定每个人脸图像所对应的身份标识”包括：
步骤A1：对人脸图像与人脸数据库进行匹配处理，将人脸数据库中与人脸图像相匹配的人脸的身份标识作为人脸图像的身份标识。
本实施例中，预先建立包含学生人脸的人脸数据库，在提取出待识别图像中的人脸图像后，即可对该人脸图像与人脸数据库进行匹配处理，即查询在人脸数据库中是否存在与该人脸图像相匹配的学生人脸，若存在，则说明采集到的人脸图像与人脸数据库中的一个人脸是相匹配，由于预先设置了人脸数据库中每个人脸的身份标识，即预先设置了每个人脸对应哪个学生，故此时可以直接将人脸数据库中与人脸图像相匹配的人脸的身份标识作为人脸图像的身份标识。
或者，上述步骤101中“确定每个人脸图像所对应的身份标识”包括：步骤A2：预先设置待识别图像中每个图像区域与身份标识之间的对应关系，根据人脸图像在待识别图像中所属的图像区域以及图像区域与身份标识之间的对应关系确定人脸图像所对应的身份标识。
本发明实施例中，预先固定采集待识别图像的拍摄装置的位置，此时，情况下，课堂上不同学生的人脸图像位于该待识别图像的不同位置，通过预先设置待识别图像中每个图像区域与身份标识之间的对应关系，在采集到待识别图像时即可确定每个人脸图像所对应的学生，即人脸图像所对应的身份标识。例如，待识别图像左上角的某片区域对应学生A的人脸图像，若待识别图像在该左上角的区域内存在某个人脸图像a，则该人脸图像a对应学生A的身份标识。
或者，上述步骤101中“确定每个人脸图像所对应的身份标识”包括：步骤A3：基于设在不同位置的多个拍摄装置所采集的图像生成具有景深信息的待识别图像，并提取出待识别图像中具有景深信息的人脸图像；根据人脸图像的景深信息以及人脸图像在待识别图像中的位置确定人脸图像在世界坐标系下的三维坐标，将三维坐标所对应的用户的身份标识作为人脸图像的身份标识。
本实施例中，基于多个不同位置的拍摄装置可以采集到景深信息，即可以采集并生成三维的待识别图像，之后基于拍摄装置本身固有的物理参数(例如所在位置、焦距等)即可将待识别图像中的人脸图像转换至世界坐标系中，从而可以确定人脸图像在世界坐标系下的三维坐标，之后即可确定该三维坐标对应哪个学生，即可以确定人脸图像的身份标识。例如，学生A在教室的第三排第四列，且第三排第四列在真实世界的世界坐标系下对应坐标(30,40)；若待识别图像中的某个人脸图像a的三维坐标为(30,40,10)，其中的10为高度值，则说明该人脸图像a是学生A的人脸图像，即人脸图像a对应学生A的身份标识。其中，多个拍摄装置采集到三维图像的原理与双目相机的工作原理基本类似，此处不做赘述。
步骤102：确定人脸图像中的表情信息，并判断表情信息是否异常。
本发明实施例中，在确定人脸图像后，可以识别出人脸图像中的表情信息，基于该表情信息来判断学生是否走神。具体的，可以基于传统的表情识别方法来识别出人脸图像中的表情信息，从而可以判断相应的学生的课堂情绪状态。例如，在面部表情编码***(FacialAction Coding System，FACS)中，一般识别表情时是基于多个运动单元AU(ActionUnit)实现的，即通过多个运动单元AU完成表情识别的过程。
步骤103：在表情信息异常时，将与具有异常的表情信息的人脸图像相对应的身份标识作为异常身份标识，并生成异常身份标识的异常行为记录。
本发明实施例中，若学生的表情信息表示走神、注意力不集中等，则认为该表情信息异常，此时基于哪些表情信息异常即可判断哪些学生走神，即可以确定异常身份标识，之后即可生成该异常身份标识的异常行为记录。其中，该异常行为记录可以记载走神等异常行为，基于该异常行为记录可以实时提醒教师哪些学生注意力不集中，或者生成课堂报告，使得教师基于该课堂报告可以有针对性地进行教学，提高教学效果。
本发明实施例提供的一种基于人脸识别的监测方法，在提取待识别图像中学生的人脸图像的同时，还确定每个人脸图像对应的学生的身份标识，并基于表情识别确定学生表情是否异常；在表情异常时可以准确定位异常的学生，且可以为相应的学生生成异常行为记录。该方式可以自动识别全班学生的表情情绪变化，并抓取异常的表情，不需要老师过多参与；基于异常行为记录可以有针对性地分析相应学生的教学概况，也方便教师有针对性地进行教学，可以提高教师的教学效果。
在上述实施例的基础上，参见图2所示，步骤102“确定人脸图像中的表情信息”具体包括：
步骤1021：将人脸图像划分为多个部位，并确定每个部位所对应的人脸部位图像。
本发明实施例中，将人脸图像分为多个部位，每个部位对应一个图像，即人脸部位图像，比如左眼图像、右眼图像、嘴部图像等；基于多个部位的图像可以精细化确定该人脸图像对应的表情或情绪。
步骤1022：根据所有的人脸部位图像生成人脸图像的人脸特征序列，并将人脸特征序列作为预先训练好的表情识别模型的输入，根据表情识别模型确定人脸图像所对应的表情信息。
传统表情识别模型一般直接将人脸图像作为输入，该方式虽然简单，但是由于表情识别模型输入的是完整的人脸图像，在训练表情识别模型时需要大量的训练集，且识别精度不高。本发明实施例中，基于人脸图像的所有人脸部位图像生成人脸特征序列，将多维的人脸图像转换为一维的人脸特征序列，可以更加准确快速地训练表情识别模型，模型的识别结果更加准确。
其中，在将人脸特征序列作为预先训练好的表情识别模型的输入之前，还包括训练表情识别模型的过程，该过程具体包括：
步骤B1：确定训练样本，并建立表情识别模型，训练样本包括人脸样本图像的人脸特征序列以及与人脸样本图像相对应表情信息。
步骤B2：将人脸样本图像的人脸特征序列作为表情识别模型的输入、将与人脸样本图像相对应表情信息作为表情识别模型的输出，对表情识别模型进行训练，并生成训练好的表情识别模型。
本发明实施例中，该表情识别模型具体可以为分类器，在训练完后，即可基于训练好的表情识别模型进行表情识别。
在上述实施例的基础上，基于人脸部位图像之间的邻接关系来生成人脸特征序列，步骤1022“根据所有的人脸部位图像生成人脸图像的人脸特征序列”具体包括：
步骤C1：根据人脸部位图像在人脸图像中的位置分别确定每个人脸部位图像与其他人脸部位图像之间的邻接关系。
本发明实施例中，人脸图像被分为多个人脸部位图像，此时基于人脸部位图像在该人脸图像中的位置，即可确定哪些人脸部位图像是相邻的，即可以确定某个人脸部位图像与其他哪个人脸部位图像之间具有邻接关系，比如嘴部图像和鼻部图像具有邻接关系。为方便描述，本实施例以将人脸图像分为四个人脸部位图像为例说明，划分方式可参见图3，如图所示，人脸图像分为四个人脸部位图像①②③④，其中，③分别与①、②、④相邻，则①与③之间具有邻接关系，②与③之间具有邻接关系，③与④之间具有邻接关系；同时，④分别与①、②相邻，则①与司之间具有邻接关系，②与④之间具有邻接关系。其中，邻接关系只是表示两个人脸部位图像相邻，并不限定两个人脸部位图像的主次，例如，①与③之间的邻接关系，③与①之间的邻接关系，二者表示相同的含义。
步骤C2：将具有最多邻接关系的人脸部位图像作为待定的图像序列的第一顺位图像，之后将第一顺位图像作为当前顺位图像，并将与当前顺位图像具有邻接关系的其他人脸部位图像作为下一顺位图像，重复上述基于当前顺位图像选取下一顺位图像的过程，直至遍历所有的人脸部位图像、且遍历人脸部位图像之间的所有邻接关系，最终生成包含所有的人脸部位图像、以及人脸部位图像之间的所有邻接关系的图像序列。
由于人脸的表情都是基于面部肌肉做出来的，当某一肌肉动作时，很难只是影响人脸的某个部位，由于相邻的部位之间都是有关联关系的，当某个肌肉带动某一部位动作时，同时也会带动与该部位相邻的其他部位动作。例如，人嘴角上扬时会影响脸颊的状态，甚至影响到人的眼睛。本发明实施例中通过建立多个人脸部位图像的序列来体现部位之间的关系，即基于人脸部位图像的邻接关系来生成图像序列。例如，嘴部图像与鼻子图像是相邻的，则该图像序列中包含“嘴部图像→鼻子图像”或者“鼻子图像→嘴部图像”；由于某个部位可能与多个其他部位是相邻的，最终生成的图像序列中，某个部位可能出现多次。
具体的，由于图像序列需要包含所有的邻接关系，若将邻接关系较少的人脸部位图像作为该图像序列的第一顺位图像，为了保证其他具有较多邻接关系的人脸部位图像的所有邻接关系均包含在该图像序列中，需要额外增加图像序列中人脸部位图像的数量，导致图像序列过长。本发明实施例中，为了尽量减少图像序列的长度，将具有最多邻接关系的人脸部位图像作为图像序列的第一顺位图像，可以减少图像序列的长度，且有利于模型训练以及表情识别的过程，可以有效减少训练量，同时也能精确识别出人脸图像的表情。
如图3所示，人脸部位图像①与③和④相邻，则人脸部位图像①具有两个邻接关系，同理可知，人脸部位图像②、③、④分别具有两个邻接关系、三个邻接关系、三个邻接关系。此时若将①作为图像序列的第一顺位图像，则图像序列前面可以为①→③→④→②→③，但是此时由于不包含①与④之间的邻接关系，此时需要最后补上“①→④”或“④→①”，即完整的图像序列可以为①→③→④→②→③→④→①，该图像序列包含七个人脸部位图像。若将具有最多邻接关系的人脸部位图像作为图像序列的第一顺位图像，即将人脸部位图像③或④作为第一顺位图像，可以减小图像序列的长度。具体的，将人脸部位图像③作为第一顺位图像，则该图像序列可以为③→①→④→②→③→④，或者③→④→①→③→②→④，此时的图像序列包含六个人脸部位图像，该图像序列在包含所有邻接关系的同时，还具有较小的长度。
其中，由于如何将人脸图像划分为多个人脸部位图像，以及人脸部位图像的邻接关系均可以是预先设置好的，故可以预先设置好生成图像序列的方式，在从待识别图像中提取出人脸图像后，可以直接按照生成图像序列的方式生成该人脸图像的图像序列。
步骤C3：基于循环神经网络将所述图像序列转换为所述人脸图像的人脸特征序列。
本发明实施例中，利用循环神经网络可以记忆相邻序列的特点，基于循环神经网络生成人脸图像的人脸特征序列。具体的，将图像序列中的每个人脸部位图像依次作为循环神经网络的输入，从而可以生成包含人脸部位图像的邻接关系的人脸特征序列。循环神经网络的一种结构示意图参见图4所示，其中，x1至x4表示循环神经网络的输入，E1至E4表示循环神经网络的输出，s1至s4表示循环神经网络的网络参数；若本实施例中的图像序列包含四个人脸部位图像①②③①，则将四个人脸部位图像①②③①分别作为x1、x2、x3、x4输入至该循环神经网络中，从而可以确定相应的输出，此时即可以将E1E2E3E4拼接为一个整体并作为人脸特征序列。
本发明实施例中，基于循环神经网络可以生成包含所有人脸部位图像以及所有邻接关系的图像序列，可以保证表情识别的准确性；且将多维的人脸图像转换为一维的人脸特征序列，可以更加快速地训练表情识别模型，模型的识别结果更加准确。
此外，基于一张人脸图像可能不能正确判断学生的表情，例如学生眨眼，若拍摄装置正好捕捉到学生闭眼时的图像，此时并不能说明该学生在闭眼睡觉。本发明实施例中基于多帧连续的人脸图像来确定学生的动态特征，从而可以动态确定学生的表情信息是否异常，例如确定学生是否走神等。其中，“将人脸特征序列作为预先训练好的表情识别模型的输入，根据表情识别模型确定人脸图像所对应的表情信息”具体可以包括；
步骤D1：连续获取多帧的待识别图像，从多帧的待识别图像中依次提取出具有相同身份标识的多帧的人脸图像，并确定每一帧的人脸图像的人脸特征序列。
步骤D2：将多帧的人脸图像的人脸特征序列作为预先训练好的表情识别模型的输入，根据表情识别模型确定多帧的人脸图像所对应的表情信息。
本发明实施例中，基于多张连续拍摄的人脸图像，可以提取出学生表情的动态变化，使得判断结果更加准确。对于多张人脸图像的人脸特征序列，可以将多张人脸图像的人脸特征序列拼接为一个整体序列；或者，也可以基于另一个循环神经网络，将每个人脸特征序列依次作为循环神经网络的输入，从而生成包含该学生动态变化特征的完整特征序列。其中，该循环神经网络具体可采用LSTM(Long Short-Term Memory，长短期记忆网络)。
在上述实施例的基础上，在步骤103“生成异常身份标识的异常行为记录”之后，该方法还包括：
步骤E1：获取相关联***中记录的异常身份标识的关联信息，根据关联信息以及异常行为记录生成异常身份标识的综合教学记录；或者
步骤E2：将异常行为记录发送至相关联***，指示相关联***基于相关联***中记录的异常身份标识的关联信息以及异常行为记录生成异常身份标识的综合教学记录。
本实施例中，可以与其他的相关联***进行对接或信息共享，该相关联***具体可以是与教学相关的***，例如成绩***等，从该相关联***中可以获取到相应的关联信息，例如学生成绩信息等；结合学生在课堂上的异常行为记录、以及成绩等信息，基于大数据分析技术可以生成该学生的综合性报告，即综合教学记录，基于该综合教学记录可以更加方便老师针对该学生进行适应性教学。
本发明实施例提供的一种基于人脸识别的监测方法，在提取待识别图像中学生的人脸图像的同时，还确定每个人脸图像对应的学生的身份标识，并基于表情识别确定学生表情是否异常；在表情异常时可以准确定位异常的学生，且可以为相应的学生生成异常行为记录。该方式可以自动识别全班学生的表情情绪变化，并抓取异常的表情，不需要老师过多参与；基于异常行为记录可以有针对性地分析相应学生的教学概况，也方便教师有针对性地进行教学，可以提高教师的教学效果。基于循环神经网络可以生成包含所有人脸部位图像以及所有邻接关系的图像序列，可以保证表情识别的准确性；且将多维的人脸图像转换为一维的人脸特征序列，可以更加快速地训练表情识别模型，模型的识别结果更加准确。
以上详细介绍了基于人脸识别的监测方法流程，该方法也可以通过相应的装置实现，下面详细介绍该装置的结构和功能。
本发明实施例提供的一种基于人脸识别的监测装置，参见图5所示，包括：
获取模块51，用于获取待识别图像，并提取所述待识别图像中的所有人脸图像，确定每个所述人脸图像所对应的身份标识；
表情识别模块52，用于确定所述人脸图像中的表情信息，并判断所述表情信息是否异常；
异常记录模块53，用于在所述表情信息异常时，将与具有异常的所述表情信息的人脸图像相对应的身份标识作为异常身份标识，并生成所述异常身份标识的异常行为记录。
在上述实施例的基础上，所述获取模块51确定每个所述人脸图像所对应的身份标识包括：
对所述人脸图像与人脸数据库进行匹配处理，将所述人脸数据库中与所述人脸图像相匹配的人脸的身份标识作为所述人脸图像的身份标识；或者
预先设置所述待识别图像中每个图像区域与身份标识之间的对应关系，根据所述人脸图像在所述待识别图像中所属的图像区域以及图像区域与身份标识之间的对应关系确定所述人脸图像所对应的身份标识；或者
基于设在不同位置的多个拍摄装置所采集的图像生成具有景深信息的待识别图像，并提取出所述待识别图像中具有景深信息的人脸图像；根据所述人脸图像的景深信息以及所述人脸图像在所述待识别图像中的位置确定所述人脸图像在世界坐标系下的三维坐标，将所述三维坐标所对应的用户的身份标识作为所述人脸图像的身份标识。
在上述实施例的基础上，所述表情识别模块52包括：
图像划分单元，用于将所述人脸图像划分为多个部位，并确定每个部位所对应的人脸部位图像；
表情识别单元，用于根据所有的所述人脸部位图像生成所述人脸图像的人脸特征序列，并将所述人脸特征序列作为预先训练好的表情识别模型的输入，根据所述表情识别模型确定所述人脸图像所对应的表情信息。
在上述实施例的基础上，所述表情识别单元根据所有的所述人脸部位图像生成所述人脸图像的人脸特征序列包括：
根据所述人脸部位图像在所述人脸图像中的位置分别确定每个所述人脸部位图像与其他人脸部位图像之间的邻接关系；
将具有最多邻接关系的人脸部位图像作为待定的图像序列的第一顺位图像，之后将所述第一顺位图像作为当前顺位图像，并将与所述当前顺位图像具有邻接关系的其他人脸部位图像作为下一顺位图像，重复上述基于当前顺位图像选取下一顺位图像的过程，直至遍历所有的所述人脸部位图像、且遍历所述人脸部位图像之间的所有邻接关系，最终生成包含所有的所述人脸部位图像、以及所述人脸部位图像之间的所有邻接关系的图像序列；
基于循环神经网络将所述图像序列转换为所述人脸图像的人脸特征序列。
在上述实施例的基础上，所述表情识别单元将所述人脸特征序列作为预先训练好的表情识别模型的输入，根据所述表情识别模型确定所述人脸图像所对应的表情信息包括；
连续获取多帧的待识别图像，从多帧的所述待识别图像中依次提取出具有相同身份标识的多帧的人脸图像，并确定每一帧的人脸图像的人脸特征序列；
将多帧的人脸图像的人脸特征序列作为预先训练好的表情识别模型的输入，根据所述表情识别模型确定多帧的所述人脸图像所对应的表情信息。
在上述实施例的基础上，所述表情识别模块52还包括训练单元；
在所述表情识别单元将所述人脸特征序列作为预先训练好的表情识别模型的输入之前，所述训练单元用于：
确定训练样本，并建立表情识别模型，所述训练样本包括人脸样本图像的人脸特征序列以及与所述人脸样本图像相对应表情信息；将所述人脸样本图像的人脸特征序列作为所述表情识别模型的输入、将与所述人脸样本图像相对应表情信息作为所述表情识别模型的输出，对所述表情识别模型进行训练，并生成训练好的表情识别模型。
在上述实施例的基础上，所述装置还包括综合处理模块；
在所述异常记录模块53生成所述异常身份标识的异常行为记录之后，所述综合处理模块用于：
获取相关联***中记录的所述异常身份标识的关联信息，根据所述关联信息以及所述异常行为记录生成所述异常身份标识的综合教学记录；或者
将所述异常行为记录发送至相关联***，指示所述相关联***基于所述相关联***中记录的所述异常身份标识的关联信息以及所述异常行为记录生成所述异常身份标识的综合教学记录。
本发明实施例提供的一种基于人脸识别的监测装置，在提取待识别图像中学生的人脸图像的同时，还确定每个人脸图像对应的学生的身份标识，并基于表情识别确定学生表情是否异常；在表情异常时可以准确定位异常的学生，且可以为相应的学生生成异常行为记录。该方式可以自动识别全班学生的表情情绪变化，并抓取异常的表情，不需要老师过多参与；基于异常行为记录可以有针对性地分析相应学生的教学概况，也方便教师有针对性地进行教学，可以提高教师的教学效果。基于循环神经网络可以生成包含所有人脸部位图像以及所有邻接关系的图像序列，可以保证表情识别的准确性；且将多维的人脸图像转换为一维的人脸特征序列，可以更加快速地训练表情识别模型，模型的识别结果更加准确。
本申请实施例还提供了一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令，其包含用于执行上述基于人脸识别的监测方法的程序，该计算机可执行指令可执行上述任意方法实施例中的方法。
其中，所述计算机存储介质可以是计算机能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NANDFLASH)、固态硬盘(SSD))等。
图6示出了本发明的另一个实施例的一种计算机设备的结构框图。所述计算机设备1100可以是具备计算能力的主机服务器、个人计算机PC、或者可携带的便携式计算机或终端等。本发明具体实施例并不对计算机设备的具体实现做限定。
该计算机设备1100包括至少一个处理器(processor)1110、通信接口(Communications Interface)1120、存储器(memory array)1130和总线1140。其中，处理器1110、通信接口1120、以及存储器1130通过总线1140完成相互间的通信。
通信接口1120用于与网元通信，其中网元包括例如虚拟机管理中心、共享存储等。
处理器1110用于执行程序。处理器1110可能是一个中央处理器CPU，或者是专用集成电路ASIC(Application Specific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。
存储器1130用于可执行的指令。存储器1130可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器1130也可以是存储器阵列。存储器1130还可能被分块，并且所述块可按一定的规则组合成虚拟卷。存储器1130存储的指令可被处理器1110执行，以使处理器1110能够执行上述任意方法实施例中的方法。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种基于人脸识别的监测的方法，其特征在于，包括：
获取待识别图像，并提取所述待识别图像中的所有人脸图像，确定每个所述人脸图像所对应的身份标识；
确定所述人脸图像中的表情信息，并判断所述表情信息是否异常；
在所述表情信息异常时，将与具有异常的所述表情信息的人脸图像相对应的身份标识作为异常身份标识，并生成所述异常身份标识的异常行为记录。
2.根据权利要求1所述的方法，其特征在于，所述确定每个所述人脸图像所对应的身份标识包括：
对所述人脸图像与人脸数据库进行匹配处理，将所述人脸数据库中与所述人脸图像相匹配的人脸的身份标识作为所述人脸图像的身份标识；或者
预先设置所述待识别图像中每个图像区域与身份标识之间的对应关系，根据所述人脸图像在所述待识别图像中所属的图像区域以及图像区域与身份标识之间的对应关系确定所述人脸图像所对应的身份标识；或者
基于设在不同位置的多个拍摄装置所采集的图像生成具有景深信息的待识别图像，并提取出所述待识别图像中具有景深信息的人脸图像；根据所述人脸图像的景深信息以及所述人脸图像在所述待识别图像中的位置确定所述人脸图像在世界坐标系下的三维坐标，将所述三维坐标所对应的用户的身份标识作为所述人脸图像的身份标识。
3.根据权利要求1所述的方法，其特征在于，所述确定所述人脸图像中的表情信息包括：
将所述人脸图像划分为多个部位，并确定每个部位所对应的人脸部位图像；
根据所有的所述人脸部位图像生成所述人脸图像的人脸特征序列，并将所述人脸特征序列作为预先训练好的表情识别模型的输入，根据所述表情识别模型确定所述人脸图像所对应的表情信息。
4.根据权利要求3所述的方法，其特征在于，所述根据所有的所述人脸部位图像生成所述人脸图像的人脸特征序列包括：
根据所述人脸部位图像在所述人脸图像中的位置分别确定每个所述人脸部位图像与其他人脸部位图像之间的邻接关系；
将具有最多邻接关系的人脸部位图像作为待定的图像序列的第一顺位图像，之后将所述第一顺位图像作为当前顺位图像，并将与所述当前顺位图像具有邻接关系的其他人脸部位图像作为下一顺位图像，重复上述基于当前顺位图像选取下一顺位图像的过程，直至遍历所有的所述人脸部位图像、且遍历所述人脸部位图像之间的所有邻接关系，最终生成包含所有的所述人脸部位图像、以及所述人脸部位图像之间的所有邻接关系的图像序列；
基于循环神经网络将所述图像序列转换为所述人脸图像的人脸特征序列。
5.根据权利要求3所述的方法，其特征在于，所述将所述人脸特征序列作为预先训练好的表情识别模型的输入，根据所述表情识别模型确定所述人脸图像所对应的表情信息包括；
连续获取多帧的待识别图像，从多帧的所述待识别图像中依次提取出具有相同身份标识的多帧的人脸图像，并确定每一帧的人脸图像的人脸特征序列；
将多帧的人脸图像的人脸特征序列作为预先训练好的表情识别模型的输入，根据所述表情识别模型确定多帧的所述人脸图像所对应的表情信息。
6.根据权利要求3-5任一所述的方法，其特征在于，在所述将所述人脸特征序列作为预先训练好的表情识别模型的输入之前，还包括：
确定训练样本，并建立表情识别模型，所述训练样本包括人脸样本图像的人脸特征序列以及与所述人脸样本图像相对应表情信息；
将所述人脸样本图像的人脸特征序列作为所述表情识别模型的输入、将与所述人脸样本图像相对应表情信息作为所述表情识别模型的输出，对所述表情识别模型进行训练，并生成训练好的表情识别模型。
7.根据权利要求1-5任一所述的方法，其特征在于，在所述生成所述异常身份标识的异常行为记录之后，还包括：
获取相关联***中记录的所述异常身份标识的关联信息，根据所述关联信息以及所述异常行为记录生成所述异常身份标识的综合教学记录；或者
将所述异常行为记录发送至相关联***，指示所述相关联***基于所述相关联***中记录的所述异常身份标识的关联信息以及所述异常行为记录生成所述异常身份标识的综合教学记录。
8.一种基于人脸识别的监测装置，其特征在于，包括：
获取模块，用于获取待识别图像，并提取所述待识别图像中的所有人脸图像，确定每个所述人脸图像所对应的身份标识；
表情识别模块，用于确定所述人脸图像中的表情信息，并判断所述表情信息是否异常；
异常记录模块，用于在所述表情信息异常时，将与具有异常的所述表情信息的人脸图像相对应的身份标识作为异常身份标识，并生成所述异常身份标识的异常行为记录。
9.一种计算机可读存储介质，其上存储有计算机可读指令，其特征在于，所述计算机可读指令被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机可读指令，其特征在于，所述处理器执行所述计算机可读指令时实现权利要求1至7中任一项所述方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910865404.XA CN110580470A (zh) | 2019-09-12 | 2019-09-12 | 基于人脸识别的监测方法、装置、存储介质及计算机设备 |
| PCT/CN2020/087555 WO2021047185A1 (zh) | 2019-09-12 | 2020-04-28 | 基于人脸识别的监测方法、装置、存储介质及计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910865404.XA CN110580470A (zh) | 2019-09-12 | 2019-09-12 | 基于人脸识别的监测方法、装置、存储介质及计算机设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110580470A true CN110580470A (zh) | 2019-12-17 |
Family
ID=68811770
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910865404.XA Pending CN110580470A (zh) | 2019-09-12 | 2019-09-12 | 基于人脸识别的监测方法、装置、存储介质及计算机设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN110580470A (zh) |
| WO (1) | WO2021047185A1 (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111476685A (zh) * | 2020-03-26 | 2020-07-31 | 深圳力维智联技术有限公司 | 行为分析方法、装置及设备 |
| CN111985396A (zh) * | 2020-08-20 | 2020-11-24 | 南京师范大学 | 一种孕妇情绪监测识别*** |
| CN112016509A (zh) * | 2020-09-07 | 2020-12-01 | 中国银行股份有限公司 | 人员站位异常提醒方法及装置 |
| WO2021047185A1 (zh) * | 2019-09-12 | 2021-03-18 | 深圳壹账通智能科技有限公司 | 基于人脸识别的监测方法、装置、存储介质及计算机设备 |
| CN112732770A (zh) * | 2021-02-05 | 2021-04-30 | 嘉兴南洋职业技术学院 | 基于人工智能的教务管理***及方法 |
| CN113259734A (zh) * | 2021-06-04 | 2021-08-13 | 重庆晋才富熙科技有限公司 | 针对交互场景的智能导播方法、装置、终端和存储介质 |
| CN113554046A (zh) * | 2020-04-24 | 2021-10-26 | 阿里巴巴集团控股有限公司 | 图像处理方法和***、存储介质及计算设备 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113052064B (zh) * | 2021-03-23 | 2024-04-02 | 北京思图场景数据科技服务有限公司 | 基于面部朝向、面部表情及瞳孔追踪的注意力检测方法 |
| CN114360006A (zh) * | 2021-12-20 | 2022-04-15 | 南京爱特邦科技有限公司 | 一种人脸识别***及其检测方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108875606A (zh) * | 2018-06-01 | 2018-11-23 | 重庆大学 | 一种基于表情识别的课堂教学评价方法及*** |
| WO2018218286A1 (en) * | 2017-05-29 | 2018-12-06 | Saltor Pty Ltd | Method and system for abnormality detection |
| CN109344682A (zh) * | 2018-08-02 | 2019-02-15 | 平安科技（深圳）有限公司 | 课堂监控方法、装置、计算机设备及存储介质 |
| CN109815795A (zh) * | 2018-12-14 | 2019-05-28 | 深圳壹账通智能科技有限公司 | 基于人脸监测的课堂学生状态分析方法及装置 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170046965A1 (en) * | 2015-08-12 | 2017-02-16 | Intel Corporation | Robot with awareness of users and environment for use in educational applications |
| CN107918755A (zh) * | 2017-03-29 | 2018-04-17 | 广州思涵信息科技有限公司 | 一种基于人脸识别技术的实时专注度分析方法及*** |
| AU2017279806B2 (en) * | 2017-05-29 | 2023-10-12 | Saltor Pty Ltd | Method and system for abnormality detection |
| CN108073888A (zh) * | 2017-08-07 | 2018-05-25 | 中国科学院深圳先进技术研究院 | 一种教学辅助方法及采用该方法的教学辅助*** |
| CA3089025A1 (en) * | 2018-01-19 | 2019-07-25 | Board Of Regents, The University Of Texas System | Systems and methods for evaluating individual, group, and crowd emotion engagement and attention |
| CN109284713A (zh) * | 2018-09-21 | 2019-01-29 | 上海健坤教育科技有限公司 | 一种基于摄像头采集表情数据的情绪识别分析*** |
| CN109829362A (zh) * | 2018-12-18 | 2019-05-31 | 深圳壹账通智能科技有限公司 | 安检辅助分析方法、装置、计算机设备和存储介质 |
| CN109766766A (zh) * | 2018-12-18 | 2019-05-17 | 深圳壹账通智能科技有限公司 | 员工工作状况监控方法、装置、计算机设备和存储介质 |
| CN110580470A (zh) * | 2019-09-12 | 2019-12-17 | 深圳壹账通智能科技有限公司 | 基于人脸识别的监测方法、装置、存储介质及计算机设备 |
-
2019
- 2019-09-12 CN CN201910865404.XA patent/CN110580470A/zh active Pending
-
2020
- 2020-04-28 WO PCT/CN2020/087555 patent/WO2021047185A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018218286A1 (en) * | 2017-05-29 | 2018-12-06 | Saltor Pty Ltd | Method and system for abnormality detection |
| CN108875606A (zh) * | 2018-06-01 | 2018-11-23 | 重庆大学 | 一种基于表情识别的课堂教学评价方法及*** |
| CN109344682A (zh) * | 2018-08-02 | 2019-02-15 | 平安科技（深圳）有限公司 | 课堂监控方法、装置、计算机设备及存储介质 |
| CN109815795A (zh) * | 2018-12-14 | 2019-05-28 | 深圳壹账通智能科技有限公司 | 基于人脸监测的课堂学生状态分析方法及装置 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021047185A1 (zh) * | 2019-09-12 | 2021-03-18 | 深圳壹账通智能科技有限公司 | 基于人脸识别的监测方法、装置、存储介质及计算机设备 |
| CN111476685A (zh) * | 2020-03-26 | 2020-07-31 | 深圳力维智联技术有限公司 | 行为分析方法、装置及设备 |
| CN113554046A (zh) * | 2020-04-24 | 2021-10-26 | 阿里巴巴集团控股有限公司 | 图像处理方法和***、存储介质及计算设备 |
| CN111985396A (zh) * | 2020-08-20 | 2020-11-24 | 南京师范大学 | 一种孕妇情绪监测识别*** |
| CN112016509A (zh) * | 2020-09-07 | 2020-12-01 | 中国银行股份有限公司 | 人员站位异常提醒方法及装置 |
| CN112016509B (zh) * | 2020-09-07 | 2023-09-22 | 中国银行股份有限公司 | 人员站位异常提醒方法及装置 |
| CN112732770A (zh) * | 2021-02-05 | 2021-04-30 | 嘉兴南洋职业技术学院 | 基于人工智能的教务管理***及方法 |
| CN113259734A (zh) * | 2021-06-04 | 2021-08-13 | 重庆晋才富熙科技有限公司 | 针对交互场景的智能导播方法、装置、终端和存储介质 |
| CN113259734B (zh) * | 2021-06-04 | 2023-02-03 | 重庆晋才富熙科技有限公司 | 针对交互场景的智能导播方法、装置、终端和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021047185A1 (zh) | 2021-03-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110580470A (zh) | 基于人脸识别的监测方法、装置、存储介质及计算机设备 | |
| CN111027865B (zh) | 基于行为和表情识别的教学分析与质量评估***及方法 | |
| WO2021077382A1 (zh) | 一种学习状态的判断方法、装置及智能机器人 | |
| CN106898178B (zh) | 一种基于可穿戴设备的考试综合分析*** | |
| CN110889672A (zh) | 一种基于深度学习的学生打卡及上课状态的检测*** | |
| CN106547815B (zh) | 一种基于大数据的针对性作业生成方法与*** | |
| CN105069294A (zh) | 一种用于认知能力值测试的计算和分析方法 | |
| CN111027486A (zh) | 一种中小学课堂教学效果大数据辅助分析评价***及其方法 | |
| US11574552B2 (en) | Method and apparatus of diagnostic test | |
| CN115205764B (zh) | 基于机器视觉的在线学习专注度监测方法、***及介质 | |
| CN111523444A (zh) | 基于改进的Openpose模型和面部微表情的课堂行为检测的方法 | |
| CN111553218A (zh) | 一种基于人体姿势识别的智能医学技能教学监测*** | |
| CN108765229A (zh) | 基于大数据与人工智能的学习表现评价方法和机器人*** | |
| CN110660275B (zh) | 一种基于视频分析的师生课堂即时互动***和方法 | |
| CN115546692A (zh) | 一种远程教育数据采集分析方法、设备及计算机存储介质 | |
| CN111523445A (zh) | 一种基于改进的Openpose模型和面部微表情的考试行为检测方法 | |
| CN112766130A (zh) | 一种课堂教学质量监测方法、***、终端及存储介质 | |
| Meriem et al. | Determine the level of concentration of students in real time from their facial expressions | |
| CN116611969B (zh) | 传统武术智能学习与评分*** | |
| CN116188211A (zh) | 一种基于在线教育学习评估*** | |
| CN112116841A (zh) | 一种基于深度学习的个性化远程教育***及方法 | |
| CN114971425B (zh) | 数据库信息监控方法、装置、设备及存储介质 | |
| CN113409635A (zh) | 基于虚拟现实场景的互动教学方法与*** | |
| CN113128421A (zh) | 学习状态检测方法、***、学习终端、服务器及电子设备 | |
| Ramos et al. | A Facial Expression Emotion Detection using Gabor Filter and Principal Component Analysis to identify Teaching Pedagogy |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |