CN113380271A - 情绪识别方法、***、设备及介质 - Google Patents
情绪识别方法、***、设备及介质 Download PDFInfo
- Publication number
- CN113380271A CN113380271A CN202110922781.XA CN202110922781A CN113380271A CN 113380271 A CN113380271 A CN 113380271A CN 202110922781 A CN202110922781 A CN 202110922781A CN 113380271 A CN113380271 A CN 113380271A
- Authority
- CN
- China
- Prior art keywords
- user
- detected
- voice
- data
- emotion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 80
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000008451 emotion Effects 0.000 claims abstract description 57
- 238000013528 artificial neural network Methods 0.000 claims abstract description 36
- 230000002996 emotional effect Effects 0.000 claims abstract description 32
- 230000014509 gene expression Effects 0.000 claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 23
- 238000005516 engineering process Methods 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 12
- 238000004821 distillation Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 10
- 239000013598 vector Substances 0.000 claims description 9
- 238000003058 natural language processing Methods 0.000 claims description 8
- 230000036651 mood Effects 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 2
- 230000008921 facial expression Effects 0.000 description 14
- 238000003745 diagnosis Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000011282 treatment Methods 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000007935 neutral effect Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 208000027418 Wounds and injury Diseases 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 208000014674 injury Diseases 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000013518 transcription Methods 0.000 description 2
- 230000035897 transcription Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 206010010144 Completed suicide Diseases 0.000 description 1
- 206010033307 Overweight Diseases 0.000 description 1
- 230000004308 accommodation Effects 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000000088 lip Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Hospice & Palliative Care (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Child & Adolescent Psychology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种情绪识别方法、***、设备及介质，包括：获取待测用户的语音数据与人脸数据；利用语音识别技术处理所述语音数据，生成文本数据；分析所述文本数据得到待测用户的情感特征，提取所述语音数据中待测用户的语气特征，以及提取所述人脸数据中待测用户的表情特征；基于蒸馏神经网络构建识别待测用户情绪的情绪识别模型；将所述情感特征、语气特征与表情特征输入所述情绪识别模进行识别，得到待测用户的情绪类别。本发明相比现有单纯基于用户文本内容进行情绪识别，从语气、表情以及情感多个维度进行识别，大大提高了情绪识别的准确率。
Description
技术领域
本发明属于人工智能技术领域，特别是涉及一种情绪识别方法、***、设备及介质。
背景技术
随着社交媒体的发展，人们会在Twitter、微博、网络论坛等社交平台上以匿名的方式宣泄情绪，社交平台上的各种信息，也可以成为被追踪观测的心理疾患诊断指标，通过文本检测识别用户情绪。
然而，采用传统文本内容去识别情绪，通过标记正向(负向)词去计算最后的情绪，而通过文本的方式不能很准确的检测到用户实际的情绪。因此，现有技术中亟需一种准确率较高的情绪识别方法。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种情绪识别方法、***、设备及介质，用于解决现有技术基于文本内容识别情绪时，情绪识别准确率低的问题。
为实现上述目的及其他相关目的，本发明的第一方面提供一种情绪识别方法，包括：
获取待测用户的语音数据与人脸数据；
利用语音识别技术处理所述语音数据，生成文本数据；
分析所述文本数据得到待测用户的情感特征，提取所述语音数据中待测用户的语气特征，以及提取所述人脸数据中待测用户的表情特征；
基于蒸馏神经网络构建识别待测用户情绪的情绪识别模型；
将所述情感特征、语气特征与表情特征输入所述情绪识别模进行识别，得到待测用户的情绪类别。
于所述第一方面的一实施例中，还包括：
获取当前多人会话的语音数据；
利用语音识别技术处理多人会话所形成的所述语音数据，生成相应的文本数据；
提取所述语音数据中各个语句的时序信息；
检测每个会话者的人声特征，结合所述人声特征与时序信息进行标记以区分所述文本数据内各个语句所对应会话者；
利用自然语言处理技术识别多人会话对应的所述文本数据，得到待测用户的文字内容；同时，根据所述标记识别所述多人会话中待测用户的语音数据；
提取待测用户对应文本数据的情感特征，以及提取待测用户对应的语音数据中语气特征。
于所述第一方面的一实施例中，所述利用语音识别处理多人会话所形成的所述语音数据，生成相应的文本数据的步骤，包括：
构建语音文字匹配模型库，基于所述模型库对RNN-T语音识别模型进行训练；
利用训练好的RNN-T语音识别模型将语音数据转化为文本数据。
于所述第一方面的一实施例中，所述提取所述语音数据中各个语句的时序信息的步骤，包括：
获取会话者的语音数据和其对应的唇部图像数据，其中，所述唇部图像数据包括所述会话者的语音数据所涉及的每个会话者的唇部图像序列，根据所述唇部图像序列识别的内容确定语音数据中各个语句的时序信息。
于所述第一方面的一实施例中，还包括：
依时间顺序从所述语音数据中截取累计时长为预设时长阈值的待检测语音特征集，得到多个待检测语音特征集，对每个待检测语音特征集进行聚类处理，并对所述聚类进行评分，根据评分结果得到不同会话者的人声特征；
在所述文本数据内按照人声特征与时序特征将各个语句进行标记区分，得到文本数据内不同会话者所对应的语句内容；
利用自然语言处理技术识别所述文本数据内各个语句领域，结合上下文语境判断各个语句的语义，根据各个语句的语义以及标记得到待测用户的文本数据的内容，以及得到待测用户对应文本的情感特征；
根据所述人声特征与时序特征识别对应待测用户的语音数据，提取所述语音数据中属于待测用户的语气特征。
于所述第一方面的一实施例中，所述基于蒸馏神经网络构建识别待测用户情绪的情绪识别模型的步骤，包括：
将预处理的所述情感特征、语气特征与表情特征形成训练集；
基于蒸馏神经网络利用所述训练集训练情绪识别模型，其中，采用反向传播算法和蒸馏损失函数对网络的参数进行优化，所述蒸馏神经网络为多个神经网络构成；
将多个神经网络的预测标签进行组合，利用一维卷积神经网络对组合后的标签进行训练，为多个神经网络分配不同的权重，得到情绪识别模型的集成决策。
于所述第一方面的一实施例中，所述将所述情感特征、语气特征与表情特征输入所述情绪识别模进行识别之前，还包括：对所述情感特征、语气特征与表情特征进行预处理，得到预设维度的特征向量。
本发明的第二方面提供一种情绪识别***，包括：
数据获取模块，用于获取待测用户的语音数据与人脸数据；
语音识别模块，利用语音识别技术处理所述语音数据，生成文本数据；
特征提取模块，用于分析所述文本数据得到待测用户的情感特征，提取所述语音数据中待测用户的语气特征，以及提取所述人脸数据中待测用户的表情特征；
模型构建模块，基于蒸馏神经网络构建识别待测用户情绪的情绪识别模型；
情绪识别模块，用于将所述情感特征、语气特征与表情特征输入所述情绪识别模进行识别，得到待测用户的情绪类别。
本发明的第三方面提供一种情绪识别设备，包括：
一个或多个处理装置；
存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理装置执行，使得所述一个或多个处理装置实现上述的情绪识别方法。
本发明的第四方面提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序用于使所述计算机执行上述的情绪识别方法。
如上所述，本发明所述的情绪识别方法、***、设备及介质的一个技术方案，具有以下有益效果：
本发明通过对待测用户语音数据中的语气特征、人脸图像中的人脸表情以及待测用户文本中的情感特征进行训练，得到基于蒸馏神经网络构建的情绪识别模型，相比现有单纯基于用户文本内容的情绪识别，本发明从语气、表情以及情感多个维度进行情绪识别，大大提高了情绪识别的准确率。
附图说明
图1显示为本发明提供的一种情绪识别方法流程图；
图2显示为本发明提供的一种情绪识别***结构框图；
图3显示为本发明提供的一种情绪识别设备的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
本发明解决现有技术中医生问诊现场，由于门诊医生都有属于各自诊断室，一般情况，在诊断室内医生通过询问、观察和检测患者的身体状况，医生对患者的病情进行诊断，往往家属或患者对诊断结果或诊断效果过度重视，而此时医生往往都将注意力集中在患者的病情上，没有精力关注患者的情绪，同时，很多医生由于没有心理学功底，也无法识别出当前患者的情绪。因此，造成在问诊时，无法兼顾到对患者的情绪进行识别，一方面，不良情绪不仅对患者造成心理或情绪上的干扰，还影响患者身体的康复；另一方面，如果患者出现暴力情绪或忧郁情绪得不到疏解，往往在医患诊疗过程中，容易引起极端现象，例如，患者自我伤害、***或伤害医护人员的现象，因此，容易引起不必要的医疗纠纷。除了针对医生问诊现象外，本实施例还能针对医院内其他治疗，例如，医生、护士在病房内巡视患者、以及手术室手术记录单等等。
请参阅图1，为本发明提供的一种情绪识别方法流程图，包括：
步骤S1，获取待测用户的语音数据与人脸数据；
其中，从目标视频中获取用户语音数据与人脸数据，例如，在预设场地安装摄像或录像装置采集包含目标用户的语音数据与人脸数据的视频；通过分离视频得到目标视频得到待测用户的语音数据与人脸数据。
需要说明的是，优选的目标视频中只有待测用户的语音数据与人脸数据，但在实际应用中，大多数情况下，目标视频中除了包含待测用户，还涉及其他会话人。
步骤S2，利用语音识别技术处理所述语音数据，生成文本数据；
具体地，用语音识别***处理语音数据，例如，语音识别***包括一个或多个计算机，所述一个或多个计算机被编程为：接收来自用的语音数据输入，确定语音数据转录文字，并将转录的文字作为输出。
步骤S3，分析所述文本数据得到待测用户的情感特征，提取所述语音数据中待测用户的语气特征，以及提取所述人脸数据中待测用户的表情特征；
其中，情绪类别分为三大类，分别是正面情绪(positive)、负面情绪(negative)以及中立情绪(neutral)。例如，正面情绪表示人的一种积极的情绪，体现了人脸图像中所表达出的开心、乐观、自信、欣赏、放松等状态；负面情绪表示人的一种消极情绪，心理学上把焦虑、紧张、愤怒、沮丧、悲伤、痛苦等不利于身心的情绪统称为负性情绪；中立情绪表示不偏不向，不带有任何感情色彩的情绪类别。而情感特征、语气特征与表情特征同属于三大情绪类别，每种特征都可以对应大类情绪的小类情绪。
可选的，对所述情感特征、语气特征与表情特征进行预处理，得到预设维度的特征向量，将各个特征进行预处理，得到预设规格的特征向量，能够大大优化训练集，便于模型后续的训练。
例如，采用DUTIR情绪识别模型提取文本数据的情感，得到情感特征；将待测用户的语音数据输入训练完成的神经网络得到所述语音数据对应的语气特征。
又例如，通过获取人脸的面部表情图片，主网络通过输入面部表情图片，对面部表情图片进行预处理，主网络学习预处理面部表情图片的人脸表情特征，得到人脸表情特征信息，通过人脸表情特征信息对人脸表情情绪进行情绪分类，得到情绪分类信息；通过特权网络获取特权信息，使用特权信息对损失函数进行特权学习，进而优化主网络的参数，得到优化深度特权网络；在主网络模型输入测试的面部表情图片，对测试的面部表情图片进行预处理，得到预处理的测试面部表情图片，采用通过特权学习后的深度特权网络提取表情特征。
步骤S4，基于蒸馏神经网络构建识别待测用户情绪的情绪识别模型；
其中，除了基于蒸馏神经网络构构建情绪识别模型，还可以基于其他神经网络训练情绪识别模型，例如，浅层卷积神经网络与卷积神经网络等。
步骤S5，将所述情感特征、语气特征与表情特征输入所述情绪识别模进行识别，得到待测用户的情绪类别。
在本实施例中，通过对待测用户语音数据中的语气特征、人脸图像中的人脸表情以及待测用户文本中的情感特征进行训练，得到基于蒸馏神经网络构建的情绪识别模型，相比现有单纯基于用户文本内容的情绪识别，本发明从语气、表情以及情感多个维度进行识别，大大提高了情绪识别的准确率；通过多维度的训练不仅能够识别大的情绪类别，还能精准识别具体某类情绪。
在另一些实施例中，还包括：
获取当前多人会话的语音数据；
例如，利用麦克风、录音终端、或其他录音装置进行录音采集，另外，上述装置或设备采集必须确保在可控采集范围，以保证语音数据的采集质量。
利用语音识别处理多人会话所形成的所述语音数据，生成相应的文本数据；
提取所述语音数据中各个语句的时序信息；
其中，通过唇语识别图像内唇语的语句信息，由于唇语时序自带时序信息，即，在文本数据内语音识别的同一语句映射有时序信息，通过两者之间的映射关系得到各个语句的时序信息。当然，还可通过时间关键点触发，例如，特定用户在每次说话前，通过按钮触发，形成时序信息。
检测每个会话者的人声特征，结合所述人声特征与时序信息进行标记以区分所述文本数据内各个语句所对应会话者；
其中，确定语音数据中的人声数据，之后，确定该人声数据中包含的各滑窗数据，并针对每个人声数据中的每个滑窗数据，进行音频特征提取将提取到的音频特征输入语音分类模型中，确定该滑窗数据属于某个人声特征的概率。
利用自然语言处理技术识别多人会话对应的所述文本数据，得到待测用户的文字内容；同时，根据所述标记识别所述多人会话中待测用户的语音数据； 提取待测用户对应文本数据的情感特征，以及提取待测用户对应的语音数据中语气特征；
其中，利用NLP技术处理文本数据得到各个语句的语义，同时，根据当前会话场景结合语义，判断各个语句应该是哪个会话者说出的。例如，在医患问诊会话时，以下“姓名”、“年龄”、“哪儿不舒服”、“从什么时候开始**”以及还有些医用技术术语等，从上述语句可判断特定会话者为医生，其对应的回答，可能有患者、家属等，在此不再列举。
在本实施例中，通过识别多个会话者中患者（即，待测用户）所对应的文本数据中的各个语句，能够便于后续分析文本数据中的语句得到待测用户的情感特征，同时，通过分割语音数据得到待测用户对应的语音数据集合，进而在语音数据集合提取到属于待测用户的语气特征，即，能够从多人会话场景中，识别出待测用户的语气特征与情感特征，便于后续准确识别待测用户的情绪。
另外，在语音识别中，还可以获取语音数据第一分段的第一候选转录文字；确定与该第一候选转录文字相关联的一个或多个场境；调整所述一个或多个场境中的每一个场境的相应权重；以及，基于调整后的权重来确定该语音数据的第二分段的第二候选转录文字。
例如，通过该方式，通过分段来确认医患诊断场景，使用基于语音数据的分段来调整场境的权重并且基于调整后的权重来确定该后续语音数据的转录文字，所以，使用该方式能够动态地提高识别性能，提高语音识别准确率。
在另一些实施例中，通过从视频图像中提取待测用户的人脸图像，基于待测用户人脸图像中提取面部关键特征点的位置作为特征区域，所述关键特征点包括眉毛、眼睑、嘴唇、下巴，并对关键特征点进行强度分级，生成表情特征，通过配合表情特征配合单纯的文本内容识别，大大提高了情绪识别精度。
在另一些实施例中，所述基于蒸馏神经网络构建识别待测用户情绪的情绪识别模型的步骤，包括：
将预处理的所述情感特征、语气特征与表情特征形成训练集；
其中，将提取的情感特征、语气特征与表情特征进行预处理，进而得到预设规格的情感特征、语气特征与表情特征。
基于蒸馏神经网络利用所述训练集训练情绪识别模型，其中，采用反向传播算法和蒸馏损失函数对网络的参数进行优化，所述蒸馏神经网络为多个神经网络构成；
其中，蒸馏损失函数的表达式为：
其中，r表示预测样本的真实标签、p为网络预测输出，T是温度系数，用来作为软标签系数，λ表示前后两项的平衡项，L代表着交叉熵损失，softmax为损失函数。
具体地，通过多个神经网络，减少了时间，同时，将深度神经网络横向的深度转变为纵向的深度，也提高了特征提取的辨识。
将多个神经网络的预测标签进行组合，利用一维卷积神经网络对组合后的标签进行训练，为不同的网络分配不同的权重，得到情绪识别模型的集成决策。
具体地，初始化M个基础的神经网络，每个网络由包含LSTM编码-解码结构及FrameGate特征门控单元（对输入的隐状态进行加权和，通过这种方式，我们可以对输入的不同帧赋予相应的权重，通过网络学习，最终得到一系列高权区域），任意选择其中的两个网络，将第一个网络定义为主网络，第二个网络定义为子网络，主网络接收S*N*D的3D-张量作为输入，而特征门控单元的输出并没有改变原始数据的维度，其同样是S*N*D的三维张量，只是该三维张量在通道、帧间进行了带权组合，这使得同样结构的子网络可以自然地将其作为自己输入，该操作可以被不断地迭代下去，也就是可以不断地初始化网络，并将网络提取得到的特征矩阵传递下去，直到迭代终止。
例如，初始化M个具有编码-解码结构、特征门控单元、多层分类网络的基础网络。对第一个网络（主网络），我们利用交叉熵进行初步学习，而后输出对应的提取特征给子网络，后续的子网络基于提取特征和预测标签进一步优化目标函数，最后，一个conv1*1会被引入，并基于真实标签训练conv1*1网络中的权重变量，在固定了权重变量后，基于该网络，将聚合标签矩阵PS*M转化为概率向量pensemble，从而给出最终的决策结果。模型中使用了Adam优化器，并引入了dropout正则化，出于时间和性能考虑，网络数量M被设置为了三个，对于所有的LSTM层，其隐变量数都与输入维度一致，用于分类的全连接网络其神经元数目分别为32，16及类别数。
又例如，情绪识别模型为三个初始网络，分别对应三个通道，每个初始网络包括依次相连的第一LTSM网络（编码层）、特征门控单元、第二LTSM网络（用于归类的解码层）与多层分类网络（用于分类），第一通道的初始网络通过多层分类网络输出第一概率，第二通道的初始网络中输入为第一通道中特征门控单元处理的第一特征向量，第二通道的初始网络的输出为其内的多层分类网络输出第二概率；同理，第三通道的初始网络中输入为第二通道中特征门控单元处理的第二特征向量，第三通道的初始网络的输出为其内的多层分类网络输出第三概率；将第一概率、第二概率与第三概率输入维度为1的卷积层，根据各个初始网络的权重变量进行聚合，将聚合标签矩阵PS*M转化为概率向量pensemble，从而给出最终的决策结果P。
在本实施例中，通过帧级门控单元，挖掘数据中帧间的相关性信息，并通过多网络特征蒸馏，获得浓缩后的抽象数据表示，进而提高情感识别的准确率。
在另一个实施例中，利用自然语言处理技术识别所述文本数据中特定用户所说的文字内容的步骤，包括：
构建语音文字匹配模型库，基于所述模型库对RNN-T语音识别模型进行训练；
利用训练好的RNN-T语音识别模型将语音数据转化为文本数据。
所述RNN-T(RNN-Transducer)语音识别框架，其实际上是在CTC模型的一种改进，所述RNN-T模型巧妙的将语言模型声学模型整合在一起，同时进行联合优化，是一种理论上相对完美的模型结构；RNN-T模型引入了Transcription Net(可以使用任何声学模型的结构)，相当于声学模型部分，Prediction Net实际上相当于语言模型(可以使用单向的循环神经网络来构建)。同时，其最重要的结构就是联合网络，一般可以使用前向网络来进行建模，联合网络的作用就是将语言模型和声学模型的状态通过某种思路结合在一起，可以是拼接操作，也可以是直接相加等，考虑到语言模型和声学模型可能有不同的权重问题，似乎拼接操作更加合理一些；所述RNN-T模型具有端到端联合优化，具有语言模型建模能力，具有单调性，能够进行实时在线解码；相对于当前常用的GMM-HMM（隐马尔科夫模型）和DNN-HMM（深度神经网络），所述RNN-T模型具有训练速度快、准确率高的特点。
在另一些实施例中，所述提取所述语音数据中各个语句的时序信息的步骤，包括：
获取会话者的语音数据和其对应的唇部图像数据，其中，所述唇部图像数据包括所述会话者的语音数据所涉及的每个会话者的唇部图像序列，根据所述唇部图像序列识别的内容确定语音数据中各个语句的时序信息。
具体地，采用录像装置或摄像装置采集包含当前会话者的语音数据与其对应的唇部图像数据的目标视频，首先，从目标视频数据中分离出语音数据和图像序列，分离出的语音数据作为目标语音数据；然后，从分离出的图像序列中获取目标语音数据所涉及的每个说话人的唇部图像序列，目标语音数据所涉及的每个说话人的唇部图像序列作为目标语音数据对应的唇部图像数据。
例如，从该图像中获取该说话人的脸部区域图像，将该脸部区域图像缩放到预设的第一尺寸，最后以该说话人的唇部中心点为中心，从缩放后的脸部区域图像中截取预设的第二尺寸(比如80*80)的唇部图像。
需要说明的是，在对目标语音数据进行语音分离和识别时，结合了目标语音数据对应的唇部图像数据，在语音分离和识别时辅以唇部图像数据，使本提供的语音识别方法对噪声具有一定鲁棒性，且能够提升语音识别效果。
还需要说明的是，通过唇语时序间接获取到文本数据内每个语句的时序信息，能够更加精准的区分和标记各个会话者所对应的文本语句。
在另一些实施例中，还包括：
依时间顺序从所述语音数据中截取累计时长为预设时长阈值的待检测语音特征集，得到多个待检测语音特征集，对每个待检测语音特征集进行聚类处理，并对所述聚类进行评分，根据评分结果得到不同会话者的人声特征；
其中，将语语音数据按累计时长分割为待测语音特征集，例如，两秒、三秒或五秒等，将待测语音特征集进行聚类处理，根据聚类评分得到不同人声特征的会话者所对应的语音特征集，进而区分不同会话者所说的文本语句。
在所述文本数据内按照人声特征与时序特征将各个语句进行标记区分，得到文本数据内不同会话者所对应的语句内容；
其中，结合人声特征与时序特征进行相互验证，确定每个语句标记的归属，例如，有两个人声特征，“医生和患者”，那么其对应的标签必定为“医生”和“患者”两个属性标记。通过将文本数据中不同语句进行区分，得到各个会话者所对应的语句内容。
利用自然语言处理技术识别所述文本数据内各个语句领域，结合上下文语境判断各个语句的语义，根据各个语句的语义以及标记选择特定会话者所说的文字内容，以及得到待测用户对应文本的情感特征；
根据所述人声特征与时序特征识别对应待测用户的语音数据，提取所述语音数据中属于待测用户的语气特征
在上述基础上，通过语句语义也能侧面佐证语句是否归属于对应的标记，进而落实文本数据中各个语句出自哪个会话者（用户），提高了语音转换文本的精准度，进而准确提取到属于待测用户的语气特征与情感特征。
在另一些实施例中，还包括：
建立词库数据库，所述词库数据库包括代词数据库、动词数据库和名词数据库，将中文汉字中为代词、动词和名词属性的词语和成语分别存入相应的代词数据库、动词数据库和名词数据库；
其中，所述名词数据库中的名词进一步按不同服务领域进行分类存储，所述服务领域包括餐饮、医疗、购物、运动、住宿、交通等，在此优选医疗领域的名词数据库。
建立语义框架数据库，所述语义框架数据库包括存入的词语组合方式及组合在一起对应的中文含义；
将语音数据识别为中文语句，将语句进行拆解，拆解形式为：代词+动词+名词，并对应词库数据库和语义框架数据库，得到该语音数据中各个语句的语义。
例如，打开设备的摄像头，启动语音识别***，通过语音识别***采集用户输入的语音数据和面部视频；***将语音数据识别为中文语句，然后将中文语句进行拆解，拆解形式为：代词+动词+名词，并对应词库数据库和语义框架数据库，得到该语音指令的中文语义。
又例如，语音语义与唇语进行匹配，若匹配结果有误，则突出显示的文本内容某个数据，以达到提醒用户的目的。通过语音语义识别和唇语识别的结果匹配相同，则准确的将语音数据转换为文本数据，特别是，将待测用户的语音数据转换对应的文本数据，通过二者的相互印证和补充，提高原始数据采集和识别的精度。
请参阅图2，为本发明提供的一种情绪识别***结构框图，所述情绪识别***详述如下：
数据获取模块1，用于获取待测用户的语音数据与人脸数据；
语音识别模块2，利用语音识别处理所述语音数据，生成文本数据；
特征提取模块3，用于分析所述文本数据得到待测用户的情感特征，提取所述语音数据中待测用户的语气特征，以及提取所述人脸数据中待测用户的表情特征；
模型构建模块4，基于蒸馏神经网络构建识别待测用户情绪的情绪识别模型；
情绪识别模块5，用于将所述情感特征、语气特征与表情特征输入所述情绪识别模进行识别，得到待测用户的情绪类别。
还需要说明的是，情绪识别方法与情绪识别***为一一对应的关系，在此，情绪识别***所涉及的技术细节与技术效果和上述识别方法相同，在此不一一赘述，请参照上述情绪识别方法。
将上述情绪识别***以终端或***形式设置于医院特定场所，能够精准的识别患者的情绪，即使细微的情绪波动也能识别，医生能够了解患者的情绪状况，便于做出适当的干预和治疗。
下面参考图3，其示出了适于用来实现本公开实施例的情绪识别设备(例如电子设备设备或服务器600的结构示意图。本公开实施例中的电子设备设备可以包括但不限于诸如手机、平板电脑、膝上型电脑、台式电脑、电脑一体机、服务器、工作站、电视、机顶盒、智能眼镜、智能手表、数码相机、MP4播放器、MP5播放器、学习机、点读机、电纸书、电子词典、车载终端、虚拟现实(VirtualReality，VR)播放器或增强现实(Augmented Reality，AR)播放器等的固定器。图3示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图3所示，电子设备600可以包括处理装置(例如中央处理器、图形处理器等)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储装置608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM603中，还存储有电子设备600操作所需的各种程序和数据。处理装置601、ROM602以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
通常，以下装置可以连接至I/O接口605：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置607；包括例如磁带、硬盘等的存储装置608；以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图3示出了具有各种装置的电子设备600，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置609从网络上被下载和安装，或者从存储装置608被安装，或者从ROM 602被安装。在该计算机程序被处理装置601执行时，执行本公开实施例的方法中限定的上述功能。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置609从网络上被下载和安装，或者从存储装置608被安装，或者从ROM602被安装。在该计算机程序被处理装置601执行时，执行本公开实施例的方法中限定的上述功能。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：执行上述步骤S1到步骤S5的方法。
综上所述，本发明通过对待测用户语音数据中的语气特征、人脸图像中的人脸表情以及待测用户文本中的情感特征进行训练，得到基于蒸馏神经网络构建的情绪识别模型，相比现有单纯基于用户文本内容的情绪识别，本发明从语气、表情以及情感多个维度进行情绪识别，大大提高了情绪识别的准确率，有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (10)
1.一种情绪识别方法，其特征在于，包括：
获取待测用户的语音数据与人脸数据；
利用语音识别技术处理所述语音数据，生成文本数据；
分析所述文本数据得到待测用户的情感特征，提取所述语音数据中待测用户的语气特征，以及提取所述人脸数据中待测用户的表情特征；
基于蒸馏神经网络构建识别待测用户情绪的情绪识别模型；
将所述情感特征、语气特征与表情特征输入所述情绪识别模进行识别，得到待测用户的情绪类别。
2.根据权利要求1所述的情绪识别方法，其特征在于，还包括：
获取当前多人会话的语音数据；
利用语音识别技术处理多人会话所形成的所述语音数据，生成相应的文本数据；
提取所述语音数据中各个语句的时序信息；
检测每个会话者的人声特征，结合所述人声特征与时序信息进行标记以区分所述文本数据内各个语句所对应会话者；
利用自然语言处理技术识别多人会话对应的所述文本数据，得到待测用户的文字内容；同时，根据所述标记识别所述多人会话中待测用户的语音数据；
提取待测用户对应文本数据的情感特征，以及提取待测用户对应的语音数据中语气特征。
3.根据权利要求2所述的情绪识别方法，其特征在于，所述利用语音识别技术处理多人会话所形成的所述语音数据，生成相应的文本数据的步骤，包括：
构建语音文字匹配模型库，基于所述模型库对RNN-T语音识别模型进行训练；
利用训练好的RNN-T语音识别模型将语音数据转化为文本数据。
4.根据权利要求2所述的情绪识别方法，其特征在于，所述提取所述语音数据中各个语句的时序信息的步骤，包括：
获取会话者的语音数据和其对应的唇部图像数据，其中，所述唇部图像数据包括所述会话者的语音数据所涉及的每个会话者的唇部图像序列，根据所述唇部图像序列识别的内容确定语音数据中各个语句的时序信息。
5.根据权利要求2所述的情绪识别方法，其特征在于，还包括：
依时间顺序从所述语音数据中截取累计时长为预设时长阈值的待检测语音特征集，得到多个待检测语音特征集，对每个待检测语音特征集进行聚类处理，并对所述聚类进行评分，根据评分结果得到不同会话者的人声特征；
在所述文本数据内按照人声特征与时序特征将各个语句进行标记区分，得到文本数据内不同会话者所对应的语句内容；
利用自然语言处理技术识别所述文本数据内各个语句领域，结合上下文语境判断各个语句的语义，根据各个语句的语义以及标记得到待测用户的文本数据的内容，以及得到待测用户对应文本的情感特征；
根据所述人声特征与时序特征识别对应待测用户的语音数据，提取所述语音数据中属于待测用户的语气特征。
6.根据权利要求1所述的情绪识别方法，其特征在于，所述基于蒸馏神经网络构建识别待测用户情绪的情绪识别模型的步骤，包括：
将预处理的所述情感特征、语气特征与表情特征形成训练集；
基于蒸馏神经网络利用所述训练集训练情绪识别模型，其中，采用反向传播算法和蒸馏损失函数对网络的参数进行优化，所述蒸馏神经网络为多个神经网络构成；
将多个神经网络的预测标签进行组合，利用一维卷积神经网络对组合后的标签进行训练，为多个神经网络分配不同的权重，得到情绪识别模型的集成决策。
7.根据权利要求1所述的情绪识别方法，其特征在于，所述将所述情感特征、语气特征与表情特征输入所述情绪识别模进行识别之前，还包括：对所述情感特征、语气特征与表情特征进行预处理，得到预设维度的特征向量。
8.一种情绪识别***，其特征在于，包括：
数据获取模块，用于获取待测用户的语音数据与人脸数据；
语音识别模块，利用语音识别技术处理所述语音数据，生成文本数据；
特征提取模块，用于分析所述文本数据得到待测用户的情感特征，提取所述语音数据中待测用户的语气特征，以及提取所述人脸数据中待测用户的表情特征；
模型构建模块，基于蒸馏神经网络构建识别待测用户情绪的情绪识别模型；
情绪识别模块，用于将所述情感特征、语气特征与表情特征输入所述情绪识别模进行识别，得到待测用户的情绪类别。
9.一种情绪识别设备，其特征在于，包括：
一个或多个处理装置；
存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理装置执行，使得所述一个或多个处理装置实现权利要求1至7中任一所述的情绪识别方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序用于使计算机执行权利要求1至7中任一所述的情绪识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110922781.XA CN113380271B (zh) | 2021-08-12 | 2021-08-12 | 情绪识别方法、***、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110922781.XA CN113380271B (zh) | 2021-08-12 | 2021-08-12 | 情绪识别方法、***、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113380271A true CN113380271A (zh) | 2021-09-10 |
| CN113380271B CN113380271B (zh) | 2021-12-21 |
Family
ID=77576964
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110922781.XA Active CN113380271B (zh) | 2021-08-12 | 2021-08-12 | 情绪识别方法、***、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113380271B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113707185A (zh) * | 2021-09-17 | 2021-11-26 | 卓尔智联(武汉)研究院有限公司 | 一种情绪识别方法、装置和电子设备 |
| CN113743126A (zh) * | 2021-11-08 | 2021-12-03 | 北京博瑞彤芸科技股份有限公司 | 一种基于用户情绪的智能交互方法和装置 |
| CN117038055A (zh) * | 2023-07-05 | 2023-11-10 | 广州市妇女儿童医疗中心 | 一种基于多专家模型的疼痛评估方法、***、装置及介质 |
| CN117349792A (zh) * | 2023-10-25 | 2024-01-05 | 中国人民解放军空军军医大学 | 一种基于面部特征与语音特征的情绪识别方法 |
| WO2024078303A1 (zh) * | 2022-10-09 | 2024-04-18 | 马上消费金融股份有限公司 | 人脸驱动模型的训练方法、视频生成方法及装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180197433A1 (en) * | 2017-01-06 | 2018-07-12 | Alex B. Tavares | Device and method for teaching phonics using a touch detecting interface |
| CN110276259A (zh) * | 2019-05-21 | 2019-09-24 | 平安科技（深圳）有限公司 | 唇语识别方法、装置、计算机设备及存储介质 |
| CN111368609A (zh) * | 2018-12-26 | 2020-07-03 | 深圳Tcl新技术有限公司 | 基于情绪引擎技术的语音交互方法、智能终端及存储介质 |
| US20200302953A1 (en) * | 2017-11-12 | 2020-09-24 | Nippon Telegraph And Telephone Corporation | Label generation device, model learning device, emotion recognition apparatus, methods therefor, program, and recording medium |
| CN112559835A (zh) * | 2021-02-23 | 2021-03-26 | 中国科学院自动化研究所 | 多模态情感识别方法 |
| CN112562682A (zh) * | 2020-12-02 | 2021-03-26 | 携程计算机技术（上海）有限公司 | 基于多人通话的身份识别方法、***、设备及存储介质 |
| CN112989920A (zh) * | 2020-12-28 | 2021-06-18 | 华东理工大学 | 一种基于帧级特征蒸馏神经网络的脑电情绪分类*** |
| CN113223560A (zh) * | 2021-04-23 | 2021-08-06 | 平安科技（深圳）有限公司 | 情绪识别方法、装置、设备及存储介质 |
-
2021
- 2021-08-12 CN CN202110922781.XA patent/CN113380271B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180197433A1 (en) * | 2017-01-06 | 2018-07-12 | Alex B. Tavares | Device and method for teaching phonics using a touch detecting interface |
| US20200302953A1 (en) * | 2017-11-12 | 2020-09-24 | Nippon Telegraph And Telephone Corporation | Label generation device, model learning device, emotion recognition apparatus, methods therefor, program, and recording medium |
| CN111368609A (zh) * | 2018-12-26 | 2020-07-03 | 深圳Tcl新技术有限公司 | 基于情绪引擎技术的语音交互方法、智能终端及存储介质 |
| CN110276259A (zh) * | 2019-05-21 | 2019-09-24 | 平安科技（深圳）有限公司 | 唇语识别方法、装置、计算机设备及存储介质 |
| CN112562682A (zh) * | 2020-12-02 | 2021-03-26 | 携程计算机技术（上海）有限公司 | 基于多人通话的身份识别方法、***、设备及存储介质 |
| CN112989920A (zh) * | 2020-12-28 | 2021-06-18 | 华东理工大学 | 一种基于帧级特征蒸馏神经网络的脑电情绪分类*** |
| CN112559835A (zh) * | 2021-02-23 | 2021-03-26 | 中国科学院自动化研究所 | 多模态情感识别方法 |
| CN113223560A (zh) * | 2021-04-23 | 2021-08-06 | 平安科技（深圳）有限公司 | 情绪识别方法、装置、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 宋南等: "融合人脸表情的手语到汉藏双语情感语音转换", 《声学技术》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113707185A (zh) * | 2021-09-17 | 2021-11-26 | 卓尔智联(武汉)研究院有限公司 | 一种情绪识别方法、装置和电子设备 |
| CN113743126A (zh) * | 2021-11-08 | 2021-12-03 | 北京博瑞彤芸科技股份有限公司 | 一种基于用户情绪的智能交互方法和装置 |
| CN113743126B (zh) * | 2021-11-08 | 2022-06-14 | 北京博瑞彤芸科技股份有限公司 | 一种基于用户情绪的智能交互方法和装置 |
| WO2024078303A1 (zh) * | 2022-10-09 | 2024-04-18 | 马上消费金融股份有限公司 | 人脸驱动模型的训练方法、视频生成方法及装置 |
| CN117038055A (zh) * | 2023-07-05 | 2023-11-10 | 广州市妇女儿童医疗中心 | 一种基于多专家模型的疼痛评估方法、***、装置及介质 |
| CN117038055B (zh) * | 2023-07-05 | 2024-04-02 | 广州市妇女儿童医疗中心 | 一种基于多专家模型的疼痛评估方法、***、装置及介质 |
| CN117349792A (zh) * | 2023-10-25 | 2024-01-05 | 中国人民解放军空军军医大学 | 一种基于面部特征与语音特征的情绪识别方法 |
| CN117349792B (zh) * | 2023-10-25 | 2024-06-07 | 中国人民解放军空军军医大学 | 一种基于面部特征与语音特征的情绪识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113380271B (zh) | 2021-12-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10977452B2 (en) | Multi-lingual virtual personal assistant | |
| CN113380271B (zh) | 情绪识别方法、***、设备及介质 | |
| US20210081056A1 (en) | Vpa with integrated object recognition and facial expression recognition | |
| US11900518B2 (en) | Interactive systems and methods | |
| CN115329779A (zh) | 一种多人对话情感识别方法 | |
| CN113380234A (zh) | 基于语音识别生成表单的方法、装置、设备及介质 | |
| CN113689951A (zh) | 一种智能导诊方法、***和计算机可读存储介质 | |
| Abouelenien et al. | Gender-based multimodal deception detection | |
| Xia et al. | Audiovisual speech recognition: A review and forecast | |
| Fu et al. | CONSK-GCN: conversational semantic-and knowledge-oriented graph convolutional network for multimodal emotion recognition | |
| Zhang | Voice keyword retrieval method using attention mechanism and multimodal information fusion | |
| CN115171731A (zh) | 一种情绪类别确定方法、装置、设备及可读存储介质 | |
| Sun et al. | In your eyes: Modality disentangling for personality analysis in short video | |
| US20230290371A1 (en) | System and method for automatically generating a sign language video with an input speech using a machine learning model | |
| Hong et al. | When hearing the voice, who will come to your mind | |
| Guo et al. | Deep neural networks for depression recognition based on facial expressions caused by stimulus tasks | |
| CN114492579A (zh) | 情绪识别方法、摄像装置、情绪识别装置及存储装置 | |
| CN114297354A (zh) | 一种弹幕生成方法及装置、存储介质、电子装置 | |
| Song et al. | Supervised contrastive learning for game-play frustration detection from speech | |
| US20240169633A1 (en) | Interactive systems and methods | |
| Shah | COMPUTATIONAL INFERENCE OF TRUSTWORTHINESS IN SOCIAL FIGURES THROUGH ANALYSIS OF SPEECH ACOUSTIC, TEXTUAL, AND VISUAL SIGNALS | |
| Kumar et al. | A Survey on Indian Sign Language Translation Using Artificial Intelligence | |
| Lázaro Herrasti | Non-acted multi-view audio-visual dyadic interactions. Project non-verbal emotion recognition in dyadic scenarios and speaker segmentation | |
| Novais | A framework for emotion and sentiment predicting supported in ensembles | |
| CN115328296A (zh) | 自助观影方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220719 Address after: 201615 room 1904, G60 Kechuang building, No. 650, Xinzhuan Road, Songjiang District, Shanghai Patentee after: Shanghai Mingping Medical Data Technology Co.,Ltd. Address before: 102400 no.86-n3557, Wanxing Road, Changyang, Fangshan District, Beijing Patentee before: Mingpinyun (Beijing) data Technology Co.,Ltd. |
|
| TR01 | Transfer of patent right |