CN110390955A - 一种基于深度域适应性卷积神经网络的跨库语音情感识别方法 - Google Patents

一种基于深度域适应性卷积神经网络的跨库语音情感识别方法 Download PDF

Info

Publication number
CN110390955A
CN110390955A CN201910583878.5A CN201910583878A CN110390955A CN 110390955 A CN110390955 A CN 110390955A CN 201910583878 A CN201910583878 A CN 201910583878A CN 110390955 A CN110390955 A CN 110390955A
Authority
CN
China
Prior art keywords
database
speech
neural networks
output
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910583878.5A
Other languages
English (en)
Other versions
CN110390955B (zh
Inventor
郑文明
刘佳腾
宗源
路成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201910583878.5A priority Critical patent/CN110390955B/zh
Publication of CN110390955A publication Critical patent/CN110390955A/zh
Application granted granted Critical
Publication of CN110390955B publication Critical patent/CN110390955B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Evolutionary Computation (AREA)
  • Child & Adolescent Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于深度域适应性卷积神经网络的跨库语音情感识别方法，包括：(1)获取语言不同的训练数据库和测试数据库(2)将训练数据库和测试数据库中的语音信号分别处理得到每段语音信号的频谱图；(3)建立卷积神经网络；(4)将训练数据库和测试数据库的语音信号频谱图分别输入卷积神经网络进行训练，训练时，先计算训练数据库和测试数据库语音信号频谱图分别对应的全连接层输出之间的最大均值差异，之后计算训练数据库softmax层输出以及其情感类别标签之间的交叉熵，最后将最大均值差异和交叉熵相加作为网络损失采用反向传播算法更新网络参数，完成网络训练；(5)获取待识别的语音信号频谱图，输入训练好的深度卷积神经网络，输出情感类别。本发明准确率更高。

Description

一种基于深度域适应性卷积神经网络的跨库语音情感识别 方法
技术领域
本发明涉及语音数据情感识别，尤其涉及一种基于深度域适应性卷积神经网络的跨库语音情感识别方法。
背景技术
语音情感识别是当前模式识别与人工智能领域的一个研究热点，应用前景广阔。传统的语音情感识别往往在单个语音数据库上进行训练与测试，而在实际生活中，训练集与测试集的语音数据往往有很大的差异，例如来自不同的语言，故在不同语音数据库上进行语音情感识别更贴近于真实的生活场景，这是一种跨库语音情感识别问题。跨库语音情感识别的难点在于提取合适的语音特征并缩小源数据库数据以及目标数据库数据的特征分布差异。传统的语音特征往往只能体现单一的语音特性，而语谱图可以同时体现语音信号在时域与频域上的特性。
深度卷积神经网络是一种有效提取高维数据特征的手段，其具有反馈与学习的功能，在语音情感识别的领域中应用广泛。最大均值差异(Maximum Mean Discrepancy， MMD)是一种衡量不同域之间数据分布差异的有效方法，可以有效表示不同语音数据库之间的特征分布差异。
发明内容
发明目的：本发明针对现有技术存在的问题，提供一种基于深度域适应性卷积神经网络的跨库语音情感识别方法，该方法识别准确率更高。
技术方案：本发明所述的基于深度域适应性卷积神经网络的跨库语音情感识别方法包括：
(1)获取两个语言不同的语音数据库，分别作为训练数据库和测试数据库，其中，每个语音数据库中包括有若干语音信号和对应的情感类别标签；
(2)将训练数据库和测试数据库中的语音信号分别进行预处理，得到每段语音信号的频谱图；
(3)建立深度域适应性卷积神经网络，所述深度域适应性卷积神经网络包括依次连接的第一卷积层、第一池化层、第二卷积层、第二池化层、第一全连接层、第二全连接层和softmax层；
(4)将训练数据库和测试数据库的语音信号频谱图分别输入建立的深度域适应性卷积神经网络进行训练，其中，在训练网络时，先计算训练数据库语音信号频谱图对应的全连接层输出和测试数据库语音信号频谱图对应的全连接层输出之间的最大均值差异，之后计算训练数据库语音信号频谱图对应的softmax层输出以及其情感类别标签之间的交叉熵，最后将最大均值差异和交叉熵相加作为网络损失采用反向传播算法更新网络参数，完成网络训练；
(5)将待识别的语音信号进行预处理，得到其频谱图，并将频谱图输入训练好的深度卷积神经网络，输出中维数最大的类别即为识别的情感类别。
进一步的，步骤(3)中所述第一卷积层和所述第二卷积层的输入和输出间的关系式为：
YC＝φ(conv(WC,XC)+bC)
式中，YC表示第一卷积层或第二卷积层的输出，XC表示第一卷积层或第二卷积层的输入，WC、bC分别为权重参数、偏置参数，通过网络训练得到，conv()表示卷积函数，φ为激活函数，且φ(·)＝max(0,·)。
所述第一全连接层和第二全连接层的输入和输出间的关系式为：
Yd＝φ(WdXd+bd)
式中，Yd表示第一卷积层或第二卷积层的输出，Xd表示第一卷积层或第二卷积层的输入，Wd、bd分别为权重参数、偏置参数，通过网络训练得到，φ为激活函数，且φ(·)＝max(0,·)。
进一步的，步骤(4)中所述训练数据库语音信号频谱图对应的全连接层输出和测试数据库语音信号频谱图对应的全连接层输出之间的最大均值差异的计算方法为：
式中，MMD(Ds,Dt)为Ds、Dt的最大均值差异，为训练数据库语音信号频谱图对应的全连接层输出，元素为M个，为测试数据库语音信号频谱图对应的全连接层输出，元素为N个，k()表示高斯核函数。
所述训练数据库语音信号频谱图对应的softmax层输出以及其情感类别标签之间的交叉熵的计算方法为：
式中，Ce表示交叉熵值，U为softmax层输出个数，x表示语音信号的标号，p(x)表示训练数据库中存储的语音信号x的语音情感类别，q(x)表示语音信号x输入到深度域适应性卷积神经网络后，其softmax层输出的情感类别，即预测的情感类别。
所述网络损失的计算方法为：
Losssum＝Ce+λMMD(Ds,Dt)
式中，Losssum表示网络损失，Ce表示交叉熵值，MMD(Ds,Dt)表示最大均值差异，λ表示权衡系数。
有益效果：本发明与现有技术相比，其显著优点是：本发明提供了一种基于深度域适应性卷积神经网络的跨库语音情感识别方法，该方法使用频谱图作为特征输入，采用跨库进行网络训练，神经网络可以有效地提取语谱图所蕴含的情感特征，根据特征分布的最大均值差异的梯度下降及反向传播算法可以有效地缩小训练数据库数据与测试数据库数据的特征差异，使得识别准确率更高。
附图说明
图1是本发明提供的基于深度域适应性卷积神经网络的跨库语音情感识别方法的流程示意图；
图2是两个不同语言的语音信号的频谱图样本；
图3是本发明建立的深度域适应性卷积神经网络的结构示意图；
图4是对本发明建立的深度域适应性卷积神经网络进行训练的流程示意图。
具体实施方式
本实施例提供了一种基于深度域适应性卷积神经网络的跨库语音情感识别方法，如图1所示，包括以下步骤：
(1)获取两个语言不同的语音数据库，分别作为训练数据库和测试数据库，其中，每个语音数据库中包括有若干语音信号和对应的情感类别标签。
(2)将训练数据库和测试数据库中的语音信号分别进行预处理，得到每段语音信号的频谱图。语音信号频谱图如图2所示。
(3)建立深度域适应性卷积神经网络，所述深度域适应性卷积神经网络包括依次连接的第一卷积层、第一池化层、第二卷积层、第二池化层、第一全连接层、第二全连接层和softmax层，具体如图3所示。
其中，第一卷积层的卷积核尺寸为3×3，通道数为3，步长为1，数目为16，第一池化层的尺寸为3×3，步长为2，第二卷积层的卷积核尺寸为3×3,通道数为16，数目为16，步长为1，第二池化层的尺寸为3×3，步长为1，两层全连接层的输出皆为128 维，最终softmax的维数为识别的情感种类数，最大的一维即代表识别的情感类别。
其中，所述第一卷积层和所述第二卷积层的输入和输出间的关系式为：
YC＝φ(conv(WC,XC)+bC)
式中，YC表示第一卷积层或第二卷积层的输出，XC表示第一卷积层或第二卷积层的输入，WC、bC分别为权重参数、偏置参数，通过网络训练得到，conv()表示卷积函数，φ为激活函数，且φ(·)＝max(0,·)。
所述第一全连接层和第二全连接层的输入和输出间的关系式为：
Yd＝φ(WdXd+bd)
式中，Yd表示第一卷积层或第二卷积层的输出，Xd表示第一卷积层或第二卷积层的输入，Wd、bd分别为权重参数、偏置参数，通过网络训练得到，φ为激活函数，且φ(·)＝max(0,·)。
(4)将训练数据库和测试数据库的语音信号频谱图分别输入建立的深度域适应性卷积神经网络进行训练，其中，在训练网络时，如图4所示，先计算训练数据库语音信号频谱图对应的全连接层输出和测试数据库语音信号频谱图对应的全连接层输出之间的最大均值差异，之后计算训练数据库语音信号频谱图对应的softmax层输出以及其情感类别标签之间的交叉熵，最后将最大均值差异和交叉熵相加作为网络损失采用反向传播算法更新网络参数，完成网络训练。
其中，所述训练数据库语音信号频谱图对应的全连接层输出和测试数据库语音信号频谱图对应的全连接层输出之间的最大均值差异的计算方法为：
式中，MMD(Ds,Dt)为Ds、Dt的最大均值差异，为训练数据库语音信号频谱图对应的全连接层输出，元素为M个，为测试数据库语音信号频谱图对应的全连接层输出，元素为N个，k()表示高斯核函数。σ取[2.0,5.0,10.0,20.0,40.0]。该计算中，全连接层可以是第一全连接层，也可以是第二全连接层。
所述训练数据库语音信号频谱图对应的softmax层输出以及其情感类别标签之间的交叉熵的计算方法为：
式中，Ce表示交叉熵值，U为softmax层输出个数，x表示语音信号的标号，p(x)表示训练数据库中存储的语音信号x的语音情感类别，q(x)表示语音信号x输入到深度域适应性卷积神经网络后，其softmax层输出的情感类别，即预测的情感类别，如图4中所示Ys。
所述网络损失的计算方法为：
Losssum＝Ce+λMMD(Ds,Dt)
式中，Losssum表示网络损失，Ce表示交叉熵值，MMD(Ds,Dt)表示最大均值差异，λ表示权衡系数。
(5)将待识别的语音信号进行预处理，得到其频谱图，并将频谱图输入训练好的深度卷积神经网络，输出中维数最大的类别即为识别的情感类别。
下面以Berlin情感语音数据库与CASIA情感语音数据库之间的跨库语音情感识别任务为例进行验证，验证结果如表1所示：
表1
训练库 测试库 SVM DCNN TKL TCA D-FC1 D-FC2
Berlin CASIA 25.10％ 34.50％ 28.40％ 28.10％ 38.10％ 34.90％
CASIA Berlin 36.76％ 38.54％ 38.24％ 37.99％ 48.39％ 38.02％
其中SVM、TKL以及TCA为基于传统的IS09特征集(含梅尔频率倒谱系数、过零率等)与支持向量机、迁移核学习以及迁移成分学习结合的跨库语音情感识别方法， DCNN为仅使用语谱图及神经网络无领域自适应层的方法，D-FC1及D-FC2为基于卷积神经网络的领域自适应层分别位于第一及第二个全连接层的深度领域自适应性卷积神经网络模型。
实验结果表明，基于所使用的卷积神经网络及其第一个全连接层的深度领域自适应性卷积神经网络模型取得了最高的跨库语音识别率。在Berlin情感语音数据可与CASIA情感语音数据之间的跨库语音情感识别任务中，本发明提出的基于模型相对于其它传统的方法起到了更好的识别结果。相较于其他方法，本发明成功地增加了神经网络模型的鲁棒性，提高了跨库语音情感识别的准确率。
以上所揭露的仅为本发明一种较佳实施例而已，不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (7)

1.一种基于深度域适应性卷积神经网络的跨库语音情感识别方法，其特征在于该方法包括：
(1)获取两个语言不同的语音数据库，分别作为训练数据库和测试数据库，其中，每个语音数据库中包括有若干语音信号和对应的情感类别标签；
(2)将训练数据库和测试数据库中的语音信号分别进行预处理，得到每段语音信号的频谱图；
(3)建立深度域适应性卷积神经网络，所述深度域适应性卷积神经网络包括依次连接的第一卷积层、第一池化层、第二卷积层、第二池化层、第一全连接层、第二全连接层和softmax层；
(4)将训练数据库和测试数据库的语音信号频谱图分别输入建立的深度域适应性卷积神经网络进行训练，其中，在训练网络时，先计算训练数据库语音信号频谱图对应的全连接层输出和测试数据库语音信号频谱图对应的全连接层输出之间的最大均值差异，之后计算训练数据库语音信号频谱图对应的softmax层输出以及其情感类别标签之间的交叉熵，最后将最大均值差异和交叉熵相加作为网络损失采用反向传播算法更新网络参数，完成网络训练；
(5)将待识别的语音信号进行预处理，得到其频谱图，并将频谱图输入训练好的深度卷积神经网络，输出中维数最大的类别即为识别的情感类别。
2.根据权利要求1所述的基于深度域适应性卷积神经网络的跨库语音情感识别方法，其特征在于：步骤(3)中所述第一卷积层和所述第二卷积层的输入和输出间的关系式为：
YC＝φ(conv(WC,XC)+bC)
式中，YC表示第一卷积层或第二卷积层的输出，XC表示第一卷积层或第二卷积层的输入，WC、bC分别为权重参数、偏置参数，通过网络训练得到，conv()表示卷积函数，φ为激活函数，且φ(·)＝max(0,·)。
3.根据权利要求1所述的基于深度域适应性卷积神经网络的跨库语音情感识别方法，其特征在于：步骤(3)中所述第一全连接层和第二全连接层的输入和输出间的关系式为：
Yd＝φ(WdXd+bd)
式中，Yd表示第一卷积层或第二卷积层的输出，Xd表示第一卷积层或第二卷积层的输入，Wd、bd分别为权重参数、偏置参数，通过网络训练得到，φ为激活函数，且φ(·)＝max(0,·)。
4.根据权利要求1所述的基于深度域适应性卷积神经网络的跨库语音情感识别方法，其特征在于：步骤(4)中所述训练数据库语音信号频谱图对应的全连接层输出和测试数据库语音信号频谱图对应的全连接层输出之间的最大均值差异的计算方法为：
式中，MMD(Ds,Dt)为Ds、Dt的最大均值差异，为训练数据库语音信号频谱图对应的全连接层输出，元素为M个，为测试数据库语音信号频谱图对应的全连接层输出，元素为N个，k()表示高斯核函数。
5.根据权利要求1所述的基于深度域适应性卷积神经网络的跨库语音情感识别方法，其特征在于：步骤(4)中所述训练数据库语音信号频谱图对应的softmax层输出以及其情感类别标签之间的交叉熵的计算方法为：
式中，Ce表示交叉熵值，U为softmax层输出个数，x表示语音信号的标号，p(x)表示训练数据库中存储的语音信号x的语音情感类别，q(x)表示语音信号x输入到深度域适应性卷积神经网络后，其softmax层输出的情感类别，即预测的情感类别。
6.根据权利要求1所述的基于深度域适应性卷积神经网络的跨库语音情感识别方法，其特征在于：步骤(4)中所述网络损失的计算方法为：
Losssum＝Ce+λMMD(Ds,Dt)
式中，Losssum表示网络损失，Ce表示交叉熵值，MMD(Ds,Dt)表示最大均值差异，λ表示权衡系数。
7.根据权利要求1所述的基于深度域适应性卷积神经网络的跨库语音情感识别方法，其特征在于：步骤(4)中计算最大均值差异时涉及的全连接层为第一全连接层或第二全连接层。
CN201910583878.5A 2019-07-01 2019-07-01 一种基于深度域适应性卷积神经网络的跨库语音情感识别方法 Active CN110390955B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910583878.5A CN110390955B (zh) 2019-07-01 2019-07-01 一种基于深度域适应性卷积神经网络的跨库语音情感识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910583878.5A CN110390955B (zh) 2019-07-01 2019-07-01 一种基于深度域适应性卷积神经网络的跨库语音情感识别方法

Publications (2)

Publication Number Publication Date
CN110390955A true CN110390955A (zh) 2019-10-29
CN110390955B CN110390955B (zh) 2021-07-27

Family

ID=68286065

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910583878.5A Active CN110390955B (zh) 2019-07-01 2019-07-01 一种基于深度域适应性卷积神经网络的跨库语音情感识别方法

Country Status (1)

Country Link
CN (1) CN110390955B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110992988A (zh) * 2019-12-24 2020-04-10 东南大学 一种基于领域对抗的语音情感识别方法及装置
CN111048117A (zh) * 2019-12-05 2020-04-21 南京信息工程大学 一种基于目标适应子空间学习的跨库语音情感识别方法
CN111126263A (zh) * 2019-12-24 2020-05-08 东南大学 一种基于双半球差异性模型的脑电情感识别方法及装置
CN111259941A (zh) * 2020-01-10 2020-06-09 中国科学院计算技术研究所 基于细粒度领域自适应的跨领域图像分类方法及***
CN111354378A (zh) * 2020-02-12 2020-06-30 北京声智科技有限公司 语音端点检测方法、装置、设备及计算机存储介质
CN111583966A (zh) * 2020-05-06 2020-08-25 东南大学 基于联合分布最小二乘回归的跨数据库语音情感识别方法及装置
CN111710349A (zh) * 2020-06-23 2020-09-25 长沙理工大学 一种语音情感识别方法、***、计算机设备和存储介质
CN112489689A (zh) * 2020-11-30 2021-03-12 东南大学 基于多尺度差异对抗的跨数据库语音情感识别方法及装置
CN112613481A (zh) * 2021-01-04 2021-04-06 上海明略人工智能(集团)有限公司 一种基于频谱的轴承磨耗预警方法与***
CN112690793A (zh) * 2020-12-28 2021-04-23 中国人民解放军战略支援部队信息工程大学 情绪脑电迁移模型训练方法、***及情绪识别方法和设备
CN112735478A (zh) * 2021-01-29 2021-04-30 华南理工大学 一种基于加性角惩罚焦点损失的语音情感识别方法
CN113077823A (zh) * 2021-03-24 2021-07-06 河南工业大学 一种基于深度自编码器子域自适应跨库语音情感识别方法
CN113268628A (zh) * 2021-04-14 2021-08-17 上海大学 一种基于模块化的加权融合神经网络的音乐情感识别方法
CN113628640A (zh) * 2021-07-15 2021-11-09 河南工业大学 一种基于样本均衡和最大均值差异的跨库语音情感识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170078479A1 (en) * 2015-09-14 2017-03-16 Cogito Corporation Systems and methods for managing, analyzing, and providing visualizations of multi-party dialogs
CN108364662A (zh) * 2017-12-29 2018-08-03 中国科学院自动化研究所 基于成对鉴别任务的语音情感识别方法与***
CN108550375A (zh) * 2018-03-14 2018-09-18 鲁东大学 一种基于语音信号的情感识别方法、装置和计算机设备
CN108899051A (zh) * 2018-06-26 2018-11-27 北京大学深圳研究生院 一种基于联合特征表示的语音情感识别模型及识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170078479A1 (en) * 2015-09-14 2017-03-16 Cogito Corporation Systems and methods for managing, analyzing, and providing visualizations of multi-party dialogs
US20170257481A1 (en) * 2015-09-14 2017-09-07 Cogito Corporation Systems and methods for managing, analyzing and providing visualizations of multi-party dialogs
CN108364662A (zh) * 2017-12-29 2018-08-03 中国科学院自动化研究所 基于成对鉴别任务的语音情感识别方法与***
CN108550375A (zh) * 2018-03-14 2018-09-18 鲁东大学 一种基于语音信号的情感识别方法、装置和计算机设备
CN108899051A (zh) * 2018-06-26 2018-11-27 北京大学深圳研究生院 一种基于联合特征表示的语音情感识别模型及识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DONGYANG DAI ET AL.: "Learning Discriminative Features from Spectrograms Using Center Loss for Speech Emotion Recognition", 《ICASSP 2019 - 2019 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING (ICASSP)》 *
JIATENG LIU ET AL.: "Cross-Corpus Speech Emotion Recognition Based on Deep Domain-Adaptive Convolutional Neural Network", 《IEICE TRANSACTIONS ON INFORMATION AND SYSTEMS》 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111048117A (zh) * 2019-12-05 2020-04-21 南京信息工程大学 一种基于目标适应子空间学习的跨库语音情感识别方法
CN111048117B (zh) * 2019-12-05 2022-06-17 南京信息工程大学 一种基于目标适应子空间学习的跨库语音情感识别方法
CN110992988B (zh) * 2019-12-24 2022-03-08 东南大学 一种基于领域对抗的语音情感识别方法及装置
CN111126263A (zh) * 2019-12-24 2020-05-08 东南大学 一种基于双半球差异性模型的脑电情感识别方法及装置
CN110992988A (zh) * 2019-12-24 2020-04-10 东南大学 一种基于领域对抗的语音情感识别方法及装置
CN111126263B (zh) * 2019-12-24 2022-11-25 东南大学 一种基于双半球差异性模型的脑电情感识别方法及装置
CN111259941A (zh) * 2020-01-10 2020-06-09 中国科学院计算技术研究所 基于细粒度领域自适应的跨领域图像分类方法及***
CN111259941B (zh) * 2020-01-10 2023-09-26 中国科学院计算技术研究所 基于细粒度领域自适应的跨领域图像分类方法及***
CN111354378A (zh) * 2020-02-12 2020-06-30 北京声智科技有限公司 语音端点检测方法、装置、设备及计算机存储介质
CN111583966A (zh) * 2020-05-06 2020-08-25 东南大学 基于联合分布最小二乘回归的跨数据库语音情感识别方法及装置
CN111583966B (zh) * 2020-05-06 2022-06-28 东南大学 基于联合分布最小二乘回归的跨数据库语音情感识别方法及装置
CN111710349A (zh) * 2020-06-23 2020-09-25 长沙理工大学 一种语音情感识别方法、***、计算机设备和存储介质
CN112489689A (zh) * 2020-11-30 2021-03-12 东南大学 基于多尺度差异对抗的跨数据库语音情感识别方法及装置
CN112489689B (zh) * 2020-11-30 2024-04-30 东南大学 基于多尺度差异对抗的跨数据库语音情感识别方法及装置
CN112690793A (zh) * 2020-12-28 2021-04-23 中国人民解放军战略支援部队信息工程大学 情绪脑电迁移模型训练方法、***及情绪识别方法和设备
CN112690793B (zh) * 2020-12-28 2023-05-16 中国人民解放军战略支援部队信息工程大学 情绪脑电迁移模型训练方法、***及情绪识别方法和设备
CN112613481A (zh) * 2021-01-04 2021-04-06 上海明略人工智能(集团)有限公司 一种基于频谱的轴承磨耗预警方法与***
CN112735478A (zh) * 2021-01-29 2021-04-30 华南理工大学 一种基于加性角惩罚焦点损失的语音情感识别方法
CN113077823A (zh) * 2021-03-24 2021-07-06 河南工业大学 一种基于深度自编码器子域自适应跨库语音情感识别方法
CN113077823B (zh) * 2021-03-24 2024-05-03 河南工业大学 一种基于深度自编码器子域自适应跨库语音情感识别方法
CN113268628A (zh) * 2021-04-14 2021-08-17 上海大学 一种基于模块化的加权融合神经网络的音乐情感识别方法
CN113628640A (zh) * 2021-07-15 2021-11-09 河南工业大学 一种基于样本均衡和最大均值差异的跨库语音情感识别方法

Also Published As

Publication number Publication date
CN110390955B (zh) 2021-07-27

Similar Documents

Publication Publication Date Title
CN110390955A (zh) 一种基于深度域适应性卷积神经网络的跨库语音情感识别方法
CN109493874A (zh) 一种基于卷积神经网络的生猪咳嗽声音识别方法
CN107146624B (zh) 一种说话人确认方法及装置
CN108648759A (zh) 一种文本无关的声纹识别方法
CN105047194B (zh) 一种用于语音情感识别的自学习语谱图特征提取方法
CN110428842A (zh) 语音模型训练方法、装置、设备及计算机可读存储介质
CN105488466B (zh) 一种深层神经网络和水声目标声纹特征提取方法
CN110675859B (zh) 结合语音与文本的多情感识别方法、***、介质及设备
CN106683680A (zh) 说话人识别方法及装置、计算机设备及计算机可读介质
CN109065021A (zh) 基于条件深度卷积生成对抗网络的端到端方言辨识方法
CN110047510A (zh) 音频识别方法、装置、计算机设备及存储介质
Han et al. Speech emotion recognition with a resnet-cnn-transformer parallel neural network
CN109256118B (zh) 基于生成式听觉模型的端到端汉语方言识别***和方法
CN110047516A (zh) 一种基于性别感知的语音情感识别方法
CN111429947A (zh) 一种基于多级残差卷积神经网络的语音情感识别方法
CN109887489A (zh) 基于生成对抗网络的深度特征的语音去混响方法
CN105895082A (zh) 声学模型训练方法、语音识别方法及装置
CN111048097B (zh) 一种基于3d卷积的孪生网络声纹识别方法
CN102982351A (zh) 基于bp神经网络的瓷绝缘子振动声学检测数据分类方法
CN104778948B (zh) 一种基于弯折倒谱特征的抗噪语音识别方法
CN109767789A (zh) 一种用于语音情感识别的新特征提取方法
CN113129908B (zh) 基于循环帧级特征融合的端到端猕猴声纹验证方法及***
CN103456302A (zh) 一种基于情感gmm模型权重合成的情感说话人识别方法
CN109584904A (zh) 应用于基础音乐视唱教育的视唱音频唱名识别建模方法
CN106297769B (zh) 一种应用于语种识别的鉴别性特征提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant