CN117457031A - 基于语音全局声学特征和局部频谱特征的情绪识别方法 - Google Patents
基于语音全局声学特征和局部频谱特征的情绪识别方法 Download PDFInfo
- Publication number
- CN117457031A CN117457031A CN202311499423.8A CN202311499423A CN117457031A CN 117457031 A CN117457031 A CN 117457031A CN 202311499423 A CN202311499423 A CN 202311499423A CN 117457031 A CN117457031 A CN 117457031A
- Authority
- CN
- China
- Prior art keywords
- features
- voice
- emotion
- driver
- emotion recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 39
- 238000001228 spectrum Methods 0.000 title claims abstract description 25
- 230000008451 emotion Effects 0.000 claims abstract description 43
- 238000007637 random forest analysis Methods 0.000 claims abstract description 20
- 230000004927 fusion Effects 0.000 claims abstract description 17
- 230000003595 spectral effect Effects 0.000 claims abstract description 17
- 230000009467 reduction Effects 0.000 claims abstract description 16
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000009432 framing Methods 0.000 claims description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 230000007246 mechanism Effects 0.000 claims description 7
- 238000003066 decision tree Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 230000007613 environmental effect Effects 0.000 claims description 3
- 239000012634 fragment Substances 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000011426 transformation method Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 230000002457 bidirectional effect Effects 0.000 claims description 2
- 230000008901 benefit Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 13
- 239000013598 vector Substances 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 230000008921 facial expression Effects 0.000 description 3
- 238000005311 autocorrelation function Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 230000009545 invasion Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000003920 cognitive function Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009323 psychological health Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Hospice & Palliative Care (AREA)
- Child & Adolescent Psychology (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Image Analysis (AREA)
Abstract
基于语音全局声学特征和局部频谱特征的情绪识别方法，属于驾驶员情绪识别技术领域，通过车载语音收集设备获取驾驶员的原始音频，对原始音频进行语音降噪、语音切割后预处理，提取全局声学特征和局部频谱特征，并进行拼接融合，特征降维，利用随机森林算法进行全局声学特征情绪识别，输出情绪种类的概率；利用SoftMax分离器输出局部频谱特征情绪种类的概率；将两种情绪种类的概率利进行决策融合，最终输出驾驶员的情绪状态。本发明解决了单一模态语音下驾驶员情绪识别准确率不够精准、对于驾驶环境下语音嘈杂缺乏有效区分的问题，通过驾驶员语音实时监测驾驶员的情绪，并准确的识别驾驶员情绪提供重要的理论和技术支持。
Description
技术领域
本发明属于驾驶员情绪识别技术领域，特别是涉及到一种基于语音的全局声学特征与局部频谱特征融合的驾驶员情绪识别方法。
背景技术
驾驶车辆是一项复杂的任务，驾驶员必须应对不同的任务，每一项任务又是一个复杂的认知过程；情绪是一个影响认知功能的关键因素，而驾驶员无法控制情绪已被确定为事故的主要原因之一。驾驶员的情绪影响驾驶性能，与交通事故密切相关。负面情绪驾驶不仅会影响正常的道路交通秩序，还会威胁驾驶员和其他交通参与者的身心健康和人身安全，亟需提出一套实时监测驾驶员的情绪识别方法，能够实时准确的识别驾驶员情绪，对提升我国的道路安全状况具有重要的意义。
目前，驾驶员的情绪识别主要通过分析驾驶员的生理信号、面部表情、身体姿势、语音信号等情绪表情来实现。驾驶员面部表情情绪识别，需要装载车端摄像头采取驾驶员面部表情数据，对视频数据进行图像识别，进而判别驾驶员的情绪，但是此方法易受光照、面部遮挡以及驾驶员自身掩饰的影响，导致识别的可靠性难以保证。通过驾驶员的生理信号进行情绪识别，采集信号稳定性差，且往往需要佩戴侵入式设备进行数据采集，影响驾驶员的正常驾驶行为。相比之下，驾驶员语音信号具有易于采集、低入侵、不易侵犯隐私等优点。且目前对于驾驶员的语音情绪识别研究较少，较多都是纯理论层面，并未考虑实际驾驶环境的复杂性。此外，随着人机交互的迅速普及，通过驾驶员的声音识别情绪，具有广泛的应用潜力。
因此，现有技术亟需一种新的技术方案来解决上述问题。
发明内容
本发明所要解决的技术问题是：提供基于语音全局声学特征和局部频谱特征的情绪识别方法，通过全局声学特征和局部频谱特征的融合来实时识别驾驶员的情绪；解决了单一模态语音下驾驶员情绪识别准确率不够精准、对于驾驶环境下语音嘈杂缺乏有效区分的问题。
基于语音全局声学特征和局部频谱特征的情绪识别方法，包括以下步骤，且以下步骤顺次进行：
步骤一、采用车载语音收集设备实时采集驾驶员的原始音频，通过音频降噪模块与音频切割模块对原始音频进行语音降噪、语音切割，获得用于模型输入的目标音频；
步骤二、将所述步骤一获得的目标音频进行预处理，包括对目标音频进行预加重、分帧加窗以及端点检测；
步骤三、对预处理后的目标音频进行特征提取，提取全局声学特征和局部频谱特征；
步骤四、将提取的全局声学特征进行拼接融合，特征降维后，利用随机森林算法进行情绪识别，输出情绪种类的概率；
步骤五、将提取的局部频谱特征输入到融合注意力机制的Bi-LSTM双向长短时记忆网络和卷积神经网络模型中，利用SoftMax分离器输出情绪种类的概率；
步骤六、将随机森林分类器和SoftMax分离器输出的情绪种类的概率利用D-S证据理论进行决策融合，输出驾驶员的最终情绪状态。
所述步骤一音频降噪模块采用小波变换法去除语音信号中的环境噪声，保留原始语音。
所述步骤一音频切割模块采用2s窗口截断整个语音，将其划分为一系列的音频片段，并在每个子段之间设置1s重叠，不足2s的音频用零填充。
所述步骤二采用一阶FIR高通数字滤波器实现目标音频预加重；采用可移动的有限长度窗口进行加权的方法实现分帧加窗；采用基于短时能量STE和短时平均过零率ZCR双门限法进行语音信号的端点检测。
所述步骤三全局声学特征包括：MFCC系数、共振峰参数、短时平均能量、短时平均过零率以及基频。
所述步骤四随机森林模型将数据集划分为训练集和测试集，通过交叉验证依次选择随机森林的criterion参数、决策树的个数、决策树的最大深度、分割内部节点所需要的最小样本数、每棵树用到的最大特征数，对所获得的参数附近进行小范围网格搜索，排除各个参数之间的相互影响，得到最优的模型参数组合；构建高识别性能的基于语音的全局声学特征与局部频谱特征融合的驾驶员情绪识别模型，模型输出驾驶员的情绪种类概率。
所述步骤五提取的局部频谱特征为对数梅尔频谱图，作为Bi-LSTM的输入层，将图像解析为输入张量矩阵。
所述步骤六D-S证据理论进行决策融合的规则为：
式中，m1(A)表示随机森林分类器对命题A的支持程度，即基本概率数；m2(A)表示SoftMax分类器对命题A的支持程度；
K表示归一化常数：
式中，A表示合成后输出结果，B表示随机森林分类器输出的结果，C表示SoftMax分类器输出结果。
通过上述设计方案，本发明可以带来如下有益效果：
1、本发明提出的基于语音的全局声学特征与局部频谱特征融合的驾驶员情绪识别模型，可以对驾驶环境下驾驶员的情绪进行精准识别，对于驾驶安全的风险预警和安全决策具有重要意义；
2、基于全局声学特征与局部频谱特征融合的方法，这是两种不同类型的特征，它们位于各自的特征空间之中，从不同的方面描述了语音信号中包含的情绪信息。因此，这两种特征之间存在着一定的互补性，更加充分地挖掘语音中的情绪信息，解决了单一模态语音下驾驶员情绪识别准确率不够精准、对于驾驶环境下语音嘈杂缺乏有效区分的问题，通过驾驶员语音实时监测驾驶员的情绪，并准确的识别驾驶员情绪提供重要的理论和技术支持。
附图说明
以下结合附图和具体实施方式对本发明作进一步的说明：
图1为本发明基于语音全局声学特征和局部频谱特征的情绪识别方法流程示意图。
图2为本发明基于语音全局声学特征和局部频谱特征的情绪识别方法全局声学特征和局部频谱特征提取的流程示意图。
具体实施方式
本发明提出的基于语音的全局声学特征与局部频谱特征融合的驾驶员情绪识别方法，通过车载语音收集设备获取驾驶员的原始音频，对原始音频进行语音降噪、语音切割，获得用于模型输入的目标音频；将获得用于模型输入的目标音频进行预处理；对预处理后的目标音频进行特征提取，提取全局声学特征和局部频谱特征；将提取的全局声学特征进行拼接融合，特征降维，之后利用随机森林算法进行情绪识别，输出情绪种类的概率；将提取的局部频谱特征输入到融合注意力机制的Bi-LSTM(双向长短时记忆网络)和卷积神经网络模型中，利用SoftMax分离器输出情绪种类的概率；将两种分类器输出的情绪种类的概率利用D-S证据理论进行决策融合，最终输出驾驶员的情绪状态。解决了单一模态语音下驾驶员情绪识别准确率不够精准、对于驾驶环境下语音嘈杂缺乏有效区分的问题，通过驾驶员语音实时监测驾驶员的情绪，并准确的识别驾驶员情绪提供重要的理论和技术支持；
为使得本发明的目的、特征、优点能够更加的明显和易懂，下面结合本发明的实施例中的附图，对本发明中的技术方案进行清楚完整地描述。显然，本发明不受下述实施例的限制，可根据本发明的技术方案与实际情况来确定具体的实施方式。为了避免混淆本发明的实质，公知的方法、过程、流程并没有详细叙述。
步骤一、车载语音收集设备实时获取驾驶员的原始音频，对原始音频进行语音降噪、语音切割，获得用于模型输入的目标音频。
步骤二、将获得用于模型输入的目标音频进行预处理。
步骤三、对预处理后的目标音频进行特征提取，提取全局声学特征和局部频谱特征。
步骤四、将提取的全局声学特征进行拼接融合，特征降维，之后利用随机森林算法进行情绪识别，输出情绪种类的概率。
步骤五、将提取的局部频谱特征输入到融合注意力机制的Bi-LSTM(双向长短时记忆网络)和卷积神经网络模型中，利用SoftMax分离器输出情绪种类的概率。
步骤六、将两种分类器输出的情绪种类的概率利用D-S证据理论进行决策融合，最终输出驾驶员的情绪状态。
所述的步骤一中的车载语音收集设备，包含音频降噪模块与音频切割模块。
所述的音频降噪模块采用小波变换法去除语音信号中的环境噪声，保留原始语音。
式中，f(t)为待处理的信号；为小波函数；α为小波函数的缩放变量，对应于频率；τ为小波函数的平移变量，对应于时间，t为信号中的时间信息；
所述的音频切割模块采用2s窗口截断整个语音，将其划分为一系列的音频片段。持续时间小于2s的音频用零填充。
所述的步骤二中将获得用于模型输入的目标音频进行预处理：
第一步、对目标音频进行预加重，目标音频通过一阶FIR高通数字滤波器实现预加重，传递函数公式：
H(z)＝1-αz-1
式中α为预加重系数，0.9＜α＜1.0。
设n时刻的语音采样值为x(n)，经过预加重处理后的输出语音为y(n)：
y(n)＝x(n)-αx(n-1)
式中α取0.98。
第二步、对目标音频进行分帧及加窗，语音信号的分帧是采用可移动的有限长度窗口进行加权的方法来实现的，保持其连续性。由于每一帧的开始和结束都会产生间断，随着分割次数的增加，分割后的语音信号与原始信号的误差将越来越大，分帧操作中通过移动有限长度窗函数w(n)，并采用加权的方式可以解决。
SW(n)＝s(n)*w(n)
式中，w(n)表示窗函数，s(n)表示语音信号，SW(n)表示加窗后的语音信号。
选择汉明窗作为窗函数，式中N为窗口长度，即样本点个数。
第三步、对目标音频进行端点检测，在驾驶员驾车过程中，不会一直说话，因此需要通过端点检测确定声音信号中语音段与噪声段的区间。采用基于短时能量(STE)和短时平均过零率(ZCR)双门限法来进行语音信号的端点检测。短时能量计算公式：
式中，En为第n帧语音信号，x(m)为语音信号短时能量值。
短时平均过零率计算公式：
式中，sgn为符号函数，其值为1或-1。
步骤三中所述的对预处理后的目标音频进行特征提取，提取全局声学特征和局部频谱特征。
所述的全局声学特征包括：
MFCC系数、共振峰参数、短时平均能量、短时平均过零率以及基频
(1)MFCC系数计算过程：
第一步、进行快速傅里叶变换(FFT)
对每一帧信号进行FFT，从时域数据转变为频域数据：
X(i,k)＝FFT[xi(m)]
式中i表示分帧后的第i帧，k表示频域中的第k条谱线。语音信号x(n)经过预处理后为xi(m)。
第二步、计算谱线能量
对每一帧FFT后的数据计算谱线的能量：
E(i,k)＝[xi(k)]2
第三步、计算通过梅尔滤波器的能量
在频域中相当于把每帧的能量谱E(i,k)与梅尔滤波器的频域响应Hm(k)相乘并相加：
式中，i表示第i帧；k表示频域中的第k条谱线。
第四步、计算DCT倒谱
序列x(n)的FFT倒谱为
式中，FFT和FFT-1分别表示快速傅里叶变换和快速傅里叶逆变换。
序列x(n)的DCT为
式中，参数N是序列x(n)的长度；C(k)是正交因子，可表示为
求DCT的倒谱，即把梅尔滤波器的能量取对数后计算DCT:
式中，S(i,m)是求出的梅尔滤波器能量；m是指第m个梅尔滤波器(共有M个)；i是指第i帧；n是DCT后的谱线。
(2)共振峰参数计算过程：
由于语音x(n)是由声门脉冲激励e(n)经声道响应v(n)滤波而得。而在倒谱域中和/>是相对分离的，因此求取共振峰时，则是从倒谱域分离/>后恢复的v(n)中计算。
具体步骤如下：
第一步、对语音信号的x(n)进行预加重，并进行加窗和分帧，然后做傅里叶变换
式中，i代表第i帧；j代表第j个频率分量，为傅里叶变换的频率索引。
第二步、求取Xi(k)的倒谱，给倒谱信号加窗h(n)，得
第三步、求取hi(n)的包络线
第四步、在包络线上寻找最大值，获得相应的共振峰参数。
(3)短时平均能量计算过程：
设语音波形时域信号为x(n)，加窗函数w(n)分帧处理后得到的第i帧语音信号为yi(n)，计算第i帧n时刻语音信号yi(n)语音信号的短时平均能量为
式中，N为窗长，w(n)为窗函数；n＝1,2,…,L,i＝1,2,…,fn,L为帧长；fn为分帧后的总帧数。
(4)短时平均过零率计算过程：
定义语音信号x(n)分帧后有yi(n)，帧长为L，短时平均过零率为
式中，sgn是符号函数，即
(5)基频计算过程：
采取短时自相关函数法：
设语音信号的时间序列为x(n)，加窗分帧处理后得到的第i帧语音信号为xi(m)，其中下标i代表第i帧，设每帧帧长为N。xi(m)的短时自相关函数定义为
式中，k是时间的延迟量。
通常进行归一化处理，表达式为：
ri(k)＝Ri(k)/Ri(0)
k＝0时，Ri(0)为最大值。所以ri(k)的模值小于或等于1。
将上述得到的音频的全局声学特征进行拼接融合，形成新的特征向量。
将上述音频的全局声学特征融合而成的特征向量利用主成分分析法进行特征降维，计算过程为：首先上述特征个数设为p，样本集的特征向量个数设为q，则样本集X＝[x1,x2…xi…xq]，xi为p维特征向量。
第一步、对数据进行中心化处理：
第二步、计算协方差矩阵H及特征向量：
H＝XXT＝[x1x2…xq][x1x2…xq]T
其中X表示样本特征向量集矩阵，XT表示样本特征向量集的转置矩阵，H代表协方差矩阵。
第三步、选取前n个最大的特征值对应的特征向量进行标准化并组成矩阵W，n的具体选择根据主成分的累计贡献率来确定。
第四步、求解新的特征向量
zi＝WTxi
其中zi表示PCA降维后的新特征向量，WT表示矩阵W的转置矩阵。
第五步、确定新特征向量的维数
根据主成分的方差贡献率：
式中：i＝1，2，3...n；Ri为方差贡献率；si为方差。
前n个主成分的累计贡献率为：
其中Yn即为前n个主成分的累计贡献率。可以根据自己需要设定Yn的阈值大小。根据所设的Yn大小计算保留的主成分的个数。
上述获得的PCA降维后语音全局声学特征融合的新特征向量矩阵为Z。
步骤四中所述的利用随机森林算法来进行驾驶员的情绪分类，将提取的全局声学特征进行拼接融合，特征降维后的新特征向量连同标签输入到随机森林模型中进行训练。将数据集划分为训练集和测试集，通过交叉验证依次选择随机森林的criterion参数、决策树的个数、决策树的最大深度、分割内部节点所需要的最小样本数、每棵树用到的最大特征数，通过上述获得的参数附近进行小范围的网格搜索，排除各个参数之间的相互影响，得到最优的模型参数组合。依此来构建高识别性能的基于语音的全局声学特征与局部频谱特征融合的驾驶员情绪识别模型。
步骤五中所述的提取的驾驶员语音的局部频谱特征(对数梅尔频谱图)构造数据集，输入到融合注意力机制的Bi-LSTM(双向长短时记忆网络)和卷积神经网络模型中。所述的驾驶员情绪识别的模型如下所示：
将提取的对数梅尔频谱图作为输入层的输入，将图像解析为输入张量矩阵。Bi-LSTM使用2个单独的LSTM隐藏层处理2个方向的数据:后向层从t＝T～1迭代计算获取后隐藏序列前向层从t＝1～T迭代计算求得前向隐藏序列/>然后将前向隐藏序列与后向隐藏序列进行拼接,更新到输出层y：
Bi-LSTM进行上下文信息的提取，然后输入卷积神经网络模块中。
在卷积层通过卷积核对输入的张量矩阵进行卷积运算来提取图片的特征，所述的卷积计算过程为：
上式中，表示经过卷积层计算后的结果；g(x)表示为激活函数；L，W分别表示所用卷积核的长度和宽度；ωn,m表示卷积核在(n,m)位置的权重；u表示上一层的输出结果；
将上述卷积后的结果利用最大池化方法进行降维，降低计算量和网络的复杂性。
通过全连接层将卷积层和池化层得到的局部特征进行整合，得到输出结果：
y＝ωh+b1
其中h表示隐藏层的输出，ω表示连接权值；b1表示偏置；
自注意力机制的本质思想可假设为通过计算每一个查询项和各个键的相关性得到每个键的对应值的权重系数，然后将权重与对应的键值进行加权求和，在语音信号由Bi-LSTM和卷积神经网络输入后，计算每一帧的权重数值。
利用类似SoftMax函数将上述得到的结果进行归一化处理：
ai表示预测的情绪种类的概率值,Lx表示对应的数据源长度。
将权重系数和相应的键值做加权求和，从而得到最后的注意力数值。
将注意力机制计算得出的权重值与输入矩阵H相乘的结果输入到全连接层，进行分类输出。
A＝softmax(g(HTW1)W2)
式中W1、W2表示实验中人为调试的最合适的参数矩阵；H表示由Bi-LSTM和卷积神经网络提取出的输入矩阵。
步骤六中所述的将两种分类器输出的情绪种类概率通过D-S证据理论进行融合，获得最终的驾驶员的情绪识别结果，D-S证据理论对于相互独立的不同证据源有不同的基本概率分配函数。具体合成规则如下：
式中，m1(A)表示随机森林分类器对命题A的支持程度，即基本概率数；m2(A)表示SoftMax分类器对命题A的支持程度；
K表示归一化常数：
式中，A表示合成后输出结果。B表示随机森林分类器输出的结果。C表示SoftMax分类器输出结果。通过D-S证据理论对上述两种分类器进行决策融合，输出最终的驾驶员情绪识别结果。
Claims (8)
1.基于语音全局声学特征和局部频谱特征的情绪识别方法，其特征是：包括以下步骤，且以下步骤顺次进行：
步骤一、采用车载语音收集设备实时采集驾驶员的原始音频，通过音频降噪模块与音频切割模块对原始音频进行语音降噪、语音切割，获得用于模型输入的目标音频；
步骤二、将所述步骤一获得的目标音频进行预处理，包括对目标音频进行预加重、分帧加窗以及端点检测；
步骤三、对预处理后的目标音频进行特征提取，提取全局声学特征和局部频谱特征；
步骤四、将提取的全局声学特征进行拼接融合，特征降维后，利用随机森林算法进行情绪识别，输出情绪种类的概率；
步骤五、将提取的局部频谱特征输入到融合注意力机制的Bi-LSTM双向长短时记忆网络和卷积神经网络模型中，利用SoftMax分离器输出情绪种类的概率；
步骤六、将随机森林分类器和SoftMax分离器输出的情绪种类的概率利用D-S证据理论进行决策融合，输出驾驶员的最终情绪状态。
2.根据权利要求1所述的基于语音全局声学特征和局部频谱特征的情绪识别方法，其特征是：所述步骤一音频降噪模块采用小波变换法去除语音信号中的环境噪声，保留原始语音。
3.根据权利要求1所述的基于语音全局声学特征和局部频谱特征的情绪识别方法，其特征是：所述步骤一音频切割模块采用2s窗口截断整个语音，将其划分为一系列的音频片段，并在每个子段之间设置1s重叠，不足2s的音频用零填充。
4.根据权利要求1所述的基于语音全局声学特征和局部频谱特征的情绪识别方法，其特征是：所述步骤二采用一阶FIR高通数字滤波器实现目标音频预加重；采用可移动的有限长度窗口进行加权的方法实现分帧加窗；采用基于短时能量STE和短时平均过零率ZCR双门限法进行语音信号的端点检测。
5.根据权利要求1所述的基于语音全局声学特征和局部频谱特征的情绪识别方法，其特征是：所述步骤三全局声学特征包括：MFCC系数、共振峰参数、短时平均能量、短时平均过零率以及基频。
6.根据权利要求1所述的基于语音全局声学特征和局部频谱特征的情绪识别方法，其特征是：所述步骤四随机森林模型将数据集划分为训练集和测试集，通过交叉验证依次选择随机森林的criterion参数、决策树的个数、决策树的最大深度、分割内部节点所需要的最小样本数、每棵树用到的最大特征数，对所获得的参数附近进行小范围网格搜索，排除各个参数之间的相互影响，得到最优的模型参数组合；构建高识别性能的基于语音的全局声学特征与局部频谱特征融合的驾驶员情绪识别模型，模型输出驾驶员的情绪种类概率。
7.根据权利要求1所述的基于语音全局声学特征和局部频谱特征的情绪识别方法，其特征是：所述步骤五提取的局部频谱特征为对数梅尔频谱图，作为Bi-LSTM的输入层，将图像解析为输入张量矩阵。
8.根据权利要求1所述的基于语音全局声学特征和局部频谱特征的情绪识别方法，其特征是：所述步骤六D-S证据理论进行决策融合的规则为：
式中，m1(A)表示随机森林分类器对命题A的支持程度，即基本概率数；m2(A)表示SoftMax分类器对命题A的支持程度；
K表示归一化常数：
式中，A表示合成后输出结果，B表示随机森林分类器输出的结果，C表示SoftMax分类器输出结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311499423.8A CN117457031A (zh) | 2023-11-13 | 2023-11-13 | 基于语音全局声学特征和局部频谱特征的情绪识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311499423.8A CN117457031A (zh) | 2023-11-13 | 2023-11-13 | 基于语音全局声学特征和局部频谱特征的情绪识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117457031A true CN117457031A (zh) | 2024-01-26 |
Family
ID=89596474
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311499423.8A Pending CN117457031A (zh) | 2023-11-13 | 2023-11-13 | 基于语音全局声学特征和局部频谱特征的情绪识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117457031A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117975994A (zh) * | 2024-04-01 | 2024-05-03 | 华南师范大学 | 嗓音数据的质量分类方法、装置以及计算机设备 |
-
2023
- 2023-11-13 CN CN202311499423.8A patent/CN117457031A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117975994A (zh) * | 2024-04-01 | 2024-05-03 | 华南师范大学 | 嗓音数据的质量分类方法、装置以及计算机设备 |
| CN117975994B (zh) * | 2024-04-01 | 2024-06-11 | 华南师范大学 | 嗓音数据的质量分类方法、装置以及计算机设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Alim et al. | Some commonly used speech feature extraction algorithms | |
| Basu et al. | A review on emotion recognition using speech | |
| CN111724770B (zh) | 一种基于深度卷积生成对抗网络的音频关键词识别方法 | |
| CN110310666B (zh) | 一种基于se卷积网络的乐器识别方法及*** | |
| US20080167862A1 (en) | Pitch Dependent Speech Recognition Engine | |
| CN110942766A (zh) | 音频事件检测方法、***、移动终端及存储介质 | |
| CN108320735A (zh) | 一种多数据融合的情感识别方法及*** | |
| CN117457031A (zh) | 基于语音全局声学特征和局部频谱特征的情绪识别方法 | |
| Srinivasan et al. | Classification of Normal and Pathological Voice using GA and SVM | |
| Rahman et al. | Dynamic time warping assisted svm classifier for bangla speech recognition | |
| CN113571095B (zh) | 基于嵌套深度神经网络的语音情感识别方法和*** | |
| Reddy et al. | End-to-end pathological speech detection using wavelet scattering network | |
| CN111785262B (zh) | 一种基于残差网络及融合特征的说话人年龄性别分类方法 | |
| Ding et al. | Acoustic scene classification based on ensemble system | |
| Pitsikalis et al. | Filtered dynamics and fractal dimensions for noisy speech recognition | |
| Sunija et al. | Comparative study of different classifiers for Malayalam dialect recognition system | |
| Kamble et al. | Emotion recognition for instantaneous Marathi spoken words | |
| Prakash et al. | Analysis of emotion recognition system through speech signal using KNN & GMM classifier | |
| CN115346514A (zh) | 一种面向智能驾驶测评的音频预警智能识别方法 | |
| Tawaqal et al. | Recognizing five major dialects in Indonesia based on MFCC and DRNN | |
| Khanum et al. | Speech based gender identification using feed forward neural networks | |
| CN112735477B (zh) | 语音情感分析方法和装置 | |
| Shanmugapriya et al. | Deep neural network based speaker verification system using features from glottal activity regions | |
| Gomathy et al. | Gender clustering and classification algorithms in speech processing: a comprehensive performance analysis | |
| CN113129926A (zh) | 语音情绪识别模型训练方法、语音情绪识别方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |