JP7271827B2 - 音声感情予測方法及びシステム - Google Patents
音声感情予測方法及びシステム Download PDFInfo
- Publication number
- JP7271827B2 JP7271827B2 JP2021152163A JP2021152163A JP7271827B2 JP 7271827 B2 JP7271827 B2 JP 7271827B2 JP 2021152163 A JP2021152163 A JP 2021152163A JP 2021152163 A JP2021152163 A JP 2021152163A JP 7271827 B2 JP7271827 B2 JP 7271827B2
- Authority
- JP
- Japan
- Prior art keywords
- emotion
- prediction
- vector
- value
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008451 emotion Effects 0.000 title claims description 125
- 238000000034 method Methods 0.000 title description 20
- 239000013598 vector Substances 0.000 claims description 105
- 230000002996 emotional effect Effects 0.000 claims description 30
- 238000010200 validation analysis Methods 0.000 claims description 24
- 238000012549 training Methods 0.000 claims description 22
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000013480 data collection Methods 0.000 claims description 2
- 230000008909 emotion recognition Effects 0.000 description 9
- 238000012360 testing method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 230000005236 sound signal Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Description
データセットをトレーニングセットと検証セットに分割するステップと、
トレーニングセットに従って、それぞれM個の異なるタイプの分類器モデルをトレーニングして、各分類器モデルに対応する予測モデルを取得するステップと、
検証セットによれば、各予測モデルの混同行列をそれぞれ得て、かつm番目の予測モデルの混同行列に従って、m番目の予測モデルに対応するF1値ベクトルを決定し、m番目のF1値ベクトルを、m∈[1、M]として記録するステップと、
予測待ちの感情音声信号セットを、それぞれ各予測モデルに入力し、m番目の予測モデルによって出力された感情予測タイプは、感情予測ベクトルを構成し、これを、m番目の感情予測ベクトルとして記録するステップと、
m番目のF1値ベクトルにおけるn番目のF1値にm番目の感情予測ベクトルにおけるn番目の予測値を乗算すると、各乗算の結果がm番目の積ベクトルになり、n番目のF1値に対応する感情タイプは、n番目の予測値に対応する感情タイプと同じであり、n∈[1、N]、Nは感情タイプの数を表すステップと、
それぞれ、各積ベクトルにおけるn番目の乗算結果を加算してn番目の加算結果を取得し、各加算結果が和ベクトルを構成するステップと、
和ベクトル内の要素の最大値に対応する感情タイプを予測された感情タイプとして決定するステップと、を含む音声感情の予測方法。
感情音声データセットを収集し、データセットの各サンプルは、感情音声信号と、感情音声信号に対応する感情タイプを含み、
感情タイプは、中立、喜び、怒り、悲しみ、驚き、および恐れを含み、中立(Neutral)は感情がないことを意味するステップ101と、
データセットをトレーニングセットと検証セットに分割するステップ102と、
トレーニングセットに従って、それぞれM個の異なるタイプの分類器モデルをトレーニングして、各分類器モデルに対応する予測モデルを取得するステップ103と、
検証セットによれば、各予測モデルの混同行列をそれぞれ得て、かつm番目の予測モデルの混同行列に従って、m番目の予測モデルに対応するF1値ベクトルを決定し、m番目のF1値ベクトル、m∈[1、M]として記録するステップ104と、
予測待ちの感情音声信号セットを、それぞれ各予測モデルに入力し、m番目の予測モデルによって出力された感情予測タイプは、感情予測ベクトルを構成し、これを、m番目の感情予測ベクトルとして記録するステップ105と、
m番目のF1値ベクトルにおけるn番目のF1値にm番目の感情予測ベクトルにおけるn番目の予測値を乗算すると、各乗算の結果がm番目の積ベクトルになり、n番目のF1値に対応する感情タイプは、n番目の予測値に対応する感情タイプと同じであり、n∈[1、N]、Nは感情タイプの数を表すステップ106と、
それぞれ、各積ベクトルにおけるn番目の乗算結果を加算してn番目の加算結果を取得し、各加算結果が和ベクトルを構成するステップ107と、
和ベクトル内の要素の最大値に対応する感情タイプを予測された感情タイプとして決定するステップ108と、を含む。
感情音声データセットを収集し、データセットの各サンプルは、感情音声信号と、感情音声信号に対応する感情タイプを含むステップと、
データセットをトレーニングセットと検証セットに分割するステップと、
トレーニングセットに従って、それぞれ第1分類器モデル、第2分類器モデル、および第3分類器モデルをトレーニングして、第1予測モデル、第2予測モデル、および第3予測モデルを取得し、第1分類器モデル、第2分類器モデル及び第3分類器モデルは異なるタイプの分類器であるステップと、
検証セットによれば、第1予測モデルの混同行列、第2予測モデルの混同行列、および第3予測モデルの混同行列をそれぞれ得て、第1予測モデルの混同行列に従ってF1値ベクトルを決定し、それを第1のF1値ベクトルとして記録し、第2予測モデルの混同行列に従ってF1値ベクトルを決定し、それを第2のF1値ベクトルとして記録し、第3予測モデルの混同行列に従ってF1値ベクトルを決定し、それを第3のF1値ベクトルとして記録するステップと、
予測待ちの感情音声信号セットを、それぞれ第1の予測モデル、第2の予測モデル、および第3の予測モデルに入力し、第1の予測モデルによって出力される感情予測タイプは、第1の感情予測ベクトルを構成し、第2の予測モデルによって出力される感情予測タイプは、第2の感情予測ベクトルを構成し、第3の感情予測タイプによって出力される感情予測タイプは、第3の感情予測ベクトルを構成するステップと、
第1のF1値ベクトルにおけるn番目のF1値に、第1の感情予測ベクトルにおけるn番目の予測値を乗算すると、各乗算結果が第1の積ベクトルを構成し、第2のF1値ベクトルにおけるn番目のF1値に、第2の感情予測ベクトルにおけるn番目の予測値を乗算すると、各乗算結果が第2の積ベクトルを構成し、第3のF1値ベクトルにおけるn番目のF1値に、第3の感情予測ベクトルにおけるn番目の予測値を乗算すると、各乗算結果が第3の積ベクトルを構成し、n番目のF1値に対応する感情タイプは、n番目の予測値に対応する感情タイプと同じであるステップと、
第1の積ベクトルにおけるn番目の乗算結果、第2の積ベクトルにおけるn番目の乗算結果、および第3の積ベクトルにおけるn番目の乗算結果を加算し、各加算結果は和ベクトルを構成するステップと、
和ベクトル内の要素の最大値に対応する感情タイプを予測された感情タイプとして決定するステップと、を含む。
トレーニングセットの感情音声から強化されたメルスペクトログラムを抽出し、VGG、ResNet、Xceptionの3つの基本的な分類ネットワークモデルをそれぞれトレーニングし、VGGモデル(VGG分類ネットワークモデル)、ResNetモデル(ResNet分類ネットワークモデル)、およびXception(Xception分類ネットワークモデル)モデルに対応する予測モデルを取得し、
VGGモデルの構造を図3に、ResNetモデルの構造を図4に、Xceptionモデルの構造を図5に示したStep1と、
検証セットの感情音声から、強化されたメルスペクトログラムを抽出し、Step1でトレーニングされたVGG、ResNet、Xceptionの3つの基本的な分類器ネットワークモデルの入力として使用され、各予測モデルによって出力された検証セットの音声感情混同行列に従って、各基本分類器ネットワークモデルの下での検証セット音声のさまざまな感情のF1値ベクトルを取得したStep2と、
テストセットの感情音声から強化されたメルスペクトログラムを抽出し、それぞれStep1でトレーニングされたVGG、ResNet、Xceptionの3つの基本的な分類ネットワークモデルの入力とし、それぞれ異なるモデルのテストサンプルの感情予測ベクトルを取得し、次に各予測モデルの感情予測ベクトルと、Step2で取得された検証セットの各予測モデルでのF1値ベクトルに対してドット積演算を実行し、次に各予測モデルのドット積ベクトルを加算して和ベクトルを取得し、和ベクトル内の要素の最大値に対応する感情は、テスト音声の認識感情であった。ここで、其中,ドット積演算は、感情予測ベクトルのn番目の予測値にF1値ベクトルのn番目のF1値を乗算することを指し、n番目のF1値に対応する感情タイプは、n番目の予測値に対応する感情タイプと同じであったStep3と、を含む。
ここで、Nは、感情の種類の数を示し、EVggは、第1の予測モデル(VGG予測モデル)によって出力された感情予測ベクトル、
EResは、第2の予測モデル(ResNet予測モデル)によって出力された感情予測ベクトル、
EXceは、第3の予測モデル(Xception予測モデル)によって出力された感情予測ベクトル、
F1Vggは、検証セットに従って第1の予測モデルによって取得されたF1値ベクトル、
F1Resは、検証セットに従って第2の予測モデルによって取得されたF1値ベクトル、
F1Xceは、検証セットに従って第3の予測モデルによって取得されたF1値ベクトル、
VVggは、第1の予測モデルによって対応するドット積ベクトル、VResは、第2の予測モデルに対応するドット積ベクトル、VXceは、第3の予測モデルに対応するドット積ベクトルであった。
S=VXce+VRes+VXce(10)
ベクトルSに含まれる要素の数はN個であり、N個の要素の最大値要素に対応する感情は、テスト音声の認識感情であった。
感情音声データセットを収集するために使用され、データセットの各サンプルは、感情音声信号と、感情音声信号に対応する感情タイプを含むデータ収集モジュール201と、
データセットをトレーニングセットと検証セットに分割するために使用されるデータセット分割モジュール202と、
トレーニングセットに従って、それぞれM個の異なるタイプの分類器モデルをトレーニングして、各分類器モデルに対応する予測モデルを取得するために使用されるモデルトレーニングモジュール203と、
検証セットによれば、各予測モデルの混同行列をそれぞれ得て、かつm番目の予測モデルの混同行列に従って、m番目の予測モデルに対応するF1値ベクトルを決定し、m番目のF1値ベクトルとして記録するために使用されるF1値ベクトル決定モジュール204と、
予測待ちの感情音声信号セットを、それぞれ各予測モデルに入力するために使用され、m番目の予測モデルによって出力された感情予測タイプは、感情予測ベクトルを構成し、これを、m番目の感情予測ベクトルとして記録する感情予測ベクトル出力モジュール205と、
m番目のF1値ベクトルにおけるn番目のF1値にm番目の感情予測ベクトルにおけるn番目の予測値を乗算すると、各乗算の結果がm番目の積ベクトルになり、n番目のF1値に対応する感情タイプは、n番目の予測値に対応する感情タイプと同じであるために使用されるF1値ベクトルと感情予測ベクトルの乗算モジュール206と、
それぞれ、各積ベクトルにおけるn番目の乗算結果を加算してn番目の加算結果を取得し、各加算結果が和ベクトルを構成するために使用される和ベクトル決定モジュール207と、
和ベクトル内の要素の最大値に対応する感情タイプを予測された感情タイプとして決定するために使用される感情タイプ決定モジュールと、を含む。
Claims (5)
- 感情音声データセットを収集するために使用され、前記データセットの各サンプルは、感
情音声信号と、感情音声信号に対応する感情タイプを含むデータ収集モジュールと、
前記データセットをトレーニングセットと検証セットに分割するために使用されるデータ
セット分割モジュールと、
前記トレーニングセットに従って、それぞれM個の異なるタイプの分類器モデルをトレー
ニングして、各分類器モデルに対応する予測モデルを取得するために使用されるモデルト
レーニングモジュールと、
前記検証セットによれば、各予測モデルの混同行列をそれぞれ得て、かつm番目の予測モ
デルの混同行列に従って、m番目の予測モデルに対応するF1値ベクトルを決定し、m番
目のF1値ベクトルm∈[1,M]として記録するために使用されるF1値ベクトル決定
モジュールと、
予測待ちの感情音声信号セットを、それぞれ各予測モデルに入力するために使用され、m
番目の予測モデルによって出力された感情予測タイプは、感情予測ベクトルを構成し、こ
れを、m番目の感情予測ベクトルとして記録する感情予測ベクトル出力モジュールと、
m番目のF1値ベクトルにおけるn番目のF1値にm番目の感情予測ベクトルにおけるn
番目の予測値を乗算すると、各乗算の結果がm番目の積ベクトルになり、n番目のF1値
に対応する感情タイプは、n番目の予測値に対応する感情タイプと同じであり、n∈[1
、N]、Nは感情タイプの数を表すために使用されるF1値ベクトルと感情予測ベクトル
乗算モジュールと、
それぞれ、各積ベクトルにおけるn番目の乗算結果を加算してn番目の加算結果を取得し
、各加算結果が和ベクトルを構成するために使用される和ベクトル決定モジュールと、
前記和ベクトル内の要素の最大値に対応する感情タイプを予測された感情タイプとして決
定するために使用される感情タイプ決定モジュールと、を含むことを特徴とする音声感情
予測システム。 - M値は3であり、分類器モデルの3つの異なるタイプは、それぞれVGGモデル、Res
Netモデル、およびXceptionモデルであることを特徴とする請求項1に記載の
音声感情予測システム。 - 前記トレーニングセットにおける感情音声信号と前記検証セットにおける感情音声信号は
、どちらも強化されたメルスペクトログラムであることを特徴とする請求項1に記載の音
声感情予測システム。 - 前記予測待ちの感情音声信号セットにおける感情音声信号は、強化されたメルスペクトロ
グラムであることを特徴とする請求項1に記載の音声感情予測システム。 - 前記強化されたメルスペクトログラムは、自然対数から変換した、強化関数として強化さ
れたメルスペクトログラムであることを特徴とする請求項4に記載の音声感情予測システ
ム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021152163A JP7271827B2 (ja) | 2021-09-17 | 2021-09-17 | 音声感情予測方法及びシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021152163A JP7271827B2 (ja) | 2021-09-17 | 2021-09-17 | 音声感情予測方法及びシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023044240A JP2023044240A (ja) | 2023-03-30 |
JP7271827B2 true JP7271827B2 (ja) | 2023-05-12 |
Family
ID=85725690
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021152163A Active JP7271827B2 (ja) | 2021-09-17 | 2021-09-17 | 音声感情予測方法及びシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7271827B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013161298A (ja) | 2012-02-06 | 2013-08-19 | Nippon Steel & Sumitomo Metal | 分類器作成装置、分類器作成方法、及びコンピュータプログラム |
JP2015069231A (ja) | 2013-09-26 | 2015-04-13 | Kddi株式会社 | キャラクタ生成装置およびプログラム |
WO2019155523A1 (ja) | 2018-02-06 | 2019-08-15 | 日本電気株式会社 | 分類器形成装置、分類器形成方法、及びプログラムを格納する非一時的なコンピュータ可読媒体 |
JP2020004137A (ja) | 2018-06-28 | 2020-01-09 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | 評価装置、評価方法および評価プログラム |
-
2021
- 2021-09-17 JP JP2021152163A patent/JP7271827B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013161298A (ja) | 2012-02-06 | 2013-08-19 | Nippon Steel & Sumitomo Metal | 分類器作成装置、分類器作成方法、及びコンピュータプログラム |
JP2015069231A (ja) | 2013-09-26 | 2015-04-13 | Kddi株式会社 | キャラクタ生成装置およびプログラム |
WO2019155523A1 (ja) | 2018-02-06 | 2019-08-15 | 日本電気株式会社 | 分類器形成装置、分類器形成方法、及びプログラムを格納する非一時的なコンピュータ可読媒体 |
JP2020004137A (ja) | 2018-06-28 | 2020-01-09 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | 評価装置、評価方法および評価プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2023044240A (ja) | 2023-03-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106919646B (zh) | 中文文本摘要生成***及方法 | |
CN110782872A (zh) | 基于深度卷积循环神经网络的语种识别方法及装置 | |
JP2764277B2 (ja) | 音声認識装置 | |
CN109829058A (zh) | 一种基于多任务学习提高方言识别准确率的分类识别方法 | |
CN108388926A (zh) | 语音交互满意度的确定方法及设备 | |
CN105427858A (zh) | 实现语音自动分类的方法及*** | |
Wang et al. | Speech emotion recognition based on multi‐feature and multi‐lingual fusion | |
Barker et al. | The CHiME challenges: Robust speech recognition in everyday environments | |
CN114579743A (zh) | 基于注意力的文本分类方法、装置及计算机可读介质 | |
Arla et al. | Multiclass spoken language identification for Indian Languages using deep learning | |
Mohmmad et al. | Tree cutting sound detection using deep learning techniques based on mel spectrogram and MFCC features | |
CN116612541A (zh) | 一种多模态情感识别方法、装置及存储介质 | |
Krishna et al. | Language independent gender identification from raw waveform using multi-scale convolutional neural networks | |
Liu et al. | Time-frequency attention for speech emotion recognition with squeeze-and-excitation blocks | |
CN110390929A (zh) | 基于cdnn-hmm的中英文民航陆空通话声学模型构建方法 | |
JP7271827B2 (ja) | 音声感情予測方法及びシステム | |
Dua et al. | Gujarati language automatic speech recognition using integrated feature extraction and hybrid acoustic model | |
Wan | Research on speech separation and recognition algorithm based on deep learning | |
CN113823271B (zh) | 语音分类模型的训练方法、装置、计算机设备及存储介质 | |
Lichouri et al. | Toward building another arabic voice command dataset for multiple speech processing tasks | |
Pragati et al. | Evaluation of Customer Care Executives Using Speech Emotion Recognition | |
Wu et al. | Cm-tcn: channel-aware multi-scale temporal convolutional networks for speech emotion recognition | |
Pavithra | Recurrent Neural Network Based Speech emotion detection using Deep Learning | |
Hatem et al. | Human Speaker Recognition Based Database Method | |
Ahamed et al. | Emotion Detection using Speech and Face in Deep Learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210917 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221230 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20221230 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230114 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230316 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230331 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7271827 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |