JP7271827B2 - 音声感情予測方法及びシステム - Google Patents
音声感情予測方法及びシステム Download PDFInfo
- Publication number
- JP7271827B2 JP7271827B2 JP2021152163A JP2021152163A JP7271827B2 JP 7271827 B2 JP7271827 B2 JP 7271827B2 JP 2021152163 A JP2021152163 A JP 2021152163A JP 2021152163 A JP2021152163 A JP 2021152163A JP 7271827 B2 JP7271827 B2 JP 7271827B2
- Authority
- JP
- Japan
- Prior art keywords
- emotion
- prediction
- vector
- value
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008451 emotion Effects 0.000 title claims description 125
- 238000000034 method Methods 0.000 title description 20
- 239000013598 vector Substances 0.000 claims description 105
- 230000002996 emotional effect Effects 0.000 claims description 30
- 238000010200 validation analysis Methods 0.000 claims description 24
- 238000012549 training Methods 0.000 claims description 22
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000013480 data collection Methods 0.000 claims description 2
- 230000008909 emotion recognition Effects 0.000 description 9
- 238000012360 testing method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 230000005236 sound signal Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Description
本発明は、信号処理の技術分野、特に音声感情予測方法及びシステムに関する。
コンピュータは現代人の仕事や生活に欠かせないものになり、ますます重要な役割を果たしているため、人々は一般に、人間とコンピュータの相互作用が人間同士のコミュニケーションと同じくらい親切で自然で感情的なものになることを望んでいる。この目的を達成するために、音声感情認識は研究者の注目を集めている。現在、音声感情認識は、主に２つのカテゴリに分類される。１つは、従来の機械学習方法に基づき、音声感情を表すことができる効果的な特徴を抽出して分類器と組み合わせることによって認識される。もう１つは、深層学習に基づく音声感情認識方法である。これは、最初のタイプの方法よりもパフォーマンスが優れたエンドツーエンドの方法である。ただし、どの深層学習モデルを音声感情認識に使用しても、各モデルには独自の欠点があるため、単一のモデルで効果的な感情的特徴情報を包括的に学習することは困難である。
本発明は、音声感情認識の精度を向上させる音声感情予測方法及びシステムを提供することを目的とする。
上記の目的を達成するために、本発明は以下の解決手段を提供する。
感情音声データセットを収集し、データセットの各サンプルは、感情音声信号と、感情音声信号に対応する感情タイプを含むステップと、
データセットをトレーニングセットと検証セットに分割するステップと、
トレーニングセットに従って、それぞれＭ個の異なるタイプの分類器モデルをトレーニングして、各分類器モデルに対応する予測モデルを取得するステップと、
検証セットによれば、各予測モデルの混同行列をそれぞれ得て、かつｍ番目の予測モデルの混同行列に従って、ｍ番目の予測モデルに対応するＦ１値ベクトルを決定し、ｍ番目のＦ１値ベクトルを、ｍ∈［１、Ｍ］として記録するステップと、
予測待ちの感情音声信号セットを、それぞれ各予測モデルに入力し、ｍ番目の予測モデルによって出力された感情予測タイプは、感情予測ベクトルを構成し、これを、ｍ番目の感情予測ベクトルとして記録するステップと、
ｍ番目のＦ１値ベクトルにおけるｎ番目のＦ１値にｍ番目の感情予測ベクトルにおけるｎ番目の予測値を乗算すると、各乗算の結果がｍ番目の積ベクトルになり、ｎ番目のＦ１値に対応する感情タイプは、ｎ番目の予測値に対応する感情タイプと同じであり、ｎ∈［１、Ｎ］、Ｎは感情タイプの数を表すステップと、
それぞれ、各積ベクトルにおけるｎ番目の乗算結果を加算してｎ番目の加算結果を取得し、各加算結果が和ベクトルを構成するステップと、
和ベクトル内の要素の最大値に対応する感情タイプを予測された感情タイプとして決定するステップと、を含む音声感情の予測方法。
データセットをトレーニングセットと検証セットに分割するステップと、
トレーニングセットに従って、それぞれＭ個の異なるタイプの分類器モデルをトレーニングして、各分類器モデルに対応する予測モデルを取得するステップと、
検証セットによれば、各予測モデルの混同行列をそれぞれ得て、かつｍ番目の予測モデルの混同行列に従って、ｍ番目の予測モデルに対応するＦ１値ベクトルを決定し、ｍ番目のＦ１値ベクトルを、ｍ∈［１、Ｍ］として記録するステップと、
予測待ちの感情音声信号セットを、それぞれ各予測モデルに入力し、ｍ番目の予測モデルによって出力された感情予測タイプは、感情予測ベクトルを構成し、これを、ｍ番目の感情予測ベクトルとして記録するステップと、
ｍ番目のＦ１値ベクトルにおけるｎ番目のＦ１値にｍ番目の感情予測ベクトルにおけるｎ番目の予測値を乗算すると、各乗算の結果がｍ番目の積ベクトルになり、ｎ番目のＦ１値に対応する感情タイプは、ｎ番目の予測値に対応する感情タイプと同じであり、ｎ∈［１、Ｎ］、Ｎは感情タイプの数を表すステップと、
それぞれ、各積ベクトルにおけるｎ番目の乗算結果を加算してｎ番目の加算結果を取得し、各加算結果が和ベクトルを構成するステップと、
和ベクトル内の要素の最大値に対応する感情タイプを予測された感情タイプとして決定するステップと、を含む音声感情の予測方法。
本発明によって提供される具体的な実施例によれば、本発明は、以下の技術的効果を開示する。
本発明は、トレーニングセットに従ってそれぞれ異なる分類器モデルをトレーニングし、次に検証セットからそれぞれ各予測モデルのＦ１値ベクトルを取得し、それに対応して、Ｆ１値ベクトルのＦ１値を感情予測ベクトルの予測値と乗算する。最後に、各積ベクトルの各対応する乗算結果を加算して情報融合を実現し、異なる分類器の認識結果を融合することにより、音声感情認識の精度が向上する。
本発明は、音声感情認識の精度を向上させる音声感情の予測方法及びシステムを提供することを目的とする。
本発明の上記目的、特徴及び利点をより顕著で分かりやすくするために、以下に図面及び発明を実施するための形態を参照しながら本発明をさらに詳しく説明する。
図１に示すように、音声感情予測方法は、
感情音声データセットを収集し、データセットの各サンプルは、感情音声信号と、感情音声信号に対応する感情タイプを含み、
感情タイプは、中立、喜び、怒り、悲しみ、驚き、および恐れを含み、中立（Ｎｅｕｔｒａｌ）は感情がないことを意味するステップ１０１と、
データセットをトレーニングセットと検証セットに分割するステップ１０２と、
トレーニングセットに従って、それぞれＭ個の異なるタイプの分類器モデルをトレーニングして、各分類器モデルに対応する予測モデルを取得するステップ１０３と、
検証セットによれば、各予測モデルの混同行列をそれぞれ得て、かつｍ番目の予測モデルの混同行列に従って、ｍ番目の予測モデルに対応するＦ１値ベクトルを決定し、ｍ番目のＦ１値ベクトル、ｍ∈［１、Ｍ］として記録するステップ１０４と、
予測待ちの感情音声信号セットを、それぞれ各予測モデルに入力し、ｍ番目の予測モデルによって出力された感情予測タイプは、感情予測ベクトルを構成し、これを、ｍ番目の感情予測ベクトルとして記録するステップ１０５と、
ｍ番目のＦ１値ベクトルにおけるｎ番目のＦ１値にｍ番目の感情予測ベクトルにおけるｎ番目の予測値を乗算すると、各乗算の結果がｍ番目の積ベクトルになり、ｎ番目のＦ１値に対応する感情タイプは、ｎ番目の予測値に対応する感情タイプと同じであり、ｎ∈［１、Ｎ］、Ｎは感情タイプの数を表すステップ１０６と、
それぞれ、各積ベクトルにおけるｎ番目の乗算結果を加算してｎ番目の加算結果を取得し、各加算結果が和ベクトルを構成するステップ１０７と、
和ベクトル内の要素の最大値に対応する感情タイプを予測された感情タイプとして決定するステップ１０８と、を含む。
感情音声データセットを収集し、データセットの各サンプルは、感情音声信号と、感情音声信号に対応する感情タイプを含み、
感情タイプは、中立、喜び、怒り、悲しみ、驚き、および恐れを含み、中立（Ｎｅｕｔｒａｌ）は感情がないことを意味するステップ１０１と、
データセットをトレーニングセットと検証セットに分割するステップ１０２と、
トレーニングセットに従って、それぞれＭ個の異なるタイプの分類器モデルをトレーニングして、各分類器モデルに対応する予測モデルを取得するステップ１０３と、
検証セットによれば、各予測モデルの混同行列をそれぞれ得て、かつｍ番目の予測モデルの混同行列に従って、ｍ番目の予測モデルに対応するＦ１値ベクトルを決定し、ｍ番目のＦ１値ベクトル、ｍ∈［１、Ｍ］として記録するステップ１０４と、
予測待ちの感情音声信号セットを、それぞれ各予測モデルに入力し、ｍ番目の予測モデルによって出力された感情予測タイプは、感情予測ベクトルを構成し、これを、ｍ番目の感情予測ベクトルとして記録するステップ１０５と、
ｍ番目のＦ１値ベクトルにおけるｎ番目のＦ１値にｍ番目の感情予測ベクトルにおけるｎ番目の予測値を乗算すると、各乗算の結果がｍ番目の積ベクトルになり、ｎ番目のＦ１値に対応する感情タイプは、ｎ番目の予測値に対応する感情タイプと同じであり、ｎ∈［１、Ｎ］、Ｎは感情タイプの数を表すステップ１０６と、
それぞれ、各積ベクトルにおけるｎ番目の乗算結果を加算してｎ番目の加算結果を取得し、各加算結果が和ベクトルを構成するステップ１０７と、
和ベクトル内の要素の最大値に対応する感情タイプを予測された感情タイプとして決定するステップ１０８と、を含む。
Ｍ値は３であり、分類器モデルの３つの異なるタイプは、それぞれＶＧＧモデル、ＲｅｓＮｅｔモデル、およびＸｃｅｐｔｉｏｎモデルである。
Ｍ値が３の場合、音声感情予測法は具体的に、
感情音声データセットを収集し、データセットの各サンプルは、感情音声信号と、感情音声信号に対応する感情タイプを含むステップと、
データセットをトレーニングセットと検証セットに分割するステップと、
トレーニングセットに従って、それぞれ第１分類器モデル、第２分類器モデル、および第３分類器モデルをトレーニングして、第１予測モデル、第２予測モデル、および第３予測モデルを取得し、第１分類器モデル、第２分類器モデル及び第３分類器モデルは異なるタイプの分類器であるステップと、
検証セットによれば、第１予測モデルの混同行列、第２予測モデルの混同行列、および第３予測モデルの混同行列をそれぞれ得て、第１予測モデルの混同行列に従ってＦ１値ベクトルを決定し、それを第１のＦ１値ベクトルとして記録し、第２予測モデルの混同行列に従ってＦ１値ベクトルを決定し、それを第２のＦ１値ベクトルとして記録し、第３予測モデルの混同行列に従ってＦ１値ベクトルを決定し、それを第３のＦ１値ベクトルとして記録するステップと、
予測待ちの感情音声信号セットを、それぞれ第１の予測モデル、第２の予測モデル、および第３の予測モデルに入力し、第１の予測モデルによって出力される感情予測タイプは、第１の感情予測ベクトルを構成し、第２の予測モデルによって出力される感情予測タイプは、第２の感情予測ベクトルを構成し、第３の感情予測タイプによって出力される感情予測タイプは、第３の感情予測ベクトルを構成するステップと、
第１のＦ１値ベクトルにおけるｎ番目のＦ１値に、第１の感情予測ベクトルにおけるｎ番目の予測値を乗算すると、各乗算結果が第１の積ベクトルを構成し、第２のＦ１値ベクトルにおけるｎ番目のＦ１値に、第２の感情予測ベクトルにおけるｎ番目の予測値を乗算すると、各乗算結果が第２の積ベクトルを構成し、第３のＦ１値ベクトルにおけるｎ番目のＦ１値に、第３の感情予測ベクトルにおけるｎ番目の予測値を乗算すると、各乗算結果が第３の積ベクトルを構成し、ｎ番目のＦ１値に対応する感情タイプは、ｎ番目の予測値に対応する感情タイプと同じであるステップと、
第１の積ベクトルにおけるｎ番目の乗算結果、第２の積ベクトルにおけるｎ番目の乗算結果、および第３の積ベクトルにおけるｎ番目の乗算結果を加算し、各加算結果は和ベクトルを構成するステップと、
和ベクトル内の要素の最大値に対応する感情タイプを予測された感情タイプとして決定するステップと、を含む。
感情音声データセットを収集し、データセットの各サンプルは、感情音声信号と、感情音声信号に対応する感情タイプを含むステップと、
データセットをトレーニングセットと検証セットに分割するステップと、
トレーニングセットに従って、それぞれ第１分類器モデル、第２分類器モデル、および第３分類器モデルをトレーニングして、第１予測モデル、第２予測モデル、および第３予測モデルを取得し、第１分類器モデル、第２分類器モデル及び第３分類器モデルは異なるタイプの分類器であるステップと、
検証セットによれば、第１予測モデルの混同行列、第２予測モデルの混同行列、および第３予測モデルの混同行列をそれぞれ得て、第１予測モデルの混同行列に従ってＦ１値ベクトルを決定し、それを第１のＦ１値ベクトルとして記録し、第２予測モデルの混同行列に従ってＦ１値ベクトルを決定し、それを第２のＦ１値ベクトルとして記録し、第３予測モデルの混同行列に従ってＦ１値ベクトルを決定し、それを第３のＦ１値ベクトルとして記録するステップと、
予測待ちの感情音声信号セットを、それぞれ第１の予測モデル、第２の予測モデル、および第３の予測モデルに入力し、第１の予測モデルによって出力される感情予測タイプは、第１の感情予測ベクトルを構成し、第２の予測モデルによって出力される感情予測タイプは、第２の感情予測ベクトルを構成し、第３の感情予測タイプによって出力される感情予測タイプは、第３の感情予測ベクトルを構成するステップと、
第１のＦ１値ベクトルにおけるｎ番目のＦ１値に、第１の感情予測ベクトルにおけるｎ番目の予測値を乗算すると、各乗算結果が第１の積ベクトルを構成し、第２のＦ１値ベクトルにおけるｎ番目のＦ１値に、第２の感情予測ベクトルにおけるｎ番目の予測値を乗算すると、各乗算結果が第２の積ベクトルを構成し、第３のＦ１値ベクトルにおけるｎ番目のＦ１値に、第３の感情予測ベクトルにおけるｎ番目の予測値を乗算すると、各乗算結果が第３の積ベクトルを構成し、ｎ番目のＦ１値に対応する感情タイプは、ｎ番目の予測値に対応する感情タイプと同じであるステップと、
第１の積ベクトルにおけるｎ番目の乗算結果、第２の積ベクトルにおけるｎ番目の乗算結果、および第３の積ベクトルにおけるｎ番目の乗算結果を加算し、各加算結果は和ベクトルを構成するステップと、
和ベクトル内の要素の最大値に対応する感情タイプを予測された感情タイプとして決定するステップと、を含む。
トレーニングセットにおける感情音声信号と検証セットにおける感情音声信号は、どちらも強化されたメルスペクトログラムである。予測待ちの感情音声信号セットにおける感情音声信号は、強化されたメルスペクトログラムである。強化されたメルスペクトログラムは、自然対数から変換した、強化関数として強化されたメルスペクトログラムである。
本発明は、最初に、トレーニングセット音声強化メルスペクトログラムからそれぞれ異なる基本分類器ネットワークモデルをトレーニングし、次に、検証セット音声強化メルスペクトログラムからそれぞれ各基本分類器ネットワークモデルのＦ１値ベクトルを取得し、かつそれをテスト音声と、各対応する基本分類器感情予測値ベクトルにおいて、ドット積演算し、最後に各基本モデルのドット積ベクトルを加算して情報融合を実現する。この方法は、異なる分類器の分類情報を使用し、各予測モデルの優勢相補を通じて感情認識の精度を向上させる。
以下では、具体的な実施例を使用して、本発明の音声感情予測方法を説明する。
本実施例では、７２００個のＣＡＳＩＡ中国語感情音声データを、トレーニングセット、検証セット、およびテストセットとして選択し、３つの比率は８：１：１で、認識される感情のタイプは６種類であった。図２に示すように、音声感情予測法は、
トレーニングセットの感情音声から強化されたメルスペクトログラムを抽出し、ＶＧＧ、ＲｅｓＮｅｔ、Ｘｃｅｐｔｉｏｎの３つの基本的な分類ネットワークモデルをそれぞれトレーニングし、ＶＧＧモデル（ＶＧＧ分類ネットワークモデル）、ＲｅｓＮｅｔモデル（ＲｅｓＮｅｔ分類ネットワークモデル）、およびＸｃｅｐｔｉｏｎ（Ｘｃｅｐｔｉｏｎ分類ネットワークモデル）モデルに対応する予測モデルを取得し、
ＶＧＧモデルの構造を図３に、ＲｅｓＮｅｔモデルの構造を図４に、Ｘｃｅｐｔｉｏｎモデルの構造を図５に示したＳｔｅｐ１と、
検証セットの感情音声から、強化されたメルスペクトログラムを抽出し、Ｓｔｅｐ１でトレーニングされたＶＧＧ、ＲｅｓＮｅｔ、Ｘｃｅｐｔｉｏｎの３つの基本的な分類器ネットワークモデルの入力として使用され、各予測モデルによって出力された検証セットの音声感情混同行列に従って、各基本分類器ネットワークモデルの下での検証セット音声のさまざまな感情のＦ１値ベクトルを取得したＳｔｅｐ２と、
テストセットの感情音声から強化されたメルスペクトログラムを抽出し、それぞれＳｔｅｐ１でトレーニングされたＶＧＧ、ＲｅｓＮｅｔ、Ｘｃｅｐｔｉｏｎの３つの基本的な分類ネットワークモデルの入力とし、それぞれ異なるモデルのテストサンプルの感情予測ベクトルを取得し、次に各予測モデルの感情予測ベクトルと、Ｓｔｅｐ２で取得された検証セットの各予測モデルでのＦ１値ベクトルに対してドット積演算を実行し、次に各予測モデルのドット積ベクトルを加算して和ベクトルを取得し、和ベクトル内の要素の最大値に対応する感情は、テスト音声の認識感情であった。ここで、其中，ドット積演算は、感情予測ベクトルのｎ番目の予測値にＦ１値ベクトルのｎ番目のＦ１値を乗算することを指し、ｎ番目のＦ１値に対応する感情タイプは、ｎ番目の予測値に対応する感情タイプと同じであったＳｔｅｐ３と、を含む。
トレーニングセットの感情音声から強化されたメルスペクトログラムを抽出し、ＶＧＧ、ＲｅｓＮｅｔ、Ｘｃｅｐｔｉｏｎの３つの基本的な分類ネットワークモデルをそれぞれトレーニングし、ＶＧＧモデル（ＶＧＧ分類ネットワークモデル）、ＲｅｓＮｅｔモデル（ＲｅｓＮｅｔ分類ネットワークモデル）、およびＸｃｅｐｔｉｏｎ（Ｘｃｅｐｔｉｏｎ分類ネットワークモデル）モデルに対応する予測モデルを取得し、
ＶＧＧモデルの構造を図３に、ＲｅｓＮｅｔモデルの構造を図４に、Ｘｃｅｐｔｉｏｎモデルの構造を図５に示したＳｔｅｐ１と、
検証セットの感情音声から、強化されたメルスペクトログラムを抽出し、Ｓｔｅｐ１でトレーニングされたＶＧＧ、ＲｅｓＮｅｔ、Ｘｃｅｐｔｉｏｎの３つの基本的な分類器ネットワークモデルの入力として使用され、各予測モデルによって出力された検証セットの音声感情混同行列に従って、各基本分類器ネットワークモデルの下での検証セット音声のさまざまな感情のＦ１値ベクトルを取得したＳｔｅｐ２と、
テストセットの感情音声から強化されたメルスペクトログラムを抽出し、それぞれＳｔｅｐ１でトレーニングされたＶＧＧ、ＲｅｓＮｅｔ、Ｘｃｅｐｔｉｏｎの３つの基本的な分類ネットワークモデルの入力とし、それぞれ異なるモデルのテストサンプルの感情予測ベクトルを取得し、次に各予測モデルの感情予測ベクトルと、Ｓｔｅｐ２で取得された検証セットの各予測モデルでのＦ１値ベクトルに対してドット積演算を実行し、次に各予測モデルのドット積ベクトルを加算して和ベクトルを取得し、和ベクトル内の要素の最大値に対応する感情は、テスト音声の認識感情であった。ここで、其中，ドット積演算は、感情予測ベクトルのｎ番目の予測値にＦ１値ベクトルのｎ番目のＦ１値を乗算することを指し、ｎ番目のＦ１値に対応する感情タイプは、ｎ番目の予測値に対応する感情タイプと同じであったＳｔｅｐ３と、を含む。
トレーニングされたＶＧＧ、ＲｅｓＮｅｔ、Ｘｃｅｐｔｉｏｎの３つの基本的な分類器の下でのテスト音声（テストセット）の感情予測ベクトルは、それぞれ
であり、
ここで、Ｎは、感情の種類の数を示し、ＥＶｇｇは、第１の予測モデル（ＶＧＧ予測モデル）によって出力された感情予測ベクトル、
は、第１の予測モデルの第１種感情タイプの予測値、
は、第１の予測モデルの第２種感情タイプの予測値、
は、第１の予測モデルの第Ｎ種の感情タイプの予測値であった。
ＥＲｅｓは、第２の予測モデル（ＲｅｓＮｅｔ予測モデル）によって出力された感情予測ベクトル、
は、第２の予測モデルの第１種感情タイプの予測値、
は、第２の予測モデルの第２種感情タイプの予測値、
は、第２の予測モデルの第Ｎ種の感情タイプの予測値であった。
ＥＸｃｅは、第３の予測モデル（Ｘｃｅｐｔｉｏｎ予測モデル）によって出力された感情予測ベクトル、
は、第３の予測モデルの第１種感情タイプの予測値、
は、第３の予測モデルの第２種感情タイプの予測値、
は、第３の予測モデルの第Ｎ種の感情タイプの予測値であった。
ここで、Ｎは、感情の種類の数を示し、ＥＶｇｇは、第１の予測モデル（ＶＧＧ予測モデル）によって出力された感情予測ベクトル、
ＥＲｅｓは、第２の予測モデル（ＲｅｓＮｅｔ予測モデル）によって出力された感情予測ベクトル、
ＥＸｃｅは、第３の予測モデル（Ｘｃｅｐｔｉｏｎ予測モデル）によって出力された感情予測ベクトル、
トレーニングされたＶＧＧ、ＲｅｓＮｅｔ、Ｘｃｅｐｔｉｏｎの３つの基本的な分類器の下での検証セットにおける感情音声信号のＦ１値ベクトルはそれぞれ
であり、
Ｆ１Ｖｇｇは、検証セットに従って第１の予測モデルによって取得されたＦ１値ベクトル、
は、第１の予測モデルの第１種感情タイプによって予測されたＦ１値、
は、第１の予測モデルの第２種感情タイプによって予測されたＦ１値、
は、第１の予測モデルの第Ｎ種の感情タイプによって予測されたＦ１値であった。
Ｆ１Ｒｅｓは、検証セットに従って第２の予測モデルによって取得されたＦ１値ベクトル、
は、第２の予測モデルの第１種感情タイプによって予測されたＦ１値、
は、第２の予測モデルの第２種感情タイプによって予測されたＦ１値、
は、第２の予測モデルの第Ｎ種の感情タイプによって予測されたＦ１値であった。
Ｆ１Ｘｃｅは、検証セットに従って第３の予測モデルによって取得されたＦ１値ベクトル、
は、第３の予測モデルの第１種感情タイプによって予測されたＦ１値、
は、第３の予測モデルの第２種感情タイプによって予測されたＦ１値、
は、第３の予測モデルの第Ｎ種の感情タイプによって予測されたＦ１値であった。
Ｆ１Ｖｇｇは、検証セットに従って第１の予測モデルによって取得されたＦ１値ベクトル、
Ｆ１Ｒｅｓは、検証セットに従って第２の予測モデルによって取得されたＦ１値ベクトル、
Ｆ１Ｘｃｅは、検証セットに従って第３の予測モデルによって取得されたＦ１値ベクトル、
各予測モデルのＦ１値ベクトルと感情予測ベクトルに対してドット積演算を実行し、ＶＧＧ、ＲｅｓＮｅｔ、Ｘｃｅｐｔｉｏｎの３つの基本的な分類器の下でのドット積ベクトルを取得した。
であり、
ＶＶｇｇは、第１の予測モデルによって対応するドット積ベクトル、ＶＲｅｓは、第２の予測モデルに対応するドット積ベクトル、ＶＸｃｅは、第３の予測モデルに対応するドット積ベクトルであった。
ＶＶｇｇは、第１の予測モデルによって対応するドット積ベクトル、ＶＲｅｓは、第２の予測モデルに対応するドット積ベクトル、ＶＸｃｅは、第３の予測モデルに対応するドット積ベクトルであった。
次に、ＶＧＧ、ＲｅｓＮｅｔ、Ｘｃｅｐｔｉｏｎの３つの基本的な分類器の下でのドット積ベクトルを加算して、和ベクトルを次のように取得した。
Ｓ＝ＶＸｃｅ＋ＶＲｅｓ＋ＶＸｃｅ（１０）
ベクトルＳに含まれる要素の数はＮ個であり、Ｎ個の要素の最大値要素に対応する感情は、テスト音声の認識感情であった。
Ｓ＝ＶＸｃｅ＋ＶＲｅｓ＋ＶＸｃｅ（１０）
ベクトルＳに含まれる要素の数はＮ個であり、Ｎ個の要素の最大値要素に対応する感情は、テスト音声の認識感情であった。
テストセットの実験結果を表１に示した。表１から、本発明の音声感情認識方法は、各単一分類器モデルよりも認識精度が高く、本発明による認識方法の性能が優れていることが分かる。
表１ 各種方法の実験結果の比較表
図６に示すように、音声感情予測システムは、
感情音声データセットを収集するために使用され、データセットの各サンプルは、感情音声信号と、感情音声信号に対応する感情タイプを含むデータ収集モジュール２０１と、
データセットをトレーニングセットと検証セットに分割するために使用されるデータセット分割モジュール２０２と、
トレーニングセットに従って、それぞれＭ個の異なるタイプの分類器モデルをトレーニングして、各分類器モデルに対応する予測モデルを取得するために使用されるモデルトレーニングモジュール２０３と、
検証セットによれば、各予測モデルの混同行列をそれぞれ得て、かつｍ番目の予測モデルの混同行列に従って、ｍ番目の予測モデルに対応するＦ１値ベクトルを決定し、ｍ番目のＦ１値ベクトルとして記録するために使用されるＦ１値ベクトル決定モジュール２０４と、
予測待ちの感情音声信号セットを、それぞれ各予測モデルに入力するために使用され、ｍ番目の予測モデルによって出力された感情予測タイプは、感情予測ベクトルを構成し、これを、ｍ番目の感情予測ベクトルとして記録する感情予測ベクトル出力モジュール２０５と、
ｍ番目のＦ１値ベクトルにおけるｎ番目のＦ１値にｍ番目の感情予測ベクトルにおけるｎ番目の予測値を乗算すると、各乗算の結果がｍ番目の積ベクトルになり、ｎ番目のＦ１値に対応する感情タイプは、ｎ番目の予測値に対応する感情タイプと同じであるために使用されるＦ１値ベクトルと感情予測ベクトルの乗算モジュール２０６と、
それぞれ、各積ベクトルにおけるｎ番目の乗算結果を加算してｎ番目の加算結果を取得し、各加算結果が和ベクトルを構成するために使用される和ベクトル決定モジュール２０７と、
和ベクトル内の要素の最大値に対応する感情タイプを予測された感情タイプとして決定するために使用される感情タイプ決定モジュールと、を含む。
感情音声データセットを収集するために使用され、データセットの各サンプルは、感情音声信号と、感情音声信号に対応する感情タイプを含むデータ収集モジュール２０１と、
データセットをトレーニングセットと検証セットに分割するために使用されるデータセット分割モジュール２０２と、
トレーニングセットに従って、それぞれＭ個の異なるタイプの分類器モデルをトレーニングして、各分類器モデルに対応する予測モデルを取得するために使用されるモデルトレーニングモジュール２０３と、
検証セットによれば、各予測モデルの混同行列をそれぞれ得て、かつｍ番目の予測モデルの混同行列に従って、ｍ番目の予測モデルに対応するＦ１値ベクトルを決定し、ｍ番目のＦ１値ベクトルとして記録するために使用されるＦ１値ベクトル決定モジュール２０４と、
予測待ちの感情音声信号セットを、それぞれ各予測モデルに入力するために使用され、ｍ番目の予測モデルによって出力された感情予測タイプは、感情予測ベクトルを構成し、これを、ｍ番目の感情予測ベクトルとして記録する感情予測ベクトル出力モジュール２０５と、
ｍ番目のＦ１値ベクトルにおけるｎ番目のＦ１値にｍ番目の感情予測ベクトルにおけるｎ番目の予測値を乗算すると、各乗算の結果がｍ番目の積ベクトルになり、ｎ番目のＦ１値に対応する感情タイプは、ｎ番目の予測値に対応する感情タイプと同じであるために使用されるＦ１値ベクトルと感情予測ベクトルの乗算モジュール２０６と、
それぞれ、各積ベクトルにおけるｎ番目の乗算結果を加算してｎ番目の加算結果を取得し、各加算結果が和ベクトルを構成するために使用される和ベクトル決定モジュール２０７と、
和ベクトル内の要素の最大値に対応する感情タイプを予測された感情タイプとして決定するために使用される感情タイプ決定モジュールと、を含む。
Ｍ値は３であり、分類器モデルの３つの異なるタイプは、それぞれＶＧＧモデル、ＲｅｓＮｅｔモデル、およびＸｃｅｐｔｉｏｎモデルである。
トレーニングセットにおける感情音声信号と検証セットにおける感情音声信号は、どちらも強化されたメルスペクトログラムである。予測待ちの感情音声信号セットにおける感情音声信号は、強化されたメルスペクトログラムである。強化されたメルスペクトログラムは、自然対数から変換した、強化関数として強化されたメルスペクトログラムである。
本明細書では、特定の例を使用して、本発明の原理と実施形態を説明し、上記の実施例の説明は、本発明の方法とコアアイデアを理解するのを助けるためにのみ使用され、同時に、当業者にとって、本発明のアイデアによれば、発明を実施するための形態および応用範囲に変更がある。要約すると、本明細書の内容は、本発明の限定として解釈されるべきではない。
Claims (5)
- 感情音声データセットを収集するために使用され、前記データセットの各サンプルは、感
情音声信号と、感情音声信号に対応する感情タイプを含むデータ収集モジュールと、
前記データセットをトレーニングセットと検証セットに分割するために使用されるデータ
セット分割モジュールと、
前記トレーニングセットに従って、それぞれＭ個の異なるタイプの分類器モデルをトレー
ニングして、各分類器モデルに対応する予測モデルを取得するために使用されるモデルト
レーニングモジュールと、
前記検証セットによれば、各予測モデルの混同行列をそれぞれ得て、かつｍ番目の予測モ
デルの混同行列に従って、ｍ番目の予測モデルに対応するＦ１値ベクトルを決定し、ｍ番
目のＦ１値ベクトルｍ∈［１，Ｍ］として記録するために使用されるＦ１値ベクトル決定
モジュールと、
予測待ちの感情音声信号セットを、それぞれ各予測モデルに入力するために使用され、ｍ
番目の予測モデルによって出力された感情予測タイプは、感情予測ベクトルを構成し、こ
れを、ｍ番目の感情予測ベクトルとして記録する感情予測ベクトル出力モジュールと、
ｍ番目のＦ１値ベクトルにおけるｎ番目のＦ１値にｍ番目の感情予測ベクトルにおけるｎ
番目の予測値を乗算すると、各乗算の結果がｍ番目の積ベクトルになり、ｎ番目のＦ１値
に対応する感情タイプは、ｎ番目の予測値に対応する感情タイプと同じであり、ｎ∈［１
、Ｎ］、Ｎは感情タイプの数を表すために使用されるＦ１値ベクトルと感情予測ベクトル
乗算モジュールと、
それぞれ、各積ベクトルにおけるｎ番目の乗算結果を加算してｎ番目の加算結果を取得し
、各加算結果が和ベクトルを構成するために使用される和ベクトル決定モジュールと、
前記和ベクトル内の要素の最大値に対応する感情タイプを予測された感情タイプとして決
定するために使用される感情タイプ決定モジュールと、を含むことを特徴とする音声感情
予測システム。 - Ｍ値は３であり、分類器モデルの３つの異なるタイプは、それぞれＶＧＧモデル、Ｒｅｓ
Ｎｅｔモデル、およびＸｃｅｐｔｉｏｎモデルであることを特徴とする請求項１に記載の
音声感情予測システム。 - 前記トレーニングセットにおける感情音声信号と前記検証セットにおける感情音声信号は
、どちらも強化されたメルスペクトログラムであることを特徴とする請求項１に記載の音
声感情予測システム。 - 前記予測待ちの感情音声信号セットにおける感情音声信号は、強化されたメルスペクトロ
グラムであることを特徴とする請求項１に記載の音声感情予測システム。 - 前記強化されたメルスペクトログラムは、自然対数から変換した、強化関数として強化さ
れたメルスペクトログラムであることを特徴とする請求項４に記載の音声感情予測システ
ム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021152163A JP7271827B2 (ja) | 2021-09-17 | 2021-09-17 | 音声感情予測方法及びシステム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021152163A JP7271827B2 (ja) | 2021-09-17 | 2021-09-17 | 音声感情予測方法及びシステム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2023044240A JP2023044240A (ja) | 2023-03-30 |
| JP7271827B2 true JP7271827B2 (ja) | 2023-05-12 |
Family
ID=85725690
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021152163A Active JP7271827B2 (ja) | 2021-09-17 | 2021-09-17 | 音声感情予測方法及びシステム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7271827B2 (ja) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013161298A (ja) | 2012-02-06 | 2013-08-19 | Nippon Steel & Sumitomo Metal | 分類器作成装置、分類器作成方法、及びコンピュータプログラム |
| JP2015069231A (ja) | 2013-09-26 | 2015-04-13 | Kddi株式会社 | キャラクタ生成装置およびプログラム |
| WO2019155523A1 (ja) | 2018-02-06 | 2019-08-15 | 日本電気株式会社 | 分類器形成装置、分類器形成方法、及びプログラムを格納する非一時的なコンピュータ可読媒体 |
| JP2020004137A (ja) | 2018-06-28 | 2020-01-09 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | 評価装置、評価方法および評価プログラム |
-
2021
- 2021-09-17 JP JP2021152163A patent/JP7271827B2/ja active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013161298A (ja) | 2012-02-06 | 2013-08-19 | Nippon Steel & Sumitomo Metal | 分類器作成装置、分類器作成方法、及びコンピュータプログラム |
| JP2015069231A (ja) | 2013-09-26 | 2015-04-13 | Kddi株式会社 | キャラクタ生成装置およびプログラム |
| WO2019155523A1 (ja) | 2018-02-06 | 2019-08-15 | 日本電気株式会社 | 分類器形成装置、分類器形成方法、及びプログラムを格納する非一時的なコンピュータ可読媒体 |
| JP2020004137A (ja) | 2018-06-28 | 2020-01-09 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | 評価装置、評価方法および評価プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023044240A (ja) | 2023-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106919646B (zh) | 中文文本摘要生成***及方法 | |
| CN110782872A (zh) | 基于深度卷积循环神经网络的语种识别方法及装置 | |
| JP2764277B2 (ja) | 音声認識装置 | |
| CN109829058A (zh) | 一种基于多任务学习提高方言识别准确率的分类识别方法 | |
| CN108388926A (zh) | 语音交互满意度的确定方法及设备 | |
| CN105427858A (zh) | 实现语音自动分类的方法及*** | |
| Wang et al. | Speech emotion recognition based on multi‐feature and multi‐lingual fusion | |
| Barker et al. | The CHiME challenges: Robust speech recognition in everyday environments | |
| CN114579743A (zh) | 基于注意力的文本分类方法、装置及计算机可读介质 | |
| Arla et al. | Multiclass spoken language identification for Indian Languages using deep learning | |
| Mohmmad et al. | Tree cutting sound detection using deep learning techniques based on mel spectrogram and MFCC features | |
| CN116612541A (zh) | 一种多模态情感识别方法、装置及存储介质 | |
| Krishna et al. | Language independent gender identification from raw waveform using multi-scale convolutional neural networks | |
| Liu et al. | Time-frequency attention for speech emotion recognition with squeeze-and-excitation blocks | |
| CN110390929A (zh) | 基于cdnn-hmm的中英文民航陆空通话声学模型构建方法 | |
| JP7271827B2 (ja) | 音声感情予測方法及びシステム | |
| Dua et al. | Gujarati language automatic speech recognition using integrated feature extraction and hybrid acoustic model | |
| Wan | Research on speech separation and recognition algorithm based on deep learning | |
| CN113823271B (zh) | 语音分类模型的训练方法、装置、计算机设备及存储介质 | |
| Lichouri et al. | Toward building another arabic voice command dataset for multiple speech processing tasks | |
| Pragati et al. | Evaluation of Customer Care Executives Using Speech Emotion Recognition | |
| Wu et al. | Cm-tcn: channel-aware multi-scale temporal convolutional networks for speech emotion recognition | |
| Pavithra | Recurrent Neural Network Based Speech emotion detection using Deep Learning | |
| Hatem et al. | Human Speaker Recognition Based Database Method | |
| Ahamed et al. | Emotion Detection using Speech and Face in Deep Learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210917 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221122 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221230 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20221230 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230114 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230316 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230331 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7271827 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |