JP7124373B2 - 学習装置、音響生成装置、方法及びプログラム - Google Patents

Description

本開示は、音響処理技術に関する。

従来の音声合成では、波形接続型と隠れマルコフモデル型が主流であった。さらに、深層学習の発展によりニューラルネットワーク型の音声合成手法が提案されるようになった。ニューラルネットワーク型の代表例であるＷａｖｅＮｅｔは、Ｔｅｘｔ－Ｔｏ－Ｓｐｅｅｃｈに利用され、波形接続型や隠れマルコフ型と比較して、自然で高品質な音声合成を実現できる。

"WAVENET: A GENERATIVE MODEL FOR RAW AUDIO" (https://arxiv.org/pdf/1609.03499.pdf)

一方、ＷａｖｅＮｅｔは損失関数を用いた効率的な学習が困難であるなどの問題がある。

テキストから人の音声の波形データを合成する場合に限らず、様々なソース情報から特定のグループに属する音の波形データ（音響データ）を生成する場合にも同様の問題がある。

本開示の課題は、特定のグループに属する音の波形データ（音響データ）を効果的に生成するための音響処理技術を提供することである。

上記課題を解決するため、本開示の一態様は、ソース情報を第１のニューラルネットワークに入力し、前記第１のニューラルネットワークからの出力として、前記第１のニューラルネットワークに入力したソース情報に対応する波形データを生成する生成器と、前記生成器の前記第１のニューラルネットワークから出力された波形データから、微分可能な数値情報としての第１の周波数情報を抽出する抽出部と、前記第１の周波数情報を第２のニューラルネットワークに入力し、前記第２のニューラルネットワークからの出力として、前記第１の周波数情報が第１のグループに属する波形データから抽出される周波数情報である確からしさの程度を示す微分可能な数値情報としての第１の判別値を出力する判別器と、前記判別器が出力する前記第１の判別値を入力とする損失関数に基づいて、前記判別器が出力する前記第１の判別値がより高い確からしさを示すように前記第１のニューラルネットワークを学習させる制御部と、を有する音響生成装置に関する。

本開示によると、特定のグループに属する音の波形データ（音響データ）を効果的に生成するための音響処理技術を提供することができる。

本開示の一実施例による学習済み音響分離モデルを有する音響生成装置を示す概略図である。 本開示の一実施例による学習装置の機能構成を示すブロック図である。 本開示の一実施例による生成器及び判別器による学習処理を示す概略図である。 本開示の一実施例による学習装置のハードウェア構成を示すブロック図である。 本開示の一実施例による音響生成モデルの学習処理を示すフローチャートである。 本開示の一実施例による音響生成モデルの学習処理の詳細を示すフローチャートである。 本開示の一実施例による生成器及び判別器による学習処理を示す概略図である。 本開示の一実施例による生成器及び判別器による学習処理を示す概略図である。 本開示の一実施例による音響生成装置の機能構成を示すブロック図である。 本開示の一実施例による音響生成装置のハードウェア構成を示すブロック図である。 本開示の一実施例による音響生成処理を示すフローチャートである。

以下の実施例では、ソース情報から所与のデータセットの波形に尤もらしい波形を生成するための音響生成モデルを学習し、当該学習済み音響生成モデルを用いて波形データを生成する音響処理技術が開示される。

本開示による学習装置は、ソース情報から波形データを生成する生成器とスペクトログラムから出力値を生成する判別器とを含む学習対象のモデルを有し、ソース情報を生成器に入力し、生成器から波形データを取得し、取得した波形データと学習用の波形データとから音響画像変換方式（定Ｑ変換、フーリエ変換など）に従って変換された各スペクトログラムを判別器に入力し、判別器の出力値を入力とする損失関数に基づき生成器及び判別器を学習する。また、本開示による波形生成装置及び音響生成装置は、学習済み生成器を利用してデータセットの波形データのスペクトログラムに尤もらしい波形データを生成する。

まず、図１を参照して、本開示の一実施例による学習済み生成器を有する音響生成装置を説明する。図１は、本開示の一実施例による学習済み生成器を有する音響生成装置を示す概略図である。

図１に示されるように、本開示の一実施例による音響生成装置２００は、ニューラルネットワークとして実現される生成器を有し、学習装置１００によって学習された生成器を利用して、ソース情報からデータセットの波形データと同じグループに属することが尤もらしい波形データを生成する。具体的には、例えば、人の音声の波形データを生成させるように生成器を学習させる場合には、学習用のデータセットとして人の音声の波形データが用いられる。人の音声以外にも、楽器の音や動物の声など、ある特定のグループに属する波形データを生成させる場合には、その特定のグループに属する波形データを学習用のデータセットとすればよい。本開示の一実施例による学習装置１００は、データベース５０に格納されている所望のオーディオデータ（音の波形データ）を示すデータセットによって生成器及び判別器を学習し、学習された生成器を音響生成装置２００に提供する。

次に、図２～４を参照して、本開示の一実施例による学習装置を説明する。図２は、本開示の一実施例による学習装置の機能構成を示すブロック図である。

図２に示されるように、学習装置１００は、生成器１１０、変換部１２０、判別器１３０及び学習部１４０を有する。学習装置１００は、生成器１１０及び判別器１３０の２つのタイプのニューラルネットワークを有し、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ）方式に従って、判別器１３０からのフィードバック情報に基づき所与のデータセットの波形データに尤もらしい波形データを生成するよう生成器１１０と判別器１３０とを学習する。

なお、生成器（生成部）および判別器（判別部）は、制御部（ＣＰＵ、ＧＰＵ）がニューラルネットワークをシミュレートすることによって実現され、メモリ内の所定の記憶情報に従って生成処理や判別処理を実行するモデルとして実現される。これらのモデルで用いられる記憶情報は、ニューラルネットワークにおけるパラメータ（重み値）であり、学習によって変化する情報である。

生成器１１０は、入力されたソース情報から波形データを生成する。当該ソース情報は、乱数、オーディオ、テキスト、発話など生成対象の波形データと異なるタイプのデータであってもよい。例えば、生成器１１０は、図３に示されるように、乱数を生成器のニューラルネットワークに入力し、当該ニューラルネットワークから波形データを取得する。ここで、当該乱数は、正規分布に従う乱数であってもよい。

変換部１２０は、音響画像変換方式に従って取得した波形データと学習用の波形データとをそれぞれスペクトログラムに変換する。具体的には、変換部１２０は、入力について微分可能な所定の音響画像変換方式（例えば、定Ｑ変換、フーリエ変換）に従って各波形データを時間、周波数及びオーディオ成分の強度を表すスペクトログラムに変換し、変換されたスペクトログラムを判別器１３０に提供する。ここで、本開示の一実施例によるスペクトログラムは、複数次元においてデータ成分を含むデータ配列として実現されうる。

判別器１３０は、生成器１１０によって生成された波形データを示すスペクトログラムと、データベース５０における学習用スペクトログラムとからそれぞれの出力値を計算する。具体的には、判別器１３０は、図３に示されるように、生成器１１０によって生成された波形データを示すスペクトログラムを判別器１３０のニューラルネットワークに入力し、当該ニューラルネットワークから実数値を取得する一方、学習用の波形データを示すスペクトログラムを判別器１３０のニューラルネットワークに入力し、当該ニューラルネットワークから実数値を取得する。ここで、判別器１３０の出力値は、学習用のデータセット（第１のグループに属する波形データ）からサンプリングした波形のスペクトログラムの尤もらしさを表す。

学習部１４０は、出力値の誤差に基づき生成器１１０と判別器１３０とを学習する。

つまり、学習部１４０は、生成器１１０が、学習用のデータセットが属するグループと同じグループである第１のグループに属する波形データを生成するように（第１のグループに属さない波形データを生成しないように）ニューラルネットワークのパラメータ（第１の記憶情報）を変化させる。

また、学習部１４０は、判別器１３０が、前記第１のグループに属する波形データと前記第１のグループに属さない波形データとを正しく判別できるようにニューラルネットワークのパラメータ（第２の記憶情報）を変化させる。
具体的には、学習部１４０は、後述される学習処理を制御する。また、学習用の波形データを示すスペクトログラムをｘ_ｒｅａｌとし、生成器１１０によって生成された波形データを示すスペクトログラムをｘ_ｆａｋｅとし、Ｄを判別器１３０の出力値とした場合、学習部１４０は、
ｌｏｇＤ（ｘ_ｒｅａｌ）＋ｌｏｇ（１－Ｄ（ｘ_ｆａｋｅ））
を最大化するよう判別器１３０のニューラルネットワークのパラメータを更新すると共に、
ｌｏｇ（１－Ｄ（ｘ_ｆａｋｅ））
を最小化するよう生成器１１０のニューラルネットワークのパラメータを更新してもよい。

ここで、学習装置１００は、例えば、図４に示されるように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３、通信インタフェース（ＩＦ）１０４、ハードディスク１０５、表示装置１０６及び入力装置１０７によるハードウェア構成を有してもよい。ＣＰＵ１０１及びＧＰＵ１０２は、後述される学習装置１００の各種処理を実行し、上述した生成器１１０、変換部１２０、判別器１３０及び学習部１４０を実現するプロセッサとして機能し、特に、ＣＰＵ１０１は学習装置１００における学習処理の実行を制御し、ＧＰＵ１０２は機械学習における行列演算等の学習処理を実行する。ＲＡＭ１０３及びハードディスク１０５は、学習装置１００における各種データ及びプログラムを格納するメモリとして機能し、特に、ＲＡＭ１０３は、ＣＰＵ１０１及びＧＰＵ１０２における作業データを格納するワーキングメモリとして機能し、ハードディスク１０５は、ＣＰＵ１０１及びＧＰＵ１０２の制御プログラム及び／又は学習用データを格納する。通信ＩＦ１０４は、データベース５０から学習用データを取得するための通信インタフェースである。表示装置１０６は、処理の内容、経過、結果等の各種情報を表示し、入力装置１０７は、キーボード、マウスなどの情報及びデータを入力するためのデバイスである。しかしながら、本開示による学習装置１００は、上述したハードウェア構成に限定されず、他の何れか適切なハードウェア構成を有してもよい。

次に、図５～６を参照して、本開示の一実施例による学習装置１００における学習処理を説明する。図５は、本開示の一実施例による音響生成モデルの学習処理を示すフローチャートである。図示された実施例では、限定されることなく、ソース情報として乱数が用いられる。

図５に示されるように、ステップＳ１０１において、生成器１１０は、乱数から波形データを取得する。具体的には、生成器１１０は、乱数を生成器１１０のニューラルネットワークに入力し、当該ニューラルネットワークから波形データを取得する。また、生成器１１０は、入力されるソース情報から第１の記憶情報に従って波形データを生成する。このとき、判別器１３０は、入力される周波数情報が第１のグループに属する波形データから抽出される周波数情報であるか否かを第２の記憶情報に従って判別する。ここで、第１の記憶情報は、生成された波形データから抽出される周波数情報を判別した判別結果に基づいて第１のグループに属する波形データが生成するように変更させる。また、第２の記憶情報は、第１のグループに属する波形データから抽出される周波数情報を判別した判別結果と、生成された波形データから抽出される周波数情報を判別した判別結果とに基づいて第１のグループに属する波形データと第１のグループに属さない波形データとを正しく判別できるように、変更される。

ステップＳ１０２において、変換部１２０は、生成器１１０によって生成された波形データと学習用の波形データとをそれぞれスペクトログラムに変換する。具体的には、変換部１２０は、入力について微分可能な所定の音響画像変換方式（例えば、定Ｑ変換、フーリエ変換）に従って各波形データを時間、周波数及びオーディオ成分の強度を表すスペクトログラムに変換する。また、変換部１２０は、波形データを、複数の軸のうちの１つの軸を対数の周波数軸とした画像データに変換する。このとき、波形データを変換部１２０で変換して得られた画像データを周波数情報として判別部１３０に判別させてもよい。

ステップＳ１０３において、判別器１３０は、変換された各スペクトログラムからそれぞれの出力値を計算する。具体的には、判別器１３０は、生成器１１０によって生成された波形データを示すスペクトログラムと学習用の波形データを示すスペクトログラムとを判別器１３０のニューラルネットワークに入力し、当該ニューラルネットワークから各実数値を取得する。

ステップＳ１０４において、学習部１４０は、出力値の誤差に基づき生成器１１０と判別器１３０とを学習する。具体的には、学習部１４０は、出力値の誤差に基づき生成器１１０のニューラルネットワークのパラメータと、判別器１３０のニューラルネットワークとのパラメータとを更新する。すなわち、学習部１４０は、複数のソース情報のそれぞれを生成器１１０に入力して複数の波形データを生成するとともに、生成された複数の波形データのそれぞれを変換部１２０により変換して得られる複数の画像データと、第１のグループに属する複数の波形データのそれぞれを変換部１２０により変換して得られる複数の画像データとを、判別器１３０により判別させ、判別による複数の判別結果に基づいて、第１の記憶情報及び第２の記憶情報を変化させていくことで学習対象のモデルを学習させてもよい。

上述したステップＳ１０１～Ｓ１０４は、所定の回数実行され、最終的に取得した生成器１１０のニューラルネットワークが、音響生成装置２００に提供される学習済みの音響生成モデルとして決定されてもよい。

上述した学習処理は、例えば、図６に示される手順に従って実現されてもよい。

図６に示されるように、ステップＳ２０１において、学習部１４０は、繰り返しカウンタ（ｉｔｅｒａｔｉｏｎ）を０に初期化する。

ステップＳ２０２において、学習部１４０は、繰り返しカウンタが指定回数未満であるか判定する。繰り返しカウンタが指定回数未満である場合（ステップＳ２０２：ＹＥＳ）、学習部１４０は、ステップＳ２０３において、ステップカウンタ（ｓｔｅｐ）を０に初期化する。他方、繰り返しカウンタが指定回数に達している場合（ステップＳ２０２：ＮＯ）、学習部１４０は、当該学習処理を終了する。

ステップＳ２０４において、学習部１４０は、ステップカウンタが指定回数未満であるか判定する。ステップカウンタが指定回数未満である場合（ステップＳ２０４：ＹＥＳ）、ステップＳ２０５において、生成器１１０は、乱数から波形データを生成する。

ステップＳ２０６において、学習部１４０は、データベース５０から学習用の波形をサンプリングし、学習用の波形データを生成する。

ステップＳ２０７において、変換部１２０は、ステップＳ２０５において生成された波形データと、ステップＳ２０５において生成された学習用の波形データとをそれぞれ所定の音響画像変換方式に従ってスペクトログラムに変換する。例えば、本実施例では、変換部１２０は、フーリエ変換によって波形データをスペクトログラムに変換するが、本開示の音響画像変換方式はこれに限定されず、例えば、定Ｑ変換などの他の入力について微分可能な音響画像変換方式が適用されてもよい。

ステップＳ２０８において、判別器１３０は、ニューラルネットワークを利用して、変換された各スペクトログラムから実数値を計算し、学習部１４０は、計算された各実数値の誤差を計算する。例えば、学習部１４０は、
ｌｏｇＤ（ｘ_ｒｅａｌ）＋ｌｏｇ（１－Ｄ（ｘ_ｆａｋｅ））
を誤差として算出してもよい。

ステップＳ２０９において、学習部１４０は、算出した誤差を最大化するよう判別器１３０のニューラルネットワークのパラメータを更新する。

ステップＳ２１０において、学習部１４０は、ステップカウンタをインクリメントし、ステップＳ２０４に戻る。

他方、ステップカウンタが指定回数に達している場合（ステップＳ２０４：ＮＯ）、ステップＳ２１１において、生成器１１０は、乱数から波形データを生成する。

ステップＳ２１２において、変換部１２０は、ステップＳ２１１において生成された波形データを所定の音響画像変換方式に従ってスペクトログラムに変換する。例えば、本実施例では、変換部１２０は、フーリエ変換によって波形データをスペクトログラムに変換するが、本開示の音響画像変換方式はこれに限定されず、例えば、定Ｑ変換などの他の入力について微分可能な音響画像変換方式が適用されてもよい。

ステップＳ２１３において、判別器１３０は、ニューラルネットワークを利用して、変換されたスペクトログラムから実数値を計算し、学習部１４０は、計算された実数値の誤差ｌｏｇ（１－Ｄ（ｘ_ｆａｋｅ））を算出する。

ステップＳ２１４において、学習部１４０は、算出した誤差を最小化するよう生成器１１０のニューラルネットワークのパラメータを更新する。

ステップＳ２１５において、学習部１４０は、繰り返しカウンタをインクリメントし、ステップＳ２０２に戻る。

次に、図７～８を参照して、本開示の他の実施例による生成器及び判別器による学習処理を説明する。図７及び８は、本開示の一実施例による生成器及び判別器による学習処理を示す概略図である。図示される実施例では、学習装置１００は、サイクルＧＡＮ方式に従って生成器１１０及び判別器１３０を学習する。

図７に示されるように、生成器１１０は、２つのニューラルネットワークＧ_ＡｔｏＢ及びＧ_ＢｔｏＡを有し、Ｇ_ＡｔｏＢはドメインＡからドメインＢへの変換を実行し、Ｇ_ＢｔｏＡはドメインＢからドメインＡへの変換を実行する。例えば、ドメインＡは男声のデータセットであり、ドメインＢは女声のデータセットであってもよい。この場合、Ｇ_ＡｔｏＢは男声の波形データを女声の波形データに変換し、Ｇ_ＢｔｏＡは女声の波形データを男声の波形データに変換する。

他方、判別器１３０もまた、２つのニューラルネットワークＤ_Ａ及びＤ_Ｂを有し、図８に示されるように、Ｄ_Ａは入力されたスペクトログラムがドメインＡのデータセットの波形データのスペクトログラムに尤もらしいかを判別し、Ｄ_Ｂは入力されたスペクトログラムがドメインＢのデータセットの波形データのスペクトログラムに尤もらしいかを判別する。例えば、ドメインＡが男声のデータセットであり、ドメインＢが女声のデータセットである場合、Ｄ_Ａは入力されたスペクトログラムが男声のスペクトログラムに尤もらしいかを判別し、Ｄ_Ｂは入力されたスペクトログラムが男声のスペクトログラムに尤もらしいかを判別する。すなわち、第１のグループに属する波形データは、言葉を発声した音声データに対応する波形データであってもよい。また、第１のグループに属する波形データは、特定の人の声に対応する波形データであり、第２のグループに属する波形データは、特定の人とは異なる人の声に対応する波形データであってもよい。

本実施例では、図示されるように、Ｇ_ＡｔｏＢ及びＧ_ＢｔｏＡはそれぞれ変換された波形データを出力し、変換部１２０は、所定の音響画像変換方式（例えば、定Ｑ変換、フーリエ変換）に従って各波形データをスペクトログラムに変換し、それぞれＤ_Ｂ及びＤ_Ａに入力する。Ｄ_Ａ及びＤ_Ｂは、上述した実施例と同様に、各自のドメインのデータセットの学習用の波形データを示すスペクトログラムと、Ｇ_ＢｔｏＡ及びＧ_ＡｔｏＢによりそれぞれ変換された波形データを示すスペクトログラムとをそれぞれ入力した際の出力値を計算する。学習部１４０は、これらの出力値の誤差に基づき、上述したようにＧ_ＡｔｏＢ及びＧ_ＢｔｏＡとＤ_Ａ及びＤ_Ｂとのパラメータを更新する。

さらに本実施例では、図示されるように、Ｇ_ＡｔｏＢ及びＧ_ＢｔｏＡは、それぞれ変換された波形データを他方のＧ_ＢｔｏＡ及びＧ_ＡｔｏＢに入力し、Ｇ_ＢｔｏＡ及びＧ_ＡｔｏＢは、それぞれ入力された波形データを変換し、変換された波形データをそれぞれＤ_Ａ及びＤ_Ｂと変換部１２０に入力する。変換部１２０は、上記と同様に、所定の音響画像変換方式に従って各波形データをスペクトログラムに変換し、それぞれＤ_Ｂ及びＤ_Ａに入力する。Ｄ_Ａ及びＤ_Ｂは、上述した実施例と同様に、各自のドメインのデータセットの学習用の波形データを示すスペクトログラムと、Ｇ_ＢｔｏＡ及びＧ_ＡｔｏＢによりそれぞれ変換された波形データを示すスペクトログラムとの出力値を計算する。学習部１４０は、これらの出力値の誤差に基づき、上述したようにＧ_ＡｔｏＢ及びＧ_ＢｔｏＡとＤ_Ａ及びＤ_Ｂとのパラメータを更新する。

このように、生成器１１０において波形データを変換及び逆変換することによって、例えば、発話内容は同じであって、声質のみ変わっている波形データを取得することが可能になる。

また、一実施例では、判別器１３０は、入力される周波数情報が第１のグループに属する波形データから抽出される周波数情報である確からしさに応じた出力値を判別結果として出力し、学習部１４０は、第１のグループに属する波形データから抽出される周波数情報の入力に対して出力される出力値がより高い確からしさを示し、生成器１１０で生成された波形データから抽出される周波数情報の入力に対して出力される出力値がより低い確からしさを示すように、第２の記憶情報を変化させるとともに、生成器１１０で生成された波形データから抽出される周波数情報の入力に対して出力される出力値がより高い確からしさを示すように、第１の記憶情報を変化させてもよい。

また、一実施例では、生成器１１０は、第２のグループに属する波形データから第１のグループに属する波形データを生成し、波形データから第２のグループに属する波形データを生成し、判別器１３０は、入力される周波数情報が第１のグループに属する波形データから抽出される周波数情報であるか否かを判別してもよい。このとき、学習部１４０は、第２のグループに属する第１の元波形データから第１のグループに属する第１の変換波形データを生成器１１０に生成させた後、第１の変換波形データから第２のグループに属する第１の再構成波形データを生成器１１０に生成させるとともに、第１の元波形データから抽出される周波数情報を判別した判別結果と、第１の再構成波形データから抽出される周波数情報を判別した判別結果との誤差を少なくするように生成器１１０を学習させてもよい。

また、一実施例では、判別器１３０は、入力される周波数情報が第２のグループに属する波形データから抽出される周波数情報であるか否かを判別してもよい。このとき、学習部１４０は、第１のグループに属する第２の元波形データから第２のグループに属する第２の変換波形データを生成器１１０に生成させた後、第２の変換波形データから第１のグループに属する第２の再構成波形データを生成器１１０に生成させるとともに、第２の元波形データから抽出される周波数情報を判別した判別結果と、第２の再構成波形データから抽出される周波数情報を判別した判別結果との誤差を少なくするように生成器１１０を学習させてもよい。

次に、図９～１０を参照して、本開示の一実施例による音響生成装置を説明する。図９は、本開示の一実施例による音響生成装置の機能構成を示すブロック図である。

図９に示されるように、音響生成装置２００は、取得部２１０及び生成器２２０を有する。音響生成装置２００は、学習装置１００から生成器１１０の音響生成モデルを取得し、当該音響生成モデルを生成器２２０として用いてソース情報から波形データを生成する。

取得部２１０は、ソース情報を取得する。当該ソース情報は、乱数、オーディオ、テキスト、発話など生成対象の波形データを示すオーディオデータと異なるタイプの波形データであってもよく、学習装置１００において学習された生成器１１０に入力される情報に対応するタイプの情報である。すなわち、ソース情報は、言葉に対応するラベル情報または前記言葉を表すテキスト情報であってもよいし、言葉を発声した音声データに対応する波形データであってもよいし、後述される第１のグループとは異なる第２のグループに属する波形データであってもよいし、あるいは、乱数であってもよい。

生成器２２０は、ソース情報を学習済み音響生成モデルに入力し、当該音響生成モデルから波形データを取得する。当該音響生成モデルは、上述したような手順に従って学習装置１００において学習される。すなわち、学習装置１００は、ソース情報を生成器１１０に入力し、生成器１１０から対応する波形データを取得する。そして、学習装置１００は、音響画像変換方式に従って当該波形データと学習用の波形データとをそれぞれスペクトログラムに変換して判別器１３０に入力し、これらのスペクトログラムの出力値の誤差に基づき生成器１１０と判別器１３０とを学習する。また、生成器２２０は、取得した波形データをオーディオデータに変換するなど、波形データに対して所定の出力処理を実行する。

ここで、音響生成装置２００は、例えば、図１０に示されるように、ＣＰＵ２０１、ＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２、ＲＡＭ２０３、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリポート２０４及び再生装置２０５によるハードウェア構成を有してもよい。ＣＰＵ２０１は、後述される音響生成装置２００の各種処理を実行し、上述した取得部２１０及び生成器２２０を実現するプロセッサとして機能する。ＲＯＭ２０２及びＲＡＭ２０３は、音響生成装置２００における各種データ及びプログラムを格納するメモリとして機能し、特に、ＲＡＭ２０３は、ＣＰＵ２０１における作業データを格納するワーキングメモリとして機能し、ＲＯＭ２０３は、ＣＰＵ２０１の制御プログラム及び／又はデータを格納する。ＵＳＢメモリポート２０４は、ユーザによりセットされたＵＳＢメモリに格納されているソース情報を取得する。再生装置２０５は、ＣＰＵ２０１の指示によってソース情報から生成されたオーディオデータを再生する。しかしながら、本開示による音響生成装置２００は、上述したハードウェア構成に限定されず、他の何れか適切なハードウェア構成を有してもよい。例えば、上述した取得部２１０及び生成器２２０の１つ以上は、フィルタ回路などの電子回路により実現されてもよい。

次に、図１１を参照して、本開示の一実施例による音響生成装置２００における音響生成処理を説明する。図１１は、本開示の一実施例による音響生成処理を示すフローチャートである。

図１１に示されるように、ステップＳ３０１において、取得部２１０は、ソース情報を取得する。具体的には、取得部２１０は、学習装置１００において学習用に生成器１１０に入力された情報に対応するソース情報を取得する。

ステップＳ３０２において、生成器２２０は、学習済み音響生成モデルにソース情報を入力し、当該音響生成モデルから波形データを取得する。

ステップＳ３０３において、生成器２２０は、取得した波形データをオーディオデータに変換するなど、波形データに対して所定の出力処理を実行する。

本開示の一態様では、
入力されるソース情報から第１の記憶情報に従って波形データを生成する生成部と、
入力される周波数情報が第１のグループに属する波形データから抽出される周波数情報であるか否かを第２の記憶情報に従って判別する判別部と、
前記生成部で生成された波形データから抽出される周波数情報を前記判別部で判別した判別結果に基づいて、前記生成部が前記第１のグループに属する波形データを生成するように前記第１の記憶情報を変化させる制御部と、
を有する波形生成装置が提供される。

一実施例では、前記制御部は、前記第１のグループに属する波形データから抽出される周波数情報を前記判別部で判別した判別結果と、前記生成部で生成された波形データから抽出される周波数情報を前記判別部で判別した判別結果とに基づいて、前記判別部が前記第１のグループに属する波形データと前記第１のグループに属さない波形データとを正しく判別できるように前記第２の記憶情報を変化させてもよい。

一実施例では、波形データを、複数の軸のうちの１つの軸を対数の周波数軸とした画像データに変換する変換部を有し、前記制御部は、波形データを前記変換部で変換して得られた画像データを前記周波数情報として前記判別部に判別させるように制御してもよい。

一実施例では、前記生成部と前記判別部とを含む学習対象のモデルとして、前記第１の記憶情報と前記第２の記憶情報とを格納する記憶部を有し、前記制御部は、複数のソース情報のそれぞれを前記生成部に入力して複数の波形データを生成するとともに、生成された複数の波形データのそれぞれを前記変換部により変換して得られる複数の画像データと、前記第１のグループに属する複数の波形データのそれぞれを前記変換部により変換して得られる複数の画像データとを、前記判別部により判別させ、前記判別による複数の判別結果に基づいて、前記第１の記憶情報及び前記第２の記憶情報を変化させていくことで前記学習対象のモデルを学習させてもよい。

一実施例では、前記判別部は、入力される周波数情報が前記第１のグループに属する波形データから抽出される周波数情報である確からしさに応じた出力値を前記判別結果として出力し、前記制御部は、前記第１のグループに属する波形データから抽出される周波数情報の入力に対して出力される出力値がより高い確からしさを示し、前記生成部で生成された波形データから抽出される周波数情報の入力に対して出力される出力値がより低い確からしさを示すように、前記第２の記憶情報を変化させるとともに、前記生成部で生成された波形データから抽出される周波数情報の入力に対して出力される出力値がより高い確からしさを示すように、前記第１の記憶情報を変化させてもよい。

一実施例では、前記第１のグループに属する波形データは、言葉を発声した音声データに対応する波形データであってもよい。

一実施例では、前記ソース情報は、前記言葉に対応するラベル情報または前記言葉を表すテキスト情報であってもよい。

一実施例では、前記ソース情報は、言葉を発声した音声データに対応する波形データであってもよい。

一実施例では、前記ソース情報は、前記第１のグループとは異なる第２のグループに属する波形データであってもよい。

一実施例では、前記第１のグループに属する波形データは、特定の人の声に対応する波形データであり、前記第２のグループに属する波形データは、前記特定の人とは異なる人の声に対応する波形データであってもよい。

一実施例では、前記生成部は、前記第２のグループに属する波形データから前記第１のグループに属する波形データを生成する第１生成部と、前記波形データから前記第２のグループに属する波形データを生成する第２生成部とを有し、前記判別部は、入力される周波数情報が前記第１のグループに属する波形データから抽出される周波数情報であるか否かを判別する第１判別部を有し、前記制御部は、前記第１生成部に前記第２のグループに属する第１の元波形データから前記第１のグループに属する第１の変換波形データを生成させた後、前記第２生成部に前記第１の変換波形データから前記第２のグループに属する第１の再構成波形データを生成させるとともに、前記第１の元波形データから抽出される周波数情報を前記第１判別部で判別した判別結果と、前記第１の再構成波形データから抽出される周波数情報を前記第１判別部で判別した判別結果との誤差を少なくするように前記生成部を学習させてもよい。

一実施例では、前記判別部は、入力される周波数情報が前記第２のグループに属する波形データから抽出される周波数情報であるか否かを判別する第２判別部を更に有し、前記制御部は、前記第２生成部に前記第１のグループに属する第２の元波形データから前記第２のグループに属する第２の変換波形データを生成させた後、前記第１生成部に前記第２の変換波形データから前記第１のグループに属する第２の再構成波形データを生成させるとともに、前記第２の元波形データから抽出される周波数情報を前記第２判別部で判別した判別結果と、前記第２の再構成波形データから抽出される周波数情報を前記第２判別部で判別した判別結果との誤差を少なくするように前記生成部を学習させてもよい。

一実施例では、前記ソース情報は、乱数であってもよい。

本開示の一態様では、
学習対象のモデルを格納するメモリと、
前記メモリに接続されるプロセッサと、
を有する学習装置であって、
前記学習対象のモデルは、ソース情報から波形データを生成する生成器と、スペクトログラムから出力値を生成する判別器とを含み、
前記プロセッサは、
前記ソース情報を前記生成器に入力し、前記生成器から第１の波形データを取得し、
音響画像変換方式に従って前記第１の波形データと学習用の第２の波形データとをそれぞれ第１のスペクトログラムと第２のスペクトログラムとに変換し、
前記第１のスペクトログラムと前記第２のスペクトログラムとを前記判別器に入力し、前記第１のスペクトログラムと前記第２のスペクトログラムとの各出力値を取得し、
前記出力値の誤差に基づき前記生成器と前記判別器とを学習する学習装置が提供される。

一実施例では、前記音響画像変換方式は、入力について微分可能な音響画像変換方式であってもよい。

一実施例では、前記プロセッサは、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）方式に従って前記生成器と前記判別器とを学習してもよい。

一実施例では、前記学習対象のモデルは、複数の生成器と複数の判別器とを含み、前記プロセッサは、サイクルＧＡＮ方式に従って前記複数の生成器と前記複数の判別器とを学習してもよい。

本開示の一態様では、
学習済みモデルを格納するメモリと、
前記メモリに接続されるプロセッサと、
を有する音響生成装置であって、
前記プロセッサは、
ソース情報を取得し、
前記ソース情報を前記学習済みモデルに入力し、前記学習済みモデルから波形データを取得し、
前記学習済みモデルは、
前記ソース情報を生成器に入力し、前記生成器から第１の波形データを取得し、
音響画像変換方式に従って前記第１の波形データと学習用の第２の波形データとをそれぞれ第１のスペクトログラムと第２のスペクトログラムとに変換し、
前記第１のスペクトログラムと前記第２のスペクトログラムとを判別器に入力し、前記第１のスペクトログラムと前記第２のスペクトログラムとの各出力値を取得し、
前記出力値の誤差に基づき前記生成器と前記判別器とを学習することによって取得される生成器である音響生成装置が提供される。

一実施例では、前記音響画像変換方式は、入力について微分可能な音響画像変換方式であってもよい。

一実施例では、前記生成器と前記判別器とは、ＧＡＮ方式に従って学習されてもよい。

一実施例では、前記学習済みモデルは、サイクルＧＡＮ方式に従って複数の生成器と複数の判別器とを学習することによって取得されてもよい。

本開示の一態様では、
ソース情報から波形データを生成する生成器と、スペクトログラムから出力値を生成する判別器とを含む学習対象のモデルを学習する方法であって、
プロセッサが、前記ソース情報を前記生成器に入力し、前記生成器から第１の波形データを取得し、
前記プロセッサが、音響画像変換方式に従って前記第１の波形データと学習用の第２の波形データとをそれぞれ第１のスペクトログラムと第２のスペクトログラムとに変換し、
前記プロセッサが、前記第１のスペクトログラムと前記第２のスペクトログラムとを前記判別器に入力し、前記第１のスペクトログラムと前記第２のスペクトログラムとの各出力値を取得し、
前記プロセッサが、前記出力値の誤差に基づき前記生成器と前記判別器とを学習する方法が提供される。

本開示の一態様では、
プロセッサが、ソース情報を取得し、
前記プロセッサが、前記ソース情報を学習済みモデルに入力し、前記学習済みモデルから波形データを取得する方法であって、
前記学習済みモデルは、
前記ソース情報を生成器に入力し、前記生成器から第１の波形データを取得し、
音響画像変換方式に従って前記第１の波形データと学習用の第２の波形データとをそれぞれ第１のスペクトログラムと第２のスペクトログラムとに変換し、
前記第１のスペクトログラムと前記第２のスペクトログラムとを判別器に入力し、前記第１のスペクトログラムと前記第２のスペクトログラムとの各出力値を取得し、
前記出力値の誤差に基づき前記生成器と前記判別器とを学習することによって取得される生成器である方法が提供される。

本開示の一態様では、
上述した方法をプロセッサに実現させるプログラム又はコンピュータ可読記憶媒体が提供される。

以上、本開示の実施例について詳述したが、本開示は上述した特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本開示の要旨の範囲内において、種々の変形・変更が可能である。

５０ データベース
１００ 学習装置
１１０，２２０ 生成器
１２０ 変換部
１３０ 判別器
１４０ 学習部
２００ 音響生成装置
２１０ 取得部

Claims (15)

1. ソース情報を第１のニューラルネットワークに入力し、前記第１のニューラルネットワークからの出力として、前記第１のニューラルネットワークに入力したソース情報に対応する 波形データを生成する生成器と、
   前記生成器の前記第１のニューラルネットワークから出力された波形データから、微分可能な数値情報としての第１の周波数情報を抽出する抽出部と、
   前記第１の周波数情報を第２のニューラルネットワークに入力し、前記第２のニューラルネットワークからの出力として、前記第１の周波数情報 が第１のグループに属する波形データから抽出される周波数情報である確からしさの程度を示す微分可能な数値情報としての第１の判別値を出力する判別器と、
   前記判別器が出力する前記第１の判別値を入力とする損失関数に基づいて、前記判別器が出力する前記第１の判別値がより高い確からしさを示すように前記第１のニューラルネットワークを学習 させる制御部と、
   を有する音響生成装置。
2. 前記第１のグループに属する波形データを取得する取得部を更に有し、
   前記抽出部は、前記取得部で取得した波形データから、微分可能な数値情報としての第２の周波数情報を抽出し、
   前記判別器は、前記第２の周波数情報を前記第２のニューラルネットワークに入力し、前記第２のニューラルネットワークからの出力として、前記第２の周波数情報が前記第１のグループに属する波形データから抽出される周波数情報である確からしさの程度を示す微分可能な数値情報としての第２の判別値を出力し、
   前記制御部は、前記判別器が出力する前記第１の判別値および前記第２の判別値を入力とする損失関数に基づいて、前記判別器が出力する前記第１の判別値がより高い確からしさを示すように前記第１のニューラルネットワークを学習させるとともに、前記判別器が出力する前記第１の判別値がより低い確からしさを示し、かつ、前記判別器が出力する前記第２の判別値がより高い確からしさを示すように前記第２のニューラルネットワークを学習させる、
   請求項１記載の音響生成装置。
3. 波形データを、複数の軸のうちの１つの軸を対数の周波数軸とした画像データに変換する変換部を有し、
   前記抽出部は、 波形データを前記変換部で変換して得られた画像データを、微分可能な数値情報である前記周波数情報として抽出する、
   請求項１または２に記載の音響生成装置。
4. 前記ソース情報は、言葉を表すテキスト情報であ り、
   前記第１のグループに属する波形データは、前記言葉を発声した音声データに対応する波形データである、
   請求項１から３のいずれか一項 に記載の音響生成装置。
5. 前記第１のグループに属する波形データは、特定の人の声に対応する波形データであり、
   前記ソース情報は、 前記特定の人とは異なる人の声に対応する波形データである、請求項１から４のいずれか一項に記載の音響生成装置。
6. 第２ のグループに属する波形データから第１のグループに属する波形データを生成する第１生成器と、
   前記第１のグループに属する 波形データから前記第２のグループに属する波形データを生成する第２生成器 と、
   入力 される周波数情報が前記第１のグループに属する波形データから抽出される周波数情報であるか否かを判別する第１判別器 と、
   前記 第１生成器に前記第２のグループに属する第１の元波形データから前記第１のグループに属する第１の変換波形データを生成させた後、前記第２生成器に前記第１の変換波形データから前記第２のグループに属する第１の再構成波形データを生成させるとともに、前記第１の元波形データから抽出される周波数情報を前記第１判別器で判別した判別結果と、前記第１の再構成波形データから抽出される周波数情報を前記第１判別器で判別した判別結果との誤差を少なくするように前記第１生成器および前記第２生成器を学習させる 制御部と、
   を有する 音響生成装置。
7. 入力 される周波数情報が前記第２のグループに属する波形データから抽出される周波数情報であるか否かを判別する第２判別器を更に有し、
   前記制御部は、前記第２生成器に前記第１のグループに属する第２の元波形データから前記第２のグループに属する第２の変換波形データを生成させた後、前記第１生成器に前記第２の変換波形データから前記第１のグループに属する第２の再構成波形データを生成させるとともに、前記第２の元波形データから抽出される周波数情報を前記第２判別器で判別した判別結果と、前記第２の再構成波形データから抽出される周波数情報を前記第２判別器で判別した判別結果との誤差を少なくするように前記第１生成器および前記第２生成器を学習させる、請求項６に記載の音響生成装置。
8. 前記第１のグループに属する波形データは、特定の人の声に対応する波形データであり、
   前記第２のグループに属する波形データは、前記特定の人とは異なる人の声に対応する波形データである、請求項６または７に記載の音響生成装置。
9. 前記第１のグループに属する波形データは、男性の声に対応する波形データであり、
   前記第２のグループに属する波形データは、女性の声に対応する波形データである、請求項６または８に記載の音響生成装置。
10. プロセッサが、
    ソース情報を第１のニューラルネットワークに入力し、前記第１のニューラルネットワークからの出力として、前記第１のニューラルネットワークに入力したソース情報に対応する波形データを生成する生成処理と、
    前記生成処理により前記第１のニューラルネットワークから出力された波形データから、微分可能な数値情報としての第１の周波数情報を抽出する抽出処理と、
    前記第１の周波数情報を第２のニューラルネットワークに入力し、前記第２のニューラルネットワークからの出力として、前記第１の周波数情報が第１のグループに属する波形データから抽出される周波数情報である確からしさの程度を示す微分可能な数値情報としての第１の判別値を出力する判別処理と、
    前記判別処理により出力された前記第１の判別値を入力とする損失関数に基づいて、前記判別処理により出力される前記第１の判別値がより高い確からしさを示すように前記第１のニューラルネットワークを学習させる制御処理と、
    を実行する方法。
11. プロセッサが、ソース情報を取得し、
    前記プロセッサが、前記ソース情報を学習済みモデルに入力し、前記学習済みモデルから波形データを取得する方法であって、
    前記学習済みモデルは、
    ソース情報を第１のニューラルネットワークに入力し、前記第１のニューラルネットワークからの出力として、前記第１のニューラルネットワークに入力したソース情報に対応する波形データを生成する生成処理と、
    前記生成処理により前記第１のニューラルネットワークから出力された波形データから、微分可能な数値情報としての第１の周波数情報を抽出する抽出処理と、
    前記第１の周波数情報を第２のニューラルネットワークに入力し、前記第２のニューラルネットワークからの出力として、前記第１の周波数情報が第１のグループに属する波形データから抽出される周波数情報である確からしさの程度を示す微分可能な数値情報としての第１の判別値を出力する判別処理と、
    前記判別処理により出力された前記第１の判別値を入力とする損失関数に基づいて、前記判別処理により出力される前記第１の判別値がより高い確からしさを示すように前記第１のニューラルネットワークを学習させる制御処理と、
    を実行することによって取得される前記第１のニューラルネットワークを含む、 方法。
12. プロセッサが、
    第２のグループに属する波形データから、第１の記憶情報に従って、第１のグループに属する波形データを生成する第１生成処理と、
    前記第１のグループに属する波形データから、第２の記憶情報に従って、前記第２のグループに属する波形データを生成する第２生成処理と、
    入力される周波数情報が前記第１のグループに属する波形データから抽出される周波数情報であるか否かを判別する第１判別処理と、
    前記第１生成処理により前記第２のグループに属する第１の元波形データから前記第１のグループに属する第１の変換波形データを生成させた後、前記第２生成処理により前記第１の変換波形データから前記第２のグループに属する第１の再構成波形データを生成させるとともに、前記第１の元波形データから抽出される周波数情報を前記第１判別処理で判別した判別結果と、前記第１の再構成波形データから抽出される周波数情報を前記第１判別処理で判別した判別結果との誤差を少なくするように前記第１の記憶情報および前記第２の記憶情報を変化させる制御処理と、
    を実行する方法。
13. 請求項１０から１２のいずれか一項に記載の方法をプロセッサに実現させるプログラム。
14. 請求項１０または１２記載の方法を実行する学習装置。
15. 請求項１１記載の方法を実行する音響生成装置。

Images