JP2020204755A - 音声処理装置、および音声処理方法 - Google Patents
音声処理装置、および音声処理方法 Download PDFInfo
- Publication number
- JP2020204755A JP2020204755A JP2019141982A JP2019141982A JP2020204755A JP 2020204755 A JP2020204755 A JP 2020204755A JP 2019141982 A JP2019141982 A JP 2019141982A JP 2019141982 A JP2019141982 A JP 2019141982A JP 2020204755 A JP2020204755 A JP 2020204755A
- Authority
- JP
- Japan
- Prior art keywords
- information
- waveform
- voice
- neural network
- periodic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Electrophonic Musical Instruments (AREA)
Abstract
【課題】高品位で所望の音高の音声波形を生成可能な技術を提供する。【解決手段】音声処理装置は、音声処理装置であって、音声波形を生成するための音響特徴量を取得する取得部と、ニューラルネットワークに音声波形の基本周波数に応じた周期波形信号を入力すると共に、音響特徴量を入力して、ニューラルネットワークが出力した情報を用いて変換処理を行うことで音声波形を生成する生成部を備える。ニューラルネットワークは、非周期成分を生成するための第1情報と、周期成分を示す第2情報と、を出力し、変換処理は、第1情報と非周期波形信号とを用いて演算処理を行った情報と、第2情報とを足し合わせる処理である。【選択図】図1
Description
本発明は、音声処理装置、および音声処理方法に関する。
近年の音声処理装置として、ニューラルネットワークを用いて音声波形を生成するものが知られている。非特許文献1や非特許文献2に記載された技術では、畳み込みを用いたニューラルネットワークによって音声波形を生成している。また、非特許文献3に記載された技術では、非特許文献1や非特許文献2に記載された技術を応用して音響特徴量から音声波形を生成している。
A. van den Oord 他, "Wavenet: A Generative Model for Raw Audio", arXiv preprint arXiv:1609.03499, 2016
A. van den Oord 他, "Parallel WaveNet: Fast High−Fidelity Speech Synthesis" , arXiv preprint arXiv:1711.10433, 2017
Akira Tamamori 他, "Speaker−dependent Wavenet vocoder", In:INTERSPEECH, pp. 1118−1122, Aug. 2017
Takuhiro Kaneko 他, "CycleGAN−VC: Non−parallel Voice Conversion Using Cycle−Consistent Adversarial Networks", 5th EURASIP Conference on,2016, pp. 2114−2118
非特許文献3に記載された技術では、音響特徴量であるスペクトル情報や基本周波数情報などを補助情報として用いて音声波形を生成している。このようなニューラルネットワークを用いた音声処理技術の分野では高品位な音声波形を生成可能な技術や、所望の音高の音声波形を生成可能な技術が望まれている。
本発明は、上述の課題を解決するためになされたものであり、以下の形態として実現することが可能である。
(1)本発明の一形態によれば、音声処理装置が提供される。この音声処理装置は、音声波形を生成するための音響特徴量を取得する取得部と、ニューラルネットワークに前記音声波形の基本周波数に応じた周期波形信号を入力すると共に、前記音響特徴量を入力して、前記ニューラルネットワークが出力した情報を用いて変換処理を行うことで前記音声波形を生成する生成部を備える。前記ニューラルネットワークは、非周期成分を生成するための第1情報と、周期成分を示す第2情報と、を出力し、前記変換処理は、前記第1情報と非周期波形信号とを用いて演算処理を行った情報と、前記第2情報とを足し合わせる処理である。この形態の音声処理装置によれば、非周期成分を生成するための第1情報と非周期波形信号とを用いて演算処理を行った情報と、周期成分を示す第2情報とを足し合わせて音声波形を生成するため、高品位で、所望の音高の音声波形を生成できる。
(2)上記形態の音声処理において、前記第1情報は、予め定められた周波数帯域毎の非周期成分の強さを示す情報であり、前記変換処理は、前記周波数帯域毎の非周期波形信号に、それぞれ対応する前記第1情報を掛け合わせた情報と、前記第2情報とを足し合わせる処理でもよい。この形態の音声処理装置によれば、予め定められた周波数帯域毎の非周期波形信号に、対応する周波数帯域毎の非周期成分の強さを示す第1情報を掛け合わせた情報と、周期成分を示す第2情報とを足し合わせて音声波形を生成するため、高品位で、所望の音高の音声波形を生成できる。
(3)上記形態の音声処理装置において、前記生成部は、前記ニューラルネットワークに、更に、生成しようとする音声波形に応じた周期の有無の程度を示す信号を入力してもよい。この形態の音声処理装置によれば、例えば、生成しようとする音声波形の無音部分や、無声子音の部分といった励振源に関する情報に応じて、高品位な音声波形を生成できる。
(4)上記形態の音声処理装置において、前記生成部は、位相が異なる複数の前記周期波形信号を前記ニューラルネットワークに入力してもよい。この形態の音声処理装置によれば、より効果的に、所望の基本周波数を有する音声波形を生成できる。
(5)上記形態の音声処理装置において、更に、前記音響特徴量と前記周期波形信号と前記第1情報と前記第2情報との関係を機械学習によって学習して前記ニューラルネットワークに反映させる学習部を備えてもよい。この形態の音声処理装置によれば、音響特徴量と音声波形との関係を学習でき、生成部に学習結果を反映できる。
(2)上記形態の音声処理において、前記第1情報は、予め定められた周波数帯域毎の非周期成分の強さを示す情報であり、前記変換処理は、前記周波数帯域毎の非周期波形信号に、それぞれ対応する前記第1情報を掛け合わせた情報と、前記第2情報とを足し合わせる処理でもよい。この形態の音声処理装置によれば、予め定められた周波数帯域毎の非周期波形信号に、対応する周波数帯域毎の非周期成分の強さを示す第1情報を掛け合わせた情報と、周期成分を示す第2情報とを足し合わせて音声波形を生成するため、高品位で、所望の音高の音声波形を生成できる。
(3)上記形態の音声処理装置において、前記生成部は、前記ニューラルネットワークに、更に、生成しようとする音声波形に応じた周期の有無の程度を示す信号を入力してもよい。この形態の音声処理装置によれば、例えば、生成しようとする音声波形の無音部分や、無声子音の部分といった励振源に関する情報に応じて、高品位な音声波形を生成できる。
(4)上記形態の音声処理装置において、前記生成部は、位相が異なる複数の前記周期波形信号を前記ニューラルネットワークに入力してもよい。この形態の音声処理装置によれば、より効果的に、所望の基本周波数を有する音声波形を生成できる。
(5)上記形態の音声処理装置において、更に、前記音響特徴量と前記周期波形信号と前記第1情報と前記第2情報との関係を機械学習によって学習して前記ニューラルネットワークに反映させる学習部を備えてもよい。この形態の音声処理装置によれば、音響特徴量と音声波形との関係を学習でき、生成部に学習結果を反映できる。
なお、本発明は、種々の態様で実現することが可能である。例えば、この形態の音声処理装置を利用した音声処理システム、音声処理装置や音声処理システムの機能を実現するために情報処理装置において実行される方法、コンピュータプログラム、そのコンピュータプログラムを配布するためのサーバ装置、そのコンピュータプログラムを記憶した一時的でない記憶媒体等の形態で実現することができる。
A.第1実施形態:
図1は、本発明の一実施形態における音声処理装置100の概要を示す説明図である。音声処理装置100は、取得部10と、生成部20と、学習部30と、を備える。取得部10と、生成部20と、学習部30とは、1以上のCPUやGPUがメモリに記憶されたプログラムを実行することにより、ソフトウェア的に実現される。なおこれらの一部または全部は、回路によってハードウェア的に実現されてもよい。
図1は、本発明の一実施形態における音声処理装置100の概要を示す説明図である。音声処理装置100は、取得部10と、生成部20と、学習部30と、を備える。取得部10と、生成部20と、学習部30とは、1以上のCPUやGPUがメモリに記憶されたプログラムを実行することにより、ソフトウェア的に実現される。なおこれらの一部または全部は、回路によってハードウェア的に実現されてもよい。
取得部10は、音声波形を生成するための音響特徴量を取得する。音響特徴量の詳細については後述する。取得部10は、例えば、予め録音された音声の音声波形から周知の音声分析技術を用いて音響特徴量を抽出してもよく、発語対象のテキストや楽譜に応じて予め生成された音響特徴量を取得してもよい。
生成部20は、ノイズ発生源21と、バンドパスフィルタ部22とを有する。ノイズ発生源21は、非周期波形信号を生成する。非周期波形信号とは、ノイズを表す信号であり、例えば、ガウス雑音である。バンドパスフィルタ部22は、ノイズ発生源21が生成した非周期波形信号に対して、予め定められた周波数帯域毎にフィルタ処理を行い、周波数帯域が異なる複数の非周期波形信号を生成する。
生成部20は、複数の出力チャネルを有するニューラルネットワーク(Neural Network)が出力した情報を用いて変換処理を行うことで音声波形を生成する。生成部20は、ニューラルネットワークの入力層に、生成する音声波形の基本周波数に応じた周期波形信号を入力すると共に、取得部10が取得した音響特徴量を補助情報としてニューラルネットワークに入力して、第1情報および第2情報を出力させる。
周期波形信号とは、生成を行う音声波形の基本周波数に応じた周期波形信号である。周期波形信号は、発話スタイルや歌唱スタイル等を含んでいてもよい。例えば、ビブラートが付与された音声波形を生成する場合は、ビブラートが付与された状態の基本周波数に応じた周期波形信号でもよい。周期波形信号は、例えば、生成を行う音声波形の基本周波数と同じ周波数のサイン波形の信号や、生成を行う音声波形の基本周波数より1オクターブ高い周波数のコサイン波形の信号である。また、周期波形信号は、非正弦波である三角波、のこぎり波、短径波やパルス波の信号でもよい。生成を行う音声波形の基本周波数は、例えば、予め録音された音声の音声波形から周知の音声分析技術を用いて基本周波数を求めてもよく、発語対象のテキストや楽譜に応じて予め生成された基本周波数を用いてもよい。
生成部20は、ニューラルネットワークが出力した第1情報と第2情報と、ノイズ発生源21が生成した非周期波形信号と、を用いて変換処理を行い、音声波形を生成する。本実施形態では、生成部20は、第1情報と、第2情報と、バンドパスフィルタ部22が生成した非周期波形信号と、を用いて変換処理を行う。第1情報とは、非周期成分を生成するための情報であり、本実施形態では予め定められた周波数帯域毎の非周期成分の強さを示す情報である。第2情報は、周期成分を示す情報であり、より具体的には、周期成分をサンプリング周期毎にサンプリングした振幅情報である。変換処理の詳細については後述する。
学習部30は、音響特徴量と、周期波形信号と、第1情報と、第2情報と、の関係を教師有り機械学習、もしくは、教師無し機械学習(例えば、非特許文献4参照)によって学習し、ニューラルネットワークで用いられる各種のパラメータを最適化する。教師有り機械学習では、例えば、生成しようとする音声波形の自然音声を教師データとし、第1情報と第2情報とを用いて変換処理を行った結果と比較して学習する。学習部30は、学習結果を生成部20が用いるニューラルネットワークに反映させる。こうすることにより、生成部20は、学習部30の学習結果を反映して音声波形の生成を行うことができる。音声処理装置100は、学習部30を備えていなくてもよい。この場合、生成部20は、外部の機械学習を行う学習装置等によって得られた学習結果を反映して、後述する変換処理によって第1情報と第2情報とから音声波形の生成を行うことができる。
図2は、音響特徴量における各種のパラメータの一例を示す図である。本実施形態において、音響特徴量は、音声の特徴量である。スペクトルパラメータとしては、メルケプストラムや線スペクトル対(Line Spectrum Pair(LSP))などがある。これらは、スペクトル情報と呼ばれることがある。音源情報としては、基本周波数がある。基本周波数は、一般に対数基本周波数として扱われており、その関連パラメータとしては、有声/無声の区別や、非周期性指標が考えられる。なお、無声部分は対数基本周波数の値を持たないため、有声/無声の区別を音源情報に含める代わりに、無声部分に所定の定数を入れる等の方法によって有声/無声の区別を行ってもよい。なお、音源情報における基本周波数は、上述した周期波形信号に含まれる情報であるため、省略してもよい。また、有声/無声の区別に関する情報も、後述する周期補助信号に含まれる情報であるため、省略してもよい。また、スペクトル情報や音源情報は、発話スタイルや歌唱スタイル等を含んでいてもよい。例えば、スペクトル情報として、音の大きさのビブラートが付与された状態のスペクトル情報を用いることができる。
図3は、生成部20によって用いられるニューラルネットワークについて説明するための説明図である。ニューラルネットワーク200は、複数のdilation層L1〜L4を備える。dilation層の数は任意に定める事ができる。なお「dilation層」のことを「拡張層」や「中間層」ともいう。
dilation層L1は、情報が入力される層である。以下、「入力層」ともいう。dilation層L1は、入力された信号に基づいて初期演算処理と情報畳み込みを行い、dilation層L2〜L4は、下層から伝達される情報に基づいて情報の畳み込みを行う。各層には、複数のノードが含まれる。
ニューラルネットワーク200による第1情報および第2情報の生成について説明する。図3には、第1情報を「a1」、「a2」…と示しており、第2情報を「b」と示している。以下ではこれらの情報のことを「データ」ともいう。本実施形態では、ニューラルネットワーク200によって、24個の第1情報が生成される。周期波形信号のサンプルS1〜S8は、dilation層L1で初期演算処理が行われた後、各ノードN1〜N8に時系列順に入力される。dilation層L1の各ノードN1〜N8は、それらの情報に畳み込みを行った情報を上層であるdilation層L2に伝達する。図示の便宜上、図3に示すdilation層L1には、8個の周期波形信号のサンプルS1〜S8が入力されているが、入力されるサンプルの数は任意に定める事ができ、例えば3000個である。
dilation層L2〜L4では、入力層L1から伝達された情報に対して種々の演算が各層において段階的に行われる。入力層L1の各ノードN1〜N8やdilation層L2〜L4の各ノードには、補助情報AIとして各サンプルに対応する音響特徴量が入力される。なお、dilation層L2〜L4にも、下層から伝達された情報に加えて、周期波形信号のサンプルが入力されてもよい。dilation層L4において、最終的に演算されたデータと、各層の最右のノードのデータ、つまり時系列において最も先のデータが入力されるノードのデータとを足しあわせて演算処理を行うことで、データDAが出力される。本実施形態において、データDAは、時系列において、入力されたサンプルS8の時点の24個に区分された周波数帯域毎の非周期成分の強さを示す第1情報a1〜a24および、入力されたサンプルS8の時点の音声サンプルの周期成分として予測された振幅情報である第2情報bである。本実施形態におけるニューラルネットワーク200は、時系列において近いサンプルであるほど、出力されるデータDAに強い影響を与えやすい構造となっている。具体的には、サンプルS8の方が、サンプルS1よりも、データDAの予測に影響を与えやすい。
図4は、音声波形の生成における変換処理について説明するための説明図である。生成部20は、バンドパスフィルタ部22が生成した周波数帯域毎の非周期波形信号nz1〜nz24に、対応する第1情報a1〜a24をそれぞれ掛け合わせた情報と、第2情報bとを足し合わせることで音声波形を生成する。第1情報a1〜a24をそれぞれ非周期波形信号nz1〜nz24に掛け合わせた情報と第2情報bとは、全てが合算されればよく、第1情報a1〜a24をそれぞれ非周期波形信号nz1〜nz24に掛け合わせた情報を足し合わせてから第2情報bを足し合わせてもよいし、第1情報a1〜a24をそれぞれ非周期波形信号nz1〜nz24に掛け合わせた情報と第2情報bとを同時に足し合わせてもよい。第1情報a1〜a24および非周期波形信号nz1〜nz24における周波数帯域は、例えば、1000Hz毎に区切られた帯域である。非周期波形信号nz1〜nz24は、例えば、バンドパスフィルタ部22によって生成された周波数帯域が異なるガウスノイズである。なお、本実施形態において、周波数帯域は24個に区分されているが、区分数はこれに限らない。
図5は、本実施形態における音声処理装置100を用いた音声波形生成処理を表すフローチャートである。まず、取得部10が、ステップS100で音響特徴量を取得する。次に、生成部20が、ステップS110において、ステップS100で取得した音響特徴量と予め定められた期間分の周期波形信号をニューラルネットワークに入力して、予め定められた周波数帯域毎の非周期成分の強さを示す第1情報と、周期成分を示す第2情報とを出力させる。最後に、生成部20が、ステップS120において、ステップS110でニューラルネットワークが出力した情報を用いて変換処理を行い、音声波形を生成する。
以上で説明した本実施形態の音声処理装置100によれば、生成部20は、非周期成分を生成するための第1情報と非周期波形信号とを用いて演算処理を行った情報と、周期成分を示す第2情報とを足し合わせて音声波形を生成している。より具体的には、バンドパスフィルタ部22が生成した予め定められた周波数帯域毎の非周期波形信号に、対応する周波数帯域毎の非周期成分の強さを示す第1情報を掛け合わせた情報と、周期成分を示す第2情報とを足し合わせて音声波形を生成するため、高品位で所望の音高の音声波形を生成できる。また、ニューラルネットワーク自身が出力したデータをニューラルネットワークに入力して次のデータを予測する自己回帰構造のニューラルネットワークよりも高速に音声波形を生成できる。また、学習部30によって音響特徴量と周期波形信号と第1情報と第2情報との関係を学習でき、生成部20に学習結果を反映できる。また、学習部30の学習範囲から大きく外れた基本周波数の音声波形であっても、生成部20は、生成を行おうとする音声波形の基本周波数に応じた周期波形信号を、ニューラルネットワークの入力層に入力して音声波形を生成するため、所望の音高を有する音声波形を生成できる。
図6は、ニューラルネットワークの他の態様を示す説明図である。図6に示すニューラルネットワークは、図3に示したニューラルネットワークの構造が左右対称に備えられる事により構成されている。入力層L1には、第1実施形態と同様に、周期波形信号のサンプルが入力される。本実施形態のニューラルネットワークの入力層L1には、出力されるデータDAの時系列における過去の周期波形信号のサンプルと未来の周期波形信号のサンプルが入力される。より具体的には、ノードN1〜N7までには、過去の周期波形信号のサンプルS1〜S7に初期演算処理を行った情報が入力され、ノードN8には現在の周期波形信号のサンプルS8に初期演算処理を行った情報が入力され、ノードN9〜N15には、未来の周期波形信号のサンプルS9〜S15に初期演算処理を行った情報が入力される。また、各ノードでは、第1実施形態と同様に、補助情報として音響特徴量が入力される。図6に示すニューラルネットワーク200は、時系列において近いサンプルであるほど、出力されるデータDAに強い影響を与えやすい構造となっている。具体的には、データDAの予測には、サンプルS8の方が、サンプルS1やサンプルS15よりも、強い影響を与えやすい。このようなニューラルネットワークを用いれば、生成するデータの時系列における過去の周期波形信号のサンプルだけでなく、未来の周期波形信号のサンプルを入力するため、より高品位な音声波形を生成できる。
図7は、実施例において生成した音声波形の一例を示す図である。上段に示す波形は、目標音声波形であり、音声処理によって生成しようとする波形である。中段に示す波形は、実施例において生成した音声波形である。下段に示す波形は、ニューラルネットワークに入力した周期波形信号であり、目標音声波形と同じ基本周波数のサイン波形である。図7に示すように、実施例において生成した音声波形は、同じ周期Tで変動しており、目標音声波形と同じ基本周波数となった。
実験結果:
図8は、生成した音声波形に対する主観評価実験の実験結果である平均オピニオン評点(Mean Opinion Score(MOS))を示した図である。本実験において、4手法の合成音声の品質を、「1:非常に悪い、2:悪い、3:普通、4:良い、5:非常に良い」の5段階の主観評価実験によって評価した。図8には4手法のうちの2手法のスコアを示す。被験者は16人であり、各被験者はテストデータである10曲から各手法につき10フレーズを評価した。評価対象である合成音声の音声波形は、2手法とも同じ音響特徴量を用いて生成した。
図8は、生成した音声波形に対する主観評価実験の実験結果である平均オピニオン評点(Mean Opinion Score(MOS))を示した図である。本実験において、4手法の合成音声の品質を、「1:非常に悪い、2:悪い、3:普通、4:良い、5:非常に良い」の5段階の主観評価実験によって評価した。図8には4手法のうちの2手法のスコアを示す。被験者は16人であり、各被験者はテストデータである10曲から各手法につき10フレーズを評価した。評価対象である合成音声の音声波形は、2手法とも同じ音響特徴量を用いて生成した。
実施例は、上述した実施形態1の音声処理装置100および図6に示したニューラルネットワークを用いて音声波形を生成した。比較例は、wavenet(非特許文献1記載)のニューラルネットワークを用いたボコーダ技術によって音声波形を生成した。wavenetのニューラルネットワークには、実施例と同一の音響特徴量を入力した。図8に示すように、実施例のスコアは、比較例のスコアよりも高かった。つまり、生成部20が上記実施形態に従って音声波形を生成すると、より高品位に音声波形を生成できる。なお、図8に示していない残りの2手法は、(1)人間の歌唱によるオリジナル音声をそのまま出力したものと、(2)実施例と同一の手法であって、実施例におけるニューラルネットワークを音声処理装置100の学習部30によって教師無し機械学習(例えば、非特許文献4参照)によって最適化した学習済みのニューラルネットワークを用いた音声波形の生成手法である。
B.第2実施形態:
第2実施形態における生成部20は、ニューラルネットワークの入力層に、更に、生成しようとする音声波形に応じた周期の有無の程度を示す信号(以下、「周期補助信号」という)を入力して音声波形を生成する点が第1実施形態と異なる。第2実施形態の音声処理装置100の構成は、第1実施形態の音声処理装置100の構成と同様であるため、構成の説明は省略する。
第2実施形態における生成部20は、ニューラルネットワークの入力層に、更に、生成しようとする音声波形に応じた周期の有無の程度を示す信号(以下、「周期補助信号」という)を入力して音声波形を生成する点が第1実施形態と異なる。第2実施形態の音声処理装置100の構成は、第1実施形態の音声処理装置100の構成と同様であるため、構成の説明は省略する。
本実施形態において、生成部20は、ニューラルネットワークの入力層L1に、周期波形信号と周期補助信号とを入力する。つまり、本実施形態において、生成部20が用いるニューラルネットワークの入力層のノードは、2つの入力チャネルを有している。例えば、第1のチャネルには、周期波形信号のサンプルが入力され、第2のチャネルには、周期補助信号のサンプルが入力される。なお、チャネルの順序は任意に定める事ができる。
周期補助信号は、周期波形が始まる境界位置と終わる境界位置に応じて定める事ができ、非周期波形の部分を0、周期波形の部分を1とした、0〜1の値で表現できる。例えば、周期波形が始まる境界位置における周期補助信号は、無声から有声に切り替わる境界の240サンプル前の位置から240サンプル後の位置までを0.0から1.0にサンプル単位で線形補間した信号であり、周期波形が終わる境界位置における周期補助信号は、有声から無声に切り替わる境界の240サンプル前の位置から240サンプル後の位置までを1.0から0.0にサンプル単位で線形補間した信号である。図9は、周期補助信号の一例を示す図である。また、周期補助信号は、音素やフレーム毎の値を線形補間したデータでもよい。
以上で説明した本実施形態の音声処理装置100によれば、生成部20は、周期波形信号を、直接的にニューラルネットワークの入力層に入力して音声波形を生成するため、所望の基本周波数を有する音声波形を生成できる。また、生成部20は、ニューラルネットワークの入力層に、更に、周期補助信号を入力するため、例えば、生成しようとする音声波形の無音部分や、無声子音の部分といった励振源に関する情報に応じて、高品位な音声波形を生成できる。
C.第3実施形態:
第3実施形態における生成部20は、位相が異なる複数の周期波形信号をニューラルネットワークの入力層に入力して音声波形を生成する点が第1実施形態と異なる。第3実施形態の音声処理装置100の構成は、第1実施形態の音声処理装置100の構成と同様であるため、構成の説明は省略する。
第3実施形態における生成部20は、位相が異なる複数の周期波形信号をニューラルネットワークの入力層に入力して音声波形を生成する点が第1実施形態と異なる。第3実施形態の音声処理装置100の構成は、第1実施形態の音声処理装置100の構成と同様であるため、構成の説明は省略する。
図10は、位相が異なる複数の周期波形信号の一例の図である。本実施形態において、生成部20は、ニューラルネットワークの入力層L1に、周期波形信号Wsと周期波形信号Wcとを入力する。つまり、本実施形態において、生成部20が用いるニューラルネットワークの入力層のノードは、2つの入力チャネルを有している。第1のチャネルには、周期波形信号Wsのサンプルが入力され、第2のチャネルには、周期波形信号Wcのサンプルが入力される。なお、チャネルの順序は任意に定める事ができる。
周期波形信号Wsは、生成を行う音声波形と同じ基本周波数を有するサイン波形であり、周期波形信号Wcは、生成を行う音声波形と同じ基本周波数を有するコサイン波形である。図10に示すように、周期波形信号Wsは、上昇時であるタイミングt1の場合の振幅の値と、下降時であるタイミングt2の場合の値とは、どちらも振幅A1であるが、タイミングt1における周期波形信号Wcは振幅A2であり、タイミングt2における周期波形信号Wcは振幅A2と異なる値の振幅A3である。従って、生成部20の用いるニューラルネットワークは、周期波形信号Wsが振幅A1の場合、周期波形信号Wcが振幅A2であれば上昇時であり、周期波形信号Wcが振幅A3であれば下降時であることを一意に判断できる。
以上で説明した本実施形態の音声処理装置100によれば、生成部20は、位相が異なる複数の周期波形信号をニューラルネットワークの入力層に入力するため、生成部20が用いるニューラルネットワークは、周期波形信号の値が、上昇時の値なのか下降時の値なのかを一意に決める事ができる。そのため、生成部20は、より効果的に、所望の基本周波数を有する音声波形を生成でき、より高品位な音声波形を生成できる。
D.第4実施形態
第4実施形態では、生成部20によって用いられるニューラルネットワークの構造が第1実施形態と異なる。第4実施形態の音声処理装置100の構成は、第1実施形態の音声処理装置100の構成と同様であるため、構成の説明は省略する。
第4実施形態では、生成部20によって用いられるニューラルネットワークの構造が第1実施形態と異なる。第4実施形態の音声処理装置100の構成は、第1実施形態の音声処理装置100の構成と同様であるため、構成の説明は省略する。
本実施形態において、生成部20は、図3や図6に示したニューラルネットワークを、縦に複数重ねた構造のニューラルネットワークを用いて第1情報および第2情報を出力する。例えば、ニューラルネットワークを2つ重ねた場合、生成部20は、下段のニューラルネットワークで出力された情報を、上段のニューラルネットワークの入力層L1に入力して、第1情報および第2情報を出力する。つまり、上段のニューラルネットワークの入力層L1のノードの数分、下段のニューラルネットワークの出力を用意する。
以上で説明した本実施形態の音声処理装置100によれば、生成部20は、周期波形信号を、直接的にニューラルネットワークの入力層に入力して音声波形を生成するため、所望の基本周波数を有する音声波形を生成できる。また、生成部20は、ニューラルネットワークを複数重ねた構造のニューラルネットワークを用いて第1情報および第2情報を求めて音声波形を生成するため、1段のみの構造であるニューラルネットワークに比べて、同数のサンプルを入力して音声波形を生成する場合に、各段のニューラルネットワークを小さくすることができる。そのため、全体としてパラメータを増加させることなく、多くのサンプルを入力して音声波形を生成できるため、より高品位な音声波形を生成できる。
E.その他の実施形態:
(E1)上記実施形態において、取得部10が取得する音響特徴量は、歌唱音声の特徴量である。この代わりに、取得部10は、音響特徴量として話し言葉の特徴量を取得してもよい。この形態によれば、歌声ではない、テキスト合成音声である音声波形を生成できる。また、声のトーンやアクセント、イントネーション、中国語における四声等をより正確に再現した音声波形を生成できる。また、取得部10は、音響特徴量として声質を表す特徴量を取得してもよい。声質を表す特徴量は、他人の声から抽出した音響特徴量である。この形態によれば、ある話者の音響特徴量から、他の話者の音響特徴量へと変換する声質変換を行った音声波形を生成できる。声質変換を行う場合、音響特徴量は、変換する音声の音響特徴量でもよく、変換したい音声の音響特徴量でもよい。また、これらの音響特徴量の差分を音響特徴量としてもよく、両方を用いてもよい。ニューラルネットワークには、周期波形信号として、変換する音声や変換する音声の基本周波数を有する周期信号、変換する音声の残差信号である周期信号、変換したい音声の基本周波数を有する周期信号を入力してもよい。また、取得部10は音響特徴量として、楽器音の特徴量を取得して、ニューラルネットワークに補助情報として入力してもよい。この形態によれば、歌声ではない、楽器音である音声波形を生成できる。打楽器音の生成を行う場合、取得部10は打楽器音の特徴量を取得し、周期波形信号として、打楽器を発音させたいタイミングで立ち上がるパルス信号を用いる。より具体的には、エイトビートのハイハットの音声波形を生成したい場合、8分音符毎に1となり、他は0であるパルス信号を用いる。
(E1)上記実施形態において、取得部10が取得する音響特徴量は、歌唱音声の特徴量である。この代わりに、取得部10は、音響特徴量として話し言葉の特徴量を取得してもよい。この形態によれば、歌声ではない、テキスト合成音声である音声波形を生成できる。また、声のトーンやアクセント、イントネーション、中国語における四声等をより正確に再現した音声波形を生成できる。また、取得部10は、音響特徴量として声質を表す特徴量を取得してもよい。声質を表す特徴量は、他人の声から抽出した音響特徴量である。この形態によれば、ある話者の音響特徴量から、他の話者の音響特徴量へと変換する声質変換を行った音声波形を生成できる。声質変換を行う場合、音響特徴量は、変換する音声の音響特徴量でもよく、変換したい音声の音響特徴量でもよい。また、これらの音響特徴量の差分を音響特徴量としてもよく、両方を用いてもよい。ニューラルネットワークには、周期波形信号として、変換する音声や変換する音声の基本周波数を有する周期信号、変換する音声の残差信号である周期信号、変換したい音声の基本周波数を有する周期信号を入力してもよい。また、取得部10は音響特徴量として、楽器音の特徴量を取得して、ニューラルネットワークに補助情報として入力してもよい。この形態によれば、歌声ではない、楽器音である音声波形を生成できる。打楽器音の生成を行う場合、取得部10は打楽器音の特徴量を取得し、周期波形信号として、打楽器を発音させたいタイミングで立ち上がるパルス信号を用いる。より具体的には、エイトビートのハイハットの音声波形を生成したい場合、8分音符毎に1となり、他は0であるパルス信号を用いる。
(E2)上記実施形態において、取得部10は、生成したい音声波形の元となる楽譜特徴量や言語特徴量を周知の変換技術を用いて音声特徴量に変換することで、音響特徴量を取得してもよい。また、取得部10は、楽譜特徴量や言語特徴量を任意のニューラルネットワークを用いて変換した情報を音響特徴量として用いてもよい。更に、学習部30は、楽譜特徴量や言語特徴量の変換に用いるニューラルネットワークと、上記実施形態における第1情報および第2情報を出力するニューラルネットワークとを同時に学習して、各種パラメータを最適化してもよい。
(E3)上記実施形態において、取得部10が取得する音響特徴量は、音源情報とスペクトル情報との他に、表現情報が含まれてもよい。表現情報には、例えば、歌唱の場合は音高のビブラートの周期および振幅とその有無、音の大きさのビブラートの周期および振幅とその有無等が、話し言葉の場合はアクセントやイントネーション等が、楽器音の場合はギターのチョーキングの程度やその有無等が、含まれている。なお、音高のビブラートの有無の区別を歌唱表現情報に含める代わりに、音高のビブラート無い部分に所定の定数を入れる等の方法によって音高のビブラートの有無の区別を行ってもよい。同様に、音の大きさのビブラートの有無の区別を歌唱表現情報に含める代わりに、音の大きさのビブラート無い部分に所定の定数を入れる等の方法によって音の大きさのビブラートの有無の区別を行ってもよい。
(E4)上記実施形態において、ニューラルネットワークの入力層L1のノードは、2つ以上の入力チャネルを有していてもよい。例えば、入力層L1に2つの入力チャネルを設け、第1のチャネルには、周期波形信号のサンプルを入力し、第2のチャネルには、時系列において第1のチャネルに入力されたサンプルの一つ前の時点の周期波形信号のサンプルを入力してもよい。また、ニューラルネットワークは、複数の入力チャネルに時系列において同じ時点の周期波形信号のサンプルを複数種類入力し、各チャネルに対して第1情報と第2情報とを出力してもよい。これにより、複数の声が重なった多重音声や和音を表す音声波形を生成できる。
(E5)上記実施形態において、生成部20は、ニューラルネットワークの入力層に生成する音声波形の基本周波数に応じた周期波形信号を入力すると共に、音響特徴量を補助情報としてニューラルネットワークに入力している。生成部20は、更に、非周期波形信号を、ニューラルネットワークの入力層に入力してもよい。
(E6)上記実施形態において、ノイズ発生源21は、非周期波形信号としてガウス雑音を生成しているが、これに限らず、他のノイズを表す信号を生成してもよい。ノイズ発生源21は、例えば、白色雑音を生成する。
(E7)上記実施形態において、生成部20は、一つのニューラルネットワークを用いて、第1情報と第2情報とを出力している。この代わりに、生成部20は、2つのニューラルネットワークを用いて、第1情報と第2情報とをそれぞれ出力してもよい。また、この形態において、生成部20は、第1情報を出力する一方のニューラルネットワークの入力層に、生成する音声波形の基本周波数に応じた周期波形信号として他方のニューラルネットワークが出力した第2情報を入力してもよい。
(E8)上記実施形態において、生成部20は、ニューラルネットワークを用いて出力する第1情報として、非周期成分を生成するための情報である、メルケプストラムやLSP(線スペクトル対)等の音響特徴量を出力し、第1特徴量と第2特徴量と非周期波形信号とを用いて演算処理を行うことで音声波形を生成する変換処理を行ってもよい。例えば、生成部20は、ニューラルネットワークを用いて、24次元の非周期成分のメルケプストラムである第1情報と、1次元の周期成分である第2情報と、を出力する。そして、生成部20は、第1情報をノイズ発生源21で生成した非周期波形信号に畳み込むことで非周期成分を生成し、第2情報と足し合わせることで音声波形を生成する。
(E9)上記第2実施形態において、生成部20は、更に、位相が異なる周期波形信号をニューラルネットワークの入力層に入力して音声波形を生成してもよい。つまり、第2実施形態と第3実施形態とを組み合わせてもよい。より具体的には、生成部20は、例えば、生成したい音声波形と同じ基本周波数であるサイン波形からなる周期波形信号Wsと、生成したい音声波形と同じ基本周波数であるコサイン波形からなる周期波形信号Wcと、周期補助信号とをニューラルネットワークの入力層に入力できる。
(E10)上記第2実施形態において、周期補助信号は、例えば、生成しようとする音声波形の言語情報に応じて定めてもよい。「言語情報」とは、例えば、母音や子音の情報である。言語情報は音響特徴量に含まれていてもよい。より具体的には、周期補助信号は、無音部分や無声子音の部分が0.0であり、母音部分が0.9や1.0であり、/b/、/d/、/g/等の周期と非周期が混在するような子音部分が0.3〜0.7の値であるデータを用いることができる。
本発明は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態中の技術的特徴は、上述した課題を解決するために、あるいは上述の効果の一部又は全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜削除することが可能である。
10…取得部、20…生成部、21…ノイズ発生源、22…バンドパスフィルタ部、30…学習部、100…音声処理装置、200…ニューラルネットワーク、AI…補助情報、DA…データ、L1〜L4…dilation層、N1〜N15…ノード、S1〜S15…サンプル、a1〜a24…第1情報、b…第2情報、nz1〜nz24…非周期波形信号
Claims (6)
- 音声処理装置であって、
音声波形を生成するための音響特徴量を取得する取得部と、
ニューラルネットワークに前記音声波形の基本周波数に応じた周期波形信号を入力すると共に、前記音響特徴量を入力して、前記ニューラルネットワークが出力した情報を用いて変換処理を行うことで前記音声波形を生成する生成部を備え、
前記ニューラルネットワークは、非周期成分を生成するための第1情報と、周期成分を示す第2情報と、を出力し、
前記変換処理は、前記第1情報と非周期波形信号とを用いて演算処理を行った情報と、前記第2情報とを足し合わせる処理である、音声処理装置。 - 請求項1に記載の音声処理装置であって、
前記第1情報は、予め定められた周波数帯域毎の非周期成分の強さを示す情報であり、
前記変換処理は、前記周波数帯域毎の非周期波形信号に、それぞれ対応する前記第1情報を掛け合わせた情報と、前記第2情報とを足し合わせる処理である、音声処理装置。 - 請求項1または請求項2に記載の音声処理装置であって、
前記生成部は、前記ニューラルネットワークに、更に、生成しようとする音声波形に応じた周期の有無の程度を示す信号を入力する、音声処理装置。 - 請求項1から請求項3までのいずれか一項に記載の音声処理装置であって、
前記生成部は、位相が異なる複数の前記周期波形信号を前記ニューラルネットワークに入力する、音声処理装置。 - 請求項1から請求項4までのいずれか一項に記載の音声処理装置であって、更に、
前記音響特徴量と前記周期波形信号と前記第1情報と前記第2情報との関係を機械学習によって学習して前記ニューラルネットワークに反映させる学習部を備える、音声処理装置。 - 音声処理方法であって、
音声波形を生成するための音響特徴量を取得する取得工程と、
ニューラルネットワークに前記音声波形の基本周波数に応じた周期波形信号を入力すると共に、前記音響特徴量を入力して、前記ニューラルネットワークが出力した情報を用いて変換処理を行うことで前記音声波形を生成する生成工程を備え、
前記ニューラルネットワークは、非周期成分を生成するための第1情報と、周期成分を示す第2情報と、を出力し、
前記変換処理は、前記第1情報と非周期波形信号とを用いて演算処理を行った情報と、前記第2情報とを足し合わせる処理である、音声処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019141982A JP2020204755A (ja) | 2019-08-01 | 2019-08-01 | 音声処理装置、および音声処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019141982A JP2020204755A (ja) | 2019-08-01 | 2019-08-01 | 音声処理装置、および音声処理方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019110997A Division JP6578544B1 (ja) | 2019-06-14 | 2019-06-14 | 音声処理装置、および音声処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020204755A true JP2020204755A (ja) | 2020-12-24 |
Family
ID=73837984
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019141982A Pending JP2020204755A (ja) | 2019-08-01 | 2019-08-01 | 音声処理装置、および音声処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020204755A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022177091A1 (ko) * | 2021-02-18 | 2022-08-25 | 삼성전자주식회사 | 전자 장치 및 이의 제어 방법 |
-
2019
- 2019-08-01 JP JP2019141982A patent/JP2020204755A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022177091A1 (ko) * | 2021-02-18 | 2022-08-25 | 삼성전자주식회사 | 전자 장치 및 이의 제어 방법 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Lu et al. | Xiaoicesing: A high-quality and integrated singing voice synthesis system | |
JP2007249212A (ja) | テキスト音声合成のための方法、コンピュータプログラム及びプロセッサ | |
JP6733644B2 (ja) | 音声合成方法、音声合成システムおよびプログラム | |
CN107924686A (zh) | 语音处理装置、语音处理方法以及语音处理程序 | |
US11842720B2 (en) | Audio processing method and audio processing system | |
KR20200088263A (ko) | 텍스트- 다중 음성 변환 방법 및 시스템 | |
Kim | Singing voice analysis/synthesis | |
JPH1097267A (ja) | 声質変換方法および装置 | |
KR102168529B1 (ko) | 인공신경망을 이용한 가창음성 합성 방법 및 장치 | |
Kim et al. | Muse-svs: Multi-singer emotional singing voice synthesizer that controls emotional intensity | |
JP6578544B1 (ja) | 音声処理装置、および音声処理方法 | |
Wada et al. | Sequential generation of singing f0 contours from musical note sequences based on wavenet | |
JP2020204755A (ja) | 音声処理装置、および音声処理方法 | |
Bous et al. | Analysing deep learning-spectral envelope prediction methods for singing synthesis | |
JP2020134920A (ja) | 音声処理装置、および音声処理方法 | |
JP6587308B1 (ja) | 音声処理装置、および音声処理方法 | |
JP7357518B2 (ja) | 音声合成装置及びプログラム | |
Wang et al. | Beijing opera synthesis based on straight algorithm and deep learning | |
Saeed et al. | A novel multi-speakers Urdu singing voices synthesizer using Wasserstein Generative Adversarial Network | |
Khadka et al. | Nepali Text-to-Speech Synthesis using Tacotron2 for Melspectrogram Generation | |
JP6552146B1 (ja) | 音声処理装置、および音声処理方法 | |
JP7280605B2 (ja) | 音声処理装置、および音声処理方法 | |
Oh et al. | Effective data augmentation methods for neural text-to-speech systems | |
CN113255313B (zh) | 音乐生成方法、装置、电子设备和存储介质 | |
Alwaisi et al. | Advancements in Expressive Speech Synthesis: a Review |