JP2020118828A - Speech processing device and speech processing method - Google Patents
Speech processing device and speech processing method Download PDFInfo
- Publication number
- JP2020118828A JP2020118828A JP2019009182A JP2019009182A JP2020118828A JP 2020118828 A JP2020118828 A JP 2020118828A JP 2019009182 A JP2019009182 A JP 2019009182A JP 2019009182 A JP2019009182 A JP 2019009182A JP 2020118828 A JP2020118828 A JP 2020118828A
- Authority
- JP
- Japan
- Prior art keywords
- feature amount
- processing device
- voice
- voice processing
- period
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Telephonic Communication Services (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
本発明は、音声処理装置、および音声処理方法に関する。 The present invention relates to a voice processing device and a voice processing method.
近年の音声処理装置として、ニューラルネットワークを用いて音声を合成するものが知られている。特許文献1に記載された技術では、ニューラルネットワークによって生成した音響特徴量を用いて音声波形を合成している。 As a voice processing device in recent years, a device that synthesizes a voice using a neural network is known. In the technique described in Patent Document 1, a voice waveform is synthesized using the acoustic feature amount generated by the neural network.
しかし、特許文献1に記載された技術では、音響特徴量は時間軸上で独立に、もしくは逐次的に生成されるため、音声の時間構造を十分に表現できず、機械的で不自然な音声が生成されるおそれがある。そのため、音声の時間構造を適切に処理することができ、滑らかで自然な音声を合成可能な音声合成技術が望まれていた。 However, in the technique described in Patent Document 1, the acoustic feature amount is generated independently or sequentially on the time axis, so that the time structure of the voice cannot be sufficiently expressed, and a mechanical and unnatural voice is generated. May be generated. Therefore, there has been a demand for a speech synthesis technique capable of appropriately processing the temporal structure of speech and capable of synthesizing smooth and natural speech.
本発明は、上述の課題を解決するためになされたものであり、以下の形態として実現することが可能である。 The present invention has been made to solve the above problems, and can be realized as the following modes.
(1)本発明の一形態によれば、音声処理装置が提供される。この音声処理装置は、音声に関する多次元の第1特徴量を取得する取得部と、予め定められた第1期間毎に前記第1特徴量を多次元の第2特徴量に変換する第1変換部と、前記第2特徴量を、時系列的に前記第2特徴量を処理することができるニューラルネットワークを用いて、前記第1期間よりも長い第2期間毎に音声波形を生成するための音響特徴量に変換する第2変換部と、を備える。この形態の音声処理装置によれば、長い期間毎に第1特徴量が音響特徴量に変換されるため、この音響特徴量を用いて音声を合成すると滑らかで自然な音声を合成できる。
(2)上記形態の音声処理装置において、前記第2変換部は、前記ニューラルネットワークとして、畳み込みニューラルネットワークを用いて前記第2特徴量を前記音響特徴量に変換してもよい。この形態の音声処理装置によれば、既存の技術を利用して高品位に第2特徴量を音響特徴量に変換できる。
(3)上記形態の音声処理装置において、前記第2期間は可変長でもよい。この形態の音声処理装置によれば、任意の長さの音響特徴量に変換できる。
(4)上記形態の音声処理装置において、前記第2変換部は、前記第1特徴量における無音部分に応じて前記第2期間の長さを変化させてもよい。この形態の音声処理装置によれば、例えば、歌声を合成する場合に、フレーズ毎に合成ができる。
(5)上記形態の音声処理装置において、前記第1変換部は、フィードフォワードニューラルネットワークを用いて前記第1特徴量を前記第2特徴量に変換してもよい。この形態の音声処理装置によれば、高速に第1特徴量を第2特徴量に変換できる。
(6)上記形態の音声処理装置において、前記第2変換部は、前記第2特徴量に加えて前記第1特徴量に含まれる特定のパラメータを前記ニューラルネットワークに入力して、前記音響特徴量への変換を行ってもよい。この形態の音声処理装置によれば、補助情報として第1特徴量に含まれる特定のパラメータを第2特徴量に加えるため、合成音声の精度が向上する音響特徴量に変換できる。
(7)上記形態の音声処理装置において、前記パラメータは音高情報を含んでいてもよい。この形態の音声処理装置によれば、合成音声の音質が向上する音響特徴量に変換できる。
(8)上記形態の音声処理装置において、前記第1特徴量における無音部分の前記音高情報は、前後の音高情報により補間された情報でもよい。この形態の音声処理装置によれば、より合成音声の音質が向上する音響特徴量に変換できる。
(9)上記形態の音声処理装置において、前記第1特徴量は、少なくとも言語特徴量と楽譜特徴量と声質特徴量とのいずれか一つを含んでいてもよい。この形態の音声処理装置によれば、例えば、第1特徴量をテキスト音声合成や歌声合成や声質変換を行うための音響特徴量に変換できる。
(10)上記形態の音声処理装置において、更に、前記音響特徴量を用いて音声波形を生成するボコーダ部を備えてもよい。この形態の音声処理装置によれば、音響特徴量を用いて合成音声を生成できる。
(11)上記形態の音声処理装置において、更に、前記第1特徴量と前記音響特徴量との関係を教師有り機械学習によって学習して前記ニューラルネットワークに反映させる学習部を備えてもよい。この形態の音声処理装置によれば、第1特徴量と音響特徴量との関係を学習でき、第2変換部に学習結果を反映できる。また、第1変換部がニューラルネットワークを用いて変換を行う場合には、第1変換部にも学習結果を反映できる。
(12)上記形態の音声処理装置において、前記第2変換部は、前記第2特徴量を、前記第2特徴量の各次元のデータを前記第2期間の長さ分並べて表される2次元データとして用いて前記音響特徴量に変換する、音声処理装置。この形態の音声処理装置によれば、時間方向の変化を効果的に扱うことができる。
(13)音声処理装置であって、音声に関する多次元の特徴量を取得する取得部と、前記特徴量を予め定められた期間毎に畳み込みニューラルネットワークを用いて音声波形を生成するための音響特徴量に変換する変換部と、を備え、前記変換部は、前記特徴量を、前記特徴量の各次元のデータを前記期間の長さ分並べて表される2次元データとして用いて前記音響特徴量に変換する。この形態の音声処理装置によれば、時間方向の変化を効果的に扱うことができ、長い期間毎に音響特徴量に変換するため、この音響特徴量を用いて音声を合成すると滑らかで自然な音声を合成できる。
(1) According to one aspect of the present invention, a voice processing device is provided. This voice processing device includes an acquisition unit that acquires a multidimensional first feature amount related to voice, and a first conversion that converts the first feature amount into a multidimensional second feature amount for each predetermined first period. Part and a neural network capable of processing the second characteristic amount in time series, for generating the audio waveform for each second period longer than the first period. A second conversion unit for converting into an acoustic feature amount. According to the voice processing device of this aspect, since the first feature amount is converted into the acoustic feature amount every long period, when the voice is synthesized using this acoustic feature amount, a smooth and natural voice can be synthesized.
(2) In the speech processing device of the above mode, the second conversion unit may convert the second characteristic amount into the acoustic characteristic amount by using a convolutional neural network as the neural network. According to the audio processing device of this aspect, it is possible to convert the second feature quantity into the acoustic feature quantity with high quality by using the existing technology.
(3) In the audio processing device of the above aspect, the second period may have a variable length. According to the audio processing device of this aspect, it is possible to convert into an acoustic feature amount of an arbitrary length.
(4) In the audio processing device of the above aspect, the second conversion unit may change the length of the second period according to a silent portion in the first feature amount. According to the voice processing device of this aspect, for example, when synthesizing a singing voice, synthesis can be performed for each phrase.
(5) In the voice processing device of the above aspect, the first conversion unit may convert the first feature amount into the second feature amount using a feedforward neural network. According to the voice processing device of this aspect, the first feature amount can be converted into the second feature amount at high speed.
(6) In the audio processing device according to the above aspect, the second conversion unit inputs a specific parameter included in the first feature amount into the neural network in addition to the second feature amount, and the acoustic feature amount. May be converted to. According to the voice processing device of this aspect, since the specific parameter included in the first feature amount is added to the second feature amount as the auxiliary information, it can be converted into the acoustic feature amount in which the accuracy of the synthesized voice is improved.
(7) In the voice processing device according to the above aspect, the parameter may include pitch information. According to the voice processing device of this aspect, it is possible to convert to a sound feature amount that improves the sound quality of the synthesized voice.
(8) In the voice processing device according to the above aspect, the pitch information of the silent portion in the first feature amount may be information interpolated by preceding and following pitch information. According to the voice processing device of this aspect, it is possible to convert the sound feature amount that improves the sound quality of the synthesized voice.
(9) In the speech processing device of the above mode, the first feature amount may include at least one of a language feature amount, a score feature amount, and a voice quality feature amount. According to the voice processing device of this aspect, for example, the first feature amount can be converted into an acoustic feature amount for performing text voice synthesis, singing voice synthesis, or voice quality conversion.
(10) The voice processing device of the above aspect may further include a vocoder unit that generates a voice waveform using the acoustic feature amount. According to the speech processing apparatus of this aspect, it is possible to generate synthetic speech using the acoustic feature amount.
(11) The voice processing device of the above-described aspect may further include a learning unit that learns the relationship between the first feature quantity and the acoustic feature quantity by supervised machine learning and reflects the learned feature on the neural network. According to the voice processing device of this aspect, the relationship between the first feature amount and the acoustic feature amount can be learned, and the learning result can be reflected in the second conversion unit. Further, when the first conversion unit performs the conversion using the neural network, the learning result can be reflected in the first conversion unit.
(12) In the audio processing device according to the above aspect, the second conversion unit is a two-dimensional structure in which the second feature amount is represented by arranging data of each dimension of the second feature amount by the length of the second period. A voice processing device, which is used as data and converted into the acoustic feature amount. According to the voice processing device of this aspect, it is possible to effectively handle a change in the time direction.
(13) A voice processing device, comprising: an acquisition unit that acquires a multidimensional feature amount related to a voice, and an acoustic feature for generating a voice waveform by using a convolutional neural network for the feature amount for each predetermined period. A conversion unit for converting into a quantity, the conversion unit using the feature quantity as two-dimensional data represented by arranging data of each dimension of the feature quantity for the length of the period. Convert to. According to the voice processing device of this aspect, it is possible to effectively handle the change in the time direction and convert into the acoustic feature amount for each long period. Therefore, when the voice is synthesized using this acoustic feature amount, it is smooth and natural. Can synthesize voice.
なお、本発明は、種々の態様で実現することが可能である。例えば、この形態の音声処理装置を利用した音声処理システム、音声合成装置や音声合成システムの機能を実現するために情報処理装置において実行される方法、コンピュータプログラム、そのコンピュータプログラムを配布するためのサーバ装置、そのコンピュータプログラムを記憶した一時的でない記憶媒体等の形態で実現することができる。 The present invention can be realized in various modes. For example, a speech processing system using the speech processing apparatus of this aspect, a method executed in an information processing apparatus for realizing the functions of the speech synthesis apparatus and the speech synthesis system, a computer program, and a server for distributing the computer program. It can be implemented in the form of a device, a non-transitory storage medium storing the computer program thereof, or the like.
A.第1実施形態:
図1は、本発明の一実施形態における音声処理装置100の概要を示す説明図である。音声処理装置100は、取得部10と、第1変換部20と、第2変換部30と、ボコーダ部40と、学習部50と、音響モデル60と、を備える。取得部10と、第1変換部20と、第2変換部30と、ボコーダ部40と、学習部50とは、1以上のCPUがメモリに記憶されたプログラムを実行することにより、ソフトウェア的に実現される。なおこれらの一部または全部は、回路によってハードウェア的に実現されてもよい。
A. First embodiment:
FIG. 1 is an explanatory diagram showing an outline of a
取得部10は、音声に関する多次元の第1特徴量を取得する。第1特徴量の詳細については後述する。取得部10は、例えば、予め録音された音声の音声波形から周知の音声認識技術を用いて第1特徴量を抽出してもよく、発語対象のテキストや楽譜に応じて予め生成された第1特徴量を取得してもよい。
The
第1変換部20は、予め定められた第1期間毎に取得部10によって取得された第1特徴量を多次元の第2特徴量に変換する。第2特徴量とは、第2変換部30が音響特徴量への変換において扱いやすいデータである。本実施形態において、第1変換部20は、フィードフォワードニューラルネットワーク(Feedforward Neural Network(FFNN))を用いて第1特徴量を多次元の第2特徴量に変換する。第1変換部20は、FFNNに限られず、ロングショートタームメモリーネットワーク(Long short−term memory(LSTM))等の再起構造を持ったリカレントニューラルネットワーク(Recurrent Neural Network(RNN))を用いてもよく、隠れマルコフモデル(Hidden Markov Model(HMM))用いてもよい。また、これらを組み合わせて用いてもよい。
The
第2変換部30は、第1変換部20によって変換された第2特徴量を、時系列的に第2特徴量を処理することができるニューラルネットワークを用いて、第1期間よりも長い第2期間毎に音声波形を生成するための音響特徴量に変換する。音響特徴量の詳細については後述する。第2期間は、可変長でもよい。第2期間を可変長とする場合、第1特徴量における無音部分に応じて第2期間を変化させて設定することが好ましい。これにより、音響特徴量をフレーズ毎に生成することができる。本実施形態において、第2変換部30は、畳み込みニューラルネットワーク(Convolutional Neural Network(CNN))を用いて第2特徴量を音響特徴量に変換する。第2変換部30は、第2期間が可変等である場合は、Fully recurrent network(FRN)や、Fully Convolutional network(FCN)を用いる。また、第2変換部30は、CNNに限らず、RNNを用いてもよい。
The second conversion unit 30 uses the neural network capable of processing the second characteristic amount converted by the
ボコーダ部40は、第2変換部30によって変換された音響特徴量から音声波形を生成する。ボコーダ部40として、例えば、従来のボコーダ技術を用いてもよく、wavenet(非特許文献1記載)等のニューラルネットワークを用いたボコーダ技術を用いてもよい。音声処理装置100は、ボコーダ部40を備えていなくてもよい。その場合、音声波形の生成は外部の音声合成装置が行う。
The
学習部50は、第1特徴量と音響特徴量との関係を教師有り機械学習によって学習する。学習部50は、学習結果を第1変換部20のニューラルネットワークもしくは隠れマルコフモデル(HMM)といった統計モデルや第2変換部30で用いられるニューラルネットワークに反映させる。こうすることにより、第1変換部20や第2変換部30は、学習部50の学習結果を反映して変換を行うことができる。音声処理装置100は、学習部50を備えていなくてもよい。この場合、第1変換部20や第2変換部30は、外部の機械学習を行う学習装置等によって得られた学習結果を反映して変換を行うことができる。第1変換部20がニューラルネットワークを用いる場合、第2変換部30の用いるニューラルネットワークと連結して同時学習を行うことで、より高精度な学習を行うことができる。また、第1変換部20が用いるニューラルネットワークと、第2変換部30が用いるニューラルネットワークとのいずれか一方に、交互に学習結果を反映させてもよい。
The
図2は、歌声合成において、取得部10により取得される第1特徴量に含まれる多次元のパラメータの一例を示す図である。本実施形態において、第1特徴量は楽譜特徴量である。楽譜情報には、曲情報とフレーズ情報と音符情報とが含まれている。音符情報には,例えば、音符の長さや音高、フレーズ内における音符の位置等の情報が含まれている。言語情報には、音節情報と音素情報とが含まれている。音節情報は、例えば音素数や音符内における音節の位置等の情報が含まれている。音素情報は、例えば、種類(例えば、母音や有声子音、無声子音等)や音節内における音素の位置等の情報が含まれている。継続長情報は、音素内位置情報と状態内位置情報とが含まれている。音素内位置情報は、例えば、音素の開始位置からの長さや割合等の情報が含まれている。状態内位置情報は、例えば、状態の開始位置からの長さや割合等の情報が含まれている。
FIG. 2 is a diagram illustrating an example of multidimensional parameters included in the first feature amount acquired by the
図3は、第2変換部30により出力される音響特徴量における各種のパラメータの一例を示す図である。スペクトルパラメータとしては、メルケプストラムや線スペクトル対(Line Spectrum Pair(LSP))などがある。これらは、スペクトル情報と呼ばれることがある。音源情報としては、基本周波数は、一般に対数基本周波数として扱われており、その関連パラメータとしては、有声/無声の区別や、非周期性指標が考えられる。これらは音源情報と呼ばれることがある。なお、無声部分は対数基本周波数の値を持たないため、有声/無声の区別を音源情報に含める代わりに、無声部分に所定の定数を入れる等の方法によって有声/無声の区別を行ってもよい。また、更に、こうした音源情報、スペクトル情報の他に、本実施形態では、歌唱表現情報が音響特徴量に含まれる。 FIG. 3 is a diagram showing an example of various parameters in the acoustic feature quantity output by the second conversion unit 30. Examples of the spectrum parameter include a mel cepstrum and a line spectrum pair (Line Spectrum Pair (LSP)). These are sometimes called spectral information. As the sound source information, the fundamental frequency is generally treated as a logarithmic fundamental frequency, and as related parameters, voiced/unvoiced distinction and aperiodic index can be considered. These are sometimes called sound source information. Since the unvoiced part does not have a logarithmic fundamental frequency value, the voiced/unvoiced distinction may be made by a method such as inserting a predetermined constant in the unvoiced part instead of including the voiced/unvoiced distinction in the sound source information. .. Furthermore, in addition to such sound source information and spectrum information, in the present embodiment, singing expression information is included in the acoustic feature amount.
歌唱表現情報には、音高のビブラートの周期および振幅とその有無、音の大きさのビブラートの周期および振幅とその有無が、含まれている。なお、音高のビブラートの有無の区別を歌唱表現情報に含める代わりに、音高のビブラートが無い部分に所定の定数を入れる等の方法によって音高のビブラートの有無の区別を行ってもよい。同様に、音の大きさのビブラートの有無の区別を歌唱表現情報に含める代わりに、音の大きさのビブラートが無い部分に所定の定数を入れる等の方法によって音の大きさのビブラートの有無の区別を行ってもよい。 The singing expression information includes a pitch vibrato period and amplitude and presence/absence thereof, and a pitch vibrato period and amplitude and presence/absence thereof. Instead of including the presence/absence of pitch vibrato in the singing expression information, the presence/absence of pitch vibrato may be distinguished by a method such as inserting a predetermined constant in a portion without pitch vibrato. Similarly, instead of including the distinction of the presence or absence of the loudness of the loudness in the singing expression information, the presence or absence of the loudness of the vibrato is determined by a method such as inserting a predetermined constant in a portion without the loudness of the loudness You may make a distinction.
図4は、ディープニューラルネットワークによる第1特徴量の変換について説明するための説明図である。ディープニューラルネットワーク200は、人間の脳神経系における学習機構をモデルにしたネットワークである。ディープニューラルネットワーク200は、入力層L1と、複数の中間層L2と、出力層L3とを備える。中間層L2の数は任意に定める事ができる。
FIG. 4 is an explanatory diagram for explaining the conversion of the first feature amount by the deep neural network. The deep
入力層L1は、情報が入力される層である。中間層L2は、入力層L1から伝達される情報に基づいて特徴量の算出を行う層である。出力層L3は、中間層L2から伝達される情報に基づいて結果を出力する層である。各層には、複数のノードが含まれる。 The input layer L1 is a layer to which information is input. The middle layer L2 is a layer that calculates a feature amount based on the information transmitted from the input layer L1. The output layer L3 is a layer that outputs a result based on the information transmitted from the intermediate layer L2. Each layer includes multiple nodes.
ディープニューラルネットワーク200による変換について説明する。本実施形態において、第1変換部20はディープニューラルネットワーク200を用いて第1特徴量を第2特徴量に変換する。入力層L1は、図2に示した第1特徴量に含まれる複数のパラメータが入力されると、それらのパラメータを中間層L2に伝達する。中間層L2では、入力層L1から伝達されたパラメータに対して種々の演算が各層において段階的に行われる。出力層L3において、最終的に演算されたパラメータが、図3に示した第2特徴量として出力される。
The conversion by the deep
図5は、本実施形態における音声処理装置100を用いた音声合成処理を表すフローチャートである。まず、取得部10が、ステップS100で第1特徴量を取得する。次に、第1変換部20が、ステップS110において、ステップS100で取得した第1特徴量を第2特徴量に変換する。続いて、第2変換部30が、ステップS120において、ステップS110で変換した第2特徴量を音響特徴量に変換する。最後に、ボコーダ部40が、ステップS130において、ステップS120で変換した音響特徴量を用いて音声波形を生成する。
FIG. 5 is a flowchart showing a voice synthesis process using the
図6は、図5に示した音声合成処理を模式的に表した説明図である。図6に示すように、ステップS110において第1変換部20により、FFNNを用いて第1特徴量が第2特徴量に変換され、ステップS120において、第2変換部30により、CNNを用いて第2特徴量が音響特徴量に変換される。本実施形態において、第1変換部20によって変換される第1特徴量の第1期間は、例えば、5ミリ秒である。また、第2変換部30によって変換される第2特徴量の第2期間は、例えば、10秒である。つまり、第2変換部30は、第2特徴量を2000個束ねてCNNを用いて変換を行う。第2変換部30は、CNNにおいて、第2特徴量を第2特徴量の各次元のデータを第2期間の長さ分並べて表される2次元データD1として用いて、音響特徴量に変換する。2次元データD1は、本実施形態においては、第2特徴量を時系列順に2000個並べたデータである。つまり、[第2特徴量の各次元のデータ]×[時間]で表されたデータである。第2特徴量は2次元データD1に限られず、3次元以上の多次元データとして表されてもよい。CNNにおける入力データのサイズの概念は、画像処理が元となっているため、高さ、幅、チャンネル数(フィルタ数)の3次元である。本実施形態では、高さを1、幅を第2期間の長さ、チャンネル数を第2特徴量の次元数、としている。CNNの内部には、畳み込み(Convolution)により第2特徴量を畳み込んでいく部分を有する。加えて、畳み込みにより2次元データD1の列の大きさを小さくする部分と、逆畳み込み(fractionally−strided convolution)や転置畳み込み(transposed convolution)により元の第2期間数に戻すよう大きくする部分と、を有してもよい。
FIG. 6 is an explanatory diagram schematically showing the voice synthesis processing shown in FIG. As shown in FIG. 6, in step S110, the
以上で説明した本実施形態の音声処理装置100によれば、楽譜特徴量等の第1特徴量が表される時間単位である予め定められた第1期間よりも長い第2期間毎に音響特徴量に変換するため、この音響特徴量を用いて音声を合成すると滑らかで自然な音声を合成できる。また、第2変換部30は、第2特徴量を第2特徴量の各次元のデータを第2期間に含まれる第1期間の数分並べて表される2次元データD1として用いて音響特徴量に変換しているため、時間方向の変化を効果的に扱うことができる。より具体的には、例えば、第2特徴量を第2期間分の各次元のデータを並べて表される1次元データとして用いる場合と比較して、各次元のデータの時間方向での変化をより効果的に学習できる。また、第2変換部30は、CNNを用いて変換を行うため、既存の技術を利用して高品位に第2特徴量を音響特徴量に変換できる。
According to the
また、本実施形態では、第1変換部20は、FFNNを用いて第1特徴量を第2特徴量に変換しているため、高速に変換できる。
In addition, in the present embodiment, the
実験結果:
図7は、生成した音声波形に対する主観評価実験の実験結果である平均オピニオン評点(Mean Opinion Score(MOS))を示した図である。本実験において、4手法の合成音声の品質を、「1:非常に悪い、2:悪い、3:普通、4:良い、5:非常に良い」の5段階の主観評価実験によって評価した。被験者は15人であり、各被験者はテストデータである5曲から各手法につき10フレーズを評価した。評価対象である合成音声の音声波形は、4手法とも同じ第1特徴量を用いて生成した。
Experimental result:
FIG. 7: is the figure which showed the mean opinion score (Mean Opinion Score) which is the experimental result of the subjective evaluation experiment with respect to the produced|generated voice waveform. In this experiment, the quality of the synthesized speech of the four methods was evaluated by a five-level subjective evaluation experiment of "1: very bad, 2: bad, 3: normal, 4: good, 5: very good". There were 15 test subjects, and each test subject evaluated 10 phrases for each method from 5 pieces of test data. The speech waveform of the synthetic speech to be evaluated was generated using the same first feature amount in all four methods.
実施例1および実施例2は、上述した実施形態1の音声処理装置100によって第1特徴量を変換した音響特徴量、より具体的には、第2変換部30がCNNを用いて第2特徴量を変換した音響特徴量を用いて、音声波形を生成した。比較例1および比較例2は、第2変換部30がFFNNを用いて第2特徴量を変換した音響特徴量を用いて音声波形を生成した。また、実施例1および比較例1は、従来のボコーダ技術であるMLSAフィルタを用いて音響特徴量から音声波形を生成し、実施例2および比較例2は、wavenetを用いて音響特徴量から音声波形を生成した。図7に示すように、第2変換部30がCNNを用いた実施例1、実施例2のスコアは、第2変換部30がFFNNを用いた比較例1、比較例2のスコアよりも高かった。つまり、第2変換部30が上記実施形態に従ってCNNを用いて変換を行うと、より高品位に第2特徴量を音響特徴量に変換できる。
Example 1 and Example 2 are acoustic feature amounts obtained by converting the first feature amount by the
B.第2実施形態:
図8は、第2実施形態におけるCNNの説明図である。第2実施形態のCNNは、図8においてハッチングで示すように、第2特徴量に加えて第1特徴量に含まれる特定のパラメータを入力層に入力して用いる点が第1実施形態と異なる。第2実施形態の音声処理装置100の構成は、第1実施形態の音声処理装置100の構成と同様であるため、構成の説明は省略する。
B. Second embodiment:
FIG. 8 is an explanatory diagram of the CNN in the second embodiment. As shown by hatching in FIG. 8, the CNN of the second embodiment is different from the first embodiment in that, in addition to the second feature amount, a specific parameter included in the first feature amount is input to the input layer and used. .. The configuration of the
本実施形態において、第1特徴量に含まれる特定のパラメータは、音高情報である。「音高情報」とは、楽譜情報における音高の対数基本周波数の情報である。音高情報は、第1特徴量における無音部分が、時間軸における前後の第1特徴量の音高情報によって補間されていることが好ましい。パラメータの他の例として、例えば、MIDIの音高番号や、音素情報が挙げられる。 In the present embodiment, the specific parameter included in the first feature amount is pitch information. The “pitch information” is information on the logarithmic fundamental frequency of the pitch in the score information. In the pitch information, it is preferable that the silent portion in the first feature amount is interpolated by the pitch information of the first feature amount before and after the time feature. Other examples of parameters include MIDI pitch numbers and phoneme information.
図9は、音高情報を補間した場合の一例を示す説明図である。図9に示す音高情報は、縦軸が対数基本周波数を示し、横軸が時間を示す。図9では、無音部分であるn番目(nは2以上の整数)の音符nにおける第1特徴量の音高情報が、音符n−1における第1特徴量の音高情報P0と音符n+1における第1特徴量の音高情報P2とを用いて音高情報P1に線形補間されている。なお、音高情報の補間は、線形補間に限らず、スプライン補間やラグランジュ補間等の他の補間手法を適用してもよい。 FIG. 9 is an explanatory diagram showing an example in which pitch information is interpolated. In the pitch information shown in FIG. 9, the vertical axis represents the logarithmic fundamental frequency and the horizontal axis represents time. In FIG. 9, the pitch information of the first feature amount at the n-th (n is an integer of 2 or more) note n, which is a silent portion, is the pitch information P0 and the note n+1 of the first feature amount at the note n-1. It is linearly interpolated to the pitch information P1 using the pitch information P2 of the first characteristic amount. Note that the pitch information interpolation is not limited to linear interpolation, and other interpolation methods such as spline interpolation and Lagrange interpolation may be applied.
以上で説明した本実施形態の音声処理装置100によれば、補助情報として第1特徴量に含まれるパラメータである音高情報を第2特徴量に加えるため、合成音声の音質が向上する音響特徴量に変換できる。なお、音高情報は入力層ではなく、中間層に入力してもよい。
According to the
C.その他の実施形態:
上記実施形態において、取得部10が取得する第1特徴量は、楽譜特徴量である。この代わりに、取得部10は、第1特徴量として言語特徴量を取得してもよい。言語特徴量は、図2に示した楽譜特徴量から楽譜情報が省略され、品詞やアクセント等の情報が追加された多次元のパラメータである。この形態によれば、歌声ではない、単なるテキスト合成音声を行うための音響特徴量を生成できる。また、取得部10は、第1特徴量として声質特徴量を取得してもよい。声質特徴量は、他人の声から抽出した音響特徴量である。この形態によれば、ある話者の音響特徴量から、他の話者の音響特徴量へと変換する声質変換を行うための音響特徴量を生成できる。
C. Other embodiments:
In the above embodiment, the first characteristic amount acquired by the
また、上記実施形態において、音声処理装置100は、第1変換部20による変換と第2変換部30による変換とによって第1特徴量を音響特徴量に変換している。この代わりに、第2変換部30が直接第1特徴量から音響特徴量に変換してもよい。この場合、第2変換部30は、CNNにより、第1特徴量を、第1特徴量の各次元のデータを予め定めた期間の長さ分並べて表される2次元データとして用いて変換を行う。
Further, in the above embodiment, the
また、上記実施形態において、第1変換部20は、FFNNを用いて第1特徴量を第2特徴量に変換している。第1変換部20は、FFNNにおいて、中間層L2において無作為にまたは任意に選んだノードの情報を伝達しないドロップアウトを行ってもよい。これにより、FFNNにおけるロバスト性を向上させることができる。
Further, in the above-described embodiment, the
また、上記実施形態において、第1変換部20および第2変換部30は、ニューラルネットワークにおいて、任意の層に入力されたパラメータを変換せずに次の層に伝える経路を追加した、スキップ構造であってもよい。これにより、任意のパラメータの情報を損なわずに、伝搬することができる。例えば、第1変換部20のFFNNでは第1特徴量における音高情報P0をスキップし、第2変換部30のCNNにおいて、変換されてない音高情報P0を含む第2特徴量を音響特徴量に変換してもよい。また、第2変換部30のニューラルネットワークにスキップ構造を加えることで、中間層の数を増加しても、入力した任意のパラメータの情報(例えば、楽譜の音高情報)を損なわずに、伝搬することができる。
In addition, in the above-described embodiment, the
また、上記実施形態において、学習部50は、第2変換部30の生成した音響特徴量と教師データとに対して、一次微分や二次微分である時間変動を考慮するために用いられる動的特徴量を求め、これらを比較した学習結果をニューラルネットワークに反映してもよい。これにより、第1期間毎の時間変動における音響特徴量の関係がより考慮されるため、滑らかで自然な音声を合成できる。また、上記実施形態において、第2変換部30は、動的特徴量を生成していないが、動的特徴量を生成してもよい。この場合、ボコーダ部40は、音響特徴量に含まれる静的特徴量と動的特徴量から、これらの関係を考慮したパラメータ生成を行い、音声波形を生成できる。これにより、ボコーダ部40は、第2変換部30によって生成された動的特徴量を考慮して、静的特徴量を補正することができるため、より滑らかで自然な音声を合成できる。また、学習部50は、第2変換部30が生成する動的特徴量を含めて、音響特徴量における静的特徴量と動的特徴量との関係を教師有り機械学習によって学習することができる。
Further, in the above-described embodiment, the
本発明は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態中の技術的特徴は、上述した課題を解決するために、あるいは上述の効果の一部又は全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜削除することが可能である。 The present invention is not limited to the above-described embodiments, and can be implemented with various configurations without departing from the spirit of the present invention. For example, the technical features in the embodiments corresponding to the technical features in each mode described in the section of the summary of the invention are to solve the above-described problems or to achieve a part or all of the above-described effects. In addition, it is possible to appropriately replace or combine them. If the technical features are not described as essential in this specification, they can be deleted as appropriate.
10…取得部、20…第1変換部、30…第2変換部、40…ボコーダ部、50…学習部、60…音響モデル、100…音声処理装置、200…ディープニューラルネットワーク、D1…2次元データ、L1…入力層、L2…中間層、L3…出力層 10... Acquisition unit, 20... First conversion unit, 30... Second conversion unit, 40... Vocoder unit, 50... Learning unit, 60... Acoustic model, 100... Speech processing device, 200... Deep neural network, D1... Two-dimensional Data, L1... Input layer, L2... Intermediate layer, L3... Output layer
Claims (14)
音声に関する多次元の第1特徴量を取得する取得部と、
予め定められた第1期間毎に前記第1特徴量を多次元の第2特徴量に変換する第1変換部と、
前記第2特徴量を、時系列的に前記第2特徴量を処理することができるニューラルネットワークを用いて、前記第1期間よりも長い第2期間毎に音声波形を生成するための音響特徴量に変換する第2変換部と、を備える音声処理装置。 A voice processing device,
An acquisition unit that acquires a multidimensional first feature amount relating to voice;
A first conversion unit that converts the first feature quantity into a multidimensional second feature quantity for each predetermined first period;
An acoustic feature amount for generating a voice waveform for each second period longer than the first period by using a neural network capable of processing the second feature amount in time series. And a second conversion unit for converting into a voice processing device.
前記第2変換部は、前記ニューラルネットワークとして、畳み込みニューラルネットワークを用いて前記第2特徴量を前記音響特徴量に変換する、音声処理装置。 The voice processing device according to claim 1, wherein
The speech processing apparatus, wherein the second conversion unit converts the second feature quantity into the acoustic feature quantity by using a convolutional neural network as the neural network.
前記第2期間は可変長である、音声処理装置。 The voice processing device according to claim 2, wherein
The audio processing device, wherein the second period has a variable length.
前記第2変換部は、前記第1特徴量における無音部分に応じて前記第2期間の長さを変化させる、音声処理装置。 The voice processing device according to claim 3,
The second processing unit is a voice processing device, which changes the length of the second period according to a silent portion in the first feature amount.
前記第1変換部は、フィードフォワードニューラルネットワークを用いて前記第1特徴量を前記第2特徴量に変換する、音声処理装置。 The voice processing device according to any one of claims 1 to 4,
The said 1st conversion part is a speech processing apparatus which converts the said 1st feature-value into the said 2nd feature-value using a feedforward neural network.
前記第2変換部は、前記第2特徴量に加えて前記第1特徴量に含まれる特定のパラメータを前記ニューラルネットワークに入力して、前記音響特徴量への変換を行う、音声処理装置。 The voice processing device according to any one of claims 1 to 5,
The said 2nd conversion part is a speech processing apparatus which inputs into the said neural network the specific parameter contained in the said 1st characteristic amount in addition to the said 2nd characteristic amount, and converts into the said acoustic characteristic amount.
前記特定のパラメータは音高情報である、音声処理装置。 The voice processing device according to claim 6,
The voice processing device, wherein the specific parameter is pitch information.
前記第1特徴量における無音部分の前記音高情報は、前後の音高情報により補間された情報である、音声処理装置。 The voice processing device according to claim 7, wherein
The voice processing device, wherein the pitch information of the silent portion in the first feature amount is information interpolated by preceding and following pitch information.
前記第1特徴量は、少なくとも言語特徴量と楽譜特徴量と声質特徴量とのいずれか一つを含む、音声処理装置。 The voice processing device according to any one of claims 1 to 8,
The voice processing device, wherein the first feature amount includes at least one of a language feature amount, a score feature amount, and a voice quality feature amount.
前記音響特徴量を用いて音声波形を生成するボコーダ部を備える、音声処理装置。 The audio processing device according to any one of claims 1 to 9, further comprising:
A voice processing device comprising a vocoder unit that generates a voice waveform using the acoustic feature amount.
前記第1特徴量と前記音響特徴量との関係を教師有り機械学習によって学習して前記ニューラルネットワークに反映させる学習部を備える、音声処理装置。 The voice processing device according to any one of claims 1 to 10, further comprising:
A speech processing apparatus comprising: a learning unit that learns the relationship between the first feature quantity and the acoustic feature quantity by supervised machine learning and reflects the learned feature on the neural network.
前記第2変換部は、前記第2特徴量を、前記第2特徴量の各次元のデータを前記第2期間の長さ分並べて表される2次元データとして用いて前記音響特徴量に変換する、音声処理装置。 The voice processing device according to any one of claims 1 to 11,
The second conversion unit converts the second feature amount into the acoustic feature amount using two-dimensional data in which each dimension data of the second feature amount is arranged and arranged for the length of the second period. , Voice processing device.
音声に関する多次元の第1特徴量を取得する取得工程と、
予め定められた第1期間毎に前記第1特徴量を多次元の第2特徴量に変換する第1変換工程と、
前記第2特徴量を時系列的に前記第2特徴量を処理することができるニューラルネットワークを用いて、前記第1期間よりも長い第2期間毎に音声波形を生成するための音響特徴量に変換する第2変換工程と、を備える音声処理方法。 A voice processing method,
An acquisition step of acquiring a multidimensional first feature amount relating to voice;
A first conversion step of converting the first feature quantity into a multidimensional second feature quantity for each predetermined first period;
A neural network capable of processing the second feature amount in time series is used as an acoustic feature amount for generating a speech waveform for each second period longer than the first period. A second conversion step of converting, a voice processing method.
音声に関する多次元の特徴量を取得する取得部と、
前記特徴量を予め定められた期間毎に畳み込みニューラルネットワークを用いて音声波形を生成するための音響特徴量に変換する変換部と、を備え、
前記変換部は、前記特徴量を、前記特徴量の各次元のデータを前記期間の長さ分並べて表される2次元データとして用いて前記音響特徴量に変換する、音声処理装置。 A voice processing device,
An acquisition unit that acquires a multidimensional feature amount related to voice,
A conversion unit that converts the characteristic amount into an acoustic characteristic amount for generating a voice waveform using a convolutional neural network for each predetermined period;
The audio processing device, wherein the conversion unit converts the feature quantity into the acoustic feature quantity using two-dimensional data represented by arranging data of each dimension of the feature quantity for the length of the period.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019009182A JP6552146B1 (en) | 2019-01-23 | 2019-01-23 | Audio processing apparatus and audio processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019009182A JP6552146B1 (en) | 2019-01-23 | 2019-01-23 | Audio processing apparatus and audio processing method |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019122680A Division JP7280605B2 (en) | 2019-07-01 | 2019-07-01 | Speech processing device and speech processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6552146B1 JP6552146B1 (en) | 2019-07-31 |
JP2020118828A true JP2020118828A (en) | 2020-08-06 |
Family
ID=67473394
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019009182A Active JP6552146B1 (en) | 2019-01-23 | 2019-01-23 | Audio processing apparatus and audio processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6552146B1 (en) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6399715B1 (en) * | 2017-11-15 | 2018-10-03 | 株式会社テクノスピーチ | Singing support device and karaoke device |
-
2019
- 2019-01-23 JP JP2019009182A patent/JP6552146B1/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6399715B1 (en) * | 2017-11-15 | 2018-10-03 | 株式会社テクノスピーチ | Singing support device and karaoke device |
Non-Patent Citations (5)
Title |
---|
大浦 圭一郎: "統計モデルに基づいた歌声合成技術の最先端", 電子情報通信学会誌, vol. 第98巻,第6号, JPN6019009112, 1 June 2015 (2015-06-01), JP, ISSN: 0003998444 * |
太田悠平,外2名: "F0量子化と非パラレル学習に基づく声質変換の評価", 電子情報通信学会技術研究報告, vol. 第109巻,第376号, JPN6019009110, 14 January 2010 (2010-01-14), JP, pages 27 - 32, ISSN: 0003998443 * |
本郷康貴,外4名: "ディープニューラルネットワークに基づく歌声合成の検討", 日本音響学会講演論文集, JPN6019009115, 11 March 2016 (2016-03-11), JP, pages 295 - 296, ISSN: 0003998445 * |
橋本佳,外3名: "ニューラルネットワークに基づく音声合成における生成モデルの利用の検討", 日本音響学会講演論文集, JPN6019009107, 5 September 2014 (2014-09-05), JP, pages 245 - 246, ISSN: 0003998441 * |
高木信二: "とてもDeepなテキスト音声合成", 電子情報通信学会技術研究報告, vol. 第116巻,第414号, JPN6019009108, 14 January 2017 (2017-01-14), JP, pages 41 - 46, ISSN: 0003998442 * |
Also Published As
Publication number | Publication date |
---|---|
JP6552146B1 (en) | 2019-07-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Lu et al. | Xiaoicesing: A high-quality and integrated singing voice synthesis system | |
JP5471858B2 (en) | Database generating apparatus for singing synthesis and pitch curve generating apparatus | |
JP6342428B2 (en) | Speech synthesis apparatus, speech synthesis method and program | |
US11763797B2 (en) | Text-to-speech (TTS) processing | |
JP2007249212A (en) | Method, computer program and processor for text speech synthesis | |
JP3732793B2 (en) | Speech synthesis method, speech synthesis apparatus, and recording medium | |
JP6578544B1 (en) | Audio processing apparatus and audio processing method | |
JP6552146B1 (en) | Audio processing apparatus and audio processing method | |
JP7280605B2 (en) | Speech processing device and speech processing method | |
JP7339151B2 (en) | Speech synthesizer, speech synthesis program and speech synthesis method | |
JP2020204755A (en) | Speech processing device and speech processing method | |
JP2020134920A (en) | Speech processor and speech processing method | |
JP2011090218A (en) | Phoneme code-converting device, phoneme code database, and voice synthesizer | |
JP6587308B1 (en) | Audio processing apparatus and audio processing method | |
JP6163454B2 (en) | Speech synthesis apparatus, method and program thereof | |
JP2002123280A (en) | Speech synthesis method, speech synthesizer, and recording medium recording speech synthesis processing program | |
WO2023182291A1 (en) | Speech synthesis device, speech synthesis method, and program | |
US20230260493A1 (en) | Sound synthesizing method and program | |
JP2018205654A (en) | Speech synthesis learning device, speech synthesis device, method and program thereof | |
JP2011191528A (en) | Rhythm creation device and rhythm creation method | |
WO2023171497A1 (en) | Acoustic generation method, acoustic generation system, and program | |
JP2679623B2 (en) | Text-to-speech synthesizer | |
JP2018004997A (en) | Voice synthesizer and program | |
JPH11161297A (en) | Method and device for voice synthesizer | |
Le Beux et al. | Calliphony: a real-time intonation controller for expressive speech synthesis. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190128 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190128 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20190308 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190319 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190509 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190625 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190701 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6552146 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |