JP2020118950A - Speech processing device and speech processing method - Google Patents
Speech processing device and speech processing method Download PDFInfo
- Publication number
- JP2020118950A JP2020118950A JP2019122680A JP2019122680A JP2020118950A JP 2020118950 A JP2020118950 A JP 2020118950A JP 2019122680 A JP2019122680 A JP 2019122680A JP 2019122680 A JP2019122680 A JP 2019122680A JP 2020118950 A JP2020118950 A JP 2020118950A
- Authority
- JP
- Japan
- Prior art keywords
- feature amount
- processing device
- voice
- voice processing
- period
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Auxiliary Devices For Music (AREA)
- Telephonic Communication Services (AREA)
Abstract
Description
本発明は、音声処理装置、および音声処理方法に関する。 The present invention relates to a voice processing device and a voice processing method.
近年の音声処理装置として、ニューラルネットワークを用いて音声を合成するものが知られている。特許文献１に記載された技術では、ニューラルネットワークによって生成した音響特徴量を用いて音声波形を合成している。 As a voice processing device in recent years, a device that synthesizes a voice using a neural network is known. In the technique described in Patent Document 1, a voice waveform is synthesized using the acoustic feature amount generated by the neural network.
しかし、特許文献１に記載された技術では、音響特徴量は時間軸上で独立に、もしくは逐次的に生成されるため、音声の時間構造を十分に表現できず、機械的で不自然な音声が生成されるおそれがある。そのため、音声の時間構造を適切に処理することができ、滑らかで自然な音声を合成可能な音声合成技術が望まれていた。 However, in the technique described in Patent Document 1, the acoustic feature amount is generated independently or sequentially on the time axis, so that the time structure of the voice cannot be sufficiently expressed, and a mechanical and unnatural voice is generated. May be generated. Therefore, there has been a demand for a speech synthesis technique capable of appropriately processing the temporal structure of speech and capable of synthesizing smooth and natural speech.
本発明は、上述の課題を解決するためになされたものであり、以下の形態として実現することが可能である。 The present invention has been made to solve the above problems, and can be realized as the following modes.
（１）本発明の一形態によれば、音声処理装置が提供される。この音声処理装置は、音声に関する多次元の第１特徴量を取得する取得部と、予め定められた第１期間毎に前記第１特徴量を多次元の第２特徴量に変換する第１変換部と、前記第２特徴量を、時系列的に前記第２特徴量を処理することができるニューラルネットワークを用いて、前記第１期間よりも長い第２期間毎に音声波形を生成するための音響特徴量に変換する第２変換部と、を備える。この形態の音声処理装置によれば、長い期間毎に第１特徴量が音響特徴量に変換されるため、この音響特徴量を用いて音声を合成すると滑らかで自然な音声を合成できる。
（２）上記形態の音声処理装置において、前記第２変換部は、前記ニューラルネットワークとして、畳み込みニューラルネットワークを用いて前記第２特徴量を前記音響特徴量に変換してもよい。この形態の音声処理装置によれば、既存の技術を利用して高品位に第２特徴量を音響特徴量に変換できる。
（３）上記形態の音声処理装置において、前記第２期間は可変長でもよい。この形態の音声処理装置によれば、任意の長さの音響特徴量に変換できる。
（４）上記形態の音声処理装置において、前記第２変換部は、前記第１特徴量における無音部分に応じて前記第２期間の長さを変化させてもよい。この形態の音声処理装置によれば、例えば、歌声を合成する場合に、フレーズ毎に合成ができる。
（５）上記形態の音声処理装置において、前記第１変換部は、フィードフォワードニューラルネットワークを用いて前記第１特徴量を前記第２特徴量に変換してもよい。この形態の音声処理装置によれば、高速に第１特徴量を第２特徴量に変換できる。
（６）上記形態の音声処理装置において、前記第２変換部は、前記第２特徴量に加えて前記第１特徴量に含まれる特定のパラメータを前記ニューラルネットワークに入力して、前記音響特徴量への変換を行ってもよい。この形態の音声処理装置によれば、補助情報として第１特徴量に含まれる特定のパラメータを第２特徴量に加えるため、合成音声の精度が向上する音響特徴量に変換できる。
（７）上記形態の音声処理装置において、前記パラメータは音高情報を含んでいてもよい。この形態の音声処理装置によれば、合成音声の音質が向上する音響特徴量に変換できる。
（８）上記形態の音声処理装置において、前記第１特徴量における無音部分の前記音高情報は、前後の音高情報により補間された情報でもよい。この形態の音声処理装置によれば、より合成音声の音質が向上する音響特徴量に変換できる。
（９）上記形態の音声処理装置において、前記第１特徴量は、少なくとも言語特徴量と楽譜特徴量と声質特徴量とのいずれか一つを含んでいてもよい。この形態の音声処理装置によれば、例えば、第１特徴量をテキスト音声合成や歌声合成や声質変換を行うための音響特徴量に変換できる。
（１０）上記形態の音声処理装置において、更に、前記音響特徴量を用いて音声波形を生成するボコーダ部を備えてもよい。この形態の音声処理装置によれば、音響特徴量を用いて合成音声を生成できる。
（１１）上記形態の音声処理装置において、更に、前記第１特徴量と前記音響特徴量との関係を教師有り機械学習によって学習して前記ニューラルネットワークに反映させる学習部を備えてもよい。この形態の音声処理装置によれば、第１特徴量と音響特徴量との関係を学習でき、第２変換部に学習結果を反映できる。また、第１変換部がニューラルネットワークを用いて変換を行う場合には、第１変換部にも学習結果を反映できる。
（１２）上記形態の音声処理装置において、前記第２変換部は、前記第２特徴量を、前記第２特徴量の各次元のデータを前記第２期間の長さ分並べて表される２次元データとして用いて前記音響特徴量に変換する、音声処理装置。この形態の音声処理装置によれば、時間方向の変化を効果的に扱うことができる。
（１３）音声処理装置であって、音声に関する多次元の特徴量を取得する取得部と、前記特徴量を予め定められた期間毎に畳み込みニューラルネットワークを用いて音声波形を生成するための音響特徴量に変換する変換部と、を備え、前記変換部は、前記特徴量を、前記特徴量の各次元のデータを前記期間の長さ分並べて表される２次元データとして用いて前記音響特徴量に変換する。この形態の音声処理装置によれば、時間方向の変化を効果的に扱うことができ、長い期間毎に音響特徴量に変換するため、この音響特徴量を用いて音声を合成すると滑らかで自然な音声を合成できる。
(1) According to one aspect of the present invention, a voice processing device is provided. This voice processing device includes an acquisition unit that acquires a multidimensional first feature amount related to voice, and a first conversion that converts the first feature amount into a multidimensional second feature amount for each predetermined first period. Part and a neural network capable of processing the second characteristic amount in time series, for generating the audio waveform for each second period longer than the first period. A second conversion unit for converting into an acoustic feature amount. According to the voice processing device of this aspect, since the first feature amount is converted into the acoustic feature amount every long period, when the voice is synthesized using this acoustic feature amount, a smooth and natural voice can be synthesized.
(2) In the speech processing device of the above mode, the second conversion unit may convert the second characteristic amount into the acoustic characteristic amount by using a convolutional neural network as the neural network. According to the audio processing device of this aspect, it is possible to convert the second feature quantity into the acoustic feature quantity with high quality by using the existing technology.
(3) In the audio processing device of the above aspect, the second period may have a variable length. According to the audio processing device of this aspect, it is possible to convert into an acoustic feature amount of an arbitrary length.
(4) In the audio processing device of the above aspect, the second conversion unit may change the length of the second period according to a silent portion in the first feature amount. According to the voice processing device of this aspect, for example, when synthesizing a singing voice, synthesis can be performed for each phrase.
(5) In the voice processing device of the above aspect, the first conversion unit may convert the first feature amount into the second feature amount using a feedforward neural network. According to the voice processing device of this aspect, the first feature amount can be converted into the second feature amount at high speed.
(6) In the audio processing device according to the above aspect, the second conversion unit inputs a specific parameter included in the first feature amount into the neural network in addition to the second feature amount, and the acoustic feature amount. May be converted to. According to the voice processing device of this aspect, since the specific parameter included in the first feature amount is added to the second feature amount as the auxiliary information, it can be converted into the acoustic feature amount in which the accuracy of the synthesized voice is improved.
(7) In the voice processing device according to the above aspect, the parameter may include pitch information. According to the voice processing device of this aspect, it is possible to convert to a sound feature amount that improves the sound quality of the synthesized voice.
(8) In the voice processing device according to the above aspect, the pitch information of the silent portion in the first feature amount may be information interpolated by preceding and following pitch information. According to the voice processing device of this aspect, it is possible to convert the sound feature amount that improves the sound quality of the synthesized voice.
(9) In the speech processing device of the above mode, the first feature amount may include at least one of a language feature amount, a score feature amount, and a voice quality feature amount. According to the voice processing device of this aspect, for example, the first feature amount can be converted into an acoustic feature amount for performing text voice synthesis, singing voice synthesis, or voice quality conversion.
(10) The voice processing device of the above aspect may further include a vocoder unit that generates a voice waveform using the acoustic feature amount. According to the speech processing apparatus of this aspect, it is possible to generate synthetic speech using the acoustic feature amount.
(11) The voice processing device of the above-described aspect may further include a learning unit that learns the relationship between the first feature quantity and the acoustic feature quantity by supervised machine learning and reflects the learned feature on the neural network. According to the voice processing device of this aspect, the relationship between the first feature amount and the acoustic feature amount can be learned, and the learning result can be reflected in the second conversion unit. Further, when the first conversion unit performs the conversion using the neural network, the learning result can be reflected in the first conversion unit.
(12) In the audio processing device according to the above aspect, the second conversion unit is a two-dimensional structure in which the second feature amount is represented by arranging data of each dimension of the second feature amount by the length of the second period. A voice processing device, which is used as data and converted into the acoustic feature amount. According to the voice processing device of this aspect, it is possible to effectively handle a change in the time direction.
(13) A voice processing device, comprising: an acquisition unit that acquires a multidimensional feature amount related to a voice, and an acoustic feature for generating a voice waveform by using a convolutional neural network for the feature amount for each predetermined period. A conversion unit for converting into a quantity, the conversion unit using the feature quantity as two-dimensional data represented by arranging data of each dimension of the feature quantity for the length of the period. Convert to. According to the voice processing device of this aspect, it is possible to effectively handle the change in the time direction and convert into the acoustic feature amount for each long period. Therefore, when the voice is synthesized using this acoustic feature amount, it is smooth and natural. Can synthesize voice.
なお、本発明は、種々の態様で実現することが可能である。例えば、この形態の音声処理装置を利用した音声処理システム、音声合成装置や音声合成システムの機能を実現するために情報処理装置において実行される方法、コンピュータプログラム、そのコンピュータプログラムを配布するためのサーバ装置、そのコンピュータプログラムを記憶した一時的でない記憶媒体等の形態で実現することができる。 The present invention can be realized in various modes. For example, a speech processing system using the speech processing apparatus of this aspect, a method executed in an information processing apparatus for realizing the functions of the speech synthesis apparatus and the speech synthesis system, a computer program, and a server for distributing the computer program. It can be implemented in the form of a device, a non-transitory storage medium storing the computer program thereof, or the like.
Ａ．第１実施形態：
図１は、本発明の一実施形態における音声処理装置１００の概要を示す説明図である。音声処理装置１００は、取得部１０と、第１変換部２０と、第２変換部３０と、ボコーダ部４０と、学習部５０と、音響モデル６０と、を備える。取得部１０と、第１変換部２０と、第２変換部３０と、ボコーダ部４０と、学習部５０とは、１以上のＣＰＵがメモリに記憶されたプログラムを実行することにより、ソフトウェア的に実現される。なおこれらの一部または全部は、回路によってハードウェア的に実現されてもよい。
A. First embodiment:
FIG. 1 is an explanatory diagram showing an outline of a
取得部１０は、音声に関する多次元の第１特徴量を取得する。第１特徴量の詳細については後述する。取得部１０は、例えば、予め録音された音声の音声波形から周知の音声認識技術を用いて第１特徴量を抽出してもよく、発語対象のテキストや楽譜に応じて予め生成された第１特徴量を取得してもよい。
The
第１変換部２０は、予め定められた第１期間毎に取得部１０によって取得された第１特徴量を多次元の第２特徴量に変換する。第２特徴量とは、第２変換部３０が音響特徴量への変換において扱いやすいデータである。本実施形態において、第１変換部２０は、フィードフォワードニューラルネットワーク（Ｆｅｅｄｆｏｒｗａｒｄ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＦＦＮＮ））を用いて第１特徴量を多次元の第２特徴量に変換する。第１変換部２０は、ＦＦＮＮに限られず、ロングショートタームメモリーネットワーク（Ｌｏｎｇ ｓｈｏｒｔ−ｔｅｒｍ ｍｅｍｏｒｙ（ＬＳＴＭ））等の再起構造を持ったリカレントニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＲＮＮ））を用いてもよく、隠れマルコフモデル（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ（ＨＭＭ））用いてもよい。また、これらを組み合わせて用いてもよい。
The
第２変換部３０は、第１変換部２０によって変換された第２特徴量を、時系列的に第２特徴量を処理することができるニューラルネットワークを用いて、第１期間よりも長い第２期間毎に音声波形を生成するための音響特徴量に変換する。音響特徴量の詳細については後述する。第２期間は、可変長でもよい。第２期間を可変長とする場合、第１特徴量における無音部分に応じて第２期間を変化させて設定することが好ましい。これにより、音響特徴量をフレーズ毎に生成することができる。本実施形態において、第２変換部３０は、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＣＮＮ））を用いて第２特徴量を音響特徴量に変換する。第２変換部３０は、第２期間が可変等である場合は、Ｆｕｌｌｙ ｒｅｃｕｒｒｅｎｔ ｎｅｔｗｏｒｋ（ＦＲＮ）や、Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋ（ＦＣＮ）を用いる。また、第２変換部３０は、ＣＮＮに限らず、ＲＮＮを用いてもよい。
The second conversion unit 30 uses the neural network capable of processing the second characteristic amount converted by the
ボコーダ部４０は、第２変換部３０によって変換された音響特徴量から音声波形を生成する。ボコーダ部４０として、例えば、従来のボコーダ技術を用いてもよく、ｗａｖｅｎｅｔ（非特許文献１記載）等のニューラルネットワークを用いたボコーダ技術を用いてもよい。音声処理装置１００は、ボコーダ部４０を備えていなくてもよい。その場合、音声波形の生成は外部の音声合成装置が行う。
The
学習部５０は、第１特徴量と音響特徴量との関係を教師有り機械学習によって学習する。学習部５０は、学習結果を第１変換部２０のニューラルネットワークもしくは隠れマルコフモデル（ＨＭＭ）といった統計モデルや第２変換部３０で用いられるニューラルネットワークに反映させる。こうすることにより、第１変換部２０や第２変換部３０は、学習部５０の学習結果を反映して変換を行うことができる。音声処理装置１００は、学習部５０を備えていなくてもよい。この場合、第１変換部２０や第２変換部３０は、外部の機械学習を行う学習装置等によって得られた学習結果を反映して変換を行うことができる。第１変換部２０がニューラルネットワークを用いる場合、第２変換部３０の用いるニューラルネットワークと連結して同時学習を行うことで、より高精度な学習を行うことができる。また、第１変換部２０が用いるニューラルネットワークと、第２変換部３０が用いるニューラルネットワークとのいずれか一方に、交互に学習結果を反映させてもよい。
The
図２は、歌声合成において、取得部１０により取得される第１特徴量に含まれる多次元のパラメータの一例を示す図である。本実施形態において、第１特徴量は楽譜特徴量である。楽譜情報には、曲情報とフレーズ情報と音符情報とが含まれている。音符情報には，例えば、音符の長さや音高、フレーズ内における音符の位置等の情報が含まれている。言語情報には、音節情報と音素情報とが含まれている。音節情報は、例えば音素数や音符内における音節の位置等の情報が含まれている。音素情報は、例えば、種類（例えば、母音や有声子音、無声子音等）や音節内における音素の位置等の情報が含まれている。継続長情報は、音素内位置情報と状態内位置情報とが含まれている。音素内位置情報は、例えば、音素の開始位置からの長さや割合等の情報が含まれている。状態内位置情報は、例えば、状態の開始位置からの長さや割合等の情報が含まれている。
FIG. 2 is a diagram illustrating an example of multidimensional parameters included in the first feature amount acquired by the
図３は、第２変換部３０により出力される音響特徴量における各種のパラメータの一例を示す図である。スペクトルパラメータとしては、メルケプストラムや線スペクトル対（Ｌｉｎｅ Ｓｐｅｃｔｒｕｍ Ｐａｉｒ（ＬＳＰ））などがある。これらは、スペクトル情報と呼ばれることがある。音源情報としては、基本周波数は、一般に対数基本周波数として扱われており、その関連パラメータとしては、有声／無声の区別や、非周期性指標が考えられる。これらは音源情報と呼ばれることがある。なお、無声部分は対数基本周波数の値を持たないため、有声／無声の区別を音源情報に含める代わりに、無声部分に所定の定数を入れる等の方法によって有声／無声の区別を行ってもよい。また、更に、こうした音源情報、スペクトル情報の他に、本実施形態では、歌唱表現情報が音響特徴量に含まれる。 FIG. 3 is a diagram showing an example of various parameters in the acoustic feature quantity output by the second conversion unit 30. Examples of the spectrum parameter include a mel cepstrum and a line spectrum pair (Line Spectrum Pair (LSP)). These are sometimes called spectral information. As the sound source information, the fundamental frequency is generally treated as a logarithmic fundamental frequency, and as related parameters, voiced/unvoiced distinction and aperiodic index can be considered. These are sometimes called sound source information. Since the unvoiced part does not have a logarithmic fundamental frequency value, the voiced/unvoiced distinction may be made by a method such as inserting a predetermined constant in the unvoiced part instead of including the voiced/unvoiced distinction in the sound source information. .. Furthermore, in addition to such sound source information and spectrum information, in the present embodiment, singing expression information is included in the acoustic feature amount.
歌唱表現情報には、音高のビブラートの周期および振幅とその有無、音の大きさのビブラートの周期および振幅とその有無が、含まれている。なお、音高のビブラートの有無の区別を歌唱表現情報に含める代わりに、音高のビブラートが無い部分に所定の定数を入れる等の方法によって音高のビブラートの有無の区別を行ってもよい。同様に、音の大きさのビブラートの有無の区別を歌唱表現情報に含める代わりに、音の大きさのビブラートが無い部分に所定の定数を入れる等の方法によって音の大きさのビブラートの有無の区別を行ってもよい。 The singing expression information includes a pitch vibrato period and amplitude and presence/absence thereof, and a pitch vibrato period and amplitude and presence/absence thereof. Instead of including the presence/absence of pitch vibrato in the singing expression information, the presence/absence of pitch vibrato may be distinguished by a method such as inserting a predetermined constant in a portion without pitch vibrato. Similarly, instead of including the distinction of the presence or absence of the loudness of the loudness in the singing expression information, the presence or absence of the loudness of the vibrato is determined by a method such as inserting a predetermined constant in a portion without the loudness of the loudness You may make a distinction.
図４は、ディープニューラルネットワークによる第１特徴量の変換について説明するための説明図である。ディープニューラルネットワーク２００は、人間の脳神経系における学習機構をモデルにしたネットワークである。ディープニューラルネットワーク２００は、入力層Ｌ１と、複数の中間層Ｌ２と、出力層Ｌ３とを備える。中間層Ｌ２の数は任意に定める事ができる。
FIG. 4 is an explanatory diagram for explaining the conversion of the first feature amount by the deep neural network. The deep
入力層Ｌ１は、情報が入力される層である。中間層Ｌ２は、入力層Ｌ１から伝達される情報に基づいて特徴量の算出を行う層である。出力層Ｌ３は、中間層Ｌ２から伝達される情報に基づいて結果を出力する層である。各層には、複数のノードが含まれる。 The input layer L1 is a layer to which information is input. The middle layer L2 is a layer that calculates a feature amount based on the information transmitted from the input layer L1. The output layer L3 is a layer that outputs a result based on the information transmitted from the intermediate layer L2. Each layer includes multiple nodes.
ディープニューラルネットワーク２００による変換について説明する。本実施形態において、第１変換部２０はディープニューラルネットワーク２００を用いて第１特徴量を第２特徴量に変換する。入力層Ｌ１は、図２に示した第１特徴量に含まれる複数のパラメータが入力されると、それらのパラメータを中間層Ｌ２に伝達する。中間層Ｌ２では、入力層Ｌ１から伝達されたパラメータに対して種々の演算が各層において段階的に行われる。出力層Ｌ３において、最終的に演算されたパラメータが、図３に示した第２特徴量として出力される。
The conversion by the deep
図５は、本実施形態における音声処理装置１００を用いた音声合成処理を表すフローチャートである。まず、取得部１０が、ステップＳ１００で第１特徴量を取得する。次に、第１変換部２０が、ステップＳ１１０において、ステップＳ１００で取得した第１特徴量を第２特徴量に変換する。続いて、第２変換部３０が、ステップＳ１２０において、ステップＳ１１０で変換した第２特徴量を音響特徴量に変換する。最後に、ボコーダ部４０が、ステップＳ１３０において、ステップＳ１２０で変換した音響特徴量を用いて音声波形を生成する。
FIG. 5 is a flowchart showing a voice synthesis process using the
図６は、図５に示した音声合成処理を模式的に表した説明図である。図６に示すように、ステップＳ１１０において第１変換部２０により、ＦＦＮＮを用いて第１特徴量が第２特徴量に変換され、ステップＳ１２０において、第２変換部３０により、ＣＮＮを用いて第２特徴量が音響特徴量に変換される。本実施形態において、第１変換部２０によって変換される第１特徴量の第１期間は、例えば、５ミリ秒である。また、第２変換部３０によって変換される第２特徴量の第２期間は、例えば、１０秒である。つまり、第２変換部３０は、第２特徴量を２０００個束ねてＣＮＮを用いて変換を行う。第２変換部３０は、ＣＮＮにおいて、第２特徴量を第２特徴量の各次元のデータを第２期間の長さ分並べて表される２次元データＤ１として用いて、音響特徴量に変換する。２次元データＤ１は、本実施形態においては、第２特徴量を時系列順に２０００個並べたデータである。つまり、［第２特徴量の各次元のデータ］×［時間］で表されたデータである。第２特徴量は２次元データＤ１に限られず、３次元以上の多次元データとして表されてもよい。ＣＮＮにおける入力データのサイズの概念は、画像処理が元となっているため、高さ、幅、チャンネル数（フィルタ数）の３次元である。本実施形態では、高さを１、幅を第２期間の長さ、チャンネル数を第２特徴量の次元数、としている。ＣＮＮの内部には、畳み込み（Ｃｏｎｖｏｌｕｔｉｏｎ）により第２特徴量を畳み込んでいく部分を有する。加えて、畳み込みにより２次元データＤ１の列の大きさを小さくする部分と、逆畳み込み（ｆｒａｃｔｉｏｎａｌｌｙ−ｓｔｒｉｄｅｄ ｃｏｎｖｏｌｕｔｉｏｎ）や転置畳み込み（ｔｒａｎｓｐｏｓｅｄ ｃｏｎｖｏｌｕｔｉｏｎ）により元の第２期間数に戻すよう大きくする部分と、を有してもよい。
FIG. 6 is an explanatory diagram schematically showing the voice synthesis processing shown in FIG. As shown in FIG. 6, in step S110, the
以上で説明した本実施形態の音声処理装置１００によれば、楽譜特徴量等の第１特徴量が表される時間単位である予め定められた第１期間よりも長い第２期間毎に音響特徴量に変換するため、この音響特徴量を用いて音声を合成すると滑らかで自然な音声を合成できる。また、第２変換部３０は、第２特徴量を第２特徴量の各次元のデータを第２期間に含まれる第１期間の数分並べて表される２次元データＤ１として用いて音響特徴量に変換しているため、時間方向の変化を効果的に扱うことができる。より具体的には、例えば、第２特徴量を第２期間分の各次元のデータを並べて表される１次元データとして用いる場合と比較して、各次元のデータの時間方向での変化をより効果的に学習できる。また、第２変換部３０は、ＣＮＮを用いて変換を行うため、既存の技術を利用して高品位に第２特徴量を音響特徴量に変換できる。
According to the
また、本実施形態では、第１変換部２０は、ＦＦＮＮを用いて第１特徴量を第２特徴量に変換しているため、高速に変換できる。
In addition, in the present embodiment, the
実験結果：
図７は、生成した音声波形に対する主観評価実験の実験結果である平均オピニオン評点（Ｍｅａｎ Ｏｐｉｎｉｏｎ Ｓｃｏｒｅ（ＭＯＳ））を示した図である。本実験において、４手法の合成音声の品質を、「１：非常に悪い、２：悪い、３：普通、４：良い、５：非常に良い」の５段階の主観評価実験によって評価した。被験者は１５人であり、各被験者はテストデータである５曲から各手法につき１０フレーズを評価した。評価対象である合成音声の音声波形は、４手法とも同じ第１特徴量を用いて生成した。
Experimental result:
FIG. 7: is the figure which showed the mean opinion score (Mean Opinion Score) which is the experimental result of the subjective evaluation experiment with respect to the produced|generated voice waveform. In this experiment, the quality of the synthesized speech of the four methods was evaluated by a five-level subjective evaluation experiment of "1: very bad, 2: bad, 3: normal, 4: good, 5: very good". There were 15 test subjects, and each test subject evaluated 10 phrases for each method from 5 pieces of test data. The speech waveform of the synthetic speech to be evaluated was generated using the same first feature amount in all four methods.
実施例１および実施例２は、上述した実施形態１の音声処理装置１００によって第１特徴量を変換した音響特徴量、より具体的には、第２変換部３０がＣＮＮを用いて第２特徴量を変換した音響特徴量を用いて、音声波形を生成した。比較例１および比較例２は、第２変換部３０がＦＦＮＮを用いて第２特徴量を変換した音響特徴量を用いて音声波形を生成した。また、実施例１および比較例１は、従来のボコーダ技術であるＭＬＳＡフィルタを用いて音響特徴量から音声波形を生成し、実施例２および比較例２は、ｗａｖｅｎｅｔを用いて音響特徴量から音声波形を生成した。図７に示すように、第２変換部３０がＣＮＮを用いた実施例１、実施例２のスコアは、第２変換部３０がＦＦＮＮを用いた比較例１、比較例２のスコアよりも高かった。つまり、第２変換部３０が上記実施形態に従ってＣＮＮを用いて変換を行うと、より高品位に第２特徴量を音響特徴量に変換できる。
Example 1 and Example 2 are acoustic feature amounts obtained by converting the first feature amount by the
Ｂ．第２実施形態：
図８は、第２実施形態におけるＣＮＮの説明図である。第２実施形態のＣＮＮは、図８においてハッチングで示すように、第２特徴量に加えて第１特徴量に含まれる特定のパラメータを入力層に入力して用いる点が第１実施形態と異なる。第２実施形態の音声処理装置１００の構成は、第１実施形態の音声処理装置１００の構成と同様であるため、構成の説明は省略する。
B. Second embodiment:
FIG. 8 is an explanatory diagram of the CNN in the second embodiment. As shown by hatching in FIG. 8, the CNN of the second embodiment is different from the first embodiment in that, in addition to the second feature amount, a specific parameter included in the first feature amount is input to the input layer and used. .. The configuration of the
本実施形態において、第１特徴量に含まれる特定のパラメータは、音高情報である。「音高情報」とは、楽譜情報における音高の対数基本周波数の情報である。音高情報は、第１特徴量における無音部分が、時間軸における前後の第１特徴量の音高情報によって補間されていることが好ましい。パラメータの他の例として、例えば、ＭＩＤＩの音高番号や、音素情報が挙げられる。 In the present embodiment, the specific parameter included in the first feature amount is pitch information. The “pitch information” is information on the logarithmic fundamental frequency of the pitch in the score information. In the pitch information, it is preferable that the silent portion in the first feature amount is interpolated by the pitch information of the first feature amount before and after the time feature. Other examples of parameters include MIDI pitch numbers and phoneme information.
図９は、音高情報を補間した場合の一例を示す説明図である。図９に示す音高情報は、縦軸が対数基本周波数を示し、横軸が時間を示す。図９では、無音部分であるｎ番目（ｎは２以上の整数）の音符ｎにおける第１特徴量の音高情報が、音符ｎ−１における第１特徴量の音高情報Ｐ０と音符ｎ＋１における第１特徴量の音高情報Ｐ２とを用いて音高情報Ｐ１に線形補間されている。なお、音高情報の補間は、線形補間に限らず、スプライン補間やラグランジュ補間等の他の補間手法を適用してもよい。 FIG. 9 is an explanatory diagram showing an example in which pitch information is interpolated. In the pitch information shown in FIG. 9, the vertical axis represents the logarithmic fundamental frequency and the horizontal axis represents time. In FIG. 9, the pitch information of the first feature amount at the n-th (n is an integer of 2 or more) note n, which is a silent portion, is the pitch information P0 and the note n+1 of the first feature amount at the note n-1. It is linearly interpolated to the pitch information P1 using the pitch information P2 of the first characteristic amount. Note that the pitch information interpolation is not limited to linear interpolation, and other interpolation methods such as spline interpolation and Lagrange interpolation may be applied.
以上で説明した本実施形態の音声処理装置１００によれば、補助情報として第１特徴量に含まれるパラメータである音高情報を第２特徴量に加えるため、合成音声の音質が向上する音響特徴量に変換できる。なお、音高情報は入力層ではなく、中間層に入力してもよい。
According to the
Ｃ．その他の実施形態：
上記実施形態において、取得部１０が取得する第１特徴量は、楽譜特徴量である。この代わりに、取得部１０は、第１特徴量として言語特徴量を取得してもよい。言語特徴量は、図２に示した楽譜特徴量から楽譜情報が省略され、品詞やアクセント等の情報が追加された多次元のパラメータである。この形態によれば、歌声ではない、単なるテキスト合成音声を行うための音響特徴量を生成できる。また、取得部１０は、第１特徴量として声質特徴量を取得してもよい。声質特徴量は、他人の声から抽出した音響特徴量である。この形態によれば、ある話者の音響特徴量から、他の話者の音響特徴量へと変換する声質変換を行うための音響特徴量を生成できる。
C. Other embodiments:
In the above embodiment, the first characteristic amount acquired by the
また、上記実施形態において、音声処理装置１００は、第１変換部２０による変換と第２変換部３０による変換とによって第１特徴量を音響特徴量に変換している。この代わりに、第２変換部３０が直接第１特徴量から音響特徴量に変換してもよい。この場合、第２変換部３０は、ＣＮＮにより、第１特徴量を、第１特徴量の各次元のデータを予め定めた期間の長さ分並べて表される２次元データとして用いて変換を行う。
Further, in the above embodiment, the
また、上記実施形態において、第１変換部２０は、ＦＦＮＮを用いて第１特徴量を第２特徴量に変換している。第１変換部２０は、ＦＦＮＮにおいて、中間層Ｌ２において無作為にまたは任意に選んだノードの情報を伝達しないドロップアウトを行ってもよい。これにより、ＦＦＮＮにおけるロバスト性を向上させることができる。
Further, in the above-described embodiment, the
また、上記実施形態において、第１変換部２０および第２変換部３０は、ニューラルネットワークにおいて、任意の層に入力されたパラメータを変換せずに次の層に伝える経路を追加した、スキップ構造であってもよい。これにより、任意のパラメータの情報を損なわずに、伝搬することができる。例えば、第１変換部２０のＦＦＮＮでは第１特徴量における音高情報Ｐ０をスキップし、第２変換部３０のＣＮＮにおいて、変換されてない音高情報Ｐ０を含む第２特徴量を音響特徴量に変換してもよい。また、第２変換部３０のニューラルネットワークにスキップ構造を加えることで、中間層の数を増加しても、入力した任意のパラメータの情報（例えば、楽譜の音高情報）を損なわずに、伝搬することができる。
In addition, in the above-described embodiment, the
また、上記実施形態において、学習部５０は、第２変換部３０の生成した音響特徴量と教師データとに対して、一次微分や二次微分である時間変動を考慮するために用いられる動的特徴量を求め、これらを比較した学習結果をニューラルネットワークに反映してもよい。これにより、第１期間毎の時間変動における音響特徴量の関係がより考慮されるため、滑らかで自然な音声を合成できる。また、上記実施形態において、第２変換部３０は、動的特徴量を生成していないが、動的特徴量を生成してもよい。この場合、ボコーダ部４０は、音響特徴量に含まれる静的特徴量と動的特徴量から、これらの関係を考慮したパラメータ生成を行い、音声波形を生成できる。これにより、ボコーダ部４０は、第２変換部３０によって生成された動的特徴量を考慮して、静的特徴量を補正することができるため、より滑らかで自然な音声を合成できる。また、学習部５０は、第２変換部３０が生成する動的特徴量を含めて、音響特徴量における静的特徴量と動的特徴量との関係を教師有り機械学習によって学習することができる。
Further, in the above-described embodiment, the
本発明は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態中の技術的特徴は、上述した課題を解決するために、あるいは上述の効果の一部又は全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜削除することが可能である。 The present invention is not limited to the above-described embodiments, and can be implemented with various configurations without departing from the spirit of the present invention. For example, the technical features in the embodiments corresponding to the technical features in each mode described in the section of the summary of the invention are to solve the above-described problems or to achieve a part or all of the above-described effects. In addition, it is possible to appropriately replace or combine them. If the technical features are not described as essential in this specification, they can be deleted as appropriate.
１０…取得部、２０…第１変換部、３０…第２変換部、４０…ボコーダ部、５０…学習部、６０…音響モデル、１００…音声処理装置、２００…ディープニューラルネットワーク、Ｄ１…２次元データ、Ｌ１…入力層、Ｌ２…中間層、Ｌ３…出力層 10... Acquisition unit, 20... First conversion unit, 30... Second conversion unit, 40... Vocoder unit, 50... Learning unit, 60... Acoustic model, 100... Speech processing device, 200... Deep neural network, D1... Two-dimensional Data, L1... Input layer, L2... Intermediate layer, L3... Output layer
Claims (14)
音声に関する多次元の第１特徴量を取得する取得部と、
予め定められた第１期間毎に前記第１特徴量を多次元の第２特徴量に変換する第１変換部と、
前記第２特徴量を、時系列的に前記第２特徴量を処理することができるニューラルネットワークを用いて、前記第１期間よりも長い第２期間毎に音声波形を生成するための音響特徴量に変換する第２変換部と、を備える音声処理装置。 A voice processing device,
An acquisition unit that acquires a multidimensional first feature amount relating to voice;
A first conversion unit that converts the first feature quantity into a multidimensional second feature quantity for each predetermined first period;
An acoustic feature amount for generating a voice waveform for each second period longer than the first period by using a neural network capable of processing the second feature amount in time series. And a second conversion unit for converting into a voice processing device.
前記第２変換部は、前記ニューラルネットワークとして、畳み込みニューラルネットワークを用いて前記第２特徴量を前記音響特徴量に変換する、音声処理装置。 The voice processing device according to claim 1, wherein
The speech processing apparatus, wherein the second conversion unit converts the second feature quantity into the acoustic feature quantity by using a convolutional neural network as the neural network.
前記第２期間は可変長である、音声処理装置。 The voice processing device according to claim 2, wherein
The audio processing device, wherein the second period has a variable length.
前記第２変換部は、前記第１特徴量における無音部分に応じて前記第２期間の長さを変化させる、音声処理装置。 The voice processing device according to claim 3,
The second processing unit is a voice processing device, which changes the length of the second period according to a silent portion in the first feature amount.
前記第１変換部は、フィードフォワードニューラルネットワークを用いて前記第１特徴量を前記第２特徴量に変換する、音声処理装置。 The voice processing device according to any one of claims 1 to 4,
The said 1st conversion part is a speech processing apparatus which converts the said 1st feature-value into the said 2nd feature-value using a feedforward neural network.
前記第２変換部は、前記第２特徴量に加えて前記第１特徴量に含まれる特定のパラメータを前記ニューラルネットワークに入力して、前記音響特徴量への変換を行う、音声処理装置。 The voice processing device according to any one of claims 1 to 5,
The said 2nd conversion part is a speech processing apparatus which inputs into the said neural network the specific parameter contained in the said 1st characteristic amount in addition to the said 2nd characteristic amount, and converts into the said acoustic characteristic amount.
前記特定のパラメータは音高情報である、音声処理装置。 The voice processing device according to claim 6,
The voice processing device, wherein the specific parameter is pitch information.
前記第１特徴量における無音部分の前記音高情報は、前後の音高情報により補間された情報である、音声処理装置。 The voice processing device according to claim 7, wherein
The voice processing device, wherein the pitch information of the silent portion in the first feature amount is information interpolated by preceding and following pitch information.
前記第１特徴量は、少なくとも言語特徴量と楽譜特徴量と声質特徴量とのいずれか一つを含む、音声処理装置。 The voice processing device according to any one of claims 1 to 8,
The voice processing device, wherein the first feature amount includes at least one of a language feature amount, a score feature amount, and a voice quality feature amount.
前記音響特徴量を用いて音声波形を生成するボコーダ部を備える、音声処理装置。 The audio processing device according to any one of claims 1 to 9, further comprising:
A voice processing device comprising a vocoder unit that generates a voice waveform using the acoustic feature amount.
前記第１特徴量と前記音響特徴量との関係を教師有り機械学習によって学習して前記ニューラルネットワークに反映させる学習部を備える、音声処理装置。 The voice processing device according to any one of claims 1 to 10, further comprising:
A speech processing apparatus comprising: a learning unit that learns the relationship between the first feature quantity and the acoustic feature quantity by supervised machine learning and reflects the learned feature on the neural network.
前記第２変換部は、前記第２特徴量を、前記第２特徴量の各次元のデータを前記第２期間の長さ分並べて表される２次元データとして用いて前記音響特徴量に変換する、音声処理装置。 The voice processing device according to any one of claims 1 to 11,
The second conversion unit converts the second feature amount into the acoustic feature amount using two-dimensional data in which each dimension data of the second feature amount is arranged and arranged for the length of the second period. , Voice processing device.
音声に関する多次元の第１特徴量を取得する取得工程と、
予め定められた第１期間毎に前記第１特徴量を多次元の第２特徴量に変換する第１変換工程と、
前記第２特徴量を時系列的に前記第２特徴量を処理することができるニューラルネットワークを用いて、前記第１期間よりも長い第２期間毎に音声波形を生成するための音響特徴量に変換する第２変換工程と、を備える音声処理方法。 A voice processing method,
An acquisition step of acquiring a multidimensional first feature amount relating to voice;
A first conversion step of converting the first feature quantity into a multidimensional second feature quantity for each predetermined first period;
A neural network capable of processing the second feature amount in time series is used as an acoustic feature amount for generating a speech waveform for each second period longer than the first period. A second conversion step of converting, a voice processing method.
音声に関する多次元の特徴量を取得する取得部と、
前記特徴量を予め定められた期間毎に畳み込みニューラルネットワークを用いて音声波形を生成するための音響特徴量に変換する変換部と、を備え、
前記変換部は、前記特徴量を、前記特徴量の各次元のデータを前記期間の長さ分並べて表される２次元データとして用いて前記音響特徴量に変換する、音声処理装置。 A voice processing device,
An acquisition unit that acquires a multidimensional feature amount related to voice,
A conversion unit that converts the characteristic amount into an acoustic characteristic amount for generating a voice waveform using a convolutional neural network for each predetermined period;
The audio processing device, wherein the conversion unit converts the feature quantity into the acoustic feature quantity using two-dimensional data represented by arranging data of each dimension of the feature quantity for the length of the period.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019122680A JP7280605B2 (en) | 2019-07-01 | 2019-07-01 | Speech processing device and speech processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019122680A JP7280605B2 (en) | 2019-07-01 | 2019-07-01 | Speech processing device and speech processing method |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019009182A Division JP6552146B1 (en) | 2019-01-23 | 2019-01-23 | Audio processing apparatus and audio processing method |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2020118950A true JP2020118950A (en) | 2020-08-06 |
| JP2020118950A5 JP2020118950A5 (en) | 2022-01-31 |
| JP7280605B2 JP7280605B2 (en) | 2023-05-24 |
Family
ID=71890725
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019122680A Active JP7280605B2 (en) | 2019-07-01 | 2019-07-01 | Speech processing device and speech processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7280605B2 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08314880A (en) * | 1995-05-15 | 1996-11-29 | Omron Corp | Method for learning neural network and neural network system |
| JP2015034920A (en) * | 2013-08-09 | 2015-02-19 | ヤマハ株式会社 | Voice analysis device |
| JP2017032839A (en) * | 2015-08-04 | 2017-02-09 | 日本電信電話株式会社 | Acoustic model learning device, voice synthesis device, acoustic model learning method, voice synthesis method, and program |
| JP2017151230A (en) * | 2016-02-23 | 2017-08-31 | 国立大学法人豊橋技術科学大学 | Voice conversion device, voice conversion method, and computer program |
| JP2018136430A (en) * | 2017-02-21 | 2018-08-30 | 日本電信電話株式会社 | Voice conversion model learning device, voice conversion device, method, and program |
-
2019
- 2019-07-01 JP JP2019122680A patent/JP7280605B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08314880A (en) * | 1995-05-15 | 1996-11-29 | Omron Corp | Method for learning neural network and neural network system |
| JP2015034920A (en) * | 2013-08-09 | 2015-02-19 | ヤマハ株式会社 | Voice analysis device |
| JP2017032839A (en) * | 2015-08-04 | 2017-02-09 | 日本電信電話株式会社 | Acoustic model learning device, voice synthesis device, acoustic model learning method, voice synthesis method, and program |
| JP2017151230A (en) * | 2016-02-23 | 2017-08-31 | 国立大学法人豊橋技術科学大学 | Voice conversion device, voice conversion method, and computer program |
| JP2018136430A (en) * | 2017-02-21 | 2018-08-30 | 日本電信電話株式会社 | Voice conversion model learning device, voice conversion device, method, and program |
Non-Patent Citations (2)
| Title |
|---|
| 橋本佳，外３名: "ニューラルネットワークに基づく音声合成における生成モデルの利用の検討", 日本音響学会講演論文集, JPN6019009107, 5 September 2014 (2014-09-05), JP, pages 245 - 246, ISSN: 0004936848 * |
| 高木信二: "とてもＤｅｅｐなテキスト音声合成", 電子情報通信学会技術研究報告, vol. 第１１６巻，第４１４号, JPN6019009108, 14 January 2017 (2017-01-14), JP, pages 41 - 46, ISSN: 0004936849 * |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7280605B2 (en) | 2023-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lu et al. | Xiaoicesing: A high-quality and integrated singing voice synthesis system | |
| JP5471858B2 (en) | Database generating apparatus for singing synthesis and pitch curve generating apparatus | |
| JP6342428B2 (en) | Speech synthesis apparatus, speech synthesis method and program | |
| US11763797B2 (en) | Text-to-speech (TTS) processing | |
| JP2007249212A (en) | Method, computer program and processor for text speech synthesis | |
| JP3732793B2 (en) | Speech synthesis method, speech synthesis apparatus, and recording medium | |
| JP6578544B1 (en) | Audio processing apparatus and audio processing method | |
| JP6552146B1 (en) | Audio processing apparatus and audio processing method | |
| JP7280605B2 (en) | Speech processing device and speech processing method | |
| JP7339151B2 (en) | Speech synthesizer, speech synthesis program and speech synthesis method | |
| JP2020204755A (en) | Speech processing device and speech processing method | |
| JP2020134920A (en) | Speech processor and speech processing method | |
| JP2011090218A (en) | Phoneme code-converting device, phoneme code database, and voice synthesizer | |
| JP6587308B1 (en) | Audio processing apparatus and audio processing method | |
| JP6163454B2 (en) | Speech synthesis apparatus, method and program thereof | |
| JP2002123280A (en) | Speech synthesis method, speech synthesizer, and recording medium recording speech synthesis processing program | |
| WO2023182291A1 (en) | Speech synthesis device, speech synthesis method, and program | |
| US20230260493A1 (en) | Sound synthesizing method and program | |
| JP2018205654A (en) | Speech synthesis learning device, speech synthesis device, method and program thereof | |
| JP2011191528A (en) | Rhythm creation device and rhythm creation method | |
| WO2023171497A1 (en) | Acoustic generation method, acoustic generation system, and program | |
| JP2679623B2 (en) | Text-to-speech synthesizer | |
| JP2018004997A (en) | Voice synthesizer and program | |
| JPH11161297A (en) | Method and device for voice synthesizer | |
| Le Beux et al. | Calliphony: a real-time intonation controller for expressive speech synthesis. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220121 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220121 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221125 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221206 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230118 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230425 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230502 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7280605 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |