JP4424023B2 - 素片接続型音声合成装置 - Google Patents

Description

この発明は音声合成装置に関し、特に、所定のコスト関数に基づいて音声素片を選択し接続することにより合成器指令に合致した音声合成を行なう素片接続型音声合成装置に関する。

音声認識、音声合成は、人間とコンピュータを用いた諸システムとのインターフェースを実現する技術として重要である。これらと人工知能技術とを併用することにより、利用者は相手がコンピュータシステムであることを意識せずに様々なサービスを利用することができる。

中でも音声合成については、人間に対するシステム出力のためのインターフェースとしてその重要性は大きい。人間は、合成された音声の不自然さを敏感に感じ取る。合成された音声が不自然であると利用者が感じると、発話にも影響を及ぼし、その結果、人間とシステムとの間の対話がうまく行かなくなるおそれもある。

最近の音声合成技術としては、予め人間の発話を多数集めた発話コーパスから音素ごとの音声素片をデータベース化しておき、合成時には、指定された音素に対応する音声素片の中から最も適切と思われるものを選択して接続するものが知られている。これを本明細書では素片接続型音声合成と呼ぶ。

素片接続型音声合成では、与えられた合成目標を基準として、いかにして適切な音声素片をデータベース中から取出すかが問題となる。

合成目標を構成するデータは、典型的には音素と、基本周波数（Ｆ０）、持続時間、ＭＦＣＣ（Ｍｅｌ−Ｆｒｅｑｕｅｎｃｙ Ｃｅｐｓｔｒｕｍ Ｃｏｅｆｆｉｃｉｅｎｔ）、及びパワー等の音声特徴量とを含む。これらを以下「合成器指令」と呼ぶ。

素片接続型音声合成では、合成器指令と音声素片のＦ０、持続時間、ＭＦＣＣ、パワー等とのずれ、及び接続に伴う自然劣化を表現するための「コスト」と呼ばれる評価関数を定義し、コストを最小とする音声素片を求めることにより、最適な音声素片系列を決定する。

本件出願の出願人は、上記した「コスト」を、それぞれある音声の特徴に対応するような「サブコスト」に分解し、それらを結合したもの（例えば線形和）により定義した素片接続型音声合成を提案している。例えば特許文献１を参照されたい。

サブコストは、ターゲットコストと接続コストとの二グループに大きく分類できる。ターゲットコストは、合成器指令と素片候補との間の誤差を表す。接続コストは、合成音声において隣接する素片間の不連続性を表す。

特開２００３−２０８１８８号公報（段落００１４〜００４７）

上記したような素片接続型音声合成技術では、音声素片データベースを大きくするほど、合成時にコストを小さくできる候補を見つけることができる可能性が高くなり、音声合成の品質が高くなる。しかし、音声素片データベースが大きい場合には、候補を決定するために必要な計算量が大きくなるという問題がある。

計算量を小さくするための一つの方策として、コスト計算による素片選択に先立って、より少ない計算量ですむコスト計算を行なって素片候補を予備選択することが考えられる。例えば、接続コストの計算には、素片候補だけでなくその前後の音素との関係も必要になり計算量が多くなる。一方、ターゲットコストの計算には、素片候補が必要なだけである。そこで、接続コストを用いず、ターゲットコストのみを用いて素片候補を予備選択することが考えられる。

しかしその場合でも、音声素片データベースが大きくなるほど予備選択のための計算量は大きくなるという問題が残る。音声素片データベースのサイズにかかわらず、高速かつ一定した速度で素片選択を行なえるようにすることが望ましい。また、その場合でも品質の劣化が生じることは避けるべきである。

それゆえに本発明の目的は、大規模な音声コーパスを用いた場合であっても、高速かつ一定した速度で素片選択を行なうことが可能な音声合成装置を提供することである。

本発明の他の目的は、大規模な音声コーパスを用いた場合であっても、高速かつ一定した速度で素片選択を行ない、かつ合成された音声の品質を高くすることが可能な音声合成装置を提供することである。

本発明に係る素片接続型音声合成装置は、音声素片データベースと、音声素片データベース中の音声素片を、音素ごとに、かつ所定の特徴量の値をキーとしてソートして保持するテーブルとを用いて、音声素片データベース中の音声素片を接続する素片接続型音声合成装置であって、合成音声の目標となる音素ラベルのシーケンスと、各音素ラベルに付随する目標特徴量とを定める合成器指令の入力を受け、合成器指令の音素ラベルにより指定される音素に対応するテーブルを選択するテーブル選択手段と、テーブル選択手段により選択されたテーブルの中で、合成器指令の目標特徴量により特定される所定の特徴量の値を有する音声素片を含む、予め定める基準により定められる範囲に位置する音声素片を予備選択するための予備選択手段と、予備選択手段により予備選択された音声素片の中から、所定の基準に基づいて音声素片を選択するための選択手段と、選択手段により選択された音声素片を合成器指令に従って接続し合成音声波形を出力するための接続手段とを含む。

好ましくは、所定の特徴量は音素長であり、予備選択手段は、テーブル選択手段により選択されたテーブルの中で、合成器指令により指定される音素長を含む、予め定める基準により特定される範囲に位置する音声素片を選択するための手段を含む。

好ましくは、テーブルには、予め予備選択されるべき音声素片の許容数を特定する許容数情報が付されており、選択するための手段は、テーブル選択手段により選択されたテーブルの中で、合成器指令により指定される音素長を有する音声素片を中心とする、許容数で指定される数の音声素片を選択するための手段を含む。

所定の特徴量は量子化された基本周波数（Ｆ０）であってもよく、予備選択手段は、テーブル選択手段により選択されたテーブルの中で、合成器指令により指定される基本周波数を含む、予め定める基準により特定される範囲に位置する音声素片を選択するための手段を含んでもよい。

テーブルには、予め予備選択されるべき音声素片の許容数を特定する許容数情報が付されており、選択するための手段は、テーブル選択手段により選択されたテーブルの中で、合成器指令により指定される基本周波数を有する音声素片を中心とする、許容数で指定される数の音声素片を選択するための手段を含んでもよい。

好ましくは、予備選択手段は、テーブル選択手段により選択されたテーブルの中で、合成器指令の目標特徴量により特定される所定の特徴量の値を有する音声素片を、所定の探索アルゴリズムにより探索するための探索手段と、テーブル選択手段により選択されたテーブルの中で、探索手段により探索された音声素片を中心とする、予め定められる範囲に位置する音声素片を選択するための手段とを含む。

好ましくは、探索手段は、テーブル選択手段により選択されたテーブルの中で、合成器指令の目標特徴量により特定される所定の特徴量の値を有する音声素片を、２分木探索アルゴリズムにより探索するための２分木探索手段を含む。

好ましくは、選択手段は、予備選択手段により予備選択された音声素片候補の中から、当該音声素片の特徴量と、目標特徴量とに基づいて予め定めるコスト計算により算出されるコストが所定の条件を充足する音声素片を選択するための手段を含む。

［第１の実施の形態］
−構成−
図１に、本発明の第１の実施の形態に係る音声合成システム２０のブロック図を示す。図１を参照して、この音声合成システム２０は、従来と同様の音声素片データベース（ＤＢ）３０と、音声素片ＤＢ３０に含まれる各音声素片を音素ごとに分類し、かつ各音素の音素長等、素片選択に必要な情報を抽出してソートした音素別音素長テーブル３４を生成するための音素長テーブル作成部３２と、合成目標となるテキストを分析した結果得られる合成器指令３６を入力として受け、音素別音素長テーブル３４を利用して音声素片ＤＢ３０からほぼ一定量の音声素片を予備選択し、予備選択された素片候補の中から適切な音声素片を接続して合成音声波形４０を出力するための音声合成装置３８とを含む。

図２に、音素長テーブル作成部３２の構成をブロック図形式で示す。図２を参照して、音素長テーブル作成部３２は、音声素片ＤＢ３０から、音声素片ＤＢ３０内の各素片の音素ラベル、アドレス、音素長、及びその他のコスト計算に必要な情報を抽出し、音素別音素長テーブル８２を作成するための音素長抽出部８０と、音素別音素長テーブル８２を各テーブルごとに音素長の昇順でソートすることにより、ソート済みの音素別音素長テーブル３４を作成するためのソート処理部８４と、音素別音素長テーブル３４ごとに、音素長の分布を調べ、素片候補を予備選択する場合の音素長の許容幅を算出するための許容素片候補数算出部８６とを含む。許容素片候補数算出部８６の機能については図４を参照して後述する。

再び図１を参照して、音声合成装置３８は、合成器指令３６を受け、合成器指令３６により指定された音素に対応する素片であって、かつ合成器指令３６により指定された音素長を中心とした所定の幅の音素長を持つ音素を音素別音素長テーブル３４から予備選択し素片候補テーブル６２を作成するための予備選択部６０と、合成器指令３６を受け、素片候補テーブル６２に含まれる素片候補の中から、コストの最も小さな素片を選択するための素片選択部６４と、素片選択部６４により選択された音声素片に対応する音声素片データを音声素片ＤＢ３０から読出し、互いに接続して合成音声波形４０を出力するための接続部６６とを含む。

図３を参照して、予備選択部６０は、合成器指令３６を受け、合成器指令３６により指定された音素に対応する音素長テーブル１１０を音素別音素長テーブル３４のうちから選択するためのテーブル選択部１００を含む。音素長テーブル１１０には、許容素片候補数算出部８６により算出された許容素片候補数１１２が付属している。

予備選択部６０はさらに、合成器指令３６により与えられた音素長と一致する音素長の素片候補を、音素長テーブル１１０に対する２分木探索により探索するための２分木探索部１０２と、音素長テーブル１１０の中で、２分木探索部１０２により探索された素片候補を中心とする、許容素片候補数１１２により指定された素片数の素片候補を選択し、素片候補テーブル６２を作成するための素片候補選択部１０４とを含む。

素片候補選択部１０４が素片候補を選択する際の許容素片候補数は、特に厳密な基準を用いて算出する必要はなく、素片候補数をある程度の数に絞ることができるものであればどのようなものでもよい。素片長の分布が正規分布にしたがうと考えられれば、その標準偏差σを算出し、ａσ（ａは予め定められた数）に入る素片数を用いればよい。

実際には、素片長の分布が多峰型を示すことも多い。そうした場合、本実施の形態に係る許容素片候補数算出部８６（図２参照）は、図４に示す基準によりこの幅を算出するものとする。

図４を参照して、たとえば分布が２峰型の場合には、谷の頂点Ａの部分でこの分布曲線に接し、ｘ軸に平行な線を引く。この線が分布曲線と交わる点をそれぞれＢ，Ｃとする。ＢＡ＝ｗ₁、ＡＣ＝ｗ₂とする。本実施の形態では、ｗ＝α（ｗ₁＋ｗ₂）／２（αは予め定められた数。好ましくは０＜α≦１）で求められるｗを、許容音素長幅とする。分布曲線が多峰型の場合にも、これと同様な考え方を拡張すればよい。もちろん、これ以外にも様々な方法で許容音素長幅を定めることができる。

本実施の形態に係る素片選択部６４によるコスト計算では、コストＣ_０は以下のようにしてサブコストから計算される。

ただし、Ｃ_i1（ｉ1＝１〜Ｎ₁）はターゲットサブコスト、Ｃ_i2（ｉ2＝１〜Ｎ_２）は接続コスト、ｗ_i1（ｉ1＝１〜Ｎ₁）はターゲットサブコスト間に定義された重み、ｗ_i2（ｉ2＝１〜Ｎ_２）は接続サブコスト間に定義された重み、ｐ_１及びｐ_２はそれぞれ、ターゲットコストと接続コスト間に定義された重みである。

−動作−
この音声合成システム２０は以下のように動作する。この音声合成システム２０の動作には大きく分けて二つのフェーズがある。第１のフェーズは音素別音素長テーブル３４の構築である。第２のフェーズは音声合成装置３８による音声合成である。

第１のフェーズでは以下のような処理が行なわれる。この処理に先立ち、音声素片ＤＢ３０が音声コーパスから作成済みであるものとする。音素長テーブル作成部３２の音素長抽出部８０（図２参照）は、音声素片ＤＢ３０に含まれる音声素片データの各々から、上記したように音素ラベル、アドレス、音素長、及びその他のコスト計算に必要な情報を抽出し、音素別音素長テーブル８２を作成する。音素別音素長テーブル８２の各テーブルに含まれる素片データはソートされていない。

ソート処理部８４は、各音素別音素長テーブル８２を、音素長で昇順にソートする。その結果、音素長によってソート済みの音素別音素長テーブル３４が作成される。許容素片候補数算出部８６は、この音素別音素長テーブル３４の各々に含まれる音声素片の音素長の分布に基づき、許容素片候補数１１２（図３参照）を算出し、音素別音素長テーブル３４の各々に付す。

以上の処理が終了すると、音声合成装置３８による音声合成が可能となる。音声合成に先立ち、音声合成装置３８（コンピュータにより構成される。）は音素別音素長テーブル３４をメモリ上に配列として格納し、予備選択を高速に行なうことができるようにしておく。

音声合成時、合成対象のテキスト分析により合成器指令３６が得られると、この合成器指令３６は予備選択部６０のテーブル選択部１００に与えられる（図３参照）。テーブル選択部１００は、合成器指令３６に基づいて、合成器指令３６により指定された音素に対応する音素長テーブル１１０を音素別音素長テーブル３４の中から選択する。

２分木探索部１０２は、合成器指令３６により与えられた音素長と一致する音素長の音声素片を、音素長テーブル１１０に対する２分木により探索し、探索された音声素片の音素別音素長テーブル３４中でのアドレス（配列のインデックス）を素片候補選択部１０４に与える。素片候補選択部１０４は、与えられたインデックスで示される音声素片を中心とし、許容素片候補数１１２により指定される範囲（中心の前後の所定個数）の音声素片のインデックスを算出し、それら素片データを全て読出して素片候補テーブル６２に格納する。

図１を参照して、素片選択部６４は、合成器指令３６を受け、素片候補テーブル６２に含まれる音声素片のうち、式（１）により算出されるコストが最も小さなものを選択して接続部６６に与える。接続部６６は、素片選択部６４から与えられた音声素片に対応する音声波形データを音声素片ＤＢ３０から読出し、音声が滑らかになるように変形して接続し合成音声波形４０として出力する。

予備選択部６０により、許容素片候補数１１２により定まる数の素片候補を予め選択して素片候補テーブル６２に格納し、その中から音声素片を選択するため、素片選択部６４が素片選択を行なう際のコスト計算の計算量は少なく、一定量以下で済む。２分木探索部１０２による２分木探索は高速に行なえることが知られており、また素片候補選択部１０４による素片候補抽出のためのアドレス計算の計算量も少なくて済む。そのため、音声合成装置３８による素片選択のための計算量は全体としても少なくて済む。

また、素片候補テーブル６２は、合成器指令３６により指定される音素に対応する音素別音素長テーブル３４から、指定された音素長の素片候補を中心とする所定数の素片候補からなるので、ターゲットコストの小さな音声素片を多数含む。そのため、それらの中からコスト最小の音声素片を選択して接続した場合、接続時の変形による品質低下は無視できるほど小さくなる。その結果、最終的に得られる合成音声波形４０には、音声素片の接続による品質低下はわずかしか見られない。

なお、この実施の形態では、予備選択部６０により音素別音素長テーブル３４から音素長を基準として所定数の素片を予備的に選択する。しかし本発明はそのような実施の形態には限定されない。たとえば、音素長以外の特徴量、たとえば基本周波数などを基準に音素長テーブルをソートし、予備選択に用いるようにしてもよい。

上記した本発明の実施の形態のシステムでは、予備選択の際に、許容素片候補数を用いて素片候補の数を制限した。しかし本発明はそのような実施の形態には限定されない。たとえば、音素長を基準とするのであれば、探索された素片を中心として所定の音素長幅を有する素片候補を抽出するようにしてもよい。また、上記のように抽出した素片候補に対し、ターゲットコストのみを利用した第２の予備選択を行なうようにしてもよい。

また、上記した実施の形態では、音素長を昇順でソートすることにより音素別音素長テーブル３４を作成したが、ソートを降順で行なっても同様の効果が得られることは明らかである。さらに、上記した実施の形態のシステムでは、音素別音素長テーブル３４に音素長のみならず他の特徴量も格納することにより、音素選択に音素別音素長テーブル３４を用いたが、音素別音素長テーブル３４には音素長、音素ラベル、及び音声素片ＤＢ３０中の当該素片のアドレスのみを格納し、音素別音素長テーブル３４を素片の予備選択のみに用いるようにしてもよい。

さらに、上記した実施の形態のシステムでは、予備選択する素片候補の数を、音素別音素長テーブル内の音素長の分布により算出した。しかし本発明はそのような実施の形態には限定されない。たとえば、音素ごとに固定した数を予め定めておき、それを用いてもよい。

さらに、上記した実施の形態では、音素長を基準として素片候補をソートし、候補数を制限した。しかし、制限に使用される基準は音素長には限らない。例えば、量子化した基本周波数（Ｆ０）を用いてもよい。この場合、合成器指令３６で指定された基本周波数と一致する素片候補を２分木探索により探索し、探索された素片候補を含み、その素片候補のＦ０を中心とした許容される範囲の基本周波数の素片候補、又は所定個数の素片候補を抽出すればよい。

今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味および範囲内でのすべての変更を含む。

本発明の一実施の形態に係る音声合成システム２０のブロック図である。 図１に示す音素長テーブル作成部３２のブロック図である。 図１に示す予備選択部６０のブロック図である。 許容素片候補数の算出方法を説明するための図である。

符号の説明

２０ 音声合成システム、３０ 音声素片ＤＢ、３２ 音素長テーブル作成部、３４ 音素別音素長テーブル、３６ 合成器指令、３８ 音声合成装置、６０ 予備選択部、６２ 素片候補テーブル、８０ 音素長抽出部、８２ 音素別音素長テーブル（未ソート）、８４ ソート処理部、８６ 許容素片候補数算出部、１１０ 音素長テーブル、１１２ 許容素片候補数

Claims (8)

1. 音声素片データベースと、前記音声素片データベース中の音声素片を、音素ごとに、かつ所定の特徴量の値をキーとしてソートして保持するテーブルとを用いて、前記音声素片データベース中の音声素片を接続する素片接続型音声合成装置であって、
   合成音声の目標となる音素ラベルのシーケンスと、各音素ラベルに付随する目標特徴量とを定める合成器指令の入力を受け、前記合成器指令の音素ラベルにより指定される音素に対応する前記テーブルを選択するテーブル選択手段と、
   前記テーブル選択手段により選択されたテーブルの中で、前記合成器指令の前記目標特徴量により特定される前記所定の特徴量の値を有する音声素片を含む、予め定める基準により定められる範囲に位置する音声素片を予備選択するための予備選択手段と、
   前記予備選択手段により予備選択された音声素片の中から、所定の基準に基づいて音声素片を選択するための選択手段と、
   前記選択手段により選択された音声素片を前記合成器指令に従って接続し合成音声波形を出力するための接続手段とを含む、素片接続型音声合成装置。
2. 前記所定の特徴量は音素長であり、
   前記予備選択手段は、前記テーブル選択手段により選択されたテーブルの中で、前記合成器指令により指定される音素長を含む、予め定める基準により特定される範囲に位置する音声素片を選択するための手段を含む、請求項１に記載の素片接続型音声合成装置。
3. 前記テーブルには、予め予備選択されるべき音声素片の許容数を特定する許容数情報が付されており、
   前記選択するための手段は、前記テーブル選択手段により選択されたテーブルの中で、前記合成器指令により指定される音素長を有する音声素片を中心とする、前記許容数で指定される数の音声素片を選択するための手段を含む、請求項２に記載の素片接続型音声合成装置。
4. 前記所定の特徴量は量子化された基本周波数（Ｆ０）であり、
   前記予備選択手段は、前記テーブル選択手段により選択されたテーブルの中で、前記合成器指令により指定される基本周波数を含む、予め定める基準により特定される範囲に位置する音声素片を選択するための手段を含む、請求項１に記載の素片接続型音声合成装置。
5. 前記テーブルには、予め予備選択されるべき音声素片の許容数を特定する許容数情報が付されており、
   前記選択するための手段は、前記テーブル選択手段により選択されたテーブルの中で、前記合成器指令により指定される基本周波数を有する音声素片を中心とする、前記許容数で指定される数の音声素片を選択するための手段を含む、請求項４に記載の素片接続型音声合成装置。
6. 前記予備選択手段は、
   前記テーブル選択手段により選択されたテーブルの中で、前記合成器指令の前記目標特徴量により特定される前記所定の特徴量の値を有する音声素片を、所定の探索アルゴリズムにより探索するための探索手段と、
   前記テーブル選択手段により選択されたテーブルの中で、前記探索手段により探索された音声素片を中心とする、予め定められる範囲に位置する音声素片を選択するための手段とを含む、請求項１〜請求項５のいずれかに記載の素片接続型音声合成装置。
7. 前記探索手段は、前記テーブル選択手段により選択されたテーブルの中で、前記合成器指令の前記目標特徴量により特定される前記所定の特徴量の値を有する音声素片を、２分木探索アルゴリズムにより探索するための２分木探索手段を含む、請求項６に記載の素片接続型音声合成装置。
8. 前記選択手段は、前記予備選択手段により予備選択された音声素片候補の中から、当該音声素片の特徴量と、前記目標特徴量とに基づいて予め定めるコスト計算により算出されるコストが所定の条件を充足する音声素片を選択するための手段を含む、請求項１〜請求項７のいずれかに記載の素片接続型音声合成装置。

Images