JP2007264503A - 音声合成装置及びその方法 - Google Patents

音声合成装置及びその方法 Download PDF

Info

Publication number
JP2007264503A
JP2007264503A JP2006092489A JP2006092489A JP2007264503A JP 2007264503 A JP2007264503 A JP 2007264503A JP 2006092489 A JP2006092489 A JP 2006092489A JP 2006092489 A JP2006092489 A JP 2006092489A JP 2007264503 A JP2007264503 A JP 2007264503A
Authority
JP
Japan
Prior art keywords
waveform data
unit
synthesis
speech
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006092489A
Other languages
English (en)
Inventor
Osamu Nishiyama
修 西山
Shinko Morita
眞弘 森田
Takehiko Kagoshima
岳彦 籠嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2006092489A priority Critical patent/JP2007264503A/ja
Priority to EP06822540A priority patent/EP2002421A1/en
Priority to KR1020087026383A priority patent/KR20090005090A/ko
Priority to US11/570,208 priority patent/US20090216537A1/en
Priority to CNA2006800546796A priority patent/CN101449319A/zh
Priority to PCT/JP2006/321579 priority patent/WO2007110992A1/en
Publication of JP2007264503A publication Critical patent/JP2007264503A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/04—Details of speech synthesis systems, e.g. synthesiser structure or memory management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

【課題】合成音声の生成に要する時間に処理単位間で大きな差が生じることを避け、また、データ取得に起因する合成音声の生成に要する時間の増大を確実に抑制する音声合成装置を提供する。
【解決手段】音声合成装置は、外部から音声合成の対象となるテキストデータを取得するテキスト取得部１１と、テキストデータに形態素解析・構文解析を行う言語処理部１２と、テキストデータのアクセントや品詞などの韻律や言語に関わる属性に基づいて、合成単位列を音声合成部１４に出力する韻律処理部１３と、合成単位列から合成音声を生成する音声合成部１４と、出力された所定の量の合成音声を蓄積後、または、出力された合成音声を逐次的に再生する音声波形出力部１５とを備えている。
【選択図】 図１

Description

本発明は、例えば、音素記号・音節記号などの音韻記号、または、自然言語の表記に用いる文字の系列から音声を合成する音声合成装置、音声合成方法及び音声合成プログラムに関するものである。
従来の音声合成装置では音質向上の一つの方法として、非特許文献１に開示されているように、利用する波形データを増やすことが効果的であることが知られている。この方法を実現するために、メモリとハードディスクに多量の波形データを分散配置して利用する方法が検討されている。
また、複数の合成単位の組み合わせである合成単位列（処理単位）毎に合成音声を生成する音声合成装置において、多量の波形データをメモリとハードディスクに分散配置する場合、高速なデータ取得が可能であるメモリに利用頻度の高い波形データを配置して優先的に利用する方法が特許文献１で開示されている。
さらに、各合成素片（特許文献１中では「音声素片」と表現されている）の波形データが格納されている記憶装置へのアクセス速度に関するコスト（アクセス速度コスト）を含む複数のサブコストに基づいて、合成素片を先頭から順次的に決定する方法が特許文献２で開示されている。
特許文献１，２に開示されている方法によれば、複数の処理単位に対する合成音声を生成するのに要する合計の処理時間の増大を不確実ながらもある程度抑制することができる。
しかし、それら複数の処理単位中のある処理単位に対応する合成音声を生成する際に、低速なデータ取得しか成し得ないハードディスクに配置された波形データの利用が集中する場合がある。この場合に、ハードディスクから波形データを取得するのに要する時間が、その処理単位に対する合成音声の生成に要する時間において過大となり、合成音声の生成に要する時間に処理単位間で大きな差が生じ得ることがある。ところがこの差を回避する方法がなく、また、データの取得に起因する合成音声の生成に要する時間の増大を確実に抑制する方法もないという問題点がある。
日本音響学会 ２００４年秋季研究発表会 公演論文集 （Ｐ．３６９−Ｐ．３７０） 特開平７−１４１０００号公報 特開２００５−２６６０１０公報
上記したように従来技術には、合成音声の生成に要する時間に処理単位間で大きな差が生じることを避けることができないという問題点がある。また、データの取得に起因する合成音声の生成に要する時間の増大を確実に抑制することができないという問題点がある。
そこで、本発明は上記問題点を解決するためになされたものであって、合成音声の生成に要する時間に処理単位間で大きな差が生じることがなく、また、データ取得に起因する合成音声の生成に要する時間の増大を確実に抑制する音声合成装置、音声合成方法及び音声合成プログラムを提供することを目的とする。
本発明は、入力された合成単位列に含まれる所定の処理単位内の複数の合成単位に対応する合成素片の波形データをそれぞれ取得して、これら波形データを接続することで音声を合成する音声合成装置において、前記合成素片の波形データ以外の属性情報を格納した属性情報記憶媒体と、前記合成素片の波形データをそれぞれ格納し、かつ、前記格納した波形データを取得するためのデータ取得時間が異なる複数の波形データ記憶媒体と、前記波形データが格納されている波形データ記憶媒体の識別子を含むデータ配置情報を前記合成素片毎に格納したデータ配置情報記憶媒体と、前記処理単位内の前記各合成単位の属性情報に基づいて、前記各合成単位に対応する合成素片候補を前記属性情報記憶媒体からそれぞれ取得する候補取得部と、前記合成単位毎に取得した複数の合成素片候補のそれぞれの組み合わせから構成された複数の系列を求め、前記処理単位内における前記各合成素片の波形データのデータ取得時間の合計がデータ取得上限時間を越えないように、前記データ配置情報に基づいて前記複数の系列から一の系列を選択する合成素片選択部と、前記選択した一の系列上にある合成素片を組み合わせて合成素片列を生成する合成素片生成部と、前記合成素片列に含まれる合成素片の波形データを前記各波形データ記憶媒体からそれぞれ取得して接続する波形生成部と、を備えることを特徴とする音声合成装置である。
本発明によれば、合成音声の生成に要する時間に処理単位間で大きな差が生じることがなく、また、データ取得に起因する合成音声の生成に要する時間の増大を確実に抑制する。
（用語の定義）
本発明の実施形態を説明する前に、本明細書で利用する用語を定義する。
「合成単位」は、合成音声、または、人によって発話された音声を構成する基本となる要素であり、かつ、ある一定の共通特性を有する波形データの集合を複数個形成する際の単位の種類である。従来例では、半音素・音素・音節・Ｄｉｐｈｏｎｅ、ＣＶＣ・ＶＣＶ（Ｖは母音、Ｃは子音）などがある。
「合成単位列」は、複数個の合成単位の系列である。
「処理単位」は、所定の制約を満たした複数個の合成単位の系列である。
「制約」とは、例えば、個数や目標となる合成音声の各合成単位が対応する区間の継続時間長の総和などがある。
「音韻記号」は、ある合成単位によってカテゴリー化された各集合に与えられたラベルに相当する。例えば、合成単位を音素とした場合、音素記号がこれに相当する。従来例では、音素記号、音声記号、音節記号やそれらの組み合わせなどがある。
「合成素片」は、ある合成単位によってカテゴリー化された集合群の何れかに属する要素を表す。例えば、音素を合成単位とした場合、同一の音素記号が付与された収録音声のある１区間の波形データの集合には、一定の共通した特性をもつ波形データのみが属することとなる。これらの波形データに、波形データ以外の属性、例えば、発声対象である自然言語における当該区間の言語に関する属性（アクセント核からの距離、当該区間を含む単語の品詞など）や発声された音声の当該区間の音響属性（基本周波数など）に関する値（属性値）などを付与することで、一つの合成素片となる。
「素片属性」は、合成素片が持つ波形データ以外の属性を表す。例えば、上記言語に関する属性（言語属性）や音響属性なども含まれる。
「素片データ」は、合成素片が有する属性に対する値（属性値）の総称である。例えば、各合成素片の波形データや素片属性「基本周波数」のデータなどを総称している。
「素片ＩＤ」は、各合成素片が持ち、自他の合成素片を識別するための識別子である。
以下、上記用語を利用して本発明の各実施形態について図面に基づいて説明する。
（第１の実施形態）
以下、本発明の第１の実施形態の音声合成装置について図１から図１４に基づいて説明する。
（１）音声合成装置の構成
図１は、本実施形態に係わる音声合成装置１０を示すブロック図である。
音声合成装置１０は、外部から音声合成の対象となるテキストデータを取得するテキスト取得部１１と、テキストデータに形態素解析・構文解析を行う言語処理部１２と、テキストデータのアクセントや品詞などの韻律や言語に関わる属性に基づいて、合成単位列を音声合成部１４に出力する韻律処理部１３と、合成単位列から合成音声を生成する音声合成部１４と、出力された所定の量の合成音声を蓄積後、または、出力された合成音声を逐次的に再生する音声波形出力部１５とを備えている。
音声合成装置１０は、上記各部１１〜１４の機能を実現するプログラムをコンピュータ装置に予めインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、音声素片データを格納するデータ取得時間の異なる複数の記憶媒体は、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどを適宜利用して実現することができる。
なお、韻律処理部１３から音声合成部１４に引き渡される合成単位列を構成するそれぞれの「合成単位」には、音韻記号や目標とする韻律情報やそれが対応する区間を含むテキストに関わる言語情報などが付与されている。この合成単位列によって、目標とする合成音声が表現されて、音声合成部１４に渡される。
「韻律情報」には、基本周波数、継続時間長、メルケプストラム係数、及びパワーなどがある。
「言語情報」には、単語、アクセント句の音節数、または、モーラ数・アクセント型や、各合成単位の対応する単語、アクセント句内での音節、または、モーラを単位とした位置や、各合成単位が含まれる音節がアクセント核か否かを表すフラグなどがある。
（２）音声合成部１４の構成
図２に基づいて音声合成部１４について説明する。図２は、音声合成部１４を示すブロック図である。
音声合成部１４は、記録媒体１１０、合成素片選択部１３０、波形生成部１４０から構成されている。
記録媒体１１０は、全ての合成素片の全ての素片データ（Ｍ−１．．．Ｍ−ｋ、Ｈ−１．．．Ｈ−ｋ）を格納したデータ取得時間に長短を有する複数の記憶媒体から構成されるている。具体的には、メモリ１１１とハードディスク（以下、「ＨＤＤ」という）１１２から構成されている。メモリ１１１は、全ての合成素片の全ての素片属性に関する素片データと一部の合成素片の全ての波形データと、全ての合成素片の波形データが格納されている記憶媒体がメモリ１１１かＨＤＤ１１２の何れであるかを記録したデータ配置情報１１３を格納している。ＨＤＤ１１２は、メモリ１１１に波形データを格納していない合成素片の波形データを格納している。
合成素片選択部１３０は、韻律制御部１３から入力された合成単位列の各合成単位が有する目標合成音声の音韻・韻律情報・言語情報と、メモリ１１１に格納されている各合成素片の所定の素片属性の素片データと、前記データ配置情報１１３と、ＨＤＤ１１２からの波形データの取得に関する合成単位列に対する制約とに基づいて、合成単位毎に合成素片を選択して複数の合成素片の組み合わせである合成素片列を生成する。
波形生成部１４０は、合成単位毎に選択された合成素片の波形データをメモリ１１１とＨＤＤ１１２から取得し、接続することで合成単位列に対応する合成音声を生成する。
なお、本実施形態の「波形データ」は、波形データを符号化したパラメータ系列でも良く、さらに、ピッチマークなどの「波形データ」と合わせて波形生成部１４０で利用するデータが付随していても良く、これに限定されるものではない。
また、本実施形態では、データ配置情報１１３に記録されている素片データの例として「波形データ」を例示しているが、合成素片選択部１３０より後段の処理で利用する波形データ、または、所定の素片属性に関する素片データであり、かつ、全合成素片にわたっては唯一の記憶媒体に格納されていない（複数の記憶媒体に分散配置されている）場合であれば良く、これに限定されるものではない。
また、データ配置情報１１３に記録されている情報として「全ての合成素片」に関して記録することを例示したが、結果的に全ての合成素片の波形データに関する素片データが格納されている記憶媒体が一意に決定できれば良く、例えば、データ配置情報１１３に記録されていないことによって、ある合成素片の所望の素片データが格納されている記憶媒体が決定する場合でもよく、これに限定されるものではない。
なお、この音声合成部１４は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。
すなわち、合成素片の素片データを格納するデータ取得時間の異なる属性情報記憶媒体・波形データ記憶媒体と、合成素片の波形データが配置されている記憶媒体を記録したデータ配置情報と、前記各波形データ記憶媒体からの波形データの取得に関する合成単位列に対する制約と前記データ配置情報とに少なくとも基づいて複数の合成素片の組み合わせである合成素片列を生成する合成素片選択部１３０と、前記合成素片列に含まれる合成素片の波形データを前記記憶媒体より取得して接続する波形生成部１４０は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。
（３）記録媒体１１０の構成
本実施形態では、一般的なコンピュータの構成を例として、記憶媒体１１０を主記憶装置であるメモリ１１１、補助記憶装置であるＨＤＤ１１２（ＨＤ、ハードディクスと同義語として表現）の組み合わせを例示する。
しかし、本実施形態の装置構成にとらわれることなく、外部記憶装置（リムーバブルディスク）を構成に取り入れてもよい。外部記憶装置としては、リムーバブルハードディスクなどの磁気ディスク、ＣＤやＤＶＤなどの光ディスク、各種フラッシュメモリ（ＮＡＮＤ型、ＮＯＲ型、ＤｉＮＯＲ型、ＯＲＮＡＮＤ型など）などの半導体メモリが追加され、上記した主記憶装置、補助記憶装置、外部記憶装置から複数の記憶媒体を利用する構成を採っても良い。
また、補助記憶装置の代わりとして外部記憶装置が利用され、上記した主記憶装置、外部記憶装置から複数の記憶媒体を利用する構成を採っても良い。
このように、データ取得時間に長短を有する複数の記憶媒体から構成されれば、どのような組み合わせでも良く、本実施形態の例に限定されるものではない。
（４）音声合成装置１０の動作
次に、図１及び図３を用いて、本実施形態に係わる音声合成装置１０の動作について説明する。図３は、音声合成装置１０の動作を示すフローチャートである。
まず、テキスト取得部１１は、外部から音声合成の対象となるテキストデータを取得する（Ｓ３０１）。
次に、言語処理部１２は、テキスト取得部１１が取得したテキストデータに形態素解析を施して、テキストデータを形態素に分割する（Ｓ３０２）。なお、膠着語ではない言語においては、このステップが省略されることがある。
次に、言語処理部１２は、分割された形態素の系列に対して構文解析を施し、読み情報・品詞・活用形・形態素間の係り受けなどの属性値を各形態素に付与する（Ｓ３０３）。
次に、韻律処理部１３は、言語処理部１２から入力された所定の属性に関する値が付与された形態素の系列の各形態素に対して、その属性値に基づいて、音韻記号列・アクセント型などの韻律に関わる属性値を追加する（Ｓ３０４）。
次に、韻律処理部１３は、Ｓ３０３，Ｓ３０４で各形態素に付与された属性値に基づいて、合成音声の目標となる韻律情報を合成単位毎に生成し、各々が音韻記号、韻律情報、言語情報を持つ複数の合成単位から成る合成単位列を生成する（Ｓ３０５）。本実施形態では、音素を合成単位として利用している。
次に、音声合成部１４は、所定の制約を満たす複数個の合成単位からなる合成単位列を複数個形成し、各々の合成単位列を処理単位とする（Ｓ３０６）。本実施形態では、処理単位に含まれる合成単位の目標継続時間長の総和が所定の時間以内となるように先頭から順に分割する。
次に、音声合成部１４は、対応する合成音声をまだ生成していない処理単位の内、先頭の処理単位に対応する合成音声を生成し、音声波形出力部１５に出力する（Ｓ３０７）。このＳ３０７に関しては、後に別途詳述する。
次に、音声波形出力部１５は、音声合成部１４において生成された合成音声の再生を開始し、直ちにＳ３０９に移行する。
Ｓ３０７及びＳ３０８の処理は、入力されたテキストデータに対応する全ての処理単位に対して行われるまで繰り返される（Ｓ３０９）。
なお、Ｓ３０１〜Ｓ３０４において、解析や必要なデータ取得に使用するデータベースが必要であれば、適宜補えば良い。
また、Ｓ３０５において、本実施形態では音素を合成単位としたが、これに限定するものではない。
また、Ｓ３０６において、本実施形態では、各合成単位の継続時間長の総和を基準として合成単位列を分割して複数の処理単位を形成したが、先頭から順に所定の個数の合成単位から成る処理単位に分割しても良い。
また、本実施形態では、Ｓ３０６において所定の制約を設けて複数個の処理単位を形成したが、例えば、韻律処理部１３から入力された合成単位列全体が所定の制約を満たす場合などのように、制約を設けずに、韻律処理部１３から入力された合成単位列全体を１つの処理単位とみなして、以降の処理を行っても良い。この場合、Ｓ３０７において音声合成部１４は処理単位を選択する必要がなく。また、Ｓ３０８において音声波形出力部１５はＳ３０９に移行する必要がなく、Ｓ３０９の処理は省略される。
（５）音声合成部１４の動作
次に、図２及び図４を用いて、音声合成部１４の動作について説明する。図４は、音声合成部１４の１つの処理単位に対する動作を示すフローチャートである。
（５−１）予備選択
まず、合成素片選択部１３０は、前記所定の処理単位に含まれる合成単位毎に複数の合成素片を予備的に選択し、候補数を絞り込む。すなわち、予備選択を行う（Ｓ４０１）。この予備選択は、第１予備選択と第２予備選択の二段階がある。
（５−１−１）第１予備選択
第１予備選択は、各合成単位において、同一の音韻記号が付与された合成素片の集合を選択する。すなわち、その音韻記号を用いて合成素片の集合を選択して、目標となる合成音声の各合成単位が対応する区間を生成するのに利用する合成素片の選択の幅を限定する。これによって、当該区間を構成するのに適した一定の共通する特性を有する波形データをもつ合成素片が後の処理によって選択されることを保証する。
（５−１−２）第２予備選択
第２予備選択は、第１予備選択で選択された同一の音韻記号が付与された合成素片の集合の各要素と目標となる韻律情報、言語情報が付与された合成単位とを以下のようにして比較する。
所定のＮＫ個の各属性Ｋに関して、図５のように、合成単位Ｔｉ（ｉ＝０，・・・，ｎ−１）が有する目標とする韻律情報あるいは言語情報ＡｔｔｒｉｂＫ（Ｔｉ）と各合成素片Ｕｉｊ（ｊ＝０，・・・，Ｍｉ−１）の有する属性値ＡｔｔｒｉｂＫ（Ｕｉｊ）との差異の程度ｄｉｆｆＴＡＲＧＥＴ，Ｋ（Ｔｉ，Ｕｉｊ）を算出する。算出には、属性Ｋ毎に定められたターゲットサブコスト関数ＳｕｂＣｏｓｔＴＡＲＧＥＴ，Ｋ（ＡｔｔｒｉｂＫ（Ｔｉ），ＡｔｔｒｉｂＫ（Ｕｉｊ））を用いる。
Figure 2007264503
それら所定の各属性に関する目標の合成単位Ｔｉと各合成素片Ｕｉｊとの差異ｄｉｆｆＴＡＲＧＥＴ，Ｋ（Ｔｉ，Ｕｉｊ）の重み付き和（重みｗｋ（ｋ＝１，・・・，ＮＫ））をもって、合成単位Ｔｉと各合成素片Ｕｉｊとの差異の程度ＤＩＦＦＴＡＲＧＥＴ（Ｔｉ，Ｕｉｊ）（ターゲットコスト）を算出する。
Figure 2007264503
その後、合成単位Ｔｉにおいて、目標となる合成音声の要素である各合成単位との差異の程度ＤＩＦＦＴＡＲＧＥＴ（Ｔｉ，Ｕｉｊ）が小さいものから順に所定の個数Ｍの合成素片をＵｉｊ（ｊ＝０，・・・，Ｍｉ−１）から選択し、それら選択された合成単位ＴｉのＵＳＥＬＥＣＴＥＤ，ｉｊ（ｊ＝０，・・・，Ｍ−１）を以降の処理対象とする。この処理を、処理単位内の全ての合成単位Ｔｉ（ｉ＝０，・・・，ｎ−１）に対して行う。
なお、本実施形態では、目標となる合成音声の要素である各合成単位との差異ＤＩＦＦＴＡＲＧＥＴ（Ｔｉ，Ｕｉｊ）を、各属性Ｋに関する差異ｄｉｆｆＴＡＲＧＥＴ，Ｋ（Ｔｉ，Ｕｉｊ）の重み付き和をもって算出したが、例えば、積によって算出されても良く、これに限定させるものではない。
また、本実施形態では、各合成単位において所定の個数を上限とした合成素片を選択したが、例えば、差異の程度ＤＩＦＦＴＡＲＧＥＴ（Ｔｉ，Ｕｉｊ）の値に対する閾値を設けて、各合成単位にに対して相応しい合成素片を閾値処理によって選択しても良く、これに限定させるものではない。
また、本実施形態では、以降の処理量の削減を目的として、各合成単位において所定の個数を上限とした合成素片を予備的に選択したが、例えば、合成素片の数が前記個数以下である場合のように、以降の処理が十分に高速に行えるのであれば選択する処理は必須ではない。
（５−２）合成素片列の決定
次に、Ｓ４０２からＳ４０９まで合成素片選択部１３０は、Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｉｎｇ（ＤＰ）によって、Ｓ４０１で合成単位Ｔｉ （ｉ＝０，・・・，ｎ−１）毎に予備的に選択されている合成素片ＵＳＥＬＥＣＴＥＤ，ｉｊ（ｊ＝０，・・・，Ｍ−１）をノード（Ｎｏｄｅ）とした合成素片の系列であるパス（Ｐａｔｈ）の探索（仮説展開と評価）を行い、複数個の合成素片からなる合成素片列を複数本、当該処理単位に対して決定する。
より詳細には、合成単位Ｔｉと比較して選択された合成素片ＵＳＥＬＥＣＴＥＤ，ｉｊ毎に（ｊ＝０，・・・，Ｍ−１）、その合成素片ＵＳＥＬＥＣＴＥＤ，ｉｊが、合成素片ＵＳＥＬＥＣＴＤ，（ｉ−１）ｊに接続されている合成単位Ｔｉ−１以前の全てのパス（合成素片の系列）に後続することを仮定する。それら仮定されたＴｉ以前のパス（仮説パス）を評価する。その内、評価結果が上位Ｑ位までの仮説パスのみを選択し、パス（合成素片の系列）を一意に特定できる情報と評価結果のＱつの組を合成素片ＵＳＥＬＥＣＴＥＤ，ｉｊに記録する。
この一連の処理を合成単位Ｔｉと比較して選択された全ての合成素片ＵＳＥＬＥＣＴＥＤ，ｉｊ（ｊ＝０，・・・，Ｍ−１）で行い（Ｓ４０３からＳ４０８）、完了後、後続の合成単位Ｔｉ＋１に進んで同様の操作を行う（Ｓ４０２からＳ４０９）。
（５−３）Ｓ４０４からＳ４０７までの処理
以下では、Ｓ４０４からＳ４０７までの処理に対して、図６〜図１０を参照しながら例示する。
まず、合成素片選択部１３０は、図６（ａ）のように、合成単位Ｔ１の合成素片ＵＳＥＬＥＣＴＥＤ，１ｊ（ｊ＝０，・・・，４）に接続されているＴ１以前の全てのパス（破線及び太実線）に当該合成素片ＵＳＥＬＥＣＴＥＤ，２０（合成単位Ｔ２の合成素片ｊ＝０）が接続することを仮定する（破線及び太実線）。記憶媒体１１０から波形データの取得に関する当該合成単位列（処理単位：Ｔ０からＴ４）に対する制約を満たさないパス（（ＵＳＥＬＥＣＴＥＤ，００,ＵＳＥＬＥＣＴＥＤ，１１,ＵＳＥＬＥＣＴＥＤ，２０）、（ＵＳＥＬＥＣＴＥＤ，０３,ＵＳＥＬＥＣＴＥＤ，１４,ＵＳＥＬＥＣＴＥＤ，２０））をそれら仮定したパスの中から除外し、以後の評価対象から外す（太実線）（Ｓ４０４）。
（５−３−１）制約の適用方法
記憶媒体１１０から波形データの取得に関する当該合成単位列（処理単位）に対する制約の適用方法について詳述する。
本実施形態では、制約として、合成素片選択部１３０より後の処理で利用する素片データ（波形データ）をＨＤＤ１１２から取得する処理単位当たりの上限回数が与えられた場合を例示する。
データ配置情報１１３には、全ての合成素片に対して、合成素片選択部１３０より後の処理で利用する波形データ、または、所定の素片属性の素片データが格納されている記憶媒体が判別できるように、各合成素片の素片ＩＤと各記憶媒体の識別子とが対応付けて格納されている（図６（ｂ）参照）。
本実施形態では、波形生成部１４０で利用する波形データに関して、図６（ｂ）のように、全合成素片（４８９２個）の素片ＩＤ（１〜４８９２）と波形データが格納されている記憶媒体の識別子（メモリ１１１は「１」、ＨＤＤ１１２は「２」）とが対応付けて格納されている。
まず、仮定したパス上の各合成素片の素片ＩＤを用いて、合成素片選択部１３０より後段の処理で利用する各合成素片の所定の素片データが何れの記憶媒体に格納されているのかをデータ配置情報１１３を用いて導出する。
本実施形態では、波形生成部１４０で利用する各合成素片の波形データがメモリ１１１かＨＤＤ１１２の何れに保存されているのかを判別する。図６（ａ）の合成素片（丸印）上に記した数字は、格納されている記憶媒体の識別子を示したものである。「１」はメモリ１１１を表し、「２」はＨＤＤ１１２を表す。
次に、合成素片選択部１３０より後段の処理において処理単位に対する処理を実施する際の各記憶媒体からの素片データの取得に関する制約と、仮定した各パス上にある全合成素片の前記所定の素片データの全記憶媒体における配分状況とを比較し、制約を満たさない仮定したパスを以降の評価対象から削除する。
本実施形態では、制約として、波形生成部１４０において処理単位（合成単位Ｔ０から合成単位Ｔ４ までの合成単位列）に対する合成音声を生成する際にＨＤＤ１１２から波形データを取得する上限回数を２回と定め、図６（ａ）のように、合成単位Ｔ２の合成素片ｊ＝０（ＵＳＥＬＥＣＴＥＤ，２０）に接続するパス（破線と太実線）の内、波形生成部１４０においてＨＤＤ１１２から３回以上波形データを取得する必要があるパス（太実線：（ＵＳＥＬＥＣＴＥＤ，００,ＵＳＥＬＥＣＴＥＤ，１１,ＵＳＥＬＥＣＴＥＤ，２０）、（ＵＳＥＬＥＣＴＥＤ，０３,ＵＳＥＬＥＣＴＥＤ，１４,ＵＳＥＬＥＣＴＥＤ，２０））を選択し、以降の評価対象から除外している。
このようにして、データ取得に関する制約を仮定した全てのパスを適用して、制約を満たさないパスを以降の評価対象から除外する。
上記したように、合成素片選択部１３０より後段の処理で利用するデータを得る為にアクセスが必要となる各記憶媒体へのアクセス回数を制限することによって、データ取得に要する時間の上限であるデータ取得上限時間を制御、抑制できれば良く、その制約の考え方や変更方法によって本発明の効果が限定されるものではない。例えば、以下に示すような方法が考えられる。
（５−３−２）制約の適用方法の変更例１
本実施形態では、制約として上限回数を利用する場合を示した。しかし、上記したように１つの処理単位に含まれる合成単位の数が固定であって、利用する記憶媒体が２種類の場合など、高速なデータ取得が可能にある記憶媒体（例えば、メモリ１１１）から波形データを取得する下限回数を制約として利用しても同様の効果が得られる（下限値を満たさないパスが以降の評価対象から除外される）。
（５−３−３）制約の適用方法の変更例２
本実施形態では、現在仮定しているパスに適用する制約として、ＨＤＤ１１２のみへのアクセス回数の制約を例示したが、上記したように、３つ以上の記憶媒体がある場合などは、それぞれの記憶媒体にアクセス回数に関する制約を個別に設けても良く、これに限定されるものではない。
（５−３−４）制約の適用方法の変更例３
回数として与えられた制約を現在仮定しているパスにそのまま適用する必要はなく、例えば、処理単位において、全合成単位の継続時間長の総和と合成単位Ｔ０ から現在の合成単位Ｔ１ までの継続時間長との総和との比を制約として与えられた上限回数或いは下限回数に乗じて、各合成単位において制約を動的に変更しても良く、これに限定されるものではない。
（５−３−５）制約の適用方法の変更例４
本実施形態では、各記憶媒体からの素片データの取得に関する合成単位列に対する制約を定数として与えられている場合を例示しているが、実施装置における各記憶媒体のアクセス速度に応じて制約を固定値として外部から指定しても良く、或いは、他のプロセスの各記憶媒体の使用状況、または、使用予定に応じて制約値を動的に変更してもよく、これに限定されるものではない。
（５−４）接続コストの算出
次に、合成素片選択部１３０は、図７（ａ）、図７（ｂ）のように、当該合成素片ＵＳＥＬＥＣＴＥＤ，ｉｊと前記仮定したパス上の直前の各合成素片ＵＳＥＬＥＣＴＥＤ，（ｉ−１）ｓ（ｓ＝０，・・・，Ｓ−１）とが隣接することに対する違和感の程度（接続コスト）ＤＩＦＦＣＯＮＣ（ＵＳＥＬＥＣＴＥＤ，（ｉ−１）ｓ，ＵＳＥＬＥＣＴＥＤ，ｉｊ）を求める（Ｓ４０５）。
合成素片間の接続コストＤＩＦＦＣＯＮＣ（ＵＳＥＬＥＣＴＥＤ，（ｉ−１）ｓ，ＵＳＥＬＥＣＴＥＤ，ｉｊ）（ｉ＝２，ｊ＝０，ｓ＝０，・・・，４）の算出方法について詳述する。
各合成素片ＵＳＥＬＥＣＴＥＤ，（ｉ−１）ｓ（ｉ−１＝１，ｓ＝０，・・・，４）、ＵＳＥＬＥＣＴＥＤ，ｉｊ（ｉ＝２，ｊ＝０）が有する所定のＭＰ個の各属性Ｐにおいて、属性値ＡｔｔｒｉｂＰ （ＵＳＥＬＥＣＴＥＤ，（ｉ−１）ｓ）、ＡｔｔｒｉｂＰ（ＵＳＥＬＥＣＴＥＤ，ｉｊ）の不自然な変動の程度ｄｉｆｆＣＯＮＣ，Ｐ（ＵＳＥＬＥＣＴＥＤ，（ｉ−１）ｓ ，ＵＳＥＬＥＣＴＥＤ，ｉｊ）を算出する。算出には、属性Ｐ毎に定められた接続サブコスト関数ＳｕｂＣｏｓｔＣＯＮＣ，Ｐ（ＡｔｔｒｉｂＰ（ＵＳＥＬＥＣＴＥＤ，（ｉ−１）ｓ），ＡｔｔｒｉｂＰ （ＵＳＥＬＥＣＴＥＤ，ｉｊ））を用いる。
Figure 2007264503
それら所定の各属性に関する隣接する合成素片間の不自然な変化ｄｉｆｆＣＯＮＣ，Ｐ（ＵＳＥＬＥＣＴＥＤ，（ｉ−１）ｓ，ＵＳＥＬＥＣＴＥＤ，ｉｊ）の重み付き和（重みｗｐ（ｐ＝１，・・・，ＭＰ））をもって、当該合成素片ＵＳＥＬＥＣＴＥＤ，ｉｊ （ｉ＝２，ｊ＝０）と前記仮定したパス上の直前の各合成素片ＵＳＥＬＥＣＴＥＤ，（ｉ−１）ｓ（ｉ−１＝１，ｓ＝０，・・・，４）とが隣接することに対する違和感の程度（接続コスト）ＤＩＦＦＣＯＮＣ（ＵＳＥＬＥＣＴＥＤ，（ｉ−１）ｓ，ＵＳＥＬＥＣＴＥＤ，ｉｊ）を算出する。
Figure 2007264503
なお、本実施形態では、当該合成素片ＵＳＥＬＥＣＴＥＤ，ｉｊ（ｉ＝２，ｊ＝０）と前記仮定したパス上の直前の各合成素片ＵＳＥＬＥＣＴＥＤ，（ｉ−１）ｓ（ｉ−１＝１，ｓ＝０，・・・，４）とが隣接することに関する違和感の程度ＤＩＦＦＣＯＮＣ（ＵＳＥＬＥＣＴＥＤ，（ｉ−１）ｓ，ＵＳＥＬＥＣＴＥＤ，ｉｊ）を各属性Ｐに関する程度ｄｉｆｆＣＯＮＣ，Ｐ（ＵＳＥＬＥＣＴＥＤ，（ｉ−１）ｓ，ＵＳＥＬＥＣＴＥＤ，ｉｊ）の重み付き和をもって算出したが、例えば、積によって算出されても良く、これに限定されるものではない。
（５−５）トータルコストの算出
次に、合成素片選択部１３０は、Ｓ４０１で求めたターゲットコストＤＩＦＦＴＡＲＧＥＴ（Ｔｉ，Ｕｉｊ）とＳ４０５で求めた接続コストＤＩＦＦＣＯＮＣ（ＵＳＥＬＥＣＴＥＤ，（ｉ−１）ｓ，ＵＳＥＬＥＣＴＥＤ，ｉｊ）と合成単位Ｔｉ−１の各合成素片ＵＳＥＬＥＣＴＥＤ，（ｉ−１）ｓが格納していた合成単位Ｔ０から合成単位Ｔｉ−１までのＱ本のパス（合成素片の系列）Ｐａｔｈ（ｉ−１）ｓｑ（ｑ＝１，・・・，Ｑ）に対する総合評価（トータルコスト）Ｃｏｓｔ（Ｐａｔｈ（ｉ−１）ｓｑ）とを利用して、Ｓ４０４において選択された各仮説パス（ＵＳＥＬＥＣＴＥＤ，ｉｊ，Ｐａｔｈ（ｉ−１）ｓｑ）（ｓ＝０，・・・，Ｓ−１、ｑ＝１，・・・，Ｑ、最大ＳｘＱ本）に対するトータルコストを式（３）によって算出する（Ｓ４０６）。
Figure 2007264503
図８は、それら仮説パスの内の１本である（ＵＳＥＬＥＣＴＥＤ，２０,ＵＳＥＬＥＣＴＥＤ，１２,ＵＳＥＬＥＣＴＥＤ，０３,ＵＤｅｃｉｄｅｄ）に対する総合評価（トータルコスト）を導出する際の模式図である。
合成素片ＵＳＥＬＥＣＴＥＤ，２０のターゲットコストＤＩＦＦＴＡＲＧＥＴ（Ｔ２，ＵＳＥＬＥＣＴＥＤ，２０）と、合成素片ＵＳＥＬＥＣＴＥＤ，２０とＵＳＥＬＥＣＴＥＤ，１２間の接続コストＤＩＦＦＣＯＮＣ（ＵＳＥＬＥＣＴＥＤ，１２,ＵＳＥＬＥＣＴＥＤ，２０）と合成素片ＵＳＥＬＥＣＴＥＤ，１２が格納していた１本目のパスＰａｔｈ１２１ （Ｐａｔｈ１２ｑ，ｑ＝１：（ＵＳＥＬＥＣＴＥＤ，１２,ＵＳＥＬＥＣＴＥＤ，０３,ＵＤｅｃｉｄｅｄ））に対する総合評価（トータルコスト）Ｃｏｓｔ（Ｐａｔｈ１２１）との関係を示した図である。
なお、本実施形態では、仮説パス（ＵＳＥＬＥＣＴＥＤ，ｉｊ，Ｐａｔｈ（ｉ−１）ｓｑ）に対するトータルコストをＳ４０１で求めたターゲットコストＤＩＦＦＴＡＲＧＥＴ（Ｔｉ，Ｕｉｊ）とＳ４０５で求めた接続コストＤＩＦＦＣＯＮＣ（ＵＳＥＬＥＣＴＥＤ，（ｉ−１）ｓ，ＵＳＥＬＥＣＴＥＤ，ｉｊ）と合成素片ＵＳＥＬＥＣＴＥＤ，（ｉ−１）ｓが格納していた合成単位Ｔ０から合成単位Ｔｉ−１までのパスＰａｔｈ（ｉ−１）ｓｑに対するトータルコストＣｏｓｔ（Ｐａｔｈ（ｉ−１）ｓｑ）との和をもって算出したが、例えば、積で算出するなどでも良く、これに限定されるものではない。
（５−６）ランク分け
（５−６−１）ランク分けの概要
次に、合成素片選択部１３０は、図９、図１０、図１１のように、Ｓ４０４において残った各パスについて（最大ＳｘＱ本）、合成素片選択部１３０より後段の処理において処理単位に対する処理を実施する際の各記憶媒体からの素片データの取得に関する制約に対する充実の度合いを調べて、Ｑ個のランクに分ける。なお、「ランク」とは、ＨＤＤ１１２から波形データを取得する回数をいう。
さらに、図１２のように、Ｓ４０６において導出したトータルコストが最も低い各ランクにおける最適なパスを１つ選択し、最終的に合成単位Ｔｉの合成素片ＵＳＥＬＥＣＴＥＤ，ｉｊが記憶すべきＱ本のパスを選択し、合成素片の系列を示すパスＰａｔｈｉｊｑ（ｑ＝１，・・・，Ｑ）と各々のトータルコストＣｏｓｔ（Ｐａｔｈｉｊｑ）を記録し、その他のパスに関する情報を全て破棄する（Ｓ４０７）。
（５−６−２）制約に対する充実度
データ取得に関する制約に対する充実の度合いについて詳述する。
本実施形態では、上記した上限回数を１回を単位としてランク分けし、それら上限回数の各ランクを利用した場合を例示する。
Ｓ４０４において用いたデータ取得に関する制約より強い制約を複数段階用意する。合成素片選択部１３０より後段の処理において処理単位（合成単位列）に対する処理を実施する際の各記憶媒体からの素片データの取得に関する制約と、仮定した各パス上にある全合成素片の前記所定の素片データの全記憶媒体における配分状況とを比較し、より強い制約に対する合否の組み合わせによって、それぞれの仮説パスにランク付けを行う。
本実施形態では、波形生成部１４０において処理単位に対する合成音声を生成する際にＨＤＤ１１２から波形データを取得する条件回数を１回ずつ減少させていくことで、すなわち、ランクを変えていく。そして、１回・０回までとした強い制約を新たに設けて、０回までの制約を満たすパスのランク、０回より多く１回までの制約を満たすパスのランク、１回より多く２回までの制約を満たすパスのランクの合計３個のランクに分ける。最初のランクである０個までの制約を満たすパス（太線）は無く（図９）、２個目のランクである０個より多く１個までの制約を満たすパス（太実線）を図１０は示しており、３個目のランクである１個より多く２個までの制約を満たすパス（太実線）を図１１は示している。
このようにして、各記憶媒体からのデータの取得に関する制約に対する充実度に従ってランク分けされた各仮説パス群から最適なパスを１本選択し、それらのパスに対してのみ、以降の処理によって仮説展開が進められる。
本実施形態においては、図１２に示したとおり、パスＰａｔｈ２００＝（Ｎｏｎｅ）、Ｐａｔｈ２０１＝（ＵＳＥＬＥＣＴＥＤ，２０,ＵＳＥＬＥＣＴＥＤ，１０,ＵＳＥＬＥＣＴＥＤ，０１,ＵＤｅｃｉｄｅｄ）とそのトータルコストＣｏｓｔ（Ｐａｔｈ２０１）、パスＰａｔｈ２０２＝（ＵＳＥＬＥＣＴＥＤ，２０,ＵＳＥＬＥＣＴＥＤ，１２,ＵＳＥＬＥＣＴＥＤ，０３,ＵＤｅｃｉｄｅｄ）とそのトータルコストＣｏｓｔ（Ｐａｔｈ２０２）が合成素片ＵＳＥＬＥＣＴＥＤ，２０に格納されて以降の処理が継続される。
上記したように、制約に関する充実度によってランク分けされた各パス群の中でより良いパスを選択し、今後の処理を続けていくことによって、現在の合成単位より後の合成単位において制約を犯す可能性のある合成素片を仮定したパスに追加することが可能となる。
（５−６−３）制約に対する充実度に関する変更例
なお、以降の処理によって制約を侵す可能性のある合成素片を追加する余地を残す目的が達せられれば良く、そのランク分けの方法と選択するパスの本数によって本発明の効果が限定されるものではない。例えば、以下に示すような方法が考えられる。
本実施形態では、現在仮定しているパスのランク分けに利用する一層限定した制約を設定する方法として、等間隔のステップ（１回）を利用した。しかし、等間隔である必要はなく、１回以下（０回と１回）と２回の２つのランクに分ける場合も考えられ、これに限定されるものではない。
また、本実施形態では、制約を強めて各充実度のランク毎に最適なパスを１つ選択しているが、複数であっても良い。
また、上記したように、時間として与えられた制約や回数として与えられた制約を、全合成単位の継続時間長の総和と合成単位Ｔ０から現在の合成単位Ｔｉまでの継続時間長の総和との比を制約として与えられた回数・時間に乗じて利用するような、各合成単位における制約を動的に緩和するように変更していく方法でも良い。このような制約を動的に緩和させていく場合には、各合成素片に対して最適なパスを唯一選択する方式をとっても良いし、上位複数のパスを選択しても良い。
（５−７）まとめ
このようにして、Ｓ４０４からＳ４０７の処理を当該合成単位中の各合成素片に対して施し（Ｓ４０３からＳ４０８）、Ｓ４０３からＳ４０８の処理を当該処理単位中の各合成単位に対して施し（Ｓ４０２からＳ４０９）、図１３のように、データ取得に関する制約を満たすパスを１つの処理単位に対して複数本導出する。
（５−８）変更例
なお、本実施形態では、記憶媒体１１０からの素片データの取得に関する合成単位列に対する制約を満たすように逐次的な仮説展開と評価による合成素片列の選択を行った。
しかし、例えば、所定の個数の合成単位毎に記憶媒体１１０からの素片データの取得に関する制約を考慮したパスの選択を行い、その間の合成単位におけるパス選択では、制約を考慮しない従来手法のコスト関数を用いたパス選択を行う方法も考えられる（図２３）。
また、極端な場合には、処理単位の最初の合成単位Ｔ０から最後の合成単位Ｔｎ−１まで、記憶媒体１１０からの素片データの取得に関する合成単位列に対する制約を考慮せずに合成素片列を選択し、最後に記憶媒体１１０からの素片データの取得に関する合成単位列に対する制約を満たす合成単位列のみを選択してもよく、これに限定されるものではない。
（５−９）Ｂｅｓｔ Ｐａｔｈの決定
次に、合成素片選択部１３０は、合成単位Ｔｎ−１（＝Ｔ４）の合成素片が格納する全てのパスＰａｔｈ（ｎ−１）ｊｑ（ｊ＝０，・・・，Ｓ−１、ｑ＝１，・・・，Ｑ）をトータルコストＣｏｓｔ（Ｐａｔｈ（ｎ−１）ｊｑ）で比較することによって評価する。図１４のように、最もトータルコストが低いパスＰａｔｈ４３２＝（ＵＳＥＬＥＣＴＥＤ，４３,ＵＳＥＬＥＣＴＥＤ，３２,ＵＳＥＬＥＣＴＥＤ，２０,ＵＳＥＬＥＣＴＥＤ，１０,ＵＳＥＬＥＣＴＥＤ，０１,ＵＤｅｃｉｄｅｄ）を当該処理単位における最適なパスと位置付け、当該パスＰａｔｈ４３２上にある合成素片の系列を出力する（Ｓ４１０）。
（５−１０）波形データの接続
次に、波形生成部１４０は、合成素片選択部１３０から入力された合成素片の系列に従って、波形データ、または、所定の属性の素片データを記憶媒体１１０から取得し、当該処理単位に対する合成音声を生成する（Ｓ４１１）。
本実施形態では、メモリ１１１とＨＤＤ１１２から波形データを、メモリ１１１からピッチ周期などのその他付随する素片データを取得し、ピッチ同期波形重畳方式（ＰＳＯＬＡ）などの公知技術によって当該処理単位に対する合成音声を生成する。
（６）効果
このように、第１の実施形態に係わる音声合成装置１０によれば、合成素片選択部１３０より後段の波形生成部１４０で利用する所定の素片データの配置に関する情報とデータ取得に関する合成単位列に対する制約とを考慮しつつ合成素片の系列を選択することで、後段の波形生成部１４０で合成音声を生成する際に利用する波形データのデータ取得を確実に制御できる。
また、低速なデータ取得しか成し得ない記憶媒体から所定の素片データを取得することが集中してデータ取得の所要時間が各処理単位に対する合成音声の生成に要する時間において過大となることを防ぐ。これにより、合成音声の生成に要する時間に処理単位間で大きな差が生じることを避け、また、データ取得に起因する合成音声の生成に要する時間の増大を確実に抑制することが可能となる。
また、１文章などの複数の処理単位からなる入力に対して、先頭の処理単位から順次的に合成音声を生成し、全処理単位に対する合成音声の生成を完了する前に既に生成・蓄積されている合成音声を再生し始める機構を持つ音声合成装置においては、波形データの取得に起因する合成音声の生成に要する時間の増大を確実に抑制することにより、既に生成・蓄積されている合成音声を全て再生し終えても次に再生すべき合成音声の生成が完了しない「音途切れ」の発生を抑制することが可能となる。
また、データ取得時間の過大に因る「音途切れ」の発生を抑制することにより、波形データが配置された記憶媒体のデータ取得に要する時間の大小に囚われずに波形データを配置できるため、利用可能なデータが増えることで合成音声の音質が向上することを期待できる。
（第２の実施形態）
次に、本発明の第２の実施形態の音声合成装置１６について図１５から図２３に基づいて説明する。
本実施形態では、記憶媒体に３種類（主記憶装置、補助記憶装置、外部記憶装置）の記憶媒体を持つ構成を例示する。それら記憶媒体からのデータ（波形データ）取得に関する合成単位列に対する制約として、データ取得に要する概算時間を利用した場合を例示する。
（１）音声合成装置１６の構成
図１５は、本実施形態に係わる音声合成装置１６を示すブロック図である。
音声合成装置１６は、上記した第１の実施形態と同様に、外部から音声合成の対象となるテキストデータを取得するテキスト取得部１１と、テキストデータに形態素解析・構文解析を行う言語処理部１２と、テキストデータのアクセントや品詞などの韻律や言語に関わる属性に基づいて、合成単位列を音声合成部１７に出力する韻律処理部１３と、合成単位列から合成音声を生成する音声合成部１７と、出力された所定の量の合成音声を蓄積後、または、出力された合成音声を逐次的に再生する音声波形出力部１５とを備えている。
上記テキスト取得部１１、言語処理部１２、韻律処理部１３、音声波形出力部１５は、第１の実施形態と同一の処理を行い、音声合成部１７は一部異なる処理を行う。
なお、韻律処理部１３から音声合成部１７に引き渡される合成単位列を構成するそれぞれの合成単位にも、第１の実施形態と同様の情報（音韻記号、韻律情報、言語情報など）が付与されている。
図１６は、本発明の第２の実施形態に係わる音声合成装置１６の音声合成部１７を示すブロック図である。
（２）音声合成部１７の構成
音声合成部１７は、第１の実施形態とは異なり、メモリ１１５とＨＤＤ１１２に加えて新たにＮＡＮＤ型フラッシュメモリ１１６が記憶媒体１１４に付与されている。
音声合成部１７は、記録媒体１１４、合成素片選択部１３１、波形生成部１４１から構成されている。
記録媒体１１４は、全ての合成素片の全ての素片データ（Ｍ−１．．．Ｍ−ｋ、Ｈ−１．．．Ｈ−ｋ）を格納したデータ取得時間に長短を有する複数の記憶媒体から構成されるている。具体的には、メモリ１１５とＨＤＤ１１２、ＮＡＮＤ型フラッシュメモリ１１６から構成されている。
メモリ１１５は、全ての合成素片の全ての素片属性に関する素片データと一部の合成素片の全ての波形データと、全ての合成素片の波形データが格納されている記憶媒体がメモリ１１５かＨＤＤ１１２かＮＡＮＤ型フラッシュメモリ１１６の何れであるかを記録したデータ配置情報１１７とを格納している。
ＨＤＤ１１２とＮＡＮＤ型フラッシュメモリ１１６とは、メモリ１１５に波形データを格納していない合成素片の波形データを格納している。
合成素片選択部１３１は、韻律制御部１３から入力された合成単位列の各合成単位が有する目標合成音声の音韻・韻律情報・言語情報と、メモリ１１５に格納されている各合成素片の所定の素片属性の素片データと、前記データ配置情報１１７と、メモリ１１５・ＨＤＤ１１２・ＮＡＮＤ型フラッシュメモリ１１６からの波形データの取得に関する合成単位列に対する制約とに基づいて、合成単位毎に合成素片を選択して複数の合成素片の組み合わせである合成素片列を生成する。
波形生成部１４１は、合成単位毎に選択された合成素片の波形データをメモリ１１５とＨＤＤ１１２とＮＡＮＤ型フラッシュメモリ１１６から取得し、接続することで合成単位列に対応する合成音声を生成する。
本実施形態では、記憶媒体１１４を主記憶装置であるメモリ１１５、補助記憶装置であるＨＤＤ１１２に、外部記憶装置としてＮＡＮＤ型フラッシュメモリ１１６が加わった構成の組み合わせを例示する。しかし、上記したように、外部記憶装置としてはその他に多種多様な装置を組合すことが考えられ、さらには、主記憶装置と外部記憶装置を利用した構成を採ることも可能であるが、データ取得時間に長短を有する複数の記憶媒体から構成されれば、どのような組み合わせでも良く、本実施形態の例に限定されるものではない。
（３）音声合成装置１６の動作
以下では、本実施形態に係わる音声合成装置１６の動作について、第１の実施形態との差異についてのみ説明する。
すなわち、音声合成装置１６の動作は、図３に示した第１の実施形態に係わる合成音声装置１０の動作内容とＳ３０７を除いて同一である。また、その動作内容に差異があるＳ３０７の動作内容は、図４に示した第１の実施形態に係わる合成音声装置１０の音声合成部１４が行うＳ４０４とＳ４０７を除いて同一である。
（４）音声合成部１７の動作
以下では、図１７〜図２２を用いて、音声合成部１７の第１の実施形態に係わる動作内容と異なるＳ５０４とＳ５０７について述べる。
合成素片選択部１３１は、図１８（ａ）のように、合成単位Ｔ１の合成素片に接続されているＴ１以前の全てのパス（破線及び太実線）に当該合成素片Ｕ２０（合成単位Ｔ２の合成素片ｊ＝０）が後続することを仮定し（破線及び太実線）、記憶媒体１１４からの波形データの取得に関する当該合成単位列（処理単位：Ｔ０からＴ４）に対する制約を満たさないパスをそれら仮定したパスの中から除外し、以後の評価対象から外す（太実線）（Ｓ５０４）。
（５）制約の適用方法
本実施形態での記憶媒体１１４からの波形データの取得に関する当該合成単位列（処理単位）に対する制約の適用方法について詳述する。
本実施形態では、制約として、合成素片選択部１３１より後の処理で利用する素片データ（波形データ）を記憶媒体１１４から取得するのに要する処理単位当たりの上限時間が与えられた場合を例示する。
データ配置情報１１７には、第１の実施形態と同様に、全ての合成素片に対して、合成素片選択部１３１より後の処理で利用する波形データ、または、所定の素片属性の素片データが格納されている記憶媒体が判別できるように各合成素片の素片ＩＤと各記憶媒体の識別子とが対応付けて格納されている。
本実施形態では、波形生成部１４１で利用する波形データに関して、図１８（ｂ）のように、全合成素片（４８９２個）の素片ＩＤ（１〜４８９２）と波形データが格納されている記憶媒体の識別子（メモリ１１５は「１」、ＨＤＤ１１２は「２」、ＮＡＮＤ型フラッシュ１１６は「３」）とが対応付けて格納されている。
まず、仮定したパス上の各合成素片の素片ＩＤを用いて、合成素片選択部１３１より後段の処理で利用する各合成素片の所定の素片データが何れの記憶媒体に格納されているのかをデータ配置情報１１７を用いて導出する。
本実施形態では、波形生成部１４１で利用する各合成素片の波形データがメモリ１１５かＨＤＤ１１２かＮＡＮＤ型フラッシュメモリ１１６の何れに格納されているのかを判別する。図１８（ａ）の合成素片（丸印）上に記した数字は、格納されている記憶媒体の識別子を示したものである。「１」はメモリ１１５を表し、「２」はＨＤＤ１１２を表し、「３」はＮＡＮＤ型フラッシュメモリを表す。
次に、合成素片選択部１３１より後段の処理において処理単位に対する処理を実施する際の各記憶媒体からの素片データの取得に関する制約と、仮定した各パス上にある全合成素片の前記所定の素片データの全記憶媒体における配分状況に基づいて算出された評価結果とを比較し、制約を満たさない仮定したパスを以降の評価対象から削除する。
本実施形態では、制約として、波形生成部１４１において処理単位（合成単位Ｔ０から合成単位Ｔ４までの合成単位列）に対する合成音声を生成する際に記憶媒体１１４から波形データを取得するのに要する時間を１００ｍｓｅｃ未満と定め、図１８（ａ）のように、合成単位Ｔ２の合成素片ＵＳＥＬＥＣＴＥＤ，２０に接続するパス（破線と太実線）の内、波形生成部１４１において記憶媒体１１４から波形データを取得するのに要する時間が１００ｍｓｅｃ以上かかるパス（太実線）を選択し、以降の評価対象から除外する。
より具体的には、各記憶媒体からデータを取得するのに要する時間の概算値と、データ配置情報１１７より導出した各パス上の全合成素片の波形データが格納されている記憶媒体の分布、すなわち、以後アクセスが必要な各記憶媒体へのアクセス回数の累計とから、次式を満たすパスを以後の評価対象から削除する。
Figure 2007264503
例えば、図１８（ａ）の一番下の実線で示したパス（ＵＳＥＬＥＣＴＥＤ，２０、ＵＳＥＬＥＣＴＥＤ，１４、ＵＳＥＬＥＣＴＥＤ，０３）の場合、
Figure 2007264503
となり、削除される。なお、各記憶媒体からのデータ取得に要する時間の概算値は、各記憶媒体の製造企業が提供する情報を利用すればよい。
このようにして、データ取得に関する制約を仮定した全てのパスに適用して、制約を満たさないパスを以後の評価対象から除外する。
また、時間として与えられた制約を現在仮定しているパスにそのまま適用する必要はなく、例えば、処理単位において、全合成単位の目標継続時間長の総和と合成単位Ｔ０から現在の合成単位Ｔｉまでの目標継続時間長の総和との比を制約として与えられた時間に乗じて、各合成単位において制約を動的に増加（変更）しても良く、これに限定されるものではない。
また、本実施形態では、各記憶媒体からの素片データの取得に関する合成単位列に対する制約を定数として与えられている場合を例示しているが、本発明を実施する装置における各記憶媒体のアクセス速度に応じて制約を固定値として外部から指定しても良く、或いは、他のプロセスの各記憶媒体の使用状況、または、使用予定に応じて制約値を動的に変更してもよく、その制約値の与え方や変更方法によって本実施形態の効果が限定されるものではない。
（７）各ランクでのＢｅｓｔ Ｐａｔｈの格納
次に、Ｓ５０７について述べる。
合成素片選択部１３１は、図１９、図２０のように、Ｓ５０４において残った各パスについて、合成素片選択部１３１より後段の処理において処理単位に対する処理を実施する際の各記憶媒体からの素片データの取得に関する制約に対する充実の度合いを調べて、Ｑ個のランクに分ける。さらに、図２１のように、各ランクにおいてＳ４０６において導出したトータルコストが最も低い最適なパスを１つ選択し、最終的に合成単位Ｔｉの合成素片ＵＳＥＬＥＣＴＥＤ，ｉｊが記憶すべきＱ本のパスを選択し、合成素片の系列を示すパスＰａｔｈｉｊｑと各々のトータルコストＣｏｓｔ（Ｐａｔｈｉｊｑ）を記録し（ｑ＝１，・・・，Ｑ）、その他のパスに関する情報を全て破棄する（Ｓ５０７）。
（８）制約に対する充実度
データ取得に関する制約に対する充実の度合いについて詳述する。
本実施形態では、上記した上限所要時間を５０ｍｓｅｃを単位としてランク分けし、それら上限所要時間の各ランクを利用した場合を例示する。
本実施形態においても、Ｓ５０４において用いたデータ取得に関する制約より強い制約を複数段階用意し、合成素片選択部１３１より後段の処理において合成単位列（処理単位）に対する処理を実施する際の各記憶媒体からの素片データの取得に関する制約と、仮定した各パス上にある全合成素片の前記所定の素片データの全記憶媒体における配分状況に基づいて算出された評価結果とを比較し、より強い制約に対する合否の組み合わせによって、それぞれのパスにランク付けを行う。
本実施形態では、波形生成部１４１において処理単位に対する合成音声を生成する際に記憶媒体１１４から波形データを取得する為の所要時間の上限を５０ｍｓｅｃずつ減少させていくことで、５０ｍｓｅｃ未満とした強い制約を新たに設けて、５０ｍｓｅｃ未満の制約を満たすパス、１００ｍｓｅｃの制約を満たすパスの２個のランクに分ける。５０ｍｓｅｃ未満の制約を満たすパス（太実線）を図１９は示しており、５０ｍｓｅｃ以上１００ｍｓｅｃ未満の制約を満たすパス（太実線）を図２０は示している。
このようにして、各記憶媒体からのデータ取得に関する制約に対する充実度に従ってランク分けされた各パス群から最適なパスを１本選択し、それらのパスに対してのみ、以降の処理によって仮説展開が進められる。
上記したように、制約に関する充実度によってランク分けされた各パス群の中でより良いパスを選択し、今後の処理を続けていくことによって、現在の合成単位より後の合成単位において制約を犯す可能性のある合成素片を仮定したパスに追加することが可能となるのである。このように、以後の処理によって制約を侵す可能性のある合成素片を追加する余地を残す目的が達せられれば良く、そのランク分けの方法と選択するパスの本数によって本実施形態の効果が限定されるものではない。例えば、以下に示すような方法が考えられる。
本実施形態では、現在仮定しているパスのランク分けに利用する一層限定した制約を設定する方法として、等間隔のステップ（５０ｍｓｅｃ）を利用した。しかし、等間隔である必要はなく、２５ｍｓｅｃ未満と２５ｍｓｅｃ以上５０ｍｓｅｃ未満と５０ｍｓｅｃ以上１００ｍｓｅｃ未満の３つのランクに分ける場合も考えられ、これに限定されるものではない。
また、本実施形態では、制約を強めて各充実度のランク毎に最適なパスを１つ選択しているが、複数であっても良い。
また、例えば、上記したように、時間として与えられた制約として与えられた制約を、全合成単位の継続時間長の総和と合成単位Ｔ０から現在の合成単位Ｔｉまでの継続時間長の総和との比を制約として与えられた回数・時間に乗じて利用するような、各合成単位における制約を動的に緩和するように変更していく方法でも良く。このような制約を動的に緩和させていく場合には、各合成素片に対して最適なパスを唯一選択する方式をとっても良いし、上位複数のパスを選択しても良い。
（９）制約を満たすパスの導出
このようにして、Ｓ５０４・Ｓ４０５・Ｓ４０６・Ｓ５０７の処理を当該合成単位中の各合成素片に対して施し（Ｓ４０３からＳ４０８）、Ｓ４０３からＳ４０８の処理を当該処理単位中の各合成単位に対して施し（Ｓ４０２からＳ４０９）、図２２のように、データ取得に関する制約を満たすパスを１つの処理単位に対して複数本導出する。
（１０）効果
このように、第２の実施形態に係わる音声合成装置１６によれば、合成素片選択部１３１より後段の波形生成部１４１で利用する所定の素片データの配置に関する情報とデータ取得に関する合成単位列に対する制約とを考慮しつつ合成素片の系列を選択することで、後段の波形生成部１４１で合成音声を生成する際に利用する波形データのデータ取得を確実に制御でき、低速なデータ取得しか成し得ない記憶媒体から所定の素片データを取得することが集中してデータ取得の所要時間が各処理単位に対する合成音声の生成に要する時間において過大となることを防ぎ、合成音声の生成に要する時間に処理単位間で大きな差が生じることを避け、また、データ取得に起因する合成音声の生成に要する時間の増大を確実に抑制することを可能となる。
（変更例）
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。
例えば、本発明を実施する機器構成やその性能や使用環境によってデータ取得時間が変動し得る、しかし、各波形データを格納した記憶媒体からの波形データの取得に関わる制約を外部より指定することを可能とすることによりデータ取得時間の過大に因る「音途切れ」の発生を実施装置に適応させて抑制することができるので、実施する装置に合わせた音質を実現することができる。さらに、全処理単位に対応する合成音声を全て生成・蓄積してから再生を開始する構成をとる音声合成装置においては、時間を問わず高品質な合成音声を生成することも可能となる。
また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
本発明の第１の実施形態に係わる音声合成装置の構成を示すブロック図である。 本発明の第１の実施形態に係わる音声合成装置の合成音声部１４の構成を示すブロック図である。 本発明の第１の実施形態に係わる音声合成装置の動作を示すフローチャートである。 本発明の第１の実施形態に係わる合成音声装置の合成音声部１４の動作を示すフローチャートである。 予備選択の説明に用いる図である。 （ａ）はデータ取得に関する制約を満たさない場合の処理に対する説明図であり、（ｂ）はデータ配置情報の内部構造に対する１実施形態（波形データに関するテーブル）である。 （ａ）は接続コスト算出の説明に用いる図であり、（ｂ）は接続コスト算出の説明に用いる図である。 トータルコストの算出の説明に用いる図である。 データ取得の制約に関する説明図（各アクセスランクのBest Path算出１）である。 データ取得の制約に関する説明図（各アクセスランクのBest Path算出２）である。 データ取得の制約に関する説明図（各アクセスランクのBest Path算出３）である。 全アクセスランクのBeＳＴパスに対するパスとトータルコストの格納の説明図である。 データ取得の制約に関する説明図（処理単位への適用が完了した際の結果）である。 データ取得の制約に関する説明図（処理単位でのBest Path）である。 実施形態２の全体の構成に関わる音声合成装置のブロック図である。 本発明の第２の実施形態に係わる音声合成装置の合成音声部１７の構成を示すブロック図である。 本発明の第２の実施形態に係わる合成音声装置の合成音声部１７の動作を示すフローチャートである。 （ａ）はデータ取得に関する制約を満たさない場合の処理に対する説明図であり、（ｂ）はデータ配置情報の内部構造に対する１実施形態（波形データに関するテーブル）である。 データ取得の制約に関する説明図（各アクセスランクでのBest Path選択１）である。 データ取得の制約に関する説明図（各アクセスランクでのBest Path選択２）である。 全ランクでのBest Pathである。 データ取得の制約に関する説明図（処理単位でのデータ取得に関する制約の適用が完了した時点）である。 データ取得に関する制約を複数の合成単位間隔で適用する場合の図である。
符号の説明
１０ 音声合成装置
１１ テキスト取得部
１２ 言語処理部
１３ 韻律処理部
１４ 音声合成部
１５ 音声波形出力部

Claims (10)

  1. 入力された合成単位列に含まれる所定の処理単位内の複数の合成単位に対応する合成素片の波形データをそれぞれ取得して、これら波形データを接続することで音声を合成する音声合成装置において、
    前記合成素片の波形データ以外の属性情報を格納した属性情報記憶媒体と、
    前記合成素片の波形データをそれぞれ格納し、かつ、前記格納した波形データを取得するためのデータ取得時間が異なる複数の波形データ記憶媒体と、
    前記波形データが格納されている波形データ記憶媒体の識別子を含むデータ配置情報を前記合成素片毎に格納したデータ配置情報記憶媒体と、
    前記処理単位内の前記各合成単位の属性情報に基づいて、前記各合成単位に対応する合成素片候補を前記属性情報記憶媒体からそれぞれ取得する候補取得部と、
    前記合成単位毎に取得した複数の合成素片候補のそれぞれの組み合わせから構成された複数の系列を求め、前記処理単位内における前記各合成素片の波形データのデータ取得時間の合計がデータ取得上限時間を越えないように、前記データ配置情報に基づいて前記複数の系列から一の系列を選択する合成素片選択部と、
    前記選択した一の系列上にある合成素片を組み合わせて合成素片列を生成する合成素片生成部と、
    前記合成素片列に含まれる合成素片の波形データを前記各波形データ記憶媒体からそれぞれ取得して接続する波形生成部と、
    を備える
    ことを特徴とする音声合成装置。
  2. 前記データ取得上限時間が、前記各波形データ記憶媒体に対する取得回数に換算されている
    ことを特徴とする請求項１記載の音声合成装置。
  3. 前記データ取得上限時間が、前記各波形データ記憶媒体に対するアクセス時間に換算されている
    ことを特徴とする請求項１記載の音声合成装置。
  4. 前記データ取得上限時間が、変更可能である
    ことを特徴とする請求項１記載の音声合成装置。
  5. 前記合成素片選択部は、前記データ取得上限時間を越えないように、前記データ配置情報に基づいて前記複数の系列から一の系列を選択する場合に、
    前記データ取得上限時間を越えない複数の系列を選択し、
    前記データ取得上限時間を段階的に分割したランクによって前記系列を分け、
    前記ランク毎にコストが低い系列を選択し、
    前記コストが低い系列の集合からさらにコストが低い複数の系列を選択する
    ことを特徴とする請求項１記載の音声合成装置。
  6. 前記合成素片選択部は、
    前記データ取得上限時間を越えない前記複数の系列から最もコストが低い一の系列を選択する
    ことを特徴とする請求項１または５記載の音声合成装置。
  7. 前記属性記憶媒体とデータ配置情報記憶媒体とがメモリである
    ことを特徴とする請求項１記載の音声合成装置。
  8. 前記波形データ記憶媒体が、メモリ、ハードディスク、または、フラッシュメモリである
    ことを特徴とする請求項１記載の音声合成装置。
  9. 入力された合成単位列に含まれる所定の処理単位内の複数の合成単位に対応する合成素片の波形データをデータ取得時間が異なる複数の波形データ記憶媒体からそれぞれ取得して、これら波形データを接続することで音声を合成する音声合成方法において、
    前記処理単位内の前記各合成単位の属性情報に基づいて、前記各合成単位に対応する合成素片候補を、前記合成素片の波形データ以外の属性情報を格納した属性情報記憶媒体からそれぞれ取得し、
    前記合成単位毎に取得した複数の合成素片候補のそれぞれの組み合わせから構成された複数の系列を求め、前記処理単位内における前記各合成素片の波形データのデータ取得時間の合計がデータ取得上限時間を越えないように、前記波形データが格納されている波形データ記憶媒体の識別子を含むデータ配置情報に基づいて前記複数の系列から一の系列を選択し、
    前記選択した一の系列上にある合成素片を組み合わせて合成素片列を生成し、
    前記合成素片列に含まれる合成素片の波形データを前記各波形データ記憶媒体からそれぞれ取得して接続する
    ことを特徴とする音声合成方法。
  10. 入力された合成単位列に含まれる所定の処理単位内の複数の合成単位に対応する合成素片の波形データをデータ取得時間が異なる複数の波形データ記憶媒体からそれぞれ取得して、これら波形データを接続することで音声をコンピュータによって合成する音声合成プログラムにおいて、
    前記処理単位内の前記各合成単位の属性情報に基づいて、前記各合成単位に対応する合成素片候補を、前記合成素片の波形データ以外の属性情報を格納した属性情報記憶媒体からそれぞれ取得し、
    前記合成単位毎に取得した複数の合成素片候補のそれぞれの組み合わせから構成された複数の系列を求め、前記処理単位内における前記各合成素片の波形データのデータ取得時間の合計がデータ取得上限時間を越えないように、前記波形データが格納されている波形データ記憶媒体の識別子を含むデータ配置情報に基づいて前記複数の系列から一の系列を選択し、
    前記選択した一の系列上にある合成素片を組み合わせて合成素片列を生成し、
    前記合成素片列に含まれる合成素片の波形データを前記各波形データ記憶媒体からそれぞれ取得して接続する
    ことを特徴とする音声合成プログラム。
JP2006092489A 2006-03-29 2006-03-29 音声合成装置及びその方法 Pending JP2007264503A (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2006092489A JP2007264503A (ja) 2006-03-29 2006-03-29 音声合成装置及びその方法
EP06822540A EP2002421A1 (en) 2006-03-29 2006-10-19 Speech synthesis apparatus and method thereof
KR1020087026383A KR20090005090A (ko) 2006-03-29 2006-10-19 음성합성장치 및 그 방법
US11/570,208 US20090216537A1 (en) 2006-03-29 2006-10-19 Speech synthesis apparatus and method thereof
CNA2006800546796A CN101449319A (zh) 2006-03-29 2006-10-19 语音合成装置及其方法
PCT/JP2006/321579 WO2007110992A1 (en) 2006-03-29 2006-10-19 Speech synthesis apparatus and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006092489A JP2007264503A (ja) 2006-03-29 2006-03-29 音声合成装置及びその方法

Publications (1)

Publication Number Publication Date
JP2007264503A true JP2007264503A (ja) 2007-10-11

Family

ID=37562066

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006092489A Pending JP2007264503A (ja) 2006-03-29 2006-03-29 音声合成装置及びその方法

Country Status (6)

Country Link
US (1) US20090216537A1 (ja)
EP (1) EP2002421A1 (ja)
JP (1) JP2007264503A (ja)
KR (1) KR20090005090A (ja)
CN (1) CN101449319A (ja)
WO (1) WO2007110992A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4406440B2 (ja) * 2007-03-29 2010-01-27 株式会社東芝 音声合成装置、音声合成方法及びプログラム
US8321222B2 (en) * 2007-08-14 2012-11-27 Nuance Communications, Inc. Synthesis by generation and concatenation of multi-form segments
KR101526866B1 (ko) 2009-01-21 2015-06-10 삼성전자주식회사 깊이 정보를 이용한 깊이 노이즈 필터링 방법 및 장치
US10681096B2 (en) * 2011-08-18 2020-06-09 Comcast Cable Communications, Llc Multicasting content
US9325756B2 (en) 2011-12-29 2016-04-26 Comcast Cable Communications, Llc Transmission of content fragments
DE102012202391A1 (de) * 2012-02-16 2013-08-22 Continental Automotive Gmbh Verfahren und Einrichtung zur Phonetisierung von textenthaltenden Datensätzen
CN103854643B (zh) * 2012-11-29 2017-03-01 株式会社东芝 用于合成语音的方法和装置
CN112309367B (zh) * 2020-11-03 2022-12-06 北京有竹居网络技术有限公司 语音合成方法、装置、存储介质及电子设备
CN114333763A (zh) * 2022-03-16 2022-04-12 广东电网有限责任公司佛山供电局 一种基于重音的语音合成方法及相关装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005266010A (ja) * 2004-03-16 2005-09-29 Advanced Telecommunication Research Institute International 素片接続型音声合成装置及び方法
JP2006010849A (ja) * 2004-06-23 2006-01-12 Mitsubishi Electric Corp 音声合成装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4449233A (en) * 1980-02-04 1984-05-15 Texas Instruments Incorporated Speech synthesis system with parameter look up table
JP3563756B2 (ja) * 1994-02-04 2004-09-08 富士通株式会社 音声合成システム
US5708760A (en) * 1995-08-08 1998-01-13 United Microelectronics Corporation Voice address/data memory for speech synthesizing system
US5913193A (en) * 1996-04-30 1999-06-15 Microsoft Corporation Method and system of runtime acoustic unit selection for speech synthesis
US5930756A (en) * 1997-06-23 1999-07-27 Motorola, Inc. Method, device and system for a memory-efficient random-access pronunciation lexicon for text-to-speech synthesis
AU772874B2 (en) * 1998-11-13 2004-05-13 Scansoft, Inc. Speech synthesis using concatenation of speech waveforms
US6697780B1 (en) * 1999-04-30 2004-02-24 At&T Corp. Method and apparatus for rapid acoustic unit selection from a large speech corpus
US6625576B2 (en) * 2001-01-29 2003-09-23 Lucent Technologies Inc. Method and apparatus for performing text-to-speech conversion in a client/server environment
CN1234109C (zh) * 2001-08-22 2005-12-28 国际商业机器公司 语调生成方法、语音合成装置、语音合成方法及语音服务器
EP1304680A3 (en) * 2001-09-13 2004-03-03 Yamaha Corporation Apparatus and method for synthesizing a plurality of waveforms in synchronized manner
JP2003108178A (ja) * 2001-09-27 2003-04-11 Nec Corp 音声合成装置及び音声合成用素片作成装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005266010A (ja) * 2004-03-16 2005-09-29 Advanced Telecommunication Research Institute International 素片接続型音声合成装置及び方法
JP2006010849A (ja) * 2004-06-23 2006-01-12 Mitsubishi Electric Corp 音声合成装置

Also Published As

Publication number Publication date
CN101449319A (zh) 2009-06-03
EP2002421A1 (en) 2008-12-17
KR20090005090A (ko) 2009-01-12
WO2007110992A1 (en) 2007-10-04
US20090216537A1 (en) 2009-08-27

Similar Documents

Publication Publication Date Title
JP4241762B2 (ja) 音声合成装置、その方法、及びプログラム
JP2007264503A (ja) 音声合成装置及びその方法
JP4130190B2 (ja) 音声合成システム
JP4406440B2 (ja) 音声合成装置、音声合成方法及びプログラム
JP5471858B2 (ja) 歌唱合成用データベース生成装置、およびピッチカーブ生成装置
JP4516863B2 (ja) 音声合成装置、音声合成方法及びプログラム
JP2011013454A (ja) 歌唱合成用データベース生成装置、およびピッチカーブ生成装置
US20080120093A1 (en) System for creating dictionary for speech synthesis, semiconductor integrated circuit device, and method for manufacturing semiconductor integrated circuit device
US8626510B2 (en) Speech synthesizing device, computer program product, and method
JP4639932B2 (ja) 音声合成装置
US9020821B2 (en) Apparatus and method for editing speech synthesis, and computer readable medium
JP2009133890A (ja) 音声合成装置及びその方法
JP2013164609A (ja) 歌唱合成用データベース生成装置、およびピッチカーブ生成装置
JP5480188B2 (ja) 使用者の候補合成単位選択による音声合成方法およびシステム（ＶｏｉｃｅＳｙｎｔｈｅｓｉｚｉｎｇＭｅｔｈｏｄａｎｄＳｙｓｔｅｍＢａｓｅｄｏｎＵｓｅｒＤｉｒｅｃｔｅｄＣａｎｄｉｄａｔｅ−ＵｎｉｔＳｅｌｅｃｔｉｏｎ）
JP2007163667A (ja) 音声合成装置および音声合成プログラム
KR101495410B1 (ko) 음성 합성 장치, 음성 합성 방법 및 컴퓨터 판독가능 기억 매체
JPH06318094A (ja) 音声規則合成装置
WO2013011634A1 (ja) 波形処理装置、波形処理方法および波形処理プログラム
JP4787686B2 (ja) テキスト選択装置、その方法、そのプログラム、及びその記録媒体
JP5123347B2 (ja) 音声合成装置
JP7183556B2 (ja) 合成音生成装置、方法、及びプログラム
JP5620776B2 (ja) 話速調整装置、音声合成システム、およびプログラム
JP4882569B2 (ja) 音声合成装置、方法及びプログラム
JP6159436B2 (ja) 読み記号列編集装置および読み記号列編集方法
JP2001249678A (ja) 音声出力装置，音声出力方法および音声出力のためのプログラム記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070925

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101109

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110308