JP3408477B2 - フィルタパラメータとソース領域において独立にクロスフェードを行う半音節結合型のフォルマントベースのスピーチシンセサイザ - Google Patents

フィルタパラメータとソース領域において独立にクロスフェードを行う半音節結合型のフォルマントベースのスピーチシンセサイザ

Info

Publication number
JP3408477B2
JP3408477B2 JP33263399A JP33263399A JP3408477B2 JP 3408477 B2 JP3408477 B2 JP 3408477B2 JP 33263399 A JP33263399 A JP 33263399A JP 33263399 A JP33263399 A JP 33263399A JP 3408477 B2 JP3408477 B2 JP 3408477B2
Authority
JP
Japan
Prior art keywords
filter
synthesizer
waveform
source
syllables
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP33263399A
Other languages
English (en)
Other versions
JP2000172285A (ja
Inventor
スティーブ・ピアソン
ニコラス・キブレ
ナンシー・ニードジールスキー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Publication of JP2000172285A publication Critical patent/JP2000172285A/ja
Application granted granted Critical
Publication of JP3408477B2 publication Critical patent/JP3408477B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/06—Elementary speech units used in speech synthesisers; Concatenation rules
    • G10L13/07—Concatenation rules

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Reduction Or Emphasis Of Bandwidth Of Signals (AREA)

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、一般的にはスピー
チ合成に関し、特に、ソース信号とフィルタパラメータ
の値が独立のクロスフェード機構によって生成されるソ
ース・フィルタ型モデルに基づく結合型のシンセサイザ
に関する。
【０００２】
【従来の技術及び発明が解決しようとする課題】現在の
スピーチ合成には、多くの一長一短がある。語彙が制限
された応用には、すべての単語をディジタル標本として
格納し、再生のため文章に結合するのが望ましい。適当
な単語の上に強勢を置く良好な韻律アルゴリズムが与え
られれば、これらのシステムは全く自然に聞こえること
が多いようである。なぜなら、個別の単語は実際の肉声
の正確な再生であることができるからである。しかし、
より大きな語彙に対しては、実際の肉声スピーチの完全
な単語標本を格納するのは不可能である。従って、多く
のスピーチ合成者達はスピーチをより小さな単位に分解
し、これらの単位を単語、フレーズ、そして最終的な文
章に結合するように実験を重ねてきた。
【０００３】不幸なことに、スピーチ合成者達は、部分
単語単位を結合するときにいくつかの非常に困難な問題
に直面しなければならない。システムメモリの要件を取
り扱える程度に減らすためには、多くの異なった単語を
形成するために使用できる汎用的な部分単語単位を開発
しなければならない。しかし、そのような汎用的部分単
語単位は、多くの場合、良好に結合しない。結合された
部分単語単位の再生の間、部分単語単位が結合されると
ころでしばしば非常に目立った歪みまたはグリッチが現
れる。また、部分単語単位は、意図された韻律学的パタ
ーンを実現するためにピッチと継続時間において修正し
なければならないので、非常に多くの場合、これらの修
正を加えるための現在の諸技法によって歪みがもたらさ
れる。最後に、たいていのスピーチ区分は隣接する区分
によって強く影響されるため、肉声を適切に表現するこ
とができる結合単位（例えば、音素または二重音素）の
集合は存在しない。
【０００４】幾人かのスピーチ合成者達は上記の結合問
題に対する種々の回答を提案してきたが、今までのとこ
ろこの問題を成功裏に解決した者はいない。肉声は、単
純な信号処理の解決法に従わない、時間変動する複雑な
波形を生成する。本願発明者らは、この結合問題に対す
る成功的な解決法は、たくましいスピーチ合成モデルの
発見に伴ってのみ生み出されることができると確信し
た。さらに、本願発明者らには、結合単位の適切な集
合、及び隣接区分を動的に反映させるように、これらの
単位を修正する能力が必要である。
【０００５】
【課題を解決するための手段】本発明のフォルマントベ
ースのスピーチシンセサイザは、ソース及びフィルタシ
ンセサイザの構成要素を、人間の声管内部の肉体的構造
に密接に結びつけるあるソース・フィルタ型モデルに基
づいている。特に、このソースモデルは声門において生
み出されるソース信号の最善の推定に基づき、フィルタ
モデルは一般に声門の上部にある共鳴構造（フォルマン
トを生み出す）に基づいている。これらの理由によっ
て、本願発明者らは本発明の合成技法を「フォルマント
ベースの」合成と呼ぶ。本願発明者らは、ソースとフィ
ルターの構成要素を、実際のスピーチ生産の機構にでき
るだけ近づけてモデル化することが他の既存の諸技法よ
り遥かに自然に響く合成を作り出すと信ずる。
【０００６】本発明の合成技法は、実際のスピーチ信号
から、フォルマントを特定し抽出し（近似的半音節領域
が特定されレッテルを付けられる）、さらにこの方法を
用いて、それぞれフィルタパラメータの一集合と一つの
ソース信号波形によって表現される、半音節区分を構成
することを含む。この発明は、引き続く半音節区分を滑
らかに結合するため、新しいクロスフェード技法を提供
する。従来の混成技法と違って、本発明のシステムは、
フィルタパラメータ領域においてクロスフェードを実行
しながら、同時にだが独立して、時間領域において、ソ
ース波形の「クロスフェード」（パラメータ補間）を実
行することを許す。フィルタパラメータは声管効果をモ
デル化し、一方、ソース波形モデルは声門ソースをモデ
ル化する。この技法は、求めるならば、韻律学的修正を
声門ソースにのみ限定することができるという利点を持
つ。これによって、従来の混成技法に通常伴う、歪みを
減少させることができる。
【０００７】本発明は更に、始めと終わりの半音節の間
の相互作用を考慮に入れることができるようなシステム
を提供する。半音節は本発明の目下の好ましい結合単位
である。理想的には、結合単位への分割は、相互影響の
最も小さい点において選ばれるべきである。音節はこの
目的のための自然な単位ではあるが、音節を選択するこ
とは大量のメモリを必要とする。従って、メモリ量が制
限されたシステムにおいては半音節がより好ましい。本
発明の好ましい実施例において、本願発明者らは、一つ
の音節内の始めと終わりの半音節が如何に相互作用する
かを考慮する。本願発明者らは更に、半音節が、単語の
境界及び文の境界を越えて、如何に相互作用するかも考
慮する。この相互作用に関する情報は、一つの波形デー
タベースに格納され、このデータベースは、ソース波形
データとフィルタパラメータデータのみならず、フォル
マント修正ルールを適用する際にシステムによって使用
される、必要なレッテルまたはマークデータ及び文脈デ
ータを含む。本システムは入力音素の一つの列に作用
し、先ず単位選択を実行し、音節オブジェクトの一つの
音響列を構成し、それから、ソース信号及びフィルタパ
ラメータにクロスフェード作用を実行することによっ
て、これらのオブジェクトを描出する。結果として得ら
れる出力は、ソース波形と、フィルタパラメータであ
り、それらを、」合成スピーチを生成するために一つの
ソース・フィルタ型モデルにおいて使用することができ
る。
【０００８】その結果、様々な消費者向け製品に組み込
むことできる、自然な響きのするスピーチシンセサイザ
を得ることができる。本技法は任意のスピーチ符号化の
応用に適用することができるが、本発明は、テキストか
らスピーチへの変換応用品において使用するのに適し
た、結合型スピーチシンセサイザとして使用するのが最
もふさわしい。本システムは、多くの消費者向け応用品
に見られる、現状のメモリ及びプロセッサの制約条件の
範囲で動作するように設計されている。言葉を換えれ
ば、本シンセサイザは、メモリの小さな設置個所に収ま
り、且つより大きなサイズの他のシンセサイザより良好
に響く合成を提供するように設計されている。
【０００９】本発明、その目的及び利点をより完全に理
解するためには、以下の明細と添付の図面を参照してい
ただきたい。
【００１０】
【発明の実施の形態】多くのスピーチ合成モデルがこれ
まで提供されてきたが、大部分は次の二要素信号処理構
造を共有している。すなわち、図１に示されているよう
に、スピーチは一つの初期ソース構成要素１０が引き続
くフィルタ要素１２を通じて処理されるものとしてモデ
ル化されることができる。
【００１１】このモデルに依存して、このソースまたは
フィルタのいずれか、または両方が非常に単純または複
雑であり得る。例えば、スピーチ合成の初期の一つの型
は、極めて複雑なＰＣＭ（パルスコード変調された）波
形をソースとし、非常に単純なフィルタ（単一ゲイン）
を結合した。このＰＣＭシンセサイザにおいて、すべて
の先験的知識はソースとして埋め込まれ、フィルタには
何も埋め込まれなかった。これに比べて、別の合成法は
単純な繰り返しパルス列をソースとして用い、比較的複
雑なフィルタをＬＰＣ（線形予測符号化）に基づいて使
用した。これら慣例的な合成技法のどれも、肉声のスピ
ーチを作り出すのに責任のある、人間の声管内の肉体的
な構造をモデル化しようとしなかったことに注意すべき
である。
【００１２】本発明は、ソース及びフィルタシンセサイ
ザの構成要素を、人間の声管内部の肉体的構造に密接に
結びつけるような、フォルマントベースの合成モデルを
採用する。特に、本発明のシンセサイザは、ソースモデ
ルを、声門において生み出されるソース信号の最善の推
定に基づかせる。同様に、フィルタモデルは、一般に声
門の上部にある共鳴構造（フォルマントを生み出す）に
基づいている。これらの理由によって、本願発明者らは
我々の合成技法を「フォルマントベースの合成」と呼
ぶ。
【００１３】図２は種々のソースとフィルタの組み合わ
せを要約している。鉛直軸上に、対応するソースまたは
フィルタ要素の複雑性の相対的な尺度を示している。図
２において、ソースとフィルタ要素は横に並んだ二つの
鉛直軸上にそれぞれ図示されている。ソース軸に沿っ
て、上から下に向かって、相対的複雑性が減少する一
方、フィルタ軸に沿って、上から下に向かって、相対的
な複雑性は増加する。いくつかの一般的に水平または対
角的な線がソース軸上の一点とフィルタ軸上の一点を結
びつけ、スピーチシンセサイザの特定の型を表現する。
例えば、水平線１４は、かなり複雑なソースをかなり単
純なフィルタに結びつけ、ＴＤ−ＰＳＯＬＡシンセサイ
ザを定義する。これは、ＰＣＭソース波形が恒等フィル
タに入力される、よく知られたシンセサイザ技術の一つ
の型の一例である。同様に、水平線１６は、相対的に単
純なソースを相対的に複雑なフィルタに結びつけ、別の
よく知られた、位相ボコーダ(vocorder)シンセサイザま
たは調和シンセサイザを定義する。このシンセサイザ
は、本質的には、単純な型のパルス列のソース波形、及
びファーストフーリエ変換（ＦＦＴ）のようなスペクト
ル解析を用いて設計された複雑なフィルタを使用する。
古典的ＬＰＣシンセサイザは、パルス列ソースをＬＰＣ
フィルタに結びつける対角線１７によって表現される。
クラット (Klatt)シンセサイザ１８は、パラメータ表現
されたソースをフォルマントとゼロ点からなるフィルタ
を通過させることにより定義される。
【００１４】以上の従来型シンセサイザ技術とは対照的
に、本発明は、図２内の陰影をつけられた領域２０によ
って一般的に図示される位置を占める。言い換えれば、
本発明は、純粋の声門ソースから鼻音効果の現れた声門
ソースに渉るソース波形を使用することができる。フィ
ルタは、単純なフォルマントのフィルタバンク、あるい
はフォルマントとゼロ点を持った、幾分複雑なフィルタ
であることができる。
【００１５】本発明者らが知る限り、従来技術の結合型
合成は図２の領域２０を大きく避けてきた。領域２０
は、人間の声門音声ソースと声管（フィルタ）の間の自
然な分離に、現実的に十分近く対応する。領域２０にお
いて作用することは、純粋の時間領域表現（例えばＴＤ
−ＰＳＯＬＡ）と純粋の周波数領域表現（例えば位相ヴ
ォコーダシンセサイザまたは調和シンセサイザ）の間の
その中心的位置によっていくつかの固有の恩恵を持つ
と、本願発明者らは考える。
【００１６】本願発明者らのフォルマントベースのシン
セサイザの目下の好ましい実施例は、フィルタと逆フィ
ルタを採用する技術を使用して、ソース信号とフォルマ
ントパラメータの値を肉声のスピーチから抽出する。こ
の抽出された信号とパラメータの値は、図２の領域２０
に対応するソース・フィルタ型モデルにおいて使用され
る。肉声のスピーチからソースとフィルタパラメータの
値を抽出ための、目下の好ましい手続きは本明細におい
て後に説明する。目下の説明はフォルマントベースのシ
ンセサイザの他の様相、すなわち結合単位とクロスフェ
ードの選択に関する部分に絞ることにする。
【００１７】本発明のフォルマントベースのシンセサイ
ザは、ディジタル化されたスピーチの小さな切片を表現
する結合単位を定義し、それを、シンセサイザ音響モジ
ュールを通じて再生のため結合する。本発明のクロスフ
ェード技法は、種々のサイズの結合単位とともに採用す
ることができる。音節はこの目的のための自然な単位で
あるが、メモリが制限されている場合には、音節を基本
的な結合単位として選択することは、メモリ要件によっ
て禁じられているかもしれない。従って、本発明は基本
的結合単位として半音節を用いる。フォルマントベース
のシンセサイザの一つの重要な部分は、クロスフェード
を実行して、隣接する半音節を滑らかに結合し、結果と
して得られる音節がグリッチや歪みがなく自然に響くよ
うにすることである。下により詳しく説明するように、
本システムはこのクロスフェードを、ソース・フィルタ
型モデルの二つの構成要素、ソース波形とフォルマント
フィルタパラメータに関する時間領域と周波数領域の双
方において実行する。
【００１８】本発明はソース波形データ及びフィルタパ
ラメータデータを一つの波形データベースに格納する。
このデータベースはその最大形式において、ディジタル
化されたスピーチ波形とフィルタパラメータデータを、
自然言語（例えば英語）に見られる各半音節の少なくと
も一つの例に対して格納する。金銭節約的な形式におい
ては、このデータベースは、重複したスピーチ波形を取
り除き、短縮することができる。隣接する半音節は大い
に相互影響するため、この好ましいシステムは、遭遇す
る異なったそれぞれの文脈に対してデータを格納する。
【００１９】図３は、波形データベースを構築するため
の、目下の好ましい技法を示す。図３（そして図４Ａと
４Ｂ）において、上部の辺が二重線のボックスは、主要
な処理ブロックの見出しを描くようにしてある。これら
の見出しの下の単線のボックスは、見出しブロックによ
って表されている主要ブロックを構成する、個々のステ
ップまたはモジュールを表現する。
【００２０】図３に関して、波形データベースのための
データは、ステップ４０において半音節の一つのリスト
を先ず構成し、ステップ４２にて境界領域の列を取りま
とめることによって構築される。これは、すべての可能
な半音節の組み合わせを生成し（ステップ４４）、ステ
ップ４６において使用されない組み合わせを除外するこ
とによって成される。ステップ４４は、始めと終わりの
半音節のすべての異なる順列を生成する再帰過程である
ことができる。すべての可能な組み合わせのこの網羅的
なリストはそれから、データベースのサイズを減らすた
めに短縮される。この短縮は、ステップ４６において、
本シンセサイザが発音するすべての単語の表音表記を含
む単語辞書４８を参照して、達成される。これらの表音
表記は、本シンセサイザが発音する単語に現れない半音
節の組み合わせを刈り取るために使用される。
【００２１】この好ましい実施例は、単語間の境界ある
いは文章間の境界を越えるような、音節間の境界をも又
取り扱う。これらの境界単位（多くの場合子音の集ま
り）は正しい文脈から標本抽出される二重音素から構成
される。使用されない境界単位組み合わせを取り除く一
つの方法は、単語辞書４８に発見される単語を使って形
成される例文を含む、テキスト集５０を提供することで
ある。これらの例文は、テキスト集に発見されない境界
単位組み合わせがステップ４６において除かれるよう
に、単語境界の異なった文脈を定義するために使用され
る。
【００２２】半音節と境界単位のリストが編纂され短縮
された後、各半音節に対応する標本抽出された波形デー
タが、ステップ５２において、記録されレッテルを付け
られる。これは、ステップ５４に示されているように各
半音節の関連する部分の始めと終わりに表音マークを付
けることを含む。本質的には、標本抽出された波形デー
タのこれらの関連する部分は、抽出された部分をこの標
本が導かれた元の対応する半音節または境界単位に対応
させることによって抽出されレッテルを付けられる。
【００２３】次のステップは、ソースデータ及びフィル
タデータを、一般的にステップ５６において上記レッテ
ルを付けられた波形データから抽出することを含む。ス
テップ５６は、下にもっと詳しく説明する技法を含む。
この技法は、実際の肉声スピーチを、あるコスト関数を
用いて、フィルタとその逆フィルタを通して処理する。
このコスト関数は、固有のソース信号及びフィルタパラ
メータを上記レッテルを付けられた波形データの各々か
ら抽出することを助ける。抽出されたソースデータ及び
フィルタデータは、ステップ５８において波形データベ
ース６０に格納される。この最大の波形データベース６
０は、従って、レッテルを付けられた半音節と境界単位
の各々のソース（波形）データ、フィルタパラメータデ
ータを含む。この波形データベースが構成されると、シ
ンセサイザを使用することができる。
【００２４】シンセサイザを使用するためには、一つの
入力列が、図４ａのステップ６２において供給される。
この入力列は、ステップ６４に示されているように、フ
レーズまたは文を表現する音素列であることができる。
この音素列は連携された抑揚パターン６６と音節継続情
報６８を含むことができる。これら抑揚パターン及び音
節継続情報は韻律情報を供給し、シンセサイザが、音節
のピッチと持続時間を選択的に変更し、このフレーズま
たは文に、より自然な肉声に近い抑揚を与えるために使
用することができる。
【００２５】上記音素列は一連のステップを通じて処理
され、情報が波形データベース６０から抽出され、クロ
スフェード機構によって与えられる。先ず、見出しブロ
ック７０に指示されているように単位選択が実行され
る。これはステップ７２において文脈ルールを適用する
ことを含み、波形データベース６０からどのデータを抽
出すべきかを決定する。７４に概略的に示した文脈ルー
ルは、どの半音節と境界単位を、ある条件の下で、デー
タベースから抽出するかを特定する。例えば、音素列が
データベースに直接に表示されている一つの半音節を呼
び求めるならば、その半音節が選択される。文脈ルール
は、波形データベースから選択する際に、隣接する音単
位の半音節を考慮する。もし求める半音節がデータベー
スに直接表示されていなければ、文脈ルールは求める半
音節に最も近い近似的半音節を特定する。文脈ルール
は、結合されたときに最も自然な響きのする半音節を選
択するように設計されている。従って、文脈ルールは言
語学的原理に基づいている。
【００２６】例示のため、求める半音節が合成される単
語において有声両唇音（例えば／ｂ／）に続いている
が、この半音節は、データベースにおいてはそのような
文脈には見つからないとすれば、文脈ルールは次善に望
ましい文脈を特定する。この場合、これらのルールは、
別の両唇音（例えば／ｐ／）に続く区分を選択すること
ができる。
【００２７】次に、本シンセサイザは、入力として供給
される音素列に対応する音節オブジェクトの音響列を構
成する。このステップは一般に７６に示されており、単
位選択の間に特定されるような半音節の列に関するソー
スデータを構成することを含む。このソースデータはソ
ース・フィルタ型モデルのソース要素に対応する。フィ
ルタパラメータも又、データベースから抽出され、音響
列を構成するために操作される。フィルタパラメータの
操作に関する詳細は下により完全に議論する。目下の好
ましい実施例は、音節オブジェクトの列を音節の連携さ
れたリスト７８として定義する。そしてこのリストはさ
らに半音節の連携されたリスト８０から構成される。こ
れらの半音節は、波形データベース６０から得られる波
形切片８２を含む。
【００２８】一度ソースデータが編纂されると、時間領
域においてソースデータをクロスフェードし、それと独
立に、周波数領域においてフィルタパラメータをクロス
フェードするために、一連の描出ステップが行われる。
これらの描出ステップは、ステップ８４から始まり、時
間領域に適用される。周波数領域に適用される描出ステ
ップはステップ１１０から始まる（図４Ｂ）。
【００２９】図５は、時間領域においてソースデータの
クロスフェードを行うための、目下の好ましい技法を示
している。図５にいうて、持続時間Ｓのある音節が、そ
れぞれ持続時間ＡとＢの始まりと終わりの半音節からな
る。持続時間Ａの半音節の波形データは８６に表されて
おり、持続時間Ｂの半音節の波形データは８８に表され
ている。これらの波形切片は、これらの半音節がともに
持続時間Ｓ内に適合するように、時間に関して配置され
ている。これら半音節の間には重なった部分があること
に注意すべきである。
【００３０】この好ましい実施例のクロスフェード機構
は、時間領域において、線形クロスフェードを実行す
る。この機構は、９２において表現されている線形クロ
スフェード関数とともに、９０を以て概略的に図示して
ある。時刻ｔ０において持続時間Ａの半音節は全強調を
受けるが、持続時間Ｂの半音節はゼロ強調を受ける。時
間がｔｓまで進行するに従って、持続時間Ａの半音節に
対する強調は次第に減少し、一方持続時間Ｂの半音節に
対する強調は次第に増加する。この結果、９２で示した
ように持続時間Ｓの全音節に対する、合成された、すな
わちクロスフェードされた波形がもたらされる。
【００３１】更に、図４Ｂに示したように、別個のクロ
スフェード過程が、抽出された半音節に対応するフィル
タパラメータデータに関して行われる。この手続きは、
フィルタ選択ルール９８を適用して、データベース６０
からフィルタパラメータを得ることから始まる。もし要
請される音節が、データベース６０の一つの音節例外要
素に直接表示されているならば、この音節に対応するフ
ィルタデータがステップ１００において使用される。そ
れとは異なって、もしフィルタデータがデータベースに
おいて一つの完全な音節として直接表示されていなけれ
ば、新しいフィルタデータが周波数領域において二つの
半音節からのデータにクロスフェード作用を適用するこ
とによって、ステップ１０２におけるように生成され
る。このクロスフェード作用は、引き続く半音節がクロ
スフェードされるクロスフェード領域を選択し、それか
らステップ１０６においてその領域を横切って適当なク
ロスフェード関数を適用することを必要とする。このク
ロスフェード関数はフィルタ領域において適用され、線
形関数（図５に示したものに類似の）、シグモイド関
数、あるいは何か別の適当な関数であってよい。データ
ベースから直接導かれるか（ステップ１００におけるよ
うに）、あるいはクロスフェード作用によって生成され
るかに拘わらず、フィルタパラメータデータは、ソース
・フィルタ型シンセサイザにおいて後に使用されるよう
にステップ１０８において格納される。
【００３２】適切なクロスフェード領域とクロスフェー
ド関数を選択することはデータから独立している。周波
数領域においてクロスフェードを行う目的は、重要な二
重母音を損なうことなく、不要なグリッチあるいは共鳴
音を取り除くことである。この目的が得られるために
は、クロスフェード領域を、結合されるべきスピーチ単
位の軌道ができるだけ類似しているところに、特定しな
ければならない。例えば、単語”ｈｏｕｓｅ”の構成に
おいて、／ｈａｗ／と／ａｗｓ／に対する半音節のフィ
ルタ単位はその核／ａ／の領域において重なるように結
合することができる。
【００３３】一度ソースデータとフィルタデータが編纂
され、上記のステップに従って描出されると、それら
は、ステップ１１０においてそれぞれソース波形データ
バンク１１２及びフィルタパラメータデータバンク１１
４に出力され、ソース・フィルタ型モデルのシンセサイ
ザ１１６によって使用され、合成されたスピーチが出力
される。
【００３４】［ソース信号とフィルパラメータの抽出］
図６はソース波形を複雑な入力波形から抽出することが
できる本発明にかかわる一つのシステムを示している。
フィルタと逆フィルタの一対がこの抽出過程において用
いられる。
【００３５】図６において、フィルタ１１０はそのフィ
ルタモデル１１２とフィルタパラメータ１１４によって
定義される。本発明は又、フィルタ１１０の逆に対応す
る逆フィルタ１１６を採用する。フィルタ１１６は、例
えば、フィルタ１１０と同じフィルタパラメータを持つ
が、フィルタ１１０が極点を持つ各位置に置いて、ゼロ
点を置き換える。従って、フィルタ１１０と逆フィルタ
１１６は、相反的システムを定義し、逆フィルタ１１６
の効果はフィルタ１１０の効果によって否定すなわち逆
転される。そのため、図示したように、逆フィルタ１１
６に入力され，フィルタ１１０によって引き続いて処理
されるスピーチ波形は、理論的には、入力波形と同一で
ある出力波形となる。実際には、フィルタ許容における
わずかの変動またはフィルタ１１６と１１０の間のわず
かの差が、入力波形の同一の照合から幾分はずれる出力
波形を生み出す。
【００３６】スピーチ波形（または他の複雑な波形）が
逆フィルタ１１６を通じて処理されるとき、ノード１２
０における出力剰余信号がコスト関数１２２を採用する
ことによって処理される。一般的に言えば、この処理
は、以下により詳しく説明する複数の処理関数の一つま
たはそれ以上に従って、剰余信号を処理し、一つのコス
トパラメータを生成する。引き続く処理ステップは、こ
のコストパラメータを使用して、コストパラメータを最
小化するように、フィルタパラメータ１１４を調整す
る。図６において、コスト最小化部ブロック１２４は、
フィルタパラメータがコストとパラメータの減少ををも
たらすように、選択的に調整される過程を概略的に表現
している。これは、最小コストを探索しながらフィルタ
パラメータを逐次的に調整するアルゴリズムを使用し
て、繰り返し的に実行することができる。
【００３７】ひとたび最小コストが成されれば、その結
果得られるノード１２０における剰余信号は、引き続く
ソース・フィルタ型モデルの合成のために抽出するソー
ス信号を表現するために使用される。最小コストをもた
らしたフィルタパラメータの値１１４はそれから、引き
続くソース・フィルタ型モデルの合成において使用され
ためのフィルタ１１０を定義するためのフィルタパラメ
ータの値として使用される。
【００３８】図７は、本発明に関わる、ソース・フィル
タ型モデルの合成システムを達成するために、ソース信
号が抽出され、フィルタパラメータの値が特定される過
程を図解する。
【００３９】先ず、一つのフィルタモデルがステップ１
５０において定義される。パラメータによって表現され
た適当なフィルタモデルはどれでも使用できる。次い
で、ステップ１５２において、パラメータのある初期値
集合が提供される。パラメータの初期値集合は、最小化
されたコスト関数に対応するパラメータを探索するた
め、引き続くステップにおいて逐次的に変更される。局
所的な最小値に対応する部分的に最適な解を避けるた
め、様々な技法を使用することができる。例えば、ステ
ップ１５２において使われるパラメータの初期値集合
は、局所的最小値を避けるため、いくつかの異なった出
発点を供給するように設計されたある集合または行列か
ら選択することができる。従って、図７において、ステ
ップ１５２はパラメータの異なった初期値集合に対して
複数回実行されることに注意していただきたい。
【００４０】１５０において定義されたフィルタモデル
及び１５２において定義されたパラメータの初期値集合
は、フィルタを構成するため（１５６におけるよう
に）、また逆フィルタを構成するため（１５８における
ように）、ステップ１５４において使用される。
【００４１】次に、ステップ１６０においてスピーチ信
号が、ステップ１６４で剰余信号を出するために逆フィ
ルタに入力される。図示のように、この好ましい実施例
では、現ピッチエポックにおいて中心化され、２ピッチ
周期を覆うように調整されたハニング(Hanning)ウイン
ドウを使用する。他のウインドウも又可能である。剰余
信号はそれから、ステップ１６６において処理され、弧
長計算において使用されるためのデータ点が抽出され
る。
【００４２】剰余信号はデータ点を抽出するためいくつ
かの異なった方法で処理されることができる。ステップ
１６８に示したように、この処理は処理ルーチンの一つ
のクラス中の一つまたはそれ以上に分岐することができ
る。このようなルーチンの諸例はステップ１７０に示さ
れている。次に、弧長（または自乗長）の計算がステッ
プ１７２において行われる。結果として得られる値は一
つのコストパラメータ値として役立つ。
【００４３】フィルタパラメータの初期値集合に対し
て、コストパラメータ値を計算した後、これらフィルタ
パラメータは、ステップ１７４において選択的に調整さ
れ、本手順はステップ１７６に示したように、最小コス
トが得られるまで逐次的に繰り返される。
【００４４】ひとたび最小コストが達成されれば、この
最小コストに対応する抽出された剰余信号は、ステップ
１７８においてソース信号として使用される。この最小
コストに対応するフィルタパラメータの値は、ステップ
１８０においてソース・フィルタ型モデルにおけるフィ
ルタパラメータの値として使用される。
【００４５】ソース信号及びフィルタパラメータの値の
抽出に関する、より詳しい内容については、スティーブ
・パーソンによる、本願発明の譲受人に譲渡された米国
特許出願「コスト関数と逆フィルタリングを使い、符号
化と合成のためにソースとフィルタに関するデータを抽
出するフォルマントベースの方法及び装置」を参照して
いただきたい。
【００４６】本発明は目下の好ましい実施例において説
明したが、本発明は、添付の請求項目において表明され
ている本発明の精神からはずれることなく、変更を加え
ることができるものと理解されるべきである。
【図面の簡単な説明】
【図１】 本発明に採用する事ができる基本的なソース
・フィルタ型モデルを示す概略図。
【図２】 スピーチシンセサイザの技術のブロックダイ
アグラムであって、可能なソースとフィルタの組み合わ
せのスペクトルを示し、特に、本発明のシンセサイザが
存在する領域を示す図。
【図３】 本発明において使用される波形データベース
を構築するための手順を示すフローチャート。
【図４ａ、４ｂ】 本発明に関わる合成過程を示すフロ
ーチャート。
【図５】 ソース波形の断片の時間領域クロスフェード
を示す波形図。
【図６】 本発明を実践するする際に役に立つ好ましい
装置の説明図。
【図７】 本発明に関わるプロセスを示すフローチャー
ト。
【符号の説明】
１１２ フィルタモデル １１６ 逆フィ
ルタ １１０ フィルタ １１４ フィル
タパラメータ １２２ コスト関数 １２４ コスト
最小化部
フロントページの続き (72)発明者 ナンシー・ニードジールスキー アメリカ合衆国93110カリフォルニア州 サンタ・バーバラ、プリモベラ4017エイ 番 (56)参考文献 特開 昭63−208099（ＪＰ，Ａ) 特開 昭62−102294（ＪＰ，Ａ) 特開 平７−177031（ＪＰ，Ａ) 特開 平６−175692（ＪＰ，Ａ) 特公 昭61−61400（ＪＰ，Ｂ１) (58)調査した分野(Int.Cl.7，ＤＢ名) G10L 13/06

Claims (7)

    (57)【特許請求の範囲】
  1. 【請求項１】 結合型スピーチシンセサイザであって、 （ａ）複数の半音節に対応する半音節波形データ及び
    （ｂ）前記複数の半音節に対応するフィルタパラメータ
    データを含むデータベースと、 合成すべき入力列に対応する、選択された半音節波形デ
    ータ及びフィルタパラメータの値を前記データベースか
    ら抽出するための単位選択システムと、 抽出された半音節波形データの対を結合して、音節波形
    信号を生成するための波形クロスフェード機構と、 抽出されたフィルタパラメータの値の間を補間すること
    によって、音節レベルフィルタデータの集合を定義する
    ためのフィルタパラメータクロスフェード機構と、 前記音節レベルフィルタデータの集合を受容し、前記音
    節波形信号を処理して合成スピーチを生成するために作
    用するフィルタモジュールとで構成したシンセサイザ。
  2. 【請求項２】 前記波形クロスフェード機構が時間領域
    において作用する請求項１に記載のシンセサイザ。
  3. 【請求項３】 前記フィルタパラメータクロスフェード
    機構が周波数領域において作用する請求項１に記載のシ
    ンセサイザ。
  4. 【請求項４】 前記波形クロスフェード機構が、一つの
    音節に対応する、予め定義された持続時間に渉って二つ
    の半音節に線形クロスフェードを行うことを特徴とする
    請求項１に記載のシンセサイザ。
  5. 【請求項５】 前記フィルタパラメータクロスフェード
    機構が、二つの半音節のそれぞれ抽出されたフィルタパ
    ラメータの値の間を補間することを特徴とする請求項１
    に記載のシンセサイザ。
  6. 【請求項６】 前記フィルタパラメータクロスフェード
    機構が、二つの半音節のそれぞれ抽出されたフィルタパ
    ラメータの値の間を線形補間することを特徴とする請求
    項１に記載のシンセサイザ。
  7. 【請求項７】 前記フィルタパラメータクロスフェード
    機構が、二つの半音節のそれぞれ抽出されたフィルタパ
    ラメータの値の間をシグモイ補間することを特徴とする
    請求項１に記載のシンセサイザ。
JP33263399A 1998-11-25 1999-11-24 フィルタパラメータとソース領域において独立にクロスフェードを行う半音節結合型のフォルマントベースのスピーチシンセサイザ Expired - Fee Related JP3408477B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/200327 1998-11-25
US09/200,327 US6144939A (en) 1998-11-25 1998-11-25 Formant-based speech synthesizer employing demi-syllable concatenation with independent cross fade in the filter parameter and source domains

Publications (2)

Publication Number Publication Date
JP2000172285A JP2000172285A (ja) 2000-06-23
JP3408477B2 true JP3408477B2 (ja) 2003-05-19

Family

ID=22741247

Family Applications (1)

Application Number Title Priority Date Filing Date
JP33263399A Expired - Fee Related JP3408477B2 (ja) 1998-11-25 1999-11-24 フィルタパラメータとソース領域において独立にクロスフェードを行う半音節結合型のフォルマントベースのスピーチシンセサイザ

Country Status (5)

Country Link
US (2) US6144939A (ja)
EP (2) EP1005017B1 (ja)
JP (1) JP3408477B2 (ja)
DE (1) DE69909716T2 (ja)
ES (1) ES2204071T3 (ja)

Families Citing this family (145)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6266638B1 (en) * 1999-03-30 2001-07-24 At&T Corp Voice quality compensation system for speech synthesis based on unit-selection speech database
US7369994B1 (en) 1999-04-30 2008-05-06 At&T Corp. Methods and apparatus for rapid acoustic unit selection from a large speech corpus
JP2001034282A (ja) * 1999-07-21 2001-02-09 Konami Co Ltd 音声合成方法、音声合成のための辞書構築方法、音声合成装置、並びに音声合成プログラムを記録したコンピュータ読み取り可能な媒体
JP3361291B2 (ja) * 1999-07-23 2003-01-07 コナミ株式会社 音声合成方法、音声合成装置及び音声合成プログラムを記録したコンピュータ読み取り可能な媒体
US6807574B1 (en) 1999-10-22 2004-10-19 Tellme Networks, Inc. Method and apparatus for content personalization over a telephone interface
US7941481B1 (en) 1999-10-22 2011-05-10 Tellme Networks, Inc. Updating an electronic phonebook over electronic communication networks
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
JP3728172B2 (ja) * 2000-03-31 2005-12-21 キヤノン株式会社 音声合成方法および装置
US6847931B2 (en) 2002-01-29 2005-01-25 Lessac Technology, Inc. Expressive parsing in computerized conversion of text to speech
US6963841B2 (en) * 2000-04-21 2005-11-08 Lessac Technology, Inc. Speech training method with alternative proper pronunciation database
US7280964B2 (en) * 2000-04-21 2007-10-09 Lessac Technologies, Inc. Method of recognizing spoken language with recognition of language color
US6865533B2 (en) * 2000-04-21 2005-03-08 Lessac Technology Inc. Text to speech
US7308408B1 (en) * 2000-07-24 2007-12-11 Microsoft Corporation Providing services for an information processing system using an audio interface
US7143039B1 (en) 2000-08-11 2006-11-28 Tellme Networks, Inc. Providing menu and other services for an information processing system using a telephone or other audio interface
US6990450B2 (en) * 2000-10-19 2006-01-24 Qwest Communications International Inc. System and method for converting text-to-voice
US6871178B2 (en) * 2000-10-19 2005-03-22 Qwest Communications International, Inc. System and method for converting text-to-voice
US6990449B2 (en) * 2000-10-19 2006-01-24 Qwest Communications International Inc. Method of training a digital voice library to associate syllable speech items with literal text syllables
US7451087B2 (en) * 2000-10-19 2008-11-11 Qwest Communications International Inc. System and method for converting text-to-voice
JP3901475B2 (ja) 2001-07-02 2007-04-04 株式会社ケンウッド 信号結合装置、信号結合方法及びプログラム
US7546241B2 (en) * 2002-06-05 2009-06-09 Canon Kabushiki Kaisha Speech synthesis method and apparatus, and dictionary generation method and apparatus
GB2392592B (en) * 2002-08-27 2004-07-07 20 20 Speech Ltd Speech synthesis apparatus and method
JP4178319B2 (ja) * 2002-09-13 2008-11-12 インターナショナル・ビジネス・マシーンズ・コーポレーション 音声処理におけるフェーズ・アライメント
CN1604077B (zh) * 2003-09-29 2012-08-08 纽昂斯通讯公司 对发音波形语料库的改进方法
US7571104B2 (en) 2005-05-26 2009-08-04 Qnx Software Systems (Wavemakers), Inc. Dynamic real-time cross-fading of voice prompts
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8024193B2 (en) * 2006-10-10 2011-09-20 Apple Inc. Methods and apparatus related to pruning for concatenative text-to-speech synthesis
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
CN101281744B (zh) 2007-04-04 2011-07-06 纽昂斯通讯公司 语音分析方法和装置以及语音合成方法和装置
US8321222B2 (en) * 2007-08-14 2012-11-27 Nuance Communications, Inc. Synthesis by generation and concatenation of multi-form segments
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8332215B2 (en) * 2008-10-31 2012-12-11 Fortemedia, Inc. Dynamic range control module, speech processing apparatus, and method for amplitude adjustment for a speech signal
US20100131268A1 (en) * 2008-11-26 2010-05-27 Alcatel-Lucent Usa Inc. Voice-estimation interface and communication system
WO2010067118A1 (en) 2008-12-11 2010-06-17 Novauris Technologies Limited Speech recognition involving a mobile device
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US20120309363A1 (en) 2011-06-03 2012-12-06 Apple Inc. Triggering notifications associated with tasks items that represent tasks to perform
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8977584B2 (en) 2010-01-25 2015-03-10 Newvaluexchange Global Ai Llp Apparatuses, methods and systems for a digital conversation management platform
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US10762293B2 (en) 2010-12-22 2020-09-01 Apple Inc. Using parts-of-speech tagging and named entity recognition for spelling correction
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US8559813B2 (en) 2011-03-31 2013-10-15 Alcatel Lucent Passband reflectometer
US8666738B2 (en) 2011-05-24 2014-03-04 Alcatel Lucent Biometric-sensor assembly, such as for acoustic reflectometry of the vocal tract
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US9640172B2 (en) * 2012-03-02 2017-05-02 Yamaha Corporation Sound synthesizing apparatus and method, sound processing apparatus, by arranging plural waveforms on two successive processing periods
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
US9576574B2 (en) 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
CN104969289B (zh) 2013-02-07 2021-05-28 苹果公司 数字助理的语音触发器
US9368114B2 (en) 2013-03-14 2016-06-14 Apple Inc. Context-sensitive handling of interruptions
WO2014144579A1 (en) 2013-03-15 2014-09-18 Apple Inc. System and method for updating an adaptive speech recognition model
US9922642B2 (en) 2013-03-15 2018-03-20 Apple Inc. Training an at least partial voice command system
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
EP3937002A1 (en) 2013-06-09 2022-01-12 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
CN105265005B (zh) 2013-06-13 2019-09-17 苹果公司 用于由语音命令发起的紧急呼叫的***和方法
WO2015020942A1 (en) 2013-08-06 2015-02-12 Apple Inc. Auto-activating smart responses based on activities from remote devices
US9620105B2 (en) 2014-05-15 2017-04-11 Apple Inc. Analyzing audio input for efficient speech and music recognition
US10592095B2 (en) 2014-05-23 2020-03-17 Apple Inc. Instantaneous speaking of content on touch devices
US9502031B2 (en) 2014-05-27 2016-11-22 Apple Inc. Method for supporting dynamic grammars in WFST-based ASR
US10289433B2 (en) 2014-05-30 2019-05-14 Apple Inc. Domain specific language for encoding assistant dialog
WO2015184186A1 (en) 2014-05-30 2015-12-03 Apple Inc. Multi-command single utterance input method
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9734193B2 (en) 2014-05-30 2017-08-15 Apple Inc. Determining domain salience ranking from ambiguous words in natural speech
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US9711141B2 (en) 2014-12-09 2017-07-18 Apple Inc. Disambiguating heteronyms in speech synthesis
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2553555B1 (fr) * 1983-10-14 1986-04-11 Texas Instruments France Procede de codage de la parole et dispositif pour sa mise en oeuvre
JPS62100027A (ja) * 1985-10-28 1987-05-09 Hitachi Ltd 音声符号化方式
JPS62102294A (ja) 1985-10-30 1987-05-12 株式会社日立製作所 音声符号化方式
JPS62194296A (ja) * 1986-02-21 1987-08-26 株式会社日立製作所 音声符号化方式
JPH0638192B2 (ja) 1986-04-24 1994-05-18 ヤマハ株式会社 楽音発生装置
JPS63127630A (ja) * 1986-11-18 1988-05-31 Hitachi Ltd 音声圧縮処理装置
US4910781A (en) * 1987-06-26 1990-03-20 At&T Bell Laboratories Code excited linear predictive vocoder using virtual searching
US5400434A (en) * 1990-09-04 1995-03-21 Matsushita Electric Industrial Co., Ltd. Voice source for synthetic speech system
JP3175179B2 (ja) * 1991-03-19 2001-06-11 カシオ計算機株式会社 デジタルピッチシフター
JPH06175692A (ja) 1992-12-08 1994-06-24 Meidensha Corp 音声合成装置のデータ接続方法
US5536902A (en) * 1993-04-14 1996-07-16 Yamaha Corporation Method of and apparatus for analyzing and synthesizing a sound by extracting and controlling a sound parameter
JPH07177031A (ja) 1993-12-20 1995-07-14 Fujitsu Ltd 音声符号化制御方式
GB2296846A (en) * 1995-01-07 1996-07-10 Ibm Synthesising speech from text
JP2976860B2 (ja) * 1995-09-13 1999-11-10 松下電器産業株式会社 再生装置
US5729694A (en) * 1996-02-06 1998-03-17 The Regents Of The University Of California Speech coding, reconstruction and recognition using acoustics and electromagnetic waves
SG65729A1 (en) * 1997-01-31 1999-06-22 Yamaha Corp Tone generating device and method using a time stretch/compression control technique
US6041300A (en) * 1997-03-21 2000-03-21 International Business Machines Corporation System and method of using pre-enrolled speech sub-units for efficient speech synthesis
US6119086A (en) * 1998-04-28 2000-09-12 International Business Machines Corporation Speech coding via speech recognition and synthesis based on pre-enrolled phonetic tokens
AU772874B2 (en) * 1998-11-13 2004-05-13 Scansoft, Inc. Speech synthesis using concatenation of speech waveforms
US6266638B1 (en) * 1999-03-30 2001-07-24 At&T Corp Voice quality compensation system for speech synthesis based on unit-selection speech database
US6725190B1 (en) * 1999-11-02 2004-04-20 International Business Machines Corporation Method and system for speech reconstruction from speech recognition features, pitch and voicing with resampled basis functions providing reconstruction of the spectral envelope
US6496801B1 (en) * 1999-11-02 2002-12-17 Matsushita Electric Industrial Co., Ltd. Speech synthesis employing concatenated prosodic and acoustic templates for phrases of multiple words

Also Published As

Publication number Publication date
JP2000172285A (ja) 2000-06-23
DE69909716T2 (de) 2004-08-05
US6144939A (en) 2000-11-07
EP1005017A3 (en) 2000-12-20
DE69909716D1 (de) 2003-08-28
EP1005017A2 (en) 2000-05-31
ES2204071T3 (es) 2004-04-16
EP1005017B1 (en) 2003-07-23
EP1347440A3 (en) 2004-11-17
EP1347440A2 (en) 2003-09-24
USRE39336E1 (en) 2006-10-10

Similar Documents

Publication Publication Date Title
JP3408477B2 (ja) フィルタパラメータとソース領域において独立にクロスフェードを行う半音節結合型のフォルマントベースのスピーチシンセサイザ
US5400434A (en) Voice source for synthetic speech system
US8219398B2 (en) Computerized speech synthesizer for synthesizing speech from text
US7010488B2 (en) System and method for compressing concatenative acoustic inventories for speech synthesis
JPH031200A (ja) 規則型音声合成装置
JP2002530703A (ja) 音声波形の連結を用いる音声合成
EP0561752B1 (en) A method and an arrangement for speech synthesis
O'Shaughnessy Modern methods of speech synthesis
JP3281266B2 (ja) 音声合成方法及び装置
Carlson Models of speech synthesis.
US6829577B1 (en) Generating non-stationary additive noise for addition to synthesized speech
Mandal et al. Epoch synchronous non-overlap-add (ESNOLA) method-based concatenative speech synthesis system for Bangla.
Venkatagiri et al. Digital speech synthesis: Tutorial
Waghmare et al. Analysis of pitch and duration in speech synthesis using PSOLA
Furtado et al. Synthesis of unlimited speech in Indian languages using formant-based rules
JP3742206B2 (ja) 音声合成方法及び装置
Datta et al. Epoch Synchronous Overlap Add (ESOLA)
Ng Survey of data-driven approaches to Speech Synthesis
Chowdhury Concatenative Text-to-speech synthesis: A study on standard colloquial bengali
Ademi et al. NATURAL LANGUAGE PROCESSING AND TEXT-TO-SPEECH TECHNOLOGY
KR100608643B1 (ko) 음성 합성 시스템의 억양 모델링 장치 및 방법
Сатыбалдиыева et al. Analysis of methods and models for automatic processing systems of speech synthesis
Datta et al. Introduction to ESOLA
Juergen Text-to-Speech (TTS) Synthesis
Lavner et al. Voice morphing using 3D waveform interpolation surfaces and lossless tube area functions

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080314

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090314

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100314

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees