JP5758713B2 - 音声合成装置、ナビゲーション装置および音声合成方法 - Google Patents
音声合成装置、ナビゲーション装置および音声合成方法 Download PDFInfo
- Publication number
- JP5758713B2 JP5758713B2 JP2011138104A JP2011138104A JP5758713B2 JP 5758713 B2 JP5758713 B2 JP 5758713B2 JP 2011138104 A JP2011138104 A JP 2011138104A JP 2011138104 A JP2011138104 A JP 2011138104A JP 5758713 B2 JP5758713 B2 JP 5758713B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- speech
- synthesis
- phoneme
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000015572 biosynthetic process Effects 0.000 title claims description 218
- 238000003786 synthesis reaction Methods 0.000 title claims description 218
- 238000001308 synthesis method Methods 0.000 title claims description 19
- 238000012545 processing Methods 0.000 claims description 147
- 238000000034 method Methods 0.000 claims description 111
- 238000004891 communication Methods 0.000 claims description 42
- 238000011156 evaluation Methods 0.000 claims description 13
- 238000004458 analytical method Methods 0.000 description 37
- 230000002194 synthesizing effect Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000012447 hatching Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 241001122315 Polites Species 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
- G10L13/10—Prosody rules derived from text; Stress or intonation
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Machine Translation (AREA)
Description
本実施の形態に係る音声合成装置および音声合成方法は、音声合成するテキストの文脈に従って、テキスト中の各部分(具体的には、各単語)の重要度を、テキスト全体の内容理解への寄与の大きさによって推定する。そして、音声合成装置および音声合成方法は、重要度の高い部分(単語)は大きなリソースを充てて高音質で合成し、重要度の低い部分(単語)を合成する際には音質を犠牲にしてリソースを削減し、リアルタイム性を維持する。
はじめに、本実施の形態の概要について、図15を用いて説明する。図15(a)は、比較例として、従来技術による音声合成処理の場合を表し、図15(b)は、本実施の形態による音声合成処理の場合を表している。図15は、「前方300メートル先、右に曲がります」というテキストデータの単語の合成音声を処理するときの順番を模式的に表したものである。なお、横軸は時刻(t)、縦軸は音声合成処理に割り当て可能なリソースとしてCPU占有率で表している。重要度は、数値が大きいほど、高品質の合成音声を生成するために、その処理に大きなリソースを充てる必要があることを表している。CPU占有率欄において記載されたハッチングおよびドットの表記は、凡例欄に記載の表記に対応する単語について合成処理が実行されたことを表している。また、単語を区切る縦線は、リアルタイム性を維持するために、合成処理が終了しなければならない時刻を示す目標終了時刻を表している。例えば、単語「ぜんぽう」と単語「さんびゃく」との間の縦線は、単語「ぜんぽう」の合成処理が終了しなければならない時刻を示す目標終了時刻を表している。なお、滑らかな曲線は、CPU占有率の変化を表している。したがって、図15では、処理負荷は、CPU占有率を時刻方向に積分した面積に相当するとみなせる。すなわち、図15中のハッチングおよびドットを付した領域は、各単語の合成処理に費やされた負荷量を表している。
第1実施の形態に係る音声合成装置のハードウェア構成について、図1を用いて説明する。また、第1実施の形態に係る音声合成装置の機能について、図2を用いて説明する。
図1に示すように、音声合成装置10は、CPU611、主記憶装置であるメモリ612、記憶装置620、入力I/F(インタフェース)631、ネットワークに接続する通信I/F632、スピーカに接続する音声出力I/F641によって構成され、これらの構成部はバス650によって相互に接続されている。音声合成装置10は、例えば、カーナビゲーション装置、携帯電話機、パーソナルコンピュータ等のデバイスに、音声合成処理ユニットとして組み込まれている。そのため、図1に示した各ハードウェアは、音声合成装置10が組み込まれたデバイスの構成を用いて実現しても良いし、音声合成装置10が組み込まれたデバイスとは別個に設けられていても良い。
次に、音声合成装置10の機能について、図2を用いて説明する。図2に示すように、音声合成装置10は、テキスト入力部100、テキスト解析部200、合成処理管理部300、波形生成部400、デバイス状態取得部500、音声出力部600によって構成される。
音声合成装置10の各構成部の動作の詳細について以下に説明する。
まず、テキスト解析部200の動作について、図3を用いて説明する。図3において、まず、テキスト解析部200の言語解析部210は、テキスト入力部100(図1参照)からテキストデータ101を受信する。
言語解析部210は、事前に作成された言語解析モデル212を用いて、テキストデータ101を中間言語211に変換する。ここで、中間言語211には、少なくとも、テキストの読みを示す発音記号が含まれる。この他、中間言語211には、品詞情報、韻律境界情報、構文情報、アクセント型等の中間言語情報が含まれていることが望ましい。なお、言語解析部210は、テキストデータ101の一部に既に中間言語情報が付加されている場合は、付加されている中間言語情報をそのまま用いることができるものとする。つまり、中間言語は、予め設定されていても構わない。
合成処理部410は、合成処理管理部300から合成用ターゲット231、次回合成音素情報、および終了時刻情報を取得する(図7中Cの入力)。
そして、合成処理部410は、最終的に、音素の音声波形501を生成する。具体的には、合成処理部410は、次回合成音素情報に基づいて、次回合成音素として指定された音素の音声波形501を、複数のステップ(図7では、第1ステップから第NステップまでのN個のステップ)を実行することによって生成する。ここで、各ステップは、例えば、音声波形の候補を取捨選択する処理を段階的に表したものであって、第1ステップから第Nステップへ移るに従って、候補数を絞り込むような処理を表している。また、合成処理部410は、各ステップの処理負荷を変更できるようになっている。詳細は後記するが、合成処理部410は、各ステップを実行する前に、負荷制御部420にアクセスし、重要度およびデバイスの負荷状態に基づいて決定される負荷制御変数を取得し、この負荷制御変数に基づいて、各ステップの処理を実行する。
図8の合成用ターゲット810は、音素決定部310に入力される合成用ターゲット231(図3参照)の一例である。合成用ターゲット810は、「前方300メートル先、右に曲がります」というテキスト中の「前」および「3」について示し、その他は記載を省略している。なお、以降の説明においては、音素決定部310の時間判定部311において用いられる閾値は20ms、音声出力応答時間(テキストが入力されてから、最初の音声が出力されるまでの時間)は200msであるものとする。
第2実施の形態に係る音声合成装置1600の機能的構成について、図16を用いて説明する。なお、図16中で、図2と同じ構成については、同じ符号を付し、説明を省略する。
音声合成装置1600は、通信部800を備え、音声合成するテキスト中の重要な部分を音声合成サーバ1610に送信して、その重要な部分の音声合成処理を音声合成サーバ1610に行わせる構成となっている。なお、音声合成サーバ1610は、合成処理のために潤沢なリソースを備えているものとする。そして、音声合成装置1600は、音声合成サーバ1610において高品質に合成された重要な部分の合成音声を、通信部800を経由して受信する。一方、音声合成装置1600は、音声合成するテキスト中の重要でない部分の音声合成処理は自装置内で実行する。これにより、音声合成装置1600は、リアルタイム性を確保しながら、重要な言葉を聞き取りやすい合成音声を生成することができる。
図16において、波形生成部400aの合成手法決定部440は、合成処理管理部300の出力を取得し、通信状態取得装置700によって取得された通信状態に関する情報に基づいて、合成用ターゲット810(図8参照)内に含まれる単語を、音声合成サーバ1610で合成処理する単語と、自装置内で合成処理する単語とに分ける。
第3実施の形態に係る音声合成装置1700の機能的構成について、図17を用いて説明する。第3実施の形態に係る音声合成装置1700は、第1実施の形態の音声合成装置10の場合と同様、入力テキストの内容理解への寄与の大きさに基づいて各単語の重要度を推定する。そして、音声合成装置1700は、重要な単語については、そのまま合成処理するが、重要でない部分については、より短時間で合成処理できるようテキストの文言を変更してから合成処理する。この理由は、合成処理に充てるリソースが限られている場合においても、重要な単語の合成処理に充てるリソースを確保するためである。このような処理により、音声合成装置1700では、リアルタイム性を確保しながら重要な単語を高品質に合成することができるので、重要な言葉を聞き取りやすい合成音声を生成することができる。なお、図17では、図2に示した第1実施の形態に係る音声合成装置10と同様の構成部には同じ符号を付し、詳細な説明を省略する。
100 入力部
200,200a テキスト解析部
210 言語解析部
220 重要度推定部
230 ターゲット付与部
240 合成時間評価部
250 テキスト変更部
300 合成処理管理部
310 音素決定部
320 終了時刻決定部
400,400a 波形生成部
410 合成処理部
420 負荷制御部
430 通信制御部
440 合成手法決定部
500 デバイス状態取得部(負荷状態取得部)
600 音声出力部
700 通信状態取得部
800 通信部
1610 音声合成サーバ(他の音声合成装置)
Claims (8)
- 音声案内の用途にもちいるデバイスに搭載され、入力されたテキストを合成音声信号に変換する音声合成処理を実行する音声合成装置であって、
前記入力されたテキストを分割して複数の部分に分け、前記テキストの内容理解への寄与の大きさに応じて、前記部分の重要度を推定する重要度推定部と、
前記音声合成装置を搭載するデバイスの処理負荷の状態を取得する負荷状態取得部と、
前記部分の合成音声信号を生成する処理を実行する際に、そのときの前記音声合成装置を搭載するデバイスの処理負荷の状態および前記重要度に基づいて、前記部分の処理に充てる処理負荷を決定する負荷制御部と、
前記負荷制御部によって決定された前記処理負荷に基づいて、前記部分の合成音声信号を生成する処理を実行する合成処理部と
を備えることを特徴とする音声合成装置。 - 前記重要度推定部は、前記寄与の大きさが大きいほど、前記重要度が高いと推定することを特徴とする請求項1に記載の音声合成装置。
- 前記部分の合成音声信号を生成する処理を終了すべき時刻を示す目標終了時刻を、前記部分の韻律特徴から決定する終了時刻決定部と、
前記目標終了時刻から前記部分の合成音声信号を生成する処理が終了した時刻を減算した差分を示す残留時間と、所定の閾値とを比較する時間判定部と、
前記残留時間が前記閾値より大きい場合、未処理の前記部分の中で前記重要度の高い前記部分を選択し、前記残留時間が前記閾値以下の場合、前記テキスト中の前記合成音声信号を生成する処理が終了した部分に後続する前記部分を選択する音素決定部と、
をさらに備え、
前記合成処理部は、前記音素決定部によって選択された前記部分の合成音声信号を生成する処理を実行する
ことを特徴とする請求項2に記載の音声合成装置。 - 前記音声合成装置の処理負荷の状態に基づいて、前記部分の処理が終了すると予測される時刻を示す予測時刻を算出し、前記予測時刻が前記目標終了時刻を越えるか否かを判定する合成時間評価部と、
前記予測時刻が前記目標終了時刻を越えると判定した場合、その部分の処理に充てる処理負荷を低減するように、前記テキストを変更するテキスト変更部と
をさらに備えることを特徴とする請求項3に記載の音声合成装置。 - 前記負荷制御部は、前記部分の重要度が高いほど、当該部分の処理に充てる処理負荷を大きくする
ことを特徴とする請求項2ないし請求項4のいずれか一項に記載の音声合成装置。 - 入力されたテキストを合成音声信号に変換する音声合成処理を実行する他の音声合成装置と通信する通信部と、
前記通信部の通信状態を取得する通信状態取得部と、
前記通信状態および前記重要度に基づいて、前記部分の合成音声信号を生成する処理を、前記合成処理部と前記他の音声合成装置のいずれで実行するかを決定する合成手法決定部と
をさらに備えることを特徴とする請求項1ないし請求項5のいずれか一項に記載の音声合成装置。 - 請求項1ないし請求項6のいずれか一項に記載の音声合成装置を、音声案内の用途のために備えることを特徴とするナビゲーション装置。
- 音声案内の用途にもちいるデバイスに搭載され、入力されたテキストを合成音声信号に変換する音声合成処理を実行する音声合成装置の音声合成方法であって、
前記音声合成装置は、
前記入力されたテキストを分割して複数の部分に分け、前記テキストの内容理解への寄与の大きさに応じて、前記部分の重要度を推定する重要度推定ステップと、
前記音声合成装置を搭載するデバイスの処理負荷の状態を取得する負荷状態取得ステップと、
前記部分の合成音声信号を生成する処理を実行する際に、そのときの前記音声合成装置を搭載するデバイスの処理負荷の状態および前記重要度に基づいて、前記部分の処理に充てる処理負荷を決定する負荷制御ステップと、
前記負荷制御ステップによって決定された前記処理負荷に基づいて、前記部分の合成音声信号を生成する処理を実行する合成処理ステップと
を備えることを特徴とする音声合成方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011138104A JP5758713B2 (ja) | 2011-06-22 | 2011-06-22 | 音声合成装置、ナビゲーション装置および音声合成方法 |
US13/527,614 US20120330667A1 (en) | 2011-06-22 | 2012-06-20 | Speech synthesizer, navigation apparatus and speech synthesizing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011138104A JP5758713B2 (ja) | 2011-06-22 | 2011-06-22 | 音声合成装置、ナビゲーション装置および音声合成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013003559A JP2013003559A (ja) | 2013-01-07 |
JP5758713B2 true JP5758713B2 (ja) | 2015-08-05 |
Family
ID=47362668
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011138104A Expired - Fee Related JP5758713B2 (ja) | 2011-06-22 | 2011-06-22 | 音声合成装置、ナビゲーション装置および音声合成方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20120330667A1 (ja) |
JP (1) | JP5758713B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5727980B2 (ja) * | 2012-09-28 | 2015-06-03 | 株式会社東芝 | 表現変換装置、方法およびプログラム |
US9704476B1 (en) * | 2013-06-27 | 2017-07-11 | Amazon Technologies, Inc. | Adjustable TTS devices |
US9892723B2 (en) * | 2013-11-25 | 2018-02-13 | Rovi Guides, Inc. | Systems and methods for presenting social network communications in audible form based on user engagement with a user device |
JP2016122033A (ja) * | 2014-12-24 | 2016-07-07 | 日本電気株式会社 | 記号列生成装置、音声合成装置、音声合成システム、記号列生成方法、及びプログラム |
US10346546B2 (en) * | 2015-12-23 | 2019-07-09 | Oath Inc. | Method and system for automatic formality transformation |
US10740573B2 (en) | 2015-12-23 | 2020-08-11 | Oath Inc. | Method and system for automatic formality classification |
CN108877765A (zh) * | 2018-05-31 | 2018-11-23 | 百度在线网络技术(北京)有限公司 | 语音拼接合成的处理方法及装置、计算机设备及可读介质 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2509523B2 (ja) * | 1993-06-25 | 1996-06-19 | 株式会社エクォス・リサーチ | 車輌用音声出力装置 |
US7003463B1 (en) * | 1998-10-02 | 2006-02-21 | International Business Machines Corporation | System and method for providing network coordinated conversational services |
AU772874B2 (en) * | 1998-11-13 | 2004-05-13 | Scansoft, Inc. | Speech synthesis using concatenation of speech waveforms |
US6513006B2 (en) * | 1999-08-26 | 2003-01-28 | Matsushita Electronic Industrial Co., Ltd. | Automatic control of household activity using speech recognition and natural language |
US20030014253A1 (en) * | 1999-11-24 | 2003-01-16 | Conal P. Walsh | Application of speed reading techiques in text-to-speech generation |
JP2005062481A (ja) * | 2003-08-12 | 2005-03-10 | Crimson Technology Inc | 楽音発生装置及びそのプログラム |
JP2006010849A (ja) * | 2004-06-23 | 2006-01-12 | Mitsubishi Electric Corp | 音声合成装置 |
WO2006070566A1 (ja) * | 2004-12-28 | 2006-07-06 | Matsushita Electric Industrial Co., Ltd. | 音声合成方法および情報提供装置 |
US8145472B2 (en) * | 2005-12-12 | 2012-03-27 | John Shore | Language translation using a hybrid network of human and machine translators |
US20080154605A1 (en) * | 2006-12-21 | 2008-06-26 | International Business Machines Corporation | Adaptive quality adjustments for speech synthesis in a real-time speech processing system based upon load |
ES2386673T3 (es) * | 2008-07-03 | 2012-08-24 | Mobiter Dicta Oy | Procedimiento y dispositivo de conversión de voz |
-
2011
- 2011-06-22 JP JP2011138104A patent/JP5758713B2/ja not_active Expired - Fee Related
-
2012
- 2012-06-20 US US13/527,614 patent/US20120330667A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
JP2013003559A (ja) | 2013-01-07 |
US20120330667A1 (en) | 2012-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5758713B2 (ja) | 音声合成装置、ナビゲーション装置および音声合成方法 | |
US10546573B1 (en) | Text-to-speech task scheduling | |
JP5173795B2 (ja) | スケーラブル符号化装置およびスケーラブル符号化方法 | |
WO2015098306A1 (ja) | 応答制御装置、制御プログラム | |
JP6078964B2 (ja) | 音声対話システム及びプログラム | |
US10176797B2 (en) | Voice synthesis method, voice synthesis device, medium for storing voice synthesis program | |
US10636412B2 (en) | System and method for unit selection text-to-speech using a modified Viterbi approach | |
JP6111802B2 (ja) | 音声対話装置及び対話制御方法 | |
JP2008249808A (ja) | 音声合成装置、音声合成方法及びプログラム | |
CN111627420A (zh) | 极低资源下的特定发音人情感语音合成方法及装置 | |
JP2001282278A (ja) | 音声情報処理装置及びその方法と記憶媒体 | |
JP2007264503A (ja) | 音声合成装置及びその方法 | |
JP4965371B2 (ja) | 音声再生装置 | |
US20110196680A1 (en) | Speech synthesis system | |
US20220165248A1 (en) | Voice synthesis apparatus, voice synthesis method, and voice synthesis program | |
JP4648878B2 (ja) | 様式指定型音声合成方法、及び様式指定型音声合成装置とそのプログラムと、その記憶媒体 | |
JP6400526B2 (ja) | 音声合成装置、その方法、およびプログラム | |
JP6486582B2 (ja) | 電子機器、音声制御方法、およびプログラム | |
US20240144910A1 (en) | Text-to-speech system with variable frame rate | |
JP5218971B2 (ja) | 音声メッセージ作成装置及び方法 | |
JP5620776B2 (ja) | 話速調整装置、音声合成システム、およびプログラム | |
JP4644879B2 (ja) | 調音パラメータ補間用データ生成装置及びコンピュータプログラム | |
CN114267327A (zh) | 语音合成***、方法、装置及设备 | |
JP2023014765A (ja) | 音声合成装置、音声合成プログラム及び音声合成方法並びに音声変換装置、音声変換プログラム及び音声変換方法 | |
CN116072152A (zh) | 语音合成方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140306 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141205 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150304 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150512 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150604 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5758713 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |