JP4856560B2 - 音声合成装置 - Google Patents
音声合成装置 Download PDFInfo
- Publication number
- JP4856560B2 JP4856560B2 JP2007021048A JP2007021048A JP4856560B2 JP 4856560 B2 JP4856560 B2 JP 4856560B2 JP 2007021048 A JP2007021048 A JP 2007021048A JP 2007021048 A JP2007021048 A JP 2007021048A JP 4856560 B2 JP4856560 B2 JP 4856560B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- speech
- synthesized speech
- character string
- accent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000015572 biosynthetic process Effects 0.000 claims description 41
- 238000000034 method Methods 0.000 claims description 24
- 238000003786 synthesis reaction Methods 0.000 claims description 24
- 239000000284 extract Substances 0.000 claims description 6
- 230000002123 temporal effect Effects 0.000 claims description 3
- 239000011295 pitch Substances 0.000 claims 5
- 230000002194 synthesizing effect Effects 0.000 claims 2
- 235000016496 Panda oleosa Nutrition 0.000 description 49
- 240000000220 Panda oleosa Species 0.000 description 49
- 238000010586 diagram Methods 0.000 description 16
- 238000000605 extraction Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 12
- 238000005311 autocorrelation function Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
Images
Landscapes
- Machine Translation (AREA)
Description
本発明に係る音声合成装置の概要を図1に基づいて説明する。
本発明に係る音声合成装置M1を図2に示す機能ブロック図に基づいて説明する。音声合成装置M1は、音声情報取得手段M11、アクセント情報抽出手段M13、音声合成手段M15、及び文字列情報取得手段M17を有している。
本発明に係る音声合成装置である音声合成装置21のハードウェア構成を図3を用いて説明する。音声合成装置21は、CPU211、メモリ212、ハードディスク213、キーボード214、マウス215、ディスプレイ216、CD−ROMドライブ217、サウンド回路218、スピーカ218s、及びマイクロフォン218mを備えている。
音声合成装置21がハードディスク213に記録する音節持続時間データベース(以下、音節持続時間DBとする。)について図4に基づいて説明する。音節持続時間DBは、音節と当該音節を発声したときの標準的な持続時間とを関連付けたデータベースである。
音声合成装置21のCPU211の動作の概要を図5を用いて説明する。CPU211は、文字列情報若しくは音声情報を取得するための文字列・音声情報取得画面D1を表示する(S501)。
CPU211が実行する音節アライメント処理(図5:S515参照)は、取得した音声情報のどの位置に文字列情報を構成する各仮名文字の音節区切りがあるのかを判断するために実行する処理である。CPU211が実行する音節アライメント処理を図7に示すフローチャートを用いて説明する。
CPU211が実行するアクセント位置判断処理(図5:S517参照)を図9に示すフローチャートを用いて説明する。CPU211は、ステップS513(図5参照)で取得した音声情報に対する基本周波数関数を算出する(S901)。なお、基本周波数関数における基本周波数の算出は、取得した音声情報の自己相関関数を算出し、相関値が一定のしきい値以上である周期を求めることによって行う。
CPU211が実行する音声合成処理(図5:S519参照)を図10に示すフローチャートを用いて説明する。CPU211は、ステップS511で取得した文字列情報をメモリ212から取得する(S1101)。また、CPU211は、アクセント位置判断処理(図5:S517参照)で得られたアクセント文字情報をメモリ212から取得する(S1103)。
これまで説明してきた音声合成装置21のCPU211の動作を具体的な例を示しながら説明する。
本発明に係る音声合成装置の実施例2の概要を説明する。前述の実施例1においては、音声合成装置21は、文字列に与えるアクセントを、当該アクセントを有する音声をユーザが自ら発声した音声情報から抽出することによって、当該アクセントを有する文字列の合成音声を生成した。これにより、ユーザは、自らが発声したアクセントを有する文字列の合成音声を容易に得ることができた。
本発明に係る音声合成装置M51を図11に示す機能ブロック図に基づいて説明する。音声合成装置M51は、音声情報取得手段M11、アクセント情報抽出手段M13、音声合成手段M15、文字列情報取得手段M17、変更合成音声生成手段M21、合成音声候補表示手段M23、及び合成音声決定手段M25を有している。音声情報取得手段M11、アクセント情報抽出手段M13、音声合成手段M15、文字列情報取得手段M17については、実施例1と同様の構成であるため、以下での記載は省略する。
本発明に係る音声合成装置である音声合成装置51のハードウェア構成は、実施例1におけるハードウェア構成(図3参照)と同様である。
本発明に係る音声合成装置である音声合成装置51のデータは、実施例1におけるデータ(図4参照)と同様である。
音声合成装置51のCPU211の動作の概要を図12を用いて説明する。図12におけるステップS501〜S519及びS521の処理については、実施例1の音声合成装置21のCPU211の動作と同様である。従って、以下においては、ステップS551、S553の処理を説明する。
CPU211が実行する高さ・速度抽出処理(図12:S551参照)を図13に示すフローチャートを用いて説明する。CPU211は、ステップS513で取得した音声情報における音節特徴量の一つである音の高低を高さ情報として取得する(S1001)。さらに、CPU211は、ステップS513で取得した音声情報における音節特徴量の一つである音声情報の速さを速度情報として算出する(S1003)。CPU211、算出した高さ情報及び速度情報を、メモリ212へ一時的に記憶保持する(S1005)。なお、高さ情報、速度情報を取得する際には、音声情報の周波数成分における音響に関する情報(音響情報)、韻律に関する情報(韻律情報)等を用いればよい。
CPU211が実行する合成音声候補提供処理(図12:S553参照)を図14に示すフローチャートを用いて説明する。CPU211は、高さ・速度抽出処理S551(図12参照)より抽出した速度情報及び高さ情報をメモリ212から取得する(S1201)。CPU211は、合成音声情報の速度情報及び高さ情報の値を変更し、変更した特徴量を有する合成音声情報を生成する(S1203)。具体的には、予め合成音声を特徴付けるパラメータを設定しておき、また、当該パラメータの値に基づいたコスト値を基準コスト値として算出しておく。一方、ステップS1203で合成した合成音声情報の前記パラメータに対応する値に基づいたコスト値を合成コスト値として算出する。そして、基準コスト値と合成コスト値とを比較して、所定の条件に合致する合成コスト値を有する合成音声情報を生成する。なお、CPU211は、できるかぎり、複数の合成音声情報を生成する。
(1)音節アライメント処理
前述の実施例1においては、取得した音声情報のどの位置に音節の区切りがあるのかを判断する音節アライメント処理において、音節配列を構成する音節の標準的な継続時間を加算し、音声情報の継続時間との相関関係から、アクセント位置を判断した。しかし、音声情報のどの位置に音節の区切りがあるのかを判断できるのであれば例示のものに限定されない。例えば、隠れマルコフモデルを用いる音声認識技術等を利用して、音声情報のどの位置に音節の区切りがあるのかを判断するようにしてもよい。
前述の実施例1においては、[音節]列及び[持続時間]列からなる単純な音節持続時間DBを用いて、文字列情報を構成する仮名文字に対応する持続時間を取得した。しかし、実際には同じ音節であっても、先行、後続する音節や当該音節の発話フレーズ内での位置、発声の強弱によって持続時間は変化する。そのため、それらの条件を含むより複雑なデータベースであっても良い。さらに、データベースから当該音節の持続時間を取得するために単純なテーブル検索を用いるのではなく、確率モデルや決定木などを用いても良い。
前述の実施例1においては、音声情報をサウンド回路218及びマイクロフォン218mにより取得するとしたが、音声情報を得られるものであれば例示のものに限定されない。例えば、CD−ROM等の記録媒体を介して音声情報を取得するようにしてもよい。また、通信回線を介して音声情報を取得するようにしてもよい。
前述の実施例1においては、文字列情報として日本語の仮名文字を例示したが、文字列であれば例示のものに限定されない。例えば、英語等の外国語であってもよい。
前述の実施例2においては、合成音声候補情報を生成するにあたって、音の高さ及び速度を特徴量としたが、合成音声候補情報を生成できるものであれば、例示のものに限定されない。例えば、明るい、暗い等の音声の主観的な特徴を表現する情報であってもよい。
前述の実施例2においては、合成音声候補情報として合成を生成するにあたり、音声情報及び合成音声情報の音の高さ及び速度の値をパラメータの値として算出した基準コスト値、合成コスト値を用いることとしたが、合成音声候補情報を生成できるものであれば、例示の方法に限定されない。
前述の実施例2においては、音の高さ及び速度を特徴量として、音の高さ及び速度を2軸とした合成音声選択図を生成したが、2種類の特徴量に限定されない。例えば、3種類、4種類の特徴量を選択するようにしてもよい。
前述の実施例1及び実施例2においては、図に示した各フローチャートに基づいて、各処理を実現するようにした。しかし、各処理を実現できるものであれば、各フローチャート内における処理の順番は例示のものに限定されない。
51・・・・・音声合成装置
M11・・・・・音声情報取得手段
M13・・・・・アクセント情報抽出手段
M15・・・・・音声合成手段
M17・・・・・文字列情報取得手段
M21・・・・・変更合成音声生成手段
M23・・・・・合成音声候補表示手段
M25・・・・・合成音声決定手段
Claims (6)
- 文字列に対応した合成音声を生成する音声合成装置であって、
前記音声合成装置は、
ある文字列を表す文字列情報を取得する文字列情報取得手段、
ある音声を音声情報として取得する音声情報取得手段、
取得した音声情報から、当該音声情報が有するアクセントをアクセント情報として抽出するアクセント情報抽出手段、
前記アクセント情報及び前記文字列情報に基づいて、前記文字列に対応する合成音声であって、前記アクセントを有するものを生成する音声合成手段、
音の高低情報及び速度情報により構成される合成音声の特徴量を変更し、変更した特徴量を有する少なくとも1つの合成音声を生成する変更合成音声生成手段、
前記特徴量を変更した合成音声と当該変更をする前の合成音声とを、前記特徴量に基づいて、合成音声候補として音の高低及び速度を2軸とした平面上に配置して表示手段に表示する合成音声候補表示手段、
前記表示手段に表示した合成音声候補のいずれかが選択されたと判断すると、当該合成音声候補を合成音声と決定する合成音声決定手段、
を有する音声合成装置。 - 文字列に対応した合成音声を生成する音声合成プログラムであって、
前記音声合成プログラムは、
コンピュータを、
ある文字列を表す文字列情報を取得する文字列情報取得手段、
ある音声を音声情報として取得する音声情報取得手段、
取得した音声情報から、当該音声情報が有するアクセントをアクセント情報として抽出するアクセント情報抽出手段、
前記アクセント情報及び前記文字列情報に基づいて、前記文字列に対応する合成音声であって、前記アクセントを有するものを生成する音声合成手段、
音の高低情報及び速度情報により構成される合成音声の特徴量を変更し、変更した特徴量を有する少なくとも1つの合成音声を生成する変更合成音声生成手段、
前記特徴量を変更した合成音声と当該変更をする前の合成音声とを、前記特徴量に基づいて、合成音声候補として音の高低及び速度を2軸とした平面上に配置して表示手段に表示する合成音声候補表示手段、
前記表示手段に表示した合成音声候補のいずれかが選択されたと判断すると、当該合成音声候補を合成音声と決定する合成音声決定手段、
として機能させる音声合成プログラム。 - 請求項1に係る音声合成装置又は請求項2に係る音声合成プログラムにおいて、
前記アクセント情報抽出手段は、さらに、
取得した音声情報の基本周波数の時間的変化を表す基本周波数関数を用いて、前記アクセント情報を抽出すること、
を特徴とするもの。 - 請求項3に係る音声合成装置又は音声合成プログラムのいずれかにおいて、さらに、
前記アクセント情報抽出手段は、さらに、
取得した文字列情報が表す文字列と前記音声情報とを対応付けて、当該文字列を構成する音節のうち、どの音節にアクセントが存在するのかを判断し、アクセントが存在すると判断した音節を前記アクセント情報として抽出し、
前記音声合成手段は、さらに、
前記文字列情報における文字列に対応した合成音声であって、アクセントが存在すると判断した音節にアクセントを有するものを生成すること、
を特徴とするもの。 - 請求項1〜請求項4に係る音声合成装置又は音声合成プログラムのいずれかにおいて、
前記合成音声決定手段は、さらに、
前記表示手段に表示した合成音声候補のいずれかが選択されたと判断すると、当該合成音声候補を再生し、再生した前記合成音声候補に対して合成音声情報として確定する確定情報を獲得すると、前記合成音声候補を合成音声と決定すること、
を特徴とするもの。 - 文字列に対応した合成音声をコンピュータを用いて生成する合成音声生成方法であって、
コンピュータが、ある文字列を表す文字列情報を取得し、
コンピュータが、ある音声を音声情報として取得し、
コンピュータが、取得した音声情報から、当該音声情報が有するアクセントをアクセント情報として抽出し、
コンピュータが、前記アクセント情報及び前記文字列情報に基づいて、前記文字列に対応する合成音声であって、前記アクセントを有するものを生成し、
コンピュータが、音の高低情報及び速度情報により構成される合成音声の特徴量を変更し、変更した特徴量を有する少なくとも1つの合成音声を生成し、
コンピュータが、前記特徴量を変更した合成音声と当該変更をする前の合成音声とを、前記特徴量に基づいて、合成音声候補として音の高低及び速度を2軸とした平面上に配置して表示し、
コンピュータが、表示した合成音声候補のいずれかが選択されたと判断すると、当該合成音声候補を合成音声と決定する合成音声生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007021048A JP4856560B2 (ja) | 2007-01-31 | 2007-01-31 | 音声合成装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007021048A JP4856560B2 (ja) | 2007-01-31 | 2007-01-31 | 音声合成装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008185911A JP2008185911A (ja) | 2008-08-14 |
JP4856560B2 true JP4856560B2 (ja) | 2012-01-18 |
Family
ID=39728986
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007021048A Active JP4856560B2 (ja) | 2007-01-31 | 2007-01-31 | 音声合成装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4856560B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010048959A (ja) * | 2008-08-20 | 2010-03-04 | Denso Corp | 音声出力システム及び車載装置 |
JP5166369B2 (ja) * | 2009-07-22 | 2013-03-21 | 株式会社東芝 | アクセント情報抽出装置、アクセント情報抽出方法およびアクセント情報抽出プログラム |
JP5328703B2 (ja) * | 2010-03-23 | 2013-10-30 | 三菱電機株式会社 | 韻律パターン生成装置 |
JP5754141B2 (ja) * | 2011-01-13 | 2015-07-29 | 富士通株式会社 | 音声合成装置および音声合成プログラム |
JP6263868B2 (ja) | 2013-06-17 | 2018-01-24 | 富士通株式会社 | 音声処理装置、音声処理方法および音声処理プログラム |
JP2015132777A (ja) * | 2014-01-15 | 2015-07-23 | 富士通株式会社 | 音声処理装置、音声処理方法および音声処理プログラム |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05100692A (ja) * | 1991-05-31 | 1993-04-23 | Oki Electric Ind Co Ltd | 音声合成装置 |
JPH0756589A (ja) * | 1993-08-23 | 1995-03-03 | Nippon Telegr & Teleph Corp <Ntt> | 音声合成方法 |
JPH11175082A (ja) * | 1997-12-10 | 1999-07-02 | Toshiba Corp | 音声対話装置及び音声対話用音声合成方法 |
JPH11259094A (ja) * | 1998-03-10 | 1999-09-24 | Hitachi Ltd | 規則音声合成装置 |
JP4462658B2 (ja) * | 1998-06-08 | 2010-05-12 | ブラザー工業株式会社 | 音声合成装置および記憶媒体 |
JP2000267687A (ja) * | 1999-03-19 | 2000-09-29 | Mitsubishi Electric Corp | 音声応答装置 |
JP2002258885A (ja) * | 2001-02-27 | 2002-09-11 | Sharp Corp | テキスト音声合成装置およびプログラム記録媒体 |
JP2004246219A (ja) * | 2003-02-17 | 2004-09-02 | Yokogawa Electric Corp | 光変調器 |
JP2005037423A (ja) * | 2003-07-15 | 2005-02-10 | Alpine Electronics Inc | 音声出力装置 |
JP2005241789A (ja) * | 2004-02-25 | 2005-09-08 | Advanced Telecommunication Research Institute International | 素片接続型音声合成装置及び方法、並びに音声素片データベースの作成方法 |
JP2006309162A (ja) * | 2005-03-29 | 2006-11-09 | Toshiba Corp | ピッチパターン生成方法、ピッチパターン生成装置及びプログラム |
JP4114888B2 (ja) * | 2005-07-20 | 2008-07-09 | 松下電器産業株式会社 | 声質変化箇所特定装置 |
-
2007
- 2007-01-31 JP JP2007021048A patent/JP4856560B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2008185911A (ja) | 2008-08-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8219398B2 (en) | Computerized speech synthesizer for synthesizing speech from text | |
US8504368B2 (en) | Synthetic speech text-input device and program | |
JP2001034283A (ja) | 音声合成方法、音声合成装置及び音声合成プログラムを記録したコンピュータ読み取り可能な媒体 | |
JP4856560B2 (ja) | 音声合成装置 | |
US20100066742A1 (en) | Stylized prosody for speech synthesis-based applications | |
JP2006227589A (ja) | 音声合成装置および音声合成方法 | |
US20090281808A1 (en) | Voice data creation system, program, semiconductor integrated circuit device, and method for producing semiconductor integrated circuit device | |
KR20170057623A (ko) | 언어장애인을 위한 다언어 어휘의 발음 합성 및 문자화 장치 | |
JP6013104B2 (ja) | 音声合成方法、装置、及びプログラム | |
JP4639932B2 (ja) | 音声合成装置 | |
JP5079718B2 (ja) | 外国語学習支援システム、及びプログラム | |
JP2007212884A (ja) | 音声合成装置、音声合成方法、及びコンピュータプログラム | |
JP6436806B2 (ja) | 音声合成用データ作成方法、及び音声合成用データ作成装置 | |
JP2009133890A (ja) | 音声合成装置及びその方法 | |
JP4964695B2 (ja) | 音声合成装置及び音声合成方法並びにプログラム | |
JP2006349787A (ja) | 音声合成方法および装置 | |
JP2009042509A (ja) | アクセント情報抽出装置及びその方法 | |
JP5098932B2 (ja) | 歌詞データ表示装置、歌詞データ表示方法、歌詞データ表示プログラム | |
JP6340839B2 (ja) | 音声合成装置、合成音声編集方法及び合成音声編集用コンピュータプログラム | |
JP4622356B2 (ja) | 音声合成用スクリプト生成装置及び音声合成用スクリプト生成プログラム | |
JP6299141B2 (ja) | 楽音情報生成装置および楽音情報生成方法 | |
JP7186476B1 (ja) | 音声合成装置 | |
JP2005181998A (ja) | 音声合成装置および音声合成方法 | |
JP2011191528A (ja) | 韻律作成装置及び韻律作成方法 | |
JP2004258561A (ja) | 歌唱合成用データ入力プログラムおよび歌唱合成用データ入力装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080630 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100126 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110805 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110829 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110916 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111017 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111028 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141104 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4856560 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |