JP5471138B2 - 音素符号変換装置および音声合成装置 - Google Patents
音素符号変換装置および音声合成装置 Download PDFInfo
- Publication number
- JP5471138B2 JP5471138B2 JP2009183417A JP2009183417A JP5471138B2 JP 5471138 B2 JP5471138 B2 JP 5471138B2 JP 2009183417 A JP2009183417 A JP 2009183417A JP 2009183417 A JP2009183417 A JP 2009183417A JP 5471138 B2 JP5471138 B2 JP 5471138B2
- Authority
- JP
- Japan
- Prior art keywords
- phoneme
- code
- syllable
- pitch
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Auxiliary Devices For Music (AREA)
Description
以下、本発明の好適な実施形態について図面を参照して詳細に説明する。最初に、本発明の基本概念について説明する。日本語の母音は、2つの特徴的な音声フォルマント成分を含む4つ以上の重音による和音で近似できることが知られている。子音は母音成分に加えて、摩擦音など雑音を表現する和音と母音への経過音を表現する和音の3種の連結された和音が理論上必要であるが、経過音は人間の聴覚上の補間現象(音脈分凝)に委ねれば、最初の雑音と母音の2つの和音に近似できる。そこで、出願人は、日本語の母音は単一の4和音、子音は2連の4和音を基本にして全音素を表現し、これらを時間軸上につなぎ合わせれば音声合成を実現できると考え、特許文献2において、これを提案した。
次に、従来技術を利用した前準備について説明する。前準備として、人間の声を各音節ごとに符号化する処理を行う。これは、特許文献1に示されている音素の符号化処理に相当する。ただし、特許文献1に示されている符号化処理では、1つの単位区間において、4、8、16個の符号コードを定義しているが、本実施形態では、より多くの符号コードを定義する点で異なっている。具体的には、本実施形態では、ノートナンバーに対応した32個の符号コードを定義し、符号化を行う。なお、特許文献1における「音素」という語と、本発明における「音素」という語は異なっており、特許文献1における「音素」は、本発明における「音節」に相当する。
次に、音節符号から音素符号への変換について説明する。図3は、本発明に係る音素符号変換装置の一実施形態を示す構成図である。記憶手段10は、音節符号記憶部11、音素符号記憶部12を有しており、コンピュータに接続されたハードディスク等の外部記憶装置により実現される。音節符号記憶部11には、音節符号が、音節を特定する音節識別情報、男声、女声の別を示す性別情報と対応付けて記憶されている。音節符号記憶部11には、男女含めた複数人それぞれにより発声された音節符号が記憶されているため、同一の音節に対応する音節符号が複数存在する。そのため、男声、女声の別を示す属性情報により、男声の音節符号と、女声の音節符号を特定可能にしてある。また、音節と音素の対応関係を示した変換テーブルが記憶されている。音節符号記憶部11に格納されている音節符号は、上述の前準備により符号化され、音節データベースに記録されたものと同じである。
e1,2(n,n+h)=E1(n)・E2(n+h)
S2(h)=Σn=H,127-He1,2(n,n+h)
hM,2≧0のとき、E1,2(n)={e1,2(n,n+hM,2)}1/2
hM,2<0のとき、E1,2(n)={e1,2(n−hM,2,n)}1/2
e1,r+1(n,n+h)={E1,r(n)}r・Er+1(n+h)
Sr+1(h)=Σn=H,127-He1,r+1(n,n+h)
hM,r+1≧0のとき、E1,r+1(n)={e1,r+1(n,n+hM,r+1)}1/(r+1)
hM,r+1<0のとき、E1,r+1(n)={e1,r+1(n−hM,r+1,n)}1/(r+1)
次に、得られた音素符号を利用した音声の合成について説明する。図13は、本発明に係る音声合成装置の一実施形態を示す構成図である。図13において、音素符号データベース12aは、得られた音素符号を、音素符号識別情報と対応付けて記録したものである。音素符号データベース12aに格納されている音素符号は、上述の音素符号変換装置により変換され、音素符号記憶部12に格納されたものと同じである。したがって、上述の音素符号変換装置は、この音素符号データベース12aを作成するためのものであるとも言える。また、音素符号データベース12aには、各音素符号識別情報と、音節を特定する音節識別情報との対応関係を示した変換テーブルが記録されている。この変換テーブルは、図4に示したものと同じである。合成音声データ記憶手段13は、音素編集処理手段50により合成された合成音声データを記憶するものであり、ハードディスク等の記憶装置により実現される。
本発明に係る音声合成装置は、音楽データに、音声メッセージの形態で著作権者情報など特定の情報を埋め込む技術、“電子透かし”に応用することが可能である。図17は、本発明に係る音声合成装置の基本構成を利用した電子透かし埋め込み装置を示す図である。図17において、音素符号データベース12aは、図13に示した音素符号データベース12aと同じものであり、音素符号を、音素符号識別情報と対応付けて記録するとともに、各音素符号識別情報と、音節識別情報との対応関係を示した変換テーブルを記録したものである。埋め込み処理手段51は、SMF形式等により記述されたデジタルデータである音楽コンテンツに、メッセージテキスト(合成指示データ)で特定されるメッセージを埋め込む。具体的には、埋め込み処理手段51は、図13に示した音素編集処理手段50の機能を備え、メッセージテキスト(合成指示データ)の内容を各音節識別情報に分離し、更に前記変換テーブルを参照しながら各音節識別情報を対応する音素符号識別情報に変換し、音素符号データベース12aから前記変換された音素符号識別情報に対応する音素符号を抽出し、所定の加工を施して合成音声を生成する。そして、出力する音楽コンテンツが複数トラックであり、メッセージ用の専用トラックが存在する場合は、その専用トラックに合成音声を埋め込んで単一のMIDI形式の音楽データとして音響出力手段61に出力する。音楽コンテンツに専用トラックが存在しない場合には、音楽コンテンツの無音部分に、合成音声を格納して音響出力手段61に出力する。
11・・・音節符号記憶部
12・・・音素符号記憶部
12a・・・音素符号データベース
13・・・合成音声データ記憶手段
20・・・処理制御手段
21・・・音高別エネルギー算出手段
22・・・音高別エネルギー統合手段
23・・・符号変換手段
30・・・符号表示手段
50・・・音素編集処理手段
51・・・埋め込み処理手段
60・・・音声出力手段
61・・・音響出力手段
70・・・印刷手段
Claims (17)
- 1つの音節を複数の符号コードで表現した音節符号を読み込む音節符号読込手段と、
前記読み込まれた音節符号を構成する符号コード群について、各音高ごとに発音開始時刻と発音終了時刻との時間差と符号コードの強さとの積で与えられるエネルギー値の総和であるエネルギー総和値を算出する音高別エネルギー算出手段と、
複数の音節符号間で、一方の音節符号の音高に対応するエネルギー総和値と前記音高に所定の正または負の数値で与えられる音高補正値を加算した音高に対応する他方の音節符号のエネルギー総和値を乗算しながら、各音高ごとに全てのエネルギー総和値を乗算して統合エネルギー値を算出する音高別エネルギー統合手段と、
前記統合エネルギー値が高い上位の音高を所定の個数だけ抽出し、抽出された各音高に対応する符号コードに、所定の強さ、所定の発音開始時刻、所定の発音終了時刻のパラメータを設定し、複数の符号コードで構成される音素符号に変換する符号変換手段と、
を有することを特徴とする音素符号変換装置。 - 請求項1において、
前記音高別エネルギー統合手段は、所定の範囲でシフト値を所定の規則に従って変動させながら、一方の音節符号の音高に対応するエネルギー総和値と前記音高に所定の正または負の値で与えられる前記シフト値を加算した音高に対応する他方の音節符号のエネルギー総和値を乗算して、所定の音高の範囲で複数の乗算値を算出し、前記複数の乗算値の総和が最大になるときのシフト値を前記音高補正値として与えることを特徴とする音素符号変換装置。 - 請求項1または請求項2において、
前記音高別エネルギー統合手段は、日本語カナ文字の「ア」「イ」「ウ」「エ」「オ」に対応する5種の「カ」「キ」「ク」「ケ」「コ」などの複数の子音音節に対応する音節符号間で乗算して統合エネルギー値を算出し、
前記符号変換手段は、「K」などの共通する子音音素の音素符号に変換することを特徴とする音素符号変換装置。 - 請求項1から請求項3のいずれかにおいて、
前記音高別エネルギー統合手段は、日本語カナ文字の「ア」に対応する複数個の「カ」「サ」「タ」「ナ」「ハ」「マ」などの複数の子音音節に対応する音節符号間で乗算して統合エネルギー値を算出し、
前記符号変換手段は、「A」などの共通する母音音素の音素符号に変換することを特徴とする音素符号変換装置。 - 請求項1または請求項2において、
前記音高別エネルギー統合手段は、N人の話者が発声した日本語カナ文字の「ア」「イ」「ウ」「エ」「オ」に対応する5N種の「カ」「キ」「ク」「ケ」「コ」などの複数の子音音節に対応する音節符号間で乗算して統合エネルギー値を算出し、
前記符号変換手段は、「K」などの共通する子音音素の音素符号に変換することを特徴とする音素符号変換装置。 - 請求項1、請求項2、請求項5のいずれかにおいて、
前記音高別エネルギー統合手段は、N人の話者が発声した日本語カナ文字の「ア」に対応する複数個の「カ」「サ」「タ」「ナ」「ハ」「マ」などのN種の複数の子音音節に対応する音節符号間で乗算して統合エネルギー値を算出し、
前記符号変換手段は、「A」などの共通する母音音素の音素符号に変換することを特徴とする音素符号変換装置。 - 請求項1から請求項6のいずれか一項に記載の音素符号変換装置により作成され、複数の話者が発声した日本語カナ文字の各音節に共通して含まれる音素に対応して、所定の種類以下の音高を同時にもち、音の強さおよび音の長さが均一の複数の符号コードで構成される音素符号を、音素符号を識別する音素符号識別情報と対応付けて記録した音素符号データベースと、
与えられた合成指示データに記載されている音節識別情報をもとに音素符号識別情報に変換し、対応する音素符号を前記音素符号データベースから抽出し、前記音節識別情報に従って、発音の開始および終了を特定する時刻を設定し、母音音素に対応する音素の発音の終了を特定する時刻より所定の無音区間を加えた時刻を後続する音節の発音の開始を特定する時刻として設定することにより合成音声データを生成する音素編集処理手段と、
を有することを特徴とする音声合成装置。 - 請求項7において、
前記音素編集処理手段により生成された合成音声データを音声として出力する音声出力手段をさらに有することを特徴とする音声合成装置。 - 請求項7または請求項8において、
前記音素編集処理手段により生成された合成音声データを五線譜に変換し、印刷する印刷手段をさらに有することを特徴とする音声合成装置。 - 請求項7から請求項9のいずれか一項において、
前記音素編集処理手段は、前記合成指示データに記載されている音節識別情報が母音音節で、日本語カナ文字の長音であるとき、その音節全体の発音時間を、所定の値だけ増加させることを特徴とする音声合成装置。 - 請求項7から請求項10のいずれか一項において、
前記音素編集処理手段は、前記合成指示データに記載されている音節識別情報が、日本語カナ文字の促音であるとき、当該促音の直後に配置される音節に対応する第1の音素と同一の音素を、当該第1の音素の直前に配置して、各音素の発音の開始を特定する時刻、発音の終了を特定する時刻を設定することを特徴とする音声合成装置。 - 請求項7から請求項11のいずれか一項において、
前記音素編集処理手段は、前記合成指示データに記載されている音節識別情報が、日本語カナ文字の「ヤ」「ユ」「ヨ」の拗音であるとき、前記拗音の直前の音節については、第1の音素のみを設定し、当該第1の音素の直後に、前記拗音に対応する「ヤ」「ユ」「ヨ」いずれかの音節に対応する2つの音素を配置して、各音素の発音の開始を特定する時刻、発音の終了を特定する時刻を設定することを特徴とする音声合成装置。 - 請求項7から請求項12のいずれか一項において、
前記音素編集処理手段が、前記音節識別情報より変換された音素符号識別情報に対応する音素符号を前記音素符号データベースから抽出し、前記音節識別情報に従って、発音の開始および終了を特定する時刻を設定する際、前記無音区間に対して、設定された時間伸縮率を乗算し、前記発音の開始および終了を特定する時刻に対して所定の改変を施すようにしていることを特徴とする音声合成装置。 - 請求項7から請求項13のいずれか一項において、
前記音素編集処理手段が、前記音節識別情報より変換された音素符号識別情報に対応する音素符号を前記音素符号データベースから抽出し、前記音節識別情報に従って、発音の開始および終了を特定する時刻を設定する際、設定された音高オフセットパラメータに基づいて、前記音素符号データベースに記録されている前記音素符号が母音の場合、当該音素符号を構成する各符号コードの音高に対して、前記音高オフセットパラメータを加算し、前記合成音声データを構成する全ての母音音素に対応する符号コードの音高に対して所定の改変を施すようにしていることを特徴とする音声合成装置。 - 請求項14において、
前記合成指示データには各音節ごとに音節識別情報とともに前記音高オフセットパラメータが定義されており、前記音素編集処理手段が、与えられた音節識別情報より変換された音素符号識別情報に対応する音素符号を前記音素符号データベースから抽出し、前記音節識別情報に従って、発音の開始および終了を特定する時刻を設定する際、前記各音節ごとに定義された音高オフセットパラメータに基づいて、前記音素符号データベースに記録されている前記音素符号が母音の場合、当該音素符号を構成する各符号コードの音高に対して、前記音高オフセットパラメータを加算し、前記合成音声データを構成する全ての母音音素に対応する符号コードの音高に対して、改変を施すようにしていることを特徴とする音声合成装置。 - 請求項1から請求項6のいずれか一項に記載の音素符号変換装置としてコンピュータを機能させるためのプログラム。
- 請求項7から請求項15のいずれか一項に記載の音声合成装置としてコンピュータを機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009183417A JP5471138B2 (ja) | 2009-08-06 | 2009-08-06 | 音素符号変換装置および音声合成装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009183417A JP5471138B2 (ja) | 2009-08-06 | 2009-08-06 | 音素符号変換装置および音声合成装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011039088A JP2011039088A (ja) | 2011-02-24 |
JP5471138B2 true JP5471138B2 (ja) | 2014-04-16 |
Family
ID=43766951
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009183417A Expired - Fee Related JP5471138B2 (ja) | 2009-08-06 | 2009-08-06 | 音素符号変換装置および音声合成装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5471138B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109215670B (zh) * | 2018-09-21 | 2021-01-29 | 西安蜂语信息科技有限公司 | 音频数据的传输方法、装置、计算机设备和存储介质 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3234589B2 (ja) * | 1990-06-08 | 2001-12-04 | ヤマハ株式会社 | 音声処理装置 |
JP3011997B2 (ja) * | 1990-11-15 | 2000-02-21 | 株式会社リコー | 参照ベクトル更新方法 |
JP2800465B2 (ja) * | 1991-05-27 | 1998-09-21 | ヤマハ株式会社 | 電子楽器 |
JP3776196B2 (ja) * | 1997-03-05 | 2006-05-17 | 大日本印刷株式会社 | 音声信号の符号化方法および音声の記録再生装置 |
JP2004294816A (ja) * | 2003-03-27 | 2004-10-21 | Yamaha Corp | 携帯端末装置 |
JP4179268B2 (ja) * | 2004-11-25 | 2008-11-12 | カシオ計算機株式会社 | データ合成装置およびデータ合成処理のプログラム |
JP2007011209A (ja) * | 2005-07-04 | 2007-01-18 | Xing Inc | 作曲プログラムおよび作曲装置 |
JP4353174B2 (ja) * | 2005-11-21 | 2009-10-28 | ヤマハ株式会社 | 音声合成装置 |
-
2009
- 2009-08-06 JP JP2009183417A patent/JP5471138B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011039088A (ja) | 2011-02-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5930755A (en) | Utilization of a recorded sound sample as a voice source in a speech synthesizer | |
JP6784022B2 (ja) | 音声合成方法、音声合成制御方法、音声合成装置、音声合成制御装置およびプログラム | |
JP2838977B2 (ja) | カラオケ装置 | |
JP7476934B2 (ja) | 電子楽器、電子楽器の制御方法、及びプログラム | |
CN111418006B (zh) | 声音合成方法、声音合成装置及记录介质 | |
JP2007086316A (ja) | 音声合成装置、音声合成方法、音声合成プログラムおよび音声合成プログラムを記憶したコンピュータ読み取り可能な記憶媒体 | |
JP2020148914A (ja) | 鍵盤楽器、方法、プログラム | |
JP5360489B2 (ja) | 音素符号変換装置および音声合成装置 | |
JP4277697B2 (ja) | 歌声生成装置、そのプログラム並びに歌声生成機能を有する携帯通信端末 | |
JP7069386B1 (ja) | 音声変換装置、音声変換方法、プログラム、および記録媒体 | |
JP5471138B2 (ja) | 音素符号変換装置および音声合成装置 | |
JP6167503B2 (ja) | 音声合成装置 | |
JP6044284B2 (ja) | 音声合成装置 | |
JP5560769B2 (ja) | 音素符号変換装置および音声合成装置 | |
WO2020217801A1 (ja) | オーディオ情報再生方法および装置、オーディオ情報生成方法および装置、並びにプログラム | |
JP6819732B2 (ja) | 電子楽器、電子楽器の制御方法、及びプログラム | |
JP2022065554A (ja) | 音声合成方法およびプログラム | |
JP5481958B2 (ja) | 音素符号変換装置および音声合成装置 | |
JP2022065566A (ja) | 音声合成方法およびプログラム | |
JP5481957B2 (ja) | 音声合成装置 | |
JP5106437B2 (ja) | カラオケ装置及びその制御方法並びにその制御プログラム | |
JP5560888B2 (ja) | 符号化音声データの音高変換装置 | |
JP5233737B2 (ja) | 音素符号補正装置、音素符号データベース、および音声合成装置 | |
JP3081300B2 (ja) | 残差駆動型音声合成装置 | |
WO2022054496A1 (ja) | 電子楽器、電子楽器の制御方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120615 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130326 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130520 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20130823 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140107 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140120 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |