JP5699496B2 - 音合成用確率モデル生成装置、特徴量軌跡生成装置およびプログラム - Google Patents
音合成用確率モデル生成装置、特徴量軌跡生成装置およびプログラム Download PDFInfo
- Publication number
- JP5699496B2 JP5699496B2 JP2010198710A JP2010198710A JP5699496B2 JP 5699496 B2 JP5699496 B2 JP 5699496B2 JP 2010198710 A JP2010198710 A JP 2010198710A JP 2010198710 A JP2010198710 A JP 2010198710A JP 5699496 B2 JP5699496 B2 JP 5699496B2
- Authority
- JP
- Japan
- Prior art keywords
- transition
- note
- model
- sound
- array
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Auxiliary Devices For Music (AREA)
Description
図1は、本発明のひとつの実施形態に係る音響合成装置100のブロック図である。図1の音響合成装置100は、所望の音符および歌詞の楽曲の歌唱音を示す合成音データVoutを生成する歌唱合成装置であり、図1に示すように、演算処理装置12と記憶装置14と入力装置16とを具備するコンピュータシステムで実現される。入力装置16(例えばマウスやキーボード)は、利用者からの指示を受付ける。
図2は、第1処理部21のブロック図である。図2に示すように、第1処理部21は、特徴量抽出部32と区間設定部34と合成用情報生成部36とを含んで構成される。特徴量抽出部32は、参照音データXAが示す参照音のピッチ(以下「参照ピッチ」という)Prefを順次に検出する。参照ピッチPrefの検出には公知の技術が任意に採用される。なお、参照音のうち調波構造が存在しない区間(例えばピッチが検出されない子音の区間)の参照ピッチPrefは所定値(例えば前後の参照ピッチPrefの補間値)に設定される。図3には、特徴量抽出部32が検出した参照ピッチPrefの時系列と、楽譜データXBで指定される各指定音(V1,V2,……)の時系列とが、共通の時間軸のもとで図示されている。
図11は、合成音データVoutを生成する第2処理部22のブロック図である。図11に示すように、第2処理部22は、軌跡生成部52と合成処理部54とを含んで構成される。軌跡生成部52は、楽譜データSCが指定する各指定音のピッチの時系列(合成ピッチ軌跡)Psynを合成用情報Yから生成する。合成処理部54は、軌跡生成部52が生成した合成ピッチ軌跡Psynに沿うようにピッチが時間的に変化する歌唱音の合成音データVoutを生成する。具体的には、合成処理部54は、楽譜データSCが示す各指定音の歌詞に対応する音波形データZAを記憶装置14から取得し、合成ピッチ軌跡Psynに沿ってピッチが経時的に変化するように音波形データZAを加工することで合成音データVoutを生成する。したがって、合成音データVoutの再生音は、参照音を発声した参照歌唱者に特有の歌唱表現(ピッチ軌跡)が付加された歌唱音となる。
以上の実施形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2以上の態様は適宜に併合され得る。
参照音を音符区間σや単位区間μに区分する方法は適宜に変更される。例えば、前述の実施形態では楽譜データXBに応じて参照音を各音符区間σに区分したが、利用者からの指示に応じて各音符区間σを設定する構成も採用され得る。例えば、利用者は、表示装置に表示される参照音の波形を視認するとともに放音装置から再生される参照音を聴取することで各音符の境界を推定しながら、入力装置16を適宜に操作して各音符区間σを指定する。第1区間設定部341は、利用者からの指示に応じて各音符区間σを設定する。利用者が各音符区間σを指定する構成では、楽譜データXBは省略され得る。
前述の実施形態では、遷移配列モデルQCの分類の結果に応じてKC個の遷移配列モデルMCを生成したが、未分類の遷移配列モデルQCを遷移配列情報YCとして指定音の合成に適用する構成(以下「構成A」という)も採用され得る。指定音に指示された音符に対応する遷移配列モデルQCを利用して指定音の遷移配列が決定される。構成Aでは遷移配列分類部443(遷移配列モデルMCや遷移配列決定木TC)が省略されるから、第1処理部21の構成が簡素化されるという利点がある。
前述の実施形態では、記憶装置14に格納された参照音データXAから特徴量抽出部32が参照ピッチPrefを抽出したが、参照音から事前に抽出された参照ピッチPrefの時系列を記憶装置14に格納した構成(したがって特徴量抽出部32は省略される)も採用され得る。また、参照音を事前に各音符区間σに区分して記憶装置14に格納した構成(したがって第1区間設定部341は省略される)も採用され得る。
前述の実施形態では第1処理部21と第2処理部22とを具備する音響合成装置100を例示したが、合成用情報Y(特徴量情報YA,継続長情報YB,遷移配列情報YC)を生成する第1処理部21を具備する音合成用確率モデル生成装置(第2処理部22を省略した装置)や、合成用情報Yを利用して合成音データVoutを生成する第2処理部22を具備する音響合成装置(第1処理部21を省略した装置)としても本発明は実施され得る。また、合成用情報Yを記憶する記憶装置14と第2処理部22の軌跡生成部52とを具備する装置(合成処理部54を省略した構成)は、合成音の特徴量の時系列(例えば合成ピッチ軌跡Psyn)を生成する特徴量軌跡生成装置としても把握され得る。
前述の実施形態では参照音の参照ピッチPrefの時系列から合成用情報Yを生成するとともに合成用情報Yから合成ピッチ軌跡Psynを生成したが、合成用情報Yの生成に利用される参照音の特徴量や合成用情報Yから生成される指定音の特徴量はピッチ(基本周波数)に限定されない。例えば、参照音のパワーの時系列から合成用情報Yを生成するとともに合成用情報Yから指定音のパワーの時系列(合成パワー軌跡)を生成する構成も採用され得る。また、指定音のMFCC(Mel-Frequency cepstral coefficient)等の特徴量の生成にも、前述の実施形態と同様に本発明を適用することが可能である。
前述の実施形態では歌唱音の合成を例示したが、本発明が適用される範囲は歌唱音の合成に限定されない。例えば、楽器の演奏音(楽音)を合成する場合にも、前述の実施形態と同様に本発明を適用することが可能である。
Claims (8)
- 特徴量の変動の傾向に応じた遷移種別毎に参照音を単位区間に区分する区間設定手段と、
複数の状態の各々について特徴量の確率分布を示す遷移種別毎の特徴量モデルを、前記参照音のうち当該遷移種別の単位区間における特徴量の時系列から生成する確率モデル生成手段と、
遷移種別の複数種類の配列の各々について当該配列が各音符の音符区間内に出現する離散確率を指定する遷移配列モデルを、前記参照音のうち当該音符に対応する音符区間内の遷移種別の配列から生成する遷移配列モデル生成手段と
を具備する音合成用確率モデル生成装置。 - 前記遷移配列モデル生成手段は、前記音符区間の開始部、前記開始部の直後で特徴量が定常的に維持される定常部、および、前記定常部の直後の終了部のうちの複数の遷移種別の各配列と、前記開始部、前記定常部および前記終了部の各々とについて、出現確率を示す前記遷移配列モデルを生成する
請求項1の音合成用確率モデル生成装置。 - 特徴量の変動の傾向に応じた遷移種別の複数種類の配列の各々について当該配列が一の音符の音符区間内に出現する離散確率を指定する遷移配列モデルを、音符毎の音符区間内に1種類以上の遷移種別を包含する参照音のうち前記一の音符に対応する音符区間内の遷移種別の配列から生成する遷移配列モデル生成手段
を具備する音合成用確率モデル生成装置。 - 前記遷移配列モデル生成手段が生成した複数の遷移配列モデルを複数の集合に分類し、前記分類で構築される遷移配列決定木と前記各集合に分類された遷移配列モデルから集合毎に生成される遷移配列モデルとを含む遷移配列情報を生成する遷移配列分類手段
を具備する請求項1から請求項3の何れかの音合成用確率モデル生成装置。 - 特徴量の変動の傾向に応じた遷移種別の複数種類の配列の各々について当該配列が各音符の音符区間内に出現する離散確率を指定する複数の遷移配列モデルのうち指定音の音符に対応する遷移配列モデルが指定する離散確率に応じて指定音の各単位区間の遷移種別を決定し、前記各遷移種別に応じた傾向で各単位区間内の特徴量が変動するように特徴量の時系列を生成する軌跡生成手段
を具備する特徴量軌跡生成装置。 - コンピュータを、
特徴量の変動の傾向に応じた遷移種別毎に参照音を単位区間に区分する区間設定手段、
複数の状態の各々について特徴量の確率分布を示す遷移種別毎の特徴量モデルを、前記参照音のうち当該遷移種別の単位区間における特徴量の時系列から生成する確率モデル生成手段、および、
遷移種別の複数種類の配列の各々について当該配列が各音符の音符区間内に出現する離散確率を指定する遷移配列モデルを、前記参照音のうち当該音符に対応する音符区間内の遷移種別の配列から生成する遷移配列モデル生成手段
として機能させるプログラム。 - コンピュータを、
特徴量の変動の傾向に応じた遷移種別の複数種類の配列の各々について当該配列が一の音符の音符区間内に出現する離散確率を指定する遷移配列モデルを、音符毎の音符区間内に1種類以上の遷移種別を包含する参照音のうち前記一の音符に対応する音符区間内の遷移種別の配列から生成する遷移配列モデル生成手段
として機能させるプログラム。 - コンピュータを、
特徴量の変動の傾向に応じた遷移種別の複数種類の配列の各々について当該配列が各音符の音符区間内に出現する離散確率を指定する複数の遷移配列モデルのうち指定音の音符に対応する遷移配列モデルが指定する離散確率に応じて指定音の各単位区間の遷移種別を決定し、前記各遷移種別に応じた傾向で各単位区間内の特徴量が変動するように特徴量の時系列を生成する軌跡生成手段
として機能させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010198710A JP5699496B2 (ja) | 2010-09-06 | 2010-09-06 | 音合成用確率モデル生成装置、特徴量軌跡生成装置およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010198710A JP5699496B2 (ja) | 2010-09-06 | 2010-09-06 | 音合成用確率モデル生成装置、特徴量軌跡生成装置およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012058306A JP2012058306A (ja) | 2012-03-22 |
JP5699496B2 true JP5699496B2 (ja) | 2015-04-08 |
Family
ID=46055517
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010198710A Expired - Fee Related JP5699496B2 (ja) | 2010-09-06 | 2010-09-06 | 音合成用確率モデル生成装置、特徴量軌跡生成装置およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5699496B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6497025B2 (ja) * | 2013-10-17 | 2019-04-10 | ヤマハ株式会社 | 音声処理装置 |
JP6390690B2 (ja) * | 2016-12-05 | 2018-09-19 | ヤマハ株式会社 | 音声合成方法および音声合成装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6202049B1 (en) * | 1999-03-09 | 2001-03-13 | Matsushita Electric Industrial Co., Ltd. | Identification of unit overlap regions for concatenative speech synthesis system |
JP3966074B2 (ja) * | 2002-05-27 | 2007-08-29 | ヤマハ株式会社 | ピッチ変換装置、ピッチ変換方法及びプログラム |
JP2004325831A (ja) * | 2003-04-25 | 2004-11-18 | Roland Corp | 歌唱データ生成プログラム |
JP4367437B2 (ja) * | 2005-05-26 | 2009-11-18 | ヤマハ株式会社 | 音声信号処理装置、音声信号処理方法および音声信号処理プログラム |
JP4839891B2 (ja) * | 2006-03-04 | 2011-12-21 | ヤマハ株式会社 | 歌唱合成装置および歌唱合成プログラム |
-
2010
- 2010-09-06 JP JP2010198710A patent/JP5699496B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012058306A (ja) | 2012-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5293460B2 (ja) | 歌唱合成用データベース生成装置、およびピッチカーブ生成装置 | |
US9818396B2 (en) | Method and device for editing singing voice synthesis data, and method for analyzing singing | |
US11468870B2 (en) | Electronic musical instrument, electronic musical instrument control method, and storage medium | |
JP5471858B2 (ja) | 歌唱合成用データベース生成装置、およびピッチカーブ生成装置 | |
CN101308652B (zh) | 一种个性化歌唱语音的合成方法 | |
CN104347080B (zh) | 语音分析方法和装置、语音合成方法和装置、以及存储语音分析程序的介质 | |
JP5605066B2 (ja) | 音合成用データ生成装置およびプログラム | |
CN112382257B (zh) | 一种音频处理方法、装置、设备及介质 | |
Umbert et al. | Expression control in singing voice synthesis: Features, approaches, evaluation, and challenges | |
EP2447944B1 (en) | Technique for suppressing particular audio component | |
EP3759706A1 (en) | Method of combining audio signals | |
Saino et al. | A singing style modeling system for singing voice synthesizers. | |
JP5598516B2 (ja) | カラオケ用音声合成システム,及びパラメータ抽出装置 | |
CN112908302B (zh) | 一种音频处理方法、装置、设备及可读存储介质 | |
JP6756151B2 (ja) | 歌唱合成データ編集の方法および装置、ならびに歌唱解析方法 | |
JP6390690B2 (ja) | 音声合成方法および音声合成装置 | |
JP5699496B2 (ja) | 音合成用確率モデル生成装置、特徴量軌跡生成装置およびプログラム | |
JP2013164609A (ja) | 歌唱合成用データベース生成装置、およびピッチカーブ生成装置 | |
Shih et al. | A statistical multidimensional humming transcription using phone level hidden Markov models for query by humming systems | |
JP2014164131A (ja) | 音響合成装置 | |
JP2022065554A (ja) | 音声合成方法およびプログラム | |
JP6380305B2 (ja) | データ生成装置、カラオケシステム、及びプログラム | |
CN112489607A (zh) | 录制歌曲的方法、装置、电子设备及可读存储介质 | |
JP5262875B2 (ja) | 追従性評価システム,カラオケシステムおよびプログラム | |
JP2017062313A (ja) | カラオケ装置,カラオケシステム,及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130724 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140121 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140324 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141021 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141218 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150120 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150202 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5699496 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |