JP6756151B2 - 歌唱合成データ編集の方法および装置、ならびに歌唱解析方法 - Google Patents
歌唱合成データ編集の方法および装置、ならびに歌唱解析方法 Download PDFInfo
- Publication number
- JP6756151B2 JP6756151B2 JP2016102192A JP2016102192A JP6756151B2 JP 6756151 B2 JP6756151 B2 JP 6756151B2 JP 2016102192 A JP2016102192 A JP 2016102192A JP 2016102192 A JP2016102192 A JP 2016102192A JP 6756151 B2 JP6756151 B2 JP 6756151B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- singing
- note
- note data
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Electrophonic Musical Instruments (AREA)
Description
歌唱解析装置100は、CPU12と、揮発性記憶部13と、不揮発性記憶部14と、通信I/F15とを有する。不揮発性記憶部14は、ROMやHDD(ハードディスク装置)により構成されており、歌唱特性データZの生成に利用される参照歌唱データXAと参照楽曲データXBとを記憶する。参照歌唱データXAは、図2に例示される通り、参照歌唱者が特定の楽曲(以下「参照楽曲」という)を歌唱した音声(以下「参照音声」という)の波形を表現する。他方、参照楽曲データXBは、参照歌唱データXAに対応する参照楽曲の楽譜を表現する。具体的には、参照楽曲データXBは、図2から理解される通り、参照楽曲を構成する音符毎に音高と発音期間と歌詞(発音文字)とを時系列に指定する時系列データ(例えばVSQ形式のファイル)である。すなわち、参照楽曲データXBは、各音符の発音期間および発音のピッチを各々が指示する複数のノートデータと、当該複数のノートデータの少なくともいずれかに各々が関連付けられた複数の歌詞データとを含む。
また、歌唱解析プログラムGAは、通信網を介した配信の形態で提供されてコンピュータにインストールされ得る。
・楽曲全体についてのテンポ情報
・フレーズ情報
フレーズ内に含まれるノートの個数
フレーズ内に含まれるノートの最高、最低、最頻音のノートナンバ
フレーズ内の最初のノートのノートナンバ
フレーズ内の小休符(フレーズ区切り未満の長さの休符)の数
・ノート情報(当該単位区間が属するノートとその先行、後続のノートの情報も利用)
ノートナンバ
ノートの長さ(含まれる単位区間数)
含まれる音素の種類
・単位区間情報
ノート内での当該単位区間の前から/後ろからの位置
フレーズは、参照楽曲のうち音楽的な纏まりが受聴者に知覚される旋律(複数の音符の時系列)の区間であり、区間設定部42が設定する単位区間UAとは区別される。例えば、所定長を上回る無音区間(例えば4分休符以上の無音区間)を境界として参照楽曲は複数のフレーズに区分され得る。
図1において、本実施形態による歌唱合成装置200は、パーソナルコンピュータ等の情報処理装置に本実施形態による歌唱合成プログラムをインストールしてなるものである。図1に示すように、歌唱合成装置200は、同歌唱合成装置200の制御中枢として機能するCPU201と、不揮発性記憶部202と、揮発性記憶部203と、表示部204と、操作部205と、通信I/F206と、メモリI/F207と、サウンドシステム208とを有する。不揮発性記憶部202は、ROMやHDD(ハードディスク装置)により構成されており、CPU201が実行する各種のプログラムとCPU201が参照する各種のデータベースを記憶している。揮発性記憶部203は、例えばRAMであり、CPU201によってワークエリアとして使用される。表示部204は、CPU201による制御の下、各種の情報を表示する表示手段であり、例えば液晶表示パネルとその駆動回路により構成されている。操作部205は、CPU201に対して操作情報を提供する手段であり、キーボードやマウス等の各種の操作子により構成されている。通信I/F206は、例えばNIC(Network Interface Card)であり、CPU201と他の装置との間のネットワーク経由の通信の仲介を行う。メモリI/F207は、メモリカード等の各種の記憶媒体からのデータ読み出しと各種記憶媒体へのデータ書き込みを行う装置である。サウンドシステム208は、CPU201から供給されるデジタル音響信号をアナログ音響信号に変換するD/A変換器と、このアナログ音響信号を増幅するアンプと、このアンプにより駆動されるスピーカとにより構成されている。
上記に例示された、歌唱合成プログラム210が読み出される記録媒体、ならびに不揮発性記憶部202および揮発性記憶部203は、例えば非一過性の記録媒体であり、CD−ROM等の光学式記録媒体(光ディスク)、半導体記録媒体、および磁気記録媒体等の公知の任意の形式の記録媒体を包含し得る。
以上が歌唱合成プログラム210の実行により実現される機能の構成である。
次に本実施形態の動作を説明する。
本実施形態において、歌唱合成装置200のユーザは、歌唱解析装置100により生成された所望の歌手の歌唱特性データZを不揮発性記憶部202の歌唱特性データベース230に蓄積することができる。歌唱合成装置200のユーザは、この歌唱特性データベース230の中の所望の歌手の歌唱特性データを歌唱合成に利用することができる。
また、前処理では、音響制御データの編集モードを手動編集モードとするか自動編集モードとするかの選択をユーザに行わせる。また、前処理では、ユーザが自動編集モードを選択した場合に、音響制御データの自動編集を行う時間軸上の区間をユーザに選択させる。ここで、ユーザが区間の選択を行わなかった場合、楽曲の全区間が音響制御データの自動編集の対象となる。なお、図11に示す前処理は割愛してもよい。
なお、上述したように、前処理におけるノートデータN1の補正(図11のセクション(a)から(b)への補正)において、当該補正の実行条件となる時間差Δtは100tick以下である。また、仮想ノートデータ追加処理において、図12のセクション(b)に示す仮想ノートデータNVを追加するにあたっての実行条件となる時間差Δtは100tickより大きく120tick以下であり、図13のセクション(d)に示す仮想ノートデータを追加するにあたっての実行条件となる時間差Δtは120tickを超えるか否かである。しかしながら、これらの時間差Δtは以上の例に限られず、任意の他の値が適宜採用可能である。
また、図12のセクション(b)および図13のセクション(d)から理解できるように、仮想ノートデータNVを追加する場合、追加する仮想ノートデータNVの先頭位置(発音開始タイミング、すなわち、発音期間の始点)が必ず、先行するノートデータN1の終了位置(発音期間の終点)よりも後ろ(時間的に後)になるようにする。なお、この条件を満たしていれば、追加する仮想ノートデータNVの時間長は120tickに限られず、任意に設定可能である。
以上、この発明の一実施形態について説明したが、この発明には他にも実施形態が有り得る。例えば次の通りである。
また、歌唱解析装置100のCPU12の機能の一部を専用の電子回路が分担する構成も採用され得る。同様に、歌唱合成装置200のCPU201の機能の一部を専用の電子回路が分担する構成も採用され得る。
Claims (7)
- 歌唱のメロディを表す時系列の音符の各々の発音期間および発音のピッチを各々が指示する複数のノートデータと、前記複数のノートデータの少なくともいずれかに各々が関連付けられた複数の歌詞データと、前記複数の歌詞データから合成される歌唱音声に対する音響制御を指示する音響制御データとを含む歌唱合成データに対して、連続した先行ノートデータを有しないノートデータの直前に位置する仮想ノートデータを追加するステップと、
前記複数の歌詞データから合成される歌唱音声に対する音響制御を指示する音響制御データであって、前記仮想ノートデータに関連付けられた音響制御データを取得するステップと
を含む歌唱合成データ編集方法。 - 前記仮想ノートデータを追加するステップでは、連続した先行ノートデータを有しない前記ノートデータのノートオンタイミングと、当該ノートデータの先行ノートデータのノートオフタイミングとの時間差が所定値以下の場合、当該時間差に相当する時間長のノートデータを、前記仮想ノートデータとして追加する
請求項1に記載の歌唱合成データ編集方法。 - 前記仮想ノートデータを追加するステップでは、連続した先行ノートデータを有しない前記ノートデータのノートオンタイミングと、当該ノートデータの先行ノートデータのノートオフタイミングとの時間差が所定値を超える場合、当該所定値に相当する時間長のノートデータを、前記仮想ノートデータとして追加する
請求項2に記載の歌唱合成データ編集方法。 - 前記仮想ノートデータを追加するステップでは、連続した先行ノートデータを有しない前記ノートデータのノートオンタイミングと、当該ノートデータの先行ノートデータのノートオフタイミングとの時間差が所定値以下の場合、当該時間差に相当する時間長のノートデータを、前記仮想ノートデータとして追加する一方、前記時間差が前記所定値を超える場合、当該所定値に相当する時間長のノートデータを、前記仮想ノートデータとして追加する
請求項2に記載の歌唱合成データ編集方法。 - 前記仮想ノートデータを追加するステップでは、前記仮想ノートデータを前記歌唱合成データに追加する前に、連続した先行ノートデータを有しない前記ノートデータのノートオンタイミングと、当該ノートデータの先行ノートデータのノートオフタイミングとの時間差が前記所定値よりも短い所定値以下の場合、前記先行ノートデータの直後に位置するノートデータであって、前記時間差に相当する時間長のノートデータを、前記歌唱合成データに追加する
請求項4に記載の歌唱合成データ編集方法。 - 歌唱のメロディを表す時系列の音符の各々の発音期間および発音のピッチを各々が指示する複数のノートデータと、前記複数のノートデータの少なくともいずれかに各々が関連付けられた複数の歌詞データとを含む楽曲データと、前記時系列の音符によりメロディが表される楽曲を歌唱した歌唱音声波形を示す歌唱データとに基づいて、前記楽曲データから前記歌唱データを生じさせる確率モデルを規定する歌唱特性データを生成するステップと、
前記歌唱特性データの生成対象となる楽曲データに対し、前記複数のノートデータのうち連続した先行ノートデータを有しないノートデータの直前に位置する仮想ノートデータを追加するステップと
を含む歌唱解析方法。 - 歌唱のメロディを表す時系列の音符の各々の発音期間および発音のピッチを各々が指示する複数のノートデータと、前記複数のノートデータの少なくともいずれかに各々が関連付けられた複数の歌詞データと、前記複数の歌詞データから合成される歌唱音声に対する音響制御を指示する音響制御データとを含む歌唱合成データに対して、前記複数のノートデータのうち連続した先行ノートデータを有しないノートデータの直前に位置する仮想ノートデータを追加する仮想ノートデータ追加手段と、
前記複数の歌詞データから合成される歌唱音声に対する音響制御を指示する音響制御データであって、前記仮想ノートデータに関連付けられた音響制御データを取得する音響制御データ取得手段と
を具備することを特徴とする歌唱合成データ編集装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/215,882 US9818396B2 (en) | 2015-07-24 | 2016-07-21 | Method and device for editing singing voice synthesis data, and method for analyzing singing |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015146889 | 2015-07-24 | ||
JP2015146889 | 2015-07-24 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017027021A JP2017027021A (ja) | 2017-02-02 |
JP6756151B2 true JP6756151B2 (ja) | 2020-09-16 |
Family
ID=57949684
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016102192A Active JP6756151B2 (ja) | 2015-07-24 | 2016-05-23 | 歌唱合成データ編集の方法および装置、ならびに歌唱解析方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6756151B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6610714B1 (ja) | 2018-06-21 | 2019-11-27 | カシオ計算機株式会社 | 電子楽器、電子楽器の制御方法、及びプログラム |
JP6610715B1 (ja) | 2018-06-21 | 2019-11-27 | カシオ計算機株式会社 | 電子楽器、電子楽器の制御方法、及びプログラム |
JP7059972B2 (ja) | 2019-03-14 | 2022-04-26 | カシオ計算機株式会社 | 電子楽器、鍵盤楽器、方法、プログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008018056A2 (en) * | 2006-08-07 | 2008-02-14 | Silpor Music Ltd. | Automatic analasis and performance of music |
US8244546B2 (en) * | 2008-05-28 | 2012-08-14 | National Institute Of Advanced Industrial Science And Technology | Singing synthesis parameter data estimation system |
JP6171711B2 (ja) * | 2013-08-09 | 2017-08-02 | ヤマハ株式会社 | 音声解析装置および音声解析方法 |
-
2016
- 2016-05-23 JP JP2016102192A patent/JP6756151B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017027021A (ja) | 2017-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9818396B2 (en) | Method and device for editing singing voice synthesis data, and method for analyzing singing | |
JP6171711B2 (ja) | 音声解析装置および音声解析方法 | |
JP3985814B2 (ja) | 歌唱合成装置 | |
JP3823930B2 (ja) | 歌唱合成装置、歌唱合成プログラム | |
JP6083764B2 (ja) | 歌声合成システム及び歌声合成方法 | |
JP5024711B2 (ja) | 歌声合成パラメータデータ推定システム | |
JP4839891B2 (ja) | 歌唱合成装置および歌唱合成プログラム | |
JP6004358B1 (ja) | 音声合成装置および音声合成方法 | |
JP2017107228A (ja) | 歌声合成装置および歌声合成方法 | |
WO2018084305A1 (ja) | 音声合成方法 | |
JP4265501B2 (ja) | 音声合成装置およびプログラム | |
JP6756151B2 (ja) | 歌唱合成データ編集の方法および装置、ならびに歌唱解析方法 | |
JP6390690B2 (ja) | 音声合成方法および音声合成装置 | |
JP2009217141A (ja) | 音声合成装置 | |
JP4844623B2 (ja) | 合唱合成装置、合唱合成方法およびプログラム | |
JP2017097332A (ja) | 音声合成装置および音声合成方法 | |
JP4304934B2 (ja) | 合唱合成装置、合唱合成方法およびプログラム | |
JP5699496B2 (ja) | 音合成用確率モデル生成装置、特徴量軌跡生成装置およびプログラム | |
JP6191094B2 (ja) | 音声素片切出装置 | |
JP4432834B2 (ja) | 歌唱合成装置および歌唱合成プログラム | |
JP5552797B2 (ja) | 音声合成装置および音声合成方法 | |
JP6331470B2 (ja) | ブレス音設定装置およびブレス音設定方法 | |
del Blanco et al. | Bertsokantari: a TTS Based Singing Synthesis System. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190322 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200128 |
|
RD13 | Notification of appointment of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7433 Effective date: 20200304 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20200304 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200728 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200810 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6756151 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |