JP4268322B2 - 再生用符号化データ作成方法 - Google Patents
再生用符号化データ作成方法 Download PDFInfo
- Publication number
- JP4268322B2 JP4268322B2 JP2000229123A JP2000229123A JP4268322B2 JP 4268322 B2 JP4268322 B2 JP 4268322B2 JP 2000229123 A JP2000229123 A JP 2000229123A JP 2000229123 A JP2000229123 A JP 2000229123A JP 4268322 B2 JP4268322 B2 JP 4268322B2
- Authority
- JP
- Japan
- Prior art keywords
- encoded data
- note
- notes
- reproduction
- midi
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Auxiliary Devices For Music (AREA)
- Electrophonic Musical Instruments (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は、インターネット情報通信網等のネットワークを経由して汎用パソコンまたは専用受信機に配信される音楽コンテンツ、固体メモリなどを記録媒体として備えた携帯音楽プレーヤまたは携帯電話機向けの音楽コンテンツ、自動演奏機能をもつアコースティック楽器、電子楽器、カラオケ再生機向けの音楽コンテンツの制作に適した音響信号の符号化技術に関する。
【０００２】
【従来の技術】
音響信号を符号化する技術として、ＰＣＭ（Pulse Code Modulation）の手法は最も普及している手法であり、現在、オーディオＣＤなどの記録方式として広く利用されている。このＰＣＭの手法の基本原理は、アナログ音響信号を所定のサンプリング周波数でサンプリングし、各サンプリング時の信号強度を量子化してデジタルデータとして表現する点にあり、サンプリング周波数や量子化ビット数を高くすればするほど、原音を忠実に再現することが可能になる。ただ、サンプリング周波数や量子化ビット数を高くすればするほど、必要な情報量も増えることになる。そこで、できるだけ情報量を低減するための手法として、信号の変化差分のみを符号化するＡＤＰＣＭ（Adaptive Differential Pulse Code Modulation）の手法も用いられている。
【０００３】
しかし、近年では、ネットワークを経由して配信される音楽コンテンツあるいは携帯音楽プレーヤに収納される音楽コンテンツの条件として、ＰＣＭデータに比べてデータ量が少なく同程度の品質が要求され、これに対応するためにＭＰ３（MPEG-1 layer-3）などが活用されている。ＭＰ３はＰＣＭと同様に波形符号化方式の一つで、ＣＤに比べ１／１０程度のデータ量で同程度の品質が得られると言われている。しかし、現在検討されている携帯電話・ＰＨＳに携帯音楽プレーヤ（次世代ウォークマン）としての機能を搭載させる場合、現状の数十kbpsワイヤレス通信網のインフラではＭＰ３はデータ量が大きすぎ、そのためには圧縮率を更に上げる必要が生じる。
【０００４】
一方、電子楽器による楽器音を符号化しようという発想から生まれたＭＩＤＩ（Musical Instrument Digital Interface）規格も、パーソナルコンピュータの普及とともに盛んに利用されるようになってきている。このＭＩＤＩ規格による符号データ（以下、ＭＩＤＩデータという）は、基本的には、楽器のどの鍵盤キーを、どの程度の強さで弾いたか、という楽器演奏の操作を記述したデータであり、このＭＩＤＩデータ自身には、実際の音の波形は含まれていない。そのため、実際の音を再生する場合には、楽器音の波形を記憶したＭＩＤＩ音源が別途必要になる。しかしながら、上述したＰＣＭやＭＰ３の手法で音を記録する場合に比べて、情報量が極めて少なくて済むという特徴を有し、その符号化効率の高さが注目を集めている。このＭＩＤＩ規格による符号化および復号化の技術は、現在、パーソナルコンピュータを用いて楽器演奏、楽器練習、作曲などを行うソフトウェアに広く採り入れられており、カラオケ、ゲームの効果音といった分野でも広く利用されている。特に再生時にテンポやトーンを変更する要求があると共に、新曲を通信回線でダウンロード再生できる通信カラオケの分野ではＭＩＤＩ方式が主流になってきている。
【０００５】
【発明が解決しようとする課題】
そのため、音楽コンテンツ作成のためにもＭＩＤＩ方式を適用できることが好ましい。ＭＩＤＩ方式の作成方法としては、以下の３通りがあり、それぞれ一長一短がある。第１の方法は、楽譜の情報をＭＩＤＩデータに手作業で打ち込み、演奏上の表情（強弱など）を手入力編集する方法である。第１の方法によれば、和音・単音を問わず楽譜に忠実に音符の時刻、長さ、ノートナンバー（音階）を入力でき、パート譜があればマルチトラックで正確に入力できる、入力されたデータは楽譜出版にも活用でき、符号化効率が良い等の利点があるが、楽譜に記載のないベロシティ情報（音の強弱）については入力が困難で、演奏が譜面通りの揺らぎのない無味乾燥な音楽になりがちであるため、音楽作品として鑑賞する用途に向かない、という問題がある。
【０００６】
第２の方法は、電子ピアノ、キーボード、ギター、パーカッション・ドラム（最近ではサイレント・バイオリン、クラリネット（サイレントシリーズはヤマハ（株）の登録商標）などもある）などＭＩＤＩデータ出力可能な電子楽器でパソコンと接続しながらミュージシャンに生演奏を行ってもらい、パソコン上のシーケンサーソフトでリアルタイムに各楽器からのＭＩＤＩデータを取り込む方法である。第２の方法によれば、演奏者の表現がベロシティデータとして定量的に記録でき、楽器によってはペダルを踏んだ等の制御情報も付加されるため、編集を若干加えれば完成度の高い音楽作品を制作できるが、対応楽器が限定され、現状では鑑賞に耐え得るのはピアノ作品にとどまる、演奏者はＭＩＤＩ音源出力の音で自分の演奏した音をモニターすることになり、アコースティック楽器のように楽器の振動を体感できないため、不自然な演奏形態で音楽を表現することになる、等の問題が生じる。
【０００７】
第３の方法は、演奏を録音することにより得られる音響信号に対して、所定の手法で解析を行うことにより、その構成要素となる周期信号を抽出し、抽出した周期信号をＭＩＤＩデータを用いて符号化する方法である。例えば、特開平１０−２４７０９９号公報、特開平１１−７３１９９号公報、特開平１１−７３２００号公報、特開平１１−９５７５３号公報、特開２０００−９９００９号公報、特開２０００−９９０９３号公報、特願平１１−５８４３１号明細書、特願平１１−１７７８７５号明細書、特願平１１−３２９２９７号明細書には、任意の時系列信号について、構成要素となる周波数を解析し、その解析結果からＭＩＤＩデータを作成することができる種々の方法が提案されている。第３の方法によれば、ＭＩＤＩ楽器などを用いた不自然な環境でなく、コンサートホールなど自然な状態で演奏された録音信号から演奏表現情報を獲得できるため、ベロシティなどの演奏制御情報に関しては得られる精度が高いという利点がある。しかし、信号内のノイズ・ゆらぎなどの影響を受け易く、ゆらぎにより音の高さを誤認識したり、特に音符の長さを正確に検出するのが難しい。また、和音および倍音との識別を信号処理だけで完璧に行うことが難しく、特に金管楽器など倍音レベルが基本音より高い音源や、ドラムなど雑音に富むリズム楽器に対しては解析が難しく、音量の高いリズム楽器が鳴っている音楽からメロディーを検出するのは困難である。また、マルチトラックＭＩＤＩデータ作成については、アンサンブル演奏録音信号から音源分離して符号化することが困難である等の問題がある。
【０００８】
本発明は、上記のような各方法の欠点を補い、演奏者の個性を反映するために演奏録音したデータを用いながらも、楽譜に忠実な音楽コンテンツを制作することが可能な再生用符号化データ作成方法を提供することを課題とする。
【０００９】
【課題を解決するための手段】
上記課題を解決するため、本発明の第１の態様は、録音された音響信号を基に、発音の時刻、長さ、音の高さ、音の強さの情報を備えた音符の集合で構成される第１の符号化データ（ＭＩＤＩ符号化データ）を作成し、演奏に用いられた楽譜に記載された音符を忠実に符号化して、第２の符号化データ（ＭＩＤＩ打込みデータ）を作成し、第１の符号化データに含まれる音符と、第２の符号化データに含まれる音符を時間的な位置関係と音の高さの類似性により対応付け、第１の符号化データに含まれる音符であって、第２の符号化データに含まれる音符との対応付けが行なわれなかった音符を、第１の符号化データから削除するように、第１の符号化データに対して補正を施すことにより、再生用符号化データを作成するようにしたことを特徴とする。
本発明の第２の態様は、録音された音響信号を基に、発音の時刻、長さ、音の高さ、音の強さの情報を備えた音符の集合で構成される第１の符号化データ（ＭＩＤＩ符号化データ）を作成し、演奏に用いられた楽譜に記載された音符を忠実に符号化して、第２の符号化データ（ＭＩＤＩ打込みデータ）を作成し、第１の符号化データに含まれる音符と、第２の符号化データに含まれる音符を時間的な位置関係と音の高さの類似性により対応付け、第２の符号化データに含まれる音符であって、第１の符号化データに含まれる音符との対応付けが行なわれた音符に対して、その発音の時刻、長さ、音の強さの情報を、第１の符号化データに含まれる対応する音符の発音の時刻、長さ、音の強さの情報にそれぞれ置換するように、第２の符号化データに対して補正を施すことにより、再生用符号化データを作成するようにしたことを特徴とする。
本発明の前記２つの態様によれば、演奏録音を基にしたデータに対して、楽譜を基にしたデータで補正を行うようにする、あるいは楽譜を基にしたデータに対して、演奏録音を基にしたデータで補正を行うようにしたので、演奏者の個性を反映させながらも、楽譜に忠実な音楽コンテンツを制作することが可能となる。
【００１０】
【発明の実施の形態】
以下、本発明の実施形態について図面を参照して詳細に説明する。
本発明による符号化データ作成方法は、演奏に基づくＭＩＤＩデータに補正をかける方法と楽譜に基づくＭＩＤＩデータに補正をかける方法に大別され、前者については１つの楽器によるソロ演奏を１つのトラックに符号化するシングルトラックを事例に用いて説明し、後者についてはボーカル付き合奏を各パートごとに別々のトラックに記録するマルチトラックを事例に用いて説明する。まず最初に、前者の方法についてシングルトラックの事例を用いて説明する。
【００１１】
（演奏に基づくＭＩＤＩデータに補正をかける方法、シングルトラック例）
図１は、シングルトラックすなわち１つの楽器によるソロ演奏の場合の符号化データ作成方法の概要を示すフローチャートである。なお、ここでは、符号化の形式としてＭＩＤＩ規格を採用した例を用いて説明する。図１に示す再生用符号化データ作成方法では、同一の楽曲に対して演奏録音したＰＣＭデータと楽譜を用いて、それぞれを基にＭＩＤＩデータを作成する。そして、演奏から得られるＭＩＤＩデータを基本にして、楽譜から得られるＭＩＤＩデータを利用して補正することにより最終的な再生用符号化データを得るようにしている。
【００１２】
具体的には、まず、ステップＳ１において、演奏録音ＰＣＭデータに対してＭＩＤＩ符号化処理を行う。これは、上記従来技術の第３の方法で説明したように、演奏を録音することにより得られる音響信号に対して、所定の手法で解析を行うことにより、その構成要素となる周期信号を抽出し、抽出した周期信号をＭＩＤＩデータを用いて符号化することにより行なわれる。一方、ステップＳ２では、同じ楽曲の楽譜からＭＩＤＩデータをキーボード等から打込むことにより手作業で入力する。これは上記従来技術の第１の方法で説明したものである。ステップＳ１の処理により得られるＭＩＤＩデータとステップＳ２により得られるＭＩＤＩデータは同一形式のＭＩＤＩデータであるが、両者を区別するために、以降はステップＳ１の符号化処理により得られるＭＩＤＩデータをＭＩＤＩ符号化データ、ステップＳ２の打込み入力により得られるＭＩＤＩデータをＭＩＤＩ打込みデータと呼ぶことにする。
【００１３】
ステップＳ１、ステップＳ２において２つの異なる方法により同一楽曲のＭＩＤＩデータが得られたら、ステップＳ３において、両ＭＩＤＩデータにおける音符の対応付け処理を行う。ステップＳ３以降の具体的な処理について図２を用いて詳細に説明する。図２（ａ）にステップＳ１の処理により、演奏録音ＰＣＭデータから得られたＭＩＤＩ符号化データを示す。図２（ａ）はＭＩＤＩ符号化データのイメージを捉え易いように、各音符を下向きの三角形で模式化したものであり、横軸は時間をＭＩＤＩ規格のデルタタイムの単位で表現し、縦軸は三角形の上辺の位置が音の高さ（ＭＩＤＩ規格のノートナンバー）、三角形の高さが音の強さ（ＭＩＤＩ規格のベロシティ）を表している。図２（ａ）の例では、所定の時間内において１０個の音符が符号化されたことになる。
【００１４】
図２（ｂ）はステップＳ２の処理により、楽譜を見て人が手作業により入力したＭＩＤＩ打込みデータである。図２（ｂ）の例では、図２（ａ）に示したＭＩＤＩ符号化データと同一時間内には、４つの音符が楽譜に記載されていたことを示している。なお、楽譜では各音符の音の強さが記載されていないため、全て同一のベロシティで入力される。したがって、図２（ｂ）においては、ベロシティを示す三角形の高さは全て同一となっている。
【００１５】
ステップＳ３では、図２（ａ）に示すようなＭＩＤＩ符号化データに含まれる音符と、図２（ｂ）に示すようなＭＩＤＩ打込みデータに含まれる音符の対応付け処理を行う。具体的には、ノートナンバーが類似しており、時間がわずかでも重なっている音符を、同一の音符であるとみなして対応付ける。ここで音符の時間の重なり判断に関しては、通常これら２種の音符群は異なるテンポ設定で作成されるため、全音符の総演奏時間が一致するようにあらかじめ時間軸の補正をかけた上で行う。次にノートナンバーの類似性の判断については、ノートナンバーが同一もしくはちょうど１オクターブずれている状態をいう。例えば、ＭＩＤＩ符号化データの「ド」の音符に対しては、ＭＩＤＩ打込みデータにおける、当該「ド」と同じ高さの「ド」、１オクターブ高い「ド」、１オクターブ低い「ド」の３つが対応付けられることになる。このような対応付けは、楽器音などでは基本音の周波数の整数倍の倍音成分が顕著に発生し基本音が不鮮明になることがあるためで、基本音に修正するために行われる。また、ＭＩＤＩ符号化データ内の音符は演奏状態により半音程度ずれている場合があるので、これを補正するためにノートナンバーを同一とみなす範囲を半音分（ノートナンバー１つ分）まで許容するような設定にしておくこともできる。この場合、例えば「ド」の音に対しては、「シ」、「ド＃」の音が対応付けられることになる。これは、１オクターブずれた音符についても同様である。
【００１６】
図２（ａ），（ｂ）に示す例では、１オクターブずれた音符が存在せず（図２において１オクターブは１２目盛分）、時間が重なるもので音階が半音ずれているものも存在しないので、ノートナンバーが同一のものについてのみ対応付けが行なわれる。例えば、図２（ａ）と図２（ｂ）に示した各音符の対応付け処理を行うと、図２（ｄ）に示すような対応関係が得られることになる。このようにして、ステップＳ３においては、自動的にＭＩＤＩ符号化データと、ＭＩＤＩ打込みデータの対応付けを行うことができるが、演奏者がビブラート等、演奏効果上あえて楽譜通りでなく演奏したような場合、自動的な対応付けがかえって演奏の独創性を削いでしまうことがある。そのような場合、ここでは、対応付けを修正することを可能にしている。具体的には、図２（ａ）、（ｂ）に示すような模式化したＭＩＤＩデータを表示可能にしておき、ステップＳ３の処理により対応付けられた音符同士を同色で表示する。例えば、図２（ａ）に示す音符７を表す三角形と音符１０を表す三角形の内部は、図２（ｂ）に示す音符３を表す三角形の内部と同色で表示されることになる。対応付けを変更する場合は、例えば、修正者が図２（ｂ）の音符３を指定した後、図２（ａ）の音符８を指定すると、ＭＩＤＩ符号化データの音符８と、ＭＩＤＩ打込みデータの音符３が対応付けられることになる。
【００１７】
ステップＳ４においては、ＭＩＤＩ符号化データにおける対応音符の統合を行う。図２の例では、ＭＩＤＩ打込みデータ内の音符３に対してＭＩＤＩ符号化データ内の音符７、音符１０が対応しているので、音符７と音符１０を１つに統合する。これは、音符７の終了時刻を音符１０の終了時刻に変更することにより、図２（ｃ）に示すような音符７を作成し、音符１０を削除することにより行なわれる。
【００１８】
図２の例では、ここで対応音符の統合を行っているが、対応音符の関係によっては、対応音符の分解が行われることもある。対応音符の分解は、図２の例とは逆に、ＭＩＤＩ符号化データの１つの音符とＭＩＤＩ打込みデータの複数の音符が対応している場合に行なわれる。この場合、ＭＩＤＩ符号化データ内の音符は、対応するＭＩＤＩ打込みデータ内の音符の数と同数に分解される。このとき、ＭＩＤＩ符号化データ内の分解される各音符の発音長さは、対応するＭＩＤＩ打込みデータ内の音符の発音長さの比率と同率になるように分けられる。また、分解される各音符の音の強さは、分解前の音符と同一とする。
【００１９】
次に、ステップＳ５において、ステップＳ３で行った対応付けに従って、ＭＩＤＩ符号化データのうち、対応するものがなかった音符を削除する。図２（ｃ）に示したＭＩＤＩ符号化データから、対応していない音符を削除すると、図２（ｅ）に示す３つの音符のみが残ることになる。
【００２０】
次に、ステップＳ６において、ＭＩＤＩ打込みデータのうち、ＭＩＤＩ符号化データと対応しなかった音符を、ＭＩＤＩ符号化データに追加する処理を行うが、
この処理は演奏内容に意図的な変更を加えることになるため必須ではない。上述のように、図２（ｂ）に示したＭＩＤＩ打込みデータのうち、音符４はＭＩＤＩ符号化データに対応しなかったので、この音符４を図２（ｅ）に示したＭＩＤＩ符号化データに追加することになる。この結果、ＭＩＤＩ符号化データは図２（ｆ）に示すようになる。図２（ｆ）においては、ＭＩＤＩ符号化データに元々存在した音符４と区別するために、ＭＩＤＩ打込みデータから追加される音符４を「追４」と表記する。「追４」の時間は、この音符と時間的に重なる図２（ｂ）の音符３に対応する図２（ｃ）の音符７と重なるように決定され、「追４」の強さとしては、図２（ｂ）で設定されている値をそのまま用いているが、時間的に重なる図２（ｃ）の音符７の強度を考慮して補正をする方法もとれる。
【００２１】
このようにしてＭＩＤＩ符号化データを基本に補正されたＭＩＤＩデータが得られたら、ステップＳ７において音源制御データの付加が行なわれ、再生用符号化データとしてシングルトラックＭＩＤＩデータが得られる。ステップＳ７における音源制御データの付加とは、各音符を発音する際の音色を決定する処理であり、具体的にはＭＩＤＩ音源が用意している音色を特定する情報を各音符に付加する処理などを行う。この処理は使用するＭＩＤＩ音源等により異なり省略されることもある。
【００２２】
（楽譜に基づくＭＩＤＩデータを補正する方法、マルチトラック例）
次に、ボーカル付き合奏を各パートごとに別々のトラックに記録するマルチトラックの場合について説明する。図３は、マルチトラックの場合の符号化データ作成方法の概要を示すフローチャートである。図３に示す符号化データ作成方法でも、シングルトラックの場合と同様に、同一の楽曲に対して演奏録音したＰＣＭデータと楽譜を用いて、それぞれを基にＭＩＤＩデータを作成する。ただし、楽譜を基にしたＭＩＤＩデータは楽器パートごとに別々のトラックに作成される。そして、楽譜から得られる各トラックのＭＩＤＩデータを、演奏から得られるＭＩＤＩデータを利用して補正すると共に、演奏から得られるＭＩＤＩデータから、楽譜から得られる各トラックのＭＩＤＩデータの音符を削除していくことによりボーカルに対応する音符を抽出する。これによりボーカルに対応したトラックのＭＩＤＩデータと、楽器パートに対応したＭＩＤＩデータとが得られることになる。
【００２３】
ステップＳ１１では、シングルトラックの場合と同様に、演奏録音ＰＣＭデータが入力される。ただし、このＰＣＭデータは楽譜に記載されていないボーカル成分が記録されたものとなっている。ステップＳ１２では、楽譜を基にパート別にＭＩＤＩデータを手作業で入力する。ステップＳ１２では、各楽器パートのデータをそれぞれ異なるトラックに入力するようにしている。
【００２４】
ステップＳ１１、ステップＳ１２において２つの異なる方法により同一楽曲についてのＭＩＤＩデータが得られたら、ステップＳ１３において、両ＭＩＤＩデータに含まれる音符の対応付け処理を行う。ステップＳ１３以降の具体的な処理について図４を用いて詳細に説明する。図４（ａ）にステップＳ１１の処理により、演奏録音ＰＣＭデータから得られたＭＩＤＩ符号化データを示す。
【００２５】
図４（ｂ）はステップＳ１２の処理により、楽譜を見て人が手作業により入力したＭＩＤＩデータである。ステップＳ１２では、各パート別に入力が行われるため、楽器パート数分のＭＩＤＩデータが作成されることになるが、ここでは、代表してそのうちの１つのトラックにおけるＭＩＤＩデータを示している。なお、説明の便宜上、図４（ａ）（ｂ）に示したＭＩＤＩデータは、図２（ａ）（ｂ）に示したものと全く同一となっている。
【００２６】
ステップＳ１３では、図４（ａ）に示すようなＭＩＤＩ符号化データと、図４（ｂ）に示すようなＭＩＤＩ打込みデータの対応付け処理を行う。ここで、行なわれる処理は、図１のステップＳ３で説明した処理と全く同一であるので説明は省略する。この結果、図２（ｅ）に示すような対応関係が得られることになる。この対応関係をこのまま利用することもできるが、演奏に基づくＭＩＤＩデータに補正をかける方法の場合と同様に対応付けを修正することも可能である。
【００２７】
続いて、ステップＳ１４において、ＭＩＤＩ符号化データのうち、ＭＩＤＩ打込みデータと対応する音符を削除する。例えば、図４（ａ）に示したＭＩＤＩ符号化データからは、図４（ｅ）の対応表に示した音符１，４，７，１０が削除され、図４（ｃ）に示すような音符が残ることになる。これにより、図４（ａ）に示したＭＩＤＩ符号化データからは、図４（ｂ）に示したある楽器に対応した音符が削除されたことになる。
【００２８】
次に、ステップＳ１５において、ＭＩＤＩ打込みデータのうち、ＭＩＤＩ符号化データと対応する音符の表情補正処理を行う。音符の表情補正とは、具体的には、ＭＩＤＩ打込みデータの各音符のノートオン時刻、ノートオフ時刻、ベロシティ値を、ＭＩＤＩ符号化データの対応音符のノートオン時刻、ノートオフ時刻、ベロシティ値に各々変更することである。これにより、楽譜を基に打込まれた際には、作曲家の指示通りに指定された演奏テンポが演奏者の意図通りの変化が施され、図４（ｂ）のように全て均一に入力されたＭＩＤＩ打込みデータの各音符のベロシティ値が、演奏者による音の強さの抑揚に基づいた変化が与えられることになる。ただし、図４（ｂ）に示すＭＩＤＩ打込みデータの音符４のように対応する音符がない場合は、ベロシティの変更は行われない。ステップＳ１５の処理により図４（ｄ）に示すようなＭＩＤＩ打込みデータが得られることになる。
【００２９】
図４のように、ＭＩＤＩ符号化データの複数の音符７，１０とＭＩＤＩ打込みデータの１つの音符３が対応しているような場合、対応音符の分解が行われるように設定しておくこともできる。具体的には、ＭＩＤＩ打込みデータ内の音符は、対応するＭＩＤＩ符号化データ内の音符の数と同数に分解される。このとき、ＭＩＤＩ打込みデータ内の分解される各音符の発音長さは、対応するＭＩＤＩ符号化データ内の音符の発音長さの比率と同率になるように分けられる。また、分解される各音符の音の強さは、ＭＩＤＩ符号化データ内の各々対応する音符と同一にする。
【００３０】
ステップＳ１３〜ステップＳ１５の処理は、楽器パート数分、すなわち、ステップＳ１２により入力されたＭＩＤＩ打込みデータのトラック数分だけ繰り返し行なわれる。ただし、ステップＳ１４の対応音符の削除処理については、１つのトラックしかないＭＩＤＩ符号化データについて繰り返し行われ、ステップＳ１５の対応音符の表情補正処理については、各トラックのＭＩＤＩ打込みデータに対して１回だけ行われる。例えば、図４（ｄ）に示したある楽器パートのＭＩＤＩ打込みデータは、これに音色データを付加することにより最終的なマルチトラックＭＩＤＩデータを構成するトラックデータとなるが、図４（ｃ）に示したＭＩＤＩ符号化データは最終的なものではなく、再度別のトラックのＭＩＤＩ打込みデータと対応付けが行なわれ、対応音符の削除処理が行われることになる。したがって、ステップＳ１４の処理を繰り返すことにより、ＭＩＤＩ符号化データからは次々に各楽器に対応した音符が削除され、最終的にボーカルに対応する音符だけが残ることになる。また、ステップＳ１５の処理を各トラックのＭＩＤＩ打込みデータに対して行うことにより、各楽器パートの音符の強弱が決定されることになる。例えば、全体でＮトラックからなるマルチトラックＭＩＤＩデータを作成する場合、ステップＳ１２のデータ打込み処理は（Ｎ−１）トラック分行なわれ、ステップＳ１３〜ステップＳ１５の処理はそれぞれ（Ｎ−１）回繰り返され、最終的に第１トラックがボーカル、第２〜第Ｎトラックがそれぞれ各楽器パートに対応したマルチトラックＭＩＤＩデータが得られることになる。
【００３１】
さらに、このマルチトラックＭＩＤＩデータには、ステップＳ１６において音源制御データの付加が行なわれる。これは、演奏に基づくＭＩＤＩデータを補正する方法の場合のステップＳ７の処理を各トラックに対して同様に行うことにより実現される。
【００３２】
以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されず、種々の変形が可能である。第２の楽譜に基づくＭＩＤＩデータを補正する方法は、ボーカルを含むマルチトラックの場合について説明したが、もちろんボーカルを含まない場合でも、シングルトラックの場合でも適用可能である。シングルトラックの場合にはステップＳ１４の処理が不要になる。逆に、第１の演奏に基づくＭＩＤＩデータを補正する方法をマルチトラックの場合や、ボーカルを含む場合にも適用可能である。前者の第１の演奏に基づくＭＩＤＩデータを補正する方法をマルチトラックの場合に適用するには、ステップＳ２でステップＳ１２と同様なマルチトラック入力を行い、ステップＳ３で各トラックごとに対応付けを行い、対応付けられた再生用符号化データをマルチトラック形式で出力するようにすればよい。後者の第１の演奏に基づくＭＩＤＩデータを補正する方法をボーカルを含む場合に適用するには、ステップＳ５で削除された非対応音符を別のトラックに保存して同様に再生用符号化データをマルチトラック形式で出力するようにすればよい。
【００３３】
更に、上記演奏に基づくＭＩＤＩデータを補正する方法の場合、ステップＳ４において対応音符を統合した際に、統合した音符に対してビブラートまたはピッチベンド制御情報を付加することも可能である。また、楽譜に基づくＭＩＤＩデータを補正する方法の場合にも、ＭＩＤＩ打込みデータ内の統合された音符に対してビブラートまたはピッチベンド制御情報を付加することもできる。
【００３４】
【発明の効果】
以上、説明したように本発明によれば、録音された音響信号を基に、発音の時刻、長さ、音の高さ、音の強さの情報を備えた音符の集合で構成される第１の符号化データ（ＭＩＤＩ符号化データ）を作成し、演奏に用いられた楽譜に記載された音符を忠実に符号化して、第２の符号化データ（ＭＩＤＩ打込みデータ）を作成し、第１の符号化データに含まれる音符と、第２の符号化データに含まれる音符を時間的な位置関係と音の高さの類似性により対応付け、第１の符号化データに含まれる音符であって、第２の符号化データに含まれる音符との対応付けが行なわれなかった音符を、第１の符号化データから削除して、補正した第１の符号化データを再生用符号化データとして出力するか、または第２の符号化データに含まれる音符であって、第１の符号化データに含まれる音符との対応付けが行なわれた音符の発音の時刻、長さ、音の強さの情報を、第１の符号化データの対応する音符の発音の時刻、長さ、音の強さの情報に各々置換することにより、補正した第２の符号化データを再生用符号化データとして出力することにより、再生用符号化データを作成するようにしたので、演奏者の個性を反映させながらも、楽譜に忠実な音楽コンテンツを制作することが可能となるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の演奏に基づくＭＩＤＩデータを補正する方法をシングルトラック形式に適用した場合のフローチャートである。
【図２】シングルトラック形式の場合に、符号化データに含まれる音符に対して行われる処理を説明するための図である。
【図３】本発明の楽譜に基づくＭＩＤＩデータを補正する方法をマルチトラック形式に適用した場合のフローチャートである。
【図４】マルチトラック形式の場合に、符号化データに含まれる音符に対して行われる処理を説明するための図である。
【符号の説明】
１〜１０・・・音符
【産業上の利用分野】
本発明は、インターネット情報通信網等のネットワークを経由して汎用パソコンまたは専用受信機に配信される音楽コンテンツ、固体メモリなどを記録媒体として備えた携帯音楽プレーヤまたは携帯電話機向けの音楽コンテンツ、自動演奏機能をもつアコースティック楽器、電子楽器、カラオケ再生機向けの音楽コンテンツの制作に適した音響信号の符号化技術に関する。
【０００２】
【従来の技術】
音響信号を符号化する技術として、ＰＣＭ（Pulse Code Modulation）の手法は最も普及している手法であり、現在、オーディオＣＤなどの記録方式として広く利用されている。このＰＣＭの手法の基本原理は、アナログ音響信号を所定のサンプリング周波数でサンプリングし、各サンプリング時の信号強度を量子化してデジタルデータとして表現する点にあり、サンプリング周波数や量子化ビット数を高くすればするほど、原音を忠実に再現することが可能になる。ただ、サンプリング周波数や量子化ビット数を高くすればするほど、必要な情報量も増えることになる。そこで、できるだけ情報量を低減するための手法として、信号の変化差分のみを符号化するＡＤＰＣＭ（Adaptive Differential Pulse Code Modulation）の手法も用いられている。
【０００３】
しかし、近年では、ネットワークを経由して配信される音楽コンテンツあるいは携帯音楽プレーヤに収納される音楽コンテンツの条件として、ＰＣＭデータに比べてデータ量が少なく同程度の品質が要求され、これに対応するためにＭＰ３（MPEG-1 layer-3）などが活用されている。ＭＰ３はＰＣＭと同様に波形符号化方式の一つで、ＣＤに比べ１／１０程度のデータ量で同程度の品質が得られると言われている。しかし、現在検討されている携帯電話・ＰＨＳに携帯音楽プレーヤ（次世代ウォークマン）としての機能を搭載させる場合、現状の数十kbpsワイヤレス通信網のインフラではＭＰ３はデータ量が大きすぎ、そのためには圧縮率を更に上げる必要が生じる。
【０００４】
一方、電子楽器による楽器音を符号化しようという発想から生まれたＭＩＤＩ（Musical Instrument Digital Interface）規格も、パーソナルコンピュータの普及とともに盛んに利用されるようになってきている。このＭＩＤＩ規格による符号データ（以下、ＭＩＤＩデータという）は、基本的には、楽器のどの鍵盤キーを、どの程度の強さで弾いたか、という楽器演奏の操作を記述したデータであり、このＭＩＤＩデータ自身には、実際の音の波形は含まれていない。そのため、実際の音を再生する場合には、楽器音の波形を記憶したＭＩＤＩ音源が別途必要になる。しかしながら、上述したＰＣＭやＭＰ３の手法で音を記録する場合に比べて、情報量が極めて少なくて済むという特徴を有し、その符号化効率の高さが注目を集めている。このＭＩＤＩ規格による符号化および復号化の技術は、現在、パーソナルコンピュータを用いて楽器演奏、楽器練習、作曲などを行うソフトウェアに広く採り入れられており、カラオケ、ゲームの効果音といった分野でも広く利用されている。特に再生時にテンポやトーンを変更する要求があると共に、新曲を通信回線でダウンロード再生できる通信カラオケの分野ではＭＩＤＩ方式が主流になってきている。
【０００５】
【発明が解決しようとする課題】
そのため、音楽コンテンツ作成のためにもＭＩＤＩ方式を適用できることが好ましい。ＭＩＤＩ方式の作成方法としては、以下の３通りがあり、それぞれ一長一短がある。第１の方法は、楽譜の情報をＭＩＤＩデータに手作業で打ち込み、演奏上の表情（強弱など）を手入力編集する方法である。第１の方法によれば、和音・単音を問わず楽譜に忠実に音符の時刻、長さ、ノートナンバー（音階）を入力でき、パート譜があればマルチトラックで正確に入力できる、入力されたデータは楽譜出版にも活用でき、符号化効率が良い等の利点があるが、楽譜に記載のないベロシティ情報（音の強弱）については入力が困難で、演奏が譜面通りの揺らぎのない無味乾燥な音楽になりがちであるため、音楽作品として鑑賞する用途に向かない、という問題がある。
【０００６】
第２の方法は、電子ピアノ、キーボード、ギター、パーカッション・ドラム（最近ではサイレント・バイオリン、クラリネット（サイレントシリーズはヤマハ（株）の登録商標）などもある）などＭＩＤＩデータ出力可能な電子楽器でパソコンと接続しながらミュージシャンに生演奏を行ってもらい、パソコン上のシーケンサーソフトでリアルタイムに各楽器からのＭＩＤＩデータを取り込む方法である。第２の方法によれば、演奏者の表現がベロシティデータとして定量的に記録でき、楽器によってはペダルを踏んだ等の制御情報も付加されるため、編集を若干加えれば完成度の高い音楽作品を制作できるが、対応楽器が限定され、現状では鑑賞に耐え得るのはピアノ作品にとどまる、演奏者はＭＩＤＩ音源出力の音で自分の演奏した音をモニターすることになり、アコースティック楽器のように楽器の振動を体感できないため、不自然な演奏形態で音楽を表現することになる、等の問題が生じる。
【０００７】
第３の方法は、演奏を録音することにより得られる音響信号に対して、所定の手法で解析を行うことにより、その構成要素となる周期信号を抽出し、抽出した周期信号をＭＩＤＩデータを用いて符号化する方法である。例えば、特開平１０−２４７０９９号公報、特開平１１−７３１９９号公報、特開平１１−７３２００号公報、特開平１１−９５７５３号公報、特開２０００−９９００９号公報、特開２０００−９９０９３号公報、特願平１１−５８４３１号明細書、特願平１１−１７７８７５号明細書、特願平１１−３２９２９７号明細書には、任意の時系列信号について、構成要素となる周波数を解析し、その解析結果からＭＩＤＩデータを作成することができる種々の方法が提案されている。第３の方法によれば、ＭＩＤＩ楽器などを用いた不自然な環境でなく、コンサートホールなど自然な状態で演奏された録音信号から演奏表現情報を獲得できるため、ベロシティなどの演奏制御情報に関しては得られる精度が高いという利点がある。しかし、信号内のノイズ・ゆらぎなどの影響を受け易く、ゆらぎにより音の高さを誤認識したり、特に音符の長さを正確に検出するのが難しい。また、和音および倍音との識別を信号処理だけで完璧に行うことが難しく、特に金管楽器など倍音レベルが基本音より高い音源や、ドラムなど雑音に富むリズム楽器に対しては解析が難しく、音量の高いリズム楽器が鳴っている音楽からメロディーを検出するのは困難である。また、マルチトラックＭＩＤＩデータ作成については、アンサンブル演奏録音信号から音源分離して符号化することが困難である等の問題がある。
【０００８】
本発明は、上記のような各方法の欠点を補い、演奏者の個性を反映するために演奏録音したデータを用いながらも、楽譜に忠実な音楽コンテンツを制作することが可能な再生用符号化データ作成方法を提供することを課題とする。
【０００９】
【課題を解決するための手段】
上記課題を解決するため、本発明の第１の態様は、録音された音響信号を基に、発音の時刻、長さ、音の高さ、音の強さの情報を備えた音符の集合で構成される第１の符号化データ（ＭＩＤＩ符号化データ）を作成し、演奏に用いられた楽譜に記載された音符を忠実に符号化して、第２の符号化データ（ＭＩＤＩ打込みデータ）を作成し、第１の符号化データに含まれる音符と、第２の符号化データに含まれる音符を時間的な位置関係と音の高さの類似性により対応付け、第１の符号化データに含まれる音符であって、第２の符号化データに含まれる音符との対応付けが行なわれなかった音符を、第１の符号化データから削除するように、第１の符号化データに対して補正を施すことにより、再生用符号化データを作成するようにしたことを特徴とする。
本発明の第２の態様は、録音された音響信号を基に、発音の時刻、長さ、音の高さ、音の強さの情報を備えた音符の集合で構成される第１の符号化データ（ＭＩＤＩ符号化データ）を作成し、演奏に用いられた楽譜に記載された音符を忠実に符号化して、第２の符号化データ（ＭＩＤＩ打込みデータ）を作成し、第１の符号化データに含まれる音符と、第２の符号化データに含まれる音符を時間的な位置関係と音の高さの類似性により対応付け、第２の符号化データに含まれる音符であって、第１の符号化データに含まれる音符との対応付けが行なわれた音符に対して、その発音の時刻、長さ、音の強さの情報を、第１の符号化データに含まれる対応する音符の発音の時刻、長さ、音の強さの情報にそれぞれ置換するように、第２の符号化データに対して補正を施すことにより、再生用符号化データを作成するようにしたことを特徴とする。
本発明の前記２つの態様によれば、演奏録音を基にしたデータに対して、楽譜を基にしたデータで補正を行うようにする、あるいは楽譜を基にしたデータに対して、演奏録音を基にしたデータで補正を行うようにしたので、演奏者の個性を反映させながらも、楽譜に忠実な音楽コンテンツを制作することが可能となる。
【００１０】
【発明の実施の形態】
以下、本発明の実施形態について図面を参照して詳細に説明する。
本発明による符号化データ作成方法は、演奏に基づくＭＩＤＩデータに補正をかける方法と楽譜に基づくＭＩＤＩデータに補正をかける方法に大別され、前者については１つの楽器によるソロ演奏を１つのトラックに符号化するシングルトラックを事例に用いて説明し、後者についてはボーカル付き合奏を各パートごとに別々のトラックに記録するマルチトラックを事例に用いて説明する。まず最初に、前者の方法についてシングルトラックの事例を用いて説明する。
【００１１】
（演奏に基づくＭＩＤＩデータに補正をかける方法、シングルトラック例）
図１は、シングルトラックすなわち１つの楽器によるソロ演奏の場合の符号化データ作成方法の概要を示すフローチャートである。なお、ここでは、符号化の形式としてＭＩＤＩ規格を採用した例を用いて説明する。図１に示す再生用符号化データ作成方法では、同一の楽曲に対して演奏録音したＰＣＭデータと楽譜を用いて、それぞれを基にＭＩＤＩデータを作成する。そして、演奏から得られるＭＩＤＩデータを基本にして、楽譜から得られるＭＩＤＩデータを利用して補正することにより最終的な再生用符号化データを得るようにしている。
【００１２】
具体的には、まず、ステップＳ１において、演奏録音ＰＣＭデータに対してＭＩＤＩ符号化処理を行う。これは、上記従来技術の第３の方法で説明したように、演奏を録音することにより得られる音響信号に対して、所定の手法で解析を行うことにより、その構成要素となる周期信号を抽出し、抽出した周期信号をＭＩＤＩデータを用いて符号化することにより行なわれる。一方、ステップＳ２では、同じ楽曲の楽譜からＭＩＤＩデータをキーボード等から打込むことにより手作業で入力する。これは上記従来技術の第１の方法で説明したものである。ステップＳ１の処理により得られるＭＩＤＩデータとステップＳ２により得られるＭＩＤＩデータは同一形式のＭＩＤＩデータであるが、両者を区別するために、以降はステップＳ１の符号化処理により得られるＭＩＤＩデータをＭＩＤＩ符号化データ、ステップＳ２の打込み入力により得られるＭＩＤＩデータをＭＩＤＩ打込みデータと呼ぶことにする。
【００１３】
ステップＳ１、ステップＳ２において２つの異なる方法により同一楽曲のＭＩＤＩデータが得られたら、ステップＳ３において、両ＭＩＤＩデータにおける音符の対応付け処理を行う。ステップＳ３以降の具体的な処理について図２を用いて詳細に説明する。図２（ａ）にステップＳ１の処理により、演奏録音ＰＣＭデータから得られたＭＩＤＩ符号化データを示す。図２（ａ）はＭＩＤＩ符号化データのイメージを捉え易いように、各音符を下向きの三角形で模式化したものであり、横軸は時間をＭＩＤＩ規格のデルタタイムの単位で表現し、縦軸は三角形の上辺の位置が音の高さ（ＭＩＤＩ規格のノートナンバー）、三角形の高さが音の強さ（ＭＩＤＩ規格のベロシティ）を表している。図２（ａ）の例では、所定の時間内において１０個の音符が符号化されたことになる。
【００１４】
図２（ｂ）はステップＳ２の処理により、楽譜を見て人が手作業により入力したＭＩＤＩ打込みデータである。図２（ｂ）の例では、図２（ａ）に示したＭＩＤＩ符号化データと同一時間内には、４つの音符が楽譜に記載されていたことを示している。なお、楽譜では各音符の音の強さが記載されていないため、全て同一のベロシティで入力される。したがって、図２（ｂ）においては、ベロシティを示す三角形の高さは全て同一となっている。
【００１５】
ステップＳ３では、図２（ａ）に示すようなＭＩＤＩ符号化データに含まれる音符と、図２（ｂ）に示すようなＭＩＤＩ打込みデータに含まれる音符の対応付け処理を行う。具体的には、ノートナンバーが類似しており、時間がわずかでも重なっている音符を、同一の音符であるとみなして対応付ける。ここで音符の時間の重なり判断に関しては、通常これら２種の音符群は異なるテンポ設定で作成されるため、全音符の総演奏時間が一致するようにあらかじめ時間軸の補正をかけた上で行う。次にノートナンバーの類似性の判断については、ノートナンバーが同一もしくはちょうど１オクターブずれている状態をいう。例えば、ＭＩＤＩ符号化データの「ド」の音符に対しては、ＭＩＤＩ打込みデータにおける、当該「ド」と同じ高さの「ド」、１オクターブ高い「ド」、１オクターブ低い「ド」の３つが対応付けられることになる。このような対応付けは、楽器音などでは基本音の周波数の整数倍の倍音成分が顕著に発生し基本音が不鮮明になることがあるためで、基本音に修正するために行われる。また、ＭＩＤＩ符号化データ内の音符は演奏状態により半音程度ずれている場合があるので、これを補正するためにノートナンバーを同一とみなす範囲を半音分（ノートナンバー１つ分）まで許容するような設定にしておくこともできる。この場合、例えば「ド」の音に対しては、「シ」、「ド＃」の音が対応付けられることになる。これは、１オクターブずれた音符についても同様である。
【００１６】
図２（ａ），（ｂ）に示す例では、１オクターブずれた音符が存在せず（図２において１オクターブは１２目盛分）、時間が重なるもので音階が半音ずれているものも存在しないので、ノートナンバーが同一のものについてのみ対応付けが行なわれる。例えば、図２（ａ）と図２（ｂ）に示した各音符の対応付け処理を行うと、図２（ｄ）に示すような対応関係が得られることになる。このようにして、ステップＳ３においては、自動的にＭＩＤＩ符号化データと、ＭＩＤＩ打込みデータの対応付けを行うことができるが、演奏者がビブラート等、演奏効果上あえて楽譜通りでなく演奏したような場合、自動的な対応付けがかえって演奏の独創性を削いでしまうことがある。そのような場合、ここでは、対応付けを修正することを可能にしている。具体的には、図２（ａ）、（ｂ）に示すような模式化したＭＩＤＩデータを表示可能にしておき、ステップＳ３の処理により対応付けられた音符同士を同色で表示する。例えば、図２（ａ）に示す音符７を表す三角形と音符１０を表す三角形の内部は、図２（ｂ）に示す音符３を表す三角形の内部と同色で表示されることになる。対応付けを変更する場合は、例えば、修正者が図２（ｂ）の音符３を指定した後、図２（ａ）の音符８を指定すると、ＭＩＤＩ符号化データの音符８と、ＭＩＤＩ打込みデータの音符３が対応付けられることになる。
【００１７】
ステップＳ４においては、ＭＩＤＩ符号化データにおける対応音符の統合を行う。図２の例では、ＭＩＤＩ打込みデータ内の音符３に対してＭＩＤＩ符号化データ内の音符７、音符１０が対応しているので、音符７と音符１０を１つに統合する。これは、音符７の終了時刻を音符１０の終了時刻に変更することにより、図２（ｃ）に示すような音符７を作成し、音符１０を削除することにより行なわれる。
【００１８】
図２の例では、ここで対応音符の統合を行っているが、対応音符の関係によっては、対応音符の分解が行われることもある。対応音符の分解は、図２の例とは逆に、ＭＩＤＩ符号化データの１つの音符とＭＩＤＩ打込みデータの複数の音符が対応している場合に行なわれる。この場合、ＭＩＤＩ符号化データ内の音符は、対応するＭＩＤＩ打込みデータ内の音符の数と同数に分解される。このとき、ＭＩＤＩ符号化データ内の分解される各音符の発音長さは、対応するＭＩＤＩ打込みデータ内の音符の発音長さの比率と同率になるように分けられる。また、分解される各音符の音の強さは、分解前の音符と同一とする。
【００１９】
次に、ステップＳ５において、ステップＳ３で行った対応付けに従って、ＭＩＤＩ符号化データのうち、対応するものがなかった音符を削除する。図２（ｃ）に示したＭＩＤＩ符号化データから、対応していない音符を削除すると、図２（ｅ）に示す３つの音符のみが残ることになる。
【００２０】
次に、ステップＳ６において、ＭＩＤＩ打込みデータのうち、ＭＩＤＩ符号化データと対応しなかった音符を、ＭＩＤＩ符号化データに追加する処理を行うが、
この処理は演奏内容に意図的な変更を加えることになるため必須ではない。上述のように、図２（ｂ）に示したＭＩＤＩ打込みデータのうち、音符４はＭＩＤＩ符号化データに対応しなかったので、この音符４を図２（ｅ）に示したＭＩＤＩ符号化データに追加することになる。この結果、ＭＩＤＩ符号化データは図２（ｆ）に示すようになる。図２（ｆ）においては、ＭＩＤＩ符号化データに元々存在した音符４と区別するために、ＭＩＤＩ打込みデータから追加される音符４を「追４」と表記する。「追４」の時間は、この音符と時間的に重なる図２（ｂ）の音符３に対応する図２（ｃ）の音符７と重なるように決定され、「追４」の強さとしては、図２（ｂ）で設定されている値をそのまま用いているが、時間的に重なる図２（ｃ）の音符７の強度を考慮して補正をする方法もとれる。
【００２１】
このようにしてＭＩＤＩ符号化データを基本に補正されたＭＩＤＩデータが得られたら、ステップＳ７において音源制御データの付加が行なわれ、再生用符号化データとしてシングルトラックＭＩＤＩデータが得られる。ステップＳ７における音源制御データの付加とは、各音符を発音する際の音色を決定する処理であり、具体的にはＭＩＤＩ音源が用意している音色を特定する情報を各音符に付加する処理などを行う。この処理は使用するＭＩＤＩ音源等により異なり省略されることもある。
【００２２】
（楽譜に基づくＭＩＤＩデータを補正する方法、マルチトラック例）
次に、ボーカル付き合奏を各パートごとに別々のトラックに記録するマルチトラックの場合について説明する。図３は、マルチトラックの場合の符号化データ作成方法の概要を示すフローチャートである。図３に示す符号化データ作成方法でも、シングルトラックの場合と同様に、同一の楽曲に対して演奏録音したＰＣＭデータと楽譜を用いて、それぞれを基にＭＩＤＩデータを作成する。ただし、楽譜を基にしたＭＩＤＩデータは楽器パートごとに別々のトラックに作成される。そして、楽譜から得られる各トラックのＭＩＤＩデータを、演奏から得られるＭＩＤＩデータを利用して補正すると共に、演奏から得られるＭＩＤＩデータから、楽譜から得られる各トラックのＭＩＤＩデータの音符を削除していくことによりボーカルに対応する音符を抽出する。これによりボーカルに対応したトラックのＭＩＤＩデータと、楽器パートに対応したＭＩＤＩデータとが得られることになる。
【００２３】
ステップＳ１１では、シングルトラックの場合と同様に、演奏録音ＰＣＭデータが入力される。ただし、このＰＣＭデータは楽譜に記載されていないボーカル成分が記録されたものとなっている。ステップＳ１２では、楽譜を基にパート別にＭＩＤＩデータを手作業で入力する。ステップＳ１２では、各楽器パートのデータをそれぞれ異なるトラックに入力するようにしている。
【００２４】
ステップＳ１１、ステップＳ１２において２つの異なる方法により同一楽曲についてのＭＩＤＩデータが得られたら、ステップＳ１３において、両ＭＩＤＩデータに含まれる音符の対応付け処理を行う。ステップＳ１３以降の具体的な処理について図４を用いて詳細に説明する。図４（ａ）にステップＳ１１の処理により、演奏録音ＰＣＭデータから得られたＭＩＤＩ符号化データを示す。
【００２５】
図４（ｂ）はステップＳ１２の処理により、楽譜を見て人が手作業により入力したＭＩＤＩデータである。ステップＳ１２では、各パート別に入力が行われるため、楽器パート数分のＭＩＤＩデータが作成されることになるが、ここでは、代表してそのうちの１つのトラックにおけるＭＩＤＩデータを示している。なお、説明の便宜上、図４（ａ）（ｂ）に示したＭＩＤＩデータは、図２（ａ）（ｂ）に示したものと全く同一となっている。
【００２６】
ステップＳ１３では、図４（ａ）に示すようなＭＩＤＩ符号化データと、図４（ｂ）に示すようなＭＩＤＩ打込みデータの対応付け処理を行う。ここで、行なわれる処理は、図１のステップＳ３で説明した処理と全く同一であるので説明は省略する。この結果、図２（ｅ）に示すような対応関係が得られることになる。この対応関係をこのまま利用することもできるが、演奏に基づくＭＩＤＩデータに補正をかける方法の場合と同様に対応付けを修正することも可能である。
【００２７】
続いて、ステップＳ１４において、ＭＩＤＩ符号化データのうち、ＭＩＤＩ打込みデータと対応する音符を削除する。例えば、図４（ａ）に示したＭＩＤＩ符号化データからは、図４（ｅ）の対応表に示した音符１，４，７，１０が削除され、図４（ｃ）に示すような音符が残ることになる。これにより、図４（ａ）に示したＭＩＤＩ符号化データからは、図４（ｂ）に示したある楽器に対応した音符が削除されたことになる。
【００２８】
次に、ステップＳ１５において、ＭＩＤＩ打込みデータのうち、ＭＩＤＩ符号化データと対応する音符の表情補正処理を行う。音符の表情補正とは、具体的には、ＭＩＤＩ打込みデータの各音符のノートオン時刻、ノートオフ時刻、ベロシティ値を、ＭＩＤＩ符号化データの対応音符のノートオン時刻、ノートオフ時刻、ベロシティ値に各々変更することである。これにより、楽譜を基に打込まれた際には、作曲家の指示通りに指定された演奏テンポが演奏者の意図通りの変化が施され、図４（ｂ）のように全て均一に入力されたＭＩＤＩ打込みデータの各音符のベロシティ値が、演奏者による音の強さの抑揚に基づいた変化が与えられることになる。ただし、図４（ｂ）に示すＭＩＤＩ打込みデータの音符４のように対応する音符がない場合は、ベロシティの変更は行われない。ステップＳ１５の処理により図４（ｄ）に示すようなＭＩＤＩ打込みデータが得られることになる。
【００２９】
図４のように、ＭＩＤＩ符号化データの複数の音符７，１０とＭＩＤＩ打込みデータの１つの音符３が対応しているような場合、対応音符の分解が行われるように設定しておくこともできる。具体的には、ＭＩＤＩ打込みデータ内の音符は、対応するＭＩＤＩ符号化データ内の音符の数と同数に分解される。このとき、ＭＩＤＩ打込みデータ内の分解される各音符の発音長さは、対応するＭＩＤＩ符号化データ内の音符の発音長さの比率と同率になるように分けられる。また、分解される各音符の音の強さは、ＭＩＤＩ符号化データ内の各々対応する音符と同一にする。
【００３０】
ステップＳ１３〜ステップＳ１５の処理は、楽器パート数分、すなわち、ステップＳ１２により入力されたＭＩＤＩ打込みデータのトラック数分だけ繰り返し行なわれる。ただし、ステップＳ１４の対応音符の削除処理については、１つのトラックしかないＭＩＤＩ符号化データについて繰り返し行われ、ステップＳ１５の対応音符の表情補正処理については、各トラックのＭＩＤＩ打込みデータに対して１回だけ行われる。例えば、図４（ｄ）に示したある楽器パートのＭＩＤＩ打込みデータは、これに音色データを付加することにより最終的なマルチトラックＭＩＤＩデータを構成するトラックデータとなるが、図４（ｃ）に示したＭＩＤＩ符号化データは最終的なものではなく、再度別のトラックのＭＩＤＩ打込みデータと対応付けが行なわれ、対応音符の削除処理が行われることになる。したがって、ステップＳ１４の処理を繰り返すことにより、ＭＩＤＩ符号化データからは次々に各楽器に対応した音符が削除され、最終的にボーカルに対応する音符だけが残ることになる。また、ステップＳ１５の処理を各トラックのＭＩＤＩ打込みデータに対して行うことにより、各楽器パートの音符の強弱が決定されることになる。例えば、全体でＮトラックからなるマルチトラックＭＩＤＩデータを作成する場合、ステップＳ１２のデータ打込み処理は（Ｎ−１）トラック分行なわれ、ステップＳ１３〜ステップＳ１５の処理はそれぞれ（Ｎ−１）回繰り返され、最終的に第１トラックがボーカル、第２〜第Ｎトラックがそれぞれ各楽器パートに対応したマルチトラックＭＩＤＩデータが得られることになる。
【００３１】
さらに、このマルチトラックＭＩＤＩデータには、ステップＳ１６において音源制御データの付加が行なわれる。これは、演奏に基づくＭＩＤＩデータを補正する方法の場合のステップＳ７の処理を各トラックに対して同様に行うことにより実現される。
【００３２】
以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されず、種々の変形が可能である。第２の楽譜に基づくＭＩＤＩデータを補正する方法は、ボーカルを含むマルチトラックの場合について説明したが、もちろんボーカルを含まない場合でも、シングルトラックの場合でも適用可能である。シングルトラックの場合にはステップＳ１４の処理が不要になる。逆に、第１の演奏に基づくＭＩＤＩデータを補正する方法をマルチトラックの場合や、ボーカルを含む場合にも適用可能である。前者の第１の演奏に基づくＭＩＤＩデータを補正する方法をマルチトラックの場合に適用するには、ステップＳ２でステップＳ１２と同様なマルチトラック入力を行い、ステップＳ３で各トラックごとに対応付けを行い、対応付けられた再生用符号化データをマルチトラック形式で出力するようにすればよい。後者の第１の演奏に基づくＭＩＤＩデータを補正する方法をボーカルを含む場合に適用するには、ステップＳ５で削除された非対応音符を別のトラックに保存して同様に再生用符号化データをマルチトラック形式で出力するようにすればよい。
【００３３】
更に、上記演奏に基づくＭＩＤＩデータを補正する方法の場合、ステップＳ４において対応音符を統合した際に、統合した音符に対してビブラートまたはピッチベンド制御情報を付加することも可能である。また、楽譜に基づくＭＩＤＩデータを補正する方法の場合にも、ＭＩＤＩ打込みデータ内の統合された音符に対してビブラートまたはピッチベンド制御情報を付加することもできる。
【００３４】
【発明の効果】
以上、説明したように本発明によれば、録音された音響信号を基に、発音の時刻、長さ、音の高さ、音の強さの情報を備えた音符の集合で構成される第１の符号化データ（ＭＩＤＩ符号化データ）を作成し、演奏に用いられた楽譜に記載された音符を忠実に符号化して、第２の符号化データ（ＭＩＤＩ打込みデータ）を作成し、第１の符号化データに含まれる音符と、第２の符号化データに含まれる音符を時間的な位置関係と音の高さの類似性により対応付け、第１の符号化データに含まれる音符であって、第２の符号化データに含まれる音符との対応付けが行なわれなかった音符を、第１の符号化データから削除して、補正した第１の符号化データを再生用符号化データとして出力するか、または第２の符号化データに含まれる音符であって、第１の符号化データに含まれる音符との対応付けが行なわれた音符の発音の時刻、長さ、音の強さの情報を、第１の符号化データの対応する音符の発音の時刻、長さ、音の強さの情報に各々置換することにより、補正した第２の符号化データを再生用符号化データとして出力することにより、再生用符号化データを作成するようにしたので、演奏者の個性を反映させながらも、楽譜に忠実な音楽コンテンツを制作することが可能となるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の演奏に基づくＭＩＤＩデータを補正する方法をシングルトラック形式に適用した場合のフローチャートである。
【図２】シングルトラック形式の場合に、符号化データに含まれる音符に対して行われる処理を説明するための図である。
【図３】本発明の楽譜に基づくＭＩＤＩデータを補正する方法をマルチトラック形式に適用した場合のフローチャートである。
【図４】マルチトラック形式の場合に、符号化データに含まれる音符に対して行われる処理を説明するための図である。
【符号の説明】
１〜１０・・・音符
Claims (8)
- 演奏を録音することにより得られる時系列の音響信号と、前記演奏に用いられた楽譜を用いて、最適な再生用符号化データを作成する方法であって、
前記音響信号を基に、発音の時刻、長さ、音の高さ、音の強さの情報を備えた音符の集合で構成される第１の符号化データを作成する段階と、
前記演奏に用いられた楽譜に記載された音符を忠実に符号化して、第２の符号化データを作成する段階と、
前記第１の符号化データに含まれる音符と、前記第２の符号化データに含まれる音符を時間的な位置関係と音の高さの類似性により対応付ける符号化データ対応付け段階と、
前記第１の符号化データに含まれる音符であって、前記第２の符号化データに含まれる音符との対応付けが行なわれなかった音符を、前記第１の符号化データから削除する非対応符号化データ補正段階と、
前記第２の符号化データに含まれる音符であって、前記第１の符号化データに含まれる音符との対応付けが行なわれなかった音符に対して、その発音の時刻、長さ、音の強さの情報に適宜修正を施し、前記第１の符号化データに追加するような音符追加段階と、
前記削除、追加が施された第１の符号化データを再生用符号化データとして出力する再生用符号化データ出力段階と、
を有することを特徴とする再生用符号化データ作成方法。 - 演奏を録音することにより得られる時系列の音響信号と、前記演奏に用いられた楽譜を用いて、最適な再生用符号化データを作成する方法であって、
前記音響信号を基に、発音の時刻、長さ、音の高さ、音の強さの情報を備えた音符の集合で構成される第１の符号化データを作成する段階と、
前記演奏に用いられた楽譜に記載された音符を忠実に符号化して、第２の符号化データを作成する段階と、
前記第１の符号化データに含まれる音符と、前記第２の符号化データに含まれる音符を時間的な位置関係と音の高さの類似性により対応付ける符号化データ対応付け段階と、
前記符号化データ対応付け段階において、前記第１の符号化データに含まれる複数の音符が、前記第２の符号化データに含まれる１つの音符に対応付けられた場合に、前記第１の符号化データに含まれる複数の音符を１つの音符に統合して、統合された音符の音の高さを、前記対応付けられた第２の符号化データに含まれる１つの音符の高さとする音符統合段階と、
前記第１の符号化データに含まれる音符であって、前記第２の符号化データに含まれる音符との対応付けが行なわれなかった音符を、前記第１の符号化データから削除する非対応符号化データ補正段階と、
前記補正を施された第１の符号化データを再生用符号化データとして出力する再生用符号化データ出力段階と、
を有することを特徴とする再生用符号化データ作成方法。 - 演奏を録音することにより得られる時系列の音響信号と、前記演奏に用いられた楽譜を用いて、最適な再生用符号化データを作成する方法であって、
前記音響信号を基に、発音の時刻、長さ、音の高さ、音の強さの情報を備えた音符の集合で構成される第１の符号化データを作成する段階と、
前記演奏に用いられた楽譜に記載された音符を忠実に符号化して、第２の符号化データを作成する段階と、
前記第１の符号化データに含まれる音符と、前記第２の符号化データに含まれる音符を時間的な位置関係と音の高さの類似性により対応付ける符号化データ対応付け段階と、
前記符号化データ対応付け段階において、前記第１の符号化データに含まれる１つの音符が、前記第２の符号化データに含まれる複数の音符に対応付けられた場合に、前記第１ の符号化データに含まれる１つの音符を、当該音符に対応する第２の符号化データに含まれる音符の数と同数に分解し、分解された各音符の発音長さは、対応する第２の符号化データに含まれる音符の各長さに応じて決定し、分解された各音符の音の強さは、全て分解前の音符と同一にする音符分解段階と、
前記第１の符号化データに含まれる音符であって、前記第２の符号化データに含まれる音符との対応付けが行なわれなかった音符を、前記第１の符号化データから削除する非対応符号化データ補正段階と、
前記補正を施された第１の符号化データを再生用符号化データとして出力する再生用符号化データ出力段階と、
を有することを特徴とする再生用符号化データ作成方法。 - 演奏を録音することにより得られる時系列の音響信号と、前記演奏に用いられた楽譜を用いて、最適な再生用符号化データを作成する方法であって、
前記音響信号を基に、発音の時刻、長さ、音の高さ、音の強さの情報を備えた音符の集合で構成される第１の符号化データを作成する段階と、
前記演奏に用いられた楽譜に記載された音符を忠実に符号化して、第２の符号化データを作成する段階と、
前記第１の符号化データに含まれる音符と、前記第２の符号化データに含まれる音符を時間的な位置関係と音の高さの類似性により対応付ける符号化データ対応付け段階と、
前記第２の符号化データに含まれる音符であって、前記第１の符号化データに含まれる音符との対応付けが行なわれた音符の発音の時刻、長さ、音の強さの情報を、対応する前記第１の符号化データに含まれる音符の発音の時刻、長さ、音の強さの情報と各々同一になるように変更する対応符号化データ補正段階と、
前記補正を施された第２の符号化データを再生用符号化データとして出力する再生用符号化データ出力段階と、
を有することを特徴とする再生用符号化データ作成方法。 - 前記符号化データ対応付け段階が、前記第２の符号化データに含まれる１つの音符と、前記第１の符号化データに含まれる複数の音符を対応付けるものであり、さらに、前記第２の符号化データに含まれる１つの音符を、当該音符に対応する第１の符号化データに含まれる音符の数と同数に分解し、分解された各音符の発音長さは、対応する第１の符号化データに含まれる音符の各長さに応じて決定し、分解された各音符の音の強さは、前記第１の符号化データの各々対応する音符と同一にする音符分解段階を有することを特徴とする請求項４に記載の再生用符号化データ作成方法。
- 前記第２の符号化データを作成する段階が、楽譜のパートに基づいて複数のトラックで構成される符号化データを作成するようにし、
前記符号化データ対応付け段階が、前記第１の符号化データに含まれる複数の音符と、前記第２の符号化データの各トラックに含まれる音符を対応付けることにより、前記第１の符号化データを複数のトラックに分離するようなトラック分離段階を有し、
前記再生用符号化データ出力段階が、複数のトラックで構成される再生用符号化データを出力するようにしていることを特徴とする請求項４または５に記載の再生用符号化データ作成方法。 - 前記符号化データ対応付け段階は、音の高さの類似性の条件を、同一音高とみなされる範囲および１オクターブ異なる同一音高とみなされる範囲とするものであり、前記第１の符号化データに含まれる音符と当該音符に対応付けられた前記第２の符号化データに含まれる音符の音の高さが１オクターブ異なる場合には、前記第１の符号化データに含まれる音符の音の高さを、前記第２の符号化データに含まれる音符の音の高さに変更するものであることを特徴とする請求項１から６のいずれかに記載の再生用符号化データ作成方法。
- 前記再生用符号化データ出力段階が、前記第１の符号化データに含まれる音符であって、前記第２の符号化データに含まれる音符との対応付けが行なわれなかった音符を、他の再生用符号化データとは異なるトラックで前記再生用符号化データに付加するような非対応符号化データ追加段階を有し、複数のトラックで構成される再生用符号化データを出力するようにしていることを特徴とする請求項１から７のいずれかに記載の再生用符号化データ作成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000229123A JP4268322B2 (ja) | 2000-07-28 | 2000-07-28 | 再生用符号化データ作成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000229123A JP4268322B2 (ja) | 2000-07-28 | 2000-07-28 | 再生用符号化データ作成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002041035A JP2002041035A (ja) | 2002-02-08 |
| JP4268322B2 true JP4268322B2 (ja) | 2009-05-27 |
Family
ID=18722295
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000229123A Expired - Fee Related JP4268322B2 (ja) | 2000-07-28 | 2000-07-28 | 再生用符号化データ作成方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4268322B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3801029B2 (ja) * | 2001-11-28 | 2006-07-26 | ヤマハ株式会社 | 演奏情報生成方法、演奏情報生成装置およびプログラム |
| JP3945695B2 (ja) * | 2002-08-15 | 2007-07-18 | 修 宝利 | 大正琴実演奏補正プログラム及び大正琴実演奏補正装置 |
| JP2005017706A (ja) * | 2003-06-26 | 2005-01-20 | Nec Corp | 録音システムおよび録音方法 |
| JP5541008B2 (ja) * | 2010-08-31 | 2014-07-09 | ブラザー工業株式会社 | データ修正装置、及びプログラム |
-
2000
- 2000-07-28 JP JP2000229123A patent/JP4268322B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002041035A (ja) | 2002-02-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101136974B1 (ko) | 재생장치 및 재생방법 | |
| JP2010518459A (ja) | 配布オーディオファイル編集用ウェブポータル | |
| Lindemann | Music synthesis with reconstructive phrase modeling | |
| CN1750116A (zh) | 自动表演风格确定设备和方法 | |
| JP4802857B2 (ja) | 楽音合成装置及びプログラム | |
| JP2022040079A (ja) | オーディオエフェクトを適用するための方法、装置、およびソフトウェア | |
| JP4268322B2 (ja) | 再生用符号化データ作成方法 | |
| JP3795201B2 (ja) | 音響信号の符号化方法およびコンピュータ読み取り可能な記録媒体 | |
| JP4407473B2 (ja) | 奏法決定装置及びプログラム | |
| JP2000099009A (ja) | 音響信号の符号化方法 | |
| JP4152502B2 (ja) | 音響信号の符号化装置および符号データの編集装置 | |
| JP2001005450A (ja) | 音響信号の符号化方法 | |
| JP4220108B2 (ja) | 音響信号符号化システム | |
| WO2004025306A1 (en) | Computer-generated expression in music production | |
| JP2000099093A (ja) | 音響信号の符号化方法 | |
| JP3744247B2 (ja) | 波形圧縮方法及び波形生成方法 | |
| JP4473979B2 (ja) | 音響信号の符号化方法および復号化方法ならびに当該方法を実行するプログラムを記録した記録媒体 | |
| US10643594B2 (en) | Effects device for a musical instrument and a method for producing the effects | |
| JP3935745B2 (ja) | 音響信号の符号化方法 | |
| Souvignier | Loops and grooves: The musician's guide to groove machines and loop sequencers | |
| JP3760909B2 (ja) | 楽音生成装置及び方法 | |
| JPH1173199A (ja) | 音響信号の符号化方法およびコンピュータ読み取り可能な記録媒体 | |
| JP3788096B2 (ja) | 波形圧縮方法及び波形生成方法 | |
| JP3832421B2 (ja) | 楽音生成装置及び方法 | |
| JP3832422B2 (ja) | 楽音生成装置及び方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070427 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081014 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081021 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081208 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090121 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090220 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120227 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130227 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130227 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |