JP2004205817A

JP2004205817A - カラオケ装置

Info

Publication number: JP2004205817A
Application number: JP2002374924A
Authority: JP
Inventors: Shingo Kamiya; 伸悟神谷
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2002-12-25
Filing date: 2002-12-25
Publication date: 2004-07-22
Anticipated expiration: 2022-12-25
Also published as: JP4182750B2

Abstract

【課題】歌唱者が歌唱すべき旋律を楽譜が読めなくても分かりやすくモニタに表示することができるようにする。
【解決手段】カラオケ曲を演奏するための曲データ中にあるガイドメロディトラックのデータを用い、カラオケ曲の演奏と並行して歌唱旋律の音の高さを縦軸に展開し、音の長さを横軸に展開して帯状に音符を表示したピアノロールをモニタに表示する。曲の進行に同期してピアノロール上のカーソルを移動させたり、ピアノロールをスクロールさせることで、現在の演奏位置を分かりやすく表示する。
【選択図】図３

Description

【０００１】
【発明の属する技術分野】
この発明は、歌唱者が歌唱すべき旋律を分かりやすくモニタに表示することができるカラオケ装置に関する。
【０００２】
【従来の技術】
従来より歌唱をガイドするカラオケ装置が実用化されている。たとえば、歌唱旋律を楽音（ガイドメロディ）としてカラオケ曲の伴奏音とともに発生するガイドメロディ機能を備えたカラオケ装置が実用化されているほか、歌唱旋律を楽譜として視覚的に表示してガイドするカラオケ装置も提案されている（例えば特許文献１）。
【０００３】
【特許文献１】
特開昭５６−８５７７３号公報
【０００４】
【発明が解決しようとする課題】
しかし、五線譜に表された楽譜は、音の高さや長さを直観的に把握することが困難であるため、若干でも音楽の知識があるものでないと正しく読むことができないため、歌唱をガイドしてもらいたいような初心者の歌唱者には、あまり有効でないという問題点があった。
【０００５】
この発明は、歌唱者が歌唱すべき旋律を分かりやすくモニタに表示することができるカラオケ装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
請求項１の発明は、カラオケ曲を演奏するための曲データと、歌唱者に対して歌唱旋律をガイドするためのガイドメロディデータとを記憶した記憶手段と、前記曲データに基づいてカラオケ曲を演奏する演奏手段と、前記カラオケ曲の演奏と並行して、前記ガイドメロディデータを読み出し、歌唱旋律を縦軸を音高、横軸を時間に展開したピアノロールを描画してモニタに表示するピアノロール表示手段と、を備えたことを特徴とする。
【０００７】
請求項２の発明は、上記発明において、前記ピアノロール表示手段が、表示するピアノロール上における前記演奏手段の現在の演奏位置を指示する手段を含むことを特徴とする。
【０００８】
請求項３の発明は、上記発明において、前記ガイドメロディデータは、前記曲データの一部であり、前記演奏手段は、このガイドメロディデータに基づいてガイドメロディ音を発生することを特徴とする。
請求項４の発明は、上記発明において、歌唱者の歌唱音声を入力し、この歌唱音声を採点する採点手段を備え、前記ピアノロール表示手段は、前記採点手段の採点結果に応じて前記ピアノロールを着色する手段であることを特徴とする。
【０００９】
この発明では、カラオケ曲の歌唱旋律をピアノロールとしてモニタに表示する。ピアノロールは、縦軸を音高、横軸を時間にして、各音符に対応する横帯として表示するものであるため、その帯の高さに基づいて半音単位で音高を知ることができるとともに、その帯の長さに基づいてその音の長さを直観的に知ることができる。
【００１０】
また、この発明では、ピアノロール上に現在の演奏位置を表示する。演奏位置は、表示されているピアノロール上にカーソルなどのオブジェクトを表示して示してもよく、演奏位置に合わせて順次ピアノロールを表示してゆくことによって示してもよい。これにより、歌唱の進行が分かりやすくなり、より歌唱を支援することができる。
【００１１】
【発明の実施の形態】
図１はこの発明の実施形態であるカラオケ装置のブロック図である。このカラオケ装置は、曲データに基づいてカラオケ曲の演奏を実行するとともに、この演奏に並行して歌唱者が歌唱すべき旋律をピアノロール状に展開してモニタに表示し、歌唱者の歌唱を支援する。ピアノロールでは、音高を縦軸、時間を横軸に展開し、図３にその例を示すように、音の長さを示す帯が、音高に対応する高さに時系列に配置される。楽譜のように記号化されていないため、楽譜が読めない歌唱者であっても、視覚的に直観的に音高および音長を把握することができるため、これを見て歌唱の参考にすることができる。
【００１２】
図１において、全体の動作を制御するＣＰＵ（ＲＡＭを含む）１０には、ハードディスク１１、音源１３、ミキサ（エフェクタを含む）１４、採点ユニット１９、ＭＰＥＧデコーダ２０、合成回路２１等が接続されている。ハードディスク１１には、カラオケ曲を演奏するための曲データやモニタに背景映像を表示するための映像データなどが記憶されている。カラオケ曲の演奏を実行するとき、ＣＰＵ１０は、この曲データや映像データをＲＡＭに読み出す。
【００１３】
音源１３は、ＣＰＵ１０が実行するシーケンサ３０の処理によって供給された曲データ（ノートイベントデータ等）に応じて楽音信号を形成する。形成した楽音信号はミキサ１４に入力される。ミキサ１４は、音源１３が発生した複数の楽音信号、および、マイク１７−Ａ／Ｄコンバータ１８を介して入力された歌唱者の歌唱音声信号に対してエコーなどの効果を付与するとともに、これらの信号を適当なバランスでミキシングする。ミキシングされたデジタルの楽音信号はサウンドシステム１５に入力される。サウンドシステム１５はＤ／Ａコンバータおよびパワーアンプを備えており、入力されたデジタル信号をアナログ信号に変換して増幅し、スピーカ１６から放音する。ミキサ１４が各音声信号に付与する効果およびミキシングのバランスはＣＰＵ１０によって制御される。
【００１４】
ピアノロール表示プログラム３４は、シーケンサ３０によって演奏されるカラオケ曲の曲データ中のガイドメロディトラックに基づいてピアノロール画面を作成するプログラムである。ピアノロールの例および作成手順は、後述する。
【００１５】
また、Ａ／Ｄコンバータ１８によってデジタル信号に変換された歌唱音声信号は、採点ユニット１９にも入力される。採点ユニット１９は、この入力された歌唱音声信号の周波数をリファレンスデータと比較してそのずれ量を割り出し、これを差分データとしてＣＰＵ１０に入力する。ＣＰＵ１０が実行する採点処理プログラム３５は、この差分データに基づいて歌唱者の歌唱を採点する。採点結果は、ピアノロールの帯の表示色に反映される。上記リファレンスデータとしては曲データに含まれるガイドメロディデータを用いるが、ガイドメロディデータは、曲データと別に供給するようにしてもよい。
【００１６】
ハードディスク１１に記憶されている映像データ４１は、ＭＰＥＧ２形式にエンコードされており、ＣＰＵ１０が実行する背景映像再生プログラム３３は、これを読み出してＭＰＥＧデコーダ２０に入力する。ＭＰＥＧデコーダ２０は、入力さたＭＰＥＧ２データをＮＴＳＣの映像信号にデコードして合成回路２１に入力する。合成回路２１は、この背景映像の映像信号の上に上記ピアノロール表示プログラム３４が作成したピアノロールなどのＯＳＤを合成する回路である。この背景映像とＯＳＤが合成された映像信号はモニタ２２に入力され、モニタ２２の画面上に表示される。
【００１７】
図２はハードディスク１１に記憶される曲データの構成を示す図である。曲データは、同図（Ａ）に示すように、カラオケ曲を演奏するための楽音トラック、ガイドメロディを発生するためのガイドメロディトラック、および、歌詞トラックや効果制御トラックなどのその他トラックからなっている。各トラックはＭＩＤＩフォーマットに従って記述され、イベントデータと各イベントデータの読み出しタイミングを示すタイミングデータからなっている。タイミングデータは、前後のイベントデータの読み出しタイミングの間隔を示すデュレーションデータで構成してもよく、また読み出しタイミングを曲スタート時からの経過時間で表す絶対時刻データで構成してもよい。
【００１８】
なお、ガイドメロディトラックは、同図（Ｂ）に示すように、歌唱すべき旋律（メロディ）を楽音で発生するためのトラックであるため、単音のシーケンストラックであり、複数の楽音が同時にノートオンしていることはない。すなわち、ノートオンイベントデータの次に現れるイベントデータは必ずノートオフイベントデータである。
【００１９】
図３（Ａ）、（Ｂ）、（Ｃ）は、カラオケ曲の演奏中にモニタ２２に表示されるピアノロールの例を示す図である。同図（Ａ）〜（Ｃ）ともに、上下２つの画面を例示しているが、上段の画面から若干演奏が進んだときの画面が下段の画面である。
【００２０】
なお、図３〜図６の説明では、説明を簡略化するため、採点処理プログラム３５が行う採点結果を表示に反映していない。ピアノロールの表示色を採点結果に応じて変化させる実施形態については、図７、図８において説明する。
【００２１】
同図（Ａ）は、曲の進行に同期してメロディを示す帯が伸びてゆくようにピアノロールを表示する例を示す図である。最初画面には全くピアノロールが表示されていないが、曲の進行に応じて、画面の左端（Ｘ＝０）からそのときの演奏位置を表示するように、ピアノロール（帯）が右方向に伸びてゆく。すなわち、現在の演奏位置は画面の左端から右端へ移動する。演奏位置が右端（Ｘ＝Ｘｍａｘ）に達したときページ替えが行われ、表示しているピアノロールが消去されて次のページのピアノロールが新たに左端から表示される。
【００２２】
同図（Ｂ）は、曲の進行に同期してピアノロールをスクロールさせるようにした表示例である。この表示例においても、曲の進行に応じてピアノロールの表示が伸びてゆくが、この伸びる速度とピアノロール全体が左に移動する速度が同じであり、現在の演奏位置は、常にモニタ画面の所定位置（ほぼ中央）である。この表示方式では、曲の進行と並行してピアノロールの表示範囲も移動するためページ替えは不要である。
【００２３】
同図（Ｃ）は、同図（Ａ）と同様にページ替えする方式であるが、最初にページ全体のピアノロールを表示しておき、そのとき現在の演奏位置に合わせてカーソルを移動させてゆくようにした例である。曲が一定時間進む毎に、その範囲のは、まずそのページのピアノロールが全部表示され、カーソルが左端から右端へ移動してゆく。カーソルが右端まで移動したとき、そのページが消去され、次のページが表示される。
【００２４】
図４〜図６は、図３（Ａ）〜（Ｃ）に示すピアノロールを表示するためのピアノロール表示プログラムの処理を示すフローチャートである。
【００２５】
図４は図３（Ａ）に示すピアノロールを表示するための手順を示すフローチャートである。
【００２６】
曲のスタート時はピアノロールを画面の左端から表示するために表示位置のＸ座標を０に設定する（ｓ１）。そして、カラオケ曲の進行に同期したガイドメロディトラックのデータを読み出す（ｓ２）。このガイドメロディトラックのデータの読み出しは、カラオケ曲の演奏を実行しているシーケンサ３０によって行われる。デュレーションデータが読み出された場合には、そのデュレーションデータが指示する時間ｄを所定のクロックΔｄに従ってカウントダウンし（ｓ１１）、０になったとき（ｓ１２）、次のデータを読み出す（ｓ２）。このカウントダウンしている間、曲が進行しているため、これに応じてピアノロールの表示位置を右に移動させてゆく（ｓ６）。すなわちＸ座標値をΔｘずつ加算してゆく。このときノートオン中であれば音高に応じて決められているＹ座標にピアノロールの帯をこのΔｘの幅だけ描画する（ｓ７、ｓ８）。
【００２７】
そして表示位置を右に移動させていった結果、表示位置が右端に達した場合、すなわちＸ座標値がＸｍａｘになった場合には（ｓ９）、ページ替えするため、そのとき表示しているピアノロールを全て消去し、表示するＸ座標を０にリセットする（ｓ１０）。これにより、新たなページのピアノロールが再度画面の左端から表示されるようになる。なお、ノートオンしていないときにはｓ７の判断でｓ８の帯表示動作がスキップされるため、ガイドメロディのない区間は帯の表示をしないで表示位置のみが進んでゆくことになる。
【００２８】
一方、ｓ２でノートオンイベントデータが読み出された場合には、ｓ４の判断でｓ１３に進み、そのノートオンイベントデータが指示する音高に対応する帯の表示する帯の高さ（Ｙ座標）を決定する（ｓ１３）。すなわち、音高が高いほど上方に帯を表示し、音高が低いほど下方に帯を表示する。帯の高さは半音毎に決められている。そして、前記ｓ７、ｓ８の動作で帯を描画させるためのノートオンフラグをセットする（ｓ１４）。また、ｓ２でノートオフイベントデータが読み出された場合には、ｓ５の判断でｓ１５に進み、ノートオンフラグをリセットする（ｓ１５）。これにより、ｓ８の動作がスキップされる。ｓ２で読み出したデータが曲の終了を示すデータの場合には、それで動作を終了する。以上の動作により、図３（Ａ）のような曲の進行に応じて画面の右方向に伸びてゆくようなピアノロールを表示することができる。
なお、ガイドメロディトラックは単音の歌唱旋律を再生するためのトラックであるため、ノートオンイベントデータの次のイベントデータは必ずノートオフイベントデータであり、上記の動作で複数の帯が並行して表示されることはない。
【００２９】
図５は図３（Ｂ）に示すような、スクロールするピアノロールを表示するためのフローチャートである。ピアノロールの先頭が常にモニタ画面ほぼ中央になるように表示位置のＸ座標を０に設定する（ｓ２１）。そして、カラオケ曲の進行に同期したガイドメロディトラックのデータを読み出す（ｓ２２）。このガイドメロディトラックのデータの読み出しは、カラオケ曲の演奏を実行しているシーケンサ３０によって行われる。デュレーションデータが読み出された場合には（ｓ２３）、そのデュレーションデータが指示する時間ｄを所定のクロックΔｄに従ってカウントダウンし（ｓ２９）、０になったとき（ｓ３０）、次のデータを読み出す（ｓ２２）。このカウントダウンをしている間、曲が進行しているため、これに応じてピアノロール全体の表示を左にスクロールさせる（ｓ２６）。すなわち、全てのピアノロールの表示座標をΔｘだけ減算する。表示しているピアノロールのうちＸ座標が０以下になった部分は表示から外れることになる。このときノートオン中であれば音高に応じて決められているＹ座標にピアノロールの帯をこのΔｘの幅だけ（ＸｍｉｄからＸｍｉｄ−Δｘの間に）新たに描画する（ｓ２７、ｓ２８）。なお、ノートオンしていないときにはｓ２７の判断でｓ２８の帯表示動作がスキップされるため、ガイドメロディのない区間は帯の表示をしないでスクロールのみが行われる。
【００３０】
一方、ｓ２２でノートオンイベントデータが読み出された場合には、ｓ２４の判断でｓ３３に進み、そのノートオンイベントデータが指示する音高に対応する帯の表示する帯の高さ（Ｙ座標）を決定する（ｓ３３）。すなわち、音高が高いほど上方に帯を表示し、音高が低いほど下方に帯を表示する。帯の高さは半音毎に決められている。そして、前記ｓ２７、ｓ２８の動作で帯を描画させるためのノートオンフラグをセットする（ｓ３４）。また、ｓ２２でノートオフイベントデータが読み出された場合には、ｓ２５の判断でｓ３５に進み、ノートオンフラグをリセットする（ｓ３５）。これにより、ｓ２８の動作がスキップされる。ｓ２２で読み出したデータが曲の終了を示すデータの場合には、それで動作を終了する。以上の動作により、図３（Ｂ）のような曲の進行に応じて左にスクロールするピアノロールを表示することができる。
図６は、図３（Ｃ）に示すピアノロールを表示するためのフローチャートである。演奏がスタートすると（ｓ４０）、シーケンサ３０が実行している自動演奏とは、別にガイドメロディトラックの１ページ分のデータを先読みする（ｓ４１）。この１ページ分のデータの読み出しは、データを先頭から読み出してゆき、デュレーションデータの合計値がモニタの横幅（Ｘ＝０〜Ｘｍａｘ）と一致するまでの全てのイベントデータ、デュレーションデータである。
【００３１】
この１ページ分のガイドメロディデータに基づいて１ページ分のピアノロールを表示する（ｓ４２）。この表示は、図３（Ａ）、図４の表示処理を一気に行うのと同じである。そして、この表示したピアノロール上で現在の演奏位置を指し示すカーソルを左端（Ｘ＝０）に表示する（ｓ４３）。
【００３２】
つぎに、この表示したカーソルを演奏時間の経過に応じて（曲の進行に対応させて）徐々にΔｘずつ右に移動させてゆく。そして、カーソルが右端（Ｘ＝Ｘｍａｘ）まで移動すると（ｓ４５）、現在表示しているピアノロールを消去して（ｓ４６）、ｓ４１にもどる。そして、曲が終了した時点で動作を終了する。
以上の動作により、１ページ分を一気に表示してその上でカーソルを移動させる図３（Ｃ）に示すようなピアノロールをモニタに表示させることができる。図３（Ｃ）、図６で説明したピアノロールにおいて、現在の演奏位置を示すものとしてカーソルを表示しているが、これ以外のオブジェクトを表示して現在の演奏位置を表示するようにしてもよい。また、オブジェクトを表示する代わりに、ピアノロールの帯の色を変えて現在の演奏位置を示すようにしてもよい。
【００３３】
ここで、上記ピアノロールの表示を歌唱の採点結果に基づいて着色してゆく実施形態について説明する。
【００３４】
図１のブロック図において、シーケンサ３０は、演奏トラックのイベントデータを読み出して音源１３に入力することによって音源１３にカラオケ曲の楽音を発生させるとともに、ガイドメロディトラックのイベントデータを読み出して音源１３に入力することによって音源１３にガイドメロディを発生させる。同時に、シーケンサ３０は、ガイドメロディトラックのイベントデータをリファレンスデータとして採点ユニット１９に入力する。また、採点ユニット１９には、Ａ／Ｄコンバータ１８でデジタルデータに変換された歌唱者の歌唱音声信号が入力される。
【００３５】
採点ユニット１９は、この歌唱音声信号から検出した周波数とリファレンスデータが指示する音高周波数とを比較し、その比較結果（ずれ量のセント値）である差分データを５０ｍｓ毎に出力する。この差分データは、ＣＰＵ１０に入力され、採点処理プログラム３５が処理する。採点処理プログラム３５は、連続する３つの差分データを集計して、その１５０ｍｓ（５０ｍｓ×３）の区間の歌唱を採点し、その採点結果に対応する色を決定する。そして、その色をピアノロール表示プログラム３４に通知する。
【００３６】
ピアノロール表示プログラム３４は、表示しているピアノロールの先頭（現在の演奏位置）から−５０ｍｓ〜２００ｍｓの区間の帯をその色で着色する。
【００３７】
図７は、ＣＰＵ１０の上記採点による着色処理の手順を示すフローチャートである。図８は採点による着色処理が行われているピアノロールの例を示す図である。カラオケ曲の演奏・歌唱者の歌唱に応じて採点ユニット１９から５０ｍｓ毎に差分データが入力される（ｓ５１）。３回分（１５０ｍｓ）の差分データに基づいて採点を行うため、３回分の差分データが蓄積されるまでｓ５１の入力を繰り返す（ｓ５２）。３回分の差分データが蓄積されると、この差分データに基づいて採点を行う（ｓ５３）。この採点はその差分データの合計値や平均値などをある尺度に基づいて点数に変換するなどの処理で行われる。このようにして算出された採点結果（点数）に基づいてピアノロールの帯を着色する色を決定する（ｓ５４）。この色の決定は、点数を複数の領域に分けて各領域毎に特定の色を割り当てておき、ｓ５３で求められた点数が属している領域の色に決定するようにしてもよく、満点（１００点）および０点にそれぞれ特定の色（たとえば緑と赤）を割り当てておき、ｓ５３で求められた点数に応じた中間色を求めてこの色に決定するようにしてもよい。
【００３８】
そして、図８に示すように、そのとき表示しているピアノロールの先頭位置から２００ｍｓさかのぼった位置から５０ｍｓさかのぼった位置までの区間をこの決定された色で着色する（ｓ５５）。なお、着色する区間を１５０ｍｓの区間としたのは採点区間が１５０ｍｓ（５０ｍｓ×３）だからである。また、塗りつぶす位置を現在の演奏位置から５０ｍｓさかのぼったところからとしたのは、採点処理に約５０ｍｓの時間を要するために採点結果の出力が約５０ｍｓ遅れて出力されるからである。
曲が終了するまで以上の処理を繰り返し（ｓ５６）、曲が終了すると動作を終了する。
【００３９】
なお、ピアノロールの横軸のスケール、すなわち単位時間（たとえば１秒）をどの長さで表すか、または１ページに何単位時間を表示するかの尺度は、固定であっても可変であってもよい。可変にする場合は、歌唱者がリモコンなどの操作で１ページに入る曲の長さを設定できるようにしてもよく、曲データにスケール情報を書き込んでおき、この曲情報に応じてスケールを決定するようにしてもよい。また、曲データにスケール情報がない場合であっても曲のテンポ情報に基づいて、自動的にスケールを決定するようにしてもよい。なお、上記図４〜図６のフローチャートにおいて、スケールは、Δｘの大きさで設定される。
【００４０】
また、採点およびピアノロールの着色は、上記実施形態では、１５０ｍｓ毎に行うようにしているが、この採点および着色の間隔も可変にしてもよい。可変の方式は、上記横軸のスケールと同様である。
【００４１】
【発明の効果】
以上のようにこの発明によれば、カラオケ曲の演奏と並行して歌唱旋律をピアノロールにしてモニタに表示させることができるため、楽譜を読めない歌唱者であっても、視覚的に直観的に歌唱べき音高を知ることができる。
【００４２】
また、この発明によれば、ピアノロール上に歌唱の結果が採点表示されるため、歌唱のどの部分が旨く歌えたか旨く歌えなかったかを視覚的に知ることができる。
【図面の簡単な説明】
【図１】この発明の実施形態であるカラオケ装置のブロック図
【図２】同カラオケ装置の曲データの構成を示す図
【図３】同カラオケ装置で表示されるピアノロールの例を示す図
【図４】同カラオケ装置のピアノロール表示動作を示すフローチャート
【図５】同カラオケ装置のピアノロール表示動作を示すフローチャート
【図６】同カラオケ装置のピアノロール表示動作を示すフローチャート
【図７】同カラオケ装置の採点動作を示すフローチャート
【図８】採点表示をしたピアノロールの例を示す図
【符号の説明】
１０…ＣＰＵ、１１…ハードディスク、１３…音源、１４…ミキサ、１５…サウンドシステム、１６…スピーカ、１７…マイク、１８…Ａ／Ｄコンバータ、１９…採点ユニット、２０…ＭＰＥＧデコーダ、２１…合成回路、２２…モニタ、３０…シーケンサ、３３…映像再生プログラム、３４…ピアノロール表示プログラム、３５…採点処理プログラム

Claims

カラオケ曲を演奏するための曲データと、歌唱者に対して歌唱旋律をガイドするためのガイドメロディデータとを記憶した記憶手段と、
前記曲データに基づいてカラオケ曲を演奏する演奏手段と、
前記カラオケ曲の演奏と並行して、前記ガイドメロディデータを読み出し、歌唱旋律を縦軸を音高、横軸を時間に展開したピアノロールを描画してモニタに表示するピアノロール表示手段と、
を備えたカラオケ装置。
前記ピアノロール表示手段は、表示するピアノロール上における前記演奏手段の現在の演奏位置を指示する手段を含む請求項１に記載のカラオケ装置。
前記ガイドメロディデータは、前記曲データの一部であり、前記演奏手段は、このガイドメロディデータに基づいてガイドメロディ音を発生する請求項１または請求項２に記載のカラオケ装置。
歌唱者の歌唱音声を入力し、この歌唱音声を採点する採点手段を備え、前記ピアノロール表示手段は、前記採点手段の採点結果に応じて前記ピアノロールを着色する手段である請求項１、請求項２または請求項３に記載のカラオケ装置。