JP2005107328A - カラオケ装置 - Google Patents

Abstract

【課題】実際の歌唱の巧拙を正確に判定することができるようにした採点機能付きのカラオケ装置を提供する。
【解決手段】 ガイドメロディデータの音高情報をＬＰＦ処理することにより、音高変化をなだらかにして歌唱者の実際の歌唱における音高変化に近づける。また、歌唱音声周波数データをＬＰＦ処理することにより、ビブラートなどの技巧による周波数変動を除去する。ＬＰＦ処理されたガイドメロディデータと歌唱音声周波数データを比較することにより、歌唱の巧拙を正確に判定する。
【選択図】 図３

Description

この発明は、歌唱採点機能を備えたカラオケ装置における採点精度の向上に関する。

従来よりカラオケ装置には、歌唱者の歌唱の巧拙を採点する採点機能を備えたものがあった。従来より実用化されている採点機能は、ガイドメロディなどのリファレンスから抽出した音高と歌唱音声から抽出した周波数とを比較するもの（たとえば特許文献１）やこれに音量変化の評価を加味したもの（特許文献２）などがあった。

特開平１０−４９１８３号公報 特開平１０−１６１６７３号公報

しかし、ガイドメロディは、機械的に音符（ノートオンイベントデータおよびノートオフイベントデータ）を配列したＭＩＤＩデータであるため、正確な拍タイミングに機械的に音高が変化するものである。したがって、いわゆる楽譜どおりに正確に歌唱すれば採点機能で高得点を得ることができるが、このような歌唱は、決して上手いといえるものではなく、また聴衆にとっても心地よいものではなかった。

一方で、ガイドメロディデータのほかに採点専用のリファレンスデータ設けることは、楽曲データ作成のうえで面倒なことであり、また、様々な癖のある歌唱者の歌唱をガイドメロディデータに当てはめるのは困難なことであった。

この発明は、リファレンスデータを実際の歌唱に近いものに加工することにより、実際の歌唱の巧拙を正確に判定することができるようにした採点機能付きのカラオケ装置を提供することを目的とする。

また、この発明は、歌唱音声から技巧や癖を除去して周波数の判定をしやすくすることにより、実際の歌唱の巧拙を正確に判定することができるようにした採点機能付きのカラオケ装置を提供することを目的とする。

さらに、この発明は、適切なタイミングでリファレンスデータと歌唱音声とを比較することにより、実際の歌唱の巧拙を正確に判定することができるようにした採点機能付きのカラオケ装置を提供することを目的とする。

以下の手段において、リファレンスデータおよび歌唱音声はともに周波数（音高）に関する情報である。

請求項１の発明は、カラオケ曲を演奏するとともに、歌唱旋律のリファレンスデータをカラオケ曲の演奏と同期して供給する演奏手段と、歌唱音声を入力する歌唱音声入力手段と、供給されたリファレンスデータをローパスフィルタ処理するフィルタ手段と、前記歌唱音声を前記フィルタ処理されたリファレンスデータと比較することにより前記歌唱音声を採点する採点手段と、を備えたことを特徴とする。

この発明では、リファレンスデータをローパスフィルタ処理している。これにより、リファレンスデータの不連続で機械的な音高変化がなだらかになり、実際の歌唱者の音高変化に近づけることができ、これを歌唱音声と比較することにより、より実際の巧拙に対応した採点が可能になる。

請求項２の発明は、カラオケ曲を演奏するとともに、歌唱旋律のリファレンスデータをカラオケ曲の演奏と同期して供給する演奏手段と、歌唱音声を入力する歌唱音声入力手段と、入力された歌唱音声をローパスフィルタ処理するフィルタ手段と、前記フィルタ処理された歌唱音声を前記リファレンスデータと比較することにより前記歌唱音声を採点する採点手段と、を備えたことを特徴とする。

この発明では、歌唱音声をローパスフィルタ処理している。これにより、ビブラートなどの細かい周波数変動を除去することができ、技巧を凝らした歌唱がかえって低い評価になってしまうことを防止することができる。

請求項３の発明は、上記発明において、前記演奏手段は、歌唱旋律の各音符の区切り情報を出力し、前記採点手段は、各音符の先頭から所定時間については前記比較による採点の対象としないことを特徴とする。

レガート歌唱した場合、音符の先頭から所定時間（たとえば１５０ｍｓ程度）は、なだらかな音高の移行の途中で周波数が変動している。この区間を採点の対象とすると、レガート歌唱が機械的な歌唱よりも低く評価されてしまうおそれがある。そこで、この発明では、音符の先頭から所定時間は採点対象から外すことにより、レガート歌唱が低い評価になることを防止した。

請求項４の発明は、上記発明において、前記演奏手段は、歌唱旋律の各音符の区切り情報を出力し、前記採点手段は、１個の音符の期間内に前記歌唱音声とリファレンスデータとの差が許容範囲内になったサンプルが所定回数以上であったとき、この音符について合格と判定することを特徴とする。

請求項５の発明は、請求項１〜３の発明において、前記演奏手段は、歌唱旋律の各音符の区切り情報を出力し、前記採点手段は、１個の音符の期間内における前記歌唱音声とリファレンスデータとの差の平均値であるＤＣ値、および、このＤＣ値と前記歌唱音声との差の積分値であるＡＣ値に基づき、この音符について合格、不合格を判定することを特徴とする。

請求項６の発明は、カラオケ曲を演奏するとともに、歌唱旋律の各音符の音高および区切り情報を含むリファレンスデータをカラオケ曲の演奏と同期して供給する演奏手段と、歌唱音声を入力する歌唱音声入力手段と、前記歌唱音声を各音符毎にリファレンスデータと比較することにより前記歌唱音声を採点する採点手段と、を備えたことを特徴とする。

請求項７の発明は、請求項６の発明において、前記採点手段は、各音符の先頭から所定時間については前記比較による採点の対象としないことを特徴とする。

請求項８の発明は、請求項６，７の発明において、前記採点手段は、１個の音符の期間内に前記歌唱音声とリファレンスデータとの差が許容範囲内になったサンプルが所定回数以上であったとき、この音符について合格と判定することを特徴とする。

請求項９の発明は、請求項６，７の発明において、前記採点手段は、１個の音符の期間内における前記歌唱音声とリファレンスデータとの差の平均値であるＤＣ値、および、このＤＣ値と前記歌唱音声との差の積分値であるＡＣ値に基づき、この音符について合格、不合格を判定することを特徴とする。

上記発明では、音符単位で歌唱を採点評価するようにしている。これにより、時間単位の区切りよりも音楽的に正確な評価をすることができるようになる。また、音符単位で評価することにより、その音符における音程ずれ（ＤＣ値）やビブラートの深さ（ＡＣ値）を考慮して的確な評価が可能になる。

請求項１０の発明は、請求項４，５，８，９の発明において、前記採点手段は、合格と判定した音符の数、および、合格と判定した音符の音高の最高音、最低音、音域の全てまたは一部を用いて最終得点を決定することを特徴とする。

非常に高い音や非常に低い音は歌唱者にとって発生しにくいものであり、音域の広い曲は歌唱者によって歌唱が難しいものである。このように歌唱した曲の音の高さや音域によって歌唱が左右され、評価が変わってしまう。そこで、この発明では、合格した音符の最高音、最低音、音域等を参考にして最終得点を決定することにより、曲の難易度による評価の変化を緩和して歌唱者の歌唱を高精度に評価できるようにした。

以上のようにこの発明によれば、歌唱者の歌唱を採点する場合に、機械的な正確さではなく実際の歌唱の巧拙に基づいた採点をすることが可能になる。

図面を参照してこの発明の実施形態であるカラオケ装置について説明する。
カラオケ装置において、カラオケ曲の演奏はカラオケ曲の楽音を発生しながら背景映像・歌詞テロップをモニタに出力する動作であるが、採点モードを設定すると、このカラオケ曲の演奏に加えて、歌唱者の歌唱音声をリファレンスと比較することによって採点し、曲の終了後に点数を算出して表示する採点動作を実行する。

図１は、同カラオケ装置のブロック図である。カラオケ装置は、装置全体の動作を制御するＣＰＵ１０と、これに接続された各種機器で構成されている。ＣＰＵ１０には、ハードディスク１１、ＲＡＭ１２、音源１３、ミキサ（エフェクタ）１４、ボーカルアダプタ１９、ＭＰＥＧデコーダ２０、合成回路２１、操作部２３が接続されている。ハードディスク１１は、カラオケ曲を演奏するための曲データやモニタに背景映像を表示するための映像データなどを記憶している。ＲＡＭ１２には、プログラムや曲データを読み出すエリア、および、採点モード時に採点結果等を記録する採点ログエリアなどが設定されている。

音源１３は、ＣＰＵ１０が実行する曲シーケンサ３１の処理によって入力された曲データ（ノートイベントデータ等）に応じて楽音信号を形成する。形成した楽音信号はミキサ１４に入力される。ミキサ１４は、音源１３が発生した複数の楽音信号、および、マイク１７−Ａ／Ｄコンバータ１８を介して入力された歌唱者の歌唱音声信号に対してエコーなどの効果を付与するとともに、これらの信号を適当なバランスでミキシングする。ミキシングされたデジタルの音声信号はサウンドシステム１５に入力される。サウンドシステム１５はＤ／Ａコンバータおよびパワーアンプを備えており、入力されたデジタル信号をアナログ信号に変換して増幅し、スピーカ１６から放音する。ミキサ１４が各音声信号に付与する効果およびミキシングのバランスはＣＰＵ１０によって制御される。

また、Ａ／Ｄコンバータ１８によってデジタル信号に変換された歌唱音声信号は、ボーカルアダプタ１９にも入力される。ボーカルアダプタ１９は、この入力された歌唱音声信号から歌唱周波数を割り出すとともに、ＣＰＵ１０の曲シーケンサ３１から入力されたリファレンスの周波数を割り出す。そして、この歌唱周波数とリファレンス周波数を同期させて３０ｍｓ毎にＣＰＵ１０（採点モード処理３４）に入力する。リファレンスとしては、曲データに含まれるガイドメロディデータが用いられる。また割り出した周波数は、Ｃ０からのセント値で表現される。

ＨＤＤ１１に記憶されている背景映像データ４１は、ＭＰＥＧ２形式にエンコードされており、ＣＰＵ１０が実行する背景映像再生プログラム３３は、これを読み出してＭＰＥＧデコーダ２０に入力する。ＭＰＥＧデコーダ２０は、入力されたＭＰＥＧデータをＮＴＳＣの映像信号に変換して合成回路２１に入力する。合成回路２１は、この背景映像の映像信号の上に歌詞テロップや採点結果の表示などのＯＳＤを合成する回路である。この合成された映像信号はモニタディスプレイ２２に表示される。

操作部２３は、パネルスイッチインタフェースやリモコン受信回路などからなっており、利用者によるパネルスイッチやリモコン装置の操作に応じた操作信号をＣＰＵ１０に入力する。ＣＰＵ１０は、操作入力処理プログラム３５によってこの操作信号を検出し、対応する処理を実行する。この操作入力処理プログラム３５はシステムプログラムに含まれるものである。

パネルスイッチやリモコン装置は、曲番号を選択したり、採点モードなどのモードを選択するための種々のキースイッチを備えている。

パネルスイッチやリモコン装置で曲番号が入力されると、操作入力処理プログラム３５がこれを検出し、カラオケ曲のリクエストであるとしてシーケンサ３０に伝達する。シーケンサ３０は、これに応じて、この曲番号で識別されるカラオケ曲の曲データをハードディスク１１の曲データ記憶エリア４０から読み出す。シーケンサ３０は、曲シーケンサ３１および歌詞シーケンサ３２からなっており、歌詞シーケンサ３２は、文字パターン作成プログラム３２ａを含んでいる。曲シーケンサ３１は曲データ中の演奏データトラック、ガイドメロディトラックなどのトラックのデータを読み出し、このデータで音源１３を制御することによってカラオケ曲の演奏音を発生させる。また、歌詞シーケンサ３２は、曲データ中の歌詞トラックのデータを読み出し、このデータに基づいて歌詞テロップの画像パターンを作成して合成回路２１に出力する。また、背景映像再生プログラム３３は、シーケンサ３０からの指示に応じて所定の背景映像データを読み出してＭＰＥＧデコーダ２０に入力する。

ここで、図２を参照してハードディスク１１に記憶されている曲データについて説明する。曲データは、同図（Ａ）に示すように、カラオケ曲を演奏するための楽音トラック、ガイドメロディを発生するためのガイドメロディトラック、歌詞テロップを表示するための歌詞トラック、曲中の区切りを示すマークデータが書き込まれるマークデータトラックなどからなっている。曲データは、これ以外にヘッダ、音声データ、音声データ制御トラックなどを有しているが説明を簡略化するためにこの図では省略する。

各トラックは、ＭＩＤＩフォーマットに従って記述されている。たとえば、ガイドメロディトラックは、同図（Ｂ）に示すように、ノートオンイベントデータ、ノートオフイベントデータなどのイベントデータと各イベントデータの読み出しタイミングを示すタイミングデータからなっている。ノートオンイベントデータは音高データを含み、このノートオンによって発生する楽音（ガイドメロディ）の音高を指定する。この楽音は次のノートオフイベントデータが読み出されるまで継続する。

タイミングデータは、各イベントデータ間の時間的間隔を示すデュレーションデータや曲のスタート時刻からの絶対時間を示す絶対時間データなどで構成することができる。

楽音トラック、ガイドメロディトラックのイベントデータは、上記のように楽音の音高、音量、オン／オフなどを示すノートイベントデータなどで構成され、このノートイベントデータを音源１３に入力することにより、音源１３はこのイベントデータに対応する楽音を発音したり消音したりする。楽音トラックは、多数の楽器の楽音を発生するために複数トラック（パート）で構成されており、ガイドメロディトラックは、歌唱旋律をガイドするための単旋律のＭＩＤＩデータで構成されている。

また、マークデータトラックには、カラオケ曲の曲中の種々の区切り点を示すマークデータが書き込まれる。マークデータとしては、序奏と１コーラス目の区切りに書き込まれる１コーラス目マーク、１コーラス目と間奏の区切りに書き込まれる間奏マーク、間奏と２コーラス目の区切りに書き込まれる２コーラス目マーク、２コーラス目とエンディングの区切りに書き込まれるエンディングマークなどがあり、また、各コーラス中のサビの開始・終了点に書き込まれるサビ開始マーク、サビ終了マークなどがある。このマークは上記演奏トラック、ガイドメロディトラックが発生する楽音と同期しており、システムエクスクルーシブメッセージとして記述される。

一方、歌詞トラックのイベントデータは、このカラオケ曲の歌詞テロップをシステムエクスクルーシブデータでインプリメントしたシーケンスデータであり、楽音トラックやガイドメロディトラックとは異なるイベントデータを有している。イベントデータは、ページ区切りデータ、歌詞表示データなどである。

通常モードのカラオケ曲の演奏では、シーケンサ３０により上記のようなカラオケ演奏音の発生や歌詞テロップの表示処理動作が行われるが、採点モード時には、これに加えて採点モード処理プログラム３４により、採点処理動作が実行される。

まず図３の機能ブロックを参照して、採点モード時の各部の処理について説明する。マイク１７から入力された歌唱音声信号は、Ａ／Ｄコンバータ１８でデジタル音声信号に変換されてボーカルアダプタ１９に入力される（同時にミキサ１４にも入力されるがここでは採点モードの動作のみについて説明する）。ボーカルアダプタ１９では、このデジタル音声信号を歌唱周波数検出部１０２に入力して歌唱周波数（セント値）を検出する。

一方、リファレンス周波数検出部１０１には、カラオケ曲の演奏に同期して、曲シーケンサ３１からリファレンスデータが入力される。リファレンスデータは、上述したようにガイドメロディデータが用いられる。リファレンス周波数検出部１０１は、入力されたＭＩＤＩデータのノートオンイベントデータから音高情報を抽出し、その音高のセント値をリファレンス周波数として出力する。

歌唱音声検出部１０２による歌唱周波数の検出およびリファレンス周波数検出部１０１によるリファレンス周波数の検出は、３０ｍｓ毎に同期して実行され、その検出結果が３０ｍｓ毎に採点モード処理プログラム３４に入力される。

また、リファレンス周波数検出部１０１は、曲シーケンサ３１からノートオン／オフイベントデータが入力されると、そのタイミングにノートオン情報、ノートオフ情報を採点モード処理プログラム３４に通知する。

採点モード処理プログラム３４では、入力されたリファレンス周波数と歌唱周波数とを比較し、各ノート毎にそのノートが合格ノートであるか不合格ノートであるかを判定する。

この合格ノート／不合格ノートの判定時においては、入力された歌唱周波数およびリファレンス周波数に対してローパスフィルタ（ＬＰＦ）処理（１０５、１０６）を行う。リファレンス周波数に対するＬＰＦ処理は、機械的な音高列であるリファレンス（図４（Ａ）参照）の音高変化を滑らかにして人間の歌唱に近づけるための処理である。また、歌唱周波数に対するＬＰＦ処理は、ビブラートなどの技巧を除去してフラットな歌唱周波数情報を得るための処理である。

図４（Ａ）はリファレンスとして用いられるガイドメロディデータの例を示す図である。リファレンスデータは、音符が連続しているレガート区間であっても正確な拍タイミングに不連続に音高が変化する機械的なデータである。このような不連続なリファレンスに対してＬＰＦ処理を行うことにより、同図（Ｂ）に示すように、音符と音符の間ではなだらかに音高が変化するようになり、リファレンスを歌唱者の実際の歌唱に近い音高変化のものにすることができる。なお、音符が途切れる休符の区間やノンレガートで歌唱するところなどは、このＬＰＦ処理の対象外にする。これにより、音の無い区間のデータによりＬＰＦ処理が不自然な動きになってしまうことを防止することができる。

同図（Ｃ）は歌唱音声周波数データの例を示す図である。歌唱音声周波数は、音符（音高）の変わり目でなだらかな音高の移行（いわゆる「しゃくり」）をしているとともに、音の伸ばしの部分では、ビブラートなどの周期的な周波数変化をしている。この歌唱音声周波数データをＬＰＦ処理することにより、同図（Ｄ）に示すように、しゃくり部分のオーバーシュートやビブラートなどの細かい周波数変化を除去することができ、歌唱しようとしていた周波数を正確に抽出することができるようになる。

なお、マイク１７から入力された音声信号には歌唱音声信号のみならず種々のノイズが含まれている。このノイズ成分のレベルが大きい場合、周波数検出部１０２は、このノイズ成分を歌唱音声信号と見なしてその周波数を検出してしまう場合がある。このようなノイズ成分がＬＰＦ処理部１０６に入力されると、その１サンプルだけでなくその後もずっと誤ったデータが出力されてしまう。そこで、歌唱音声の周波数変化と考えにくい、１５０セント以上の突然の音高変化があった場合には、そのデータを無視して（直前のサンプルデータをもう一度採用して）ＬＰＦ処理を行うことにより、ノイズによる悪影響を防止することができる。

歌唱周波数およびリファレンス周波数のデータ列は、３０ｍｓ毎の離散データであるため、上記の処理を好適に達成するため、歌唱周波数に対するＬＰＦ処理部１０６は、カットオフ周波数５．５Ｈｚの２次フィルタを用い、リファレンス周波数に対するＬＰＦ処理部１０５は、カットオフ周波数５Ｈｚの２次フィルタを用いている。

ＬＰＦ処理された歌唱周波数およびリファレンス周波数は、採点部１０７に入力される。採点部１０７は、リファレンス周波数検出部１０１から入力されるノートオン情報・ノートオフ情報をもとにノート単位で上記歌唱周波数を採点する。採点部１０７は、歌唱周波数とリファレンス周波数とを比較してその差分（セント値）を算出する。この差分の算出はサンプルタイミング毎（３０ｍｓ毎）に行われる。１つのノート期間に所定回数以上差分が所定の許容範囲内に入っていたとき、このノートについて合格ノートと判定する。前記所定回数は１〜複数回の範囲で設定すればよい。ノート期間が終了したとき、差分が所定範囲内に入っていた回数が所定回未満であった場合にはこのノートについて不合格ノートと判定する。

なお、ここでは、歌唱周波数、リファレンス周波数の両方に対してＬＰＦ処理を行っているが、どちらか一方のみに対して行っても上記それぞれの効果を得ることができる。また、ノート単位の合格ノート／不合格ノートの採点において、このＬＰＦ処理は必須ではなく、歌唱周波数、リファレンス周波数を直接比較して後述の採点処理を行うようにしてもよい。

フローチャートを参照して採点モード処理プログラム３４の処理について説明する。
図５は入力監視動作を示すフローチャートである。この動作ではボーカルアダプタからの入力を監視している。サンプルデータ、すなわち３０ｍｓ毎の歌唱周波数およびリファレンス周波数が入力されると（ｓ１）、その両方に対してＬＰＦ処理を実行する（ｓ３、ｓ４）。上記のようにこのＬＰＦ処理はどちらか一方のみまたは無くてもよい。このＬＰＦ処理の結果を採点処理（図６等）に通知する。

一方、リファレンス周波数検出部１０１からノートオン情報またはノートオフ情報が送られてきた場合には（ｓ２）、これを採点処理に通知する（ｓ５）。

図６は採点処理動作を示すフローチャートである。入力監視処理（図５）からノートオン情報が送られてきたとき、この処理動作をスタートする。

まず入力されたノートオン情報（ノートオンイベントデータ）に基づいて音高情報を更新する（ｓ１０）。すなわち、この採点処理動作では、楽曲の最高音および最低音を検出するため入力されたノートオン情報に含まれる音高情報で最高音レジスタ、最低音レジスタを更新している。入力されたノートオン情報の音高が、そのとき最高音レジスタに記憶している最高音高よりも高い場合には、この音高で最高音レジスタを更新する。また、入力されたノートオン情報の音高が、そのとき最低音レジスタに記憶している最低音高よりも低い場合には、この音高で最低音レジスタを更新する。なお、曲シーケンサ３１が、楽曲データのハードディスク１１からの読出時に最高音および最低音を検出しておき、これを採点処理プログラム３４に通知するようにすれば、最低処理動作におけるこの処理は不要になる。

次にサンプルデータすなわちＬＰＦ処理がされた歌唱周波数およびリファレンス周波数が入力されるまで待機する（ｓ１１）。ただし、サンプルデータが入力されても処理がスタートして最初の５サンプルについては、そのデータを廃棄し何も処理しないでサンプルデータ待ちルーチン（ｓ１１）にもどる（ｓ１２）。これは、図４に示したようにノートスタート直後の１５０ｍｓ程度は、周波数の漸次的な変化（いわゆる「しゃくり」など）で周波数が安定しないため、この範囲は判定（採点）対象から外すようにしているためである。

なお、上記のように最初の５サンプルについては目標周波数から大きく外れている可能性があるため、歌唱周波数またはリファレンス周波数にＬＰＦ処理を施す場合、この採用しない５サンプルがその後のサンプルデータのＬＰＦ処理に悪影響が及ばないようにＬＰＦ入力から削除するようにしてもよい。この場合、この最初の５サンプルが終了した時点でＬＰＦ処理に対してそれまで入力したサンプルデータを破棄するように通知すればよい。

６サンプル目以後のサンプルデータが入力された場合には、ｓ１３以下の処理を実行する。ｓ１３では、そのとき入力された歌唱周波数をリファレンス周波数と比較してその差分を求める。この差分が許容範囲内の場合にはｓ１５以下の処理を実行し、許容範囲外の場合にはこのサンプルデータを破棄してｓ１１にもどる。ここで、リファレンス周波数のセント値から±５０セント以内に入ればこの歌唱周波数は許容範囲内の周波数ずれであると判断する。

この採点処理動作では、ノート中に歌唱周波数が１回でも許容範囲内に入ればこのノートについて合格と判定するようにしているため、ｓ１４で許容範囲と判定された場合には、ｓ１５に進んでこのノートについて「合格ノート」と決定する。そしてノートオフ情報が入力されるまでｓ１６で待機し、ノートオフ情報が入力されると、合格音高を更新するとともに（ｓ１７）、最終得点を集計する得点集計処理に対して合格ノート情報を出力する（ｓ１８）。

ここで、合格音高とは、ノート毎に実行されるこの処理において、合格と判定したノートの音高のうち最高音と最低音を更新しつつ記憶する処理である。すなわち、合格と判定されたノートの音高情報（ノートオン情報に含まれている音高情報）の音高が、そのとき合格最高音レジスタに記憶している最高音高よりも高い場合には、この音高で合格最高音レジスタを更新する。また、合格と判定されたノートのノートオン情報の音高が、そのとき合格最低音レジスタに記憶している最低音高よりも低い場合には、この音高で合格最低音レジスタを更新する。

この合格最高音レジスタ、合格最低音レジスタの内容および前記最高音レジスタ、最低音レジスタの内容は、曲が終了したのち得点集計処理に通知される。

一方、合格ノートと判定されないままこのノートオフ情報が入力された場合には（ｓ１９）、得点集計処理に対して不合格ノート情報を出力する（ｓ２０）。

図７は得点集計処理である。曲シーケンサ３１またはリファレンス周波数検出部１０１から曲終了メッセージが送られてきたときこの処理を実行する。まず、この曲の全ノート数と合格ノート数の比率に基づいて点数を算出する（ｓ２５）。次に曲の最高音高、最低音高、音域および合格ノートの最高音高、最低音高、音域に基づいて選曲に対するアドバイスを決定し（ｓ２６）、これをモニタ２２に表示する（ｓ２７）。

なお、この動作では音高、音域に基づいてアドバイスを表示するのみであるが、合格最高音や合格最低音または音域が優秀な場合には、得点に加味するようにしてもよい。

図６の処理では、ノート中に１回でもセント差が許容範囲内に入った場合には合格ノートとしているが、ノート期間中のサンプルデータを複数（たとえば全て）チェックし、許容範囲に入ったサンプル数に基づいて合格ノート、不合格ノートを決定するようにしてもよい。図８にノート期間中のサンプルデータを全て監視する採点処理動作のフローチャートに示す。

図８は採点処理動作の別実施形態を示すフローチャートである。入力監視処理（図５）からノートオン情報が送られてきたとき、この処理動作をスタートする。

まず、許容範囲内のサンプル（ＯＫサンプル）と許容範囲外のサンプル（ＮＧサンプル）をカウントするカウンタをリセットする（ｓ２９）。次に、入力されたノートオン情報（ノートオンイベントデータ）に基づいて音高情報を更新する（ｓ３０）。この処理は図６の音高更新処理（ｓ１０）と同様である。

次にサンプルデータすなわちＬＰＦ処理がされた歌唱周波数およびリファレンス周波数が入力されるまで待機する（ｓ３１）。ただし、サンプルデータが入力されても処理がスタートして最初の５サンプルについては、そのデータを廃棄し何も処理しないでサンプルデータ待ちルーチン（ｓ３１）にもどる（ｓ３２）。これは、図４に示したようにノートスタート直後の１５０ｍｓ程度は、周波数の漸次的な変化（いわゆる「しゃくり」など）で周波数が安定しないため、この範囲は判定（採点）対象から外すようにしているためである。

６サンプル目以後のサンプルデータが入力された場合には、ｓ３３以下の処理を実行する。ｓ３３では、そのとき入力された歌唱周波数をリファレンス周波数と比較してその差分を求める。この差分が許容範囲内の場合にはＯＫサンプルカウンタをカウントアップし（ｓ３５）、差分が許容範囲外の場合にはＮＧサンプルカウンタをカウントアップする（ｓ３６）。

サンプルデータ待ちルーチンでノートオフ情報が入力された場合には（ｓ３７）、ＯＫカウント数（およびＮＧカウント数）に基づいてこのノートが合格ノートであるか否かを判定する（ｓ３８）。合格ノートと判定した場合には（ｓ３９）、合格音高を更新するとともに（ｓ４０）、最終得点を集計する得点集計処理に対して合格ノート情報を出力する（ｓ４１）。不合格ノートと判定した場合には得点集計処理に対して不合格ノート情報を出力する（ｓ４２）。

ここで、合格ノートの判定は、ＯＫカウント数が所定値以上になったとき、ＮＧカウント数が所定値以下であったとき、ＯＫカウント数の比率が所定値以上であったときなどの基準で行えばよい。

図６、図８の採点処理動作では、ＯＫサンプル（およびＮＧサンプル）の数に基づいて合格ノートを判定しているが、複数サンプルにおける歌唱周波数のリファレンス周波数との差分の平均値（ＤＣ値）、および、各サンプルデータ（歌唱周波数）の上記平均値（ＤＣ値）からの変動量の積算値（ＡＣ値）を考慮して合格ノートを判定するようにしてもよい。これにより、いわゆるまぐれ当たりの合格ノートを排除したり、大きなビブラートをかけた歌唱を不合格ノートから救ったりすることが可能になる。

図９を参照してＤＣ・ＡＣ判定処理について説明する。同図（Ａ）における＜リファレンス＞がリファレンス周波数を示す直線であり、＜ＤＣ＞が上記平均値（ＤＣ値）を表す直線である。また、複数の＜ＡＣ＞の合算値がＡＣ値となる。

１または複数のサンプルが許容範囲（５０セント差以内）に入っており合格ノートと判定されても、ぎりぎりで許容範囲内となったサンプルが多い場合はＤＣ値が大きくなる。したがって、ＯＫサンプルが所定数以上あってもＤＣ値が大きい場合には、音程が外れぎみまたはまぐれ当たりであると考えることができる。また、深いビブラートをかけているとＡＣ値が大きくなるが、ビブラートが大きいと聴覚的には音程の外れが緩和されて上手く聞こえるものである。

このような実際の聴覚的な印象を加味して、同図（Ｂ）のような合格ノート、不合格ノートの判定範囲を設ける。すなわち、ＤＣ値がプラス・マイナス一定範囲内であれば合格ノートであるが（この点では図８の動作とほぼ同様）、ＡＣ値が大きくなれば、合格のＤＣ値の範囲を大きくしてゆく。これは、ビブラートが大きいと音程ずれが許容されるからである。これにより、実際に近い採点が可能になる。

また、このＤＣ・ＡＣ値による採点と図６または図８の採点処理動作を複合して採点するようにしてもよい。

この発明の実施形態であるカラオケ装置のブロック図 同カラオケ装置で用いられる曲データの構成例を示す図 同カラオケ装置の採点処理の機能ブロックを示す図 同カラオケ装置におけるＬＰＦ処理を説明する図 同カラオケ装置の入力監視処理を示すフローチャート 同カラオケ装置の採点処理動作を示すフローチャート 同カラオケ装置の得点集計処理を示すフローチャート 同カラオケ装置の採点処理動作の他の実施形態を示すフローチャート 同カラオケ装置における他の採点方式を説明する図

符号の説明

１０…ＣＰＵ、１１…ハードディスク、１２…ＲＡＭ、１３…音源、１４…ミキサ、１５…サウンドシステム、１６…スピーカ、１７…マイク、１８…Ａ／Ｄコンバータ、１９…ボーカルアダプタ、２０…ＭＰＥＧデコーダ、２１…合成回路、２２…モニタ、２３…操作部、
３０…シーケンサ、３１…曲シーケンサ、３２…歌詞シーケンサ、３２ａ…文字パターン作成プログラム、３３…背景映像再生プログラム、３４…採点モード処理プログラム、３５…操作入力処理プログラム、
４０…曲データ記憶エリア、４１…背景映像記憶エリア、４３…採点ログ、
１０１…リファレンス周波数検出部、１０２…歌唱周波数検出部、１０５、１０６…ローパスフィルタ処理部、１０７…採点部

Claims (10)

1. カラオケ曲を演奏するとともに、歌唱旋律のリファレンスデータをカラオケ曲の演奏と同期して供給する演奏手段と、
   歌唱音声を入力する歌唱音声入力手段と、
   供給されたリファレンスデータをローパスフィルタ処理するフィルタ手段と、
   前記歌唱音声を前記フィルタ処理されたリファレンスデータと比較することにより前記歌唱音声を採点する採点手段と、
   を備えたカラオケ装置。
2. カラオケ曲を演奏するとともに、歌唱旋律のリファレンスデータをカラオケ曲の演奏と同期して供給する演奏手段と、
   歌唱音声を入力する歌唱音声入力手段と、
   入力された歌唱音声をローパスフィルタ処理するフィルタ手段と、
   前記フィルタ処理された歌唱音声を前記リファレンスデータと比較することにより前記歌唱音声を採点する採点手段と、
   を備えたカラオケ装置。
3. 前記演奏手段は、歌唱旋律の各音符の区切り情報を出力し、
   前記採点手段は、各音符の先頭から所定時間については前記比較による採点の対象としない請求項１または請求項２に記載のカラオケ装置。
4. 前記演奏手段は、歌唱旋律の各音符の区切り情報を出力し、
   前記採点手段は、１個の音符の期間内に前記歌唱音声とリファレンスデータとの差が許容範囲内になったサンプルが所定回数以上であったとき、この音符について合格と判定する請求項１、請求項２または請求項３に記載のカラオケ装置。
5. 前記演奏手段は、歌唱旋律の各音符の区切り情報を出力し、
   前記採点手段は、１個の音符の期間内における前記歌唱音声とリファレンスデータとの差の平均値であるＤＣ値、および、このＤＣ値と前記歌唱音声との差の積分値であるＡＣ値に基づき、この音符について合格、不合格を判定する請求項１、請求項２または請求項３に記載のカラオケ装置。
6. カラオケ曲を演奏するとともに、歌唱旋律の各音符の音高および区切り情報を含むリファレンスデータをカラオケ曲の演奏と同期して供給する演奏手段と、
   歌唱音声を入力する歌唱音声入力手段と、
   前記歌唱音声を各音符毎にリファレンスデータと比較することにより前記歌唱音声を採点する採点手段と、
   を備えたカラオケ装置。
7. 前記採点手段は、各音符の先頭から所定時間については前記比較による採点の対象としない請求項６に記載のカラオケ装置。
8. 前記採点手段は、１個の音符の期間内に前記歌唱音声とリファレンスデータとの差が許容範囲内になったサンプルが所定回数以上であったとき、この音符について合格と判定する請求項６または請求項７に記載のカラオケ装置。
9. 前記採点手段は、１個の音符の期間内における前記歌唱音声とリファレンスデータとの差の平均値であるＤＣ値、および、このＤＣ値と前記歌唱音声との差の積分値であるＡＣ値に基づき、この音符について合格、不合格を判定する請求項６または請求項７に記載のカラオケ装置。
10. 前記採点手段は、合格と判定した音符の数、および、合格と判定した音符の音高の最高音、最低音、音域の全てまたは一部を用いて最終得点を決定する請求項４、請求項５、請求項８または請求項９に記載のカラオケ装置。

Images