JP3567123B2 - 歌詞文字を利用した歌唱採点装置 - Google Patents

Description

【０００１】
【発明が属する技術分野】
この発明はカラオケ装置における歌唱採点方式に関し、より具体的には歌唱者の発声タイミングに柔軟に対応して歌唱力を適正に評価できる歌唱採点方法に関する。
【０００２】
【従来の技術】
カラオケ装置の付帯機能として、歌唱採点機能がよく知られている。代表的な歌唱採点方法では、マイクロホンから入力された歌唱者の音声信号をサンプリングすることで歌唱者が発声した音高を抽出する。カラオケデータ中のカラオケ伴奏音楽の主旋律パートを採点の基準とし、主旋律パートの楽譜データから取得した各音符を発すべき正解タイミングにおける正解音高データと、正解タイミングに歌唱者の発声した音高とを逐一比較する。そして、適宜な採点区間毎にその比較結果に応じた得点を付与していく。歌唱すべき主旋律パートが終了すると、この得点を集計して歌唱採点を算出する。
【０００３】
【発明が解決しようとする課題】
カラオケ初心者がうまく歌うために楽譜どおりに歌うことを目標とするが、いつまでも楽譜に忠実なだけでは、型にはまった音楽表現しか望めない。歌唱力のある人ほど、わざと発声タイミングを１テンポ遅らせたりしてアドリブを利かせることがある。またカラオケ装置で歌唱採点の基準としている模範歌唱も、過去の一時点での歌唱に過ぎず、たとえ同じ歌手が歌っても、時代とともに発声タイミングを変えることは少なくない。
【０００４】
ところが従来の歌唱採点方法では、歌唱者の発声音高が、そのタイミングに対応するカラオケデータの正解音高データと一致するかを逐一比較する。このため、あるフレーズの歌い出しタイミングが少しでもずれると、発声音高の推移が正解音高の推移と違わない場合にも、正解タイミングでの発声音高が正解音高と異なるため大幅に減点される。しかし現実には、音高の推移が正確であれば、発声タイミングに多少のずれがあっても音楽的に劣ることはなく、むしろ優れた歌唱表現と感じとれる場合もある。それでも低得点しか獲得できないのでは、適正な採点がされたとは言い難い。
【０００５】
そこで本発明は、歌唱者の発声タイミングに柔軟に対応して発声音高の推移を評価することにより、音楽的観点から歌唱力を適正に評価できる歌唱採点方法を提供することを目的としている。
【０００６】
【課題を解決するための手段】
この発明に係る歌詞文字を利用した歌唱採点装置は、つぎの事項（１）〜（10）により特定されるものである。
（１）伴奏音楽演奏手段と、音声認識手段と、周波数分析手段と、採点制御手段を備えた歌唱採点装置であること
（２）伴奏音楽演奏手段は、カラオケデータに基づいて伴奏音楽を演奏すること
（３）カラオケデータは、主旋律パートの音符データに対応した歌詞文字を含むこと
（４）音声認識手段は、マイクロホンからの音声信号の音韻を認識して文字化した認識文字を出力すること
（５）周波数分析手段は、マイクロホンからの音声信号の周波数を分析して音高データを出力すること
（６）採点制御手段は、対応付け処理と、同定処理と、得点計算処理と、得点総合処理とを行うこと
（７）対応付け処理は、音声認識手段の出力する認識文字に周波数分析手段の出力する音高データを対応付けて記憶すること
（８）同定処理は、認識文字と歌詞文字との対応関係を特定することによって、認識文字と主旋律パートの音符データの対応関係を特定すること
（９）得点計算処理は、認識文字とその対応関係の特定された音符データにおいて、当該認識文字に対応する音高データと当該音符データの音高を比較し、両者の近似度を表す音高適合得点を計算すること
（10）得点総合処理は、認識文字ごとの音高適合得点に基づいて総合得点を計算して出力すること
【０００７】
この発明は、上記の事項を基本とし、つぎの事項（11）〜（13）を加えて実施することができる。
（11）対応付け処理は、音声認識手段の出力する認識文字にその持続時間を対応付けて記憶すること
（12）得点計算処理は、認識文字とその対応関係の特定された音符データにおいて、当該認識文字に対応する持続時間と当該音符データの符長を比較し、両者の近似度を表す符長適合得点を計算すること
（13）得点総合処理は、認識文字ごとの音高適合得点および符長適合得点に基づいて総合得点を計算して出力すること
【０００９】
【発明の実施の形態】
＝＝＝カラオケ装置の基本機能＝＝＝
図１はこの発明の実施例における歌唱採点方式を採用したカラオケ装置の構成例を示している。内部にＣＰＵ・ＲＡＭ・ＲＯＭを含む中央制御部１が制御バスを介して各周辺構成部を制御・統括している。
【００１０】
ハードディスク装置２はカラオケ楽曲の伴奏音楽と歌唱採点に使用する歌詞文字データを含むカラオケデータを多数曲分蓄積している。中央制御部１は操作制御部３を介してリクエストを受け取ると、リクエスト入力順に該当のカラオケデータを処理していく。すなわち、リクエスト楽曲に対応するカラオケデータをハードディスク装置２から取り出し、含まれるカラオケ伴奏音楽パートの楽譜データをＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）信号処理部４を介してシンセサイザ５に転送することによりカラオケ伴奏音楽を生成させる。生成されたカラオケ伴奏音楽と、マイクロホン６より採取した歌唱音声とをミキシングアンプ７にて混合しスピーカ８に出力させる。ディスプレイ１２には、映像制御部１３を介して入力された背景映像とともに、歌唱すべき箇所の色変えをともなった歌詞画像が表示される。
【００１１】
またカラオケ装置は、カラオケ楽曲に合わせて歌われマイクロホン６より採取された歌唱音声を、音声認識処理部９・周波数分析処理部１０で処理し一時的に記憶する。これを採点部１１に転送しカラオケデータのもつ正解データと比較・採点する。
【００１２】
＝＝＝カラオケデータの構造＝＝＝
この発明にかかるカラオケ装置で使用するカラオケデータはＭＩＤＩ規格に従う。すなわち、音高を表す最小単位は半音（＝１００セント）、符長を表す最小単位は３２分音符の量子化されたデータである。このカラオケデータには、シンセサイザ５で発生するカラオケ伴奏音楽を生成するためのカラオケ伴奏音楽パートの楽譜データとともに、歌唱すべき主旋律パートの楽譜データと、主旋律パートの各音符データに対応して発音すべき歌詞文字データとを含む。図２はこの発明にかかるカラオケ装置で使用するカラオケデータにおける歌詞文字データ付きの主旋律パートの一例を示している。
【００１３】
＝＝＝音声認識手段＝＝＝
マイクロホン６から採取された歌唱音声信号はカラオケ装置の音声認識処理部９および周波数分析処理部１０に入力される。まず、音声認識処理部９ではある発音（第一の発音とする）を認識すると、これを文字化しメモリに書き込む。同時に、周波数分析処理部１０では当該発音の音高の測定を開始する。異なる発音（第二の発音とする）を認識すると、音高の測定を開始してからその時点までの第一の発音区間における音高の平均値を計算し、メモリに書き込んだ認識文字に対応づけて第一の発音区間の音高平均値を書き込む。並行して、第二の発音を認識した時点でこれを文字化しメモリに書き込む。また第一の発音の場合と同様の方法で第二の発音区間の音高平均値を算出しメモリに書き込む。こうして異なる発音を認識する毎に文字化・音高平均値算出の処理を繰り返し、認識文字列に対する平均音高データ（１セント単位とする）のテーブルをメモリ内に作成する。
【００１４】
音高の測定開始と同時に、音声認識処理部９では発音持続時間検出用のタイマを開始させ第一の発音が持続する時間の測定を開始する。この場合、第二の発音を認識するとタイマを停止させ、メモリに書き込んだ認識文字と音高平均値とに対応づけてタイマ値を書き込む。こうして前記テーブルを拡張する。
【００１５】
さらに周波数分析処理部１０では、発音が途絶えていないかどうかを監視する。一定の間隔で、例えばカラオケデータの符長の最小単位である３２分音符相当の時間毎に発音されているか否かを確認し、発音が途絶えたことを認識するとメモリ内の無音フラグにビットを立てる。次の発音を認識するまで、この例では３２分音符相当の時間毎に無音フラグにビットを立て続けることになる。
【００１６】
＝＝＝歌唱された歌詞文字の同定＝＝＝
歌唱を採点するためにまずカラオケデータに含まれる歌唱すべき歌詞文字とメモリ内の認識文字列とを対応づける必要がある。前述の方法で認識文字がメモリに書き込まれると、採点部１１では楽譜データに対応づけられた歌詞文字とメモリ内の認識文字とを比較し、認識文字が楽譜データのどの歌詞文字に該当するかを同定する。同定したら当該歌詞文字が発音されるべき正解音高データをカラオケデータより取り出し、該当する認識文字に対応づけてメモリに書き加える。
【００１７】
また歌唱文字の発音持続時間を測定すると、当該歌詞文字に対応づけられている音符の長さもカラオケデータより取り出し、該当する認識文字に対応づけてメモリに書き加える。
【００１８】
＝＝＝音高適合得点および符長適合得点＝＝＝
採点部１１ではメモリに書き込まれたテーブルを参照し、各認識文字に対する音高平均値（１セント単位）と正解音高データ（１００セント単位）とを比較し、その一致度（誤差）を算出する。例えば１セント異なっている場合はマイナス１点とするなどのルールを予め決めておき、採点区間のすべての認識文字列についての一致度を総合して音高適合得点とする。
【００１９】
また各認識文字に対する発音持続時間と音符の長さとを比較し、その一致度を算出する。例えば３２分音符に相当する時間を評価単位とし、１単位時間分の誤差をマイナス１点とするなどのルールを予め決めておき、採点区間のすべての認識文字列についての一致度を総合して符長適合得点とする。
【００２０】
＝＝＝主旋律パートの休符に基づく処理＝＝＝
カラオケデータの主旋律パートの楽譜データ上で一定の長さ以上、例えば一拍以上の休符タイミングになると、採点部１１では無音フラグにビットが立っているかを確認する。当該休符が続く間、無音フラグの間隔と等しい時間毎に（この例では３２分音符相当の時間毎に）無音フラグの確認を続け、休符タイミングの一致度を算出する。例えば一拍の休符の間に、すべて立っているはずの無音フラグのビットが１つ立っていない場合にマイナス１点とするなどのルールを予め決めておき、採点対象となるすべての休符についての一致度を総合して休符適合得点とする。
【００２１】
＝＝＝総合的な歌唱採点＝＝＝
前述の音高適合得点と符長適合得点と休符適合得点を統合した総合得点を歌唱に対する採点とする。音高・符長・タイミングのどこに重点をおいて採点するかによって、その統合の仕方は異なる。例えば音高＞符長＞タイミングの順に重点をおく場合、一例として
総合得点＝３×音高適合得点＋２×符長適合得点＋休符適合得点
という算出式を適用することが考えられる。ここで算出した総合得点を適宜な形式で表現して、例えばディスプレイ１２に表示する。
【００２２】
【発明の効果】
この発明にかかるカラオケ装置によれば、歌唱の音高を歌唱タイミングとは切り離して評価することにより、歌唱者独自の歌唱タイミングにも対応した適正な歌唱採点結果を得ることが可能となる。その上で、各発音文字ごとの発音持続時間についての評価を加味したり、また休符に対応する歌唱の無音区間についての評価を加味することで、実際に歌を聴いている人が感じる「歌のうまさ」と符合する音楽的評価値を算出することができる。
【図面の簡単な説明】
【図１】この発明の一実施例に係るカラオケ装置の構成例である。
【図２】この発明の一実施例に係るカラオケ装置で使用するカラオケデータのうちの歌詞文字付き主旋律パートの例である。
【符号の説明】
１ 中央制御部
２ ハードディスク装置
３ 操作制御部
４ ＭＩＤＩ信号処理部
５ シンセサイザ
６ マイクロホン
７ ミキシングアンプ
８ スピーカ
９ 音声認識処理部
１０ 周波数分析処理部
１１ 採点部
１２ ディスプレイ
１３ 映像制御部

Claims (2)

1. 伴奏音楽演奏手段と、音声認識手段と、周波数分析手段と、採点制御手段を備えた歌唱採点装置であって、
   伴奏音楽演奏手段は、カラオケデータに基づいて伴奏音楽を演奏し、
   カラオケデータは、主旋律パートの音符データに対応した歌詞文字を含み、
   音声認識手段は、マイクロホンからの音声信号の音韻を認識して文字化した認識文字を出力し、
   周波数分析手段は、マイクロホンからの音声信号の周波数を分析して音高データを出力し、
   採点制御手段は、対応付け処理と、同定処理と、得点計算処理と、得点総合処理とを行い、
   対応付け処理は、音声認識手段の出力する認識文字に周波数分析手段の出力する音高データを対応付けて記憶し、
   同定処理は、認識文字と歌詞文字との対応関係を特定することによって、認識文字と主旋律パートの音符データの対応関係を特定し、
   得点計算処理は、認識文字とその対応関係の特定された音符データにおいて、当該認識文字に対応する音高データと当該音符データの音高を比較し、両者の近似度を表す音高適合得点を計算し、
   得点総合処理は、認識文字ごとの音高適合得点に基づいて総合得点を計算して出力する
   歌唱採点装置。
2. 対応付け処理は、音声認識手段の出力する認識文字にその持続時間を対応付けて記憶し、
   得点計算処理は、認識文字とその対応関係の特定された音符データにおいて、当該認識文字に対応する持続時間と当該音符データの符長を比較し、両者の近似度を表す符長適合得点を計算し、
   得点総合処理は、認識文字ごとの音高適合得点および符長適合得点に基づいて総合得点を計算して出力する
   請求項１に記載の歌唱採点装置。

Images