JP2011069900A - 撥弦楽器演奏評価装置 - Google Patents

Abstract

【課題】簡単な構成で正確な演奏評価を実現する撥弦楽器演奏評価装置を提供する。
【解決手段】入力された音声を電気信号に変換するマイクロフォン４０と、そのマイクロフォン４０により電気信号に変換された前記撥弦楽器の演奏音と、予め定められた評価基準を比較することにより、前記複数本の弦を１ストローク掻き鳴らす単位弾奏毎に所定の時間間隔で複数回の離散評価を行う離散評価手段８４と、その離散評価手段８４による複数回の離散評価に基づいて、その離散評価に対応する単位弾奏を評価する演奏評価手段８６とを、備えたものであることから、一般的なマイクロフォン４０で楽器の演奏音を集音するといった簡単な構成により、１ストローク分の演奏動作に対応して複数点の離散評価を行うことで、その１ストロークの演奏において複数の演奏音が混じり合って奏でられる撥弦楽器の演奏を好適に評価することができる。
【選択図】図３

Description

本発明は、ギターをはじめとする撥弦楽器の演奏を評価する撥弦楽器演奏評価装置に関し、特に、簡単な構成で正確な演奏評価を実現するための改良に関する。

一般に、楽器の演奏を修得するためには多大な年月と努力が必要であり、更にその修得にあたり音楽学校等の機関を利用する場合、相応の費用がかかるものであった。一方、インターネットの普及等による昨今の流通の進歩及び情報化により、演奏を修得したい楽器の教本やビデオ教材等を入手することが容易となったが、教本等を参照しながら楽器の演奏を独習する場合、自分の演奏を客観的に評価することが困難である。そこで、電子制御装置により楽器の演奏を評価する技術が提案されている。例えば、特許文献１に記載された音楽教習システムがそれである。

特開平１０−１８７０２２号公報

しかし、前述したような従来の技術は、電子制御装置に接続可能な電子楽器の演奏評価に限られることに加え、その電子楽器を接続するためのインターフェイスを有する専用の装置が必要であり、構成が複雑なものになるという弊害があった。また、楽器等の演奏を評価する従来の手法としては、マイクロフォンから入力される演奏音と予め定められた評価基準とを比較することによりその演奏音を評価する技術があるが、特に撥弦楽器のように１回の演奏動作に対応して複数の演奏音が混じり合って奏でられる楽器に関しては、従来の方法ではその演奏評価を実現することが困難であった。このため、簡単な構成で正確な演奏評価を実現する撥弦楽器演奏評価装置の開発が求められていた。

本発明は、以上の事情を背景として為されたものであり、その目的とするところは、簡単な構成で正確な演奏評価を実現する撥弦楽器演奏評価装置を提供することにある。

斯かる目的を達成するために、本発明の要旨とするところは、複数本の弦を連続的に掻き鳴らすことにより演奏音を奏でる撥弦楽器の演奏を評価する撥弦楽器演奏評価装置であって、入力された音声を電気信号に変換するマイクロフォンと、そのマイクロフォンにより電気信号に変換された前記撥弦楽器の演奏音と、予め定められた評価基準とを比較することにより、前記複数本の弦を１ストローク掻き鳴らす単位弾奏毎に所定の時間間隔で複数回の離散評価を行う離散評価手段と、その離散評価手段による複数回の離散評価に基づいて、その離散評価に対応する単位弾奏を評価する演奏評価手段とを、備えたことを特徴とするものである。

このようにすれば、入力された音声を電気信号に変換するマイクロフォンと、そのマイクロフォンにより電気信号に変換された前記撥弦楽器の演奏音と、予め定められた評価基準とを比較することにより、前記複数本の弦を１ストローク掻き鳴らす単位弾奏毎に所定の時間間隔で複数回の離散評価を行う離散評価手段と、その離散評価手段による複数回の離散評価に基づいて、その離散評価に対応する単位弾奏を評価する演奏評価手段とを、備えたものであることから、一般的なマイクロフォンで楽器の演奏音を集音するといった簡単な構成により、１ストローク分の演奏動作に対応して複数点の離散評価を行うことで、その１ストロークの演奏において複数の演奏音が混じり合って奏でられる撥弦楽器の演奏を好適に評価することができる。すなわち、簡単な構成で正確な演奏評価を実現する撥弦楽器演奏評価装置を提供することができる。

ここで、好適には、予め定められた関係から、前記複数本の弦を１ストローク掻き鳴らす単位弾奏に対応する演奏音に基づいて、その単位弾奏に相当する時間を判定する単位時間判定手段を備え、前記離散評価手段は、その単位時間判定手段により判定される前記単位弾奏に相当する時間に基づいて、その単位弾奏に対応する離散評価に係る時間間隔及び／又は評価回数を決定するものである。このようにすれば、１ストローク分の演奏動作に対応するストローク時間を考慮して複数点の離散評価を行うことで、その１ストローク分の演奏を更に正確に評価することができる。

また、好適には、予め定められた関係から、前記複数本の弦を１ストローク掻き鳴らす単位弾奏に対応する演奏音に基づいて、その単位弾奏に係る前記複数本の弦の弾奏方向を判定する弾奏方向判定手段を備え、前記離散評価手段及び演奏評価手段は、その弾奏方向判定手段により判定される前記複数本の弦の弾奏方向に基づいて前記離散評価及び演奏評価を行うものである。このようにすれば、１ストローク分の演奏動作に対応するストローク方向を考慮して離散評価及び演奏評価を行うことで、対象となる撥弦楽器の演奏を更に正確に評価することができる。

また、好適には、予め定められた関係から、前記複数本の弦を１ストローク掻き鳴らす単位弾奏に対応する演奏音に基づいて、その演奏音が安定した時点を検出する安定時点検出手段を備え、前記演奏評価手段は、前記離散評価手段による複数回の離散評価のうち前記安定時点検出手段により検出された前記演奏音が安定した時点付近における離散評価を前記単位弾奏に係る評価として採用するものである。このようにすれば、１ストローク分の演奏動作に対応する演奏音がある程度安定した時点における離散評価を採用することで、対象となる撥弦楽器の演奏を更に正確に評価することができる。

また、好適には、前記撥弦楽器として６本の弦を備えたギターの演奏を評価するものである。このようにすれば、人気の高い撥弦楽器であるギターの演奏を簡単な構成で正確に評価する撥弦楽器演奏評価装置を提供することができる。

また、好適には、前記撥弦楽器として４本の弦を備えたベースギターの演奏を評価するものである。このようにすれば、人気の高い撥弦楽器であるベースギターの演奏を簡単な構成で正確に評価する撥弦楽器演奏評価装置を提供することができる。

また、好適には、前記撥弦楽器演奏評価装置は、多数の演奏曲のうちから選択される所定の演奏曲を出力させると共に、その演奏曲の出力と併行してその演奏曲の歌詞文字映像を含む演奏映像を表示させるカラオケ装置に備えられたものである。このようにすれば、一般に防音設備が調ったカラオケボックス等に設置されたカラオケ装置を用いて、撥弦楽器の演奏を簡便且つ実用的な態様で練習することができる。

本発明の撥弦楽器演奏評価装置が好適に適用されるカラオケ装置を備えたカラオケシステムを説明する概略図である。 図１のカラオケシステムに備えられたカラオケ装置の構成を例示するブロック線図である。 本発明の一実施例である撥弦楽器演奏評価装置としての図２のカラオケ装置のＣＰＵに備えられた制御機能の要部を説明する機能ブロック線図である。 図３の撥弦楽器演奏評価装置によるストロークタイミングの判定について説明する図である。 図３の撥弦楽器演奏評価装置によるストローク時間の判定について説明する図であり、窓長０．１５秒である場合に３つの時点で音が発生した状態を示している。 図３の撥弦楽器演奏評価装置による演奏音が安定した時点の判定について説明する図であり、演奏音に対応するスペクトルが消える様子を示す図である。 図３の撥弦楽器演奏評価装置による評価結果に対応して映像表示装置に表示される演奏評価結果解説映像を例示する図である。 図３の撥弦楽器演奏評価装置による評価結果に対応して映像表示装置に表示される演奏曲推薦映像を例示する図である。 本発明の一実施例である撥弦楽器演奏評価装置としての図２のカラオケ装置のＣＰＵによるギター演奏評価制御の要部を説明するフローチャートである。

以下、本発明の好適な実施例を図面に基づいて詳細に説明する。

図１は、本発明の撥弦楽器演奏評価装置が好適に適用されるカラオケ装置１６を備えたカラオケシステム１０を説明する概略図である。この図１に示すように、上記カラオケシステム１０では、カラオケボックス、スナック、旅館等の店舗１２における複数の個室１４ａ、１４ｂ、１４ｃ、・・・（以下、特に区別しない場合には単に個室１４と称する）にそれぞれ１台乃至は複数台ずつ（図１では１台ずつ）のカラオケ装置１６ａ、１６ｂ、１６ｃ、・・・（以下、特に区別しない場合には単にカラオケ装置１６と称する）が設置されている。これら複数のカラオケ装置１６は、ルータ２８を介して公衆電話回線等による通信回線１８に接続されており、同じくその通信回線１８に接続されたカラオケサービス提供会社のサーバ装置（センタ装置）２０との相互間でその通信回線１８を介して情報の通信が可能とされている。このサーバ装置２０は、カラオケ情報（楽曲データ）、背景映像情報、曲間情報等のデジタルコンテンツ（Digital Contents）の保管や入出力管理の基本的な制御を行うサーバであり、上記通信回線１８を介して上記カラオケ装置１６に定期的にコンテンツの配信を行うと共に、そのカラオケ装置１６からの要求に応じて所定の機能制御プログラムを送信するものである。また、上記カラオケシステム１０は、複数の電子早見本装置２２ａ、２２ｂ、２２ｃ、・・・（以下、特に区別しない場合には単に電子早見本装置２２と称する）を備えており、上記カラオケ装置１６の利用に際して、各利用者（グループ）毎に１台乃至数台ずつの電子早見本装置２２が貸与され、各個室１４において後述するように上記カラオケ装置１６の遠隔操作装置として用いられるようになっている。上記店舗１２内には上記複数のカラオケ装置１６を相互に接続するＬＡＮ２４が敷設されており、上記電子早見本装置２２からのカラオケ装置１６への入力は、所定のアクセスポイント２６及びＬＡＮ２４を介したＬＡＮ通信等により行われる。

図２は、上記カラオケ装置１６の構成を例示するブロック線図である。この図２に示すように、上記カラオケ装置１６は、ＣＲＴ（Cathode-ray Tube）やＴＦＴ（Thin Film Transistor Liquid Crystal）等の映像表示装置３０と、ＣＲＴコントローラ等の映像出力制御部３２と、映像情報デコーダ３４と、ビデオミキサ３６と、音源であるシンセサイザ３８と、音声入力装置であるマイクロフォン４０と、そのマイクロフォン４０から入力される音声をディジタル信号に変換するためのＡ／Ｄコンバータ４１と、アンプミキサ４２と、スピーカ４４と、操作パネル４６と、その操作パネル４６等からの入力信号を処理する入出力インターフェイス４８と、中央演算処理装置であるＣＰＵ５０と、読出専用メモリであるＲＯＭ５２と、随時書込読出メモリであるＲＡＭ５４と、記憶装置であるハードディスク５６と、モデム５８と、ＬＡＮポート６０と、上記電子早見本装置２２やリモコン装置６４等の入力装置からのリモコン信号を受信するためのリモコン受信部６２とを、備えて構成されている。また、上記カラオケ装置１６は、図３を用いて後述する各種制御機能を前記ＣＰＵ５０に機能的に備えることにより、例えばギター６６等の撥弦楽器の演奏を評価する本発明の撥弦楽器演奏評価装置の一実施例として機能する。

前記映像出力制御部３２は、前記ＣＰＵ５０において生成された歌詞文字映像等の文字映像（テロップ）を出力する文字映像出力装置として機能する他、前記映像表示装置３０による種々の映像表示を制御する表示制御装置である。また、前記映像情報デコーダ３４は、利用者が歌詞を参照しながら歌を歌う際に前記ハードディスク５６に記憶された背景映像情報に基づいて所定の背景映像を再生（デコード）する背景映像再生装置である。この背景映像情報は、例えば、ＭＰＥＧ（Moving Picture Experts Group）形式のデータであり、そのＭＰＥＧデータに基づいて前記映像情報デコーダ３４により再生された背景映像は、前記ビデオミキサへ送られる。また、前記ビデオミキサ３６は、前記ＣＰＵ５０において生成され且つ前記映像出力制御部３２から出力される文字映像と、前記映像情報デコーダ３４により再生される背景映像とを合成して前記映像表示装置３０に表示させる映像合成装置である。

前記シンセサイザ３８は、前記ハードディスク５６から読み出されて送られて来るカラオケ演奏曲の演奏情報に基づいて楽器の演奏信号等の音楽信号を生成する音源である。この演奏情報は、例えば、ＭＩＤＩ（Musical Instrument Digital Interface）形式のデータであり、そのＭＩＤＩデータに基づいて前記シンセサイザ３８により生成された音楽信号は、アナログ信号に変換されて前記アンプミキサ４２へ送られる。また、前記マイクロフォン４０は、入力された音声を電気信号に変換する電気音響変換器であり、前記アンプミキサ４２では、送られてきた音楽信号と前記マイクロフォン４０を介して入力される利用者の歌声とがミキシングされ、それらの信号が電気的に増幅されて前記スピーカ４４から出力される。また、前記マイクロフォン４０を介して入力されると共に電気信号に変換された音声（音声情報）は、前記Ａ／Ｄコンバータ４１を介してディジタル信号に変換され、後述する演奏評価制御等のために前記ＣＰＵ５０やＲＡＭ５４等へ供給されるようになっている。なお、前記ギター６６の演奏評価制御に際して、前記マイクロフォン４０から入力されると共に前記Ａ／Ｄコンバータ４１を介してディジタル信号に変換されたそのギター６６の演奏音は前記ＲＡＭ５４等に記憶され、後述する演奏評価制御に係る各種制御のために適宜読み出されて用いられる。

前記操作パネル４６は、前記カラオケ装置１６の利用者が歌いたいカラオケ演奏曲を選択したり、演奏曲の音程を調整したり、演奏と歌との音量バランスを調整したり、その他、エコー、音量、トーン等の各種調整を行うための操作ボタン（スイッチ）或いはつまみを備えた入力装置である。また、前記カラオケ装置１６には、前記操作パネル４６の一部機能を遠隔で実行するための入力装置として機能するリモコン装置６４が備えられており、前記リモコン受信部６２は、そのリモコン装置６４から送信されるリモコン信号を受信して前記ＣＰＵ５０へ供給する。また、前記カラオケ装置１６と電子早見本装置２２との対応付け（くくりつけ）処理も前記リモコン受信部６２を介して行われ、そのようにして前記カラオケ装置１６に対応付けられた電子早見本装置２２も同様に入力装置として機能する。

前記ＣＰＵ５０は、前記ＲＡＭ５４の一時記憶機能を利用しつつ前記ＲＯＭ５２に予め記憶された所定のプログラムに基づいて電子情報を処理・制御する所謂マイクロコンピュータであり、前記電子早見本装置２２やリモコン装置６４等により所定のカラオケ演奏曲が選曲された場合、その選曲されたカラオケ演奏曲を前記ＲＡＭ５４に設けられた予約曲テーブルに登録したり、その予約曲テーブルの演奏順に従って前記ハードディスク５６から前記ＲＡＭ５４に選曲されたカラオケ演奏曲の演奏情報及び歌詞情報等を読み出したり、カラオケ演奏曲の演奏が進行するのに応じてそのＲＡＭ５４から前記シンセサイザ３８へ演奏情報を送信したり、歌詞情報に基づいて歌詞文字映像を生成して前記映像出力制御部３２へ送ったり、選曲時には曲名文字映像を生成して前記映像出力制御部３２へ送ったり、前記映像情報デコーダ３４を制御して所定の背景映像を再生させたり、カラオケ演奏が行われていない間すなわち曲間において、新譜情報、選曲ランキング、店舗広告等の曲間情報を出力させたり、前記通信回線１８を介した前記サーバ装置２０との間の情報通信制御等の基本的な制御に加えて、後述する演奏評価制御乃至その制御に関する各種制御を実行する。

前記モデム５８は、前記カラオケ装置１６を公衆電話回線等による通信回線１８に接続するための装置であり、前記ＣＰＵ５０から出力されるディジタル信号をアナログ信号に変換して前記通信回線１８に送り出すと共に、その通信回線１８を介して伝送されるアナログ信号をディジタル信号に変換して前記ＣＰＵ５０に供給する処理を行う。なお、前記店舗１２に備えられた複数のカラオケ装置１６のうち何れかのカラオケ装置１６が前記ルータ２８の機能を備えてマスターコマンダとして前記通信回線１８に接続される態様も考えられ、その場合、前記モデム５８はそのマスターコマンダとして機能するカラオケ装置１６には必要とされるが、そのマスターコマンダを介して前記サーバ装置２０との間で情報の通信を行う他のカラオケ装置１６には必ずしも設けられなくともよい。

前記ＬＡＮポート６０は、前記カラオケ装置１６をＬＡＮ２４を介して他のカラオケ装置１６や電子早見本装置２２等の他の機器に接続するための接続器であり、前記カラオケ装置１６は、そのようにＬＡＮ２４を介して接続されることで、他のカラオケ装置１６や電子早見本装置２２等の他の機器との間で情報の送受信が可能とされる。例えば、前記アクセスポイント２６を介して受信される前記電子早見本装置２２からの選曲入力を受け付けて前記ＲＡＭ５４に設けられた予約曲テーブルに記憶したり、そのアクセスポイント２６を介して前記カラオケ装置１６から電子早見本装置２２へ所定の情報を送信したりというように、電波を介して前記カラオケ装置１６と電子早見本装置２２との間における相互の情報のやりとりが実行される。

前記ハードディスク５６には、図３に示すように、カラオケ演奏曲を出力させるための多数のカラオケデータ（楽曲データ）を記憶するカラオケデータベース６８及び撥弦楽器のコードに関する各種情報を記憶するコードデータベース７０をはじめとする各種データベースが設けられている。カラオケボックス等の店舗にそれぞれ備えられた複数のカラオケ装置１６のうち所定のカラオケ装置１６例えば前記カラオケ装置１６ａは、前記モデム５８を介して前記通信回線１８に接続されており、前記複数のカラオケ装置１６によって常に新しい曲が演奏可能とされるように、随時新たな楽曲データやコードに関する情報等が前記サーバ装置２０から前記通信回線１８を介して配信され、前記ハードディスク５６のカラオケデータベース６８乃至コードデータベース７０等に記憶される。また、そのようにして前記サーバ装置２０から情報を取得したカラオケ装置１６ａとその他のカラオケ装置１６との間で前記ＬＡＮ２４を介した通信が行われることにより、各カラオケ装置１６のハードディスク５６に記憶される情報が共有され、上記カラオケデータベース６８乃至コードデータベース７０等の内容が等価なものとされる。

上記カラオケデータベース６８には、コンテンツＩＤである各演奏曲に固有の選曲番号により識別されるカラオケ情報が各演奏曲毎に記憶されている。このカラオケ情報は、曲名、歌手名、発表時期、及びジャンル等のヘッダ情報、演奏音を生成するための演奏情報、及び歌詞文字映像（歌詞テロップ）を生成するための歌詞情報を含んでいる。上記演奏情報は、例えば前記シンセサイザ３８により所定の演奏音を出力させるためのＭＩＤＩデータであり、出力に係る演奏音（楽器）の種類と、各演奏音に対応する楽譜情報とを、含んでいる。すなわち、撥弦楽器であるギター６６の演奏音を含む演奏曲（カラオケデータ）に関しては、そのギター６６の演奏音に対応するギターコードとその出力タイミング（演奏曲の演奏進行に伴いどのタイミングで各コードが出力されるべきか）が定められている。また、上記歌詞情報は、前記映像出力制御部３２等を介して演奏曲の歌詞文字映像を出力させるためのデータであり、前記歌詞文字映像に対応する歌詞のテキスト情報と、演奏出力に併行してその歌詞文字映像の表示を切り替えるための切替タイミング情報と、演奏出力に併行してその歌詞文字映像を順次色替えするための色替タイミング情報とを、含んでいる。

前記コードデータベース７０には、例えば前記ギター６６のコード（ギターコード）に関する各種情報が記憶されている。このコードとは、例えば前記ギター６６を演奏する際にそのギター６６に備えられた６本の弦それぞれが弾かれて奏でられた音が重なった演奏音（和音）であり、それら６本の弦の押さえ方（弦を掻き鳴らす方とは逆側の手の指での弦の押さえ方）によって定まる。すなわち、前記ギター６６において、演奏者は一方の手の指で６本の弦（必ずしも６本全部を押さえるものではない）を押さえつつ、もう一方の手でそれら６本の弦を所定の方向に連続的に（一挙に）掻き鳴らすことで、１ストローク分の演奏音として所定のコードに相当する和音が奏でられる。換言すれば、前記ギター６６において同様の演奏の仕方をすれば同じ演奏音（コード）が奏でられる。前記コードデータベース７０には、好適には、前記ギター６６において各コード（ギターコード）に相当する演奏を行った際に奏でられる演奏音に対応する音声情報について、以下に詳述するように一般的な高速フーリエ変換乃至クロマベクトル（Chroma Vector）の算出等を行うことにより得られる（予め実験的に得られた）周波数解析結果が、各コード毎に記憶されている。

図３は、本実施例の撥弦楽器演奏評価装置としての前記カラオケ装置１６のＣＰＵ５０に備えられた制御機能の要部を説明する機能ブロック線図である。この図３に示す演奏音解析手段７２は、前記マイクロフォン４０により電気信号に変換されると共に前記Ａ／Ｄコンバータ４１によりディジタル信号に変換された前記ギター６６の演奏音（音声情報）を解析する。例えば、（ａ）そのＡ／Ｄコンバータ４１から供給される音声情報を高速フーリエ変換（ＦＦＴ：Fast Fourier Transformation）により周波数成分に展開し、（ｂ）その展開された周波数成分を次の（１）式に示すような所定の櫛形フィルタ（各音階の中心の周波数が通るようにしたフィルタ）にかけてある程度音階毎に分離し、（ｃ）各音階毎を数オクターブに渡り足すことで次の（２）式に示すような周波数解析結果としてのクロマベクトル（Chroma Vector）を求める。なお、上記櫛形フィルタに係るＰ_c,oは、音階がｃでオクターブがｏの時のパワーを示しており、各音それぞれについて斯かる櫛形フィルタがかけられる。このようなギター演奏音の周波数解析及びコード推定に係る技術は、「此木康至,江村伯夫,三浦雅展,"クロマ情報とコード進行データベースを用いたコード名推定システムの構築（Chord estimation system using chromatic profiles and chord progression databese）" 情報処理学会研究報告.[音楽情報科学] IPSJ SIG Notes 2008(89) pp.53-58 20080915 社団法人情報処理学会」に詳しい。

ストローク解析手段７４は、前記ギター６６に備えられた６本の弦を１ストローク掻き鳴らす単位弾奏に対応する演奏音を解析する。斯かる解析を行うために、タイミング判定手段７６、単位時間判定手段７８、及び弾奏方向判定手段８０を含んでいる。前記ギター６６のように、複数本の弦を連続的に掻き鳴らすことにより演奏を行う撥弦楽器では、１ストローク掻き鳴らす単位弾奏が行われた場合に、それら複数本の弦それぞれが弾かれるタイミングが厳密には異なることに加え、以前に弾かれた弦の音が残ることから、音声入力の有無によってはそのストロークタイミング、ストローク時間、及びストローク方向等を判定することが困難である。このため、上記ストローク解析手段７４は、上記タイミング判定手段７６、単位時間判定手段７８、及び弾奏方向判定手段８０により前記ギター６６に備えられた６本の弦を１ストローク掻き鳴らす単位弾奏に対応する演奏音に対応するストロークタイミング、ストローク時間、及びストローク方向を判定する。以下、各制御手段による制御について分説する。

タイミング判定手段７６は、予め定められた関係から、前記ギター６６に備えられた６本の弦を１ストローク掻き鳴らす単位弾奏に対応する演奏音に基づいて、その単位弾奏に相当する出力タイミング（ストロークタイミング）すなわち何時奏でられたかを判定する。図４は、上記タイミング判定手段７６によるストロークタイミングの判定について説明する図であり、縦軸は音圧を１６ビットの整数で表したものである。この図４に示すように、前記ギター６６に備えられた６本の弦を１ストローク掻き鳴らす単位弾奏の結果として得られる波形では、鳴り始めである時点ｔ１が瞬間的に強くなり、その後は速やかにある程度の強さに減衰する（例えば、図４に示すようにｅｘｐ（−ｃｔ）に近似する曲線を描く）。この関係を利用して、上記タイミング判定手段７６は、好適には、前記ギター６６に備えられた６本の弦を１ストローク掻き鳴らす単位弾奏に対応する演奏音に関して、入力音声に対応する波形が図４に示すように瞬間的に増大した時点ｔ１を、その単位弾奏の出力タイミング（ストロークタイミング）として判定する。

単位時間判定手段７８は、予め定められた関係から、前記ギター６６に備えられた６本の弦を１ストローク掻き鳴らす単位弾奏（必ずしも全ての弦を掻き鳴らすものではなく弾かない弦があってもよい）に対応する演奏音に基づいて、その単位弾奏に相当する時間（ストローク時間）を判定する。図５は、前記単位時間判定手段７８によるストローク時間の判定について説明する図であり、窓長０．１５秒である場合に３つの時点で音が発生した状態を示している。高速フーリエ変換により音声情報を周波数成分に展開した場合、不確定性原理の問題からその時間変化や音階等の情報を必ずしも正確に得ることができず、特に前記ギター６６に備えられた６本の弦それぞれに対応する音の出力タイミングを得るのは困難であるが、前記単位弾奏に対応して前述したクロマベクトルを求めること等により２つ以上の音階の発生が検出できれば、それら２つ以上の音階の発生時点の間隔からその単位弾奏に相当するストローク時間すなわち前記ギター６６に備えられた６本の弦を１ストローク掻き鳴らすのに要した時間を大まかに判定することができる。本実施例において、好適には、単位弾奏に含まれる２つ以上の音階の発生時点の間隔とその単位弾奏に係るストローク時間との対応関係が前記ハードディスク５６等に記憶されており、この関係を利用して、前記単位時間判定手段７８は、前記ギター６６に備えられた６本の弦を１ストローク掻き鳴らす単位弾奏に対応する演奏音に関して、その演奏音に含まれる２つ以上の音階の発生時点の間隔（時間間隔）に基づいて前記ストローク時間を判定する。すなわち、その音階の発生時点の間隔が小さければ比較的速いストローク、間隔が大きければ比較的遅いストロークであるというように、斯かる２つ以上の音階の発生時点の間隔に比例する値としての前記ストローク時間を算出する。

弾奏方向判定手段８０は、予め定められた関係から、前記ギター６６に備えられた６本の弦を１ストローク掻き鳴らす単位弾奏に対応する演奏音に基づいて、その単位弾奏に係る前記６本の弦の弾奏方向を判定する。図５を用いて上述したように、前記単位弾奏に対応して２つ以上の音階の発生が検出できた場合、それらの音階及び各音階の発生順からその単位弾奏に対応する演奏がダウンストローク（演奏者が手を振り下ろす方向に弦を掻き鳴らす演奏）によるものであるか、或いはアップストローク（演奏者が手を振り上げる方向に弦を掻き鳴らす演奏）によるものであるかを判定することができる。本実施例において、好適には、単位弾奏に含まれる２つ以上の音階乃至その発生順とその単位弾奏に係るストローク方向との対応関係が前記ハードディスク５６等に記憶されており、この関係を利用して、前記弾奏方向判定手段８０は、前記ギター６６に備えられた６本の弦を１ストローク掻き鳴らす単位弾奏に対応する演奏音に関して、その演奏音に含まれる２つ以上の音階及びその発生順に基づいて、その単位弾奏に係る弾奏方向を判定する。

図３に戻って、安定時点検出手段８２は、予め定められた関係から、前記ギター６６に備えられた６本の弦を１ストローク掻き鳴らす単位弾奏に対応する演奏音に基づいて、その演奏音が安定した時点を検出する。図６は、上記安定時点検出手段８２による演奏音が安定した時点の判定について説明する図であり、演奏音に対応するスペクトルが消える様子を示す図である。この図６に示すように、演奏音がほぼ安定した状態においても音は静かに消えてゆくことがわかり、そのように音が安定した状態では比較的シャープなスペクトルが得られることが一般に知られている。本実施例において、好適には、単位弾奏に相当する演奏音に係るスペクトルが所定の安定状態に達したか否かを判定するための情報が記憶されており、この情報を利用して、上記安定時点検出手段８２は、前記ギター６６に備えられた６本の弦を１ストローク掻き鳴らす単位弾奏に対応する演奏音の周波数解析結果が、所定の先鋭な（各成分が明確に分離した）状態となった時点をその演奏音が安定した時点として検出する。

図３に戻って、離散評価手段８４は、前記マイクロフォン４０により電気信号に変換されると共に前記Ａ／Ｄコンバータ４１によりディジタル信号に変換された前記ギター６６の演奏音と、予め定められた評価基準とを比較することにより、前記ギター６６における６本の弦を１ストローク掻き鳴らす単位弾奏毎に所定の時間間隔で複数回の離散評価を行う。ここで、本実施例の離散評価手段８４は、前記コードデータベース７０に記憶された情報を上記評価基準として斯かる離散評価を行う。すなわち、前記ギター６６における６本の弦を１ストローク掻き鳴らす単位弾奏に対応する演奏音に関して、前記演奏音解析手段７２により所定の時間間隔（例えば０．１秒毎）で複数回（例えば１０回）の周波数解析を行い、それぞれの点における周波数解析結果と、前記コードデータベース７０に記憶された各コードと周波数解析結果との対応関係とを比較することにより、それぞれの点における周波数解析結果に対応するコードを判定する。換言すれば、前記タイミング判定手段７６により判定される前記ギター６６における６本の弦を１ストローク掻き鳴らす単位弾奏に対応する演奏音の出力タイミングを始点として、その演奏音が継続する時間を等分割した複数の時点でそれぞれ上記周波数解析及びその周波数解析結果に対応するコードの判定を行う。

前述のように、前記ギター６６等の撥弦楽器による演奏では、複数本の弦を連続的に掻き鳴らすことにより演奏音を奏でるものであることから、１ストロークに相当する単位弾奏に関して最初の弦を弾く時点から最後の弦を弾く時点までの間に必然的に所定の時間間隔が生じる。このため、最初の弦を弾いた瞬間には最後の弦に対応する音は出力されておらず、最後の弦を弾いた瞬間には最初の弦に対応する音の減衰が始まっているという現象が起こり、その単位弾奏に関して１点のみの判定を行うことによっては正確なコードが判定できないことが考えられる。そこで、本実施例の撥弦楽器演奏評価装置では、上記離散評価手段８４により前記ギター６６における６本の弦を１ストローク掻き鳴らす単位弾奏毎に所定の時間間隔で複数回の離散評価を行うことで、その単位弾奏に対応するコードの判定を可及的に正確なものとすることができる。

演奏評価手段８６は、前記離散評価手段８４による複数回の離散評価に基づいて、その離散評価に対応する単位弾奏を評価する。例えば、前記カラオケデータベース６８に記憶された所定のカラオケデータに係るカラオケ演奏の出力に際して、前記離散評価手段８４による複数回の離散評価の結果として得られるコードのうち最も判定回数の多かったコードをその離散評価に係る単位弾奏に対応するコードとして判定し、そのようにして判定された前記単位弾奏に対応するコード及び前記タイミング判定手段７６により判定されたその単位弾奏の出力タイミングと、出力に係るカラオケ演奏のカラオケデータ（ＭＩＤＩデータ）に定められたギターコード及びその出力タイミングとを比較することで、そのカラオケ演奏に伴う前記ギター６６の演奏に係る単位弾奏を評価する。すなわち、そのギター６６による単位弾奏が、出力に係るカラオケ演奏曲のＭＩＤＩデータに定められたギターコードと一致するか否か、及びその出力タイミングのずれ等に基づいて前記ギター６６の演奏の巧拙を評価する。

ここで、好適には、前記離散評価手段８４は、前記単位時間判定手段７８により判定される前記単位弾奏に相当する時間（ストローク時間）に基づいて、その単位弾奏に対応する離散評価に係る時間間隔及び／又は評価回数を決定する。例えば、前記単位時間判定手段７８により判定される前記単位弾奏に相当する時間が比較的長い場合には、その単位弾奏に対応する離散評価に係る時間間隔を長くする及び／又は評価回数を多くする一方、前記単位弾奏に相当する時間が比較的短い場合には、その単位弾奏に対応する離散評価に係る時間間隔を短くする及び／又は評価回数を少なくするというように、前記単位時間判定手段７８により判定される前記単位弾奏に相当する時間に応じて前記離散評価に係る時間間隔及び／又は評価回数を変更する。本実施例において、好適には、単位弾奏に相当する時間と離散評価に係る時間間隔及び／又は評価回数との対応関係が前記ハードディスク５６等に記憶されており、前記離散評価手段８４は、その関係から前記単位時間判定手段７８により判定される前記単位弾奏に相当する時間に基づいて斯かる制御を行う。

また、好適には、前記離散評価手段８４及び演奏評価手段８６は、前記弾奏方向判定手段８０により判定される前記６本の弦の弾奏方向に基づいて前記離散評価及び演奏評価を行う。例えば、前記離散評価手段８４は、前記ギター６６における６本の弦を１ストローク掻き鳴らす単位弾奏に対応する演奏音に係る離散評価において、その単位弾奏に関して前記弾奏方向判定手段８０により判定される前記６本の弦の弾奏方向に基づいて各離散評価に係るコード判定を行う。また、前記演奏評価手段８６は、前記単位弾奏に係る前記離散評価手段８４による複数回の離散評価結果と、前記弾奏方向判定手段８０により判定される前記６本の弦の弾奏方向とを比較し、その離散評価結果に対応するコードが評価結果として適切であるか否かを判定する。

また、好適には、前記演奏評価手段８６は、前記離散評価手段８４による複数回の離散評価のうち前記安定時点検出手段８２により検出された前記演奏音が安定した時点付近における離散評価を前記単位弾奏に係る評価として採用する。すなわち、前記単位弾奏に対応して前記離散評価手段８４により複数回の離散評価が行われ、その離散評価結果として複数のコードが判定された場合、その単位弾奏に対応して前記安定時点検出手段８２により検出された前記演奏音が安定した時点付近（例えば安定した時点を中心として前後所定時間内）における離散評価を前記単位弾奏に係る評価（コード）として採用し、その単位弾奏に係る演奏評価を行う。

図３に戻って、評価結果表示手段８８は、前記演奏評価手段８６による評価結果に係る映像を前記映像出力制御部３２等を介して前記映像表示装置３０に表示させる。図７は、前記演奏評価手段８６による評価結果に対応して前記映像表示装置３０に表示される演奏評価結果解説映像９０を例示する図である。この図７に示すように、上記評価結果表示手段８８は、前記演奏評価手段８６による評価結果に係る映像として、例えば前記単位弾奏に係る正解のコードと、その単位弾奏において演奏者が間違って弾いたコードとを比較して表示させる。更に、正解である和音の音階成分と実際に演奏（マイクロフォン４０を介して入力）された和音の音階成分とを比較し、足りなかった成分を示すことでどの音が上手く演奏できていないかを演奏者に教示（解説）する。例えば、図７の演奏評価結果解説映像９０に示された例では、正解のコードはＣであるが実際に演奏されたコードはＣｍであり、この場合正解はＣＥＧだが演奏はＣＤ♯Ｇであるため、Ｅを弾いたつもりがＤ♯を弾いてしまっていたことが考えられる。このように、前記演奏評価手段８６による評価結果として得られるそのような情報を上記評価結果表示手段８８により視覚的に示すことにより、演奏者の苦手な部分を的確に教示することができるのである。なお、図７に示すような演奏評価結果解説映像９０は、評価の対象となるカラオケ演奏に同期して表示されるものであってもよいし、そのカラオケ演奏が終了した時点で評価結果に係るタイミング乃至歌詞等と対応付けて表示させるものであってもよい。

図８は、前記演奏評価手段８６による評価結果に対応して前記映像表示装置３０に表示される演奏曲推薦映像９２を例示する図である。この図８に示すように、上記評価結果表示手段８８は、前記演奏評価手段８６による評価結果に係る映像として、例えば演奏者が間違いやすいコードを比較的多く含むカラオケ演奏曲をお勧め演奏曲として表示させる。更に、図８に示すように、そのお勧め演奏曲を選曲入力するためのダイレクト選曲入力ボタン９４を表示させる。このダイレクト選曲入力ボタン９４は、例えば前記リモコン装置６４等によりその部分にカーソルが合わせられた状態で所定の操作が行われることにより、そのお勧め演奏曲の選曲入力を可能とするものである。例えば、図８の演奏曲推薦映像９２に示された例では、評価結果として演奏者が間違い易いものと判定されたコードとしてＣ、Ｄ、Ａ♯が挙げられており、更にそれらのコードを多く含むお勧め演奏曲として「黄昏カーテンコール」が推薦されている。このように、前記演奏評価手段８６による評価結果として得られる情報に基づくお勧め演奏曲を上記評価結果表示手段８８により示すことにより、演奏者の苦手な部分を特訓するために好適な演奏曲を的確に教示することができるのである。

図９は、本実施例の撥弦楽器演奏評価装置としての前記カラオケ装置１６のＣＰＵ５０によるギター演奏評価制御の要部を説明するフローチャートであり、所定の周期で繰り返し実行されるものである。

先ず、ステップ（以下、ステップを省略する）Ｓ１において、所定のカラオケ演奏曲を対象とする前記ギター６６の演奏評価制御が開始されるか否かが判断される。このＳ１の判断が否定される場合には、それをもって本ルーチンが終了させられるが、Ｓ１の判断が肯定される場合には、Ｓ２において、対象となるカラオケ演奏曲に対応するカラオケデータが前記カラオケデータベース６８から読み出され、そのカラオケデータに相当するカラオケ演奏の出力が開始される。次に、Ｓ３において、前記マイクロフォン４０から前記ギター６６の演奏音に対応する音声情報の入力があったか否かが判断される。このＳ３の判断が否定される場合には、Ｓ１０以下の処理が実行されるが、Ｓ３の判断が肯定される場合には、前記タイミング判定手段７６の動作に対応するＳ４において、前記マイクロフォン４０から入力された単位弾奏に対応する演奏音に基づいて、その単位弾奏に相当するストロークタイミングが判定される。次に、前記弾奏方向判定手段８０の動作に対応するＳ５において、前記マイクロフォン４０から入力された単位弾奏に対応する演奏音に基づいて、その単位弾奏に係るストローク方向が判定される。次に、前記単位時間判定手段７８の動作に対応するＳ６において、前記マイクロフォン４０から入力された単位弾奏に対応する演奏音に基づいて、その単位弾奏に係るストローク時間が判定される。次に、前記安定時点検出手段８２の動作に対応するＳ７において、前記マイクロフォン４０から入力された単位弾奏に対応する演奏音に基づいて、その演奏音が安定した時点が検出（判定）される。次に、前記離散評価手段８４の動作に対応するＳ８において、Ｓ４により判定されたストロークタイミング、Ｓ５にて判定されたストローク方向、及びＳ６にて判定されたストローク時間等に基づいて、前記マイクロフォン４０から入力された単位弾奏に対応する演奏音に関して所定の時間間隔で複数回の離散評価が行われる。次に、前記演奏評価手段８６の動作に対応するＳ９において、Ｓ４により判定されたストロークタイミング、Ｓ５にて判定されたストローク方向、及びＳ７にて検出された演奏音が安定した時点等に基づいて、Ｓ８による複数回の離散評価に対応する単位弾奏に係るコードが判定され、その単位弾奏が出力に係るカラオケ演奏曲（ＭＩＤＩデータ）との比較において評価される。次に、Ｓ１０において、対象となるカラオケ演奏曲の演奏が終了したか否かが判断される。このＳ１０の判断が否定される場合には、Ｓ３以下の処理が再び実行されるが、Ｓ１０の判断が肯定される場合には、Ｓ１１において、対象となるカラオケ演奏曲全体を通しての総合評価が行われる。次に、前記評価結果表示手段８８の動作に対応するＳ１２において、Ｓ９乃至Ｓ１１による評価結果に係る映像として、図７に示す演奏評価結果解説映像９０や図８に示す演奏曲推薦映像９２等が前記映像表示装置３０に表示された後、本ルーチンが終了させられる。

このように、本実施例によれば、入力された音声を電気信号に変換するマイクロフォン４０と、そのマイクロフォン４０により電気信号に変換された前記撥弦楽器の演奏音と、予め定められた評価基準を比較することにより、前記複数本の弦を１ストローク掻き鳴らす単位弾奏毎に所定の時間間隔で複数回の離散評価を行う離散評価手段８４（Ｓ８）と、その離散評価手段８４による複数回の離散評価に基づいて、その離散評価に対応する単位弾奏を評価する演奏評価手段８６（Ｓ９）とを、備えたものであることから、一般的なマイクロフォン４０で楽器の演奏音を集音するといった簡単な構成により、１ストローク分の演奏動作に対応して複数点の離散評価を行うことで、その１ストロークの演奏において複数の演奏音が混じり合って奏でられる撥弦楽器の演奏を好適に評価することができる。すなわち、簡単な構成で正確な演奏評価を実現する撥弦楽器演奏評価装置を提供することができる。

また、予め定められた関係から、前記複数本の弦を１ストローク掻き鳴らす単位弾奏に対応する演奏音に基づいて、その単位弾奏に相当する時間を判定する単位時間判定手段７８（Ｓ６）を備え、前記離散評価手段８４は、その単位時間判定手段７８により判定される前記単位弾奏に相当する時間に基づいて、その単位弾奏に対応する離散評価に係る時間間隔及び／又は評価回数を決定するものであるため、１ストローク分の演奏動作に対応するストローク時間を考慮して複数点の離散評価を行うことで、その１ストローク分の演奏を更に正確に評価することができる。

また、予め定められた関係から、前記複数本の弦を１ストローク掻き鳴らす単位弾奏に対応する演奏音に基づいて、その単位弾奏に係る前記複数本の弦の弾奏方向を判定する弾奏方向判定手段８０（Ｓ５）を備え、前記離散評価手段８４及び演奏評価手段８６は、その弾奏方向判定手段８０により判定される前記複数本の弦の弾奏方向に基づいて前記離散評価及び演奏評価を行うものであるため、１ストローク分の演奏動作に対応するストローク方向を考慮して離散評価及び演奏評価を行うことで、対象となる撥弦楽器の演奏を更に正確に評価することができる。

また、予め定められた関係から、前記複数本の弦を１ストローク掻き鳴らす単位弾奏に対応する演奏音に基づいて、その演奏音が安定した時点を検出する安定時点検出手段８２（Ｓ７）を備え、前記演奏評価手段８６は、前記離散評価手段８４による複数回の離散評価のうち前記安定時点検出手段８２により検出された前記演奏音が安定した時点付近における離散評価を前記単位弾奏に係る評価として採用するものであるため、１ストローク分の演奏動作に対応する演奏音がある程度安定した時点における離散評価を採用することで、対象となる撥弦楽器の演奏を更に正確に評価することができる。

また、前記撥弦楽器として６本の弦を備えたギター６６の演奏を評価するものであるため、人気の高い撥弦楽器であるギター６６の演奏を簡単な構成で正確に評価する撥弦楽器演奏評価装置を提供することができる。

また、前記撥弦楽器演奏評価装置は、多数の演奏曲のうちから選択される所定の演奏曲を出力させると共に、その演奏曲の出力と併行してその演奏曲の歌詞文字映像を含む演奏映像を表示させるカラオケ装置１６に機能的に備えられたものであるため、一般に防音設備が調ったカラオケボックス等に設置されたカラオケ装置１６を用いて、撥弦楽器の演奏を簡便且つ実用的な態様で練習することができる。

以上、本発明の好適な実施例を図面に基づいて詳細に説明したが、本発明はこれに限定されるものではなく、更に別の態様においても実施される。

例えば、前述の実施例において、撥弦楽器演奏評価装置としての前記カラオケ装置１６は、前記撥弦楽器として６本の弦を備えたギター６６の演奏を評価するものであったが、本発明はこれに限定されるものではなく、例えば、前記撥弦楽器として４本の弦を備えたベースギターの演奏等も好適に評価し得るものである。この場合、前記コードデータベース７０には、ベースギターのコードに関する各種情報が記憶される。その他、本発明は、ウクレレ、マンドリン、バラライカ、三味線、琵琶、三線等、複数本の弦を連続的に掻き鳴らすことにより演奏音を奏でる撥弦楽器の演奏評価に広く適用され得るものである。

また、前述の実施例では、本発明の一実施例である撥弦楽器演奏評価装置が前記カラオケ装置１６に機能的に備えられた例を説明したが、本発明が必ずしもカラオケ装置１６に適用されなくともよいことは言うまでもなく、単体の撥弦楽器演奏評価装置としても当然に成立し得るものである。この場合、前述した実施例におけるカラオケデータ（ＭＩＤＩデータ）に相当するデータとして、演奏曲の演奏進行に伴いどのタイミングで各コードが出力されるべきかを定める情報が前記演奏評価手段８６に係る評価基準としてその撥弦楽器演奏評価装置に設けられた所定の記憶装置に記憶される。

また、前述の実施例において、前記評価結果表示手段８８は、前記演奏評価手段８６による評価結果に係る図７乃至図８に示すような映像を前記映像出力制御部３２等を介して前記映像表示装置３０に表示させるものであったが、同様の映像を前記電子早見本装置２２のタッチパネルディスプレイに表示させるものであってもよい。

また、前述の実施例では特に言及していないが、例えばエレキギターの演奏評価に際しては、そのエレキギターを前記カラオケ装置１６のアンプミキサ４２に繋いで演奏する等、実施形態に関しては種々の工夫が為されるべきことは言うまでもない。

その他、一々例示はしないが、本発明はその趣旨を逸脱しない範囲内において種々の変更が加えられて実施されるものである。

１６：カラオケ装置（撥弦楽器演奏評価装置）
４０：マイクロフォン
６６：ギター（撥弦楽器）
７８：単位時間判定手段
８０：弾奏方向判定手段
８２：安定時点検出手段
８４：離散評価手段
８６：演奏評価手段

Claims (7)

1. 複数本の弦を連続的に掻き鳴らすことにより演奏音を奏でる撥弦楽器の演奏を評価する撥弦楽器演奏評価装置であって、
   入力された音声を電気信号に変換するマイクロフォンと、
   該マイクロフォンにより電気信号に変換された前記撥弦楽器の演奏音と、予め定められた評価基準とを比較することにより、前記複数本の弦を１ストローク掻き鳴らす単位弾奏毎に所定の時間間隔で複数回の離散評価を行う離散評価手段と、
   該離散評価手段による複数回の離散評価に基づいて、該離散評価に対応する単位弾奏を評価する演奏評価手段と
   を、備えたものであることを特徴とする撥弦楽器演奏評価装置。
2. 予め定められた関係から、前記複数本の弦を１ストローク掻き鳴らす単位弾奏に対応する演奏音に基づいて、該単位弾奏に相当する時間を判定する単位時間判定手段を備え、
   前記離散評価手段は、該単位時間判定手段により判定される前記単位弾奏に相当する時間に基づいて、該単位弾奏に対応する離散評価に係る時間間隔及び／又は評価回数を決定するものである請求項１に記載の撥弦楽器演奏評価装置。
3. 予め定められた関係から、前記複数本の弦を１ストローク掻き鳴らす単位弾奏に対応する演奏音に基づいて、該単位弾奏に係る前記複数本の弦の弾奏方向を判定する弾奏方向判定手段を備え、
   前記離散評価手段及び演奏評価手段は、該弾奏方向判定手段により判定される前記複数本の弦の弾奏方向に基づいて前記離散評価及び演奏評価を行うものである請求項１又は２に記載の撥弦楽器演奏評価装置。
4. 予め定められた関係から、前記複数本の弦を１ストローク掻き鳴らす単位弾奏に対応する演奏音に基づいて、該演奏音が安定した時点を検出する安定時点検出手段を備え、
   前記演奏評価手段は、前記離散評価手段による複数回の離散評価のうち前記安定時点検出手段により検出された前記演奏音が安定した時点付近における離散評価を前記単位弾奏に係る評価として採用するものである請求項１から３の何れか１項に記載の撥弦楽器演奏評価装置。
5. 前記撥弦楽器として６本の弦を備えたギターの演奏を評価するものである請求項１から４の何れか１項に記載の撥弦楽器演奏評価装置。
6. 前記撥弦楽器として４本の弦を備えたベースギターの演奏を評価するものである請求項１から４の何れか１項に記載の撥弦楽器演奏評価装置。
7. 多数の演奏曲のうちから選択される所定の演奏曲を出力させると共に、該演奏曲の出力と併行して該演奏曲の歌詞文字映像を含む演奏映像を表示させるカラオケ装置に備えられたものである請求項１から６の何れか１項に記載の撥弦楽器演奏評価装置。

Images