JP4070120B2

JP4070120B2 - Musical instrument judgment device for natural instruments

Info

Publication number: JP4070120B2
Application number: JP2003134372A
Authority: JP
Inventors: 錬澄田; 直行田中
Original assignee: Kawai Musical Instrument Manufacturing Co Ltd
Current assignee: Kawai Musical Instrument Manufacturing Co Ltd
Priority date: 2003-05-13
Filing date: 2003-05-13
Publication date: 2008-04-02
Anticipated expiration: 2023-05-13
Also published as: JP2004341026A

Description

【０００１】
【発明の属する技術分野】
本発明は、自然楽器の楽音判定装置に関し、特に、押鍵指示手段等、演奏指示手段によって指示されたとおりに演奏されたかどうかを判定するのに適した自然楽器の楽音判定装置に関する。
【０００２】
【従来の技術】
例えば、特公平２−７０５号公報に開示されているように、鍵盤楽器を独習するための押鍵指示手段を有する電子楽器が知られている。この電子楽器では、記憶された演奏情報が表示回路に順次読み出され、鍵盤の各鍵に対応して設けられた表示ランプがこの演奏情報に従って付勢される。演奏者による操作鍵の音高はキースキャン回路で検出され、この音高が表示ランプで指示された演奏情報の音高と一致した場合に次の演奏情報が表示回路に読み出される。
【０００３】
しかし、このような押鍵指示手段は、キースキャン回路を備えた電子楽器では容易に実現できるが、キースキャン回路を持たないアコースティックピアノのような自然楽器では実現が困難である。キースキャン回路に必要なキースイッチや表示ランプを鍵毎に後付けする作業が繁雑であり、手軽に行えないからである。
【０００４】
キースキャン回路を用いる代わりに、演奏による楽音の周波数分析により操作鍵を検出することが考えられる。例えば、特公平１−５１２００公報に記載された表示装置では、音声信号の周波数分析結果に基づいて判定された音声信号の音高を、ディスプレイ上の五線譜に音符として表示する。
【０００５】
しかし、ピアノ音のような倍音成分を多く含む楽音の音高検出では、押鍵の倍音成分つまり高調波成分によって音高を誤判断してしまったり、オクターブ間隔の二つの和音と該和音の下の単音との判別（例えば、Ｃ３とＣ４の和音とＣ３単音との判別）ができなかったりすることがある。これらは互いに倍音構成が似ているからである。
【０００６】
また、同時に複数の基音とその倍音を発生する楽器の演奏に対応したＭＩＤＩコードを生成する装置が提案されている（特許第２８９０８３１号公報）。この装置では、演奏楽音の波形データから基音に対応した周波数成分の波形データを抽出し、かつそのエンベロープデータを検出する手段を備える一方、楽器が発生する各基音毎にそのエンベロープ波形に対応して基音エンベロープデータを記憶している記憶手段を備え、検出されたエンベロープデータと記憶されている基音エンベロープデータとを相互相関によって比較し、楽器音を判定する。この装置では、構成が非常に複雑であって、特に、ソフトウェアでエンベロープデータの比較や楽器音の判定をリアルタイムで処理するのが困難である。
【０００７】
特許第２８０６０４７号公報には、シンセサイザで種々の音程で順次組合わせて作成した信号と入力信号とを比較して楽音から採譜する装置が提案されている。しかし、この装置では、和音も含めたすべての組み合わせの音と比較する必要があるので、計算時間が膨大になるという問題がある。
【０００８】
【発明が解決しようとする課題】
上述のように、キースキャン手段を有していないアコースティックピアノでは、指示通りに押鍵できたかどうかの判定ができないし、マイクロフォンから入力された楽音から押鍵の正確さをリアルタイムで判定するのは容易ではないという問題点があった。
【０００９】
本発明は、上記課題に鑑み、ピアノ等、自然楽器が指示通りに弾けたかどうかを和音演奏も含めて容易に判定することができる自然楽器の楽音判定装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記の課題を解決し、目的を達成するための本発明は、演奏指示通りの演奏が行われたときに、演奏指示の進行を次に進めることができる演奏指示装置のための自然楽器の楽音判定装置において、自然楽器の演奏音を取り込む演奏音入力手段と、前記演奏音入力手段から入力された自然楽器の演奏音のパワースペクトルを計算するスペクトル計算手段と、事前に特定されている自然楽器の音の音高毎のパワースペクトルを単音モデルとして記憶し、前記演奏指示装置による演奏指示に対応して前記特定の自然楽器の単音モデルを出力するスペクトル記憶手段と、前記スペクトル記憶手段から出力された単音モデルと、前記スペクトル計算手段で計算された前記演奏音のパワースペクトルと、の距離を比較し、該距離がしきい値以内に近接したと判定したときに前記演奏指示手段の進行を次に進める一致信号を出力するスペクトル比較手段とを具備した点に第１の特徴がある。
【００１１】
第１の特徴によれば、演奏指示に応答して単音モデルが読み出される。一方、演奏指示に従って演奏された楽器音のパワースペクトルが計算される。そして、計算された楽器演奏音のパワースペクトルと単音モデルとが比較され、両者がしきい値の距離以内であれば演奏指示が進行される。
【００１２】
また、本発明は、前記スペクトル記憶手段が、前記演奏指示に先立って演奏された自然楽器音のパワースペクトルを単音モデルとして記憶するように構成されている点に第２の特徴がある。
【００１３】
第２の特徴によれば、実際に演奏する楽器の各音高毎のパワースペクトルを予め単音モデルとして記憶しておき、その単音モデルと演奏音のパワースペクトルとを比較できる。
【００１４】
また、本発明は、前記演奏指示が和音の演奏指示であるときに、前記スペクトル記憶手段から読み出された該和音の構成音の音高に対応する単音モデルを合成して前記演奏音のパワースペクトルとの比較のために前記スペクトル比較手段に出力するスペクトル合成手段を具備した点に第３の特徴がある。
【００１５】
第３の特徴によれば、単音モデルを合成して得られるパワースペクトルをスペクトル比較手段で演奏音のパワースペクトルと１度比較するだけで演奏の判定を行うことができる。
【００１６】
また、本発明は、前記スペクトル比較手段が、単音モデルまたは単音モデルの合成に対する演奏音のパワースペクトル不足分を、前記距離として計算するように構成されている点に第４の特徴がある。
【００１７】
第４の特徴によれば、残響音が特に残りやすいピアノ等では、パワースペクトルの不足分のみを距離として計算することにより、残響の影響を抑制して最新の演奏音の正確さを判定することができる。
【００１８】
また、本発明は、前記自然楽器がピアノであり、前記スペクトル作成手段が、ピアノ演奏音のアタック部分のパワースペクトルを計算するように構成された点に第５の特徴がある。
【００１９】
第５の特徴によれば、アタックが検出されれば、そこでパワースペクトルを判定することができるので、早期に判定結果が得られ、演奏に合わせて円滑に演奏指示を進行させていくことができる。
【００２０】
【発明の実施の形態】
以下、図面を参照して本発明を詳細に説明する。図１は本発明の一実施形態に係る楽音判定装置であって、ピアノの押鍵判定装置のシステム構成を示すブロック図である。同図において、押鍵判定装置は、押鍵指示通りの楽音がアコースティックピアノＰで弾かれたときに次に押鍵指示を進めるようにするための処理を行う。押鍵判定装置は、マイクロフォン２、Ａ／Ｄ変換器３、スペクトル作成部４、スペクトル記憶部５、スペクトル比較部６、演奏情報記憶部７、押鍵指示部８、モード切り換え部９および表示装置１０からなる。押鍵検出装置１のこれら構成要素のうちマイクロフォン２を除く各構成要素は、ＣＰＵ、ＲＯＭ、ＲＡＭ、およびマイクロフォン２から入力される音声信号を受け入れるインタフェース等を備えるパーソナルコンピュータ上のソフトウェアおよびハードウェアによって実現することができる。表示装置１０としては液晶ディスプレイやブラウン管等、パーソナルコンピュータの処理結果を表示するための周知の表示手段を使用することができる。演奏情報記憶部７は、外部記憶装置としてもよい。
【００２１】
演奏情報記憶部７には、楽曲の演奏情報が記憶されている。図２は、演奏情報のフォーマット例を示す図である。演奏情報には、少なくともイベントデータ、およびイベントデータの読み出しタイミングを指示するタイミングデータとが記憶されている。イベントデータはノートナンバを含むノートオンデータおよびノートオフデータからなる。タイミングデータは、例えば、一つのイベント終了から次のイベント発生までの時間情報として設定される。イベントデータとタイミングデータは、図示のように、アドレス進行に従って記憶される。
【００２２】
図１に戻り、押鍵検出のために演奏音と比較される単音モデルの作成について説明する。単音モデルの作成時には、パーソナルコンピュータ上の予定の入力キーを使用して入力することができるモデル作成指示に応答してモード切り換え部９をスペクトル記憶部５側に切り換える。そしてピアノＰの各鍵の演奏音を１音ずつマイクロフォン２で取り込み、単音モデルを作成する。
【００２３】
まず、ピアノＰの演奏音はマイクロフォン２からＡ／Ｄ変換器３に入力され、Ａ／Ｄ変換器３は、マイクロフォンから入力されたアナログ楽音信号をデジタル楽音信号に変換する。スペクトル作成部４は、高速フーリエ変換機能を備え、入力されたデジタル楽音信号をフーリエ変換してパワースペクトルを計算する。単音モデル作成時には、モード切り換え部９はスペクトル記憶部５に切り換えられているので、計算されたパワースペクトルは該スペクトル記憶部５に入力され、各鍵毎つまりノートナンバ毎に単音モデルとして記憶される。スペクトル記憶部５に記憶された単音モデルを保存しておくため、フレキシブルディスク等の外部記憶装置１１を有することができる。単音モデルを、演奏のつど作成する手間を省くためである。
【００２４】
ピアノＰの練習時には、押鍵指示開始指示に応答して演奏情報記憶部７から押鍵指示部８に演奏情報が読み出され、表示装置１０に押鍵指示を表示するための表示データが作成される。押鍵指示開始指示はパーソナルコンピュータ上から入力キーを使用して入力することができる。表示装置１０は押鍵指示部８から供給される表示データに従って押鍵指示表示をする。押鍵指示表示の例は、図３に関して後述する。
【００２５】
さらに、押鍵指示部８では、押鍵すべき音高つまりノートナンバが演奏情報のノートオンデータ中から抽出され、スペクトル記憶部５に入力される。スペクトル記憶部５は、入力されたノートナンバに対応する単音モデルを出力し、該単音モデルはスペクトル比較部６に入力される。
【００２６】
一方、表示装置１０上の押鍵指示表示に従って演奏されたピアノＰの各鍵の演奏音がマイクロフォン２で取り込まれる。ピアノＰの演奏音はマイクロフォン２からＡ／Ｄ変換器３に入力され、Ａ／Ｄ変換器３は、入力されたアナログ楽音信号をデジタル楽音信号に変換する。スペクトル作成部４は、高速フーリエ変換機能を備え、入力されたデジタル楽音信号をフーリエ変換してパワースペクトルを計算する。練習時には、モード切り換え部９は押鍵指示開始指示に応答してスペクトル比較部６側に切り換えられているので、計算された演奏音に対応するパワースペクトルはスペクトル比較部６に入力される。
【００２７】
スペクトル比較部６では、スペクトル作成部４で作成されたピアノＰの演奏音のパワースペクトルと、スペクトル記憶部５から入力された単音モデルとが比較される。パワースペクトルの比較についてはさらに後述する。
【００２８】
パワースペクトルの比較の結果、両者が一致していると判断された場合（一致の判断は後述する）、スペクトル比較部６は一致信号を押鍵指示部８に入力する。押鍵指示部８は、一致信号に応答して、演奏情報記憶部７の読み出しアドレスを進めて次の演奏情報を読み出す。表示装置１０の表示は読み出された演奏情報に従って更新された表示データに従って押鍵指示を進行させる。
【００２９】
パワースペクトルの比較の結果、両者が一致していないと判断された場合は、一致信号が出力されないので、次の演奏情報は読み出されない。演奏者が演奏しなおし、その演奏音のパワースペクトルが単音モデルと一致すれば、押鍵指示は進行する。なお、パワースペクトルが一致しない場合に、表示装置１０に再度の押鍵を促すエラー表示を行えるようにするのが好ましい。
【００３０】
図３は、表示装置１０の表示画面の一例を示す図であり、同図ではピアノロールつまりスクロール表示方式で押鍵指示をしている。表示画面１０１の下部に鍵盤図形Ｋが表示されていて、その上方に押鍵指示マークＭが表示される。表示画面１０１は上下が時間軸であり、押鍵指示マークＭは鍵盤図形Ｋに近いほど、早い時期に弾くべき楽音であることを意味する。押鍵指示マークＭは、押鍵すべき鍵に対応する位置に、音符長さに対応した長さで表示され、前記パワースペクトルが一致すると、下方にスクロールされる。現在押鍵されているべき鍵はマークｍで示される。小節線ＢＬで示すように、この例では２小節分の押鍵指示が同時に一画面上に表示されているが、同時に表示する画面の大きさつまり表示される演奏情報の範囲は任意である。このように演奏情報に基づく押鍵指示マークと鍵盤図形とを同時に表示し、押鍵指示マークをスクロール表示する演奏指示装置は、例えば、特開平９−３０５１７１号公報に開示されている。
【００３１】
なお、押鍵指示の表示形式は、鍵盤図形に対してマークをスクロールする方式に限らず、楽譜形式、つまり五線譜上に表示された音符をスクロールする方式であってもよい。また、ピアノＰの鍵盤に沿って各鍵毎に対応する位置にＬＥＤ（発光ダイオード）を配した表示器を設置し、押鍵すべき鍵に対応するＬＥＤを点灯させて押鍵指示を表示するものであってもよい。
【００３２】
次に、スペクトル作成部４を詳述する。図４は、スペクトル作成部４の要部機能を示すブロック図である。同図において、スペクトル作成部４は、フーリエ変換部４１、アタック検出部４２、およびバッファ４３を備えることができる。アタック検出部４２は、レベル検出部４２１、バッファ４２２、レベル増加分算出部４２３、およびレベル増加判定部４２４を有する。
【００３３】
フーリエ変換部４１は、入力されるデジタル楽音信号を所定時間毎に抽出し、そのデジタル楽音のスペクトル変換をしてバッファ４３に出力する。レベル検出部４２１は、バッファ４３に出力されたパワースペクトルの各周波数成分のレベルを検出してバッファ４２２に格納する。レベル増加分算出部４２３は、レベル検出部４２１から入力される今回のパワースペクトルとバッファ４２２に保持されている前回検出されたパワースペクトルの各周波数成分のレベルの差を合計し、前回算出時からのレベル増加分を算出する。レベル増加判定部４２４は、レベル増加分が予定のしきい値を超えたときに、アタック検出と判断してバッファ４３からパワースペクトルを前記スペクトル記憶部５に読み出す。
【００３４】
このように、入力されたデジタル楽音信号のアタックを検出してそのパワースペクトルを抽出するようにするのは、なるべく早い時期に、正しい押鍵がされたかどうかを検出するのが望ましいからである。先に弾いた音の残響がある演奏時のアタック検出では、このようにパワースペクトルのレベル増加分に基づいてアタック検出するのが好ましい。しかし、単音モデル作成時のアタック検出では、このような方法によらず、単に音量または振幅が、予想されるノイズの音量または振幅以上に設定したしきい値を超過したときにアタック検出と判断する方法でもよい。単音ずつモデル作成のために演奏音を入力すればよいので、残響等を考慮しなくてよいからである。
【００３５】
次に、スペクトル比較部６を詳述する。図５は、スペクトル比較部６の要部機能を示すブロック図である。同図において、スペクトル比較部６は、距離算出部６１、距離合計部６２、および距離判定部６３を備える。距離算出部６１は、スペクトル記憶部５から入力されるパワースペクトルとスペクトル作成部４から入力されるパワースペクトルとのユークリッド距離を各周波数成分毎に算出する。ユークリッド距離によれば、二つの値の差が２乗されて、その結果、該差が強調されるので、二つの値の一致の判別が容易である。距離合計部６２は、各周波数成分毎のユークリッド距離を合計する。距離判定部６３は、ユークリッド距離の合計が予定のしきい値以下であるかどうかによって、両パワースペクトルが一致しているかどうかを判定し、一致していれば、一致信号を出力する。
【００３６】
なお、パワースペクトルの比較に際して、距離算出部６１では、スペクトル作成部４から入力されるパワースペクトルのレベルが、スペクトル記憶部５から入力されるパワースペクトルのレベルに対してどれだけ不足しているかを各周波数成分毎に算出し、距離合計部６２では、その不足分の合計を算出するようにしてもよい。ピアノ等、残響が多く残る楽器には、この方が好都合である。
【００３７】
距離判定部６３で使用されるしきい値は、固定値にするのではなく、前回のアタック検出時から今回のアタック検出時までの時間に応じて変えることができる。すなわち、該時間が短い場合にはしきい値を大きくしてパワースペクトルの一致判定基準を甘く、該時間が長い場合はしきい値を小さくしてパワースペクトルの一致判定基準を厳しくする。
【００３８】
なお、単音モデル作成時と演奏時とでは音量が異なる。したがって、このような音のパワースペクトルを互いに比較すると正しい判定ができないので、Ａ／Ｄ変換器３から入力されるデジタル楽音信号を正規化する手段が設けられる。すなわち、該デジタル楽音信号の振幅を測定し、その測定値が所定値になるようにレベル補正する。
【００３９】
練習時の入力音が和音であるときには、スペクトル合成を行って比較を行う。図６は、和音の押鍵比較をするための機能を示すブロック図である。スペクトル記憶部５は、押鍵指示部８から和音の押鍵指示が入力されたときに、該和音を構成する各音のパワースペクトルをスペクトル合成部１２に出力する。和音の合成は各音のパワースペクトルつまり単音モデルを加算して行う。なお、単に単音モデルを加算するのではなく、各音の弾くべき音量に従って単音モデルに重み付けをした後、そのパワースペクトルを加算してもよい。弾くべき音量の大きさは、例えば、演奏情報に含めることができるベロシティデータによって判断することができる。
【００４０】
和音演奏時は、表示装置１０上の押鍵指示表示に従ってピアノＰで演奏された和音演奏音がマイクロフォン２で取り込まれる。ピアノＰの演奏和音はマイクロフォン２からＡ／Ｄ変換器３に入力されて和音のデジタル信号に変換されてスペクトル比較部６に供給される。
【００４１】
上記実施形態では、単音モデルをピアノＰの演奏音に基づいて作成し、この単音モデルとピアノＰの演奏音との比較を行った。これによって、ピアノＰが仮に調律が正しく行われていない場合であっても、同じピアノＰの演奏音同士の比較で判断するので、押鍵指示通りに弾けたかどうかの判断が確実である。
【００４２】
しかし、本発明は、これに限らず、他のピアノの演奏音から別途作成した単音モデルを外部記憶装置１１からスペクトル記憶部５に読み込んで使用する場合にも適用できる。
【００４３】
また、パワースペクトルの単音モデルを使用するのに限らず、例えば、演奏音の波形を記憶して単音モデルとしてもよいしパワースペクトルのピーク位置つまり基本波の周波数を単音モデルとしてもよい。これらの場合は、スペクトル比較部６では、ピアノＰの演奏音の波形や基本波の周波数を単音モデルと比較するのはもちろんである。
【００４４】
さらに、本発明は、ピアノの押鍵判定に限らず、オルガン、アコーディオン、ハーモニカ、リコーダ、ギター等、各種自然楽器の演奏音判定に適用することができる。
【００４５】
【発明の効果】
以上の説明から明らかなように、請求項１〜６の発明によれば、演奏指示に応答して読み出されたモデルのパワースペクトルと、演奏指示に従って演奏された楽器のパワースペクトルとの比較によって演奏が指示通りに行えたか否かが判定され、演奏指示が進行される。特に、演奏指示に従って読み出された単音モデルが存在するので、演奏音のパワースペクトルとの一致を判定するための比較が容易である。
【００４６】
請求項２の発明によれば、単音モデルが、現に演奏に使用する自然楽器の演奏音から作成されるので、該自然楽器が調律が不十分な場合であっても、パワースペクトルが確実に一致して演奏の正確さが判定可能である。
【００４７】
請求項３の発明によれば、和音の判定においても、単音モデルの合成分と演奏音のパワースペクトルと比較する処理を１度行うだけでよいので、計算時間の短縮が可能である。
【００４８】
請求項４，５の発明によれば、残響音が多い楽器において、残響音の影響を抑制して現演奏音の正確さを判定することができる。
【００４９】
請求項６の発明によれば、アタックが検出された時点から判定の手順を実行できるので、早期の判定が可能である。また、アタックを検出することにより、同じ演奏音（和音も含む）が連続する場合であっても、個々の演奏音を確実に検出することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係るピアノの押鍵判定装置のシステム構成を示すブロック図である。
【図２】演奏情報の一例を示す図である。
【図３】押鍵指示表示の一例を示す図である。
【図４】スペクトル作成部の要部機能を示すブロック図である。
【図５】スペクトル比較部の要部機能を示すブロック図である。
【図６】和音用モデル作成のための要部機能を示すブロック図である。
【符号の説明】
４…スペクトル作成部、５…スペクトル記憶部、６…スペクトル比較部、７…演奏情報記憶部、８…押鍵指示部、９…モード切り換え部、１０…表示装置[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a musical instrument musical sound determination apparatus, and more particularly to a natural musical instrument musical sound determination apparatus suitable for determining whether or not a musical instrument is performed as instructed by a performance instruction means such as a key depression instruction means.
[0002]
[Prior art]
For example, as disclosed in Japanese Examined Patent Publication No. 2-705, an electronic musical instrument having a key pressing instruction means for learning a keyboard instrument is known. In this electronic musical instrument, stored performance information is sequentially read out to a display circuit, and display lamps provided corresponding to the keys of the keyboard are energized according to the performance information. The pitch of the operation key by the performer is detected by the key scan circuit. When the pitch matches the pitch of the performance information indicated by the display lamp, the next performance information is read out to the display circuit.
[0003]
However, such a key pressing instruction means can be easily realized with an electronic musical instrument having a key scan circuit, but is difficult to realize with a natural musical instrument such as an acoustic piano having no key scan circuit. This is because the work of retrofitting key switches and indicator lamps necessary for the key scan circuit for each key is complicated and cannot be performed easily.
[0004]
Instead of using a key scan circuit, it is conceivable to detect an operation key by frequency analysis of musical sounds by performance. For example, in the display device described in Japanese Patent Publication No. 1-51200, the pitch of the audio signal determined based on the frequency analysis result of the audio signal is displayed as a musical note on a staff score on the display.
[0005]
However, when detecting the pitch of a musical tone that contains a lot of harmonic components such as piano sounds, the pitch may be misjudged by the harmonic component of the key press, that is, the harmonic component, or two chords with an octave interval and (For example, discrimination between a chord of C3 and C4 and a C3 single tone) may not be possible. This is because these harmonic structures are similar to each other.
[0006]
In addition, an apparatus for generating a MIDI code corresponding to the performance of a musical instrument that generates a plurality of fundamental sounds and their harmonics simultaneously has been proposed (Japanese Patent No. 2890831). This device is provided with means for extracting waveform data of frequency components corresponding to the fundamental tone from the waveform data of the performance music sound and detecting the envelope data, while corresponding to the envelope waveform for each fundamental tone generated by the instrument. A storage means for storing the fundamental tone envelope data is provided, and the detected envelope data and the stored fundamental tone envelope data are compared with each other by cross-correlation to determine the instrument sound. This apparatus has a very complicated configuration, and in particular, it is difficult to process envelope data comparison and instrument sound determination in real time with software.
[0007]
Japanese Patent No. 2880647 proposes a device that compares a signal created by sequentially combining various pitches with a synthesizer and an input signal, and makes a musical score. However, in this apparatus, since it is necessary to compare with all combinations of sounds including chords, there is a problem that calculation time becomes enormous.
[0008]
[Problems to be solved by the invention]
As described above, in an acoustic piano that does not have a key scanning means, it is not possible to determine whether or not the key has been depressed as instructed, and it is not possible to determine the accuracy of the key depression in real time from the musical sound input from the microphone. There was a problem that it was not easy.
[0009]
In view of the above problems, an object of the present invention is to provide a musical instrument tone determination apparatus that can easily determine whether a natural instrument such as a piano can be played as instructed, including chord performances.
[0010]
[Means for Solving the Problems]
In order to solve the above problems and achieve the object, the present invention provides a musical instrument for a musical instrument for a performance instruction device capable of proceeding with the next performance instruction when the performance is performed according to the performance instruction. In the determination apparatus, a performance sound input means for capturing a performance sound of a natural instrument , a spectrum calculation means for calculating a power spectrum of a performance sound of the natural instrument input from the performance sound input means, and a natural instrument specified in advance the power spectrum of the pitch for each of the sound is stored as a single tone models, the spectrum storage means for outputting a single sound model of the specific musical instrument in response to the performance indication by the playing instruction device, are output from the spectrum storing unit a single sound model, the comparison with the power spectrum of the calculated the played sound spectrum calculation unit, a distance, and the distance is closer than a threshold There is a first feature in that; and a spectral comparison means for outputting a next proceeds matching signal progression of the playing instruction means when it is determined.
[0011]
According to the first feature, a single tone model is read in response to a performance instruction. On the other hand, the power spectrum of the musical instrument sound performed according to the performance instruction is calculated. Then, the calculated power spectrum of the musical instrument performance sound is compared with the single tone model, and if both are within the threshold distance, the performance instruction is advanced.
[0012]
In addition, the present invention has a second feature in that the spectrum storage means is configured to store a power spectrum of a natural musical instrument sound played prior to the performance instruction as a single tone model.
[0013]
According to the second feature, the power spectrum for each pitch of the musical instrument to be actually played is stored in advance as a single tone model, and the single tone model and the power spectrum of the performance sound can be compared.
[0014]
In the present invention, when the performance instruction is a chord performance instruction, the power of the performance sound is synthesized by synthesizing a single tone model corresponding to the pitch of the constituent sound of the chord read from the spectrum storage means. A third feature is that spectrum synthesis means for outputting to the spectrum comparison means for comparison with the spectrum is provided.
[0015]
According to the third feature, the performance can be determined by simply comparing the power spectrum obtained by synthesizing the single tone model with the power spectrum of the performance sound once by the spectrum comparison means.
[0016]
In addition, the present invention has a fourth feature in that the spectrum comparison unit is configured to calculate a power spectrum deficiency of a performance sound with respect to a single tone model or a synthesis of a single tone model as the distance.
[0017]
According to the fourth feature, for pianos and the like where reverberant sounds are particularly likely to remain, the accuracy of the latest performance sound is determined by suppressing the influence of reverberation by calculating only the shortage of the power spectrum as the distance. Can do.
[0018]
Further, the present invention has a fifth feature in that the natural musical instrument is a piano and the spectrum creating means is configured to calculate a power spectrum of an attack portion of a piano performance sound.
[0019]
According to the fifth feature, if an attack is detected, the power spectrum can be determined there, so that a determination result can be obtained at an early stage and the performance instruction can be smoothly advanced in accordance with the performance. .
[0020]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, the present invention will be described in detail with reference to the drawings. FIG. 1 is a block diagram showing a system configuration of a piano key depression determination apparatus as a musical sound determination apparatus according to an embodiment of the present invention. In the figure, the key depression determination device performs a process for proceeding with the key depression instruction when a musical sound according to the key depression instruction is played on the acoustic piano P. The key depression determination device includes a microphone 2, an A / D converter 3, a spectrum creation unit 4, a spectrum storage unit 5, a spectrum comparison unit 6, a performance information storage unit 7, a key depression instruction unit 8, a mode switching unit 9, and a display device. It consists of ten. Of these components of the key-press detection device 1, each component other than the microphone 2 is configured by software and hardware on a personal computer including a CPU, a ROM, a RAM, an interface for receiving a voice signal input from the microphone 2, and the like. Can be realized. As the display device 10, a well-known display means for displaying the processing result of the personal computer, such as a liquid crystal display or a cathode ray tube, can be used. The performance information storage unit 7 may be an external storage device.
[0021]
The performance information storage unit 7 stores music performance information. FIG. 2 is a diagram showing a format example of performance information. The performance information stores at least event data and timing data for instructing the reading timing of the event data. The event data is composed of note-on data and note-off data including a note number. The timing data is set as time information from the end of one event to the next event occurrence, for example. Event data and timing data are stored according to address progression as shown.
[0022]
Returning to FIG. 1, the creation of a single tone model to be compared with the performance sound for key depression detection will be described. At the time of creating a single tone model, the mode switching unit 9 is switched to the spectrum storage unit 5 in response to a model creation instruction that can be input using a scheduled input key on a personal computer. Then, the performance sound of each key of the piano P is captured by the microphone 2 one by one to create a single tone model.
[0023]
First, the performance sound of the piano P is input from the microphone 2 to the A / D converter 3, and the A / D converter 3 converts the analog tone signal input from the microphone into a digital tone signal. The spectrum creation unit 4 has a fast Fourier transform function, and performs Fourier transform on the input digital musical sound signal to calculate a power spectrum. Since the mode switching unit 9 is switched to the spectrum storage unit 5 at the time of creating a single tone model, the calculated power spectrum is input to the spectrum storage unit 5 and stored as a single tone model for each key, that is, for each note number. . Since the single tone model stored in the spectrum storage unit 5 is stored, an external storage device 11 such as a flexible disk can be provided. This is to save the trouble of creating a single tone model each time the performance is performed.
[0024]
When practicing the piano P, performance information is read from the performance information storage unit 7 to the key pressing instruction unit 8 in response to the key pressing instruction start instruction, and display data for displaying the key pressing instruction on the display device 10 is created. Is done. The key press instruction start instruction can be input from the personal computer using the input key. The display device 10 displays a key press instruction according to the display data supplied from the key press instruction unit 8. An example of the key press instruction display will be described later with reference to FIG.
[0025]
Further, the key depression instruction unit 8 extracts the pitch to be depressed, that is, the note number, from the note-on data of the performance information and inputs it to the spectrum storage unit 5. The spectrum storage unit 5 outputs a single tone model corresponding to the input note number, and the single tone model is input to the spectrum comparison unit 6.
[0026]
On the other hand, the performance sound of each key of the piano P played according to the key press instruction display on the display device 10 is captured by the microphone 2. The performance sound of the piano P is input from the microphone 2 to the A / D converter 3, and the A / D converter 3 converts the input analog musical sound signal into a digital musical sound signal. The spectrum creation unit 4 has a fast Fourier transform function, and performs Fourier transform on the input digital musical sound signal to calculate a power spectrum. During practice, since the mode switching unit 9 is switched to the spectrum comparison unit 6 in response to the key press instruction start instruction, the power spectrum corresponding to the calculated performance sound is input to the spectrum comparison unit 6.
[0027]
In the spectrum comparison unit 6, the power spectrum of the performance sound of the piano P created by the spectrum creation unit 4 is compared with the single tone model input from the spectrum storage unit 5. The comparison of power spectra will be further described later.
[0028]
As a result of the comparison of the power spectra, when it is determined that the two match (the determination of matching will be described later), the spectrum comparison unit 6 inputs a match signal to the key pressing instruction unit 8. In response to the coincidence signal, the key pressing instruction unit 8 advances the read address of the performance information storage unit 7 and reads the next performance information. The display of the display device 10 advances a key pressing instruction according to display data updated according to the read performance information.
[0029]
As a result of the comparison of the power spectra, if it is determined that the two do not match, the coincidence signal is not output, so that the next performance information is not read out. When the performer replays and the power spectrum of the performance sound matches the single tone model, the key depression instruction proceeds. In addition, when the power spectra do not match, it is preferable to display an error message prompting the user to press the key again on the display device 10.
[0030]
FIG. 3 is a diagram illustrating an example of a display screen of the display device 10. In FIG. 3, a key press instruction is given by a piano roll, that is, a scroll display method. A keyboard figure K is displayed at the bottom of the display screen 101, and a key press instruction mark M is displayed above it. The display screen 101 has a time axis in the upper and lower directions, and the closer to the keyboard figure K, the more the key pressing instruction mark M means a musical sound to be played earlier. The key pressing instruction mark M is displayed at a position corresponding to the key to be pressed with a length corresponding to the note length, and is scrolled downward when the power spectra match. The key to be currently pressed is indicated by a mark m. As indicated by the bar line BL, in this example, the key pressing instructions for two bars are simultaneously displayed on one screen, but the size of the screen to be displayed simultaneously, that is, the range of performance information to be displayed is arbitrary. A performance instruction apparatus that simultaneously displays a key depression instruction mark and a keyboard figure based on performance information and scrolls the key depression instruction mark is disclosed in, for example, Japanese Patent Application Laid-Open No. 9-305171.
[0031]
The display format of the key pressing instruction is not limited to the method of scrolling the mark with respect to the keyboard figure, but may be a score format, that is, a method of scrolling the notes displayed on the staff. In addition, an indicator with LEDs (light emitting diodes) arranged at positions corresponding to each key along the keyboard of the piano P is installed, and the LED corresponding to the key to be pressed is lit to display the key pressing instruction. It may be a thing.
[0032]
Next, the spectrum creation unit 4 will be described in detail. FIG. 4 is a block diagram illustrating main functions of the spectrum creation unit 4. In the figure, the spectrum creation unit 4 can include a Fourier transform unit 41, an attack detection unit 42, and a buffer 43. The attack detection unit 42 includes a level detection unit 421, a buffer 422, a level increase calculation unit 423, and a level increase determination unit 424.
[0033]
The Fourier transform unit 41 extracts an input digital musical tone signal at predetermined time intervals, performs a spectral transformation of the digital musical tone, and outputs it to the buffer 43. The level detector 421 detects the level of each frequency component of the power spectrum output to the buffer 43 and stores it in the buffer 422. The level increase calculation unit 423 sums up the difference between the level of each frequency component of the current power spectrum input from the level detection unit 421 and the power spectrum detected last time held in the buffer 422, from the time of the previous calculation. Calculate the level increase of. When the level increase exceeds a predetermined threshold, the level increase determination unit 424 determines that an attack has been detected and reads the power spectrum from the buffer 43 to the spectrum storage unit 5.
[0034]
The reason for detecting the attack of the input digital musical tone signal and extracting the power spectrum in this way is because it is desirable to detect whether or not the correct key is pressed as early as possible. In the attack detection during performance with the reverberation of the sound played first, it is preferable to detect the attack based on the level increase of the power spectrum. However, attack detection at the time of creating a single tone model is not based on such a method, and it is determined that the attack is detected only when the volume or amplitude exceeds a threshold value set higher than the expected volume or amplitude of noise. The method may be used. This is because it is not necessary to consider reverberation or the like because it is only necessary to input a performance sound for model creation for each single note.
[0035]
Next, the spectrum comparison unit 6 will be described in detail. FIG. 5 is a block diagram illustrating main functions of the spectrum comparison unit 6. In the figure, the spectrum comparison unit 6 includes a distance calculation unit 61, a distance summation unit 62, and a distance determination unit 63. The distance calculation unit 61 calculates the Euclidean distance between the power spectrum input from the spectrum storage unit 5 and the power spectrum input from the spectrum creation unit 4 for each frequency component. According to the Euclidean distance, the difference between the two values is squared, and as a result, the difference is emphasized. Therefore, it is easy to determine whether the two values match. The distance summation unit 62 sums up the Euclidean distance for each frequency component. The distance determination unit 63 determines whether or not both power spectra match depending on whether or not the total Euclidean distance is equal to or less than a predetermined threshold value, and outputs a match signal if they match.
[0036]
When comparing the power spectra, the distance calculation unit 61 determines how much the level of the power spectrum input from the spectrum creation unit 4 is insufficient with respect to the level of the power spectrum input from the spectrum storage unit 5. It may be calculated for each frequency component, and the distance totaling unit 62 may calculate the total of the shortage. This is more convenient for instruments such as pianos that have a lot of reverberation.
[0037]
The threshold value used in the distance determination unit 63 is not a fixed value, but can be changed according to the time from the previous attack detection to the current attack detection. That is, when the time is short, the threshold value is increased to loosen the power spectrum matching criterion, and when the time is long, the threshold value is decreased to tighten the power spectrum matching criterion.
[0038]
It should be noted that the volume is different between the creation of a single tone model and the performance. Therefore, since correct determination cannot be made if the power spectra of such sounds are compared with each other, means for normalizing the digital musical tone signal input from the A / D converter 3 is provided. That is, the amplitude of the digital musical tone signal is measured, and the level is corrected so that the measured value becomes a predetermined value.
[0039]
When the input sound at the time of practice is a chord, a spectrum synthesis is performed for comparison. FIG. 6 is a block diagram showing a function for comparing key depression of chords. When a key pressing instruction for a chord is input from the key pressing instruction unit 8, the spectrum storage unit 5 outputs the power spectrum of each sound constituting the chord to the spectrum synthesis unit 12. Chord synthesis is performed by adding the power spectrum of each sound, that is, a single tone model. Note that, instead of simply adding the single tone models, the power spectra may be added after weighting the single tone models in accordance with the volume of each sound to be played. The volume to be played can be determined, for example, by velocity data that can be included in the performance information.
[0040]
At the time of chord performance, the chord performance sound played on the piano P in accordance with the key press instruction display on the display device 10 is captured by the microphone 2. The performance chord of the piano P is input from the microphone 2 to the A / D converter 3, converted into a digital signal of the chord, and supplied to the spectrum comparison unit 6.
[0041]
In the above embodiment, a single tone model is created based on the performance sound of the piano P, and the single tone model and the performance sound of the piano P are compared. Thus, even if the piano P is not properly tuned, the determination is made by comparing the performance sounds of the same piano P, so that it is surely determined whether or not the piano P can be played according to the key pressing instruction.
[0042]
However, the present invention is not limited to this, and can also be applied to the case where a single tone model separately created from the performance sound of another piano is read from the external storage device 11 into the spectrum storage unit 5 and used.
[0043]
Further, the present invention is not limited to using a single model of the power spectrum. For example, the waveform of a performance sound may be stored to form a single model, or the peak position of the power spectrum, that is, the fundamental frequency may be used as the single model. In these cases, the spectrum comparison unit 6 naturally compares the waveform of the performance sound of the piano P and the frequency of the fundamental wave with the single tone model.
[0044]
Furthermore, the present invention is not limited to piano key depression determination, and can be applied to performance sound determination of various natural musical instruments such as an organ, an accordion, a harmonica, a recorder, and a guitar.
[0045]
【The invention's effect】
As is clear from the above description, according to the first to sixth aspects of the present invention, the power spectrum of the model read in response to the performance instruction is compared with the power spectrum of the musical instrument played in accordance with the performance instruction. It is determined whether or not the performance has been performed as instructed, and the performance instruction is advanced. In particular, since there is a single tone model read according to the performance instruction, comparison for determining coincidence with the power spectrum of the performance sound is easy.
[0046]
According to the invention of claim 2, since the single tone model is created from the performance sound of the natural musical instrument that is actually used for the performance, even if the natural musical instrument is insufficiently tuned, the power spectrum is surely uniform. Then, the accuracy of the performance can be judged.
[0047]
According to the invention of claim 3, even in the determination of the chord, it is only necessary to perform the process of comparing the synthesized part of the single tone model and the power spectrum of the performance sound once, so that the calculation time can be shortened.
[0048]
According to the fourth and fifth aspects of the present invention, it is possible to determine the accuracy of the current performance sound while suppressing the influence of the reverberation sound in an instrument with many reverberation sounds.
[0049]
According to the sixth aspect of the present invention, since the determination procedure can be executed from the point in time when the attack is detected, early determination is possible. Further, by detecting an attack, even if the same performance sound (including chords) continues, it is possible to reliably detect individual performance sounds.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a system configuration of a piano key pressing determination apparatus according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating an example of performance information.
FIG. 3 is a diagram illustrating an example of a key pressing instruction display.
FIG. 4 is a block diagram illustrating main functions of a spectrum creation unit.
FIG. 5 is a block diagram illustrating main functions of a spectrum comparison unit.
FIG. 6 is a block diagram showing main functions for creating a chord model.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 4 ... Spectrum preparation part, 5 ... Spectrum storage part, 6 ... Spectrum comparison part, 7 ... Performance information storage part, 8 ... Key press instruction | indication part, 9 ... Mode switching part, 10 ... Display apparatus

Claims

演奏指示通りの演奏が行われたときに、演奏指示の進行を次に進めることができる演奏指示装置のための自然楽器の楽音判定装置において、
自然楽器の演奏音を取り込む演奏音入力手段と、
前記演奏指示装置による演奏指示に従って演奏されて、前記演奏音入力手段から入力された自然楽器の演奏音のパワースペクトルを計算するスペクトル計算手段と、
事前に特定されている自然楽器の音の音高毎のパワースペクトルを単音モデルとして記憶し、前記演奏指示装置による演奏指示に対応して前記特定の自然楽器の単音モデルを出力するスペクトル記憶手段と、
前記スペクトル記憶手段から出力された単音モデルと、前記スペクトル計算手段で計算された前記演奏音のパワースペクトルと、の距離を比較し、該距離がしきい値以内に近接したと判定したときに前記演奏指示手段の進行を次に進める一致信号を出力するスペクトル比較手段とを具備したことを特徴とする自然楽器の楽音判定装置。In a musical instrument sound determination device for a natural musical instrument for a performance instruction device capable of proceeding with the next performance instruction when a performance according to the performance instruction is performed,
A performance sound input means for capturing the performance sound of a natural instrument;
Spectral calculation means for calculating a power spectrum of a performance sound of a natural musical instrument played according to a performance instruction by the performance instruction device and input from the performance sound input means ;
Spectrum storage means for storing a power spectrum for each pitch of the sound of a natural musical instrument specified in advance as a single sound model, and outputting the single sound model of the specific natural musical instrument in response to a performance instruction by the performance instruction device; ,
A single sound model output from the spectrum storing unit, the comparison with the power spectrum of the calculated the played sound spectrum calculation unit, a distance, said when said distance is determined to have approached within threshold A natural-musical instrument musical sound judging device comprising spectrum comparing means for outputting a coincidence signal for proceeding the performance instruction means.

前記スペクトル記憶手段が、前記演奏指示に先立って演奏された自然楽器音のパワースペクトルを単音モデルとして記憶するように構成されていることを特徴とする請求項１記載の自然楽器の楽音判定装置。 2. A natural musical instrument tone determination apparatus according to claim 1, wherein the spectrum storage means is configured to store a power spectrum of a natural musical instrument sound played prior to the performance instruction as a single tone model.

前記スペクトル記憶手段が、事前に特定されている自然楽器の和音の構成音毎の音高のパワースペクトルをそれぞれ単音モデルとして記憶するように構成され、
前記演奏指示が和音の演奏指示であるときに、前記スペクトル記憶手段から出力された該和音の構成音の音高に対応する単音モデルを合成して前記演奏音のパワースペクトルとの比較のために前記スペクトル比較手段に出力するスペクトル合成手段を具備したことを特徴とする請求項１または２記載の自然楽器の楽音判定装置。 The spectrum storage means is configured to store a power spectrum of pitches for each tone constituting a chord of a natural musical instrument specified in advance as a single tone model,
When the performance instruction is a chord performance instruction, a single tone model corresponding to the pitch of the constituent sound of the chord output from the spectrum storage means is synthesized and compared with the power spectrum of the performance sound. 3. The musical instrument tone determination apparatus according to claim 1, further comprising spectrum synthesis means for outputting to the spectrum comparison means.

前記スペクトル比較手段が、単音モデルに対する演奏音のパワースペクトル不足分を、前記距離として計算するように構成されていることを特徴とする請求項１または２記載の自然楽器の楽音判定装置。 3. The musical instrument tone determination apparatus according to claim 1, wherein the spectrum comparison unit is configured to calculate a power spectrum deficiency of a performance sound with respect to a single tone model as the distance.

前記スペクトル比較手段が、単音モデルの合成パワースペクトルに対する演奏音のパワースペクトル不足分を、前記距離として計算するように構成されていることを特徴とする請求項３記載の自然楽器の楽音判定装置。 4. The musical tone determination apparatus for a natural musical instrument according to claim 3, wherein the spectrum comparison unit is configured to calculate a shortage of a power spectrum of a performance sound with respect to a synthesized power spectrum of a single tone model as the distance.

前記自然楽器がピアノであり、前記スペクトル計算手段が、ピアノ演奏音のアタック部分のパワースペクトルを計算するように構成されたことを特徴とする請求項１〜５のいずれかに記載の自然楽器の楽音判定装置。The natural musical instrument according to any one of claims 1 to 5, wherein the natural musical instrument is a piano, and the spectrum calculation means is configured to calculate a power spectrum of an attack portion of a piano performance sound. Musical sound judgment device.