JP5245038B2

JP5245038B2 - ノート検出装置

Info

Publication number: JP5245038B2
Application number: JP2009041802A
Authority: JP
Inventors: 勇樹杉浦
Original assignee: Korg Inc
Current assignee: Korg Inc
Priority date: 2009-02-25
Filing date: 2009-02-25
Publication date: 2013-07-24
Anticipated expiration: 2029-02-25
Also published as: JP2010197645A

Description

本発明は、入力された楽音信号に基づいて、その楽音信号を構成する構成音のノート（音名）を検出可能とする装置に関する。

図７（ａ）、図７（ｂ）、図７（ｃ）に示すように、例えば鍵盤楽器にあっては基音のみを発音させるように演奏しても、不要な高調波音が生じてしまう。図７（ａ）はノート「Ｅ２」のみを発音させるように演奏した場合の高調波音の発生状態の説明図であり、基音「Ｅ２」に対してその２倍音、３倍音、４倍音が発生している。同様に、図７（ｂ）はノート「Ｂ２」のみを発音させるように演奏した場合の高調波音の発生状態の説明図であり、基音「Ｂ２」に対してその２倍音、３倍音が発生しており、また、図７（ｃ）に示すようにノート「Ｇ♯３」のみを発音させるように演奏してもその２倍音が発生してしまう。３倍音は、演奏したノートと音名が異なり特に影響が大きいため、非演奏音と示した。また、実際には、５倍音以上も存在するがここでは省略した。そこで、３倍音除去処理を行ってこのような不都合を解消する装置が提案されていた（例えば、特許文献１参照）。この装置にあっては、エンベロープ検出部が、夫々の通過帯域の中心周波数が半音の周波数分づつずれている複数個のバンドパスフィルタからの出力信号のエンベロープ信号を検出出力し、そして、３倍音除去部が、全エンベロープ信号の３倍音を除去した信号を出力し、音名抽出部がこの３倍音除去部からの出力信号に基づいて和音の各構成音の音名を抽出するので、和音の各構成音を基音とする３倍音の影響を除去して、和音を構成する各ノートの検出精度を向上させることを可能としていた。

特開２００８−４６３２１号公報

確かに、上述したような従来装置によれば、３倍音の影響が除去されて正確に構成ノートを検出することが可能なものであるが、３倍音のエンベロープ値が大きい場合、除去し切れない問題があった（図８（ａ）参照）。また、種々の理由から応答性に難があることも否めなかった。例えば、従来装置においては、そのエンベロープ検出部が、入力信号（ＢＰＦ出力）を全波整流する全波整流部と、この全波整流信号に対してピークホールドを行うピークホールド部と、ピークホールドされた信号を補間処理するＩＰ部とを有して構成されるが、ピークホールド部やＩＰ部での信号処理遅延が生じてしまうという問題があった。また、ピークホールド時に信号の２分の１の周期でピーク値が更新されるので動作安定性に問題があった。

本発明は、かかる従来の課題を解決するためになされたもので、楽音信号の立ち上がりの早い時点からノート検出を迅速に行える、ノート検出のリアルタイム性に優れたノート検出装置を提供することを目的とする。

上記目的を達成するために、本発明は、与えられた楽音信号を構成するノートを検出する装置であって、
夫々の通過帯域の中心周波数が半音の周波数分づつずれている複数個のバンドパスフィルタと、
各バンドパスフィルタに対して設けられ各バンドパスフィルタからの出力信号の振幅を検出する前記複数個の振幅検出手段と、
各振幅検出手段からの振幅信号を零とするか、又は、そのまま出力するかを決定し、決定した振幅信号を出力する隣音除去手段と、
前記隣音除去手段からの出力と予め設定している閾値とを比較し、閾値を超えたものを出力するコンパレート手段と、
前記閾値を超えた振幅信号であって、最も周波数の低いノートである最低ノートとこの最低ノートから１９半音分以内のノートを抽出出力する音域制限手段と、を備え、
前記複数個のバンドパスフィルタの夫々は、
前記与えられた楽音信号に対して２相の正弦波の夫々を乗じて２種類の信号を生成し、この生成した２種類の信号の夫々に対して個別に同一構成のローパスフィルタを通過させるように構成し、
前記隣音除去手段は、
或るバンドパスフィルタに対応する振幅検出手段からの振幅信号が、この或るバンドパスフィルタの中心周波数に隣接する中心周波数を有する２個のバンドパスフィルタに対応する２個の振幅検出手段からの振幅信号よりも大きな時のみ、前記或るバンドパスフィルタに対応する振幅検出手段からの振幅信号をそのまま出力する一方、これ以外の場合には振幅信号を零として出力する処理を、総てのバンドパスフィルタに対応する振幅検出手段からの振幅信号に対して施す手段であることを特徴とするようにした。ここで、１９半音分には最低ノートを含むものとする。

この発明によれば、振幅検出手段は、夫々の通過帯域の中心周波数が半音の周波数分づつずれている複数個のバンドパスフィルタの夫々に対して設けられ各バンドパスフィルタからの出力信号の振幅を検出し、隣音除去手段は、各振幅検出手段からの振幅信号を零とするか又はそのまま出力する。さらに、コンパレート手段は、隣音除去手段からの出力と予め設定している閾値とを比較し、閾値を超えたものをそのまま出力する。音域制限手段は、前記閾値を超えた振幅信号であって、最も周波数の低いノートである最低ノートとこの最低ノートから１９半音分以内のノートを抽出出力する。これにより、従来装置のように３倍音除去処理や基音強調処理における減算、加算等を不要とし、３つの振幅検出手段からの振幅信号の大きさの比較のみで不要音を除去することが可能となり、正確にノート検出を行うことができる。

また、この装置において、複数個のバンドパスフィルタの夫々は、与えられた楽音信号に対して２相の正弦波の夫々を乗じて２種類の信号を生成し、この生成した２種類の信号の夫々に対して、個別に同一構成のローパスフィルタを通過するように構成したので、前記複数個の振幅検出手段の夫々を、第１のローパスフィルタを通過した第１の信号を２乗する第１の２乗部と、第２のローパスフィルタを通過した第２の信号を２乗する第２の２乗部と、各２乗部からの信号を加算する加算部と、この加算部の加算出力に対してその正の平方根を求めて振幅信号とする振幅演算部とを含んで成る構成とすることができる。したがって、従来装置では、全波整流部と全波整流信号に対してピークホールドを行うピークホールド部とピークホールドされた信号を補間処理するＩＰ部とでエンベロ−プ検出を行って信号処理による遅延が生じてしまうという問題があったが、これが解消されてリアルタイム性に富んだノート検出を実現することが可能となる。

そして、前記隣音除去手段を、或るバンドパスフィルタに対応する振幅検出手段からの振幅信号が、この或るバンドパスフィルタの中心周波数に隣接する中心周波数を有する２個のバンドパスフィルタに対応する２個の振幅検出手段からの振幅信号よりも大きな時のみ、前記或るバンドパスフィルタに対応する振幅検出手段からの振幅信号をそのまま出力する一方、これ以外の場合には振幅信号を零として出力する処理を、総てのバンドパスフィルタに対応する振幅検出手段からの振幅信号に対して施す手段とすれば、前記振幅検出手段は、夫々の通過帯域の中心周波数が半音の周波数分づつずれている複数個のバンドパスフィルタの夫々について、通過帯域を広く取ることが可能となり、リアルタイム性に富んだ応答を得ることができる。

また、従来装置では、全波整流部を用いると全波整流信号出力に含まれる周期変動が残るため正しい値を得られず、前記隣音除去手段の安定動作を妨げるためバンドパスフィルタの夫々について通過帯域を狭く取らなければならなかったが、これが解消されてリアルタイム性に富んだノート検出を実現することが可能となる。

本発明によれば、楽音信号の立ち上がりの早い時点からノート検出を迅速に行え、ノート検出のリアルタイム性に優れたノート検出装置を提供することが可能になるという効果が得られる。

ノート検出装置１の構成図である。各複素バンドパスフィルタ１０の中心周波数設定状態の説明図である。複素バンドパスフィルタ１０と振幅検出部２０の構成図である。隣音除去部３０の構成図である。隣音除去部３０の動作の説明図である。他の構成例の説明図である。従来技術の説明図である。従来技術と音域制限処理の説明図である。

以下、本発明の実施の形態について図面を参照しながら詳細に説明する。

図１は本発明の実施形態であるノート検出装置１の構成図である。このノート検出装置１は、与えられた楽音信号を構成するノートを検出する機能を有する装置であり、複数個（本例では３０個）の複素ＢＰＦ１０（「ＢＰＦ」はバンドパスフィルタを意味する）と、各複素ＢＰＦ１０に対して設けられ各複素ＢＰＦ１０からの出力信号の振幅を検出して振幅信号として出力する３０個の振幅検出部２０と、各振幅検出部２０からの振幅信号を零とするか又はそのまま出力するかを決定出力する隣音除去部３０と、隣音除去部３０からの出力と予め設定している閾値とを比較し、閾値を超えたものをそのまま出力するコンパレート部４０と、前記閾値を超えた振幅信号であって、最も周波数の低いノートである最低ノートとこの最低ノートから１９半音分以内のノートを抽出出力する音域制限部５０とを有して構成されている。なお、複素ＢＰＦ１０の個数は３０個に限られない。

そして、各複素ＢＰＦ１（１０）、複素ＢＰＦ２（１０）、…、複素ＢＰＦ３０（１０）は、夫々、ノート「Ｄ♯」、「Ｅ」、…、「Ｇ♯３」に対するものであり、各複素ＢＰＦ１〜複素ＢＰＦ３０の通過帯域の中心周波数が半音の周波数分づつずれるように設定されている。図２はこの中心周波数設定状態の一部を示した説明図であり、複素ＢＰＦ１（１０）の中心周波数ｆ１と、複素ＢＰＦ２（１０）の中心周波数ｆ２とは半音分ずれて設定されていることが分かる。これは、複素ＢＰＦ１（１０）がノート「Ｄ♯」に対応するものであり、このノート「Ｄ♯」を半音分高くしたノート「Ｅ」に対するバンドパスフィルタが複素ＢＰＦ２（１０）であることに対応する。なお、本装置で想定している半音の並びは図７の横軸に示すものである。更に、振幅検出部１（２０）、振幅検出部２（２０）、…、振幅検出部３０（２０）は夫々、複素ＢＰＦ１（１０）、複素ＢＰＦ２（１０）、…、複素ＢＰＦ３０（１０）に対してそれらの後段に個別に設けられている。

図３は１個の複素ＢＰＦ１０とこの後段に設けられた振幅検出部２０の構成図である。各複素ＢＰＦ１０と振幅検出部２０は夫々同様の構成であるが、ＬＰＦ（「ＬＰＦ」はローパスフィルタを意味する）のカットオフ周波数は、各複素ＢＰＦ１０毎に個別に設定されている。図３において、符号１１、１２は乗算部、符号１３ａ、１３ｂは同一構成のＬＰＦである。そして、乗算部１１は与えられた楽音信号と「ｃｏｓ（−２πＦｃｔ）」（ｃｏｓは余弦関数、ＦｃはＢＰＦの中心周波数、ｔは時間）を乗じると共に、乗算部１２は与えられた楽音信号と「ｓｉｎ（−２πＦｃｔ）」（ｓｉｎは正弦関数、ＦｃはＢＰＦの中心周波数、ｔは時間）を乗じるように構成されている。つまり、各複素ＢＰＦ１０は、楽音信号に対して２相の正弦波（ｓｉｎ波と、これと位相が「π／２」異なるｃｏｓ波）の夫々を乗じて２種類の信号を生成し、この生成した２種類の信号の夫々に対して、個別に、同一構成のＬＰＦ１３ａ、１３ｂを通過させるように構成している。したがって、従来のようなピークホールドと補間処理による応答遅れが無く楽音信号の立ち上がりの早い時点からノート検出を迅速に行える。なお、各複素ＢＰＦ１０において、ＬＰＦ１３ａ、１３ｂのカットオフ周波数Ｆlpfと、ＢＰＦの中心周波数Ｆｃとの関係は「Ｆlpf＝Ｆｃ／（２Ｑ）」（「Ｑ」はフィルタのＱ値で例えば５０程度）となる。また、楽音信号に対して２相の正弦波の夫々を乗じて２種類の信号を生成し、この生成した２種類の信号の夫々に対して、個別に、同一構成のＬＰＦ１３ａ、１３ｂを通過させるように構成すると、２相の正弦波により中心周波数ＦｃをＤＣ（直流分）にシフトする効果があり、ＬＰＦ１３ａ、１３ｂがＤＣ中心に帯域制限を行うためＢＰＦの機能を有するようになる。

また、振幅検出部２０は、ＬＰＦ１３ａ（第１のローパスフィルタ）を通過した信号ＬＡ（第１の信号）を２乗する乗算部２１（第１の２乗部）と、ＬＰＦ１３ｂ（第２のローパスフィルタ）を通過した信号ＬＢ（第２の信号）を２乗する乗算部２２（第２の２乗部）と、各乗算部２１、２２（２乗部）からの信号を加算する加算部２３と、この加算部２３の加算出力に対してその正の平方根を求めて振幅信号として出力する振幅演算部２４とを有して構成されている。したがって、従来装置では、入力信号（ＢＰＦ出力）を全波整流する全波整流部と、この全波整流信号に対してピークホールドを行うピークホールド部と、ピークホールドされた信号を補間処理するＩＰ部とを有してエンベロ−プ検出を行って全波整流部やピークホールド部での信号処理による遅延が生じてしまうという問題があったが、図３に示す構成によってこのような問題が解消されてリアルタイム性に富むノート検出を実現することが可能となる。

図４は隣音除去部３０の構成図である。符号３１、３２はバッファ、符号３３、３４は加算器、符号３５、３６は演算部、符号３７はアンド部、符号３８はスイッチング部、符号３９は零部である。演算部３５は、加算部３３の加算結果が「正（０より大きい）」場合のみアンド部３７に対して「真信号（正論理で「１」）」を出力し、また、演算部３６は、加算部３４の加算結果が「０以下（０より小さいか等しい）」場合のみアンド部３７に対して「真信号（正論理で「１」）」を出力する。そして、アンド部３７は、演算部３５及び演算部３６の双方から「真信号」が与えられるとスイッチング部３８に対して、スイッチング３８のスイッチを「ｂ」側に接続する一方、これ以外の場合にはスイッチをａ側に接続して零部３９から値「０」を出力させるように、スイッチング部３８に対して制御信号を送信する。スイッチがｂ側に接続された場合には、バッファ３２の値（振幅信号の値）がそのまま出力されるように構成されている。

そして、注目する振幅検出部２０、換言すれば、その振幅検出部２０からの振幅信号を零とするか又はそのまま出力するかの処理対象となる振幅信号がバッファ３２に記憶されている状態において、バッファ３１は、当該注目する振幅検出部２０に対する複素ＢＰＦ１０の中心周波数よりも半音分低い低域側に中心周波数を有する複素ＢＰＦ１０に対する振幅検出部２０からの振幅信号が記憶されていて、隣音除去部３０に新たに入力されるのは、前記注目する振幅検出部２０に対する複素ＢＰＦ１０の中心周波数よりも半音分高い高域側に中心周波数を有する複素ＢＰＦ１０に対する振幅検出部２０からの振幅信号である。この結果、前記注目する振幅検出部２０の振幅信号が、これより半音低域側及び半音高域側の２つの振幅検出部２０の双方の出力よりも大きな時のみ、スイッチが「ｂ」側に接続されて、前記注目する振幅検出部２０の振幅信号がそのまま出力される一方、これ以外の場合には、零部３９から値「０」が振幅信号として出力されることになる。なお、図４においては、隣音除去部３０の入力線は１本であるように記載しているが、実際には複素ＢＰＦ１０の個数分存在し、総ての振幅検出部２０からの振幅信号に対して、その振幅信号をそのまま出力するのか又は零を出力するかを決定出力する。

図５の上段は、隣音除去部３０に入力される各振幅検出部２０からの信号を示し、図５の下段は、隣音除去部３０からコンパレート部４０に出力される信号を示したものである。また、図５の上段の符号（１）、（２）、（３）、…（３０）は、夫々、「複素ＢＰＦ１（１０）と振幅検出部１（２０）」、「複素ＢＰＦ２（１０）と振幅検出部２（２０）」、「複素ＢＰＦ３（１０）と振幅検出部３（２０）」、…、「複素ＢＰＦ３０（１０）と振幅検出部３０（２０）」を意味し、また、符号ａ、ｂ、ｃ、…、ｇは夫々の振幅検出部２０から出力される振幅信号を意味する。つまり、各振幅信号は、夫々中心周波数が半音分ずれた複素ＢＰＦ１０に対応する振幅検出部２０から出力されたものである。

さて、図４に示す隣音除去部３０の動作によって、各振幅検出部２０からの振幅信号を零とするか又はそのまま出力する処理が実行される。隣音除去部３０は、或る複素ＢＰＦ１０に対応する振幅検出部２０（注目振幅検出部２０）からの振幅信号が、この或る複素ＢＰＦ１０の中心周波数に隣接する中心周波数を有する２個の複素ＢＰＦ１０（換言すれば低周波側及び高周波側の２個の複素ＢＰＦ１０）に対応する２個の振幅検出部２０（前記注目振幅検出部２０を周波数領域上において挟む２個の振幅検出部２０）からの振幅信号よりも大きな時のみ、前記或る複素ＢＰＦ１０に対応する振幅検出部２０からの振幅信号をそのまま出力する一方、これ以外の場合には振幅信号を零とする処理を、総ての複素ＢＰＦ１０に対応する振幅検出部２０からの振幅信号に対して施す動作を行う。図５の具体例で言えば、符号「ａ」で示す振幅信号に注目すると、低周波側振幅信号は存在せず（存在しない場合は「０」）、かつ、高周波側振幅信号は符号「ｂ」で示すように、符号「ａ」の振幅信号より大きいため、注目する符号ａの振幅信号を「０」とする。

同様に、符号「ｂ」で示す振幅信号に注目すると、低周波側振幅信号「ａ」より大きいが高周波側振幅信号は符号「ｃ」で示すように、符号「ｂ」の振幅信号より大きいため、符号ｂの振幅信号を「０」とする。そして、符号「ｃ」で示す振幅信号に注目すると、低周波側振幅信号「ｂ」及び高周波側振幅信号「ｄ」の双方よりも大きなため、符号「ｃ」の振幅信号はそのまま出力する。次に、符号「ｄ」で示す振幅信号に注目すると、高周波側振幅信号「ｅ」より大きいが低周波側振幅信号は符号「ｃ」で示すように、符号「ｄ」の振幅信号より大きいため、符号「ｄ」の振幅信号を「０」とする。つまり、注目する振幅信号がこれを周波数領域上において挟む２つの振幅信号よりも大きな場合のみ、この注目する振幅信号をそのまま出力し、これ以外の場合には振幅信号を零とする処理を行う。かくして、隣音のエンベロープ値が閾値を超えている場合でも、安定して検出が可能になり、これによりＢＰＦの帯域幅を広く設計できるため、楽音信号の立ち上がりの早い時点からノート検出を迅速の行えるようになる。また、コンパレート部４０の閾値を低く設定することが可能になり、これによっても楽音信号の立ち上がりの早い時点からノート検出を迅速の行えるようになる。なお、図４の演算部３６の等号「＝」判定機能は、演算部３５の方に備えるようにしても良い。

次に、コンパレート部４０は、隣音除去部３０からの出力と予め設定している閾値とを比較し、閾値を超えたものを出力する。例えば、図５の下段に示すように、閾値を超えた振幅信号「ｃ」、「ｆ」を音域制限部５０に対して出力する。

そして、音域制限部５０は、コンパレート部４０で用いた閾値を超えた振幅信号であって、最も周波数の低いノートである最低ノートとこの最低ノートから１９半音分以内のノートを抽出出力する。例えば、図５の例で言えば、最低ノートとこの最低ノートから１９半音分以内のノートを抽出出力する（抽出ノートを「０Ｎ」で示している）。図８（ｂ）はこれをより詳細に記載している。図８（ｂ）ではノート「Ｅ２」が最低ノートとなり、この最低ノートとこの最低ノートから１９半音分以内のノート（具体的には「Ａ♯３」までのノートで点線で四角状に囲んでいる）。なお、この最低ノートから「１９半音分」以内のノートを抽出出力することとしたのは、各種の実験等から「１９半音分」が、非演奏音を避けてノート検出できることを経験的に得たからである。

以上説明してきたように、ノート検出装置１によれば、ノート検出を迅速に行うことができる結果、リアルタイム性に富むノート検出を行うことが可能となる。なお、図６に示すような回路を複素ＢＰＦ１０の前段に設けた構成としても良い。つまり、楽音信号をアンチエイリアシングフィルタ６０で折り返しノイズ除去を行い、その折り返しノイズ除去された信号を、例えば４０分の１の間隔でダウンサンプリング部６２でダウンダンプリングし、これをバッファ６４に記憶させておいて、各複素ＢＰＦ１０に供給する構成とし、ノート検出装置１側の処理速度に余裕を持たせた楽音信号供給を行う構成としても良い。

以上説明してきたように、本発明によれば音楽分野において適用して好適なノート検出機能を有する装置を提供することができる。

１ノート検出装置
１０複素ＢＰＦ（バンドパスフィルタ）
２０振幅検出部
３０隣音除去部
４０コンパレート部
５０音域制限部

Claims

与えられた楽音信号を構成するノートを検出する装置であって、
夫々の通過帯域の中心周波数が半音の周波数分づつずれている複数個のバンドパスフィルタと、
各バンドパスフィルタに対して設けられ各バンドパスフィルタからの出力信号の振幅を検出する前記複数個の振幅検出手段と、
各振幅検出手段からの振幅信号を零とするか、又は、そのまま出力するかを決定し、決定した振幅信号を出力する隣音除去手段と、
前記隣音除去手段からの出力と予め設定している閾値とを比較し、閾値を超えたものを出力するコンパレート手段と、
前記閾値を超えた振幅信号であって、最も周波数の低いノートである最低ノートとこの最低ノートから１９半音分以内のノートを抽出出力する音域制限手段と、を備え、
前記複数個のバンドパスフィルタの夫々は、
前記与えられた楽音信号に対して２相の正弦波の夫々を乗じて２種類の信号を生成し、この生成した２種類の信号の夫々に対して個別に同一構成のローパスフィルタを通過させるように構成し、
前記隣音除去手段は、
或るバンドパスフィルタに対応する振幅検出手段からの振幅信号が、この或るバンドパスフィルタの中心周波数に隣接する中心周波数を有する２個のバンドパスフィルタに対応する２個の振幅検出手段からの振幅信号よりも大きな時のみ、前記或るバンドパスフィルタに対応する振幅検出手段からの振幅信号をそのまま出力する一方、これ以外の場合には振幅信号を零として出力する処理を、総てのバンドパスフィルタに対応する振幅検出手段からの振幅信号に対して施す手段であることを特徴とするノート検出装置。