JP5541072B2 - 楽音信号処理装置及びプログラム - Google Patents

Description

この発明は、入力された楽音又は音声等に基づきリード音を生成すると共に、該リード音に調和した付加音を生成する楽音信号処理装置及びプログラムに関する。特に、短い時間内にピッチが数多く変動する楽音又は音声等が入力された場合において、ピッチにふらつきがなく聴感上落ち着いた安定感のある付加音を生成する技術に関する。この発明の楽音信号処理装置及び方法は、カラオケあるいは電子楽器あるいはパーソナルコンピュータなどの音楽関連機器に附属した人間音声あるいは楽器音の処理システムにおいて利用可能である。

従来から、入力された楽音又は音声（典型的には人間音声）等の楽音信号のピッチを検出し（最終的には音楽上の音名のいずれかに対応する特定のピッチを検出する）、該検出したピッチのリード音の楽音信号（第１の楽音信号）を生成すると共に、前記検出したピッチと鍵盤等から入力されたコード情報とを元にして別途新たにピッチ（同様に音楽の音名のいずれかに対応する特定のピッチ）を決定し、前記生成したリード音を主音とする別途独立した付加音として前記決定したピッチのハーモニー音の楽音信号（第２の楽音信号）を自動的に生成する楽音生成機能を有する楽音信号処理装置及びプログラムが知られている。こうした装置の一例を挙げると、下記に示す特許文献１に記載の装置がある。なお、この明細書において、楽音信号という場合、音楽的な音の信号に限るものではなく、音声あるいはその他任意の音の信号を含んでいてもよい意味あいで用いるものとする。

ここで、特許文献１に記載された装置等における従来知られた楽音生成処理手順について説明する。図５は、従来知られた楽音生成処理手順を説明するための概念図である。図５左図は当該装置において実行される処理の流れを順に示し、図５右図は各処理の実行に伴う信号波形の変化を示している。縦軸は周波数であり、横軸は時間である。また、図６は、後述するようにしてハーモニー音の音高を決定する際に参照される従来知られた音高決定テーブルのデータ構成を示す概念図である。

まず、マイクロフォン等を介して入力される音声信号は「周波数検出」処理により、周波数信号に変換される。この「周波数検出」処理は、例えば音声分析の分野で周知の技術であるゼロクロス法などの公知のどのような技術を用いてもよいことから、ここでの詳しい説明を省略する。次に、前記周波数信号を「平坦化」処理することによって、周波数信号の変化を平坦化（又は平滑化とも呼ばれる）する。該平坦化された周波数信号は「音名検出」処理により、所定時間毎に１２音音階の音階名（音高名若しくは音名）のいずれかに離散化される。具体的には、平坦化された周波数信号が半音（１００セント）単位で定められた複数の音楽上の音名のいずれかに対応する所定の正規化されたピッチに丸められる（音名信号と呼ぶ）。このようにして、入力された音声信号の正規化されたピッチを検出する。「収束曲線」処理では、該検出したピッチを、入力音声のノートが変化したときに、前ノートのピッチから新ノートのピッチに滑らかに周波数変化するような特性で、時間的に連続変化する信号とする。また、「出力変調」処理では、上記検出された入力音声信号のピッチを更に適宜に変調する処理を行い、生成するリード音のピッチを元の入力音声のピッチとは異ならせることができる。なお、便宜上、図５における「出力変調」処理のブロックの右側に描かれたピッチ変化のグラフの例では、検出された音声信号のピッチそのものを（出力変調することなく）リード音の音高として決定するものを示している。

一方、ハーモニー音を付加する場合には、前記「音名検出」処理において得られた音声信号のピッチ検出結果（又は前記ピッチ検出結果に応じて決定されるリード音の音高）と鍵盤等から入力されたコード情報とに基づき、予め用意された図６に示すような音高決定テーブルに従って前記所定時間毎に１２音音階の音階名（音名）のいずれかを決定する。すなわち、図６に示す音高決定テーブルはコード毎に１テーブルずつ複数のテーブルがＲＯＭやＲＡＭ等に予め記憶されており、前記コード情報に従って対応する１テーブルが特定される。ここでは一例として、「Ｃメジャー」コード用のテーブルのみを示している。そして、前記入力された音声信号のピッチ検出を契機（トリガ）としてすぐに、該ピッチ検出結果に基づき前記特定されたテーブルを参照することでハーモニー音の音高として音楽上の音名（音高名）のいずれかに対応した特定の音高が決定され、該音高にピッチ制御されたハーモニー音が生成されるようになっている。ここで、図６に示す音高決定テーブルにおいて、「Ｅ（０）」は検出されたリード音の音高と同じオクターブの「Ｅ」音であることを示し、「Ｃ（＋１）」は検出されたリード音の音高から１つ上のオクターブの「Ｃ」音であることを示す。したがって、例えばリード音の音高が「Ｅ３」である場合には第１のハーモニー音の音高として「Ｇ３」、第２のハーモニー音の音高として「Ｃ４」にそれぞれ決定されることになる。

このようにして、図６に示すような音高決定テーブルに従って決定された１２音音階の音名のいずれかに対応するピッチからなる音名信号に基づき、前記リード音の生成と同様にして「収束曲線」処理及び「出力変調」処理が順次に行われることによって、１乃至複数のハーモニー音の出力信号は生成される。なお、上記のようにして生成されるリード音及びハーモニー音のノートオンのタイミングは入力された音声信号のピッチが検出された時点であり、他方ノートオフのタイミングは入力された音声信号のピッチが検出されなくなった時点である。

特開平11-133954号公報

上述したように従来の装置では、入力された音声信号のピッチ検出結果（つまりはリード音の音高）に基づいてハーモニー音の音高を決定するようにしていることから、ハーモニー音の音高はリード音の音高に左右されることが理解できる。そうであるならば、入力された音声信号が人間音声であるとすると、その母音検出から次の母音検出の間までのような短い時間内に深いビブラートのような音高が半音音程を越えて上下に揺らぎながら変動する音声信号が入力された場合には、リード音の揺らぎに比べるとより大きく音高が連続的に揺らいでいるハーモニー音が生成される恐れがあり、そのようなハーモニー音は落ち着きがなく聴くに耐えがたいので都合が悪い。例えば、図６に示した音高決定テーブルによれば、入力された音声信号（ひいてはリード音）が音高「Ｅ３」と音高「Ｆ３」との間で揺らぐようなビブラートである場合、第１のハーモニー音は音高「Ｇ３」と音高「Ｃ４」との間を揺らぐように連続的に変化する出力信号となってしまう。これは、入力された音声信号が僅か半音の間だけで揺らいでいるにも関わらず、付加されるハーモニー音は短い時間内に５半音もの大きな音高差（音程）の揺らぎをもつ音跳びが繰り返されることを表しており、このようなハーモニー音はとてもビブラートに対する表情付けとして使えるものではない。

また、上記不都合を避けるために他の方法として、入力された音声信号のピッチ検出の頻度そのものを少なくすることが考えられる。しかし、そうすると、ハーモニー音（付加音）の生成処理の応答性が恒常的に低下してしまい、コード変化やその他の演奏条件の変化に対する追従性が低下するので、好ましくない。また、リード音及びハーモニー音は共に前記音声信号のピッチ検出に応じて生成されることから、そうした場合にはハーモニー音だけでなくリード音自体の生成処理の頻度も少なくなってしまい、入力された音声信号そのものが持っていた音楽的な個性や表現力等が失われる恐れがあることから、この方法を採用するのはとても都合が悪い。

本発明は上述の点に鑑みてなされたもので、付加音の生成処理の応答性を恒常的に低下さぜることないようにする一方で、入力された楽音信号のピッチ変化が短い時間内に頻繁に生じた場合であっても、ピッチがふらつくことなく聴感上落ち着いた安定感ある付加音を生成することができるようにした楽音信号処理装置及びプログラムを提供しようとするものである。

本発明に係る楽音信号処理装置は、楽音信号を入力する入力部と、前記入力された楽音信号のピッチを逐次検出するピッチ検出部と、前記ピッチ検出部によって検出されたピッチにおける変化の有無を判定する判定部と、前記入力された楽音信号に基づき第１のピッチの第１の楽音信号を生成する第１の楽音生成部と、前記ピッチ検出部によって検出されたピッチに基づき第２のピッチの第２の楽音信号を生成する第２の楽音生成部であって、前記判定部がピッチ変化があったと判定したとき、所定時間経過するまで待機し、該所定時間経過後に変化前のピッチと前記ピッチ検出部によって検出された現在のピッチが異なっている場合に、前記第２の楽音信号の第２のピッチを変更する制御を行う前記第２の楽音生成部とを具える。

本発明によれば、入力された楽音信号のピッチにおける変化がある場合は、すぐにこれに応答して第２の楽音信号のピッチを変更することなく、所定時間経過するまで待機し、該所定時間経過後に変化前のピッチと検出された現在のピッチが異なっている場合に、第２の楽音信号の第２のピッチを変更するようにしている。このように、入力楽音信号のピッチ変化に対する第２の楽音信号の応答性を鈍くしており、これにより、入力された楽音信号のピッチ変化が短い時間内に頻繁に生じた場合であっても、第２の楽音信号（付加音）ピッチがそれにすぐさま追従して不安定にふらつくことがなくなり、聴感上落ち着いた安定感ある付加音を生成することができる。一方、入力された楽音信号のピッチにおける変化がない場合は、和音変化等その他の条件の変化に即応答して第２の楽音信号を生成処理できるので、第２の楽音信号（付加音）の生成処理の応答性を恒常的に低下さぜることがない。

好ましい実施例において、前記ピッチ検出部は、前記入力された楽音信号の具体的ピッチを逐次検出し、該具体的ピッチから音名に対応する正規化されたピッチを逐次検出するものであり、前記判定部は、前記ピッチ検出部によって検出された前記正規化されたピッチにおける変化の有無を判定し、前記第２の楽音生成部は、前記検出された正規化されたピッチに対して或る音程を持つピッチを前記第２のピッチとして決定し、該決定された第２のピッチの前記第２の楽音信号を生成する。

好ましい実施例において、前記第１の楽音生成部は、前記ピッチ検出部によって検出されたピッチに基づき前記第１のピッチを決定し、前記第１の時間分解能で前記ピッチ検出に応答して該第１のピッチの前記第１の楽音信号を生成する。

このような実施例では、ピッチ変化があると判定された場合には第１の楽音信号を生成する処理は前記ピッチ変化検出に即応答して行われるが、第２の楽音信号（付加音）を生成する処理は前記ピッチ変化検出に即応答することなく待ち時間が設定される。このようにして、入力された楽音信号にピッチ変化がある場合には、第１の楽音信号の生成タイミングと第２の楽音信号の生成タイミングとをあえて異ならせることによって、例えばビブラートのような音高が上下に揺らぎながら変化する楽音信号が入力された場合であっても、該入力される楽音信号が持っている音楽的な個性や表現力等が失われることなく第１の楽音信号を生成することができると共に、前記第１の楽音信号の音高変動に追従して音高が制御される第２の楽音信号を落ち着いた聴感上安定感のある楽音として生成することができるようになる。

本発明は装置の発明として構成し実施することができるのみならず、方法の発明として構成し実施することができる。また、本発明は、コンピュータまたはＤＳＰ等のプロセッサのプログラムの形態で実施することができるし、そのようなプログラムを記憶した記憶媒体の形態で実施することもできる。

この発明に係る楽音信号処理装置の全体構成の一実施例を示したハード構成ブロック図である。 本発明に係る楽音信号処理装置の楽音生成機能を説明するための機能ブロック図である。 楽音生成処理の一実施例を示すフローチャートである。 本発明の一実施例に従うハーモニー音の楽音生成動作の一例を示すタイムチャート。 従来知られた楽音生成処理手順を説明するための概念図である。 従来知られた音高決定テーブルのデータ構成を示す概念図である。

以下、この発明の実施の形態を添付図面に従って詳細に説明する。

図１は、この発明に係る楽音信号処理装置の全体構成の一実施例を示したハード構成ブロック図である。本実施例に示す楽音信号処理装置は、マイクロプロセッサユニット（ＣＰＵ）１、リードオンリメモリ（ＲＯＭ）２、ランダムアクセスメモリ（ＲＡＭ）３からなるマイクロコンピュータによって制御される。ＣＰＵ１は、この装置全体の動作を制御する。このＣＰＵ１に対して、通信バス１Ｄ（例えばデータ及びアドレスバス）を介してＲＯＭ２、ＲＡＭ３、入力操作部４、表示部５、音源６、通信インタフェース（Ｉ／Ｆ）７、記憶装置８がそれぞれ接続されている。

ＲＯＭ２は、ＣＰＵ１により実行あるいは参照される各種制御プログラムや例えば図６に示した音高決定テーブルなどの各種データ等を格納する。ＲＡＭ３は、ＣＰＵ１が所定の制御プログラムを実行する際に発生する各種データなどを一時的に記憶するワーキングメモリとして、あるいは現在実行中の制御プログラムやそれに関連するデータを一時的に記憶するメモリ等として使用される。ＲＡＭ３の所定のアドレス領域がそれぞれの機能に割り当てられ、レジスタやフラグ、テーブル、メモリなどとして利用される。

入力操作部４は、例えば人が発した音声などの音声信号を入力するマイクロフォンなどの入力機器や、ハーモニー音の自動生成開始／停止を指示するスタート／ストップボタンや各種パラメータを設定するスイッチなどの各種操作子の他、数値データ入力用のテンキーや文字データ入力用のキーボードあるいはマウスなどであってよい。前記入力機器はマイクロフォンに限らず、ハーモニー音を生成する際に必要とされるコード音などの楽音信号をユーザ操作に応じて発生する例えば鍵盤等の演奏操作子や、予めＲＯＭ２等に記憶した楽音信号を演奏進行順に供給するシーケンサーなどの入力装置であってもよい。

表示部５は例えば液晶表示パネル（ＬＣＤ）やＣＲＴ等から構成されてなり、生成したリード音及び／又はハーモニー音の楽譜、各種操作子により設定されたパラメータ設定状態、あるいは予め記憶されている各種データの一覧やＣＰＵ１の制御状態などといった各種情報を表示する。

音源６は複数のチャンネルで楽音信号の同時発生が可能であり、通信バス１Ｄを経由して与えられる例えば上記マイクロフォンを介して入力された音声信号（入力楽音信号）に基づきリード音（第１の楽音信号）やハーモニー音（第２の楽音信号）などの楽音信号を生成し、該生成した楽音信号に基づいて楽音を発生する。上記マイクロフォンを介して入力される楽音信号は典型的には人間音声信号（ボーカル音声）であるが、それに限らず、楽器から発せられた楽器音信号やその他の音声信号であってもよい。音源６から発生された楽音は、アンプやスピーカなどを含むサウンドシステム６Ａから発音される。また、音源６はリード音やハーモニー音などを生成する際に、例えばジェンダー（男性声、女性声といった声質のタイプおよび深さ）、ビブラート（深さと周期の変化率、ビブラート開始までの遅延時間）、トレモロ、音量、パン（定位）、デチューン、リバーブ（残響）などの各種効果を付与することができるようになっている。なお、音源６とサウンドシステム６Ａの構成には、従来のいかなる構成を用いてもよい。例えば、音源６はＦＭ、ＰＣＭ、物理モデル、フォルマント合成等の各種楽音合成方式のいずれを採用してもよく、専用のハードウェアで構成してもよいし、ＣＰＵ１あるいはＤＳＰによるソフトウェア処理で構成してもよい。

通信インタフェース（Ｉ／Ｆ）７は、当該装置と図示しない外部機器との間で楽音信号や音高決定テーブルさらには制御プログラムなどの各種情報を送受信するためのインタフェースである。この通信インタフェース７は、例えばMIDIインタフェース，ＬＡＮ，インターネット，電話回線等であってよく、また有線あるいは無線のものいずれかでなく双方を具えていてよい。

記憶装置８は、予め用意された音高決定テーブルやＣＰＵ１が実行する各種制御プログラムなどの各種情報を記憶する。あるいは、生成されたリード音やハーモニー音などの楽音信号を記憶できるようにしてもよい。

なお、前記ＲＯＭ２に制御プログラムが記憶されていない場合、この記憶装置８（例えばハードディスク）に制御プログラムを記憶させておき、それを前記ＲＡＭ３に読み込むことにより、ＲＯＭ２に制御プログラムを記憶している場合と同様の動作をＣＰＵ１に実行させることができる。このようにすると、制御プログラムの追加やバージョンアップ等が容易に行える。なお、記憶装置８はハードディスク（HD）に限られず、フレキシブルディスク（FD）、コンパクトディスク（CD）、光磁気ディスク（MO）、あるいはDVD（Digital Versatile Disk）等の着脱自在な様々な形態の外部記録媒体を利用する記憶装置であってもよい。あるいは、半導体メモリなどであってもよい。

なお、上述した楽音信号処理装置において、入力操作部４や表示部５あるいは音源６などを１つの装置本体に内蔵したものに限らず、それぞれが別々に構成され、MIDIインタフェースや各種ネットワーク等の通信インタフェースを用いて各装置を接続するように構成されたものであってよいことは言うまでもない。
なお、本発明に係る楽音信号処理装置及びプログラムは、カラオケ装置、電子楽器、パーソナルコンピュータ、携帯電話等の携帯型通信端末、あるいはゲーム装置など、どのような形態の装置・機器に適用してもよい。携帯型通信端末に適用した場合、端末のみで所定の機能が完結している場合に限らず、機能の一部をサーバ側に持たせ、端末とサーバとからなるシステム全体として所定の機能を実現するようにしてもよい。

本発明に係る楽音信号処理装置においても、従来と同様に、例えばマイクロフォン等を介して入力された楽音信号（音声信号）の具体的ピッチを検出し、該検出した具体的ピッチから音楽上の音名のいずれかに対応する特定の正規化されたピッチを検出し、該検出した正規化されたピッチに基づき第１のピッチ（典型的には、該検出した正規化されたピッチと同じ）を持つリード音の楽音信号（第１の楽音信号）を生成すると共に、前記検出した正規化されたピッチと鍵盤等から入力されたコード情報を元にして別途新たな第２のピッチ（同様に音楽上の音名のいずれかに対応する特定のピッチ）を決定し、該決定した第２のピッチを持つハーモニー音の楽音信号（第２の楽音信号）を自動的に生成する楽音生成機能を有する。そこで、本発明に係る楽音信号処理装置の楽音生成機能について、図２を用いて説明する。図２は、本発明に係る楽音信号処理装置の楽音生成機能を説明するための機能ブロック図である。図２において、図中の矢印は信号の流れを表す。

図２に示すように、音源６は信号入力部Ｉ、周波数検出部Ｆ、音高変換部Ｃ、楽音生成部Ｍ、効果付与部Ｅ、信号出力制御部Ｏからなる楽音生成機能を有する。信号入力部Ｉは、楽音生成機能の開始に伴いマイクロフォン等を介して入力された楽音信号（以下、人間音声信号であるとする）を取得し、該取得した音声信号を周波数検出部Ｆに対して順次に供給する。周波数検出部Ｆは音声信号を受け取ると、該入力された音声信号を「周波数検出」（具体的ピッチ検出）処理して周波数信号に変換する。そして、前記周波数信号を「平坦化」処理することによって、周波数信号の変化を平坦化（平滑化）する。

平坦化された周波数信号は音高変換部Ｃに供給され、音高変換部Ｃでは該平坦化された周波数信号を「音名検出」処理することによって所定時間間隔毎に１２音音階の音階名（音名）のいずれかに離散化する。このようにして、入力された音声信号の具体的ピッチを検出し、該検出した具体的ピッチに基づき音楽上の音名のいずれかに対応する特定の正規化されたピッチを検出する。この実施例では、こうして得られた音楽上の音名のいずれかに対応する特定の正規化されたピッチをそのままリード音の音高（第１のピッチ）として決定するものとする。勿論、入力された音声信号についての正規化されたピッチ検出結果をそのままリード音の音高（第１のピッチ）として決定するものに限らず、入力された音声信号についての正規化されたピッチ検出結果を例えば１オクターブや３半音等の所定ピッチだけ上下するなどして音高変換したものを、リード音の音高（第１のピッチ）として決定するようにしてもよい。この場合、ハーモニー音の音高（第２のピッチ）は、入力された音声信号のピッチ検出結果を音高変換した後の音高（第１のピッチ）に基づいて決定されるようにしてもよい。上記したような「周波数検出」処理、「平坦化」処理、「音名検出」処理は従来と同様の処理でよく、公知のどのような技術を用いてもよいことからここでの詳しい説明を省略する。

音高変換部Ｃによって検出された音楽の音名のいずれかに対応する特定の正規化されたピッチ（音名信号）は、楽音生成部Ｍに供給される。楽音生成部Ｍは、リード音（第１の楽音信号）を生成する第１の楽音生成部としての機能と、ハーモニー音（第２の楽音信号）を生成する第２の楽音生成部としての機能を持つ。楽音生成部Ｍは、入力音声の正規化されたピッチ（音名信号）を受け取ると、該供給された入力音声の正規化されたピッチ（音名信号）に基づき、リード音の音高（第１のピッチ）及びハーモニー音の音高（第２のピッチ）を決定し、決定した各ピッチに対応するリード音（第１の楽音信号）及びハーモニー音（第２の楽音信号）をそれぞれ生成する。例えば、信号入力部Ｉを介して入力された音声信号のピッチが、該決定された第１及び第２のピッチ（音名信号）になるように、ピッチ制御することにより、リード音（第１の楽音信号）及びハーモニー音（第２の楽音信号）をそれぞれ生成するようにしてよい。この場合、入力された音声信号の音色的特徴がリード音（第１の楽音信号）及びハーモニー音（第２の楽音信号）に生かされる。
なお、図５に示す公知例のように、入力音声のノートが変化したときに、決定された第１のピッチ（音名信号）を、「収束曲線」処理によって滑らかに周波数変化する信号に変形し、これに基づき、前ノートのピッチから新ノートのピッチに滑らかに周波数変化するような特性で、リード音の出力信号を生成するようにしてよい。また、更に、図５に示す公知例のように、該リード音の周波数信号に対して「出力変調」処理を施すことによって、入力された音声信号のピッチを適宜に変調したリード音の出力信号を生成するようにしてもよい。

なお、ハーモニー音の音高（第２のピッチ）は、前記入力音声の正規化されたピッチ（音名信号）又は前記第１のピッチ（音名信号）と鍵盤等から入力された和音情報とに基づき、予め用意された図６に示すような音高決定テーブルを参照することにより、決定される。この場合、決定する（つまり同時に発音する）ハーモニー音の音高（第２のピッチ）は、１に限らず複数であってもよいことは、図６にも示される通りである。ハーモニー音（第２の楽音信号）の場合も、上記リード音と同様に、図５に示す公知例のように、「収束曲線」処理及び「出力変調」処理を施すことができる。

ただし、本発明においては、入力された音声信号のピッチ（つまりはリード音の音高）が変化しているかいないかによってハーモニー音のピッチを変更するタイミングを異ならせている。すなわち、周波数検出部Ｆにおける所定のピッチ検出時間間隔毎に検出される入力音声信号の正規化されたピッチが前の検出時点と比べて変化していない場合には、従来どおりに、検出ピッチ変化に基づくハーモニー音のピッチ変更は行わず、その他のハーモニー音処理を行う。例えば、入力音声信号の正規化されたピッチが変化していなくても、他の条件であるコード情報等が変化したならば、ハーモニー音のための第２のピッチは変化され得る。一方、周波数検出部Ｆにおける所定のピッチ検出時間間隔毎に検出される入力音声信号の正規化されたピッチが前の検出時点と比べて変化している場合には、従来技術とは異なり、ピッチ変化検出時点から所定時間経過するまで待機し、該所定時間経過後に変化前のピッチと周波数検出部Ｆによって検出された現在のピッチが異なっている場合に、ハーモニー音（第２の楽音信号）のための第２のピッチを変更する制御を行う。

こうすることによれば、音声信号のピッチが変化していない場合には、和音情報の変更等他の条件の変更に直ちに応じたハーモニー音の生成処理が行われるので、応答性を低下させずにハーモニー音の生成処理を行うことができる。その一方で、音声信号のピッチが変化した場合には、該ピッチ変化に直ちに応答することなく、所定時間経過するまで待機し、該所定時間経過時点で変化前のピッチが明らかに別のピッチ（ピッチ０も含む）に変わっていたならば、ハーモニー音のピッチを変更する制御を行うので、音声信号のピッチ変化に対するハーモニー音の生成処理の応答性を適宜に鈍くすることができる。このようにして、入力音声信号のピッチ変化の有無によってハーモニー音の生成処理の応答性を異ならせている。こうした処理は、「楽音生成処理」の実行に伴って実現される。この「楽音生成処理」の詳細な説明については後述する（図３参照）。

図２の説明に戻って、入力音声信号のピッチが変化したときのハーモニー音のピッチ変更待ち時間である前記「所定時間」は、時間設定部Ｔから時間情報として楽音生成部Ｍに与えられる。該時間情報は例えば６０ｍｓ（ミリ秒）や３２分音符などの時間そのものや時間を表しうる音楽符号などの適宜の情報であってよく、また固定値であってもよいしユーザが任意に設定（指定）できるようになっていてもよい。あるいは、入力音声信号のピッチ変化の大きさ（つまり音高差、すなわち、変化前と変化後のピッチ間の音程）に対応して予め決められた異なる時間長の時間情報であってもよい。音高差に応じて時間長を決定するように構成する場合には、音高差と時間長との対応関係をテーブルなどとして保持しておくのがよい。例えば音高差が３度以内なら３２分音符、３度より大きく５度以内なら３２分音符プラス１０ｍｓ、５度より大きければ３２分音符プラス２０ｍｓなどのテーブルを用意しておくとよい。あるいは、テーブルとして前記対応関係を保持することなく、２度広がる毎に１０ｍｓずつ加算するような何らかの計算式で時間長を決定するようにしてもよい。こうした場合には、検出された音声信号のピッチの変化度合いに従ってハーモニー音の生成タイミングを調整しうるので便利である。

上述のようにして楽音生成部Ｍによって生成されたリード音及び／又はハーモニー音は効果付与部Ｅに供給され、該効果付与部Ｅによってジェンダー、ビブラート、トレモロ、音量、パン、デチューン、リバーブなどの各種効果を付与されうる。信号出力制御部Ｏは、効果付与部Ｅから供給されるリード音及び／又はハーモニー音をサウンドシステム６Ａに出力する。その際には、リード音のみ、ハーモニー音のみ、リード音及びハーモニー音のように出力する楽音信号を適宜に選択することができる。

次に、上述した楽音生成部Ｍの機能すなわちリード音及び／又はハーモニー音を生成する「楽音生成処理」について、図３を用いて説明する。図３は、「楽音生成処理」の一実施例を示すフローチャートである。当該処理は、例えばスタート／ストップボタンの操作に従いハーモニー音の自動生成の開始が指示されることに応じて開始され、ハーモニー音の自動生成の停止が指示されるまで例えば１０ｍｓ（ミリ秒）毎に繰り返し実行される割り込み処理である。

ステップＳ１は、入力された音声信号のピッチ検出結果（又は該ピッチ検出結果に応じて決定されるリード音の音高）に音高変化があるか否か、つまりは音高変換部Ｃによって検出された音楽の音名のいずれかに対応する特定のピッチが前回処理時に比較して異なっているか否かを判定する。例えば入力された音声信号が人間音声の場合、このステップＳ１におけるピッチ変化の有無判定は、公知のように、母音検出から次の母音検出を行うまでの間において行われるようにすることができる。

上記ステップＳ１において、ピッチ検出結果に音高変化ありと判定した場合には（ステップＳ１のＹＥＳ）、変化後の音高に向けて近づけるようにして連続的な（スムーズな）音高変化を伴うリード音を生成するよう指示する（ステップＳ２）。このような入力音声のピッチ変化時においてスムーズにピッチ変化するリード音を生成する処理は従来公知であることからここでの説明を省略するが、この際に行われる変化後の音高に近づける速さについてはユーザが適宜に設定することができてよい。なお、このようなリード音のスムーズな音高変化制御を行わずに、直ちにリード音のピッチを変化後の音高に変化させてもよい。

ステップＳ３は、時間のカウント（計時）を開始し、カウント開始フラグＦｃを１にセットする。また、後述するように、この際にはその時点におけるピッチ検出結果（リード音の音高）を記憶する。ただし、該カウント開始はカウンタ値がクリアされている場合にのみ開始される。勿論、初期状態はクリアされた状態である。つまり、このステップＳ３は、一旦カウント開始された後は、飛び越される。ステップＳ４は、前記カウンタ値が時間設定部Ｔ（図２参照）からの時間情報に基づく設定時間（すなわち、ハーモニー音のピッチ変更待ち時間である前記「所定時間」）を経過したか否かを判定する。設定時間を経過していないと判定した場合には（ステップＳ４のＮＯ）、当該処理を終了する。すなわち、設定時間が経過するまでは入力音声（若しくはリード音）の音高変化を無視することによって、入力された音声信号のピッチ変化検出を契機としてすぐさまハーモニー音のピッチ変更が行われないようにしている。なお、カウント開始時に、つまりピッチ変化が検出されたときに、変化前のピッチ情報Ｐａ又は変化後のピッチ情報Ｐｂの少なくとも一方を適宜のレジスタに保持しておくものとする。

やがて、設定時間を経過したと判定されると（ステップＳ４のＹＥＳ）、カウントをクリアすると共にフラグＦｃを“０”にリセットする（ステップＳ５）。そして、ステップＳ６で、ピッチ変化の再判定処理を行う。この再判定処理では、変化前のピッチと検出された現在のピッチが異なっているかどうかを判定する。例えば、この再判定処理では、音高変換部Ｃから現在検出された現在ピッチの情報Ｐｃを取得し、該現在ピッチ情報Ｐｃと前記レジスタに保持された変化前のピッチ情報Ｐａ又は変化後のピッチ情報Ｐｂとを比較し、Ｐｃ≠Ｐａ又はＰｃ＝Ｐｂであれば、変化前のピッチと検出された現在のピッチが異なっているかと判定する。変化前のピッチと検出された現在のピッチが異なっているかと判定された場合はステップＳ７に進み、異なっていないと判定された場合はステップＳ７を飛び越して終了する。ステップＳ７では、新たに取得した音声信号のピッチ検出結果に基づきハーモニー音を生成する、つまり、ハーモニー音のピッチを変更する制御を行う。このようにして、設定時間が経過するまでの間において音声信号のピッチ検出結果が音高変化していたとしても、前記設定時間が経過するまでは入力された音声信号のピッチ検出を契機としてすぐさま該ピッチ検出結果に基づきハーモニー音を生成することのないようにしている。

このように、上述の実施例に従えば、例えば、図４（Ａ）のように、入力音声信号の正規化ピッチが第１の音名（Ｅ）から第２の音名（Ｆ）に一時的に変化しても、設定時間（Ｔｓ）が経過したときに第１の音名（Ｅ）に戻っているような場合は、ハーモニー音のピッチは変化されない。これに対して、図４（Ｂ）のように、入力音声信号の正規化ピッチが第１の音名（Ｅ）から第２の音名（Ｆ）に変化し、設定時間（Ｔｓ）が経過したときも変化後の第２の音名（Ｆ）であるような場合は、ハーモニー音のピッチが変化される。一方、リード音は、図４（Ａ）、（Ｂ）いずれの場合も、入力音声信号の正規化ピッチの変動に応じて変化される。

他方、ステップＳ１でピッチ検出結果に音高変化なしと判定した場合には（ステップＳ１のＮＯ）、ステップＳ８において、音高変換部Ｃによって検出された音楽の音名のいずれかに対応する特定のピッチを持つリード音の発生を継続する、若しくは前記ステップＳ２での指示に従い変更後のピッチに近づくようにスムーズに変化するピッチを持つリード音を発生する。それから、ステップＳ９では、前記フラグＦｃが１であるかどうかを判定する。フラグＦｃが１、つまり、設定時間経過前であれば、処理は前記ステップＳ４に進む。フラグＦｃが０、つまり、設定時間経過後であれば、処理はステップＳ１０に進む。ステップＳ１０では、ハーモニー音（付加音）が他の適宜の条件（例えばピッチ以外の条件）に従って形成される。ステップＳ８、Ｓ１０でのこれらリード音及びハーモニー音それぞれの生成処理は従来と同様であることからここでの説明を省略する。音高変化なしの場合は、上述したようにハーモニー音は入力された音声信号のピッチ検出を契機としてすぐさま該ピッチ検出結果に基づき生成されるようになっている。

以上のようにして、本発明に係る楽音信号処理装置では、音声信号のピッチ検出結果が前の検出時点と比べて音高変化している場合に、従来のように入力された音声信号のピッチ検出を契機としてすぐさま該ピッチ検出結果に基づきハーモニー音を生成するのではなく、さらに当該音高変化時における音声信号のピッチ検出時点から設定時間経過後に再度実行された音声信号のピッチ検出結果に基づきハーモニー音を生成するようにして、音高に変化がある場合のリード音の生成タイミングとハーモニー音の生成タイミングを従来とは異ならせている。こうすることによって、例えばビブラートのような音高が上下に揺らぎながら変化する音声信号が入力された場合であっても、落ち着いた聴感上安定感のあるハーモニー音を生成することができるようになる。

また、入力された音声信号のピッチ検出の頻度を少なくしなくてもよいことからリード音の発生頻度は従来と変わらず、入力された音声信号が持つ音楽的な個性や表現力等が失われることもない。

なお、上述した実施例においてはリード音やハーモニー音を生成するための元となる楽音信号はマイク入力された音声を例に説明したが、例えばマイク入力された楽器演奏音などであってもよい。楽器演奏音の場合、付加音は伴奏音であってよい。

なお、ハーモニー音は一度に１音のみ生成するものに限らず、同時に複数音を生成するものであってもよい。その場合、図６に示すように、各ハーモニー音のピッチが異なるように決定される。

なお、ハーモニー音生成のために入力される和音情報は、上述したように本装置上あるいは本装置に接続された鍵盤などの演奏操作子からユーザ操作に応じて入力された入力情報から検出されたものでもよいし、あるいは和音名を順次入力する形式で得られるものであってもよい。

なお、上述した実施例では、ハーモニー音を和音情報を元に生成するものを示したがこれに限らず、和音情報を元にしないでハーモニー音を生成する公知の他の方法であってもよい。例えば、リード音に対して一定の音程（例えば３度上）を保った音高でハーモニー音を生成する方法を採用するなどしてもよい。

上述では、楽音生成部Ｍは、リード音（第１の楽音信号）として、入力した音声信号のピッチを音高変換部Ｃから供給された第１のピッチ（音名信号）になるようにピッチ制御したものを生成しているが、これに限らず、信号入力部Ｉから入力した音声信号をそのままリード音（第１の楽音信号）として生成するようにしてもよい。

また、上述では、信号入力部Ｉを介して入力された音声信号をピッチ制御することで、その音色的特徴を持つリード音（第１の楽音信号）及びハーモニー音（第２の楽音信号）をそれぞれ生成するようにしているが、これに限らず、任意の音色的特徴を持つ波形をピッチ制御することでリード音（第１の楽音信号）及び／又はハーモニー音（第２の楽音信号）を生成するようにしてもよい。

１・ＣＰＵ、２・ＲＯＭ、３・ＲＡＭ、４・入力操作部、５・表示部、６・音源、６Ａ・サウンドシステム、７・通信インタフェース、８・記憶装置、１Ｄ・通信バス、Ｃ・音高変換部、Ｅ・効果付与部、Ｆ・周波数検出部、Ｉ・信号入力部、Ｍ・楽音生成部、Ｏ・信号出力制御部、Ｔ・時間設定部

Claims (8)

1. 楽音信号を入力する入力部と、
   前記入力された楽音信号のピッチを逐次検出するピッチ検出部と、
   前記ピッチ検出部によって検出されたピッチにおける変化の有無を判定する判定部と、
   前記入力された楽音信号に基づき第１のピッチの第１の楽音信号を生成する第１の楽音生成部と、
   前記ピッチ検出部によって検出されたピッチに基づき第２のピッチの第２の楽音信号を生成する第２の楽音生成部であって、前記判定部がピッチ変化があったと判定したとき、所定時間経過するまで待機し、該所定時間経過後に変化前のピッチと前記ピッチ検出部によって検出された現在のピッチが異なっている場合に、前記第２の楽音信号の第２のピッチを変更する制御を行う前記第２の楽音生成部と
   を具える楽音信号処理装置。
2. 前記ピッチ検出部は、前記入力された楽音信号の具体的ピッチを逐次検出し、該具体的ピッチから音名に対応する正規化されたピッチを逐次検出するものであり、
   前記判定部は、前記ピッチ検出部によって検出された前記正規化されたピッチにおける変化の有無を判定し、
   前記第２の楽音生成部は、前記検出された正規化されたピッチに対して或る音程を持つピッチを前記第２のピッチとして決定し、該決定された第２のピッチの前記第２の楽音信号を生成する、
   ことを特徴とする請求項１に記載の楽音信号処理装置。
3. 前記第２の楽音生成部は、前記入力された楽音信号のピッチを前記第２のピッチに変えたものを、前記第２の楽音信号として生成することを特徴とする請求項１又は２に記載の楽音信号処理装置。
4. 前記第２の楽音生成部は、前記ピッチ検出部によって検出されたピッチと和音情報に基づき前記第２のピッチを決定することを特徴とする請求項１乃至３のいずれかに記載の楽音信号処理装置。
5. 前記所定時間を可変設定する時間設定部を具えることを特徴とする請求項１乃至４のいずれかに記載の楽音信号処理装置。
6. 前記時間設定部は、前記ピッチ検出部によって検出されたピッチの変化量を示す情報を取得し、該取得したピッチ変化量に応じて前記所定時間を可変調整することを特徴とする請求項５に記載の楽音信号処理装置。
7. 前記入力部が入力する前記楽音信号は、人間の音声信号又は楽器の演奏音信号である請求項１乃至６のいずれかに記載の楽音信号処理装置。
8. 入力された楽音信号に対する付加音を生成するために、コンピュータに、
   楽音信号を入力する手順と、
   前記入力された楽音信号のピッチを逐次検出する手順と、
   前記検出されたピッチにおける変化の有無を判定する手順と、
   前記入力された楽音信号に基づき第１のピッチの第１の楽音信号を生成する手順と、
   前記検出されたピッチに基づき第２のピッチの第２の楽音信号を生成する手順であって、前記判定する手順によりピッチ変化があったと判定されたとき所定時間経過するまで待機し、該所定時間経過後に変化前のピッチと前記検出された現在のピッチが異なっている場合に、前記第２の楽音信号の第２のピッチを変更する制御を行う前記手順と
   を実行させるためのコンピュータプログラム。

Images