JP3329245B2 - 音声信号または楽音信号の処理装置および音声信号または楽音信号の処理プログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、音声信号または第
１の楽音信号のピッチに基づいてピッチが制御される第
２の楽音信号を生成させる音声信号または楽音信号の処
理装置、および、音声信号または楽音信号の処理機能を
実現させるためのプログラムを記録したコンピュータ読
み取り可能な記録媒体に関するものである。

【０００２】

【従来の技術】従来、使用者の音声のピッチを検出して
キーデータを形成して順次記憶し、記憶されたキーデー
タを順次読み出して演奏する楽音信号処理装置が、特公
平４−５１８３８号公報等で知られている。使用者は鍵
盤を弾くことなく単に歌うだけでよい。しかし、検出さ
れた入力音声信号のピッチは、音楽の音名に対応するピ
ッチに丸めて楽音を出力する。そのため、ピッチに段差
が発生し、鍵盤楽器のようにピッチを区切って楽音を演
奏するのに適している。しかし、人が歌を歌うときは、
音声のピッチを連続的に変化させる場合もある。この場
合は、連続的に変化する音声のピッチに応じてピッチが
連続して変化する楽音を発生させる必要がある。取り込
んたキーデータを編集して修正すれば、ピッチが区切ら
れた楽音に対し、部分的に楽音のピッチに連続的な変化
をつけることも不可能ではない。しかし、処理としては
面倒である。

【０００３】一方、入力音のピッチを演奏情報化する際
に、ノート情報のみを発生させる方法、あるいは、ノー
ト情報とピッチベンド情報を発生させる方法が、特開平
４−２４２２９０号公報等で知られている。しかし、こ
れは、演奏情報化の方法を必要に応じて適宜切り替える
というようなものではない。

【０００４】

【発明が解決しようとする課題】本発明は、上述した問
題点を解決するためになされたもので、音声信号または
第１の楽音信号のピッチに基づいてピッチが制御される
第２の楽音信号を生成する際に、音名のピッチに同定さ
れてピッチが変化する演奏と、音声信号または第１の楽
音信号のピッチに追従してピッチが変化する演奏とを使
用者が任意に選択することができる音声信号または楽音
信号の処理装置を提供することを目的とするものであ
る。また、音声信号または第１の楽音信号のピッチおよ
び強度に基づいてピッチおよび強度が制御される第２の
楽音信号を生成する音声信号または楽音信号の処理装置
を提供することを目的とするものである。そして、音声
信号または楽音信号の処理機能を実現させるためのプロ
グラムを記録したコンピュータ読み取り可能な記録媒体
を提供することを目的とするものである。

【０００５】

【課題を解決するための手段】請求項１に記載の発明に
おいては、音声信号または楽音信号の処理装置におい
て、音声信号または第１の楽音信号である信号のピッチ
を検出するピッチ検出手段、第２の楽音信号を生成する
楽音信号生成手段、前記ピッチ検出手段の出力に基づい
て前記信号のピッチを音名に同定し、同定された前記音
名のピッチとなるように前記楽音信号生成手段が生成す
る前記第２の楽音信号のピッチを制御する第１の処理モ
ード、および、前記ピッチ検出手段の出力に基づいて前
記信号のピッチに追従して変化するように前記楽音信号
生成手段が生成する前記第２の楽音信号のピッチを制御
する第２の処理モードを有するピッチ制御手段、およ
び、前記第１，第２の処理モードを切り替える切り替え
手段を有するものである。したがって、音声信号または
第１の楽音信号のピッチに基づいてピッチが制御される
第２の楽音信号を生成する際に、第１，第２の処理モー
ドを切り替え手段を用いて使用者が任意に選択して行う
ことができる。

【０００６】請求項２に記載の発明においては、請求項
１に記載の音声信号または楽音信号の処理装置におい
て、前記切り替え手段は、前記ピッチ制御手段の動作中
に前記第１，第２の処理モードの切り替えが可能である
ものである。したがって、リアルタイムに切り替えが可
能となる。

【０００７】請求項３に記載の発明においては、請求項
１に記載の音声信号または楽音信号の処理装置におい
て、前記信号の強度を検出する強度検出手段、および、
該強度検出手段の出力に基づいて前記楽音信号生成手段
が生成する前記第２の楽音信号の強度を制御する強度制
御手段を有するものである。したがって、音声信号また
は第１の楽音信号のピッチおよび強度に基づいてピッチ
および強度が制御される第２の楽音信号を生成すること
ができる。

【０００８】請求項４に記載の発明においては、コンピ
ュータに音声信号または楽音信号の処理機能を実現させ
るためのプログラムを記録したコンピュータ読み取り可
能な記録媒体において、前記音声信号または楽音信号の
処理機能が、音声信号または第１の楽音信号である信号
のピッチを検出するピッチ検出機能、第２の楽音信号を
生成する楽音信号生成機能、前記ピッチ検出機能の出力
に基づいて前記信号のピッチを音名に同定し、同定され
た前記音名のピッチとなるように前記楽音信号生成機能
が生成する前記第２の楽音信号のピッチを制御する第１
の処理モード、および、前記ピッチ検出機能の出力に基
づいて前記信号のピッチに追従して変化するように前記
楽音信号生成機能が生成する前記第２の楽音信号のピッ
チを制御する第２の処理モードを有するピッチ制御機
能、および、前記第１，第２の処理モードを切り替える
切り替え機能を有するものである。したがって、請求項
１に記載の発明と同様な作用をプログラムによって実現
することができる。

【０００９】請求項５に記載の発明においては、コンピ
ュータに音声信号または楽音信号の処理機能を実現させ
るための請求項４に記載のプログラムを記録したコンピ
ュータ読み取り可能な記録媒体において、前記信号の強
度を検出する強度検出機能、および、該強度検出機能の
出力に基づいて前記楽音信号生成機能が生成する前記第
２の楽音信号の強度を制御する強度制御機能を有するも
のである。したがって、請求項３に記載の発明と同様な
作用をプログラムによって実現することができる。

【００１０】

【発明の実施の形態】図１は、本発明の音声信号または
楽音信号の処理装置の実施の一形態の機能ブロック図で
ある。図中、１はマイクロフォン、２は効果付与部、３
ａ，３ｂはピッチ変換部、４はピッチ検出部、５は鍵
盤、６はピッチ制御部、７ａ，７ｂは効果付与部、８は
音源、９は効果付与部、１０は信号出力制御部、１１は
操作パネル、１２は機能制御部、１３はパン制御部、１
４はアンプ、１５，１６はスピーカである。

【００１１】最初に全体の構成を説明する。音声入力部
であるマイクロフォン１の出力は、効果付与部２、ピッ
チ変換部３ａ、３ｂ、および、音声入力のピッチ（以
下、「ボーカルピッチ」という）を検出するピッチ検出
部４に入力される。ピッチ検出部４および鍵盤５の出力
は、ピッチ制御部６に入力される。ピッチ制御部６の第
１の出力はピッチ変換部３ａ，３ｂに入力される。ピッ
チ変換部３ａ，３ｂの出力およびピッチ制御部６の第２
の出力は、効果付与部７ａ，７ｂに入力される。ピッチ
制御部６の第３の出力は、音源８に入力され楽音のピッ
チを制御し、音源８の出力は効果付与部９に入力され
る。

【００１２】効果付与部２の出力はリード音信号とな
り、効果付与部７ａ，７ｂの出力は第１，第２のハーモ
ニー音信号となり、効果付与部９の出力は楽音信号とな
る。これらの各信号は、信号出力制御部１０に入力され
る。操作パネル１１の出力は機能制御部１２を介して、
ピッチ制御部６、音源８，効果付与部２，７ａ，７ｂ，
９、信号出力制御部１０、パン制御部１３の各機能を制
御する。信号出力制御部１０は、リード音やハーモニー
音、楽音の各々のチャンネルの出力バランスの制御を行
う。例えば、混合割合を代えたり、特定の１または複数
のチャンネルだけを出力したりする。また、パン制御部
１３によって、複数のチャンネル、例えば第１，第２の
ハーモニー音の定位を決定する。信号出力制御部１０の
出力信号は、ステレオ用のアンプ１４を介しスピーカ１
５，１６に出力される。

【００１３】上述した構成により、マイクロフォン１か
ら入力された音声信号であるリード音、入力音声のピッ
チに基づいて生成された第１，第２のハーモニー音、お
よび、楽音は、所望に応じて少なくとも１つが選択され
ミキシングされて放音されることになる。なお、音声の
ピッチ検出は、ゼロクロス法等、音声分析の分野で周知
の技術を用いることができる。付与する効果としては、
ジェンダー（男性声，女性声といった声質のタイプおよ
び深さ）、ビブラート（深さと周期の変化率、ビブラー
ト開始までの遅延時間）、トレモロ、音量、パン（定
位）、デチューン（後述するデチューンハーモニーモー
ド以外のモードにおけるハーモニー音のデチューン）、
リバーブ（残響）などがある。

【００１４】図１においては、機能的にわかりやすくす
るために、効果付与部２，７ａ，７ｂ，９において効果
の付与を行うものとしているが、ビブラート、デチュー
ンなどのピッチの変化に関するものは、ピッチ変換部３
ａ，３ｂにおけるピッチ変換と同時に行うことができ
る。また、音量およびパンについては信号出力制御部１
０において行うことになる。ジェンダーの効果制御は、
フォルマントシフトによって行う。

【００１５】図４は、ピッチ・トゥ・ノートの説明図で
ある。図４（ａ）は、第１の処理モード、図４（ｂ）は
第２の処理モードの説明図である。なお、説明用の図で
あるため、実際のボーカルピッチの特性とは必ずしも一
致しない。このピッチ・トゥ・ノートにおいては、入力
音声信号のピッチを用いて任意の音色の楽音を出力す
る。

【００１６】図４を参照しながら、図１の機能ブロック
図に基づいて、ピッチ・トゥ・ノートの信号処理を説明
する。本発明の実施の一形態においては、ボーカルピッ
チに基づいてノートオン、ノートオフ、ピッチベンド、
ポルタメントコントロールの情報を生成し、指定した音
色の楽音信号を生成している。ピッチ制御部６は、ピッ
チ検出部４の出力に基づいて、図４（ａ），（ｂ）に示
すボーカルピッチを音名に同定する音名同定部、ボーカ
ルピッチと同定された音名のピッチとの差に応じてピッ
チベンド処理を行うピッチベンド処理部等を有し、音源
部８が出力する楽音信号のピッチを制御する。

【００１７】図４（ａ）に示す第１の処理モードにおい
ては、ボーカルピッチと音楽上予め定められた複数の音
名のピッチとのピッチ差を検出し、楽音信号のピッチを
特定の音名のピッチに同定する。具体的には、ボーカル
ピッチを丸め処理等の方法で、半音（１００セント）単
位で定められた音楽の複数の音名のうち、最も近いピッ
チの音名に同定し、この音名のピッチを楽音信号のピッ
チとする。なお、この処理は、後述する図１５のフロー
チャートにおいても説明している。このピッチは、ノー
トナンバに対応づけられる。このピッチは、図２に示し
たボーカルノートのピッチと一致する。

【００１８】図４（ｂ）に示す第２の処理モードにおい
ては、ボーカルピッチに基づいてこれに追従して変化す
るピッチを楽音信号のピッチとする。この楽音信号のピ
ッチは、図示のようなピッチが確定しないボーカルピッ
チをそのまま、あるいは、ボーカルピッチのわずかなピ
ッチの揺れが消える程度の短期間の平均化を行ったボー
カルピッチを使用する。いずれにしても、音名に定めら
れたピッチのような１００セント単位の離散的な音高を
取るのではなく、連続的に楽音信号のピッチが変化可能
となるようにする。

【００１９】上述した第１，第２の処理モードは、ピッ
チ・トゥ・ノートの処理開始前に、使用者の好みに応じ
て切り替える。あるいは、ピッチ制御部６がピッチ・ト
ゥ・ノートの処理動作中に、操作スイッチ１つで切り替
えるようにするとさらに好適である。このようにすれ
ば、歌っている曲の中で選択が容易にできる。このよう
な切り替えスイッチをマイクロフォン１の把持部に設け
れば、使用者にとってさらに操作性が良好となる。

【００２０】生成する楽音のノートオンのタイミング
は、ピッチ検出部４で音声信号のピッチが検出できた時
点とし、ノートオフのタイミングは、ピッチ検出部４で
音声信号のピッチが検出できなくなった時点とする。ピ
ッチ検出部４では、音声入力のレベルが所定レベル以上
にならないと検出できないので、ノートオン，ノートオ
フのタイミングは実質的に入力音声の強度にも依存して
いる。

【００２１】なお、入力された音声信号の強度を検出す
るブロックをピッチ検出部４と独立して設け、音声入力
の強度が第１の所定レベル以上となったときにノートオ
ンとなり、音声入力の強度が第２の所定レベル以下とな
ったときにノートオフとなるようにすることができる。
第１，第２の所定レベルは同一レベルでもよい。

【００２２】また、別にスイッチ手段を用いてこのオン
オフのタイミングによってノートオン，ノートオフの時
点を決めることも可能である。また、鍵盤５の鍵あるい
は押しボタンスイッチを操作者が押圧し続けている場合
に限り、ピッチ・トゥ・ノートの信号処理が可能となる
ようにすれば、音声を入力していないときの雑音によっ
て楽音が発生するというような誤動作を防止することが
できる。

【００２３】音源部８で生成された楽音信号は、効果付
与部９を経て、信号出力制御部１０に入力されるが、ピ
ッチ・トゥ・ノートによる楽音信号のみが信号出力制御
部１０から出力されるようにしてもよい。また、本装置
に備え付けられたＭＩＤＩＯＵＴ端子を介して、ＭＩＤ
Ｉデータで外部のＭＩＤＩ機器に出力することもでき
る。

【００２４】図４（ｂ），図１を参照して、ピッチ・ト
ゥ・ノートの第２の処理モードを説明する。音名同定部
は、ボーカルピッチが連続的に変化して同定された音名
のピッチとの差が所定の範囲を超えたときには、楽音信
号の音名を新たな音名に同定し直すとともに、アタック
部のない振幅エンベロープを持つ楽音信号を発生するよ
うに音源８を制御する。

【００２５】図４（ｂ）のｔ１の時点で、ピッチ検出部
４は、ボーカルピッチを出力開始し、このボーカルピッ
チの値に最も近いピッチの音名をＥ４と判断し、基準の
音名を決め、ノートオンを出力する。あるいは、上述し
た入力音声信号の強度を検出するブロックが発音開始を
認知したときのノートオン、あるいは上述したスイッチ
からのノートオンの時点ｔ１でのボーカルピッチの値に
最も近いピッチの音名をＥ４と判断し、基準の音名を決
める。なお、上述した時点ｔ１の直後にボーカルピッチ
が音名Ｅ４のピッチになったときに、ピッチ検出部４が
音名Ｅ４のノートオンを出力するようにしてもよい。

【００２６】ピッチ制御部６は、このボーカルピッチに
対応する音名Ｅ４のノートナンバを音源８に出力すると
ともに、音源８にノートオン処理を実行させる。その
後、ボーカルピッチが変動すると、ボーカルピッチと同
定された音名のピッチとの差に応じてピッチベント処理
を行う。すなわち、楽音信号のピッチを音名Ｅ４のピッ
チを中心音高としたピッチベンド処理によって追従させ
て楽音が連続的に変化するようにしている。しかし、ピ
ッチベンドレンジ（範囲）を、図示の例では、各音名の
音高の±１００セントの範囲に設定している。そのた
め、ピッチベンド処理だけでは、ピッチが途切れること
なく連続的に変化してピッチベンドレンジを超えてしま
うような楽音を発生することはできない。

【００２７】そこで、ボーカルピッチの検出が途切れる
ことなく連続的に変化して、ピッチベンドレンジを超え
る音高の発音が必要になったとき、図４（ｂ）のｔ２の
時点で、同定された音名Ｅ４のピッチとの差がこのピッ
チベンドレンジを超えた際には、再発音制御信号を音源
８に出力して、元の音名の前記第２の楽音信号を消音さ
せるとともに新たに同定し直された音名で楽音信号を再
発音させる。すなわち、ｔ１でノートオンとなった音名
Ｅ４のノートは、ｔ２の時点でノートオフとし、ボーカ
ルピッチを新たな音名Ｆ４に同定し直して、音源８が音
名Ｆ４の楽音を新たに発生するように制御する。ボーカ
ルピッチが音名Ｆ４のピッチになった後も、同様に±１
００セントの変動範囲においては、音名Ｆ４のピッチを
中心音高とするピッチベンド処理によって楽音信号のピ
ッチをボーカルピッチに追従させる。つまり、ピッチベ
ンドの基点とする中心音高のノートを変更して行き、そ
のつなぎをピッチベンドで処理して行く。このようにし
て、楽音信号のピッチをボーカルピッチに追従させてほ
ぼ同様に連続的に変化させることができる。

【００２８】検出されたボーカルピッチが連続的に変化
して、ピッチベンドレンジを超える音高の発音が必要に
なったときの上述した処理に、ＸＧフォーマットで規定
されているポルタメントコントロールを用いれば、新た
な音名Ｆ４の楽音をアタック部のない振幅エンベロープ
を持つものとして音源８から出力させることができる。
なお、振幅エンベロープは、通常、アタック、ディケ
イ、サステイン、リリースの部分に区分されるが、アタ
ック部は、振幅エンベロープの立ち上がりを遅らせた
り、オーバーシュートを発生させたりする。

【００２９】したがって、楽音をつないで行く際にはア
タック部をなくすことが望ましい。その結果、振幅エン
ベロープに関しては、再発音の前後で楽音信号の振幅エ
ンベロープの大きさが一致するため、音名Ｅ４のノート
から音名Ｆ４のノートにそのままつながりやすくなり、
再発音を目立たなくすることができる。なお、前の音名
Ｅ４の楽音のディケイ部は目立たないが、目立つ場合に
はこれもなくすることが望ましい。また、アタック部が
存在する振幅エンベロープであっても、前の音名Ｅ４の
楽音のディケイ部とクロスフェードすることにより、再
発音の前後で楽音信号の振幅エンベロープの大きさを略
一致させることができるため、再発音時の前後における
振幅エンベロープをつなぐことができる。

【００３０】なお、ピッチベンドレンジを０に設定した
場合は、実質的にピッチベンド動作が行われず、半音単
位に矯正された出力結果、つまり、新たなキーオンデー
タだけの出力となる。したがって、ピッチベンドレンジ
を０に設定すれば、第１の処理モードが行われることに
なる。したがって、ピッチ制御部６が動作中であって
も、ピッチベンドレンジの設定を変えるだけで、簡単に
第１，第２の処理モードを切り替えることができる。そ
の際、ボーカルピッチが連続的に変化して音名を同定し
なおして再発音する際の振幅エンベロープについても、
第１，第２の処理モードの切り替えに連動して切り替え
るようにすることができる。

【００３１】上述したように、ピッチ・トゥ・ノートの
処理では、入力音声のピッチに基づいてピッチが制御さ
れる楽音を生成する際に、音名のピッチに同定されて階
段状にピッチが変化する演奏と、入力音声のピッチに追
従して段差がなく滑らかにピッチが変化する演奏とを使
用者が任意に選択することができる。歌を歌っている最
中に、楽音のピッチの変え方をリアルタイムに切り替え
ることができる。歌声を記録再生装置に取り込んでから
でなくても、思うような楽音信号の音高が得られるまで
自分の声を変えて歌い直してみることができる。

【００３２】なお、楽音信号の強度は、操作パネル１１
で設定していたため、演奏中は一定であった。そのた
め、力が抜けたような単調な音になってしまう場合があ
る。すなわち、キーオン毎に予め設定されたエンベロー
プを付与していたが、生成する楽音が単調になってしま
う。そこで、入力音声信号の強度を検出する手段と、検
出された入力音声信号の強度に基づいて、例えば、これ
に比例した強度で楽音信号の強度を制御する手段を加え
る。入力音声信号のボーカルピッチおよび強度に基づい
て楽音信号のピッチおよび強度を制御することができ
る。このようにすれば、キーオン毎に変化を付けた力強
い演奏ができるようになるとともに、使用者が歌ってい
るときの感情を楽音信号の強度によって反映させること
ができるようになる。楽音信号は所定形状の振幅エンベ
ロープを付けて出力されるが、この振幅エンベロープの
強度（振幅エンベロープに掛け合わせる係数）を入力音
声信号の発音強度に基づいて決定する。また、外部の機
器にＭＩＤＩデータで出力する場合には、ノートオンの
ベロシティデータとして出力することができる。

【００３３】次に、ボーカルハーモニーモードにおいて
図１に示した各構成要素の機能的動作を説明することと
する。上述した構成の楽音信号処理装置は、入力音声に
基づいてボーカルハーモニー音信号を生成し、これを入
力音声であるリード音に付加して出力する。同時に、リ
ード音信号，ハーモニー音声信号に対してジェンダーコ
ントロールを行うことができる。ボーカルハーモニーモ
ードは、操作パネル１１により設定される。男性、女
性、混成コーラス、カントリー、ジャズ、アカペラコー
ラス、低音コーラス等の特色あるボーカルハーモニーを
それぞれハーモーニーキットとしてまとめ、操作パネル
１１によってこのハーモーニーキットを選択することに
より、機能制御部１２で多数のパラメータを一括して設
定することができる。

【００３４】マイクロフォン１から入力された使用者の
声のボーカルピッチは、ピッチ検出手段４で検出され
る。ピッチ制御部６は、ピッチ検出手段４の出力と鍵盤
５による音高指定を制御入力とし、ピッチ変換部３ａ，
３ｂを制御する。ピッチ変換部３ａ，３ｂは、使用者の
声の信号を入力して、上述した使用者の声の信号のピッ
チを所望のピッチに変換する。引き続き、効果付与部７
ａ，７ｂにおいて効果を付与し、第１，第２のハーモニ
ー音信号を生成する。なお、ハーモニー音信号は２声に
限らず、１声でも、３声以上であってもよい。

【００３５】操作パネル１１および機能制御部１２は、
使用者の音声信号に付与する効果と、第１，第２のハー
モニー音信号に付与する効果とを独立して設定できるよ
うにしている。そのため、使用者は、効果付与部７ａ，
７ｂでは効果付与部２で付与する効果とは異なる効果、
例えば、効果の種類を変えたり、およびまたは効果の程
度を変えて効果を付与することができる。例えば、リー
ド音信号に対してハーモニー音信号の効果の深さを大き
くしたり、リード音信号に対しては音像の定位位置を変
えずに、ハーモニー音信号に対してはランダムパンを行
う。また、機能制御部１２により、デフォルトの設定状
態では、効果付与部７ａ，７ｂでは、効果付与部２とは
常に効果が異なるようにしておく。このようにして、元
の使用者の声に対し、くっきりとしたハーモニー音を生
成することが可能となる。

【００３６】ピッチ制御部６は、また、効果付与部７
ａ，７ｂを制御し、ピッチ変換前後のピッチ差、すなわ
ち、ボーカルピッチとピッチ変換されたハーモニー音信
号とのピッチ差に応じてハーモニー音信号に付与する効
果の種類を変更したり、およびまたは、効果の程度を変
更する機能を有している。その結果、使用者の音声信号
に対し、ハーモニー音声信号に変化に富んだ効果を付与
したり、ハーモニー音信号に対して使用者の音声からの
ピッチ差に応じた適切な効果の付与を自動的に行うこと
ができる。

【００３７】なお、この機能ブロック図においては、ア
ナログ信号処理とディジタル信号処理の区別をしていな
いので、Ａ／Ｄ変換器、Ｄ／Ａ変換器の記載を省略して
いる。一例として、マイクロフォン１のアナログ信号
は、Ａ／Ｄ変換器を通してディジタル信号に変換してか
ら効果付与部２等に出力する。信号出力制御部１０にお
いては、効果付与部２，７ａ，７ｂ、９の各出力を重み
付けした後にディジタル加算し、Ｄ／Ａ変換器を通して
アンプ１４に出力する。

【００３８】図２は、ボーカルハーモニーモードの具体
例の説明図である。図２（ａ）にボコーダーハーモニー
モードにおける各音声信号の関係を示す。マイクロフォ
ン１から使用者が音声を入力すると同時に鍵盤５を弾く
と、弾かれた鍵に対応する音高と一致する音高（キーオ
ンノート）のハーモニーノートを元の音声であるリード
音に付加して発音させる。このハーモニー音信号の音色
は、操作者の「自分の声」ということになり、この音色
の楽器を鍵盤５を弾いているようなものとなる。このハ
ーモニー音の発音期間は、鍵盤５の押鍵により制御され
る。操作パネル１１で発音形態を設定することにより、
例えば、サステイン期間のあるオルガンと同様にキーオ
ンからキーオフまで持続音を発生させたり、ピアノのよ
うにキーオンから所定期間減衰音を発生させることがで
きる。

【００３９】操作パネル１１でボコーダのタイプを選ぶ
ことにより、発音するハーモニーノートを鍵盤５で指定
されたノート（キーオンノート）のピッチからトランス
ポーズさせることができる。自動設定では、ボーカルノ
ートを中心とする±６半音内に入る音高となるようにシ
フト量を設定することもできる。なお、ピッチ制御部６
では、ボーカルピッチが前回計算したノートの上または
下に半音を超えた場合に、波長比較で最も近い音高のノ
ートをボーカルノートとしている。

【００４０】図２（ｂ）にコーダルハーモニーモードに
おける各音声信号の関係を示す。マイクロフォン１から
使用者が音声を入力し、同時に鍵盤５でコード（和音）
を指定する。ピッチ制御部６では、コードの種類を認識
して、このコードを構成する音名に合ったハーモニー音
をリード音に付加して発音させる。すなわち、使用者が
音声を入力するだけで鍵盤５で指定されたコードに合う
ハーモニー音が付くことになる。例えば、コードがＣメ
ジャーであるとき、ハーモニー音は、その構成音である
Ｃ，Ｅ，Ｇのいずれかの音高とする。操作パネル１１の
設定によりすぐ上の音を鳴らす設定（デュエット・アバ
ブ）になっていた場合、入力音声の音高がＣであるとき
に、ハーモニー音はＥのハーモニーノートで鳴ることに
なる。コーダルハーモニモードでは、一度コードが確定
すると鍵盤５を押さえなくても音声を入力するだけでそ
の構成音のハーモニーがいつでも付くことになる。曲の
進行に合わせて鍵盤５でコードを指定換えすることもで
きる。

【００４１】図２（ｃ）にデチューンハーモニーモード
およびクロマチックハーモニーモードにおける各音声信
号の関係を示す。デチューンハーモニーモードでは、ボ
ーカルピッチまたはボーカルノートをわずかにずらせた
音を鳴らす（いわゆるコーラス効果）。デチューン量
は、デチューンタイプを切り替えることにより±数セン
トないし±２０セント程度まで変えるようにしている。
クロマチックハーモニーモードでは、ボーカルピッチま
たはボーカルノートから固定ピッチ分シフトした音を鳴
らす。ピッチシフト量は、同音程（ユニゾン）から±１
オクターブ程度まで変えるようにしている。

【００４２】図３は、ピッチ制御部による効果付与部の
制御態様の説明図である。使用者の声のボーカルピッチ
とピッチ変換後のハーモニー音のピッチ（ハーモニーノ
ート）とのピッチ差に応じてハーモニー音信号に付与す
る効果のパラメータ値を変化させる。ボーカルピッチ
は、丸め処理されたボーカルノートのピッチでもよい。
図３（ａ）は、ピッチ差の絶対値が一定の閾値ｄ１を超
えたときにパラメータ値Ｐｓで表される一定量の効果を
付与する例を示す。ｄ１およびＰｓの値は、操作パネル
１１および操作制御部１２によって可変設定することが
できる。図３（ｂ）は、ピッチ差が一定の閾値ｄ１を超
えると効果が掛かり始め（本例はピッチ差ｄ１に設
定）、その後はピッチ差の絶対値に対して比例的にパラ
メータ値が上昇し、パラメータ値がＰｓとなって飽和す
る例を示す。図３（ｃ）は、効果がかかり始めてから、
その後はピッチ差の絶対値に対して増加率が上昇して、
パラメータ値がＰｓとなって飽和する例を示す。図３
（ｄ）は、閾値ｄ１を負側に設定した場合を示すもので
ある。この場合、ピッチ差の絶対値が負となる領域のパ
ラメータ値は使用されない。

【００４３】図３（ｅ）は、ピッチ差が正負の場合に効
果の種類を異ならせたものである。男性が歌っている低
いオクターブの音高に対して、鍵盤５の１オクターブ上
のキーによりハーモニー音の音高が１オクターブ上に指
定されたとき、ハーモニー音の声質を男性のままにして
おくと違和感があるために、ジェンダー制御を行い女性
声にする。逆に、女性が歌っている高いオクターブの音
高に対して、鍵盤５の１オクターブ下のキーによりハー
モニー音の音高が１オクターブ下に指定されたときもジ
ェンダー制御を行い男性声にする。

【００４４】図３（ｅ）においては、ボーカルピッチあ
るいはボーカルノートのピッチを基準にして、例えば、
ハーモニーノートがこれよりも高く、閾値ｄ１を超える
ときには、パラメータＡとして女性声になるようにジェ
ンダー制御を行い、ハーモニーノートがこれよりも低
く、閾値ｄ２未満になるときには、パラメータＢとして
男性声になるようにジェンダー制御を行う。同時に、ピ
ッチ差に応じてパラメータ値を増加させジェンダー制御
を深くする。

【００４５】図示の例では、ピッチ差に応じてパラメー
タ値が増加するものだけを示したが、逆にパラメータ値
が減少したり、増減する場合もある。ハーモニー音には
同時に複数の効果が付与することができ、それぞれの効
果に応じて、上述したピッチ差と効果パラメータの対応
を表すルックアップテーブルおよびまたは、閾値ｄ１，
ｄ２や飽和値Ｐｓの値を適宜選択すればよい。その結
果、操作者の音声信号のボーカルピッチあるいはボーカ
ルノートのピッチとハーモニー音信号のピッチとの差に
応じて付与すべき効果の種類およびまたは効果の程度を
変更することができる。なお、ルックアップテーブルに
代えて、ピッチ差に対するパラメータ値の関数を記憶し
ておき、演算により効果のパラメータ値を算出してもよ
い。

【００４６】ピッチ差によりハーモニー音信号に対する
効果の制御を行うことにより、リード音信号に対する効
果の付与とは効果の種類および効果の程度を異ならせる
ことができる。さらに、曲の進行とともに鍵盤５の操作
によりハーモニー音信号のピッチだけでなく、これに伴
ってハーモニー音信号に対する効果を時々刻々変化させ
ることができる。

【００４７】図４（ｂ）に示す第２の処理モードにおい
ては、楽音信号のピッチが連続的に変化するピッチとす
るために、ポルタメントコントロールを実行してノート
ナンバーを変更して複数の楽音を連続して再発音させて
いる。すなわち、ノートオンとなった最初の音高がノー
トオフとなる同時に、次の音高がノートオンとなるよう
にして、新しいノートを連続的に発生させながら同時に
連続的にピッチを変化させている。一方、楽音信号に対
し、楽音信号の発生開始より予め設定された遅延時間経
過後に効果の付与を開始する、いわゆるディレイ効果が
あり、例えば、ディレイビブラート、ディレイトレモロ
等がある。

【００４８】図５は、連続的に発音させる楽音信号にデ
ィレイ効果を付与する場合の説明図である。図５（ａ）
は本発明の実施の一形態の動作説明図、図５（ｂ）は比
較例としての従来のディレイ効果付与の動作説明図であ
る。ディレイビブラートを付与する例を示すが、説明用
の図であるため、ビブラートの周期や深さは実際のもの
とは異なる。

【００４９】図５（ｂ）において、ピッチを連続させて
変化させるために、複数の楽音信号〜を連続的に発
音する場合で説明する。楽音信号がノートオフとなる
と同時に、楽音信号がノートオンとなる。楽音信号
〜についても同様である。このような連続する楽音信
号〜にディレイビブラートを付与しようとすると、
最初の楽音に対してノートオンから所定時間経過後に
効果が付与開始された後、この楽音の終了とともに効果
の付与も終了する。そして、連続する以降の楽音に対
しても、同様に楽音の終了の度に効果の付与が終了し
た。その結果、演奏上実質的に連続した１つの音となる
べき連続楽音〜に対する効果が途切れ途切れになり
違和感があった。

【００５０】図５（ａ）を参照して、楽音を連続的に発
音させる場合に、ディレイビブラートを付与する場合を
説明する。最初の楽音に対し、ワンテンポおいてから
所定時間経過後に効果が付与開始された後は、この楽音
が終了しても効果の付与がそのまま持続する。そして、
連続する以降の楽音の発生によって効果の付与が新た
に開始されないようにする。その結果、演奏上実質的に
連続した１つの音となるべき連続楽音〜に対する効
果は、途中で楽音信号が入れ替わっていても、一連の１
つの音と見なすことにより、ディレイビブラートが途中
で切れることなく連続して付与されることになるので、
連続音に対して自然なディレイビブラートが違和感なく
付与された楽音を発生させることができる。

【００５１】図１において、上述した作用効果を達成す
るために、効果付与手段９は、ピッチ制御部６が第１番
目の楽音信号から楽音信号を連続発生させている間にお
いては、第１番目の楽音信号の発生により起動した効果
をそのまま持続させるとともに、連続して発生する第２
番目以後の楽音信号の発生による起動を阻止するように
している。

【００５２】上述した説明では、効果付与手段９は、楽
音信号の発生開始から所定時間遅れて効果の付与を開始
するディレイ効果を付与するものであった。しかし、所
定の時間経過に従って、効果の種類が変更されたり、同
じ種類の効果であっても効果の程度が変化して行くよう
な、所定の時間経過に従って変化する効果であれば、同
様に、効果が途中で切れることなく連続して付与される
ことになるので、自然な効果を付与することができる。
上述した説明では複数の楽音が重なることなく連続して
発音される場合について説明したが、一連の連続音と認
識されるようなものに対してディレイ効果を付与する場
合にも同様の作用効果がある。連続する楽音は発音期間
が一部重なっていても、あるいは、わずかに離れて発音
されるような場合でもよい。

【００５３】また、上述した説明では、ピッチ・トゥ・
ノートのモードについて説明した。しかし、電子楽器の
通常の演奏モードであってもよい。通常の演奏モードに
おけるポルタメント効果は、新規に鍵盤５を押したとき
のノートオンによりに発生する楽音のピッチが、以前の
ノートオンにより発音された楽音のピッチからこの新規
に押された鍵盤の指定ピッチまで連続的に移行させる効
果である。ポルタメント効果の設定を演奏前に行うもの
では、演奏中に常にポルタメント効果がかかる。演奏中
において鍵をキーオフする前に次の鍵をキーオンする、
いわゆるレガート奏法を行なうことによりポルタメント
効果をかける場合もある。上述したポルタメント効果の
一種として、ピッチを連続的に移行させる代わりに半音
または全音単位で楽音のピッチを移行させる場合はグリ
サンド効果という場合もある。上述したポルタメント効
果の演奏制御を行っている場合に「ディレイ効果」をか
ける場合にも、同様な動作で同様な作用効果を奏する。

【００５４】図６は、本発明の音声信号または楽音信号
の処理装置の実施の一形態の外観図である。図中、図１
と同様な部分には同じ符号を付し説明を省略する。２１
は電子楽器本体、２２は操作子群、２３は表示部、２４
は接続コードである。電子楽器本体２１は、鍵盤５と左
右のスピーカ１５，１６を有し、これ自体で演奏ができ
るようになっている。操作パネル１１には複数の操作子
からなる操作子群２２、表示部２３が設けられている。
表示部２３は、各種の操作子によるパラメータ設定状態
の表示やハーモニーキットの表示などを行う。接続コー
ド２４は、電子楽器本体２１とマイクロフォン１とを接
続するコードである。図示を省略したが、電子楽器本体
２１には、ＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍ
ｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）端子を
備え、外部のシーケンサ等のＭＩＤＩ機器に接続するこ
とができるようにしている。また、ピッチベンドホイー
ルやモジュレーションホイールを備えていてもよい。

【００５５】図６を参照し、図１に示したパン制御部１
３が実行するランダムパンの動作を説明する。パン制御
は、音像の定位を決めるものであり、左右の２つのスピ
ーカ１５，１６を駆動するアンプ１４のＬチャンネル，
Ｒチャンネルの音量比を制御することによって音像の定
位位置を制御する。パン制御は個別の効果付与部２，７
ａ，７ｂ，９とは別に示したが、パン制御も一種の効果
付与である。図中、〜の右側に示した数字は、Ｌチ
ャンネルとＲチャンネルの信号の音量比率、すなわち、
Ｌチャンネルの音量／（Ｌチャンネルの音量＋Ｒチャン
ネルの音量）に比例した値の数字であり、左右の幅方向
における音像の定位位置を示す。図示の例では、に示
す０〜１２７の範囲の数字で設定し、０が最も左の定位
位置を表し、１２７が最も右の定位位置を表す。０の時
はＬチャンネル側一杯に定位し、Ｒ側は音が鳴らない。
また、１２７のときはＲチャンネル側一杯に定位し、Ｌ
側は音が鳴らない。

【００５６】従来、一種の音響効果として、楽音信号を
ランダムに定位させるというランダムパンを行うことが
あった。例えば、自分が弾いた楽音信号が押鍵毎に右か
ら次に左からと、あちらこちらから聞こえるようにする
ことがあった。しかし、複数の楽音信号に対してそれら
の音像をランダムに定位させようとすると、時々複数の
楽音信号の音像が同じ位置に定位してしまうことがあ
る。このときは一点に楽音信号がかたまって急に音幅域
が狭く感られるという問題があった。複数の音像が中央
に定位したときには、更に狭く感じられた。

【００５７】図１に示した楽音信号処理装置において、
パン制御部１３は、第１，第２のハーモニー音信号の音
像定位を時間とともにランダムに制御する。第１，第２
のハーモニー音信号の音像を定位させる領域であるに
示す０〜１２７の領域が、例えば、に示す０〜５７，
７１〜１２７、あるいは、に示す０〜３５，４６〜８
１，９２〜１２７のように、複数の分割区域に分割され
ている。パン制御部１３は、所定の期間ごとに複数の楽
音信号の定位位置を所定の領域内でランダムに決定する
定位位置決定部、および、この定位位置決定部により既
に決定された複数の楽音信号の定位位置の情報、例え
ば、上述した定位位置を表す数字、あるいは、定位位置
の属する分割区域を特定する番号などを記憶する記憶部
を有し、定位位置決定部は、記憶手段が記憶する定位位
置の情報に基づいて、既に決定された定位位置を含まな
い全ての分割区域を上述した所定の領域とする。このよ
うにして、第１，第２のハーモニー音信号の定位位置が
集中しないように第１，第２のハーモニー音信号の定位
位置を決定することにより、常に安定したランダムパン
の効果を与えることができる。

【００５８】例えば、第１，第２のハーモニー音信号の
音像を定位させる領域を、図中、に示す０〜５７，７
１〜１２７の領域とする。ある時点において、第１のハ
ーモニー音信号の定位位置を０〜５７、７１〜１２７の
範囲で数値をランダムに選択し、例えば４０の位置とす
る。第２のハーモニー音信号の定位位置は、４０の位置
を含む０〜５７の分割区域を除いた７１〜１２７の分割
区域の範囲で数値をランダムに選択して、例えば１００
の位置とする。

【００５９】すなわち、所定の期間ごとに、第１，第２
のハーモニー音信号の内の１つのハーモニー音信号の定
位位置をランダムに決定し、他の１つのハーモニー音信
号が定位する位置を、前者のハーモニー音信号が定位し
た分割区域を除く全ての領域においてランダムに決定す
る。楽音信号の数が増えた場合でも、複数の楽音信号が
定位する位置を、既に定位する位置が決定された他の楽
音信号が定位する分割区域を除く他の全ての分割区域に
おいてランダムに決定することを、複数の楽音信号につ
いて順次繰り返すことにより、複数の楽音信号が同じ分
割区域内に重複して定位しないこととなり、前記複数の
楽音の定位する位置が集中しないようになる。より具体
的なプログラムの処理ステップは図１６を参照して説明
する。なお、上述した所定の期間は、一定時間に設定し
てもよいし、１つのノートのキーオンからキーオフまで
の期間としてもよい。

【００６０】その際、第１，第２のハーモニー音信号の
音像を定位させる領域は、，に示したように２つの
分割区域が所定距離だけ離れて隣接するように設定する
ことにより、隣り合った分割区域に定位した２つの楽音
が、たまたま近寄った位置に定位しても、所定距離だけ
は離れるようにすることができ、パン効果を引き立たせ
ることができる。なお、に示したように中央の部分を
あけて左右２つの方向に定位させ、リード音信号の定位
位置を中央に固定し、第１，第２のハーモニー音信号に
パン効果を付与すれば、リード音信号に対して第１，第
２のハーモニー音信号が引き立つことになる。

【００６１】また、第１のハーモニー音信号の定位位置
がランダムに設定され、次に、第２のハーモニー音信号
の定位位置がランダムに設定されるときには、第１のハ
ーモニー音信号の定位位置からある一定距離以上離れた
位置に定位することを条件として第２のハーモニー音信
号をランダムに設定するようにしてもよい。そのような
場合には、必ずしも予め分割区域の間をあけておかず
に、第１の定位位置を決めてから第２の分割区域の範囲
を決めてもよい。例えば、第１，第２のハーモニー音信
号の定位位置の範囲を０〜６３，６４〜１２７の２つの
分割区域として、もし第１のハーモニー音信号の定位位
置が６０に決まった場合には、第２のハーモニー音信号
を定位させる位置の範囲を６０から１４だけ離した７４
から１２７とし、この範囲で定位位置をランダムに選択
する。

【００６２】上述した説明では、第１，第２のハーモニ
ー音信号に対してランダムパンの効果付与を行ったが、
リード音信号、楽音信号を含め、音像定位させる音の
数、音の種類は限定されない。分割区域はランダム定位
させる音の数以上あればよい。

【００６３】図７は、本発明の音声信号または楽音信号
の処理装置の実施の一形態のハードウエア構成を示す図
である。図中、図１，図６と同様な部分には同じ符号を
付して説明を省略する。３１はＣＰＵバス、３２はＲＯ
Ｍ、３３はＲＡＭ、３４はＣＰＵ、３５は外部記憶装
置、３６はＭＩＤＩインターフェース、３７はＡＤＣ、
３８は音源部、３９はＤＳＰ、４０はＤＡＣである。

【００６４】ＣＰＵバス３１にはＣＰＵ３４などの複数
のハードウエアが接続されている。操作子群２２は、ピ
ッチベンドホイールやモジュレーションホイール等の演
奏操作子や音色等の楽音パラメータを設定する設定操作
子である。表示部２３は、各種の操作子の操作状態等を
表示する。ＲＯＭ３２には、ＣＰＵ３４を用いて実行さ
れる本発明の音声信号または楽音信号の処理プログラム
のほか、プリセットデータやプリセット音色データ、変
換テーブルなどが記憶されている。ＲＡＭ３３には、Ｃ
ＰＵ３４のワーキングエリア、音色編集バッファ等が設
けられている。

【００６５】外部記憶装置３５は、フレキシブル磁気デ
ィスクドライブ（ＦＤＤ），ハードディスクドライブ
（ＨＤＤ）等である。外部記憶装置３５には、音色デー
タや曲データを保存したり、本発明の音声信号または楽
音信号の処理プログラムをインストールしておきＲＡＭ
３３にロードして実行させることもできる。ＭＩＤＩイ
ンターフェース３６は、シーケンサやパーソナルコンピ
ュータとの間で、ＭＩＤＩデータの転送を行う。

【００６６】ＡＤＣ３７は、マイクロフォン１からの入
力音声信号をディジタル信号に変換しＣＰＵバス３１に
出力するＡ／Ｄ変換器である。音源部３８は、図１に示
した音源部８の機能ブロックとは必ずしも一致しない
が、ＣＰＵバス３１から楽音パラメータを入力して楽音
信号を生成しＤＳＰ３９に出力する。音源３８の機能も
ＣＰＵ３４のコンピュータプログラムで実現させる場合
もある。ＤＳＰ３９は、ＣＰＵ３４によって制御されて
信号処理を行い、入力音声信号のピッチ検出およびピッ
チ変換を行うとともに、入力音声信号、ピッチ変換信
号、音源部８の出力信号に効果を付与する。なお、上述
したＤＳＰ３９を機能分割することもできる。入力音声
信号のピッチ検出およびピッチ変換関係の第１のＤＳＰ
と効果付与の第２のＤＳＰの２個を使用し、ＡＤＣ３７
の出力を第１のＤＳＰに入力させ、第２のＤＳＰは音源
部８の出力と第１のＤＳＰの出力を入力すればよい。Ｄ
ＡＣ４０は、ＤＳＰ３９の出力信号をアナログ信号に変
換するＡ／Ｄ変換器であり、ステレオアンプ１４を経て
スピーカ１５，１６に出力する。

【００６７】ＣＰＵ３４は、マイクロフォン１からの入
力音声信号、鍵盤５，操作子群２２からの操作情報、Ｍ
ＩＤＩインターフェース３６を介して入力された演奏情
報に対し、ＲＡＭ３３を用いて処理を行い、各種設定パ
ラメータの値を表示部２３に表示したり、処理された演
奏情報を基に音源部３８をコントロールしたり、ＭＩＤ
ＩデータをＭＩＤＩインターフェース３６を介して外部
に出力する。ＤＡＣ４１もＣＰＵバス３１に接続され
て、ＣＰＵ３４に制御されてミキシング処理などを行う
場合もある。なお、リード音信号、ハーモニー音信号、
楽音信号、これらの合成出力信号を外部記憶装置３５に
保存できるようにしてもよい。

【００６８】図８〜図１６は、本発明の音声信号または
楽音信号の処理装置の動作を説明する処理ステップの一
例を説明するためのフローチャートである。図８は、メ
インフローチャートおよび割り込み処理のフローチャー
トである。Ｓ５１においては装置が初期化され、Ｓ５２
においては操作パネル１１上の複数の操作子群２２によ
り楽音パラメータ等の各種の設定を行う。Ｓ５３におい
ては、入力音声に対する効果付与などの制御を行う。入
力音声自体の制御についてはフローチャートを用いた説
明は省略する。Ｓ５４においては、各種の設定に基づき
ハーモニー音や楽音の演奏を行う。Ｓ５４の処理が終了
すると再びＳ５２に戻り、Ｓ５２〜Ｓ５４が繰り返し実
行される。この繰り返しループの途中において、Ｓ５５
に示すピッチ検出の割り込み処理、および、Ｓ５６に示
す音声，楽音出力とパン効果付与に関する割り込み処理
がなされる。

【００６９】図９は、操作パネル設定に関するフローチ
ャートである。Ｓ６１においては、ハーモニーモードの
選択があるか否かを判定し、ある場合にはＳ６２に処理
を進め、ハーモニーに関する設定を行い、ない場合には
Ｓ６３に処理を進める。同様に、Ｓ６３，Ｓ６６，Ｓ６
８の各ステップにおいては、それぞれ、ジェンダーコン
トロールの選択、ピッチ・トゥ・ノートの選択、パン設
定モードの選択があるか否かを判定し、選択されたそれ
ぞれの設定のステップに進む。

【００７０】Ｓ６４においては、オリジナルの入力音声
であるリード音に対して付与する効果として、ジェンダ
ーコントロールの設定を行い、Ｓ６５において性別の声
質、すなわち、男性声あるいは女性声の設定を行う。な
お、ハーモニー音についは、図１を参照した説明では、
ピッチ差によって自動的に男性声あるいは女性声を設定
するようにした。しかし、ハーモニー音についても、リ
ード音と同様に操作子でジェンダーコントロールの設定
を行うようにすることも可能である。Ｓ６９において
は、パンの種類、すなわち、通常のパンあるいはランダ
ムパンの設定を行い、次のＳ７０においては、ランダム
パンにおいて音像定位を移動させるタイミング間隔をパ
ンの指定長さ（ｉｎｔ）として設定する。なお、図には
記載を省略したが、キーオン（ノートオン）毎に音像定
位をランダムに移動させる設定もここで行う。

【００７１】図１０は、図９のＳ６２「ハーモニーの設
定」ステップのフローチャートである。Ｓ８１において
は、ハーモニーモードを解除し、Ｓ８２においては、ボ
コーダハーモニーモードが選択されたか否かを判定し、
ボコーダハーモニーモードが選択されたときには、Ｓ８
３に処理を進め、その他のモードが選択されたときに
は、Ｓ８６に処理を進める。同様にして、Ｓ８６，Ｓ８
８，Ｓ９１においては、それぞれ、コーダルハーモニ
ー，デチューンハーモニー，クロマチックハーモニーが
選択されたか否かを判定し、選択されたそれぞれのモー
ドの設定を行う。

【００７２】Ｓ８３においては、ボコーダーハーモニー
モードを設定し、次のＳ８４においては、必要に応じて
ピッチ差対応の効果の設定を行う。すなわち、図３を参
照して説明したボーカルピッチとのピッチ差に応じてハ
ーモニー音信号に付与する効果を変化させる設定を行
う。ピッチ差対応の効果の設定を行わない場合には、そ
のままリターンさせるが、この設定を行う場合には、Ｓ
８５において、ピッチ差対応の設定を行う効果の種類、
例えば、ジェンダーコントロール，ビブラート，残響
（リバーブ），トレモロ等の設定を行う。変化率特性
は、例えばルックアップテーブル等を用いて設定でき
る。Ｓ９０においては、デチューン量をピッチ差で設定
し、Ｓ９３においては、シフトさせる量をノート差で設
定する。

【００７３】図１１は、図９のＳ７１「その他の指定さ
れた処理」ステップのフローチャートである。Ｓ１０１
においては、音色設定モードであるか否かを判定し、音
色設定モードであるときにＳ１０２に処理を進め、音色
設定モードでなければＳ１０３に処理を進める。Ｓ１０
２においては、ピッチ・トゥ・ノートのモードおよび電
子楽器の通常の演奏モードにおいて使用する音色を設定
する。Ｓ１０３においては、効果設定モードであるか否
かを判定し、効果設定モードであればＳ１０４に処理を
進め、効果設定モードでなければＳ１０８に処理を進め
る。

【００７４】Ｓ１０４〜Ｓ１０７においては、モード等
に対応して決まる「音のパート」毎に複数種類の効果設
定を行うとともに、効果を付与するタイミングを設定す
る。Ｓ１０４において、モード等の選択および効果付与
の対象とする発音パートの選択を行い、Ｓ１０５に処理
を進める。すなわち、ハーモニーモードを選択してリー
ド音のパート、あるいは、１または複数のハーモニー音
のパートを選択する。ジェンダーコントロールを行う場
合においては、ジェンダーコントロールをする入力音
声、あるいは、１または複数のハーモニー音のパートを
選択する。ピッチ・トゥ・ノートのモードにおいては、
入力音声によってピッチ指定される楽音のパートを選択
する。通常演奏モードにおいては、鍵盤で指定される楽
音のパートを選択する。

【００７５】Ｓ１０５においては、効果種類の選択を行
い、Ｓ１０６に処理を進める。すなわち、Ｓ１０４にお
いて選択されたパートの処理チャンネルに対して、ジェ
ンダーコントロール，ビブラート，トレモロ，遅延信号
の付加（ディレイ）、残響（リバーブ）等の効果の種類
および程度（深さ）を設定する。Ｓ１０６においては、
設定方法の選択を行い、Ｓ１０７に処理を進める。すな
わち、Ｓ１０６においては、Ｓ１０４において選択され
たパートの処理チャンネルに対して、効果を常に付加す
るのか、あるいは、状況を見て所定の条件を満たす時に
効果を付与するのかを選択して設定する。後者の一例と
しては、予め設定された効果付与開始時間［ｕｔｉｍ
ｅ］をおいたタイミングで効果を付与する場合があり、
具体的にはディレイビブラート等の「ディレイ効果」が
ある。

【００７６】後者の場合、時間によって変化させる効果
の有無、あるいは、時間によって変化させる効果の程度
等を示す効果変化表をルックアップテーブルとして持た
せ、このテーブルを選択したり、およびまたは上述した
効果付与開始時間［ｕｔｉｍｅ］などのパラメータの値
を入力して演算する。これらの選択や入力を操作子で行
う際には、表示器を入力画面に切り替えるようにする。
Ｓ１０７においては、設定を終了するか否かを操作子の
操作により判定し、終了する場合にはリターンとなる
が、終了しない場合には、Ｓ１０４に処理を戻す。１つ
のパートに複数の種類の効果を設定することができ、こ
の場合には、処理を戻した後に再び同じパートを選択し
て別の効果を設定すればよい。

【００７７】Ｓ１０８においては、ピッチ決定モードで
あるか否かを判定する。ピッチ決定モードであるときに
はＳ１０９に処理を進め、ピッチ決定モードでないとき
にはＳ１１０のその他の処理に進む。このステップは、
図１，図４を参照して説明したピッチ・トゥ・ノートを
実行する際に設定する。Ｓ１０９においては、入力音声
のピッチを丸めて楽音信号の音高を表すノート値とする
第１の処理モードか、入力音声のピッチをそのまま楽音
信号のピッチとする第２の処理モードを選択する。な
お、入力音声そのものに対する効果付与部２における機
能として、入力音声のピッチを矯正して音楽の音名に対
するピッチに変換してリード音を生成することができ
る。Ｓ１０９は、上述した機能に対する設定ができるよ
うに変更可能である。

【００７８】図１２は、図８のＳ５３「演奏」ステップ
のフローチャートである。図１３は、図１２のＳ１２２
「キーオンイベントに対応した音声，楽音信号を生成」
ステップのフローチャートである。図１２のＳ１２１に
おいては、キーオンイベントが発生したか否かを判定
し、キーオンイベントがあるときには、Ｓ１２２に処理
を進め、キーオンイベントがないときにはＳ１２８に処
理を進める。なお、ピッチ・トゥ・ノートにおけるノー
トオンの発生は、キーオンイベントとして処理し、ノー
トオフの発生はキーオフイベントとして処理する。Ｓ１
２２においては、キーオンイベントに対応する音声，楽
音信号を生成する。Ｓ１２２における処理を図１３を参
照して先に説明する。

【００７９】図１３のＳ１４１においては、ハーモニー
モードの設定があるか否かを判定し、この設定がある時
にはＳ１４２に処理を進め、ない時にはＳ１４３に処理
を進める。Ｓ１４２においてはハーモニー音の生成を行
い、Ｓ１４３に処理を進める。Ｓ１４２の処理は、図１
４を参照して後述する。Ｓ１４３においては、ピッチ・
トゥ・ノートの設定があるか否かを判定し、この設定が
ある時には、Ｓ１４４に処理を進め、ないときにはＳ１
４５に処理を進める。Ｓ１４４においては、入力音声か
ら検出されたピッチに応じたピッチ、設定された音色で
楽音信号を生成し、Ｓ１４５に処理を進める。Ｓ１４５
においては、通常演奏モードの設定があるか否かを判定
し、この設定があるときにはＳ１４６に処理を進め、な
いときにはリターンする。Ｓ１４６においては、処理キ
ーオンのノートナンバーで、設定されている音色にて楽
音信号を生成してリターンする。

【００８０】図１２に戻って、再び「演奏」ステップに
おける処理を説明する。Ｓ１２３においては、効果設定
があるか否かを判定し、この効果設定があるときにはＳ
１２４に処理を進め、ないときにはＳ１２７に処理を進
める。なお、ここでいう効果とは、図１１のＳ１０３〜
Ｓ１０７において設定される効果である。Ｓ１２４にお
いては、「ディレイ効果」の設定があるか否かを判定
し、この設定があるときにはさらにＳ１２６に処理を進
め、ないときにはＳ１２５に処理を進める。Ｓ１２６に
おいては、ピッチ・トゥ・ノート及び通常楽音演奏モー
ドにおける演奏形態がポルタメントコントロールされる
演奏形態、または、ポルタメントコントロールされるレ
ガート奏法の演奏形態であるか否かを判定し、これらの
演奏形態である場合には、Ｓ１２５に処理を進め、これ
らの演奏形態でない場合には、Ｓ１２７に処理を進め
る。

【００８１】すなわち、「ディレイ効果」が設定されて
いるときには、キーオンイベント（ノートオン）によっ
ては生成された音声，楽音信号に直ちには効果を付与し
ないが、ポルタメントまたはレガートコントロールされ
た演奏形態において、最初のノートに対応する楽音に付
与された効果を引き続き継続させる。Ｓ１２７において
は、生成した音声，楽音信号を処理チャンネルに出力し
て、Ｓ１３０に処理を進める。

【００８２】一方、Ｓ１２８においては、キーオフイベ
ントがあるか否かを判定し、あるときにはＳ１２９に処
理を進め、ないときにはＳ１３０に処理を進める。Ｓ１
２９においては、キーオフイベントに対応した音声，楽
音信号の生成を停止し、Ｓ１３０に処理を進める。Ｓ１
３０においては、音声，楽音出力中の処理チャンネル
（ｎ）があるか否かを判定し、あるときには、Ｓ１３１
に処理を進め、ないときにはリターンする。なお、この
図では省略しているが、Ｓ１３１〜Ｓ１３６において
は、リード音のパートの処理チャンネルを除く、音声，
楽音信号中の処理チャンネルの全てについて処理ステッ
プを実行する。Ｓ１３１においては、「ディレイ効果」
の設定があるか否かを判定し、設定がある場合にはＳ１
３２に処理を進め、ない場合にはリターンする。

【００８３】Ｓ１３２においては、チャンネル（ｎ）毎
に、時間［ｔｉｍｅ（ｎ）］を＋１加算し、Ｓ１３３に
処理を進める。Ｓ１３３においては、時間［ｔｉｍｅ
（ｎ）］が、図１１のＳ１０６において設定された効果
付与開始時間［ｕｔｉｍｅ］に達したか否かを判定し、
達していないときにはＳ１３４に処理を進め、達したと
きにはリターンする。Ｓ１３４においては、効果を付与
するまでの時間［ｔｉｍｅ（ｎ）］を再び０に初期化
し、Ｓ１３５に処理を進める。Ｓ１３５においては、音
声，楽音信号に「ディレイ効果」を付与し、Ｓ１３６に
おいては、「ディレイ効果」を付与した音声，楽音信号
を該当する処理チャンネル（ｎ）に出力する。

【００８４】図１４は、図１３のＳ１４２「ハーモニー
音の生成」ステップのフローチャートである。Ｓ１６１
においては、ボコーダーハーモニーモードの設定がある
否かを判定し、この設定がある場合には、Ｓ１６２に処
理を進め、ない場合はＳ１６３に処理を進め、Ｓ１６３
においては、コーダルハーモニーの設定があるか否かを
判定し、この設定がある場合にはＳ１６４に処理を進
め、ない場合にはＳ１６５に処理を進め、Ｓ１６５にお
いては、デチューンハーモニーの設定があるか否かを判
定し、この設定があるときにはＳ１６６に処理を進め、
ないときにはＳ１６７に処理を進める。Ｓ１６７におい
ては、クロマチックハーモニーの設定があるか否かを判
定し、この設定がある場合にはＳ１６８に処理を進め、
ない場合にはＳ１６９に処理を進める。各ハーモニーモ
ードにおける処理は、既に図１，図２を参照して説明し
たとおりである。

【００８５】Ｓ１６９においては、ピッチ差対応の効果
の設定があるか否かを判定し、この設定がある場合には
Ｓ１７０に処理を進め、ない場合にはリターンする。Ｓ
１７０においては、キーオンのノートピッチからボーカ
ルピッチを引いた値をピッチ差とし、Ｓ１７２におい
て、選択されたルックアップテーブルからピッチ差に応
じて効果のパラメータを設定し、リターンする。

【００８６】図１５は、「ピッチ検出の割り込み処理」
のフローチャートである。タイマー割り込みにより起動
する。Ｓ１８１においては入力音声のピッチ検出を行
い、Ｓ１８２に処理を進める。Ｓ１８２においては、ピ
ッチ・トゥ・ノートの設定があるか否かを判定し、この
設定がある場合にはＳ１８３に処理を進め、ない場合に
はリターンする。Ｓ１８３においては、図４（ａ）を参
照して説明した第１の処理モードであるか否かを判定
し、第１の処理モードのときにはＳ１８４に処理を進
め、図４（ｂ）を参照して説明した第２の処理モードの
ときにはＳ１８６に処理を進める。

【００８７】Ｓ１８４においては、今回検出したピッチ
と前回検出したピッチにより決定したノートナンバーに
対応する前回決定ピッチとの差が±１００セント（半
音）を超えたか否かを判定し、超えた場合にはＳ１８５
に処理を進め、超えないときにはＳ１８７に処理を進め
る。なお、初めてピッチを検出したときにもＳ１８５に
処理を進める。Ｓ１８５においては、変換テーブル（ル
ックアップテーブル）により、音楽の複数の音名に対応
する半音単位のピッチの中から、今回の検出ピッチに最
も近いピッチを選択し、この音名のノートナンバを決定
する。また、この音名に対応するノートナンバが、次の
割り込み処理時の前回決定ピッチとなる。

【００８８】一方、Ｓ１８６においては、検出したピッ
チそのものを楽音の音高とするための処理を行い、Ｓ１
８７に処理を進める。具体的には、図４（ｂ）を参照し
て先に説明したように、ピッチベンド処理とポルタメン
トコントロールとの組み合わせで行う。Ｓ１８７におい
ては、Ｓ１８５で検出したノートナンバー、あるいは、
Ｓ１８６で指定したピッチベンドデータおよび中心音高
のノートナンバーによって楽音の音高を指定してリター
ンする。

【００８９】図１６は、「音声，楽音出力とパン効果に
関する割り込み処理」のフローチャートである。タイマ
ー割り込みにより起動する。Ｓ１９１においては、現在
発音中のチャンネルにおいてランダムパンが設定されて
いる処理チャンネルの数（ｒｄｎ）を求める。なお、こ
の割り込み処理ではリード音のパートの処理チャンネル
も含む。次のＳ１９２においては、ｒｄｎ＝０であるか
否かを判定し、０のときにはＳ２０２に処理を進める
が、０でないときにはＳ１９３に処理を進め、時間［ｔ
ｉｍｅ］に＋１を加算し、Ｓ１９４においては、時間
［ｔｉｍｅ］がランダムパンの指定長さ［ｉｎｔ］を超
えたか否かを判定し、超えたときにはＳ１９５に処理を
進め、超えないときにはＳ２０２に処理を進める。Ｓ１
９５においては、時間［ｔｉｍｅ］を初期設定しなお
す。

【００９０】次のＳ１９６〜Ｓ２０２までの処理は、図
６を参照して説明したランダムパンの一具体例としての
処理ステップである。Ｓ１９６においては、全分割区域
内で音声，楽音の定位位置をランダムに決定する。次の
Ｓ１９７においては、第１のランダムパンが設定されて
いる発音中チャンネルに、決定したランダム位置に応じ
てパンのパラメータに数値を設定する。次のＳ１９８に
おいては、ランダムパンの設定がされている処理チャン
ネルが他にあるか否かを検索し、ある場合にはＳ１９９
に処理を進めるが、ない場合にはＳ２０２に処理を進め
る。Ｓ２０２においては、ランダムパンの設定がされて
いない処理チャンネルには、中央など所定の位置に定位
位置を決定する。

【００９１】Ｓ１９９においては、まだ選ばれていない
分割区域をランダムに決定し、Ｓ２００において決定さ
れた分割区域の中で定位位置をランダムに決定する。次
のＳ２０１においては、先にＳ１９８で検索されたラン
ダムパンの設定された処理チャンネルに、Ｓ２００で決
定した位置に応じてパンのパラメータの数値を設定し、
Ｓ１９８に処理を戻す。Ｓ２０２においては、各処理チ
ャンネルは、パン状態が付与された音声，楽音信号を出
力制御して、リターンする。

【００９２】なお、上述した説明では、マイクロフォン
１から入力した使用者の音声を基にしてハーモニー音や
楽音を生成した。しかし、基となる音声または楽音は、
人の声や楽音に限られるものではなく、動物の声などピ
ッチが検出可能なものであれば任意の種類の音でよい。
また、パン効果を与える楽音信号については、ノイズ信
号などピッチ検出ができない楽音信号でもよい。ピッチ
検出ができない音も電子楽器の音色として通常使用され
ている。

【００９３】本発明によれば、歌声をリアルタイムに入
力する場合に好適であるが、予め使用者の音声が録音さ
れたものを再生して音声を取り込んで処理することもで
きる。また、ハーモニー音のピッチを制御する音高指定
手段としては、鍵盤５を使用する代わりに、曲データフ
ァイル中のＭＩＤＩデータによってハーモニー音の音高
を指定することもできる。

【００９４】上述した説明では、使用者の音声をピッチ
変換しないものをリード音信号としてハーモニー音信号
とミキシング合成してスピーカ１５，１６から放音する
ようにした。しかし、ハーモニー音信号だけを放音する
装置であっても、演奏が可能である。また、使用者の音
声そのものは、他のオーディオアンプから放音すること
もできる。

【００９５】

【発明の効果】本発明は、上述した説明から明らかなよ
うに、生成される楽音のピッチが、入力音声信号または
入力楽音信号のピッチに音楽の音名のピッチに同定され
て階段状に音高が変化する演奏と、生成される楽音のピ
ッチが入力音声信号または入力楽音信号のピッチに追従
してピッチに段差がなく滑らかに変化する演奏とを使用
者が任意に選択することができるという効果がある。そ
の結果、歌を歌っている最中に、楽音信号のピッチの変
え方をリアルタイムに切り替えることができる。歌声を
記録再生装置に取り込んでからでなくても、思うような
楽音信号の音高が得られるまで自分の声を変えて歌い直
してみることができる。

【００９６】また、入力音声信号または入力楽音信号の
強度に基づいて、楽音信号の強度を制御することによ
り、変化の付いた力強い演奏ができるという効果があ
る。その結果、使用者が歌っているときの感情を楽音信
号の強度によって反映させることができる。

【図面の簡単な説明】

【図１】 本発明の音声信号または楽音信号処理装置の
実施の一形態の機能ブロック図である。

【図２】 ボーカルハーモニーモードの具体例の説明図
である。

【図３】 ピッチ制御部による効果付与部の制御態様の
説明図である。

【図４】 ピッチ・トゥ・ノートの説明図である。

【図５】 連続的に発生する楽音信号にディレイ効果を
付与する場合の説明図である。

【図６】 本発明の音声信号または楽音信号処理装置の
実施の一形態の外観図である。

【図７】 本発明の音声信号または楽音信号処理装置の
実施の一形態のハードウエア構成を示す図である。

【図８】 本発明の音声信号または楽音信号の処理装置
の実施の一形態の動作を説明する処理ステップのメイン
フローチャートおよび割り込み処理のフローチャートで
ある。

【図９】 「操作パネル設定」に関するフローチャート
である。

【図１０】 図９のＳ６２「ハーモニーの設定」ステッ
プのフローチャートである。

【図１１】 図９のＳ７１「その他の指定された処理」
ステップのフローチャートである。

【図１２】 図８のＳ５３「演奏」ステップのフローチ
ャートである。

【図１３】 図１２のＳ１２２「キーオンイベントに対
応した音声，楽音信号を生成」ステップのフローチャー
トである。

【図１４】 図１３のＳ１４２「ハーモニー音の生成」
ステップのフローチャートである。

【図１５】 「ピッチ検出の割り込み処理」のフローチ
ャートである。

【図１６】 「音声，楽音出力とパン効果に関する割り
込み処理」のフローチャートである。

【符号の説明】

１ マイクロフォン、２ 効果付与部、３ａ，３ｂ，７
ａ，７ｂ，９ ピッチ変換部、４ ピッチ検出部、５
鍵盤、６ ピッチ制御部、８ 音源、１０ 信号出力制
御部、１１ 操作パネル、１２ 機能制御部、１３ パ
ン制御部、１４アンプ、１５，１６ スピーカ

フロントページの続き (56)参考文献 特開 昭63−129400（ＪＰ，Ａ) 特開 平６−161481（ＪＰ，Ａ) 特開 平４−242290（ＪＰ，Ａ) 特開 平６−102893（ＪＰ，Ａ) 特開 平11−95780（ＪＰ，Ａ) 実開 昭61−101800（ＪＰ，Ｕ) 特公 平４−51838（ＪＰ，Ｂ２) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G10H 1/00 G10K 15/04 G10L 11/04 G10L 15/00

Claims (5)

(57)【特許請求の範囲】
1. 【請求項１】 音声信号または第１の楽音信号である信
   号のピッチを検出するピッチ検出手段、 第２の楽音信号を生成する楽音信号生成手段、 前記ピッチ検出手段の出力に基づいて前記信号のピッチ
   を音名に同定し、同定された前記音名のピッチとなるよ
   うに前記楽音信号生成手段が生成する前記第２の楽音信
   号のピッチを制御する第１の処理モード、および、前記
   ピッチ検出手段の出力に基づいて前記信号のピッチに追
   従して変化するように前記楽音信号生成手段が生成する
   前記第２の楽音信号のピッチを制御する第２の処理モー
   ドを有するピッチ制御手段、および、 前記第１，第２の処理モードを切り替える切り替え手段
   を有することを特徴とする音声信号または楽音信号の処
   理装置。
2. 【請求項２】 前記切り替え手段は、前記ピッチ制御手
   段の動作中に前記第１，第２の処理モードの切り替えが
   可能であることを特徴とする請求項１に記載の音声信号
   または楽音信号の処理装置。
3. 【請求項３】 前記信号の強度を検出する強度検出手
   段、および、該 強度検出手段の出力に基づいて前記楽音信号生成手段
   が生成する前記第２の楽音信号の強度を制御する強度制
   御手段を有することを特徴とする請求項１に記載の音声
   信号または楽音信号の処理装置。
4. 【請求項４】 コンピュータに、 音声信号または第１の楽音信号である信号のピッチを検
   出するピッチ検出機能、 第２の楽音信号を生成する楽音信号生成機能、 前記ピッチ検出機能の出力に基づいて前記信号のピッチ
   を音名に同定し、同定された前記音名のピッチとなるよ
   うに前記楽音信号生成機能が生成する前記第２の楽音信
   号のピッチを制御する第１の処理モード、および、前記
   ピッチ検出機能の出力に基づいて前記信号のピッチに追
   従して変化するように前記楽音信号生成機能が生成する
   前記第２の楽音信号のピッチを制御する第２の処理モー
   ドを有するピッチ制御機能、および、 前記第１，第２の処理モードを切り替える切り替え機能
   を有することを特徴とする音声信号または楽音信号の処
   理機能を実現させるためのプログラムを記録したコンピ
   ュータ読み取り可能な記録媒体。
5. 【請求項５】 コンピュータに、 前 記信号の強度を検出する強度検出機能、および、該 強度検出機能の出力に基づいて前記楽音信号生成機能
   が生成する前記第２の楽音信号の強度を制御する強度制
   御機能を有することを特徴とする請求項４に記載の音声
   信号または楽音信号の処理機能を実現させるためのプロ
   グラムを記録したコンピュータ読み取り可能な記録媒
   体。