JP7419666B2

JP7419666B2 - 音信号処理装置および音信号処理方法

Info

Publication number: JP7419666B2
Application number: JP2019071009A
Authority: JP
Inventors: 明彦須山; 良太郎青木; 龍也福山
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2019-04-03
Filing date: 2019-04-03
Publication date: 2024-01-23
Anticipated expiration: 2039-04-03
Also published as: EP3719789B1; US20200322744A1; CN111800731A; EP3719789A1; JP2020170935A; US11089422B2; CN111800731B

Description

この発明の一実施形態は、音信号に種々の処理を行う音信号処理装置に関する。

特許文献１には、グランドピアノのように奥行き感のある音像を実現する電子楽器が開示されている。

特開２００７－１０３４５６号公報

従来の電子楽器は、既存のアコースティック楽器の音楽的表現を実現するものである。したがって、従来の電子楽器は、音源の音像定位位置を固定している。

そこで、この発明は、従来にはない新たな音楽的表現を実現することができる音信号処理装置を提供することを目的とする。

この発明の一実施形態に係る音信号処理装置は、音高情報を含む入力情報を受け付ける受付部と、前記入力情報に基づいて、音源と該音源の位置情報とを対応付ける音源位置決定部と、前記位置情報に基づいて、複数のスピーカに対する音信号の出力レベルを計算し、前記音源の音像定位処理を行なう、音像定位処理部と、を備えている。

この発明の一実施形態によれば、従来にはない新たな音楽的表現を実現することができる。

音信号処理システムの構成を示すブロック図である。聴取環境である部屋Ｌ１を模式的に示した斜視図である。音信号処理装置１の構成を示すブロック図である。トーンジェネレータ１２、信号処理部１３、およびＣＰＵ１７の機能的構成を示すブロック図である。音信号処理装置１の動作を示すフローチャートである。部屋Ｌ１と音像定位位置の関係を模式的に示した斜視図である。部屋Ｌ１と音像定位位置の関係を模式的に示した斜視図である。部屋Ｌ１と音像定位位置の関係を模式的に示した斜視図である。部屋Ｌ１と音像定位位置の関係を模式的に示した斜視図である。

図１は、音信号処理システムの構成を示すブロック図である。音信号処理システム１００は、音信号処理装置１、電子楽器３、および複数のスピーカ（この例では８つのスピーカ）ＳＰ１～ＳＰ８を備えている。

音信号処理装置１は、例えばパーソナルコンピュータ、セットトップボックス、オーディオレシーバ、またはパワーアンプ等である。音信号処理装置１は、電子楽器３から音高情報を含む入力情報を受信する。なお、本実施形態において、特に記載が無い限り、音信号は、デジタル信号を意味する。

図２に示す様に、スピーカＳＰ１～スピーカＳＰ８は、部屋Ｌ１に配置されている。この例では、部屋の形状は、直方体である。例えば、スピーカＳＰ１、スピーカＳＰ２、スピーカＳＰ３、およびスピーカＳＰ４は、部屋Ｌ１の四隅の床に配置されている。スピーカＳＰ５は、部屋Ｌ１の側面の一つ（この例では正面）に配置されている。スピーカＳＰ６およびスピーカＳＰ７は、部屋Ｌ１の天井に配置されている。スピーカＳＰ８は、サブウーファであり、例えばスピーカＳＰ５の近くに配置されている。

音信号処理装置１は、音源の音信号を所定のゲインおよび所定の遅延時間でこれらのスピーカに分配することにより、所定の位置に音源の音像を定位させる、音像定位処理を行なう。

図３に示す様に、音信号処理装置１は、受付部１１、トーンジェネレータ１２、信号処理部１３、定位処理部１４、Ｄ／Ａコンバータ１５、アンプ（ＡＭＰ）１６、ＣＰＵ１７、フラッシュメモリ１８、ＲＡＭ１９、インタフェース（Ｉ／Ｆ）２０、および表示器２１を備えている。

ＣＰＵ１７は、フラッシュメモリ１８に記憶されている動作用プログラム（ファームウェア）をＲＡＭ１９に読み出し、音信号処理装置１を統括的に制御する。

受付部１１は、例えば、ＨＤＭＩ（登録商標）、ＭＩＤＩ、またはＬＡＮ等の通信インタフェースである。受付部１１は、電子楽器３から入力情報を受け付ける。入力情報は、例えばＭＩＤＩ規格においては、ノートオンメッセージおよびノートオフメッセージを含む。ノートオンメッセージおよびノートオフメッセージは、音色を示す情報（トラックナンバー）、音高情報（ノートナンバー）、および音の強弱に係る情報（ベロシティ）を含む。また、入力情報は、アタック、ディケイ、またはサスティーン等の時間的なパラメータを含んでいてもよい。

ＣＰＵ１７は、受付部１１で受け付けた入力情報に基づいて、トーンジェネレータ１２を駆動し、音信号を生成する。トーンジェネレータ１２は、入力情報で指定された音色で、指定された音高の音信号を、指定されたレベルで生成する。

信号処理部１３は、例えばＤＳＰからなる。信号処理部１３は、トーンジェネレータ１２で生成された音信号を入力する。信号処理部１３は、各音信号をオブジェクト毎のチャンネルに割り当てて、チャンネル毎にディレイ、リバーブ、またはイコライザ等の所定の信号処理を施す。

定位処理部１４は、例えばＤＳＰからなる。定位処理部１４は、ＣＰＵ１７の指示にしたがって、音像定位処理を行う。定位処理部１４は、ＣＰＵ１７から指定された各音源の位置情報に対応する位置に音像が定位するように、各音源の音信号をスピーカＳＰ１～スピーカＳＰ８に所定のゲインで分配する。定位処理部１４は、各スピーカＳＰ１～ＳＰ８に対する音信号を、Ｄ／Ａコンバータ１５に入力する。

Ｄ／Ａコンバータ１５は、各音信号をアナログ信号に変換する。ＡＭＰ１６は、各アナログ信号を増幅して、スピーカＳＰ１～ＳＰ８に入力する。

なお、信号処理部１３および定位処理部１４は、それぞれ個別のＤＳＰによりハードウェアにより実現してもよいし、１つのＤＳＰにおいてソフトウェアにより実現してもよい。また、Ｄ／Ａコンバータ１５およびＡＭＰ１６は、音信号処理装置１に内蔵されている必要はない。例えば、音信号処理装置１は、デジタル信号を、Ｄ／Ａコンバータおよびアンプを内蔵した他装置に出力すればよい。

図４は、トーンジェネレータ１２、信号処理部１３、およびＣＰＵ１７の機能的構成を示すブロック図である。これらの機能は、例えばプログラムにより実現する。図５は、音信号処理装置１の動作を示すフローチャートである。

ＣＰＵ１７は、受付部１１を介して、ノートオンメッセージまたはノートオフメッセージ等の入力情報を受け付ける（Ｓ１１）。ＣＰＵ１７は、受付部１１で受け付けた入力情報に基づいて、トーンジェネレータ１２の各音源を駆動し、音信号を生成する（Ｓ１２）。

トーンジェネレータ１２は、機能的に、音源１２１、音源１２２、音源１２３、および音源１２４を備えている。この例では、トーンジェネレータ１２は、機能的に４つの音源を備えている。音源１２１～音源１２４は、それぞれ指定された音色で、指定された音高の音信号を、指定されたレベルで生成する。

信号処理部１３は、機能的に、チャンネル決定部１３１、エフェクト処理部１３２、エフェクト処理部１３３、エフェクト処理部１３４、およびエフェクト処理部１３５を備えている。チャンネル決定部１３１は、各音源から入力した音信号を、オブジェクト毎のチャンネルに割り当てる。この例では、４つのオブジェクトチャンネルがある。したがって、信号処理部１３は、例えば、音源１２１の音信号を第１チャンネルのエフェクト処理部１３２に割り当て、音源１２２の音信号を第２チャンネルのエフェクト処理部１３３に割り当て、音源１２３の音信号を第３チャンネルのエフェクト処理部１３４に割り当て、音源１２４の音信号を第４チャンネルのエフェクト処理部１３５に割り当てる。無論、音源の数およびオブジェクトチャンネルの数は、この例に限らず、さらに多くてもよいし、少なくてもよい。

エフェクト処理部１３２乃至エフェクト処理部１３５は、それぞれ入力した音信号にディレイ、リバーブ、またはイコライザ等の所定の信号処理を施す。

ＣＰＵ１７は、機能的に、音源位置決定部１７１を備えている。音源位置決定部１７１は、受付部１１で受け付けた入力情報に基づいて、音源と該音源の位置情報とを対応付けて、各音源の音像定位位置を決定する（Ｓ１４）。音源位置決定部１７１は、例えば、音色毎、音高毎、または音の強弱毎に、異なる位置に音像定位するように、各音源の位置情報を決定する。また、音源位置決定部１７１は、発音順（受付部１１で入力情報を受け付けた順番）に基づいて音源の位置情報を決定してもよい。また、音源位置決定部１７１は、ランダムに音源の位置情報を決定してもよい。あるいは、音信号処理装置１に複数の電子楽器が接続される場合、音源位置決定部１７１は、電子楽器毎に音源の位置情報を決定してもよい。

定位処理部１４は、ＣＰＵ１７の音源位置決定部１７１で決定した音源位置に対応する位置に音像が定位するように、各オブジェクトチャンネルの音信号をスピーカＳＰ１～スピーカＳＰ８に所定のゲインで分配する（Ｓ１５）。

特開２００７－１０３４５６号公報に記載されている様な従来の電子楽器は、音源の音像定位位置を、グランドピアノを弾いた時に発生する音源の位置に設定する。すなわち、従来の電子楽器は、音高に応じて音源の音像定位位置を一意に決定している。しかし、本実施形態の音信号処理装置１は、音源の音像定位位置を、音高によって一意に決定しない。これにより、本実施形態の音信号処理装置１は、従来にはない新たな音楽的表現を実現することができる。

図６は、部屋Ｌ１と音像定位位置の関係を模式的に示した斜視図である。音源位置決定部１７１は、第１チャンネルに係る音源の音像定位位置を、部屋の左側に決定する。音源位置決定部１７１は、第２チャンネルに係る音源の音像定位位置を、部屋の前方に決定する。音源位置決定部１７１は、第３チャンネルに係る音源の音像定位位置を、部屋の右側に決定する。音源位置決定部１７１は、第４チャンネルに係る音源の音像定位位置を、部屋の後方に決定する。つまり、図６の例では、音源毎に音像定位位置が決まっている。

図７の例では、音信号処理装置１は、音高毎に異なる音像定位位置を決定する。この例では、音信号処理装置１は、電子楽器３から同じトラックナンバーで、音高情報Ｃ３、Ｄ３、Ｅ３、およびＦ３の４つの入力情報を順に入力する。通常、ＣＰＵ１７は、同じトラックナンバーの入力情報に対して、同じ音源を選択する。しかし、音源位置決定部１７１は、最初の音高情報Ｃ３については、トラックナンバーに関わらず、第１チャンネルに対応する音源１２１を選択する。これにより、音高情報Ｃ３に係る音源の音信号は、部屋の左側に定位する。音源位置決定部１７１は、次の音高情報Ｄ３については、トラックナンバーに関わらず、第２チャンネルに対応する音源１２２を選択する。これにより、音高情報Ｄ３に係る音源の音信号は、部屋の前方に定位する。音源位置決定部１７１は、次の音高情報Ｄ４については、トラックナンバーに関わらず、第３チャンネルに対応する音源１２３を選択する。これにより、音高情報Ｅ３に係る音源の音信号は、部屋の右側に定位する。音源位置決定部１７１は、次の音高情報Ｆ３については、トラックナンバーに関わらず、第４チャンネルに対応する音源１２４を選択する。これにより、音高情報Ｄ３に係る音源の音信号は、部屋の後方に定位する。

この様に、音信号処理装置１は、音源の音像定位位置を、音高に応じて変化させることで、新たな音楽的表現を実現することができる。

なお、音源位置決定部１７１は、指定されたトラックナンバーにより選択する音源を変えずに、各音源に対応付けるオブジェクトチャンネルを変更してもよい。例えば、同じトラックナンバーで、音高情報Ｃ３、Ｄ３、Ｅ３、およびＦ３の４つの入力情報を順に入力した場合、音源位置決定部１７１は、最初の音高情報Ｃ３については、音源１２１と第１チャンネルとを対応付ける。音源位置決定部１７１は、次の音高情報Ｄ３については、音源１２１と第２チャンネルとを対応づける。音源位置決定部１７１は、次の音高情報Ｅ３については、音源１２１と第３チャンネルとを対応づける。音源位置決定部１７１は、次の音高情報Ｆ３については、音源１２１と第４チャンネルとを対応づける。この場合、図７に示した例と同様の音像定位を実現することができ、かつ指定されたトラックナンバーに対応する音源の音信号が生成される。

あるいは、音源位置決定部１７１は、定位処理部１４に出力する位置情報を変更してもよい。例えば、同じトラックナンバーで、音高情報Ｃ３、Ｄ３、Ｅ３、およびＦ３の４つの入力情報を順に入力した場合、音源位置決定部１７１は、音高情報Ｄ３については、音源１２１と第１チャンネルとを対応づけるが、定位処理部１４に出力する位置情報を、部屋の前方に定位するように設定する。同様に、音源位置決定部１７１は、音高情報Ｅ３については、音源１２１と第１チャンネルとを対応づけるが、定位処理部１４に出力する位置情報を、部屋の右側に定位するように設定する。音源位置決定部１７１は、音高情報Ｆ３については、音源１２１と第１チャンネルとを対応づけるが、定位処理部１４に出力する位置情報を、部屋の後方に定位するように設定する。この場合も、図７に示した例と同様の音像定位を実現することができ、かつ指定されたトラックナンバーに対応する音源の音信号が生成される。

他にも、上述した様に、音源位置決定部１７１は、例えば、音色毎、音高毎、音の強弱毎、発音順、あるいはランダムに音源の位置情報を決定してもよい。また、音源位置決定部１７１は、図８に示す様に、オクターブ毎に音源の位置情報を決定してもよい。図８の例では、音源位置決定部１７１は、Ｃ１－Ｂ１のオクターブの音像を部屋の左側に定位させる。音源位置決定部１７１は、Ｃ２－Ｂ２のオクターブの音像を部屋の前方、天井側に定位させる。音源位置決定部１７１は、Ｃ３－Ｂ３のオクターブの音像を部屋の右側に定位させる。音源位置決定部１７１は、Ｃ４－Ｂ４のオクターブの音像を部屋の後方、床側に定位させる。

あるいは、音源位置決定部１７１は、和音（コード）毎に音源の位置情報を決定してもよい。例えば、音源位置決定部１７１は、メジャーコードの音像を部屋の左側に定位させ、マイナーコードの音像を部屋の前方に定位させ、セブンスコードの音像を部屋の右側に定位させてもよい。さらに、同じコードであっても、各コードを構成する単音の発音順に応じて音源の位置情報を決定してもよい。例えば、音源位置決定部１７１は、Ｃ３、Ｅ３、およびＧ３の順に入力情報を受け付ける場合と、Ｇ３、Ｅ３、およびＣ３の順に入力情報を受け付ける場合と、で、音源の位置を変更してもよい。また、同じ音高（例えばＣ１）を所定回数以上続けて入力した場合に、音源の位置を変更してもよい。

上記実施形態では、いずれも２次元平面上で音像定位位置を変更する例を示した。しかし、音源位置決定部１７１は、２つのスピーカを用いた１次元上の座標に基づいて音源の位置を決定してもよい。また、音源位置決定部１７１は、音源の位置を３次元の座標に基づいて決定してもよい。

例えば、音源位置決定部１７１は、図９に示す様に、オクターブ毎に所定の円上に音源を定位させ、低音を低い位置に、高音を高い位置に定位させる。あるいは、音源位置決定部１７１は、音の強弱に応じて、弱い音を低い位置に、強い音を高い位置に定位させてもよい。

本実施形態の説明は、すべての点で例示であって、制限的なものではない。本発明の範囲は、上述の実施形態ではなく、特許請求の範囲によって示される。さらに、本発明の範囲には、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

例えば、上記実施形態では、音信号処理装置１が音信号を生成するトーンジェネレータを備える例を示した。しかし、音信号処理装置１は、電子楽器３から音信号を受信して、かつ、該音信号に対応する入力情報を受信してもよい。この場合、音信号処理装置１は、トーンジェネレータを備える必要はない。あるいは、トーンジェネレータは、音信号処理装置１および電子楽器３とは全く異なる他の装置に内蔵されていてもよい。この場合、電子楽器３は、トーンジェネレータを内蔵した音源装置に入力情報を送信する。また、電子楽器３は、音信号処理装置１に入力情報を送信する。音信号処理装置１は、音源装置から音信号を受信し、電子楽器３から入力情報を受信する。また、音信号処理装置１は、電子楽器３の機能を備えていてもよい。

上記実施形態では、音信号処理装置１が電子楽器３からデジタル信号を受信する例を示した。しかし、音信号処理装置１は、電子楽器３からアナログ信号を受信してもよい。この場合、音信号処理装置１は、受信したアナログ信号を解析することで、入力情報を特定する。例えば、音信号処理装置１は、アナログ信号のレベルが急激に上昇するタイミング（例えばレベルの微分値）を検出して、アタックのタイミングを検出することでノートオンメッセージと同等の情報を特定できる。また、音信号処理装置１は、アナログ信号から公知の音高解析技術を用いることで、音高情報を特定できる。この場合、受付部１１は、自装置で特定した音高情報等の入力情報を受け付ける。

また、音信号は、電子楽器から受信する例に限らない。例えば、音信号処理装置１は、エレクトリックギターなどのアナログ信号を出力する楽器からアナログ信号を受信してもよい。また、音信号処理装置１は、アコースティック楽器の音をマイクで収音し、マイクで得られるアナログ信号を受信してもよい。この場合も、音信号処理装置１は、アナログ信号を解析することで入力情報を特定できる。

また、例えば、音信号処理装置１は、オーディオ信号入力端子を介して音源毎の音信号を受信し、ネットワークＩ／Ｆを介して入力情報を受信してもよい。すなわち、音信号処理装置１は、音信号と入力情報とをそれぞれ別の通信手段を介して受信してもよい。

また、電子楽器３が、音源位置決定部１７１および定位処理部１４を備えていてもよい。この場合、電子楽器３に複数のスピーカを接続する。したがって、この場合、電子楽器３は、本発明の音信号処理装置に該当する。また、入力情報を出力するのは電子楽器に限らない。例えば、ユーザは、電子楽器３の代わりに、パーソナルコンピュータ用のキーボードなどを用いて、音信号処理装置１に対してノートナンバーまたはベロシティなどを入力するようにしてもよい。

また、音信号処理装置１は、上記の構成に限らず、例えば、アンプを有していない構成でもよい。その場合、Ｄ／Ａコンバータからの出力信号を外部のアンプ装置もしくはアンプ内臓のスピーカに出力すればよい。

Ｌ１…部屋
ＳＰ１，ＳＰ２，ＳＰ３，ＳＰ４，ＳＰ５，ＳＰ６，ＳＰ７，ＳＰ８…スピーカ
１…音信号処理装置
３…電子楽器
１１…受付部
１２…トーンジェネレータ
１３…信号処理部
１４…定位処理部
１５…Ｄ／Ａコンバータ
１６…アンプ（ＡＭＰ）
１７…ＣＰＵ
１８…フラッシュメモリ
１９…ＲＡＭ
２１…表示器
１００…音信号処理システム
１２１、１２２，１２３，１２４…音源
１３１…チャンネル決定部
１３２，１３３，１３４，１３５…エフェクト処理部
１７１…音源位置決定部

Claims

音高情報を含む入力情報を受け付ける受付部と、
前記入力情報に基づいて、音源と該音源の位置情報とを対応付ける音源位置決定部と、
前記位置情報に基づいて、複数のスピーカに対する前記音源の音信号の出力レベルを計算し、前記音源の音像定位処理を行なう、音像定位処理部と、
を備え、
前記入力情報は、和音に係る情報を含み、
前記音源位置決定部は、前記和音に係る情報に基づいて、和音の種類毎に指定された音源と該音源の位置情報とを対応付ける、音信号処理装置。
前記音源位置決定部は、前記音源の位置を３次元の座標に基づいて決定する、
請求項１に記載の音信号処理装置。
前記音源位置決定部は、発音順に基づいて前記音源の位置情報を決定する、
請求項１または請求項２に記載の音信号処理装置。
前記受付部は、第１の通信手段を介して前記入力情報を受け付け、
前記音像定位処理部は、第２の通信手段を介して前記音源の音信号を受信する、
請求項１乃至請求項３のいずれか１項に記載の音信号処理装置。
音高情報を含む入力情報を受け付け、
前記入力情報に基づいて、音源と該音源の位置情報とを対応付け、
前記位置情報に基づいて、複数のスピーカに対する音信号の出力レベルを計算し、前記音源の音像定位処理を行なう、
音信号処理方法であって、
前記入力情報は、和音に係る情報を含み、
前記和音に係る情報に基づいて、和音の種類毎に音源と該音源の位置情報とを対応付ける、音信号処理方法。
前記音源の位置情報は、３次元の座標に基づいて決定する、
請求項５に記載の音信号処理方法。
発音順に基づいて前記音源の位置情報を決定する、
請求項５または請求項６に記載の音信号処理方法。
第１の通信手段を介して前記入力情報を受け付け、
第２の通信手段を介して前記音源の音信号を受信する、
請求項５乃至請求項７のいずれか１項に記載の音信号処理方法。