JP5010148B2

JP5010148B2 - ３次元パンニング装置

Info

Publication number: JP5010148B2
Application number: JP2006010943A
Authority: JP
Inventors: 幹彦岡本; 公男濱崎; 彰男安藤
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2006-01-19
Filing date: 2006-01-19
Publication date: 2012-08-29
Anticipated expiration: 2026-01-19
Also published as: JP2007194900A

Description

本発明は、３次元パンニング装置に係り、特に、スピーカの配置に係わらず音響信号を３次元的にパンニングすることの可能な３次元パンニング装置に関する。

２チャンネルオーディオシステム、または５．１サラウンドシステムのようなオーディオ再生装置にあっては、ミクシングコンソールのパンポット等により各スピーカが出力する音源の音量を変更して、当該音源の音像の定位や移動を調整していた。

しかし、上記オーディオ再生装置にあっては、すべてのスピーカを受音点、即ち聴取者を中心とする一定半径の円周上に配置する必要があるため、劇場のような直方形の再生場で適用することは不可能であった。

そこで、劇場のような直方形の再生場の周囲に沿って複数のスピーカを配置し、１つのスピーカの出力を他のスピーカの出力に対して遅延させることにより、音像位置を移動させることが可能な音声処理装置が提案されている（例えば、特許文献１参照）。

しかし、上記の音声処理装置にあっては、スピーカを同一水平面内に配置する必要があるため、音像をスピーカ配置面内で２次元的にパンニングすることは可能であるものの、音像を３次元的にパンニングすることは不可能であった。

そこで、３次元的なパンニングを可能とするために、スピーカを３次元的に配置し、ベクトル基準振幅パンニング（Vector Base Amplitude Panning）法を適用して音像を３次元的にパンニングすることが可能な３次元パンニング装置も既に提案されている（例えば、非特許文献１参照）。

また、ＦＩＲフィルタを適用することにより、同一平面に配置された２つのスピーカであっても音像を水平方向だけでなく上下方向にパンニング可能な３次元パンニング装置も提案されている（例えば、特許文献２参照）。
米国特許公開公報第２００２００４８３８０号（［００２６］、図３）特許第３１７７７１４号（［０００５］、図１） "Virtual Sound Source Positioning Using Vector Base Amplitude Panning" VILLE PULKKI, J. Audio Eng. Soc. Vol.45, No,6, 1997 June

しかしながら、上記した従来の３次元パンニング装置は、スピーカを受音点、即ち、聴取者の耳の位置を中心とする一定半径の球面上に設置する必要があるが、直方体に近い再生場で、受音点を中心とする一定半径の球面上にスピーカを配置すると、聴取可能範囲が狭小化してしまうという課題があった。

本発明は、従来の課題を解決するためになされたものであって、スピーカの配置に係わらず音響信号を３次元的にパンニングすることの可能な３次元パンニング装置を提供することを目的とする。

本発明の３次元パンニング装置は、時間関数であるパンニング前音響信号を読み込むパンニング前音響信号読み込み手段と、時間関数であるパンニング後音響信号を出力するパンニング後音響信号出力手段と、前記パンニング前音響信号を周波数領域パンニング前音響信号に変換する変換手段と、前記パンニング前音響信号に付加する定位位置情報を生成する定位位置情報生成手段と、前記パンニング後音響信号出力手段の配置情報を記憶する配置情報記憶手段と、前記定位位置情報、および前記配置情報に基づいて前記周波数領域パンニング前音響信号をパンニングさせた周波数領域パンニング後音響信号を生成する周波数領域パンニング後音響信号生成手段と、前記周波数領域パンニング後音響信号を時間関数であるパンニング後音響信号に逆変換する逆変換手段と、を含み、前記周波数領域パンニング後音響信号生成手段が、前記パンニング後音響信号出力手段から前記パンニング後音響信号を放射したときの受音点におけるパンニング後音響物理量ベクトルを、音源から前記パンニング前音響信号を放射したときの前記受音点におけるパンニング前音響物理量ベクトルと等しくする前記周波数領域パンニング後音響信号を生成するものである構成を有している。

この構成により、音響信号を３次元的にパンニングすることができることとなる。
また、この構成により、スピーカの配置に係わらず音響信号を３次元的にパンニングすることができることとなる。

本発明の３次元パンニング装置は、時間関数であるパンニング前音響信号を読み込むパンニング前音響信号読み込み手段と、時間関数であるパンニング後音響信号を出力するパンニング後音響信号出力手段と、前記パンニング前音響信号を周波数領域パンニング前音響信号に変換する変換手段と、前記パンニング前音響信号に付加する定位位置情報を生成する定位位置情報生成手段と、前記パンニング後音響信号出力手段の配置情報を記憶する配置情報記憶手段と、前記定位位置情報、および前記配置情報に基づいて前記周波数領域パンニング前音響信号をパンニングさせた周波数領域パンニング後音響信号を生成する周波数領域パンニング後音響信号生成手段と、前記周波数領域パンニング後音響信号を時間関数であるパンニング後音響信号に逆変換する逆変換手段と、を含み、前記周波数領域パンニング後音響信号生成手段が、前記パンニング後音響信号出力手段から前記パンニング後音響信号を放射したときの受音領域におけるパンニング後音響物理量ベクトルを、音源から前記パンニング前音響信号を放射したときの前記受音領域におけるパンニング前音響物理量ベクトルと等しくする前記周波数領域パンニング後音響信号を生成するものである構成を有している。

この構成により、音響信号を３次元的にパンニングすることができることとなる。
また、この構成により、多数の聴取者を対象として音像を定位させることができることとなる。

本発明は、定位位置情報、および配置情報に基づいて周波数領域パンニング前音響信号をパンニングさせた周波数領域パンニング後音響信号を生成する周波数領域パンニング後音響信号生成手段を設けることにより、スピーカの配置に係わらず音響信号を３次元的にパンニングすることができるという効果を有する３次元パンニング装置を提供することができるものである。

以下、本発明に係る３次元パンニング装置の実施形態について、図面を用いて説明する。

本明細書において、音響物理量ベクトルとは、点音源から放射された音響信号を受音する受音点における音響的な物理量を示すベクトル、即ち、音圧または粒子速度の少なくとも一方を成分とするベクトル、あるいは、粒子速度ベクトルにスカラ量である音圧を乗じてある時間区間で積分した音響インテンシティベクトルを意味するものとする。

また、以下の説明において、英太字はベクトルあるいは行列を示し、英細字はスカラ量を示す。

（第１の実施の形態）
本発明に係る３次元パンニング装置１の実施形態は、図１のブロック図に示すように、時間関数であるパンニング前音響信号ｓ（ｔ）を読み込むパンニング前音響信号読み込み手段１１と、時間関数であるパンニング後音響信号ｑ（ｔ）を出力するパンニング後音響信号出力手段１２と、パンニング前音響信号ｓ（ｔ）を周波数領域パンニング前音響信号Ｓ（ω）に変換する変換手段１３と、パンニング前音響信号ｓ（ｔ）に付加する定位位置情報を生成する定位位置情報生成手段１４と、パンニング後音響信号出力手段１２の配置情報を記憶する配置情報記憶手段１５と、定位位置情報、および配置情報に基づいて周波数領域パンニング前音響信号Ｓ（ω）をパンニングさせた周波数領域パンニング後音響信号Ｑ（ω）を生成する周波数領域パンニング後音響信号生成手段１６と、周波数領域パンニング後音響信号Ｑ（ω）を時間関数であるパンニング後音響信号ｑ（ｔ）に逆変換する逆変換手段１７とを含む。

そして、本発明に係る３次元パンニング装置１は、チャンネル数Ｍのパンニング後音響信号出力手段１２からパンニング後音響信号ｑ_ｍを放射したときの受音点におけるパンニング後音響物理量ベクトル_ａＰが、チャンネル数Ｎの音源のそれぞれからパンニング前音響信号ｓ_ｎを放射したときの受音点ｋにおけるパンニング前音響物理量ベクトル_ｂＰと等しくなるようにパンニング後音響信号ｑ_ｍを生成する。

まず、点音源が１つ、受音点が１つの場合における受音点の音圧について説明する。

３次元空間の原点に配置された点音源から放射された音響信号の原点から半径ｒの球面上の音圧ｐ（ｔ，ｒ）は［数１］の波動方程式により決定される。

よって、点音源から放射された音響信号をｓ（ｔ）とすれば、原点から半径ｒの球面上の音圧ｐ（ｔ，ｒ）は［数２］によって表される。

［数２］の周波数領域表現は、［数３］となる。

上式は、１つの点音源から放射された周波数領域パンニング前音響信号Ｓ（ω）の１つの受音点における音圧は、点音源から受音点までの距離に反比例し、点音源から受音点までの音響信号の伝播時間遅延し、点音源から受音点までの距離の関数である音圧伝達関数Ｇ_ｐ（ω，ｒ）と周波数領域パンニング前音響信号Ｓ（ω）との積で定まることを示している。

点音源から受音点までの距離および音響信号の伝播時間は、任意の座標系における点音源座標および受音点座標を定めれば一義的に定まるので、音圧伝達関数も任意の座標系における点音源座標および受音点座標を定めれば一義的に定まることとなる。

３次元空間の原点に配置された点音源から放射された音響信号の原点から半径ｒの球面上の粒子速度をｖ（ｒ，ｔ）とすれば、半径ｒの球面上の運動方程式は［数４］で表される。

［数４］を解いて、粒子速度ｖ（ｒ）は［数５］により表すことができる。

［数５］の周波数領域表現は［数６］となる。

従って、受音点ｋにおける音圧ｐ（ｔ，ｒ）および粒子速度ｖ（ｔ，ｒ）の双方を成分とする音響物理量ベクトルＰ_ｋは［数７］によって定義することができる。

音響物理量ベクトルＰ_ｋは、音圧ｐ（ｔ，ｒ）または粒子速度ｖ（ｔ，ｒ）の一方だけを成分としてもよい。

さらに、音響物理量ベクトルＰ_ｋは音圧ｐ（ｔ，ｒ）と粒子速度ｖ（ｔ，ｒ）の積である瞬時音響インテンシティＩＩ（ｔ，ｒ）、あるいは、瞬時音響インテンシティのある時間区間の積分値である音響インテンシティＩ（ｔ，ｒ）を成分とするものであってもよい。

ここで、瞬時音響インテンシティＩＩ（ｔ，ｒ）は［数８］で、音響インテンシティＩ（ｔ，ｒ）は［数９］で定義される。

なお、以下の実施形態においては、音響物理量ベクトルＰ_ｋは音圧ｐ（ｔ，ｒ）だけを成分とする場合について説明する。

上記においては、再生音場を極座標で表しているが、以下では再生音場を相互に直交するＸ軸、Ｙ軸およびＺ軸を有する直交座標で表す。

３次元再生音場内のパンニング前音響信号ｓ_ｎ（ｔ）の定位位置である仮想の音源位置をξ^(ｎ)＝［ξ^(ｎ) _ｘ、ξ^(ｎ) _ｙ、ξ^(ｎ) _ｚ］^Ｔ（ｎは１からＮまでの整数であるとする。）、受音点の位置をｒ＝［ｒ_ｘ、ｒ_ｙ、ｒ_ｚ］^Ｔとすれば、Ｎ個の音源位置ξ^(ｎ)から放射された周波数領域パンニング前音響信号Ｓ_ｎ（ω）の受音点位置ｒにおけるパンニング前音圧ベクトル_ｂＰ＝［_ｂＰ_ｘ、_ｂＰ_ｙ、_ｂＰ_ｚ］^Ｔは、［数１０］で表される。

ここで、音源位置ξ^(ｎ)を固定値とすればパンニング前音響信号ｓ_ｎ（ｔ）を音源位置ξ^(ｎ)に定位させることができ、音源位置ξ^(ｎ)を時間関数値とすればパンニング前音響信号ｓ_ｎ（ｔ）を所定の方向および速さで移動させることができる。

なお、以下では簡単のためにパンニング前音響信号ｓ_ｎ（ｔ）は１つ、即ち、Ｎ＝１として説明する。

また、予め定められたＭ個の配置位置ζ^(１)、ζ^(２)・・・ζ^(Ｍ)に配置されたスピーカからパンニング後音響信号ｑ_１（ｔ）、ｑ_２（ｔ）・・・ｑ_Ｍ（ｔ）を出力したときの受音点位置ｒにおけるパンニング後音圧ベクトル_ａＰ＝［_ａＰ_ｘ、_ａＰ_ｙ、_ａＰ_ｚ］^Ｔは、［数１１］で表される。

ここで、次に示す［数１２］が成立するように周波数領域パンニング後音響信号Ｑ_１（ω）、Ｑ_２（ω）・・・Ｑ_Ｍ（ω）を決定し、時間領域に逆変換してスピーカから出力すれば、パンニング前音響信号ｓ（ｔ）をパンニングしたパンニング後音響信号ｑ_１（ｔ）、ｑ_２（ｔ）・・・ｑ_Ｍ（ｔ）を予め定められた配置位置ζ^(１)、ζ^(２)・・・ζ^(Ｍ)に配置されたスピーカにより再生することが可能となる。ただし、［数１０］において、Ｎ＝１としている。

そして、［数１２］が成立するようにパンニング後音響信号ｑ_１（ｔ）、ｑ_２（ｔ）・・・ｑ_Ｍ（ｔ）を決定するためには、［数１３］で表されるパンニング前音圧ベクトル_ｂＰとパンニング後音圧ベクトル_ａＰの二乗誤差Ｅが最少となるｑ_１（ｔ）、ｑ_２（ｔ）・・・ｑ_Ｍ（ｔ）を求めればよい。

［数１３］に［数１０］および［数１１］を代入して展開すると［数１４］となる。

ここで、［数１５］を使用して［数１４］を書き換えると、［数１６］となる。

二乗誤差Ｅを最小とするＱ（ω）は、ＥをＱ（ω）について偏微分して零とおいた［数１７］により決定することができる。

よって、二乗誤差Ｅを最小とするＱ（ω）は［数１８］となる。

図２は、本発明に係る３次元パンニング装置１のハードウエア構成を示すブロック図であって、パンニング前音響信号を読み込むアナログ・デジタル（Ａ／Ｄ）変換器２１と、パンニング後音響信号を出力するデジタル・アナログ（Ｄ／Ａ）変換器２２と、３次元パンニング処理を実行するＣＰＵ２３と、３次元パンニングプログラムを記憶するメモリ２４と、３次元パンニング装置を操作するための周辺機器が接続されるインターフェイス（Ｉ／Ｆ）２５とがバス２０に接続された構成を有する。

Ｉ／Ｆ２５には、表示パネル２６と、キーボード２７と、マウス２８とが接続される。なお、表示パネル２６、キーボード２７、およびマウス２８に代えて、操作パネルを適用することも可能である。

即ち、本発明の３次元パンニング装置は、コンピュータに３次元パンニングプログラムをインストールすることにより構成される。

次に、本発明の３次元パンニング装置の動作を説明する。

図３は、メモリ２４にインストールされる３次元パンニングプログラムのフローチャートであって、ＣＰＵ２３は、まずＡ／Ｄ変換器２１を介して、パンニング前音響信号ｓ（ｔ）を読み込む（ステップＳ３１）。

ＣＰＵ２３は、パンニング前音響信号ｓ（ｔ）をフーリエ変換して周波数領域パンニング前音響信号Ｓ（ω）を算出する（ステップＳ３２）。

次に、ＣＰＵ２３は、パンニングルーチンを実行して（ステップＳ３３）、周波数領域パンニング後音響信号Ｑ_１（ω）、Ｑ_２（ω）・・・Ｑ_Ｍ（ω）を算出するが、詳細は以下に説明する。

さらに、ＣＰＵ２３は、周波数領域パンニング後音響信号Ｑ_１（ω）、Ｑ_２（ω）・・・Ｑ_Ｍ（ω）を逆フーリエ変換してパンニング後音響信号ｑ_１（ｔ）、ｑ_２（ｔ）・・・ｑ_Ｍ（ｔ）を算出し（ステップＳ３４）、Ｄ／Ａ変換器２２を介してパンニング後音響信号ｑ_１（ｔ）、ｑ_２（ｔ）・・・ｑ_Ｍ（ｔ）（ベクトル表示ｑ（ｔ））を出力（ステップＳ３５）してこのルーチンを終了する。

図４は、図３の３次元パンニングプログラムのステップＳ３３で実行されるパンニングルーチンのフローチャートである。ここで、３次元再生音場内のパンニング前音響信号ｓ_ｎ（ｔ）の定位位置である音源位置がξ＝［ξ_ｘ、ξ_ｙ、ξ_ｚ］^Ｔ、受音点位置がｒ＝［ｒ_ｘ、ｒ_ｙ、ｒ_ｚ］^Ｔで表されるものとする。なお、音源の個数はＮ個であるものとする。

まず、ＣＰＵ２３は、受音点位置ｒ＝［ｒ_ｘ、ｒ_ｙ、ｒ_ｚ］^Ｔを読み込む（ステップＳ３３１）。

次に、ＣＰＵ２３は、音源位置ξ＝［ξ_ｘ、ξ_ｙ、ξ_ｚ］^Ｔの情報を生成する（ステップＳ３３２）。例えば、予め定められた始点と終点の間を音源が移動するような軌跡を算出するとよい。なお、外部から音源位置の情報を入力することも可能である。

次に、ＣＰＵ２３は、［数１５］に示した係数を算出し（ステップＳ３３３）、さらに［数１６］に示したベクトルｈおよび行列Ｈを算出し（ステップＳ３３４）、［数１８］より周波数領域パンニング後音響信号Ｑ（ω）を算出して（ステップＳ３３５）、このルーチンを終了する。

ここで、図５に示すように、２つのスピーカから出力される音響信号により音像を定位させる場合を想定する。

受音点Ｊは、Ｘ−Ｙ座標の原点であり、左スピーカＳＬは受音点Ｊからｄ離れた位置にＹ軸左方３０度の角度で配置され、右スピーカＳＲは受音点Ｊからｄ離れた位置にＹ軸右方３０度の角度で配置されている。そして、音源ＳＳは受音点ＪからＤ離れた位置にＹ軸に対してθの角度で存在するものとする。なお、θはＹ軸上で０度であり、Ｙ軸右方では正の値、Ｙ軸左方では負の値を取るものとする。

すると、［数１５］の係数は［数１９］となる。

また、［数１６］は［数２０］となる。

よって、［数１８］を使用して左スピーカＳＬの出力Ｑ_１（ω）および右スピーカＳＲの出力Ｑ_２（ω）は［数２１］により算出される。

ここで、ｄ＝Ｄとすれば、周知の“tangent law”によるパンニングと一致し、従って、非特許文献１に開示されているベクトル基準振幅パンニング（Vector Base Amplitude Panning）法によるパンニングとも一致する。

以上説明したように、本発明に係る３次元パンニング装置は、ｄ≠Ｄの場合も取り扱うことが可能であり、従来の“tangent law”およびベクトル基準振幅パンニング法を拡張したパンニング法を提供できるものである。

（第２の実施の形態）
第１の実施の形態は１つの受音点を対象としていたが、第２の実施の形態では１つの再生領域Ｖを対象とする。

即ち、第２の実施の形態においては、パンニング前音圧ベクトル_ｂＰとパンニング後音圧ベクトル_ａＰの二乗誤差Ｅとして［数２２］を使用する。

なお、上記では２台のスピーカが同一平面内に配置されているものとしているが、スピーカを３次元空間に配置した場合にも本発明に係る３次元パンニング装置を適用できることは明らかである。

即ち、第２の実施の形態によれば、多数の聴取者を対象として音像を定位させることが可能となる。

上述した第１の実施の形態および第２の実施の形態においては、パンニング前音響信号をフーリエ変換して周波数領域に変換した後に周波数領域でパンニング処理を実行し、算出された周波数領域パンニング後音響信号を逆フーリエ変換してパンニング後音響信号を算出することとしているが、フーリエ変換処理、ダウンミックス処理、および逆フーリエ変換処理を遅延素子とフィルタで構成し、時間領域でパンニングすることも可能であることは当業者にとって明らかである。

以上のように、本発明に係る３次元パンニング装置は、パンニング前音響信号を３次元的にパンニングして予め定められた位置に配置されたスピーカから再生することのできるという効果を有し、音響信号処理装置等として有効である。

本発明に係る３次元パンニング装置の第１の実施形態の構成を示すブロック図本発明に係る３次元パンニング装置のハードウエア構成を示すブロック図本発明に係るパンニング装置で実行される３次元パンニングプログラムのフローチャート本発明に係るパンニング装置で実行されるパンニングルーチンのフローチャート２つのスピーカの配置図

符号の説明

１３次元パンニング装置
１１パンニング前音響信号読み込み手段
１２パンニング後音響信号出力手段
１３変換手段
１４定位位置情報生成手段
１５配置情報記憶手段
１６周波数領域パンニング後音響信号生成手段
１７逆変換手段

Claims

時間関数であるパンニング前音響信号を読み込むパンニング前音響信号読み込み手段と、
時間関数であるパンニング後音響信号を出力するパンニング後音響信号出力手段と、
前記パンニング前音響信号を周波数領域パンニング前音響信号に変換する変換手段と、
前記パンニング前音響信号に付加する定位位置情報を生成する定位位置情報生成手段と、
前記パンニング後音響信号出力手段の配置情報を記憶する配置情報記憶手段と、
前記定位位置情報、および前記配置情報に基づいて前記周波数領域パンニング前音響信号をパンニングさせた周波数領域パンニング後音響信号を生成する周波数領域パンニング後音響信号生成手段と、
前記周波数領域パンニング後音響信号を時間関数であるパンニング後音響信号に逆変換する逆変換手段と、を含み、
前記周波数領域パンニング後音響信号生成手段が、
前記パンニング後音響信号出力手段から前記パンニング後音響信号を放射したときの受音点におけるパンニング後音響物理量ベクトルを、音源から前記パンニング前音響信号を放射したときの前記受音点におけるパンニング前音響物理量ベクトルと等しくする前記周波数領域パンニング後音響信号を生成するものである３次元パンニング装置。
時間関数であるパンニング前音響信号を読み込むパンニング前音響信号読み込み手段と、
時間関数であるパンニング後音響信号を出力するパンニング後音響信号出力手段と、
前記パンニング前音響信号を周波数領域パンニング前音響信号に変換する変換手段と、
前記パンニング前音響信号に付加する定位位置情報を生成する定位位置情報生成手段と、
前記パンニング後音響信号出力手段の配置情報を記憶する配置情報記憶手段と、
前記定位位置情報、および前記配置情報に基づいて前記周波数領域パンニング前音響信号をパンニングさせた周波数領域パンニング後音響信号を生成する周波数領域パンニング後音響信号生成手段と、
前記周波数領域パンニング後音響信号を時間関数であるパンニング後音響信号に逆変換する逆変換手段と、を含み、
前記周波数領域パンニング後音響信号生成手段が、
前記パンニング後音響信号出力手段から前記パンニング後音響信号を放射したときの受音領域におけるパンニング後音響物理量ベクトルを、音源から前記パンニング前音響信号を放射したときの前記受音領域におけるパンニング前音響物理量ベクトルと等しくする前記周波数領域パンニング後音響信号を生成するものである３次元パンニング装置。