JP6772231B2 - 音響信号のレンダリング方法、該装置、及びコンピュータ可読記録媒体 - Google Patents

Description

本発明は、音響信号をレンダリングする方法及びその装置に係り、さらに詳細には、出力チャネルの標準レイアウトと、インストールレイアウトとの間に偏差（misalignment）がある場合、パンニングゲインまたはフィルタ係数を修正することにより、音像の位置及び音色（tone color）をさらに正確に再現するためのレンダリング方法及び装置に関する。

立体音響とは、音の高低、音色だけではなく、方向や距離感まで再生し、臨場感を有するようにし、音源が発生した空間に位置していない聴取者に、方向感、距離感及び空間感を知覚させる空間情報を付加した音響を意味する。

２２．２チャネルのようなチャネル信号を、５．１チャネルとしてレンダリングする場合、二次元出力チャネルを介して、三次元立体音響を再生することができるが、レンダリングされた音響信号は、スピーカのレイアウトに敏感に作用し、インストールされたスピーカのレイアウトが、標準レイアウトと異なる場合、音像の歪曲が発生してしまう。

前述のように、２２．２チャネルのようなマルチチャネル信号を、５．１チャネルとしてレンダリングする場合、二次元出力チャネルを利用して、三次元音響信号を再生することができるが、レンダリングされた音響信号は、スピーカのレイアウトに敏感に作用し、インストールされたスピーカのレイアウトが標準レイアウトと異なる場合、音像の歪曲が発生してしまう。

本発明は、前述の従来技術の問題点を解決し、インストールされたスピーカのレイアウトが標準レイアウトと異なる場合でも、音像の歪曲を低減させることをその目的とする。

前記目的を達成するための本発明の代表的な構成は、次の通りである。

前記技術的課題を解決するための本発明の一実施形態による、音響信号をレンダリングする方法は、複数個の出力チャネルに変換される複数個の入力チャネルを含むマルチチャネル信号を受信する段階と、各出力チャネルに対応するスピーカ位置及び基準位置から、少なくとも１つの出力チャネルに係わる偏差情報を獲得する段階と、前記獲得された偏差情報に基づいて、前記複数個の入力チャネルに含まれた高さチャネルから、前記偏差情報を有する出力チャネルへのパンニングゲインを修正する段階と、を含む。

本発明によれば、インストールされたスピーカのレイアウトが、標準レイアウトと異なる場合、または音像の位置が変化した場合でも、音像の歪曲を減らすように、音響信号をレンダリングすることができる。

一実施形態による立体音響再生装置の内部構造を示すブロック図である。 一実施形態による立体音響再生装置の構成のうち、レンダラの構成を示すブロック図である。 一実施形態による、複数個の入力チャネルが複数個の出力チャネルにダウンミキシングされる場合の各チャネルのレイアウトに係わる図面である。 出力チャネルの標準レイアウトと、インストールレイアウトとの間に位置偏差がある場合、一実施形態によるパンニング部を示す図面である。 出力チャネルの標準レイアウトと、インストールレイアウトとの間に高度偏差がある場合、一実施形態によるパンニング部の構成を示す図面である。 左チャネル信号及び右チャネル信号からセンターチャネル信号をレンダリングする場合、出力チャネルのインストールレイアウトによる音像の位置を示す図面である。 左チャネル信号及び右チャネル信号からセンターチャネル信号をレンダリングする場合、出力チャネルのインストールレイアウトによる音像の位置を示す図面である。 出力チャネルに高度偏差がある場合、一実施形態によって、高度効果を補正し、音像の位置が定位されることを示す図面である。 出力チャネルに高度偏差がある場合、一実施形態によって、高度効果を補正し、音像の位置が定位されることを示す図面である。 一実施形態において、立体音響信号をレンダリングする方法のフローチャートである。 左チャネル信号及び右チャネル信号からセンターチャネル信号をレンダリングする場合、一実施形態による、高度偏差と、各チャネルに係わるパンニングゲインとの関係を示す図面である。 スピーカの位置偏差による、位置別音色のスペクトルを示す図面である。 一実施形態において、立体音響信号をレンダリングする方法のフローチャートである。 一実施形態による、音質補正フィルタを設計する方法について説明するための図面である。 一実施形態による、音質補正フィルタを設計する方法について説明するための図面である。 三次元仮想レンダリングのための、出力チャネルと仮想音源との間に高度偏差が存在する場合を示した図面である。 三次元仮想レンダリングのための、出力チャネルと仮想音源との間に高度偏差が存在する場合を示した図面である。 一実施形態による、Ｌ／Ｒ／ＬＳ／ＲＳチャネルを利用して、ＴＦＣチャネルを仮想レンダリングする方法について説明するための図面である。 一実施形態による、５．１出力チャネルを利用して仮想レンダリングの偏差を処理するレンダラに係わるブロック図である。

前記目的を達成するための本発明の代表的な構成は、次の通りである。

前記技術的課題を解決するための本発明の一実施形態による、音響信号をレンダリングする方法は、複数個の出力チャネルに変換される複数個の入力チャネルを含むマルチチャネル信号を受信する段階と、各出力チャネルに対応するスピーカ位置及び基準位置から、少なくとも１つの出力チャネルに係わる偏差情報を獲得する段階と、獲得された偏差情報に基づいて、複数個の入力チャネルに含まれた高さチャネルから、偏差情報を有する出力チャネルへのパンニングゲインを修正する段階と、を含む。

本発明の他の実施形態によれば、複数個の出力チャネルは、水平チャネルである。

本発明のさらに他の実施形態によれば、偏差情報を有する出力チャネルは、左側水平チャネルまたは右側水平チャネルのうち少なくとも一つを含む。

本発明のさらに他の実施形態によれば、該偏差情報は、方位偏差及び高度偏差のうち少なくとも一つを含む。

本発明のさらに他の実施形態によれば、パンニングゲインを修正する段階は、獲得された偏差情報に高度偏差がある場合、高度偏差による効果を補正する。

本発明のさらに他の実施形態によれば、パンニングゲインを修正する段階は、獲得された偏差情報に高度偏差がない場合、二次元パンニング技法によってパンニングゲインを修正する。

本発明のさらに他の実施形態によれば、高度偏差による効果を補正する段階は、高度偏差による両耳レベル差（ＩＬＤ：inter-aural level difference）を補正する。

本発明のさらに他の実施形態によれば、高度偏差による効果を補正する段階は、獲得された高度偏差に比例し、獲得された高度偏差に該当する出力チャネルのパンニングゲインを修正する。

本発明のさらに他の実施形態によれば、パンニングゲインは、左側水平チャネル及び右側水平チャネルそれぞれに対するパンニングゲインの二乗の和が１になる。

前記技術的課題を解決するための本発明の一実施形態による、音響信号をレンダリングする装置は、複数個の出力チャネルに変換される複数個の入力チャネルを含むマルチチャネル信号を受信する受信部；各出力チャネルに対応するスピーカ位置及び基準位置から、少なくとも１つの出力チャネルに係わる偏差情報を獲得する獲得部；並びに獲得された偏差情報に基づいて、複数個の入力チャネルに含まれた高さチャネルから、偏差情報を有する出力チャネルへのパンニングゲインを修正するパンニングゲイン修正部；を含む。

本発明の他の実施形態によれば、複数個の出力チャネルは、水平チャネルである。

本発明のさらに他の実施形態によれば、偏差情報を有する出力チャネルは、左側水平チャネルまたは右側水平チャネルのうち少なくとも一つを含む。

本発明のさらに他の実施形態によれば、偏差情報は、方位偏差及び高度偏差のうち少なくとも一つを含む。

本発明のさらに他の実施形態によれば、パンニングゲイン修正部は、獲得された偏差情報に高度偏差がある場合、高度偏差による効果を補正する。

本発明のさらに他の実施形態によれば、パンニングゲイン修正部は、獲得された偏差情報に高度偏差がない場合、二次元パンニング技法によってパンニングゲインを修正する。

本発明のさらに他の実施形態によれば、パンニングゲイン修正部は、高度偏差による両耳レベル差（ＩＬＤ）を補正し、高度偏差による効果を補正する。

本発明のさらに他の実施形態によれば、パンニングゲイン修正部は、獲得された高度偏差に比例し、獲得された高度偏差に該当する出力チャネルのパンニングゲインを修正し、高度偏差による効果を補正する。

本発明のさらに他の実施形態によれば、パンニングゲインは、左側水平チャネル及び右側水平チャネルそれぞれに対するパンニングゲインの二乗の和が１になる。

一方、本発明の一実施形態によれば、前述の方法を実行するためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。

それ以外にも、本発明を具現するための他の方法、他のシステム、及び前記方法を実行するためのコンピュータプログラムを記録するコンピュータ可読記録媒体がさらに提供される。

以下で説明する本発明についての詳細な説明は、本発明が実施される特定実施形態を例示として図示する添付図面を参照する。かような実施形態は、当業者が本発明を十分に実施することができるように詳細に説明される。本発明の多様な実施形態は、互いに異なるが、相互排他的である必要はないと理解されなければならない。

例えば、本明細書に記載されている特定形状、構造及び特性は、本発明の精神及び範囲を外れずに、一実施形態から他の実施形態に変更されて具現されてもよい。また、それぞれの実施形態内の個別構成要素の位置または配置も、本発明の精神及び範囲を外れずに、変更されてもよいということが理解されなければならない。従って、後述する詳細な説明は、限定的な意味としてなされるものではなく、本発明の範囲は、特許請求の範囲の請求項が請求する範囲、及びそれと均等な全ての範囲を包括するものであると受け入れられなければならない。

図面において、類似した参照符号は、多くの側面にわたって、同一であるか、あるいは類似した構成要素を示す。そして、図面において、本発明について明確に説明するために、説明と係わりの内部分は省略し、明細書全体を通じて類似した部分については、類似した図面符号を付した。

以下では、本発明が属する技術分野で当業者が、本発明を容易に実施することができるように、本発明の多くの実施形態について、添付された図面を参照して詳細に説明する。しかし、本発明は、さまざまに異なる形態に具現され、ここで説明する実施形態に限定されるものではない。

明細書全体において、ある部分が他の部分と「連結」されているとするとき、それは、「直接に連結」されている場合だけではなく、その中間に他の素子を介在させて「電気的に連結」されている場合も含む。また、ある部分がある構成要素を「含む」とするとき、それは、特別に反対となる記載がない限り、他の構成要素を除くものではなく、他の構成要素をさらに含んでもよいということを意味する。

以下、添付された図面を参照し、本発明について詳細に説明する。

図１は、一実施形態による立体音響再生装置の内部構造を示すブロック図である。

一実施形態による立体音響再生装置１００は、複数個の入力チャネルが再生される複数個の出力チャネルに、ミキシング（mixing）されたマルチチャネル（multi-channel）音響信号を出力することができる。このとき、出力チャネルの個数が入力チャネルの個数よりさらに少なければ、入力チャネルは、出力チャネル個数に合わせて、ダウンミキシング（downmixing）される。

立体音響とは、音の高低、音色（tone color）だけではなく、方向や距離感まで再生して臨場感を有するようにし、音源が発生した空間に位置していない聴取者に、方向感、距離感及び空間感を知覚させる空間情報を付加した音響を意味する。

以下の説明において、音響信号の出力チャネルは、音響が出力されるスピーカの個数を意味する。出力チャネル数が多いほど、音響が出力されるスピーカの個数が多くなる。一実施形態による立体音響再生装置１００は、入力チャネル数が多いマルチチャネル音響信号が、出力チャネル数が少ない環境で出力されて再生されるように、マルチチャネル音響入力信号を再生される出力チャネルにレンダリングしてミキシングすることができる。このとき、マルチチャネル音響信号は、高度音響（elevated sound）を出力することができるチャネルを含んでもよい。

該高度音響を出力することができるチャネルは、高度感を感じるように、聴取者の頭上に位置したスピーカを介して、音響信号を出力することができるチャネルを意味する。水平面チャネルは、聴取者と水平な面に位置したスピーカを介して、音響信号を出力することができるチャネルを意味する。

前述の出力チャネル数が少ない環境は、高度音響を出力することができる出力チャネルを含まず、水平面上に配置されたスピーカを介して、音響を出力することができる環境を意味する。

また、以下の説明において、水平面チャネル（horizontal channel）は、水平面上に配置されたスピーカを介して出力される音響信号を含むチャネルを意味する。オーバーヘッドチャネル（overhead channel）は、水平面ではない高度上に配置され、高度音を出力することができるスピーカを介して出力される音響信号を含むチャネルを意味する。

図１を参照すれば、一実施形態による立体音響再生装置１００は、オーディオコア１１０、レンダラ１２０、ミキサ１３０及び後処理部１４０を含んでもよい。

一実施形態による立体音響再生装置１００は、マルチチャネル入力音響信号をレンダリングし、ミキシングして再生される出力チャネルに出力することができる。例えば、マルチチャネル入力音響信号は、２２．２チャネル信号であり、再生される出力チャネルは、５．１チャネルまたは７．１チャネルでもある。立体音響再生装置１００は、マルチチャネル入力音響信号の各チャネルを対応させる出力チャネルを決定することによってレンダリングを行い、再生されるチャネルと対応した各チャネルの信号を合わせて最終信号として出力することにより、レンダリングされたオーディオ信号をミキシングすることができる。

エンコーディングされた音響信号は、オーディオコア１１０にビットストリーム形態で入力され、オーディオコア１１０は、音響信号がエンコーディングされた方式に適するデコーダツールを選択し、入力された音響信号をデコーディングする。

レンダラ１２０は、マルチチャネル入力音響信号を、チャネル及び周波数によって、マルチチャネル出力チャネルにレンダリングすることができる。レンダラ１２０は、マルチチャネル音響信号を、オーバーヘッドチャネル及び水平面チャネルによる信号として、それぞれ３Ｄ（dimensional）レンダリング及び２Ｄ（dimensional）レンダリングすることができる。レンダラの構成及び具体的レンダリング方法については、以下図２でさらに詳細に説明する。

ミキサ１３０は、レンダラ１２０によって、水平チャネルと対応した各チャネルの信号を合わせ、最終信号として出力することができる。ミキサ１３０は、所定区間別に、各チャネルの信号をミキシングすることができる。例えば、ミキサ１３０は、１フレーム別に、各チャネルの信号をミキシングすることができる。

一実施形態によるミキサ１３０は、再生される各チャネルにレンダリングされた信号のパワー値に基づいてミキシングすることができる。言い換えれば、ミキサ１３０は、再生される各チャネルにレンダリングされた信号のパワー値に基づいて、最終信号の振幅、または最終信号に適用されるゲイン（gain）を決定することができる。

後処理部１４０は、ミキサ１３０の出力信号を、各再生装置（スピーカまたはヘッドホンなど）に合わせ、マルチバンド信号に対する動的範囲制御及びバイノーライジング（binauralizing）などを行う。後処理部１４０で出力された出力音響信号は、スピーカなどの装置を介して出力され、出力音響信号は、各構成部の処理によって、２Ｄまたは３Ｄに再生される。

図１に図示された一実施形態による立体音響再生装置１００は、オーディオデコーダの構成を中心に図示されており、付随的な構成は省略されている。

図２は、一実施形態による立体音響再生装置の構成のうち、レンダラの構成を示すブロック図である。

レンダラ１２０は、フィルタリング部１２１とパンニング部１２３とから構成される。

フィルタリング部１２１は、デコーディングされた音響信号を、位置によって音色などを補正し、ＨＲＴＦ（head-related transfer function）フィルタを利用して、入力音響信号をフィルタリングすることができる。

フィルタリング部１２１は、オーバーヘッドチャネルを３Ｄレンダリングするために、ＨＲＴＦフィルタを通過したオーバーヘッドチャネルを、周波数によってそれぞれ異なる方法でレンダリングすることができる。

ＨＲＴＦフィルタは、両耳間のレベル差（ＩＬＤ：interaural level differences）、及び両耳間で音響時間が逹する時間差（ＩＴＤ：interaural time differences）などの単純な経路差だけではなく、頭表面での回折、耳介による反射など複雑な経路上の特性が、音の到来方向によって変化する現象によって、立体音響を認識させる。ＨＲＴＦフィルタは、音響信号の音質を変化させることによって立体音響が認識されるように、オーバーヘッドチャネルに含まれた音響信号を処理することができる。

パンニング部１２３は、入力音響信号を、各出力チャネルに対してパンニングさせるために、各周波数帯域別、各チャネル別に適用されるパンニング係数を求めて適用する。音響信号に対するパンニングは、２つの出力チャネル間の特定位置に音源をレンダリングするために、各出力チャネルに印加する信号の大きさを制御することを意味する。

パンニング部１２３は、オーバーヘッドチャネル信号のうち、低周波信号については、アド・ツー・クローセスト・チャネル（add to the closest channel）方法によってレンダリングし、高周波信号については、マルチチャネルパンニング（multichannel panning）方法によってレンダリングすることができる。マルチチャネルパンニング方法によれば、マルチチャネル音響信号の各チャネルの信号が各チャネル信号にレンダリングされるチャネルごとに、互いに異なるように設定されたゲイン値が適用され、少なくとも１つの水平面チャネルにそれぞれレンダリングされる。ゲイン値が適用された各チャネルの信号は、ミキシングを介して合わされることにより、最終信号として出力される。

低周波信号は、回折性が強いので、マルチチャネルパンニング方法によって、マルチチャネル音響信号の各チャネルを、さまざまなチャネルにそれぞれ分けてレンダリングせず、１つのチャネルにだけレンダリングしても、聴取者が聞くのに類似した音質を有することができる。従って、一実施形態による立体音響再生装置１００は、低周波信号を、アド・ツー・クローセスト・チャネル方法によってレンダリングすることにより、１つの出力チャネルにさまざまなチャネルがミキシングされることによって発生する音質劣化を防止することができる。すなわち、１つの出力チャネルに、さまざまなチャネルがミキシングされれば、各チャネル信号間の干渉によって、音質が増幅されたり低減されたりして劣化されるので、１つの出力チャネルに１つのチャネルをミキシングすることにより、音質劣化を防止することができる。

アド・ツー・クローセスト・チャネル方法によれば、マルチチャネル音響信号の各チャネルは、さまざまなチャネルに分けてレンダリングする代わりに、再生されるチャネルのうち最も近いチャネルにレンダリングされる。

また、立体音響再生装置１００は、周波数によって異なる方法によってレンダリングを行うことにより、スイートスポット（sweet spot）を音質劣化なしに広げることができる。すなわち、回折特性が強い低周波信号については、アド・ツー・クローセスト・チャネル方法によってレンダリングすることにより、１つの出力チャネルに、さまざまなチャネルがミキシングされることによって発生する音質劣化を防止することができる。スイートスポットとは、聴取者が、歪曲されていない立体音響を最適に聴取することができる所定範囲を意味する。

スイートスポットが広いほど、聴取者は、広い範囲で、歪曲されていない立体音響を最適に聴取することができ、聴取者がスイートスポットに位置しない場合、音質または音像などが歪曲された音響を聴取することになる。

図３は、一実施形態による、複数個の入力チャネルが複数個の出力チャネルにダウンミキシングされる場合の各チャネルのレイアウトに係わる図面である。

三次元映像のように、実際と同一であるか、あるいはさらに誇張された現場感と没入感とを提供するために、三次元立体映像と共に三次元立体音響を提供するための技術が開発されている。立体音響は、音響信号自体が、音の高低及び空間感を有する音響を意味するものであり、かような立体音響を再生するために、は最小２個以上のラウドスピーカ、すなわち、出力チャネルが必要である。また、ＨＲＴＦを利用するバイノーラル（binaural）立体音響を除いては、音の高低感、距離感及び空間感をさらに正確に再現するために、多数の出力チャネルを必要とする。

従って、２チャネル出力を有するステレオシステムに続き、５．１チャネルシステム、Auro ３Ｄシステム、Holman １０．２チャネルシステム、ＥＴＲＩ／Samsung １０．２チャネルシステム、ＮＨＫ ２２．２チャネルシステムなど多様なマルチチャネルシステムが提案されて開発されている。

図３は、２２．２チャネルの立体音響信号を、５．１チャネルの出力システムで再生する場合について説明するための図面である。

５．１チャネルシステムは、５チャネルサラウンドマルチチャネルサウンドシステムの一般的な名称であり、家庭のホームシアター及び劇場用サウンドシステムで、最も普遍的に普及されて使用されているシステムである。全ての５．１チャネルは、ＦＬ（front left）チャネル、Ｃ（center）チャネル、ＦＲ（front right）チャネル、ＳＬ（surround left）チャネル及びＳＲ（surround right）チャネルを含む。図３から分かるように、５．１チャネルの出力は、いずれも同じ平面上に存在するために、物理的には、二次元システムに該当し、５．１チャネルシステムで三次元立体音響信号を再生するためには、再生される信号に立体感を付与するためのレンダリング過程を経なければならない。

５．１チャネルシステムは、映画においてだけではなく、ＤＶＤ（digital versatile disc）映像、ＤＶＤ音響、ＳＡＣＤ（super audio compact disc）またはデジタル放送に至るまで、多様な分野で広く使用されている。しかし、５．１チャネルシステムが、たとえステレオシステムに比べて向上した空間感を提供するにしても、さらに広い聴取空間の形成において、さまざまな制約がある。特に、スイートスポットが狭く形成され、高度角（elevation angle）を有する垂直音像を提供することができないために、劇場のように広い聴取空間には適さない。

ＮＨＫで提案した２２．２チャネルシステムは、３層の出力チャネルからなる。アッパーレイヤ（upper layer）は、ＶＯＧ（voice of God），Ｔ０，Ｔ１８０，ＴＬ４５，ＴＬ９０，ＴＬ１３５，ＴＲ４５，ＴＲ９０及びＴＲ４５チャネルを含む。このとき、各チャネル名称の最も前のＴというインデックスは、アッパーレイヤを意味し、ＬまたはＲというインデックスは、それぞれ左側または右側を意味し、後ろの数字は、中心チャネル（center channel）からの方位角（azimuth angle）を意味する。

ミドルレイヤ（middle layer）は、既存５．１チャネルのような平面に、５．１チャネルの出力チャネル以外に、ＭＬ６０，ＭＬ９０，ＭＬ１３５，ＭＲ６０，ＭＲ９０及びＭＲ１３５チャネルを含む。このとき、各チャネル名称の最も前のＭというインデックスは、ミドルレイヤを意味し、後の数字は、中心チャネルからの方位角を意味する。

ローレイヤ（low layer）は、Ｌ０，ＬＬ４５，ＬＲ４５チャネルを含む。このとき、各チャネル名称の最も前のＬというインデックスは、ローレイヤを意味し、後の数字は、中心チャネルからの方位角を意味する。

２２．２チャネルにおいて、ミドルレイヤは、水平チャネル（horizontal channel）と呼び、方位角０°または方位角１８０°に該当するＶＯＧ，Ｔ０，Ｔ１８０，Ｔ１８０，Ｍ１８０，Ｌ及びＣチャネルは、垂直チャネル（vertical channel）と呼ぶ。

２２．２チャネル入力信号を５．１チャネルシステムで再生する場合、最も一般的な方法は、ダウンミキシング数式を利用して、チャネル間信号を分配することができる。または、仮想の高度感を提供するレンダリングを行い、５．１チャネルシステムで高度感を有する音響信号を再生する。

図４は、出力チャネルの標準レイアウトと、インストールレイアウトとの間に位置偏差がある場合、一実施形態によるパンニング部を示す図面である。

マルチチャネル立体音響信号を、入力信号のチャネル数より少ない出力チャネルで再生する場合、本来の音場が歪曲され、かような歪曲を補正するために、さまざまな技術が研究されている。

一般的なレンダリング技術は、スピーカ、すなわち、出力チャネルが標準レイアウトに合わせてインストールされた場合を基準に、レンダリングを行うようになっている。しかし、出力チャネルが標準レイアウトと正確に一致するようにインストールされていない場合、音像位置の歪曲及び音色の歪曲が発生する。

音像の歪曲は、大きく見て、高度感の歪曲、位相角の歪曲があるが、ある程度の低いレベルでは、あまり敏感ではない。しかし、両耳が左右に位置する身体的な特性上、左・中央・右の音像が変わる場合、音像歪曲をさらに敏感に認知することができる。特に、正面の音像については、さらに敏感に認知する。

従って、図３のように、２２．２チャネルを５．１チャネルで再現する場合、左右にあるチャネルより、０°または１８０°に位置するＶＯＧ，Ｔ０，Ｔ１８０，Ｔ１８０，Ｍ１８０，Ｌ及びＣのようなチャネルは、音像がねじれないように、特に留意しなければならない。

オーディオ入力信号をパンニングするときは、基本的に２段階の過程を経る。最初の段階は、入力されたマルチチャネル信号に対して、出力チャネルの標準レイアウトによって、パンニングゲインを計算する段階であり、初期化（initializing）過程に該当する。２番目の段階は、出力チャネルが実際にインストールされたレイアウトに基づいて計算されたパンニングゲインを修正する段階である。かようなパンニングゲイン修正段階を経れば、出力信号の音像がさらに正確な位置に存在することになる。

従って、パンニング部１２３の処理のためには、オーディオ入力信号以外にも、出力チャネルのインストールレイアウト、及び出力チャネルの標準レイアウトに係わる情報が必要である。Ｌチャネル及びＲチャネルからＣチャネルをレンダリングする場合であるならば、オーディオ入力信号は、Ｃで再生されなければならない入力信号を、オーディオ出力信号は、インストールレイアウトによって、Ｌチャネル及びＲチャネルで出力された修正されたパンニング信号を意味する。

図５は、出力チャネルの標準レイアウトと、インストールレイアウトとの間に高度偏差がある場合、一実施形態によるパンニング部の構成を示す図面である。

図４と同様に、方位偏差（azimuth deviation）のみを考慮する二次元パンニング方法は、出力チャネルの標準レイアウトと、インストールレイアウトとの間に高度偏差（elevation deviation）がある場合、高度偏差による効果を補正することができない。従って、出力チャネルの標準レイアウトと、インストールレイアウトとの間に高度偏差がある場合であるならば、図５のように、高度効果補正部１２４を介して、高度偏差による高度上昇効果を補正しなければならない。

図５では、高度効果補正部１２４とパンニング部１２３とを別途の構成として、区別して図示したが、高度効果補正部１２４は、パンニング部１２３内に含まれた構成によっても具現される。

以下、図６Ａないし図９では、スピーカレイアウトによってパンニング係数を決定する方法について具体的に説明する。

図６Ａ及び図６Ｂは、左チャネル信号及び右チャネル信号からセンターチャネル信号をレンダリングする場合、出力チャネルのインストールレイアウトによる音像の位置を示す図面である。

図６Ａ及び図６Ｂは、Ｌチャネル及びＲチャネルからＣチャネルをレンダリングする場合を仮定する。

図６Ａは、Ｌチャネル及びＲチャネルがいずれも標準レイアウトに合うように、Ｃチャネルからそれぞれ左右に、方位角３０°を有する同一平面上に存在する。かような場合であるならば、パンニング部１２３の初期化を介して得られたゲインだけでＣチャネル信号がレンダリングされ、定位置に存在するようになるので、別途のパンニングゲインを修正する過程が必要ではない。

図６Ｂは、図６Ａの場合と同様に、Ｌチャネル及びＲチャネルが同一平面上に存在し、Ｒチャネルの位置は、標準レイアウトを満足するが、Ｌチャネルが、３０°より大きい４５°の方位角を有する場合である。すなわち、Ｌチャネルが標準レイアウトに比べ、１５°の方位偏差を有する。

かような場合、初期化過程を介して計算されたパンニングゲインは、Ｌチャネル及びＲチャネルに同一大きさの値を有し、かようなパンニングゲインを適用する場合、音像の位置は、Ｒチャネル側に偏ったＣ’に決定される。かような現象は、方位角の変化により、ＩＬＤ（inter-aural level difference）が異なるためである。Ｃチャネルの位置を基準に、方位角０°と定義すれば、方位角が大きくなるほど、聴取者の両耳に逹する音響信号のレベル差（ＩＬＤ）が大きくなる。

従って、二次元パンニング技法などによって、パンニングゲインを修正することにより、方位偏差を補正しなければならない。図６Ｂのような場合であるならば、Ｒチャネルの信号を大きくするか、あるいはＬチャネルの信号を小さくし、本来のＣチャネルの位置で音像が形成されるようにする。

図７Ａ及び図７Ｂは、出力チャネルに高度偏差がある場合、一実施形態によって高度効果を補正し、音像の位置が定位されることを示す図面である。 でよって
図７Ａは、Ｒチャネルが高度角を有するＲ’の位置にインストールされ、方位角は３０°と、標準レイアウトを満足するが、Ｌチャネルと同一平面上になく、水平面チャネルに比べ、３０°の高度角を有する場合である。かような場合、Ｒチャネル及びＬチャネルに、同一パンニングゲインを適用するならば、Ｒチャネルの高度が上昇することにより、ＩＬＤが変化し、変化し音像の位置Ｃ’は、Ｌチャネル及びＲチャネルの中間に存在せず、Ｌチャネル側に偏る。

それは、方位偏差が存在する場合と同様に、高度上昇によって、ＩＬＤが異なるために、水平面チャネルを基準に高度角０°と定義すれば、高度角が大きくなるほど、聴取者の両耳に逹する音響信号のレベル差（ＩＬＤ）は、小さくなる。従って、Ｃ’は、水平面チャネルである（高度角がない）Ｌチャネル側に偏ったところに位置することになる。

従って、高度効果補正部１２４は、高度角を有する音のＩＬＤを補正し、音像が偏ることを防止する。具体的には、高度効果補正部は、図７Ａのような場合、高度角を有するチャネルのパンニングゲインを増加するように修正することにより、音像の偏りを防止し、方位角０°で音像が形成されるようにする。

図７Ｂは、かような高度効果補正を介して定位された音像の位置を示している。高度効果補正前の音像は、図７Ａに図示されているように、Ｃ’であり、高度角がないチャネル側に偏った位置に存在したが、高度効果を補正すれば、ＬチャネルとＲ’チャネルとの中間に音像が位置するように定位させることができるのである。

図８は、一実施形態において、立体音響信号をレンダリングする方法のフローチャートである。

図６Ａ及び図６Ｂ、並びに図７Ａ及び図７Ｂで説明した立体音響信号をレンダリングする方法は、次のような順序による。

レンダラ１２０、そのうちでもパンニング部１２３は、複数個のチャネルを有するマルチチャネル入力信号を受信する（８１０）。受信したマルチチャネル入力信号を、マルチチャネル出力を介してパンニングするために、パンニング部１２３は、各出力チャネルに対応するスピーカがインストールされた位置と、規格に規定された基準出力位置とを比較し、各出力チャネルに係わる偏差情報を獲得する（８２０）。

このとき、出力チャネルが５．１チャネルであるならば、出力チャネルは、いずれも水平チャネルであり、同一平面上に存在する。

該偏差情報は、方位偏差に係わる情報と、高度偏差に係わる情報とのうち少なくとも一つを含む。方位偏差に係わる情報は、水平チャネルが存在する水平面において、センターチャネルと出力チャネルとがなす角度である方位角を含み、高度偏差に係わる情報は、水平チャネルが存在する水平面と、出力チャネルとがなす角度である高度角を含んでもよい。

パンニング部１２３は、基準出力位置に基づいて入力されたマルチチャネル信号に適用するパンニングゲインを獲得する（８３０）。このとき、偏差情報を獲得する段階（８２０）と、パンニング利得を獲得する段階（８３０）は、処理順序が変わってもよい。

段階８２０において、各出力チャネルに係わる偏差情報を獲得した結果、偏差情報が存在する出力チャネルであるならば、段階８３０において、獲得したパンニングゲインを修正しなければならない。段階８４０では、段階８２０で獲得した偏差情報に基づいて、高度偏差が存在するか否かということを判断する。

高度偏差が存在しない場合であるならば、方位偏差のみを考慮し、パンニングゲインを修正する（８５０）。

パンニングゲインを計算して修正する方法は、さまざまが適用されるが、代表的には、大きさパンニング（amplitude panning）であるが、タンジェント法則（tangent law）に基づいたＶＢＡＰ（vector base amplitude panning）方法が適用されてもよい。または、スイートスポットの範囲が狭く形成される問題点を解決するために、再生環境で使用するマルチスピーカの時間遅延を合わせることにより、水平面上において平面波（plane wave）と類似した波形を作り、さらに広いスイートスポットを提供するＷＦＳ（wave field synthesis）に基づいた方法が適用されてもよい。

または、雨の音や拍手音などトランジェント（transient）信号が含まれた場合、１チャネルにさまざまなチャネルの信号がダウンミキシングされる場合、１チャネルにトランジェントの個数が増加し、白色化（whitening）される音色歪曲現象が発生することになるが、それを克服するために、各シーン（scene）の空間感と音質との比重により、２Ｄ（timbral）／３Ｄ（spatial）レンダリングモードを選択してレンダリングを行うハイブリッド仮想レンダリング方法が適用される。

または、空間感を提供するための仮想レンダリングと、ダウンミキシング過程において、コムフィルタリング（comb-filtering）を防止して音質を改善するアクティブダウンミキシングを使用する技術とを併用したレンダリング方法が適用される。

高度偏差が存在する場合であるならば、高度偏差を考慮し、パンニングゲインを修正する（８６０）。

このとき、高度偏差を考慮してパンニングゲインを修正する方法は、前述のように、高度角増大による上昇効果を補正するための過程により、高度上昇によって小さくなったＩＬＤが補正されるようにパンニングゲインを修正する。

出力チャネルに係わる偏差情報に基づいて、パンニングゲインを修正すれば、当該チャネルに係わるパンニング過程が終わり、各出力チャネルに係わる偏差情報を獲得する８２０段階から、偏差情報に基づいて当該チャネルに適用されるパンニングゲインを修正する８５０段階または８６０段階までの過程は、出力チャネルの個数ほど反復される。

図９は、左チャネル信号及び右チャネル信号から、センターチャネル信号をレンダリングする場合、一実施形態による高度偏差と、各チャネルに係わるパンニングゲインとの関係を示す図面である。

図９は、高度効果補正部１２４の一実施形態であり、高度角が存在するチャネル（elevated）と、水平面に存在するチャネル（fixed）とに適用するパンニングゲインと高度角との関係を示したものである。

水平面チャネルに存在するＬチャネル及びＲチャネルからＣチャネルをレンダリングする場合、Ｌチャネル及びＲチャネルがいずれも水平面（horizontal）上に存在するならば、Ｌチャネル及びＲチャネルは、互いに対称（symmetric）であるので、それぞれのチャネルに適用されるパンニングゲインｇ_Ｌ，ｇ_Ｒは、同一大きさを有し、

数式（１）と、およそ０．７０７の値を有する。しかし、図７Ａ及び図７Ｂの例のように、ある１チャネルに高度角が存在するならば、高度上昇による効果を補正するために、高度角によってパンニングゲインを修正しなければならない。

図９では、高度角の変化により、パンニングゲインを（８ｄＢ／９０°）の比率で増大させるように修正したものであり、図７Ａ及び図７Ｂの例のようであるならば、Ｒチャネルに高度角３０°に該当するelevatedチャネルのゲインが適用され、ｇ_Ｒは、０．７０７より増大した約０．８１に修正され、Ｌチャネルは、fixedチャネルのゲインが適用され、ｇ_Ｌは、０．７０７より減少した約０．５８に修正される。

このとき、エネルギー正規化（energy normalization）のために、全体パンニングゲインｇ_Ｌ，ｇ_Ｒは、数式（２）を満足しなければならない。

図９においては、高度角の変化により、パンニングゲインを（８ｄＢ／９０°）の比率で、線形的に増大させるように修正したが、それは、高度効果補正部の実施形態によって、増大比率が異なりもし、または非線形的に増大することもあるということに留意しなければならない。

図１０は、スピーカの位置偏差による位置別音色のスペクトルを示す図面である。

パンニング部１２３及び高度効果補正部１２４は、出力チャネルに対応するスピーカの位置によって、音像が偏らず、本来のところに位置するように音響信号を処理する機能を遂行する。しかし、実際、出力チャネルに対応するスピーカの位置が異なった場合、音像の位置が変化するだけではなく、音色も変化してしまう。

このとき、音像の位置によって、人が認知する音色のスペクトルは、空間上の特定位置に存在する音像が、人の耳に受信される関数であるＨＲＴＦに基づいて得られる。ＨＲＴＦは、時間領域（time-domain）で得られたＨＲＩＲ（head-related impulse response）をフーリエ変換（Fourier transform）して得られる。

空間上の音源から放射された音響信号は、空気中を伝播し、耳介、外耳道、鼓膜などを経るので、本来の信号に比べ、大きさ及び位相が変化し、聴取者も、音場中に位置するので、人の頭や胴体などの形状によって、伝達される音が変化してしまう。従って、聴取者は、最終的に歪曲された音響信号を聞くことなる。このとき、聴取者が聞く音響信号、特に、負圧と、放射される音響信号との伝達関数を頭伝達関数、すなわち、ＨＲＴＦと呼ぶ。

人ごとに、頭、外耳、胴体などの大きさや形状が異なるために、個人ごとに固有頭伝達関数を有するが、個人別に頭伝達関数を測定することができないために、共通頭伝達関数（common ＨＲＴＦ）、誂え型頭伝達関数（customized ＨＲＴＦ）などを介して、頭伝達関数をモデリングする。

頭による影響（diffraction effect）は、約６００Ｈｚから始まり、４ｋＨｚ以後では、ほぼ消え、１ｋＨｚ〜２ｋＨｚから観測される胴体の影響（torso effect）は、音源が同側位置（ipsilateral azimuth）にあるほど、音源の高度角が低いほど大きくなり、外耳の影響が支配的である１３ｋＨｚまで観測される。５ｋＨｚ前後では、外耳の共振によるピーク（peak）が生じ、６ｋＨｚ〜１０ｋＨｚにおいて、外耳による最初のノッチ（notch）、１０ｋＨｚ〜１５ｋＨｚにおいて、２番目のノッチ、そして１５ｋＨｚ以上の領域において、３番目のノッチが生じる。

方位角及び高度角を認知するために、音源に対するＩＴＤ（interaural time difference）、ＩＬＤ、及び片耳に対するスペクトル（monaural spectral cues）で示される、ピークとノッチとを利用する。ピークとノッチは、身体、頭及び外耳の回折及び散乱によって生じ、頭伝達関数で確認することができる。

前述のように、ＨＲＴＦは、音源の方位角及び高度角によって、その値が異なる。図１０は、スピーカの方位角が、それぞれ３０°、６０°及び１１０°である場合、音源の周波数によって、人が認知する音色のスペクトルをグラフで示したものである。

各方位角による音響信号の音色を比較すれば、６０°の音色に比べ、３０°の音色は、４００Ｈｚ以下の成分が約３〜５ｄＢほど強く、１１０°の音色は、６０°の音色に比べ、２ｋＨｚ〜５ｋＨｚ成分が３ｄＢほど弱いということを確認することができる。

従って、かような方位角による音色の特徴を利用して、音色変換フィルタリングを行う場合、広帯域信号において、音色をさらに類似して提供することにより、さらに効果的なレンダリングを行うことができる。

図１１は、一実施形態において、立体音響信号をレンダリングする方法のフローチャートである。図１１は、立体音響信号をレンダリングする方法の一実施形態であり、入力チャネルが、少なくとも２つの出力チャネルにパンニングされる場合、入力チャネルに音色変換フィルタリングを行う方法のフローチャートを示している。

フィルタリング部１２１に、複数個の出力チャネルに変換されるマルチチャネル音響信号が入力され（１１１０）、入力されたマルチチャネル音響信号のうち所定の入力チャネルが、少なくとも２つの出力チャネルにパンニングされる場合、フィルタリング部１２１は、所定の入力チャネルと、パンニングされる出力チャネルとのマッピング関係を獲得する（１１３０）。

フィルタリング部１２１は、獲得されたマッピング関係に基づいて、入力チャネルの位置と、パンニングされる出力チャネルの位置とに対するＨＲＴＦに基づいて、音色フィルタ係数を獲得し、獲得された音色フィルタ係数を利用して、音色補正フィルタリングを行う（１１５０）。

このとき、音色補正フィルタは、次のような方法によって設計することができる。

図１２Ａ及び図１２Ｂは、一実施形態による音質補正フィルタを設計する方法について説明するための図面である。

音源の方位角がθ（°）であるとき、聴取者に伝達する頭伝達関数ＨＲＴＦをＨ_θと定義し、θ_Ｓの方位角を有する音源を、方位角θ_Ｄ１、及びθ_Ｄ１に位置するスピカにパンニング（定位）させる場合を仮定する。その場合、各方位角に係わる頭伝達関数は、それぞれ

になる。

音色補正の目的は、方位角θ_Ｄ１，θ_Ｄ１に位置したスピカで再生される音響が、方位角θ_Ｓでの音響とさらに類似した音色を有するように補正することであるので、方位角θ_Ｄ１での出力信号を

のような伝達関数を有するフィルタに通過させ、方位角θ_Ｄ２での出力信号を

のような伝達関数を有するフィルタに通過させる。

かようなフィルタリング結果は、方位角θ_Ｄ１，θ_Ｄ２に位置したスピカで再生される音響が、方位角θ_Ｓでの音響とさらに類似した音色を有するように補正される。

図１０の例においては、各方位角による音響信号の音色を比較すれば、６０°の音色に比べ、３０°の音色は、４００Ｈｚ以下の成分が約３〜５ｄＢほど大きく示され、１１０°の音色は、６０°の音色に比べ、２ｋＨｚ〜５ｋＨｚ成分が４ｄＢほど小さく示される。

音色補正の目的は、３０°と１１０°とのスピーカで再生される音響が、６０°での音響とさらに類似した音色を有するように補正することであるので、３０°のスピーカで再生される音響の音色を、６０°の音色と類似するようにするために、４００Ｈｚ以下の成分は、４ｄＢ小さくし、１１０°のスピーカで再生される音響の音色は、２ｋＨｚ〜５ｋＨｚ範囲で、４ｄＢ大きくすることにより、６０°の音色と類似するように変換するのである。

図１２Ａは、３０°のスピーカにおいて再生される６０°の音響信号に適用される音質補正フィルタを、全周波数区間に対して示したものであり、図１０に図示された方位角が６０°である場合の音色のスペクトル（ＨＲＴＦ）と、方位角が３０°である場合の音色スペクトル（ＨＲＴＦ）との比

である。

図１２Ａに図示された

は、前述のところと類似して、５００Ｈｚ以下の周波数においては、信号の大きさを４ｄＢ小さくし、５００Ｈｚ〜１．５ｋＨｚの周波数においては、信号の大きさを５ｄＢ大きくし、残りの領域についてはバイパス（by-pass）するフィルタになる。

図１２Ｂは、１１０°のスピーカにおいて再生される６０°の音響信号に適用される音質補正フィルタを、全周波数区間に対して示したものであり、図１０に図示された方位角が６０°である場合の音色のスペクトル（ＨＲＴＦ）と、方位角が１１０°である場合の音色スペクトル（ＨＲＴＦ）との比

である。

図１２Ｂに図示された

は、前述のところと類似して、２ｋＨｚ〜７ｋＨｚの周波数においては、信号の大きさを４ｄＢ大きくし、それ以外の周波数領域ではバイパスするフィルタになる。

図１３Ａ及び図１３Ｂは、三次元仮想レンダリングのための出力チャネルと仮想音源との間に高度偏差が存在する場合を示した図面である。

仮想レンダリングは、５．１チャネルのような二次元出力システムにおいて、三次元立体音響を再生するための技術であり、スピーカが存在しない仮想の位置、特に、高度角を有する位置において音像が結ばれるようにするレンダリング技術である。

二次元出力チャネルを利用して、高度感を提供する仮想レンダリング技法は、基本的には、ＨＲＴＦ補正フィルタリングと、マルチチャネルパンニング係数配分との２つの動作を含む。ＨＲＴＦ補正フィルタリングは、高度感を提供するための音色補正作業を遂行するものであり、図１０ないし図１２Ｂで説明した音色補正フィルタリングと類似した機能を遂行するのである。

このとき、図１３Ａに図示されているように、出力チャネルが水平面に存在し、仮想音源の高度角φが３５°である場合を仮定する。かような場合、再生出力チャネルであるＬチャネルと、仮想音源との高度差は３５°であり、かような仮想音源に係わるＨＲＴＦは、Ｈ_{Ｅ（３５）}と定義することができる。

反対に、図１３Ｂに図示されているように、出力チャネルがさらに大きい高度角を有する場合を仮定する。かような場合、再生出力チャネルであるＬチャネルと、仮想音源との高度差は３５°であるが、出力チャネルがさらに大きい高度角を有するので、かような仮想音源に係わるＨＲＴＦは、Ｈ_{Ｅ（-３５）}と定義することができる。

このとき、

の関係が成立する。また、仮想音源と出力チャネルとに高度差が存在しないとするならば、高度補正フィルタＨ_Ｅ（φ）を利用した音色補正は行わない。

それを一般化して表現すれば、表１の通りである。

このとき、音色変換フィルタを使用しない場合は、バイパスフィルタリングを行うようであり、表１は、高度差が正確にφとーφとである場合だけではなく、φから所定の範囲を満足させる場合にも適用される。

図１４は、一実施形態による、Ｌ／Ｒ／ＬＳ／ＲＳチャネルを利用して、ＴＦＣチャネルを仮想レンダリングする方法について説明するための図面である。

ＴＦＣチャネルは、方位角０°、高度角３５°に位置し、ＴＦＣチャネルを仮想レンダリングするための水平チャネルＬ，Ｒ，ＬＳ，ＲＳの位置は、図１４及び表２の通りである。

図１４及び表２の場合、Ｒチャネル及びＬＳチャネルは、標準レイアウトによってインストールされており、ＲＳチャネルは、２５°の方位偏差を有し、Ｌチャネルは、３５°の高度偏差及び１５°の方位偏差を有する。

一実施形態による、Ｌ／Ｒ／ＬＳ／ＲＳチャネルを利用して、ＴＦＣチャネルを仮想レンダリングする方法を適用する方法は、次のような順序によって進められる。

最初に、パンニング係数を計算する。保存部に保存されているＴＦＣチャネルに係わる仮想レンダリングのための初期値をローディングするか、あるいは二次元レンダリングまたはＶＢＡＰなどの方法を利用して、パンニングゲインを計算する。

第２に、チャネル配置によって、パンニング係数を修正（補正）する。出力チャネルレイアウトが、図１４のように配置された場合であるならば、Ｌチャネルには、高度偏差が存在するので、Ｌ−Ｒチャネルを利用するpair-wiseパンニングのために、Ｌチャネル及びＲチャネルには、高度効果補正部１２４を介したパンニングゲインの修正が適用される。一方、ＲＳチャネルに方位偏差が存在するので、ＬＳ−ＲＳチャネルを利用するpair-wiseパンニングのために、ＬＳチャネル及びＲＳチャネルには、一般的な方法を利用して、パンニング係数を修正する。

第３に、音色変形フィルタを利用して、音色を補正する。Ｒチャネル及びＬＳチャネルは、標準レイアウトに合うようにインストールされているので、本来の仮想レンダリングと同一であるＨ_Ｅが適用される。

ＲＳチャネルは、高度偏差はなく、方位偏差だけあるので、本来の仮想レンダリングと同一であるフィルタＨ_Ｅを利用するが、ＬＳチャネルの標準レイアウトによる方位角である１１０°から１３５°に移動した成分に係わる補正フィルタＨ_Ｍ１１０／Ｈ_Ｍ１３５を適用する。このとき、Ｈ_Ｍ１１０は、１１０°の音源に係わるＨＲＴＦであり、Ｈ_Ｍ１３５は、１３５°の音源に係わるＨＲＴＦである。ただし、かような場合、方位角１１０°と１３５°は、相対的に近いので、バイパスしてもよい。

Ｌチャネルは、標準レイアウトについて、方位偏差及び高度偏差がいずれも存在するチャネルであり、本来、仮想レンダリングのために適用されなければならないＨ_Ｅが適用されず、ＴＦＣの音色とＬの位置音色とを補償するＨ_Ｔ０００／Ｈ_Ｔ０４５に補正する。このとき、Ｈ_Ｔ０００は、ＴＦＣチャネルの標準レイアウトに係わるＨＲＴＦであり、Ｈ_Ｔ０４５は、Ｌチャネルがインストールされた位置に係わるＨＲＴＦである。または、かような場合にも、ＴＦＣチャネルとＬチャネルとの位置が相対的に近いので、バイパスするように決定することができる。

レンダリング部では、入力信号をフィルタリングした後、パンニングゲインを乗じて出力信号を生成するが、パンニング部とフィルタリング部は、互いに独立している。それは、図１５のブロック図を参照すれば、さらに明確になるであろう。

図１５は、一実施形態による、５．１出力チャネルを利用して仮、想レンダリングの偏差を処理するレンダラに係わるブロック図である。

図１５のレンダラに係わるブロック図は、図１４の実施形態のように、Ｌ／Ｒ／ＬＳ／ＲＳチャネルを利用して、ＴＦＣチャネルを仮想レンダリングするために、図１４に図示されているようなレイアウトを有するようにインストールされたＬ／Ｒ／ＬＳ／ＲＳ出力チャネルを利用する場合、各ブロックの出力及び処理を示している。

パンニング部においては、最初に、５．１チャネルでの仮想レンダリングパンニングゲインを計算する。図１４のような場合であるならば、Ｌ／Ｒ／ＬＳ／ＲＳチャネルを利用して、ＴＦＣチャネルを仮想レンダリングするように設定された初期値をローディングし、パンニングゲインを決定することができる。このとき、Ｌ／Ｒ／ＬＳ／ＲＳチャネルに適用するために決定されたパンニングゲインは、それぞれｇ_Ｌ０、ｇ_Ｒ０、ｇ_ＬＳ０及びｇ_ＲＳ０である。

次のブロックにおいては、出力チャネルの標準レイアウトと、インストールされた出力チャネルのレイアウトとの偏差に基づいて、Ｌ−ＲチャネルとＬＳ−ＲＳチャネルとのパンニングゲインを修正する。

ＬＳ−ＲＳチャネルの場合、ＬＳチャネルに方位偏差だけ存在するので、一般的な方法を利用して、パンニングゲインを修正する。修正されたパンニングゲインは、ｇ_ＬＳ及びｇ_ＲＳである。Ｌ−Ｒチャネルの場合、Ｒチャネルに高度偏差が存在するので、高度効果補正のために、高度効果補正部１２４を介してパンニングゲインを修正する。修正されたパンニングゲインは、ｇ_Ｌ及びｇ_Ｒである。

フィルタリング部１２１は、入力信号Ｘ_ＴＦＣを受信し、各チャネル別にフィルタリングを行う。Ｒチャネル及びＬＳチャネルは、標準レイアウトに合うようにインストールされているので、本来のレンダリングと同一であるＨ_Ｅが適用される。このとき、それぞれのフィルタ出力は、Ｘ_{ＴＦＣ，Ｒ}及びＸ_{ＴＦＣ，ＬＳ}になる。

ＲＳチャネルは、高度偏差はなく、方位偏差だけあるので、本来の仮想レンダリングと同一であるフィルタＨ_Ｅを利用するが、ＬＳチャネルの標準レイアウトによる方位角である１１０°から１３５°に移動した成分に係わる補正フィルタＨ_Ｍ１１０／Ｈ_Ｍ１３５を適用する。このとき、フィルタ出力信号は、_{ＸＴＦＣ，ＲＳ}になる。

Ｌチャネルは、標準レイアウトについて、方位偏差及び高度偏差がいずれも存在するチャネルであり、本来仮想レンダリングのために適用されなければならないＨ_Ｅが適用されず、ＴＦＣの音色と、Ｌの位置音色とを補償するＨ_Ｔ０００／Ｈ_Ｔ０４５で補正する。このとき、フィルタ出力信号は、Ｘ_{ＴＦＣ，Ｌ}になる。

各チャネルに係わるフィルタ出力信号Ｘ_{ＴＦＣ，Ｌ}；Ｘ_{ＴＦＣ，Ｒ}；Ｘ_{ＴＦＣ，ＬＳ}及びＸ_{ＴＦＣ，ＲＳ}は、パンニング部で修正されたパンニングゲインｇ_Ｌ，ｇ_Ｒ，ｇ_ＬＳ及びｇ_ＲＳと乗じられ、各チャネル信号に係わるレンダラ出力信号ｙ_{ＴＦＣ，Ｌ}；ｙ_{ＴＦＣ，Ｒ}；ｙ_{ＴＦＣ，ＬＳ}及びｙ_{ＴＦＣ，ＲＳ}になる。

以上で説明した本発明による実施形態は、多様なコンピュータ構成要素を介して実行されるプログラム命令語の形態に具現され、コンピュータ可読記録媒体に記録される。前記コンピュータ可読記録媒体は、プログラム命令語、データファイル、データ構造などを、単独または組み合わせて含んでもよい。前記コンピュータ可読記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものであったもよく、コンピュータソフトウェア分野の当業者に公知されて使用可能なものであってもよい。コンピュータ可読記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体；ＣＤ（compact disc）−ＲＯＭ（read only memory）及びＤＶＤ（digital versatile disc）のような光記録媒体；フロプティカルディスク（floptical disk）のような磁気・光媒体（magneto-optical medium）；及びＲＯＭ、ＲＡＭ（random access memory）、フラッシュメモリのような、プログラム命令語を保存して実行するように特別に構成されたハードウェア装置が含まれもする。プログラム命令語の例としては、コンパイラによって作われるような機械語コードだけではなく、インタープリタなどを使用して、コンピュータによって実行される高級言語コードも含まれる。該ハードウェア装置は、本発明による処理を行うために、１以上のソフトウェアモジュールに変更されもし、その逆も同様である。

以上、本発明について、具体的な構成要素のような特定事項、並びに限定された実施形態及び図面によって説明したが、それらは、本発明のさらに全般的な理解の一助とするために提供されたものであるのみ、本発明が、前記実施形態によって限定されるものではなく、本発明が属する技術分野で当業者であるならば、かような記載から多様な修正や変更を図ることができるであろう。

従って、本発明の思想は、前述の実施形態で限って定められるものではなく、特許請求の範囲だけではなく、該特許請求の範囲と均等であるか、あるいはそれらから等価的に変更された全ての範囲は、本発明の思想の範疇に属するとするのである。

上記の実施形態につき以下の付記を残しておく。
（付記１）
音響信号をレンダリングする方法において、
複数個の出力チャネルに変換される複数個の入力チャネルを含むマルチチャネル信号を受信する段階と、
各出力チャネルに対応するスピーカ位置及び基準位置から、少なくとも１つの出力チャネルに係わる偏差情報を獲得する段階と、
前記獲得された偏差情報に基づいて、前記複数個の入力チャネルに含まれた高さチャネルから、前記偏差情報を有する出力チャネルへのパンニングゲインを修正する段階と、を含む音響信号をレンダリングする方法。
（付記２）
前記複数個の出力チャネルは、水平チャネルであることを特徴とする付記１に記載の音響信号をレンダリングする方法。
（付記３）
前記偏差情報を有する出力チャネルは、左側水平チャネルまたは右側水平チャネルのうち少なくとも一つを含むことを特徴とする付記１に記載の音響信号をレンダリングする方法。
（付記４）
前記偏差情報は、方位偏差及び高度偏差のうち少なくとも一つを含むことを特徴とする付記１に記載の音響信号をレンダリングする方法。
（付記５）
前記パンニングゲインを修正する段階は、
獲得された偏差情報に高度偏差がある場合、前記高度偏差による効果を補正することを特徴とする付記４に記載の音響信号をレンダリングする方法。
（付記６）
前記パンニングゲインを修正する段階は、
獲得された偏差情報に高度偏差がない場合、二次元パンニング技法によって、パンニングゲインを修正することを特徴とする付記４に記載の音響信号をレンダリングする方法。
（付記７）
前記高度偏差による効果を補正する段階は、
高度偏差による両耳レベル差（ＩＬＤ）を補正することを特徴とする付記５に記載の音響信号をレンダリングする方法。
（付記８）
前記高度偏差による効果を補正する段階は、
前記獲得された高度偏差に比例し、前記獲得された高度偏差に該当する出力チャネルのパンニングゲインを修正することを特徴とする付記５に記載の音響信号をレンダリングする方法。
（付記９）
前記パンニングゲインは、
前記左側水平チャネル及び前記右側水平チャネルそれぞれに対するパンニングゲインの二乗の和が、１になることを特徴とする付記３に記載の音響信号をレンダリングする方法。
（付記１０）
音響信号をレンダリングする装置において、
複数個の出力チャネルに変換される複数個の入力チャネルを含むマルチチャネル信号を受信する受信部と、
各出力チャネルに対応するスピーカ位置及び基準位置から、少なくとも１つの出力チャネルに係わる偏差情報を獲得する獲得部と、
前記獲得された偏差情報に基づいて、前記複数個の入力チャネルに含まれた高さチャネルから、前記偏差情報を有する出力チャネルへのパンニングゲインを修正するパンニングゲイン修正部と、を含む音響信号をレンダリングする装置。
（付記１１）
前記複数個の出力チャネルは、水平チャネルであることを特徴とする付記１０に記載の音響信号をレンダリングする装置。
（付記１２）
前記偏差情報を有する出力チャネルは、左側水平チャネルまたは右側水平チャネルのうち少なくとも一つを含むことを特徴とする付記１０に記載の音響信号をレンダリングする装置。
（付記１３）
前記偏差情報は、方位偏差及び高度偏差のうち少なくとも一つを含むことを特徴とする付記１０に記載の音響信号をレンダリングする装置。
（付記１４）
前記パンニングゲイン修正部は、
獲得された偏差情報に高度偏差がある場合、前記高度偏差による効果を補正することを特徴とする付記１３に記載の音響信号をレンダリングする装置。
（付記１５）
前記パンニングゲイン修正部は、
獲得された偏差情報に高度偏差がない場合、二次元パンニング技法によってパンニングゲインを修正することを特徴とする付記１３に記載の音響信号をレンダリングする装置。
（付記１６）
前記パンニングゲイン修正部は、
高度偏差による両耳レベル差（ＩＬＤ）を補正し、高度偏差による効果を補正することを特徴とする付記１４に記載の音響信号をレンダリングする装置。
（付記１７）
前記パンニングゲイン修正部は、
前記獲得された高度偏差に比例し、前記獲得された高度偏差に該当する出力チャネルのパンニングゲインを修正し、高度偏差による効果を補正することを特徴とする付記１４に記載の音響信号をレンダリングする装置。
（付記１８）
前記パンニングゲインは、
前記左側水平チャネル及び前記右側水平チャネルそれぞれに対するパンニングゲインの二乗の和が、１になることを特徴とする付記１１に記載の音響信号をレンダリングする装置。
（付記１９）
付記１ないし９のうちいずれか１項に記載の方法を実行するためのコンピュータプログラムを記録するコンピュータ可読記録媒体。

１００ 立体音響再生装置
１１０ オーディオコア
１２０ レンダラ
１２１ フィルタリング部
１２３ パンニング部
１３０ ミキサ
１４０ 後処理部

Claims (6)

1. 音響信号をレンダリングする方法において、
   水平チャネルを有する入力チャネル信号を含むマルチチャネル信号を受信する段階と、
   出力チャネル信号の基準ラウドスピーカ高度角と出力チャネル信号のラウドスピーカ高度角の差を表示する高度偏差情報を獲得する段階と、
   前記水平チャネルを有する入力チャネル信号を前記基準ラウドスピーカ高度角に対する出力チャネル信号にレンダリングするためのフィルタ係数を獲得する段階と、
   前記高度偏差情報が０ではない場合、前記基準ラウドスピーカ高度角に対する出力チャネル信号にレンダリングするためのフィルタ係数に前記高度偏差情報を反映してレンダリングするために、ヘッド伝達関数（head-related transfer function）に基づいた高度レンダリングのためのフィルタの逆形(inverse form)及び前記高度偏差情報を用いて前記基準ラウドスピーカ高度角に対する出力チャネル信号にレンダリングするためのフィルタ係数を修正する段階と、
   前記修正されたフィルタ係数を用いて前記水平チャネルを有する入力チャネル信号を含むマルチチャネル信号をレンダリングする段階と、を含む、
   音響信号をレンダリングする方法。
2. 前記フィルタ係数は、前記基準ラウドスピーカ高度角に基づいてメモリに保存されている、
   ことを特徴とする請求項１に記載の音響信号をレンダリングする方法。
3. 前記ヘッド伝達関数に基づいた高度レンダリングのためのフィルタは、３５°の高度角を基準に生成された関数であり、高さ入力チャネルをレンダリングして水平出力スピーカーに出力する場合、高度感を有するレンダリングを行うためのフィルタであることを特徴とする請求項１に記載の音響信号をレンダリングする方法。
4. 前記基準ラウドスピーカは、水平チャネルを有する、
   ことを特徴とする請求項１に記載の音響信号をレンダリングする方法。
5. 音響信号をレンダリングする装置は、プロセッサ及びメモリを含み、
   前記プロセッサは、メモリに保存された命令に基づいて、
   水平チャネルを有する入力チャネル信号を含むマルチチャネル信号を受信する段階と、
   出力チャネル信号の基準ラウドスピーカ高度角と出力チャネル信号のラウドスピーカ高度角の差を表示する高度偏差情報を獲得する段階と、
   前記水平チャネルを有する入力チャネル信号を前記基準ラウドスピーカ高度角に対する出力チャネル信号にレンダリングするためのフィルタ係数を獲得する段階と、
   前記高度偏差情報が０ではない場合、前記基準ラウドスピーカ高度角に対する出力チャネル信号にレンダリングするためのフィルタ係数に前記高度偏差情報を反映してレンダリングするために、ヘッド伝達関数に基づいた高度レンダリングのためのフィルタの逆形及び前記高度偏差情報を用いて前記フィルタ係数を修正する段階と、
   前記修正されたフィルタ係数を用いて前記水平チャネルを有する入力チャネル信号を含むマルチチャネル信号をレンダリングする段階と、を行う、ことを特徴とする音響信号をレンダリングする装置。
6. 前記基準ラウドスピーカは、水平チャネルを有する、
   ことを特徴とする請求項５に記載の音響信号をレンダリングする装置。