JP4751722B2 - オーディオシーンにおける音源のワイドネスを符号化および復号化する方法 - Google Patents

Description

本発明は、殊にＭＰＥＧ−４オーディオ標準によるオーディオオブジェクトとして符号化された音源のプレゼンテーションを記述するために、オーディオ信号のプレゼンテーション記述を符号化および復号化する方法および装置に関する。

背景技術
ＭＰＥＧ−４オーディオ標準ＩＳＯ／ＩＥＣ １４４９６−３：２００１およびＭＰＥＧ−４システム標準１４４９６−１：２００１に規定されているＭＰＥＧ−４はオーディオオブジェクトの表現を支援することによって多種多様な用途を容易にする。オーディオオブジェクトに付加的な情報、いわゆるシーン記述を組み合わせるために、空間的および時間的な位置が求められ、符号化されたオーディオオブジェクトと共に伝送される。

再生に関しては単一のサウンドトラックを供給するために、オーディオオブジェクトがシーン記述を使用して別個に復号化され、合成されて、聴取者に再生される。

効率に関しては、ＭＰＥＧ−４システム標準ＩＳＯ／ＩＥＣ １４４９６−１：２００１がバイナリ表現されたシーン記述、いわゆるＢＩＦＳ（Binary Format for Scene）記述を符号化するやり方を規定している。したがってオーディオシーンはいわゆるオーディオＢＩＦＳを使用して記述される。

シーン記述は階層的に構造化されており、またグラフとして表現することができる。ここでグラフの葉ノードは別個のオブジェクトを形成し、また他のノードは例えば位置決め、スケーリング、効果などの処理を記述する。別個のオブジェクトの外観および挙動をシーン記述ノード内のパラメータを使用して制御することができる。

本発明
本発明は以下の事実の認識に基づくものである。上述したＭＰＥＧ−４オーディオ標準のバージョンは例えば飛んでいる昆虫のような点源もしくは単一の楽器しか記述できず、聖歌隊、オーケストラ、海または雨などのような特定の次元を有する音源は記述することができない。しかしながら聴音テストによれば音源のワイドネス（wideness）は明確に可聴できる。

したがって本発明により解決されるべき課題は上述の問題を解決することである。この課題は請求項１に記載されている符号化方法および請求項８に記載されている相応の復号化方法によって解決される。

基本的に本発明による符号化方法は、音源のオーディオ信号とリンクされている、音源のパラメータ的な記述の生成を包含し、非点音源のワイドネスの記述はパラメータ的な記述を用いて記述されており、また非点音源のプレゼンテーションは非相関化された複数の点音源によって規定される。

基本的に本発明による復号化方法は、音源のパラメータ的な記述とリンクされている音源に対応するオーディオ信号の受信を包含する。音源のパラメータ的な記述は非点音源のワイドネスを求めるために評価され、また非相関化された複数の点音源は異なる位置において、非点音源に割り当てられる。

これによって、単純かつ逆方向の互換性もあるやり方で特定の次元を有する音源のワイドネスを記述することができる。殊に、広範な音が知覚される音源の再生をモノラル信号でもって実現でき、したがって結果として伝送されるべきオーディオ信号のビットレートは低くなる。１つの用途は例えばオーケストラのモノラル伝送であり、これは固定のスピーカレイアウトには結びつかず、所望の位置に配置することができる。

本発明の有利で付加的な実施形態は各従属請求項に記載されている。

図面
本発明の実施例を添付の図面を参照して説明する。ここで、
図１は音源のワイドネスを記述するためのノードの一般的な機能を示し、
図２は線音源に関するオーディオシーンであり、
図３は聴取者に対して相対的な開放角（opening-angle）を有する音源の幅を制御するための例であり、
図４はより複雑なオーディオ源を表現するための形状の組合せを有する例示的なシーンである。

実施例
図１は音源のワイドネスを記述するためのノードＮＤの一般的な機能性能を示したものである。このノードを以下ではAudioSpatialDiffusenessノードまたはAudioDiffusenessノードとも称する。

このAudioSpatialDiffusenessノードＮＤは１つまたは複数のチャネルからなるオーディオ信号ＡＩを受信し、非相関化ＤＥＣの後に同じ数のチャネルを有するオーディオ信号ＡＯを出力として生成する。ＭＰＥＧ−４の術語においてはこのオーディオ入力はいわゆる子（child）に相応し、これは上位レベルの分岐に接続されており、他のあらゆるノードを変更することなくオーディオ分木の各分岐に挿入することができる分岐として規定されている。

diffuseSelectionフィールドＤＩＳによって拡散アルゴリズムの選択を制御することができる。したがってAudioSpatialDiffusenessノードが複数ある場合には、各ノードに異なる拡散アルゴリズムを適用することができ、したがって異なる出力が形成され、またそれぞれの出力の非相関化が保証される。拡散ノードは実質的にＮ個の異なる信号を生成することができるが、diffuseSelectフィールドによって選択された１つの実際の信号のみをノードの出力に通過させる。しかしながら、複数の実際の信号を１つの信号拡散ノードによって形成し、ノードの出力に供給することも可能である。必要であれば、非相関化強度を表すフィールドのような別のフィールドＤＥＳをノードに付加することができる。この非相関化強度は例えば相互相関関数を用いて求めることができる。

表１は提案されるAudioSpatialDiffusenessノードの考えられるセマンティクスを示す。子はそれぞれaddChildrenフィールドを用いて追加することができるか、removeChildrenフィールドを用いてノードから削除することができる。childrenフィールドは接続されている子のＩＤ、すなわち参照を包含する。diffuseSelectフィールドおよびdecorreStrentgthフィールドはスカラー３２ビット整数値として規定されている。numChanフィールドはノードの出力におけるチャネル数を記述する。phaseGroupフィールドはノードの出力信号が関連するフェーズとして一緒にグループ化されるか否かを記述する。

しかしながらこれは提案されるノードの１つの実施形態に過ぎず、異なるフィールドおよび／または付加的なフィールドが考えられる。

numChanが１より大きい場合、すなわちマルチチャネルのオーディオ信号である場合には、各チャネルは別個に拡散されるべきである。

非相関化された複数の点音源による非点音源のプレゼンテーションに関しては、非相関化された複数の点音源の数および位置を規定する必要がある。これを自動的もしくは手動で行うことができ、また点音源の正確な数に関する明示的な位置パラメータか、所定の形状内の点音源の密度のような相対的なパラメータを用いて行うことができる。さらにはプレゼンテーションを各点音源の強度および方向を使用して、またＩＳＯ／ＩＥＣ １４４９６−１に規定されているAudioDelayノードおよびAudioEffectsノードを使用して操作することができる。

図２は線音源ＬＳＳに関するオーディオシーンの一例を示す。３つの点音源Ｓ１，Ｓ２およびＳ３は線音源ＬＳＳを表現するために規定されており、それぞれの位置はデカルト座標で表されている。音源Ｓ１は−３，０，０に位置しており、音源Ｓ２は０，０，０に位置しており、音源Ｓ３は３，０，０に位置している。音源の非相関化のために異なる拡散アルゴリズムがそれぞれのAudioSpatialDiffusenessノードＮＤ１，ＮＤ２またはＮＤ３において選択されており、ＤＳ＝１，２または３によって表されている。

表２はこの例に関する考えられるセマンティクスを示す。３つの音オブジェクトＰＯＳ１，ＰＯＳ２およびＰＯＳ３を有するグループが規定されている。正規化された強度はＰＯＳ１に対しては０．９、ＰＯＳ２およびＰＯＳ３に対しては０．８である。これらの音オブジェクトの位置は‘location’フィールドを使用することによりアドレッシングされ、このlocationフィールドはここでは３Ｄベクトルである。ＰＯＳ１は原点０，０，０に位置しており、ＰＯＳ２およびＰＯＳ３はそれぞれ原点に相対的にｘ方向に−３および３単位の所に位置している。ノードの‘spatialize’フィールドは‘true’にセットされており、これは音を‘'location’フィールドにおけるパラメータに依存して空間的に位置決めできることを表している。numChan１によって表されている場合には１チャネルのオーディオ信号が使用され、また異なる拡散アルゴリズムはdiffuseSelect１，２または３によって表されているようにそれぞれのAudioSpatialDiffusenessノードにおいて選択される。第１のAudioSpatialDiffusenessノードにおいては１チャネルの信号であるAudioSource ＢＥＡＣＨが規定されており、ｕｒｌ１００において発見することができる。第２および第３のAudioSpatialDiffusenessノードは同一のAudioSource ＢＥＡＣＨを使用する。これによってＭＰＥＧ−４プレイヤにおける計算に必要とされる能力を低減させることができる。何故ならば、符号化されたオーディオデータをＰＣＭ出力信号に変換するオーディオデコーダは符号化を一度だけ行えば良いからである。このためにＭＰＥＧ−４プレイヤのレンダは同一のAudioSourceを識別するためにシーン木を通過する。

別の実施形態によれば、基本形状がAudioSpatialDiffusenessノードにおいて規定される。有利な選択形状は例えば箱形、球体および円柱を包含する。これら全てのノードは表３に示されているように、location、size、rotationフィールドを有する。

sizeフィールドの１つのベクトル成分が０にセットされる場合には音量は平坦になり、その結果壁または円板が生じる。２つのベクトル成分が０である場合には線が生じる。

３Ｄ座標系で形状のサイズを記述するための別のアプローチは、聴取者に相対的な開放角を有する音のワイドネスを制御することである。開放角は中心としてのロケーションを有する０．．．２πの範囲にある垂直成分および水平成分、すなわち‘widthHorizontal’および‘widthVertical’を有する。witdhHorizontal成分φの定義は一般的に図３に示されている。音源は場所Ｌに位置している。良好な効果を達成するために、ロケーションは少なくとも２つのスピーカＬ１，Ｌ２によって挟まれるべきである。座標系および聴取者ロケーションはステレオまたは５．１再生システムのために使用される典型的な配置構成が想定され、ここで聴取者の位置はスピーカ装置によってもたらされるいわゆるスイートスポット内にあるべきである。widthVerticalはwithHorizontalがｘ−ｙ方向に９０°回転された関係に類似する。

さらには上述の基本形状をより複雑な形状と組み合わせることができる。図４は２つのオーディオ源、すなわち聴取者Ｌの前方に位置している聖歌隊と、聴取者の左方、右方および後方において拍手喝采する観衆を有するシーンを示す。聖歌隊は１つのSoundSphere Ｃからなり、観衆は３つのSoundBox Ａ１，Ａ２およびＡ３からなり、AudioDiffusenessノードでもって接続されている。

図４のシーンに関するＢＩＦＳの例が表４に示されている。聖歌隊を表すSoundSphereに関するオーディオ源はlocationフィールド内に規定されているように位置決めされており、またそれぞれのフィールドにおいて与えられているサイズおよび強度を有する。childrenフィールドAPPLAUSEは第１のSoundBoxに関するオーディオ源として規定されており、また第２および第３の音響ボックスに関するオーディオ源として再度使用される。さらにはこの場合、diffuseSelectフィールドはそれぞれのSoundBoxに対してどの信号が出力に通過されるべきかを表す。

２Ｄシーンの場合には音響が３Ｄであることが依然として想定される。したがって、SoundVolumeノードの第２のセットを使用することが提案され、ここではｚ軸が表５に示されているように‘depth’と表されている単精度浮動小数点フィールドに置換されている。

音源のワイドネスを記述するためのノードの一般的な機能。 線音源に関するオーディオシーン。 聴取者に対して相対的な開放角を有する音源の幅を制御するための例。 より複雑なオーディオ源を表現するための形状の組合せを有する例示的なシーン。

Claims (14)

1. パラメータ的な記述によってオーディオ信号のシーン記述を符号化する方法であって、
   音源のパラメータ的な記述を生成することであって、前記パラメータ的な記述は、複数の点音源による前記音源に近似する形状の規定と、規定された前記形状内の前記複数の点音源の密度の規定と、各点音源に対して非相関化のために選択されるべき拡散アルゴリズムの規定とを含む、生成することと、
   前記音源の前記パラメータ的な記述を前記音源のオーディオ信号とリンクさせることと
   を有する前記方法。
2. 別個の音源を別個のオーディオオブジェクトとして符号化し、音響シーンにおける前記音源の配置構成を、前記別個のオーディオオブジェクトに対応する第１のノードと前記オーディオオブジェクトのプレゼンテーションを記述する第２のノードとを有するシーン記述によって記述し、第２のノードが非点音源のプレゼンテーションを記述する、請求項１記載の方法。
3. 前記非相関化された複数の点音源の非相関化の強度を前記非点音源に割り当てる、請求項１または２記載の方法。
4. 規定された前記形状のサイズを３Ｄ座標系におけるパラメータによって表す、請求項１から３までのいずれか１項記載の方法。
5. 規定された前記形状のサイズを垂直成分および水平成分を有する開放角によって表す、請求項４記載の方法。
6. 複雑な形状の非点音源を、それぞれが該複雑な形状の非点音源の一部に近似する形状を有する種々の非点音源に分割し、同一のオーディオ信号を前記種々の非点音源のそれぞれに対して使用する、請求項１から５までのいずれか１項記載の方法。
7. パラメータ的な記述によってオーディオ信号のシーン記述を復号化する方法であって、
   音源のパラメータ的な記述にリンクされている音源のオーディオ信号を受信することと、
   受信したパラメータ的な記述を評価することであって、前記パラメータ的な記述は、複数の点音源による前記音源に近似する形状の規定と、規定された前記形状内の前記複数の点音源の密度の規定と、各点音源に対して非相関化のために選択されるべき拡散アルゴリズムの規定とを含む、評価することと、
   複数の異なる拡散アルゴリズムから、前記各点音源に対する非相関化のための拡散アルゴリズムを選択することと、
   を有する前記方法。
8. 別個の音源を表現するオーディオオブジェクトを別個に復号化し、別個のオーディオオブジェクトに対応する第１のノードとオーディオオブジェクトの処理を記述する第２のオブジェクトとを有するシーン記述を使用して、復号化されたオーディオオブジェクトから単一のサウンドトラックを構成し、第２のノードは非点音源のプレゼンテーションを記述する、請求項７記載の方法。
9. 前記非相関化された複数の点音源の非相関化の強度を前記非点音源に割り当てられている対応する指示に依存して選択する、請求項７また８記載の方法。
10. 規定された前記形状のサイズを３Ｄ座標系におけるパラメータを使用して求める、請求項７から９までのいずれか１項記載の方法。
11. 規定された前記形状のサイズを垂直成分および水平成分を有する開放角を使用して求める、請求項１０記載の方法。
12. 複雑な形状の非点音源の一部に近似する形状をそれぞれ有している種々の非点音源の形状を組み合わせて前記複雑な形状の非点音源の近似を生成し、同一のオーディオ信号を前記種々の非点音源それぞれに対して使用する、請求項７から１１までのいずれか１項記載の方法。
13. オーディオ信号のシーン記述を符号化する装置において、
    音源のパラメータ的な記述を生成する手段であって、前記パラメータ的な記述は、複数の点音源による前記音源に近似する形状の規定と、規定された前記形状内の前記複数の点音源の密度の規定と、各点音源に対して非相関化のために選択されるべき拡散アルゴリズムの規定とを含む、生成する手段と、
    前記音源のパラメータ的な記述を前記音源のオーディオ信号とリンクさせる手段と
    を有する前記装置。
14. オーディオ信号のシーン記述を復号化する装置において、
    音源のパラメータ的な記述にリンクされている音源のオーディオ信号を受信する手段と、
    前記受信したパラメータ的な記述を評価する手段であって、前記パラメータ的な記述は、複数の点音源による前記音源に近似する形状の規定と、規定された前記形状内の前記複数の点音源の密度の規定と、各点音源に対して非相関化のために選択されるべき拡散アルゴリズムの規定とを含む、評価する手段と、
    複数の異なる拡散アルゴリズムから、前記各点音源に対する非相関化のための拡散アルゴリズムを選択する手段と、
    を有する前記装置。

Images