JP7443453B2 - 複数のタイプのレンダラーを用いたオーディオ・オブジェクトのレンダリング - Google Patents
複数のタイプのレンダラーを用いたオーディオ・オブジェクトのレンダリング Download PDFInfo
- Publication number
- JP7443453B2 JP7443453B2 JP2022162279A JP2022162279A JP7443453B2 JP 7443453 B2 JP7443453 B2 JP 7443453B2 JP 2022162279 A JP2022162279 A JP 2022162279A JP 2022162279 A JP2022162279 A JP 2022162279A JP 7443453 B2 JP7443453 B2 JP 7443453B2
- Authority
- JP
- Japan
- Prior art keywords
- speaker
- signals
- renderer
- renderers
- rendered
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000009877 rendering Methods 0.000 title claims description 137
- 238000000034 method Methods 0.000 claims description 93
- 238000010304 firing Methods 0.000 claims description 43
- 230000015572 biosynthetic process Effects 0.000 claims description 35
- 238000003786 synthesis reaction Methods 0.000 claims description 35
- 230000005236 sound signal Effects 0.000 claims description 20
- 238000004091 panning Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 12
- 239000002131 composite material Substances 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 230000001131 transforming effect Effects 0.000 claims 1
- 238000009826 distribution Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 15
- 238000003491 array Methods 0.000 description 9
- 235000009508 confectionery Nutrition 0.000 description 9
- 230000000694 effects Effects 0.000 description 6
- 238000013507 mapping Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/02—Spatial or constructional arrangements of loudspeakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2203/00—Details of circuits for transducers, loudspeakers or microphones covered by H04R3/00 but not provided for in any of its subgroups
- H04R2203/12—Beamforming aspects for stereophonic sound reproduction with loudspeaker arrays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/13—Application of wave-field synthesis in stereophonic audio systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Stereophonic System (AREA)
- Circuit For Audible Band Transducer (AREA)
- Stereo-Broadcasting Methods (AREA)
Description
上述のように、レンダラー(たとえば、図1のレンダラー120)は、さまざまなカテゴリーに分類される。レンダラーの4つの一般的なカテゴリーは、音場レンダラー、バイノーラル・レンダラー、パンニング・レンダラー、およびビームフォーミング・レンダラーを含む。上述したように(図2の204を参照)、所与のオーディオ・オブジェクトについて、選択されたレンダラーは、少なくとも2つのカテゴリーを有する。たとえば、オブジェクト・メタデータ152およびスピーカー構成情報156(図1参照)に基づいて、分配モジュール110は、所与のオーディオ・オブジェクトをレンダリングするために、(レンダラー120のうちの)音場レンダラーおよびビームフォーミング・レンダラーを選択することができる。
一般に、音場レンダリングは、所与の空間体積における特定の音圧(音)場を再現することを目的とする。音場レンダラーのサブカテゴリーは、波動場合成、近接場補償高次アンビソニックス、およびスペクトル分割を含む。音場レンダリング方法の1つの重要な機能は、近距離場に仮想源を投影できることである。これは、聴取者にとって自分とスピーカーとの間の位置に定位される音源を生成することを意味する。そのような効果は、バイノーラル・レンダラーについても可能であるが(後述)、ここでは、正しい定位印象が広い聴取領域にわたって生成できることが特に重要である。
バイノーラル・レンダリング法は、源位置に関連する両耳手がかりを模倣するように処理された源信号を伝える信号を聴取者の耳に届けることに焦点を当てる。そのような信号を届けるための、より簡単な方法は、普通にはヘッドフォンを介して行われるが、スピーカー・システムでも、個別の左耳および右耳のフィードを聴取者に届けるためにクロストークキャンセラを使用することによって、うまく実現できる。
パンニング法は、基本的な聴覚機構(たとえば、両耳間のラウドネスや時間差の変化)を直接利用して、複数のスピーカーに送られる前に源信号に適用される遅延および/または利得差を通じて、音像を動かす。利得差分のみを使用する振幅パンナーは、その単純な実装および安定した知覚的印象のため、人気がある。これらは、ステレオシステムや伝統的な映画館コンテンツ・レンダリングなど、多くの消費者オーディオ・システムにおいて展開されている。(任意のスピーカー・アレイのための好適な振幅パンナー設計の例は、V. Pulkki、"Virtual sound source positioning using vector base amplitude panning"、Journal of the Audio Engineering Society, vol.45, no.6, pp.456-466, 1997.において与えられている)最後に、再生環境からの反射を使用する方法は、一般に、システムからの空間的印象を操作するために同様の原理に依拠する。
ビームフォーミングは、もともとは、一組の好ましい方向から来る信号を増幅する手段として、センサー・アレイ(たとえば、マイクロフォン・アレイ)用に設計された。音響学における相反性の原理のおかげで、同じ原理は、方向性のある音響信号を生成するために利用できる。特許文献7は、合焦した源の使用を通じて仮想スピーカーを生成するためのビームフォーミングの使用を記載している。
上述のレンダリング・システムのカテゴリーは、スイートスポットおよびレンダリングされる源位置に関していくつの考慮事項を有する。スイートスポットは、一般に、聴取者の知覚メトリックに従って、レンダリングが許容可能であると考えられるスペースに対応する。そのような領域の正確な範囲の定義は、一般に、レンダリングの知覚的品質をうまく捕捉する解析的メトリックがないために、不完全であるが、一般に、典型的な誤差メトリック(たとえば、二乗誤差)から定性的情報を導出し、異なる構成の異なるシステムを比較することが可能である。たとえば、一般的な観察結果は、周波数が高いほどスイートスポットは小さくなる(レンダラーの全カテゴリーについて)ということである。一般に、スイートスポットは、スイートスポットは、システムにおいて利用可能なスピーカーの数とともに増大することも観察できる。ただし、パンニング法ではスピーカーの追加には異なる利点がある。
上述の考察から、実施形態は、2つ以上のレンダリング方法を組み合わせて使用することに向けられ、選択されたレンダリング方法間の相対的な重みはオーディオ・オブジェクトの位置に依存する。
sk(t):スピーカーkからの出力信号
so(t):オブジェクト信号
wr:オブジェクト位置→xoの関数としてのレンダラーrのアクティブ化(実スカラーまたは実フィルタでありうる)
δk∈r:インジケータ関数。スピーカーkがレンダラーrに取り付けられている場合は1であり、それ以外の場合は0
Dk (r):オブジェクト位置→xr (o)の関数としてレンダラーrによって指揮されるスピーカーkの駆動関数(実スカラーまたは実フィルタでありうる)
ω:周波数(rad/s)
α:窓関数。打ち切りアーチファクトを制限し、源と聴取位置の関数として局所的な波面合成を実装する
EQm:スピーカー応答の歪みを補償する等化フィルタ
PreEQ:2.5次元効果と打ち切り効果を補償するプレ等化フィルタ。
→xl:任意の聴取位置。
実施形態は、ハードウェア、コンピュータ読み取り可能媒体上に記憶された実行可能モジュール、または両者の組み合わせ(たとえば、プログラマブル論理アレイ)において実装されうる。別段の規定がない限り、実施形態によって実行されるステップは、本来的に何らかの特定のコンピュータまたは他の装置に関連する必要はない。ただし、ある種の実施形態ではそうであってもよい。特に、さまざまな汎用機械が、本明細書の教示に従って書かれたプログラムとともに使用されてもよく、または、必要な方法ステップを実行するために、より特化した装置(たとえば、集積回路)を構築することがより便利であることがある。このように、実施形態は、それぞれが少なくとも1つのプロセッサ、少なくとも1つのデータ記憶システム(揮発性および不揮発性メモリおよび/または記憶素子を含む)、少なくとも1つの入力装置もしくはポート、および少なくとも1つの出力装置もしくはポートを含む、一つまたは複数のプログラマブルコンピュータシステム上で実行される一つまたは複数のコンピュータ・プログラムにおいて実装されてもよい。プログラム・コードは、本明細書に記載される機能を実行し、出力情報を生成するために入力データに適用される。出力情報は、既知の仕方で一つまたは複数の出力装置に適用される。
オーディオ処理の方法であって、当該方法は:
一つまたは複数のオーディオ・オブジェクトを受領するステップであって、前記一つまたは複数のオーディオ・オブジェクトのそれぞれは、位置情報を含む、ステップと;
前記一つまたは複数のオーディオ・オブジェクトのうちの所与のオーディオ・オブジェクトについての:
前記所与のオーディオ・オブジェクトの位置情報に基づいて、複数のレンダラーのうちの少なくとも2つのレンダラーを選択するステップであって、前記少なくとも2つのレンダラーは、少なくとも2つのカテゴリーを有する、ステップ;
前記所与のオーディオ・オブジェクトの位置情報に基づいて、少なくとも2つの重みを決定するステップ;
前記位置情報に基づいて、前記少なくとも2つの重みに基づいて重み付けされた前記少なくとも2つのレンダラーを使用して、前記所与のオーディオ・オブジェクトをレンダリングして、複数のレンダリングされた信号を生成するステップ;および
前記複数のレンダリングされた信号を組み合わせて、複数のスピーカー信号を生成するステップと;
前記複数のスピーカー信号を複数のスピーカーから出力するステップとを含む、
方法。
〔EEE2〕
前記少なくとも2つのカテゴリーが、音場レンダラー、ビームフォーマー、パンナー、およびバイノーラル・レンダラーを含む、EEE1に記載の方法。
〔EEE3〕
前記複数のレンダリングされた信号のうちの所与のレンダリングされた信号が、少なくとも1つの成分信号を含み、
前記少なくとも1つの成分信号のそれぞれは、前記複数のスピーカーのそれぞれに関連し、
前記複数のスピーカー信号のうちの所与のスピーカー信号は、前記複数のスピーカーのうちの所与のスピーカーのために、前記所与のスピーカーに関連する前記少なくとも1つの成分信号のすべてを組み合わせることに対応する、
EEE1または2に記載の方法。
〔EEE4〕
第1のレンダラーが、第1のレンダリングされた信号を生成し、前記第1のレンダリングされた信号は、第1のスピーカーに関連付けられた第1の成分信号と、第2のスピーカーに関連付けられた第2の成分信号とを含み、
第2のレンダラーが、第2のレンダリングされた信号を生成し、前記第2のレンダリングされた信号は、前記第1のスピーカーに関連付けられた第3の成分信号と、前記第2のスピーカーに関連付けられた第4の成分信号とを含み、
前記第1のスピーカーに関連する第1のスピーカー信号は、前記第1の成分信号と前記第3の成分信号を組み合わせることに対応し、
前記第2のスピーカーに関連する第2のスピーカー信号は、前記第2の成分信号と前記第4の成分信号を組み合わせることに対応する、
EEE3に記載の方法。
〔EEE5〕
前記所与のオーディオ・オブジェクトをレンダリングすることは、前記複数のレンダラーのうちの所与のレンダラーについて、前記位置情報に基づく利得を適用して、前記複数のレンダリングされた信号のうちの所与のレンダリングされた信号を生成することを含む、EEE1ないし4のうちいずれか一項に記載の方法。
〔EEE6〕
前記複数のスピーカーは、スピーカーの密な線形アレイを含む、EEE1ないし5のうちいずれか一項に記載の方法。
〔EEE7〕
前記少なくとも2つのカテゴリーは、音場レンダラーを含み、前記音場レンダラーは、波面合成プロセスを実行する、EEE1ないし6のうちいずれか一項に記載の方法。
〔EEE8〕
前記複数のスピーカーは、第1の方向に向けられる第1のグループと、前記第1の方向とは異なる第2の方向に向けられる第2のグループにおいて配置される、EEE1ないし7のうちいずれか一項に記載の方法。
〔EEE9〕
前記第1の方向は前方成分を含み、前記第2の方向は垂直成分を含む、EEE8に記載の方法。
〔EEE10〕
前記第2の方向は垂直成分を含み、前記少なくとも2つのレンダラーは、波面合成レンダラーおよび上方発射パン・レンダラーを含み、前記波面合成レンダラーおよび前記上方発射パン・レンダラーは、前記第2のグループのために前記複数のレンダリングされた信号を生成する、EEE8に記載の方法。
〔EEE11〕
前記第2の方向は垂直成分を含み、前記少なくとも2つのレンダラーは、波面合成レンダラー、上方発射パン・レンダラー、およびビームフォーマーを含み、前記波面合成レンダラー、前記上方発射パン・レンダラー、および前記ビームフォーマーは、前記第2のグループのために前記複数のレンダリングされた信号を生成する、EEE8に記載の方法。
〔EEE12〕
前記第2の方向は垂直成分を含み、前記少なくとも2つのレンダラーは、波面合成レンダラー、上方発射パン・レンダラー、および側方発射パン・レンダラーを含み、前記波面合成レンダラー、前記上方発射パン・レンダラー、および前記側方発射パン・レンダラーは、前記第2のグループのために、前記複数のレンダリングされた信号を生成する、EEE8に記載の方法。
〔EEE13〕
前記第1の方向は前方成分を含み、前記第2の方向は側方成分を含む、EEE8に記載の方法。
〔EEE14〕
前記第1の方向は前方成分を含み、前記少なくとも2つのレンダラーは、波面合成レンダラーを含み、前記波面合成レンダラーは、前記第1のグループのために前記複数のレンダリングされた信号を生成する、EEE8に記載の方法。
〔EEE15〕
前記第2の方向は側方成分を含み、前記少なくとも2つのレンダラーは、波面合成レンダラーおよびビームフォーマーを含み、前記波面合成レンダラーおよび前記ビームフォーマーは、前記第2のグループのために、前記複数のレンダリングされた信号を生成する、EEE8に記載の方法。
〔EEE16〕
前記第2の方向は側方成分を含み、前記少なくとも2つのレンダラーは、波面合成レンダラーおよび側方発射パン・レンダラーを含み、前記波面合成レンダラーおよび前記側方発射パン・レンダラーは、前記第2のグループのために前記複数のレンダリングされた信号を生成する、EEE8に記載の方法。
〔EEE17〕
前記一つまたは複数のオーディオ・オブジェクトのための前記複数のレンダリングされた信号を組み合わせて、前記複数のスピーカー信号を生成することをさらに含む、EEE1ないし16のうちいずれか一項に記載の方法。
〔EEE18〕
前記少なくとも2つのレンダラーは、直列のレンダラーを含む、EEE1ないし17のうちいずれか一項に記載の方法。
〔EEE19〕
前記少なくとも2つのレンダラーは、振幅パンナー、複数のバイノーラル・レンダラー、および複数のビームフォーマーを含み、
前記振幅パンナーは、前記位置情報に基づいて、前記所与のオーディオ・オブジェクトをレンダリングして、第1の複数の信号を生成するように構成され;
前記複数のバイノーラル・レンダラーは、前記第1の複数の信号をレンダリングして、第2の複数の信号を生成するように構成され;
前記複数のビームフォーマーは、前記第2の複数の信号をレンダリングして、第3の複数の信号を生成するように構成され、
前記第3の複数の信号が組み合わされて、前記複数のスピーカー信号を生成する、
EEE1ないし18のうちいずれか一項に記載の方法。
〔EEE20〕
オーディオを処理するための装置であって、当該装置が:
複数のスピーカー;
プロセッサ;および
メモリを有しており、
前記プロセッサは、一つまたは複数のオーディオ・オブジェクトを受領するように当該装置を制御するように構成され、前記一つまたは複数のオーディオ・オブジェクトのそれぞれは、位置情報をそれぞれ含み;
前記一つまたは複数のオーディオ・オブジェクトのうちの所与のオーディオ・オブジェクトについて:
前記プロセッサは、前記所与のオーディオ・オブジェクトの位置情報に基づいて、複数のレンダラーのうちの少なくとも2つのレンダラーを選択するよう当該装置を制御するように構成され、前記少なくとも2つのレンダラーは少なくとも2つのカテゴリーを有し;
前記プロセッサは、前記所与のオーディオ・オブジェクトの位置情報に基づいて、少なくとも2つの重みを決定するように当該装置を制御するように構成され;
前記プロセッサは、前記位置情報に基づいて、前記少なくとも2つの重みに基づいて重み付けされた前記少なくとも2つのレンダラーを使って前記所与のオーディオ・オブジェクトをレンダリングして、複数のレンダリングされた信号を生成するように当該装置を制御するように構成され;
前記プロセッサは、前記複数のレンダリングされた信号を組み合わせて、複数のスピーカー信号を生成するように当該装置を制御するように構成され;
前記プロセッサは、前記複数のスピーカーから前記複数のスピーカー信号を出力するように当該装置を制御するように構成される、
装置。
〔EEE21〕
オーディオ処理の方法であって、当該方法は:
一つまたは複数のオーディオ・オブジェクトを受領するステップを含み、前記一つまたは複数のオーディオ・オブジェクトのそれぞれは位置情報を含み;
前記一つまたは複数のオーディオ・オブジェクトのうちの所与のオーディオ・オブジェクトについての:
前記位置情報に基づいて、第1のカテゴリーのレンダラーを使用して前記所与のオーディオ・オブジェクトをレンダリングして、第1の複数の信号を生成するステップ;
第2のカテゴリーのレンダラーを使用して前記第1の複数の信号をレンダリングして、第2の複数の信号を生成するステップ;
第3のカテゴリーのレンダラーを使用して前記第2の複数の信号をレンダリングして、第3の複数の信号を生成するステップ;および
前記第3の複数の信号を組み合わせて複数のスピーカー信号を生成するステップと;
前記複数のスピーカー信号を複数のスピーカーから出力するステップとを含む、
方法。
〔EEE22〕
前記第1のカテゴリーのレンダラーは振幅パンナーに対応し、前記第2のカテゴリーのレンダラーは複数のバイノーラル・レンダラーに対応し、前記第3のカテゴリーのレンダラーは複数のビームフォーマーに対応する、EEE21に記載の方法。
〔EEE23〕
プロセッサによって実行されると、EEE1ないし19、21または22のうちいずれか一項に記載の方法を含む処理を実行するよう装置を制御するコンピュータ・プログラムを記憶している非一時的なコンピュータ読み取り可能媒体。
〔EEE24〕
オーディオを処理するための装置であって、当該装置は:
複数のスピーカー;
プロセッサ;および
メモリを有しており、
前記プロセッサは、一つまたは複数のオーディオ・オブジェクトを受領するように当該装置を制御するように構成され、前記一つまたは複数のオーディオ・オブジェクトのそれぞれは、位置情報をそれぞれ含み;
前記一つまたは複数のオーディオ・オブジェクトのうちの所与のオーディオ・オブジェクトについて:
前記プロセッサは、前記位置情報に基づいて、第1のカテゴリーのレンダラーを使用して前記所与のオーディオ・オブジェクトをレンダリングして、第1の複数の信号を生成するように当該装置を制御するように構成され;
前記プロセッサは、第2のカテゴリーのレンダラーを使用して、前記第1の複数の信号をレンダリングして、第2の複数の信号を生成するように当該装置を制御するように構成され;
前記プロセッサは、第3のカテゴリーのレンダラーを使用して、前記第2の複数の信号をレンダリングして、第3の複数の信号を生成するように当該装置を制御するように構成され;
前記プロセッサは、前記第3の複数の信号を組み合わせて、複数のスピーカー信号を生成するように当該装置を制御するように構成され、
前記プロセッサは、前記複数のスピーカーから前記複数のスピーカー信号を出力するように当該装置を制御するように構成される、
装置。
Claims (15)
- オーディオ処理の方法であって、当該方法は:
一つまたは複数のオーディオ・オブジェクトを含むオーディオ信号を受領するステップであって、前記一つまたは複数のオーディオ・オブジェクトのそれぞれは、位置情報をそれぞれ含む、ステップと;
前記一つまたは複数のオーディオ・オブジェクトのうちの所与のオーディオ・オブジェクトについての:
前記所与のオーディオ・オブジェクトの位置情報に基づいて、複数のレンダラーのうちの少なくとも2つのレンダラーを選択するステップ;
前記所与のオーディオ・オブジェクトの位置情報に基づいて、少なくとも2つの重みを決定するステップ;
前記位置情報に基づいて、前記少なくとも2つの重みに基づいて重み付けされた前記少なくとも2つのレンダラーを使用して、前記所与のオーディオ・オブジェクトをレンダリングして、複数のレンダリングされた信号を生成するステップ;および
前記複数のレンダリングされた信号を組み合わせて、複数のスピーカー信号を生成するステップと;
前記複数のスピーカー信号を複数のスピーカーから出力するステップとを含み、
前記一つまたは複数のオーディオ・オブジェクトのうちの少なくとも1つのオーディオ・オブジェクトに含まれる前記位置情報が、そのオーディオ・オブジェクトをレンダリングするために特定の2つのレンダラーが適切であることを示す、
方法。 - 前記一つまたは複数のオーディオ・オブジェクトのそれぞれは、前記位置情報を含むメタデータを含む、請求項1に記載の方法。
- 前記レンダリングは時間領域で実行される、請求項1または2に記載の方法。
- 前記レンダリングは周波数領域で実行され、前記複数のレンダリングされた信号を組み合わせて複数のスピーカー信号を生成する前記ステップは:
前記複数のレンダリングされた信号を周波数領域から時間領域に変換することを含む、
請求項1または2に記載の方法。 - 前記複数のレンダリングされた信号のうちの所与のレンダリングされた信号が、少なくとも1つの成分信号を含み、
前記少なくとも1つの成分信号のそれぞれは、前記複数のスピーカーのうちの対応するものに関連し、
前記複数のスピーカー信号のうちの所与のスピーカー信号は、前記複数のスピーカーのうちの所与のスピーカーのために、前記所与のスピーカーに関連する前記少なくとも1つの成分信号のすべてを組み合わせることに対応する、
請求項1ないし4のうちいずれか一項に記載の方法。 - 第1のレンダラーが、第1のレンダリングされた信号を生成し、前記第1のレンダリングされた信号は、第1のスピーカーに関連付けられた第1の成分信号と、第2のスピーカーに関連付けられた第2の成分信号とを含み、
第2のレンダラーが、第2のレンダリングされた信号を生成し、前記第2のレンダリングされた信号は、前記第1のスピーカーに関連付けられた第3の成分信号と、前記第2のスピーカーに関連付けられた第4の成分信号とを含み、
前記第1のスピーカーに関連する第1のスピーカー信号は、前記第1の成分信号と前記第3の成分信号を組み合わせることに対応し、
前記第2のスピーカーに関連する第2のスピーカー信号は、前記第2の成分信号と前記第4の成分信号を組み合わせることに対応する、
請求項5に記載の方法。 - 前記所与のオーディオ・オブジェクトをレンダリングすることは、前記複数のレンダラーのうちの所与のレンダラーについて、前記位置情報に基づく利得を適用して、前記複数のレンダリングされた信号のうちの所与のレンダリングされた信号を生成することを含む、請求項1ないし6のうちいずれか一項に記載の方法。
- 前記複数のスピーカーは、第1の方向に向けられる第1のグループと、前記第1の方向とは異なる第2の方向に向けられる第2のグループにおいて配置される、請求項1ないし7のうちいずれか一項に記載の方法。
- 前記第2の方向は垂直成分を含み、前記少なくとも2つのレンダラーは、波面合成レンダラー、上方発射パン・レンダラー、およびビームフォーマーを含み、前記波面合成レンダラー、前記上方発射パン・レンダラー、および前記ビームフォーマーは、前記第2のグループのために前記複数のレンダリングされた信号を生成する、請求項8に記載の方法。
- 前記第2の方向は垂直成分を含み、前記少なくとも2つのレンダラーは、波面合成レンダラー、上方発射パン・レンダラー、および側方発射パン・レンダラーを含み、前記波面合成レンダラー、前記上方発射パン・レンダラー、および前記側方発射パン・レンダラーは、前記第2のグループのために、前記複数のレンダリングされた信号を生成する、請求項8に記載の方法。
- 前記第2の方向は側方成分を含み、前記少なくとも2つのレンダラーは、波面合成レンダラーおよびビームフォーマーを含み、前記波面合成レンダラーおよび前記ビームフォーマーは、前記第2のグループのために、前記複数のレンダリングされた信号を生成する、請求項8に記載の方法。
- 前記第2の方向は側方成分を含み、前記少なくとも2つのレンダラーは、波面合成レンダラーおよび側方発射パン・レンダラーを含み、前記波面合成レンダラーおよび前記側方発射パン・レンダラーは、前記第2のグループのために前記複数のレンダリングされた信号を生成する、請求項8に記載の方法。
- 前記少なくとも2つのレンダラーは、振幅パンナー、複数のバイノーラル・レンダラー、および複数のビームフォーマーを含み、
前記振幅パンナーは、前記位置情報に基づいて、前記所与のオーディオ・オブジェクトをレンダリングして、第1の複数の信号を生成するように構成され;
前記複数のバイノーラル・レンダラーは、前記第1の複数の信号をレンダリングして、第2の複数の信号を生成するように構成され;
前記複数のビームフォーマーは、前記第2の複数の信号をレンダリングして、第3の複数の信号を生成するように構成され、
前記第3の複数の信号が組み合わされて、前記複数のスピーカー信号を生成する、
請求項1ないし12のうちいずれか一項に記載の方法。 - 命令を有するコンピュータ・プログラムであって、前記命令は、前記プログラムがプロセッサによって実行されると、請求項1ないし13のうちいずれか一項に記載の方法を含む処理を実行するよう装置を制御するものである、コンピュータ・プログラム。
- オーディオを処理するための装置であって、当該装置が:
複数のスピーカー;
プロセッサ;および
メモリを有しており、
前記プロセッサは、一つまたは複数のオーディオ・オブジェクトを含むオーディオ信号を受領するように当該装置を制御するように構成され、前記一つまたは複数のオーディオ・オブジェクトのそれぞれは、位置情報をそれぞれ含み;
前記一つまたは複数のオーディオ・オブジェクトのうちの所与のオーディオ・オブジェクトについて:
前記プロセッサは、前記所与のオーディオ・オブジェクトの位置情報に基づいて、複数のレンダラーのうちの少なくとも2つのレンダラーを選択するよう当該装置を制御するように構成され;
前記プロセッサは、前記所与のオーディオ・オブジェクトの位置情報に基づいて、少なくとも2つの重みを決定するように当該装置を制御するように構成され;
前記プロセッサは、前記位置情報に基づいて、前記少なくとも2つの重みに基づいて重み付けされた前記少なくとも2つのレンダラーを使って前記所与のオーディオ・オブジェクトをレンダリングして、複数のレンダリングされた信号を生成するように当該装置を制御するように構成され;
前記プロセッサは、前記複数のレンダリングされた信号を組み合わせて、複数のスピーカー信号を生成するように当該装置を制御するように構成され;
前記プロセッサは、前記複数のスピーカーから前記複数のスピーカー信号を出力するように当該装置を制御するように構成され、
前記一つまたは複数のオーディオ・オブジェクトのうちの少なくとも1つのオーディオ・オブジェクトに含まれる前記位置情報が、そのオーディオ・オブジェクトをレンダリングするために特定の2つのレンダラーが適切であることを示す、
装置。
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962842827P | 2019-05-03 | 2019-05-03 | |
EP19172615 | 2019-05-03 | ||
US62/842,827 | 2019-05-03 | ||
EP19172615.7 | 2019-05-03 | ||
PCT/US2020/031154 WO2020227140A1 (en) | 2019-05-03 | 2020-05-01 | Rendering audio objects with multiple types of renderers |
JP2021563698A JP7157885B2 (ja) | 2019-05-03 | 2020-05-01 | 複数のタイプのレンダラーを用いたオーディオ・オブジェクトのレンダリング |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021563698A Division JP7157885B2 (ja) | 2019-05-03 | 2020-05-01 | 複数のタイプのレンダラーを用いたオーディオ・オブジェクトのレンダリング |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022173590A JP2022173590A (ja) | 2022-11-18 |
JP7443453B2 true JP7443453B2 (ja) | 2024-03-05 |
Family
ID=70736804
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021563698A Active JP7157885B2 (ja) | 2019-05-03 | 2020-05-01 | 複数のタイプのレンダラーを用いたオーディオ・オブジェクトのレンダリング |
JP2022162279A Active JP7443453B2 (ja) | 2019-05-03 | 2022-10-07 | 複数のタイプのレンダラーを用いたオーディオ・オブジェクトのレンダリング |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021563698A Active JP7157885B2 (ja) | 2019-05-03 | 2020-05-01 | 複数のタイプのレンダラーを用いたオーディオ・オブジェクトのレンダリング |
Country Status (5)
Country | Link |
---|---|
US (1) | US11943600B2 (ja) |
EP (2) | EP4236378A3 (ja) |
JP (2) | JP7157885B2 (ja) |
CN (1) | CN113767650B (ja) |
WO (1) | WO2020227140A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022020365A1 (en) * | 2020-07-20 | 2022-01-27 | Orbital Audio Laboratories, Inc. | Multi-stage processing of audio signals to facilitate rendering of 3d audio via a plurality of playback devices |
KR102658471B1 (ko) * | 2020-12-29 | 2024-04-18 | 한국전자통신연구원 | 익스텐트 음원에 기초한 오디오 신호의 처리 방법 및 장치 |
WO2023284963A1 (en) * | 2021-07-15 | 2023-01-19 | Huawei Technologies Co., Ltd. | Audio device and method for producing a sound field using beamforming |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014184353A1 (en) | 2013-05-16 | 2014-11-20 | Koninklijke Philips N.V. | An audio processing apparatus and method therefor |
JP2017523694A (ja) | 2014-06-26 | 2017-08-17 | サムスン エレクトロニクス カンパニー リミテッド | 音響信号のレンダリング方法、その装置及び該コンピュータ可読記録媒体 |
WO2018150774A1 (ja) | 2017-02-17 | 2018-08-23 | シャープ株式会社 | 音声信号処理装置及び音声信号処理システム |
WO2019049409A1 (ja) | 2017-09-11 | 2019-03-14 | シャープ株式会社 | 音声信号処理装置および音声信号処理システム |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2002078388A2 (en) | 2001-03-27 | 2002-10-03 | 1... Limited | Method and apparatus to create a sound field |
JP3915804B2 (ja) | 2004-08-26 | 2007-05-16 | ヤマハ株式会社 | オーディオ再生装置 |
EP2175670A1 (en) | 2008-10-07 | 2010-04-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Binaural rendering of a multi-channel audio signal |
KR101268779B1 (ko) * | 2009-12-09 | 2013-05-29 | 한국전자통신연구원 | 라우드 스피커 어레이를 사용한 음장 재생 장치 및 방법 |
CN104054126B (zh) * | 2012-01-19 | 2017-03-29 | 皇家飞利浦有限公司 | 空间音频渲染和编码 |
JP6078556B2 (ja) * | 2012-01-23 | 2017-02-08 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | オーディオ・レンダリング・システムおよびそのための方法 |
US20140056430A1 (en) * | 2012-08-21 | 2014-02-27 | Electronics And Telecommunications Research Institute | System and method for reproducing wave field using sound bar |
RU2602346C2 (ru) * | 2012-08-31 | 2016-11-20 | Долби Лэборетериз Лайсенсинг Корпорейшн | Рендеринг отраженного звука для объектно-ориентированной аудиоинформации |
US9622011B2 (en) | 2012-08-31 | 2017-04-11 | Dolby Laboratories Licensing Corporation | Virtual rendering of object-based audio |
JP6085029B2 (ja) * | 2012-08-31 | 2017-02-22 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 種々の聴取環境におけるオブジェクトに基づくオーディオのレンダリング及び再生のためのシステム |
EP2925024A1 (en) | 2014-03-26 | 2015-09-30 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for audio rendering employing a geometric distance definition |
CN114554387A (zh) * | 2015-02-06 | 2022-05-27 | 杜比实验室特许公司 | 用于自适应音频的混合型基于优先度的渲染***和方法 |
CN111586533B (zh) | 2015-04-08 | 2023-01-03 | 杜比实验室特许公司 | 音频内容的呈现 |
US10425764B2 (en) | 2015-08-14 | 2019-09-24 | Dts, Inc. | Bass management for object-based audio |
CN111147978B (zh) | 2015-08-14 | 2021-07-13 | 杜比实验室特许公司 | 具有不对称扩散以用于经反射声音再现的向上激发扩音器 |
US10251007B2 (en) | 2015-11-20 | 2019-04-02 | Dolby Laboratories Licensing Corporation | System and method for rendering an audio program |
JP6868093B2 (ja) * | 2017-03-24 | 2021-05-12 | シャープ株式会社 | 音声信号処理装置及び音声信号処理システム |
CN114710740A (zh) * | 2017-12-12 | 2022-07-05 | 索尼公司 | 信号处理装置和方法以及计算机可读存储介质 |
KR20190083863A (ko) * | 2018-01-05 | 2019-07-15 | 가우디오랩 주식회사 | 오디오 신호 처리 방법 및 장치 |
US20200120438A1 (en) * | 2018-10-10 | 2020-04-16 | Qualcomm Incorporated | Recursively defined audio metadata |
-
2020
- 2020-05-01 EP EP23179383.7A patent/EP4236378A3/en active Pending
- 2020-05-01 CN CN202080032250.7A patent/CN113767650B/zh active Active
- 2020-05-01 WO PCT/US2020/031154 patent/WO2020227140A1/en unknown
- 2020-05-01 JP JP2021563698A patent/JP7157885B2/ja active Active
- 2020-05-01 US US17/607,956 patent/US11943600B2/en active Active
- 2020-05-01 EP EP20725980.5A patent/EP3963906B1/en active Active
-
2022
- 2022-10-07 JP JP2022162279A patent/JP7443453B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014184353A1 (en) | 2013-05-16 | 2014-11-20 | Koninklijke Philips N.V. | An audio processing apparatus and method therefor |
JP2017523694A (ja) | 2014-06-26 | 2017-08-17 | サムスン エレクトロニクス カンパニー リミテッド | 音響信号のレンダリング方法、その装置及び該コンピュータ可読記録媒体 |
WO2018150774A1 (ja) | 2017-02-17 | 2018-08-23 | シャープ株式会社 | 音声信号処理装置及び音声信号処理システム |
WO2019049409A1 (ja) | 2017-09-11 | 2019-03-14 | シャープ株式会社 | 音声信号処理装置および音声信号処理システム |
Also Published As
Publication number | Publication date |
---|---|
EP3963906A1 (en) | 2022-03-09 |
US20220286800A1 (en) | 2022-09-08 |
CN113767650A (zh) | 2021-12-07 |
EP4236378A3 (en) | 2023-09-13 |
EP3963906B1 (en) | 2023-06-28 |
JP7157885B2 (ja) | 2022-10-20 |
JP2022530505A (ja) | 2022-06-29 |
WO2020227140A1 (en) | 2020-11-12 |
CN113767650B (zh) | 2023-07-28 |
US11943600B2 (en) | 2024-03-26 |
EP4236378A2 (en) | 2023-08-30 |
JP2022173590A (ja) | 2022-11-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7443453B2 (ja) | 複数のタイプのレンダラーを用いたオーディオ・オブジェクトのレンダリング | |
EP2891336B1 (en) | Virtual rendering of object-based audio | |
JP5719458B2 (ja) | 仮想音源に関連するオーディオ信号に基づいて、スピーカ設備のスピーカの駆動係数を計算する装置および方法、並びにスピーカ設備のスピーカの駆動信号を供給する装置および方法 | |
US8675899B2 (en) | Front surround system and method for processing signal using speaker array | |
US8699731B2 (en) | Apparatus and method for generating a low-frequency channel | |
US12035124B2 (en) | Virtual rendering of object based audio over an arbitrary set of loudspeakers | |
US7813933B2 (en) | Method and apparatus for multichannel upmixing and downmixing | |
EP2777301B1 (en) | Method for practical implementations of sound field reproduction based on surface integrals in three dimensions | |
US20080037796A1 (en) | 3d audio renderer | |
JP2009038641A (ja) | 音場制御装置 | |
WO2005051041A1 (ja) | アレースピーカ装置 | |
EP3289779B1 (en) | Sound system | |
EP3314916B1 (en) | Audio panning transformation system and method | |
JPH09121400A (ja) | 奥行方向音響再生装置及び立体音響再生装置 | |
KR20080098307A (ko) | 반사음 재생을 위한 입체 음장 재생 장치 및 그 방법 | |
JP2024507945A (ja) | オーディオオブジェクトをレンダリングするための装置及び方法 | |
de Vries et al. | Wave field synthesis: new improvements and extensions | |
WO2019118521A1 (en) | Accoustic beamforming | |
Theile et al. | 3D Audio Natural Recording (Natürliche Aufnahmen im 3D-Audio Format) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221007 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231114 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240115 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240123 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240221 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7443453 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |