JP6546698B2 - レンダリングシステム - Google Patents

レンダリングシステム Download PDF

Info

Publication number
JP6546698B2
JP6546698B2 JP2018515782A JP2018515782A JP6546698B2 JP 6546698 B2 JP6546698 B2 JP 6546698B2 JP 2018515782 A JP2018515782 A JP 2018515782A JP 2018515782 A JP2018515782 A JP 2018515782A JP 6546698 B2 JP6546698 B2 JP 6546698B2
Authority
JP
Japan
Prior art keywords
function matrix
speakers
microphone
transfer function
rendering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2018515782A
Other languages
English (en)
Other versions
JP2018533296A (ja
Inventor
クリスティアン ホフマン
ホフマン クリスティアン
ケラーマン ヴァルター
ケラーマン ヴァルター
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Publication of JP2018533296A publication Critical patent/JP2018533296A/ja
Application granted granted Critical
Publication of JP6546698B2 publication Critical patent/JP6546698B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/301Automatic calibration of stereophonic sound system, e.g. with test microphone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/02Spatial or constructional arrangements of loudspeakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/09Electronic reduction of distortion of stereophonic sound systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15Aspects of sound capture and related signal processing for recording or reproduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11Application of ambisonics in stereophonic audio systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/13Application of wave-field synthesis in stereophonic audio systems

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Stereophonic System (AREA)

Description

実施形態は、レンダリングシステムおよびその動作方法に関する。いくつかの実施形態は、音源特有システム同定に関する。
音響エコーキャンセレーション(AEC:Acoustic Echo Cancellation)またはリスニングルームイコライゼーション(LRE)などの適用例は、音響多重入出力(MIMO:Multiple−Input/Multiple−Output)システムの同定を必要とする。実際には、マルチチャンネル音響システム同定は、1つよりも多くのスピーカを用いて仮想音響シーンをレンダリングするときに典型的に起きる強く相互相関されたスピーカ信号に見舞われる。計算の複雑性は、MIMOシステムを通る少なくとも音響経路の数とともに増大するが、それは、NのスピーカおよびNのマイクロホンに対するN・Nである。一般周波数領域適応フィルタリング[GFDAF][BBK05]などのマルチチャンネルフィルタ適応のためのロバストな高速収束アルゴリズムは、相互相関されたスピーカ信号の関与する方程式の線形システムをコレスキー分解[GVL96]で確実に解いたとき、N の複雑性さえ有する。さらに、スピーカの数が仮想音源の数N(すなわち、独立した信号により空間的に分離された音源の数)よりも大きい場合、スピーカからLEMSのマイクロホンまでの音響経路を一意的に決定することはできない。このいわゆる非一意性の問題[BMS98]は実際には不可避なので、LEMSの可能な解の無限に大きな組が存在し、そのうちから1つだけが真のLEMSに対応する。
過去数十年にわたって、計算負担をわずかに増加しながら、非一意性の問題に対処するためにスピーカ信号の非線形[MHBO1]または時変[HBK07、SHK13]前処理が提案されてきた。他方、WDAFの概念は、計算の複雑性および非一意性の問題[SK14]の両方を軽減し、均一で、同心、円形のスピーカおよびマイクロホンの配列に最適である。このために、WDAFは、音場を音波方程式の基本解に分解する空間変換を採用し、空間変換領域における近似モデルおよび高度な正則化を可能とする[SK14]。音源領域適応フィルタリング(SDAF:Source−Domain Adaptive Filtering)[HBSlO]として知られる別のアプローチは、結果として生じる高い時変変換領域における音響エコー経路の効果的なモデリングを可能とするためにスピーカおよびマイクロホン信号に対してデータ駆動時空間変換を実施する。さらに、同定されたシステムは、LEMSを表さないが、信号に依存した近似値である。別の適応方式は、実際にWDAFによって近似される固有空間適応フィルタリング(EAF)と呼ばれる[SB R06]。前述したアプローチでは、N=N=NであるN2チャンネル音響MIMOシステムは、信号をシステムの固有空間に変換した後のNの経路に正確に対応するはずである。[HB13]の方法では、LEMSの必要な固有空間を推定するための反復アプローチが説明されている。これらのアプローチは、いずれも、オブジェクトベースのレンダリングシステムからの側路情報を採用しない。WDAFだけでも、変換領域LEMSに関する事前知識を利用していないが、空間の変換器の配置(均一で、円形、同心のスピーカおよびマイクロホンの配列)を想定している。
したがって、スピーカ・エンクロージャ・マイクロホンシステムを同定するための計算の複雑性を低減することが本発明の目的である。
この目的は、独立請求項によって解決される。
有利な実装形態は、従属請求項によって対処される。
本発明の実施形態は、複数のスピーカと、少なくとも1つのマイクロホンと、信号処理ユニットとを備えるレンダリングシステムを提供する。信号処理ユニットは、いくつかの仮想音源が複数のスピーカを用いて再生されるのに使用されるレンダリングフィルタ伝達関数行列を使用して複数のスピーカと少なくとも1つのマイクロホンとの間の音響経路を記述したスピーカ・エンクロージャ・マイクロホン伝達関数行列推定値の少なくともいくつかの構成要素を決定するように構成される。
他の実施形態は、複数のスピーカと、少なくとも1つのマイクロホンと、信号処理ユニットとを備えるレンダリングシステムを提供する。信号処理ユニットは、複数のスピーカを用いて再生されるいくつかの仮想音源と、少なくとも1つのマイクロホンとの間の音響経路を記述した音源特有伝達関数行列(HS)の少なくともいくつかの構成要素を推定し、音源特有伝達関数行列を使用して複数のスピーカと少なくとも1つのマイクロホンとの間の音響経路を記述したスピーカ・エンクロージャ・マイクロホン伝達関数行列推定値の少なくともいくつかの構成要素を決定するように構成される。
本発明の概念によれば、スピーカ・エンクロージャ・マイクロホン伝達関数行列によって記述することができるスピーカ・エンクロージャ・マイクロホンシステムを同定するための計算の複雑性は、スピーカ・エンクロージャ・マイクロホン伝達関数行列の推定値を決定するとき、レンダリングフィルタ伝達関数行列を使用することによって低減することができる。レンダリングフィルタ伝達関数行列は、レンダリングシステムに利用可能であり、それによって、複数のスピーカを用いていくつかの仮想音源を再生するのに使用される。さらに、スピーカ・エンクロージャ・マイクロホン伝達関数行列を直接推定する代わりに、いくつかの仮想音源と少なくとも1つのマイクロホンとの間の音響経路を記述した音源特有伝達関数行列の少なくともいくつかの構成要素を、スピーカ・エンクロージャ・マイクロホン伝達関数行列の推定値を決定するためのレンダリングフィルタ伝達関数行列に関連して推定し、使用することができる。
実施形態において、信号処理ユニットは、レンダリングフィルタ伝達関数行列の列空間に感受性があるスピーカ・エンクロージャ・マイクロホン伝達関数行列推定値の構成要素(またはそれらの構成要素だけ)を決定するように構成することができる。
それによって、スピーカ・エンクロージャ・マイクロホン伝達関数行列推定値を決定するための計算の複雑性をさらに低減することができる。
Figure 0006546698
実施形態において、信号処理ユニットは、いくつかの仮想音源のうちの少なくとも1つの変化または仮想音源のうちの少なくとも1つの位置の変化に応答して、変化した仮想音源に対応するレンダリングフィルタ伝達関数行列を使用してスピーカ・エンクロージャ・マイクロホン伝達関数行列推定値の少なくともいくつかの構成要素を更新するように構成することができる。
Figure 0006546698
Figure 0006546698
それと共に、信号処理ユニットの平均負荷を低減することができ、それは、信号処理に加えて、他の、よりタイムクリティカルでないタスクを実施しなければならない、マルチコアスマートフォンまたはタブレット、またはデバイスなどの限定された電力資源を有する計算的に強力なデバイスに有利であり得る。
Figure 0006546698
Figure 0006546698
これは、計算的により強力でない処理デバイスの場合、非常に大型のシステムの同定には有利であり、または1つの処理デバイスを他のタイムクリティカルな適用例(例えば、自動車のヘッドユニット)と共用するとき、信号処理適用例によって生じた最大負荷は低減されることになる。
すべての共通のアプローチと異なり、実施形態は、計算の複雑性を低減するために、およびLEMSを一意的に決定することができないが関与する適応フィルタリング問題の一意解を可能にするために、オブジェクトベースのレンダリングシステム(例えば、統計的に独立した音源信号および対応するレンダリングフィルタ)からの事前情報を採用する。さらに、いくつかの実施形態は、最大の計算の複雑性または平均の計算の複雑性のいずれかの最小化を可能とする柔軟な概念を提供する。
他の実施形態は、いくつかの音源信号が複数のスピーカを用いて再生されるのに使用されるレンダリングフィルタ伝達関数行列を使用して複数のスピーカと少なくとも1つのマイクロホンとの間の音響経路を記述したスピーカ・エンクロージャ・マイクロホン伝達関数行列を決定するステップを含む方法を提供する。
他の実施形態は、複数のスピーカを用いて再生されるいくつかの仮想音源と少なくとも1つのマイクロホンとの間の音響経路を記述した音源特有伝達関数行列の少なくともいくつかの構成要素を推定するステップと、音源特有伝達関数行列を使用して複数のスピーカと少なくとも1つのマイクロホンとの間の音響経路を記述したスピーカ・エンクロージャ・マイクロホン伝達関数行列推定値の少なくともいくつかの構成要素を決定するステップとを含む方法を提供する。
本発明の実施形態は、添付の図面を参照して本明細書に説明する。
本発明の実施形態による、レンダリングシステムの概略構成図である。 伝統的なスピーカ・エンクロージャ・マイクロホンシステム同定によって、および実施形態による音源特有システム同定によってモデル化すべき経路の比較の概略図である。 スピーカ・エンクロージャ・マイクロホン伝達関数行列(LEMS H)を推定するのに従来使用された信号経路の概略構成図である。 実施形態による、音源特有伝達関数行列(音源特有システムH)を推定するのに使用される信号経路の概略構成図である。 同定されたシステム構成要素が累積するLEMSの背景モデルを用いて異なる間隔の間の一定の音源構成および知識転換の間隔の間に音源特有システムを同定することによるLEMSの効率的な同定の例の概略図である。 実施形態による、平均負荷用に最適化されたシステム同定に使用される信号経路の概略構成図である。 実施形態による、最大負荷用に最適化されたシステム同定に使用される信号経路の概略構成図である。 実施形態による、48のスピーカと1つのマイクロホンとを用いたレンダリングシステムの空間的配置の概略構成図である。 実施形態による、48のスピーカと1つのマイクロホンとを用いたレンダリングシステムの空間的配置の概略構成図である。 低次元の音源特有システムの直接推定からの、および高次元のLEMSの推定からの図9aのレンダリングシステムのマイクロホンにおける正規化残余誤差信号を示すグラフである。 実施形態による、48のスピーカと1つのマイクロホンとを用いたレンダリングシステムの空間的配置の概略構成図である。 直接LEMS更新と比較して低次元の音源特有システムをLEMS推定値に変換することによって実現可能なシステム誤差ノルムを示すグラフである。 本発明の実施形態による、レンダリングシステムを動作させるための方法の流れ図である。 本発明の実施形態による、レンダリングシステムを動作せるための方法の流れ図である。
等しいかまたは同等の機能を有する等しいかまたは同等の要素を、以下の説明において等しいかまたは同等の参照番号で示す。
以下の説明において、本発明の実施形態のより完全な説明を行うために複数の詳細を記載する。しかし、これらの具体的な詳細なしで本発明の実施形態を実施することができることは当業者には明らかであろう。他の場合、周知の構造およびデバイスは、本発明の実施形態を曖昧にするのを避けるために詳細にではなく、構成図の形で示す。さらに、以下に説明する異なる実施形態の特徴は、特に他の記載がない限り、互いに組み合わせることができる。
Figure 0006546698
実施形態において、信号処理ユニット106は、仮想音源108に関連付けられた音源信号からの個々のスピーカ信号(または個々のスピーカ102によって再生されることになっている信号)を計算するためのレンダリングフィルタ伝達関数行列Hを使用するように構成することができる。それによって、通常、スピーカ102のうちの1つよりも多くは、仮想音源108に関連付けられた音源信号のうちの1つを再生するのに使用される。信号処理ユニット106は、例えば、固定または可動コンピュータ、スマートフォン、タブレットを用いて、または専用信号処理ユニットとして実装することができる。
レンダリングシステムは、最大Nまでのスピーカ102を備えることができ、ここで、Nは2以上の自然数、N≧2である。さらに、レンダリングシステムは、最大Nまでのマイクロホンを備えることができ、ここで、Nは1以上の自然数、N≧1である。仮想音源の数Nは、1以上、N≧1でよい。それによって、仮想音源の数Nは、スピーカの数N未満、N<Nである。
Figure 0006546698
Figure 0006546698
Figure 0006546698
言い換えれば、続いて、音源特有システム同定(SSSysid)の実施形態、および音源特有システム同定の実施形態に基づいて最大の計算の複雑性または平均の計算の複雑性のいずれかの最小化を可能にする実施形態を説明する。音源特有システム同定の実施形態は、固有のおよび効率的なフィルタ適応を可能にし、同定されたフィルタから有効なLEMS推定値を導き出すための数学的基礎を提供するが、平均および最大負荷用に最適化されたシステムの実施形態は、処理資源の柔軟な適用例特有の使用を可能にする。
Figure 0006546698
Figure 0006546698
前に述べたように、マルチチャンネル音響システム同定は、1つよりも多くのスピーカを用いて音響シーンをレンダリングしたとき典型的に起きる強く相互相関されたスピーカ信号に見舞われる。仮想音源よりも多いスピーカ(N>N)の場合、LEMS Hの音響経路は、一意的に決定することができない(「非一意性の問題」[BMS98])。これは、Hの可能な解の無限に大きな組が存在することを意味し、その組から1つだけが真のLEMS Hに対応する。
Figure 0006546698
Figure 0006546698
Figure 0006546698
Figure 0006546698
Figure 0006546698
Figure 0006546698
したがって、Hの列空間に感受性があるLEMS構成要素だけが特定のHから推定することができ、推定すべきである。この考えは、時変仮想音響シーンの音源特有システム同定に拡大するために以下において採用することができる。
Figure 0006546698
Figure 0006546698
図5は典型的な状況に対するこの考えの概要を示す。このために、2つの時間間隔1および2が検討され、その中で、仮想音源構成は変化しない。しかし、両方の間隔の仮想音源構成は異なる。さらに、システム全体は、間隔1の初めにオンに切り替えられる。これは図5のタイムライン(左)にも示す。間隔1から2への移行は、タイムラインに「移行」というラベルで示す。タイムラインの右側に、間隔1と2の間の適応システム同定プロセスをそれぞれ上部および下部に示す。間に、音源構成変化中に実施される動作が可視化される。システムブロック内の正方形のそれぞれは、固定サイズのサブシステムを表す。したがって、正方形の数は、線形システム自体のサイズに比例する。以下において、間隔を時系列で説明する。
Figure 0006546698
Figure 0006546698
Figure 0006546698
以下において、システム同定のための最大計算負荷または平均計算負荷を低減する(または最小限に抑えさえする)実施形態を説明する。
信号処理に加えて、他の、よりタイムクリティカルでないタスクを実施しなければならない、限定された電力資源(例えば、マルチコアタブレットまたはスマートフォン)またはデバイスを有する計算的に強力なデバイスについて考えると、適応フィルタリングの平均計算負荷の最小化が望ましい。他方、非常に大型のシステムの同定には、計算的により強力でない処理デバイスの場合、または1つの処理デバイスを他のタイムクリティカルな適用例(例えば、自動車のヘッドユニット)と共用するとき、信号処理適用例によって生じる最大負荷を低減することになる。したがって、平均負荷または最大負荷のいずれかの最小化を可能にする一般的概念の考えは、以下において、音源特有システム同定の考えと組み合わされる。
Figure 0006546698
最大負荷最適化が、SSSysId更新を、つい最近の間隔の音源特有システム(シーン変化において計算すべき)から直接生じる構成要素と、前の(事前計算可能な)1つのシーン変化で利用可能な情報だけに依存する別の構成要素とに分割する考えによって取得することができる。
Figure 0006546698
Figure 0006546698
Figure 0006546698
特定のレンダリングシステムの音声材料を展開するときの側路情報(仮想音源信号およびレンダリングフィルタまたは他の側路情報からのレンダリングフィルタ計算戦略)の欠如により、このアプローチの使用が排除される。側路情報がシステム同定中に利用可能であるように除外することができない場合、この方法の使用の強力な証拠を、AEC適用例におけるシステム同定プロセスの計算負荷から取得することができる。非常に長い時間、単一の仮想音源をレンダリングすると、適応フィルタリングによって生じた計算負荷は、非常に低くなり、スピーカの数と無関係になり、これは伝統的なシステム同定アプローチと矛盾する。これが当てはまる場合、SSSysIdとSDAFとを区別することが必要である。このために、スペクトル成分が独立して時変する、1つよりも多くの仮想音源を有する静的仮想シーンを合成することができる。SSSysIdが一定の計算負荷を生じるが、SDAFの計算負荷は、信号およびシステムの純粋にデータ駆動の変換により、繰り返し最大となる。SSSysIdとSDAFを区別するための別の方式は、直交スピーカ励起パターン(例えば、異なる物理的スピーカの位置における仮想点音源)を用いて信号を交互に繰り返すことである。エコーリターンロスエンハンスメント(ERLE:Echo−Return Loss Enhancement)は、SDAFのあらゆるシーン変化に対して同様に分解すると予想され得るが、SSSysIdは、前に観察されたシーン変化を再度実施したとき、顕著に低下した分解を示す。しかし、これらの試験は、前述したレンダリングタスクを実行するプロセッサの負荷統計に少なくともアクセスする必要がある。
以下において、SSSysId適応方式の基本特性の検証と妥当性確認が、図8に示すように、自由音場条件の下で、単一のマイクロホン(単一のマイクロホンだけの使用は、フィルタ適応が各マイクロホンに対してとにかく独立して実施されるので、適応概念の挙動の一般的解析に十分である)の前にN=48のスピーカの線形サウンドバーを用いてWFS状況をシミュレーションすることによって提供される。詳細には、図8は、N=48のスピーカ102およびN=1のマイクロホンを有する試作品のシミュレーションに共通の変換器設定を示す。
WFSシステムは、統計的に独立した白色雑音信号を放射する1つまたは複数の同時にアクティブな仮想点音源を8kHzのサンプリングレートで合成する。さらに、付加的白色ガウス雑音を−60dBのレベルでマイクロホンに導入することによって高品質マイクロホンが想定される。システム同定は、GFDAFアルゴリズムによって実施される。レンダリングシステムの逆行列は、離散フーリエ変換(DFT)領域において近似され、因果時間領域逆システムが、線形位相シフト、逆DFT、およびその後のウィンドウ生成を適用することによって取得される。

Figure 0006546698
以下において、2つの異なる実験を説明する。
第1の実験によれば、マイクロホン信号の24は、合成され、異なるが内部的に一定の仮想音源構成を有する、長さ8の3つの間隔に分割される。仮想音源の3つの間隔の群を図9aに示す。詳細には、図9aにおいて、NL=48のスピーカ102(矢印)、N=1のマイクロホン(×印)、および4つの仮想音源108のうちの3つの無作為に選択された群140、142、144の設定の概略構成図を示す。それらの位置は、それらの同時活動を表すために、点で表され、線で接続される。さらに、各仮想音源108は、黒丸で表され、一定の音源構成の同じ間隔に属する音源は、同じ種類の線、すなわち、直線140、第1の種類の破線142および第2の種類の破線144で接続される。
図9bは、第1の実験中に低次元の音源特有システムの直接推定(曲線150)から、および高次元のLEMSの推定(曲線512)から生じるマイクロホン104における正規化残余誤差信号のグラフを示す。
明らかに、図9bに示す正規化残余誤差は、適応フィルタの一意解を見つけることができるSSSysIdによって最大ノイズフロアまでより均一に急速に降下している。SSSysIdおよび直接LEMS更新は、両方とも、シーン変化の場合に非常に類似した性能分解を示す。これはAECへのSSSysIdの適用可能性を示す。
Figure 0006546698
音源特有システムの適応およびLEMSの直接適応は、正規化システム誤差ノルムの観点から比較される。これらは100の間隔のそれぞれ(それぞれの間隔の終わりに決定された)に対して図10bに示す。それによって、図10bは、直接LEMS更新(曲線162)と比較して低次元の音源特有システムをLEMS推定値(曲線160)に変換することによって第2の実験中に実現可能なシステム誤差ノルムを示す。
明らかに、より複雑でない音源特有の更新(曲線160)は、仮想音源構成を繰り返し変更する場合も、単一の仮想音源だけ用いた励起の場合も、完全に安定した適応およびLEMSを直接更新するのと同様の性能(曲線162)をもたらす。それによって、計算の複雑性は、1桁分だけ低減される。しかし、わずかに増加した正規化システム誤差ノルムは、正則化レンダリング逆フィルタを用いた反復変換の結果であり、畳み込みの切り捨ては、結果としてモデル化されたフィルタ長となる。
実施形態は、オブジェクトベースのレンダリングシステム(例えば、マルチスピーカフロントエンドを使用するWFSまたはハンズフリー通信)からの側路情報(統計的に独立した仮想音源信号、レンダリングフィルタ)を採用したMIMOシステムを同定するための方法を提供する。この方法は、スピーカおよびマイクロホン位置に関する任意の仮定を行わず、最小の最大負荷または平均負荷を有するように最適化されたシステム同定を可能にする。最新の方法とは対照的に、このアプローチは、Nの仮想音源のスペクトルまたは空間特性および変換器(NのスピーカおよびNのマイクロホン)の位置と独立した、予想通り低い計算の複雑性を有する。一定の仮想音源構成の長い間隔に対して、約N/Nだけの複雑性の低減が可能である。線形サウンドバーを用いたWFSとしてLEMSの同定のために模範となるように概念を検証するために試作品がシミュレーションされた。
図11は、本発明の実施形態による、レンダリングシステムを動作させるための方法200の流れ図を示す。方法200は、いくつかの音源信号が前記複数のスピーカを用いて再生されるのに使用されるレンダリングフィルタ伝達関数行列を使用して複数のスピーカと少なくとも1つのマイクロホンとの間の音響経路を記述したスピーカ・エンクロージャ・マイクロホン伝達関数行列を決定するステップ202を含む。
図12は、本発明の実施形態による、レンダリングシステムを動作させるための方法210の流れ図を示す。方法210は、複数のスピーカを用いて再生されるいくつかの仮想音源と、少なくとも1つのマイクロホンとの間の音響経路を記述した音源特有伝達関数行列の少なくともいくつかの構成要素を推定するステップ212と、音源特有伝達関数行列を使用して複数のスピーカと少なくとも1つのマイクロホンとの間の音響経路を記述したスピーカ・エンクロージャ・マイクロホン伝達関数行列推定値の少なくともいくつかの構成要素を決定するステップ214とを含む。
多くの適用例が多重入力(スピーカ)および多重出力(マイクロホン)を有するスピーカ・エンクロージャ・マイクロホンシステム(LEMS)の同定を必要とする。必要な計算の複雑性は、典型的には、スピーカの数とマイクロホンの数との積である音響経路の数に沿って少なくとも比例的に増大する。さらに、典型的なスピーカ信号は、高度に相関され、LEMSの正確な同定を排除する(非一意性の問題)。波動領域適応フィルタリング(WDAF:Wave−Domain Adaptive Filtering)として知られるマルチチャンネルシステム同定のための最新の方法は、複雑性低減のための音響場の固有の性質を採用し、特別な変換器構成の非一意性の問題を軽減する。他方、実施形態は、実際の変換器の配置に関して任意の仮定を行わないが、計算の複雑性を低減するために仮想音源の数がスピーカの数よりも少ない、オブジェクトベースのレンダリングシステムにおいて利用可能な側路情報(例えば、波面合成方式(WFS:Wave Field Synthesis))を採用する。実施形態において、各仮想音源から各マイクロホンへの音源特有システム(だけ)を適応的におよび一意的に同定することができる。次いで、音源特有システムのこの推定値をLEMS推定値に変換することができる。この考えを、異なる時間間隔における異なる仮想音源構成の場合にLEMSの同定にさらに拡大することができる。この一般的場合には、最大負荷用に最適化されたおよび平均負荷用に最適化された構造の考えが提示され、その場合、最大負荷用に最適化された構造は、より強力でないシステムに適切であり、平均負荷用に最適化された構造は、電力の平均消費を最小限に抑えなければならない、強力だが携帯可能なシステムに適切である。
いくつかの態様を装置の文脈で説明してきたが、これらの態様は、対応する方法の説明も表し、その場合、ブロックまたはデバイスは、方法ステップまたは方法ステップの特徴に対応することは明確である。同様に、方法ステップの文脈で説明した態様は、対応するブロックまたは品目の説明または対応する装置の特徴も表す。方法ステップの一部または全部は、例えば、マイクロプロセッサ、プログラマブルコンピュータまたは電子回路などのハードウェア装置によって(またはハードウェア装置を使用して)実行することができる。いくつかの実施形態において、最も重要な方法ステップのうちの1つまたは複数は、そのような装置によって実行することができる。
ある実装形態要件により、本発明の実施形態は、ハードウェアでまたはソフトウェアで実装することができる。実装形態は、それぞれの方法が実施されるようにプログラマブルコンピュータシステムと連携する(または連携することができる)、電子的に可読の制御信号を上に記憶した、デジタル記憶媒体、例えば、フロッピーディスク、DVD、ブルーレイ、CD、ROM、PROM、EPROM、EEPROMまたはフラッシュメモリを使用して実施することができる。したがって、デジタル記憶媒体は、コンピュータ可読でよい。
本発明によるいくつかの実施形態は、電子的に可読の制御信号を有するデータ担体を備え、データ担体は、本明細書に説明した方法のうちの1つが実施されるようにプログラマブルコンピュータシステムと連携することができる。
一般に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実装することができ、プログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるとき、方法のうちの1つを実施する働きをする。プログラムコードは、例えば、機械可読担体上に記憶することができる。
他の実施形態は、機械可読担体上に記憶された、本明細書に説明した方法のうちの1つを実施するためのコンピュータプログラムを備える。
言い換えれば、本発明方法の実施形態は、したがって、コンピュータプログラムがコンピュータ上で実行されるとき、本明細書に説明した方法のうちの1つを実施するためのプログラムコードを有するコンピュータプログラムである。
本発明方法の別の実施形態は、したがって、上に記録された、本明細書に説明した方法のうちの1つを実施するためのコンピュータプログラムを備えるデータ担体(またはデジタル記憶媒体またはコンピュータ可読媒体)である。データ担体、デジタル記憶媒体または記録媒体は、典型的には、有形であり、および/または非一時的である。
したがって、本発明方法の別の実施形態は、本明細書に説明した方法のうちの1つを実施するためのコンピュータプログラムを表すデータストリームまたは一連の信号である。例えば、データストリームまたは一連の信号は、データ通信接続を介して、例えば、インターネットを介して転送するように構成することができる。
別の実施形態は、本明細書に説明した方法のうちの1つを実施するように構成され、または適合された処理手段、例えば、コンピュータまたはプログラマブル論理デバイスを備える。
別の実施形態は、本明細書に説明した方法のうちの1つを実施するためのコンピュータプログラムを上にインストールしたコンピュータを備える。
本発明による別の実施形態は、本明細書に説明した方法のうちの1つを実施するためのコンピュータプログラムを受信機に転送するように(例えば、電子的にまたは光学的に)構成された装置またはシステムを備える。例えば、受信機は、コンピュータ、モバイルデバイス、メモリデバイスなどでよい。例えば、装置またはシステムは、コンピュータプログラムを受信機に転送するためのファイルサーバを備えることができる。
いくつかの実施形態において、プログラマブル論理デバイス(例えば、フィールドプログラマブルゲートアレイ)は、本明細書に説明した方法の機能の一部または全部を実施するのに使用することができる。いくつかの実施形態において、フィールドプログラマブルゲートアレイは、本明細書に説明した方法のうちの1つを実施するためにマイクロプロセッサと連携することができる。一般に、方法は、好ましくは任意のハードウェア装置によって実施される。
本明細書に説明した装置は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータとの組合せを使用して実装することができる。
本明細書に説明した方法は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータとの組合せを使用して実装することができる。
上記の実施形態は、単に本発明の原理の例示にすぎない。本明細書に説明した構成および詳細の変更および変形は当業者には明らかであることが理解される。したがって、差し迫った特許請求の範囲によってのみ限定され、本明細書における実施形態の記述および説明により提示される具体的な詳細によって限定されないことが意図されている。
<参考文献>
Figure 0006546698
Figure 0006546698

Claims (17)

  1. Figure 0006546698
    Figure 0006546698
  2. Figure 0006546698
  3. Figure 0006546698
  4. Figure 0006546698
  5. Figure 0006546698
  6. いくつかの仮想音源のうちの少なくとも1つの変化および前記仮想音源のうちの少なくとも1つの位置の変化に応答して、前記信号処理ユニットが、前記変化した仮想音源に対応するレンダリングフィルタ伝達関数行列を使用して前記スピーカ・エンクロージャ・マイクロホン伝達関数行列推定値の少なくともいくつかの構成要素を更新するように構成される、請求項1から5のいずれか一項に記載のレンダリングシステム。
  7. Figure 0006546698
  8. Figure 0006546698
  9. Figure 0006546698
  10. 仮想音源の数(N)が、スピーカの数(N)よりも小さい、請求項1から9のいずれか一項に記載のレンダリングシステム。
  11. 前記仮想音源の信号が、統計的に独立している、請求項1から10のいずれか一項に記載のレンダリングシステム。
  12. Figure 0006546698
  13. レンダリングフィルタ伝達関数行列(H)を使用して複数のスピーカと少なくとも1つのマイクロホンとの間の音響経路を記述したスピーカ・エンクロージャ・マイクロホン伝達関数行列(H)の少なくともいくつかの構成要素を決定するステップであって、前記レンダリングフィルタ伝達関数行列(H)を使用していくつかの音源信号が前記複数のスピーカを用いて再生される、決定するステップを含む、方法。
  14. Figure 0006546698
  15. 請求項13および14のいずれか一項に記載の方法を実施するためのコンピュータプログラム。
  16. Figure 0006546698
    Figure 0006546698
  17. Figure 0006546698
JP2018515782A 2015-09-25 2016-08-10 レンダリングシステム Expired - Fee Related JP6546698B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102015218527.3 2015-09-25
DE102015218527 2015-09-25
PCT/EP2016/069074 WO2017050482A1 (en) 2015-09-25 2016-08-10 Rendering system

Publications (2)

Publication Number Publication Date
JP2018533296A JP2018533296A (ja) 2018-11-08
JP6546698B2 true JP6546698B2 (ja) 2019-07-17

Family

ID=56738103

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018515782A Expired - Fee Related JP6546698B2 (ja) 2015-09-25 2016-08-10 レンダリングシステム

Country Status (5)

Country Link
US (1) US10659901B2 (ja)
EP (1) EP3354044A1 (ja)
JP (1) JP6546698B2 (ja)
CN (1) CN108353241B (ja)
WO (1) WO2017050482A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW202008351A (zh) * 2018-07-24 2020-02-16 國立清華大學 雙耳音頻再現系統及方法
US10652654B1 (en) * 2019-04-04 2020-05-12 Microsoft Technology Licensing, Llc Dynamic device speaker tuning for echo control

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2558445B2 (ja) 1985-03-18 1996-11-27 日本電信電話株式会社 多チャンネル制御装置
US5555310A (en) * 1993-02-12 1996-09-10 Kabushiki Kaisha Toshiba Stereo voice transmission apparatus, stereo signal coding/decoding apparatus, echo canceler, and voice input/output apparatus to which this echo canceler is applied
GB9603236D0 (en) * 1996-02-16 1996-04-17 Adaptive Audio Ltd Sound recording and reproduction systems
US5949894A (en) * 1997-03-18 1999-09-07 Adaptive Audio Limited Adaptive audio systems and sound reproduction systems
AU3541799A (en) * 1998-04-23 1999-11-08 Industrial Research Limited An in-line early reflection enhancement system for enhancing acoustics
US6574339B1 (en) * 1998-10-20 2003-06-03 Samsung Electronics Co., Ltd. Three-dimensional sound reproducing apparatus for multiple listeners and method thereof
DE60327052D1 (de) * 2003-05-06 2009-05-20 Harman Becker Automotive Sys Verarbeitungssystem für Stereo Audiosignale
US7336793B2 (en) * 2003-05-08 2008-02-26 Harman International Industries, Incorporated Loudspeaker system for virtual sound synthesis
KR20050060789A (ko) * 2003-12-17 2005-06-22 삼성전자주식회사 가상 음향 재생 방법 및 그 장치
KR101439205B1 (ko) * 2007-12-21 2014-09-11 삼성전자주식회사 오디오 매트릭스 인코딩 및 디코딩 방법 및 장치
US8391500B2 (en) * 2008-10-17 2013-03-05 University Of Kentucky Research Foundation Method and system for creating three-dimensional spatial audio
JP2011193195A (ja) 2010-03-15 2011-09-29 Panasonic Corp 音場制御装置
EP2375779A3 (en) * 2010-03-31 2012-01-18 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Apparatus and method for measuring a plurality of loudspeakers and microphone array
JP5002787B2 (ja) * 2010-06-02 2012-08-15 ヤマハ株式会社 スピーカ装置、音源シミュレーションシステム、およびエコーキャンセルシステム
EP2805326B1 (en) * 2012-01-19 2015-10-14 Koninklijke Philips N.V. Spatial audio rendering and encoding
RU2635046C2 (ru) * 2012-07-27 2017-11-08 Сони Корпорейшн Система обработки информации и носитель информации
EP2878138B8 (en) 2012-07-27 2017-03-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for providing a loudspeaker-enclosure-microphone system description
JP2014093697A (ja) 2012-11-05 2014-05-19 Yamaha Corp 音響再生システム
DE102013218176A1 (de) 2013-09-11 2015-03-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zur dekorrelation von lautsprechersignalen
WO2015062864A1 (en) * 2013-10-29 2015-05-07 Koninklijke Philips N.V. Method and apparatus for generating drive signals for loudspeakers
EP2996112B1 (en) * 2014-09-10 2018-08-22 Harman Becker Automotive Systems GmbH Adaptive noise control system with improved robustness

Also Published As

Publication number Publication date
JP2018533296A (ja) 2018-11-08
US10659901B2 (en) 2020-05-19
CN108353241A (zh) 2018-07-31
CN108353241B (zh) 2020-11-06
US20180206052A1 (en) 2018-07-19
WO2017050482A1 (en) 2017-03-30
EP3354044A1 (en) 2018-08-01

Similar Documents

Publication Publication Date Title
KR102565118B1 (ko) 누설 소거용 다중 스피커 방법 및 장치
CN107251579B (zh) 驱动扬声器阵列的装置和方法
KR101828448B1 (ko) 확성기-인클로져-마이크로폰 시스템 표현을 제공하기 위한 장치 및 방법
JP5863975B2 (ja) 波動領域におけるスケーラブルフィルタ処理構造を用いたリスニングルーム等化のための装置および方法
EP3050322B1 (en) System and method for evaluating an acoustic transfer function
JP2020501448A (ja) ブライトゾーンおよびダークゾーンに関して最適化された音声前置補償フィルタ
KR20180075610A (ko) 사운드 스테이지 향상을 위한 장치 및 방법
CN111128210A (zh) 具有声学回声消除的音频信号处理
US10321234B2 (en) Signal processing device and signal processing method
CN113170260B (zh) 音频处理方法、装置、存储介质及电子设备
Lee et al. Fast generation of sound zones using variable span trade-off filters in the DFT-domain
JP6546698B2 (ja) レンダリングシステム
CN110115050B (zh) 一种用于产生声场的装置和方法
Hofmann et al. Source-specific system identification
CN110637466B (zh) 扬声器阵列与信号处理装置
Hofmann et al. Generalized wave-domain transforms for listening room equalization with azimuthally irregularly spaced loudspeaker arrays
JP2023049443A (ja) 推定装置および推定方法
RU2020130069A (ru) Способы и устройства для управления низкими звуковыми частотами
Brunnström et al. Sound zone control for arbitrary sound field reproduction methods
JP2024079802A (ja) 音響エコーキャンセルユニット
WO2022048736A1 (en) Acoustic processing device for mimo acoustic echo cancellation
WO2012046033A1 (en) Equalization of an audio signal

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190410

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190528

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190621

R150 Certificate of patent or registration of utility model

Ref document number: 6546698

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees