JP5728094B2 - 到来方向推定から幾何学的な情報の抽出による音取得 - Google Patents

到来方向推定から幾何学的な情報の抽出による音取得 Download PDF

Info

Publication number
JP5728094B2
JP5728094B2 JP2013541374A JP2013541374A JP5728094B2 JP 5728094 B2 JP5728094 B2 JP 5728094B2 JP 2013541374 A JP2013541374 A JP 2013541374A JP 2013541374 A JP2013541374 A JP 2013541374A JP 5728094 B2 JP5728094 B2 JP 5728094B2
Authority
JP
Japan
Prior art keywords
microphone
sound
true
signal
spatial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013541374A
Other languages
English (en)
Other versions
JP2014502109A (ja
Inventor
ユールゲン ヘレ
ユールゲン ヘレ
ファビアン キュッヒ
ファビアン キュッヒ
マルクス カリンガー
マルクス カリンガー
ガルド ジョヴァンニ デル
ガルド ジョヴァンニ デル
オリヴァー ティールガルト
オリヴァー ティールガルト
ディルク メーネ
ディルク メーネ
アヒム クンツ
アヒム クンツ
ミヒャエル クラッシュマー
ミヒャエル クラッシュマー
アレクサンドラ クラチウン
アレクサンドラ クラチウン
Original Assignee
フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ
フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ, フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ filed Critical フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ
Publication of JP2014502109A publication Critical patent/JP2014502109A/ja
Application granted granted Critical
Publication of JP5728094B2 publication Critical patent/JP5728094B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/326—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only for microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/21—Direction finding using differential microphone array [DMA]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Otolaryngology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Stereophonic System (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Description

本発明は、オーディオ処理に関し、特に、到来方向推定から幾何学的な情報の抽出による音取得のための装置および方法に関する。
従来の空間録音は、再生側で、記録場所にあったような音像をリスナーが知覚するように、複数のマイクロホンで音場を捉えることを目的とする。空間録音のための標準的なアプローチは、通常、例えばＡＢステレオ音響において無指向性マイクロホン、または、例えばインテンシティステレオ音響においてコインシデント指向性マイクロホン、または、例えば、
[1] R. K. Furness, "Ambisonics - An overview," in AES 8th International Conference, April 1990, pp. 181-189
を参照し、例えばアンビソニック（Ａｍｂｉｓｏｎｉｃｓ）において、例えばＢ−フォーマットマイクロホンなどのより高性能のマイクロホンを、間隔をおいて用いる。
音の再生のために、これらのノンパラメトリックアプローチは、記録されたマイクロホン信号から直接的に望ましいオーディオ再生信号（例えば、ラウドスピーカに送られる信号）を導出する。
また、音場のパラメトリック表現に基づく方法を適用することができ、それは、パラメトリック空間オーディオコーダと呼ばれる。これらの方法は、空間音を記載する空間サイド情報とともに１つ以上のオーディオダウンミックス信号を決定するためにマイクロホンアレイをしばしば用いる。例としては、方向オーディオ符号化（ＤｉｒＡＣ）またはいわゆる空間オーディオマイクロホン（ＳＡＭ）アプローチである。ＤｉｒＡＣに関する詳細は、
[2] Pulkki, V., "Directional audio coding in spatial sound reproduction and stereo upmixing," in Proceedings of the AES 28th International Conference, pp. 251-258, Piteaa, Sweden, June 30 - July 2, 2006,
[3] V. Pulkki, "Spatial sound reproduction with directional audio coding," J. Audio Eng. Soc., vol. 55, no. 6, pp. 503-516, June 2007
に見られる。
空間オーディオマイクロホンアプローチに関する詳細については、
[4] C. Faller: "Microphone Front-Ends for Spatial Audio Coders", in Proceedings of the AES 125th International Convention, San Francisco, Oct. 2008
を参照する。
ＤｉｒＡＣにおいて、例えば、空間キュー情報は、時間周波数領域において計算される音の到来方向（ＤＯＡ）および音場の拡散を含む。音の再生のために、オーディオ再生信号は、パラメトリック記述に基づいて導出することができる。いくつかのアプリケーションにおいて、空間音取得は、すべての音シーンを捉えることを目的とする。他のアプリケーションにおいて、空間音取得は、特定の望ましい成分を捉えることを目的とするだけである。接話マイクロホンは、高い信号対雑音比（ＳＮＲ）および低い反響で個々の音源を記録するためにしばしば用いられる一方で、例えばＸＹステレオ音響などのより遠い構造は、すべての音シーンの空間イメージを捉えるための方法を表す。指向性に関するより高い柔軟性は、ビーム形成によって達成することができ、マイクロホンアレイは、操作可能なピックアップパターンを実現するために用いることができる。さらに高い柔軟性は、例えば、
[5] M. Kallinger, H. Ochsenfeld, G. Del Galdo, F. Kuech, D. Mahne, R. Schultz-Amling. and O. Thiergart, "A spatial filtering approach for directional audio coding," in Audio Engineering Society Convention 126, Munich, Germany, May 2009
に記載されるように、任意のピックアップパターンを有する空間フィルタを実現することが可能である方向オーディオ符号化（ＤｉｒＡＣ）（[２]、[３]を参照）などの上述の方法、および、例えば、
[6] R. Schultz-Amling, F. Kuech, O. Thiergart, and M. Kallinger, "Acoustical zooming based on a parametric sound field representation," in Audio Engineering Society Convention 128, London UK, May 2010,
[7] J. Herre, C. Falch, D. Mahne, G. Del Galdo, M. Kallinger, and O. Thiergart, "Interactive teleconferencing combining spatial audio object coding and DirAC technology," in Audio Engineering Society Convention 128, London UK, May 2010
を参照する、音シーンの他の信号処理操作によって提供される。
すべての上述の概念は、マイクロホンが一定の周知の配列に配置されることを共通に有する。マイクロホン間の間隔は、コインシデントマイクロホンためにはできるだけ小さいが、それは、通常、他の方法のためには数センチメートルである。以下において、空間マイクロホンとして音の到来方向を検索することができる空間音の記録のためのいかなる装置（例えば指向性マイクロホンの結合またはマイクロホンアレイ）にも言及する。
さらに、すべての上述の方法は、それらが１つの位置、すなわち測定場所だけに関して音場の表現に制限されることを共通に有する。このように、必要なマイクロホンは、非常に特定の慎重に選択された位置に、例えば音源の近くにまたは空間イメージを最適に捉えることができるように、配置されなければならない。
しかしながら、多くのアプリケーションにおいて、これは、実現可能でなく、したがって、音源からさらに離れていくつかのマイクロホンを配置し、それでも望み通りに音を捉えることができることは有益である。
それが測定されたところ以外の空間の位置において音場を推定するためのいくつかの音場再生方法が存在する。１つの方法としては、
[8] E. G. Williams, Fourier Acoustics: Sound Radiation and Nearfield Acoustical Holography, Academic Press, 1999
に記載されるように、音響ホログラフィである。
音響ホログラフィは、音圧および粒子速度がその全表面において知られるならば、任意の体積を有するいかなる位置でも音場を計算することを可能にする。そのため、その体積が大きいときに、非実用的に多いセンサが必要である。さらに、その方法は、音源がその体積内に存在しないと考え、アルゴリズムを我々のニーズのために実現不可能にする。関連した波動場外挿（[８]を参照）は、体積の表面における周知の音場を外側領域に外挿することを目的とする。しかしながら、外挿精度は、
[9] A. Kuntz and R. Rabenstein, "Limitations in the extrapolation of wave fields from circular measurements," in 15th European Signal Processing Conference (EUSIPCO 2007), 2007
を参照し、より大きい外挿距離のためにおよび音の伝搬方向に対して直角の方向に向かって外挿のために、急速に低下する。
[10] A. Walther and C. Faller, "Linear simulation of spaced microphone arrays using b-format recordings," in Audio Engineering Society Convention 128, London UK, May 2010
は、平面波モデルを記載し、音場外挿は、実際の音源から離れた位置に、例えば測定位置の近くにだけ可能である。
従来のアプローチの大きな欠点は、記録される空間イメージが、用いられる空間マイクロホンと常に関連するということである。多くのアプリケーションにおいて、望ましい位置に例えば音源の近くに、空間マイクロホンを配置することは、可能でないか実現可能でない。この場合、音シーンからさらに離れて複数の空間マイクロホンを配置し、それでも望み通りに音を捉えることができることは、より有益である。
[11] US61/287,596: An Apparatus and a Method for Converting a First Parametric Spatial Audio Signal into a Second Parametric Spatial Audio Signal
は、ラウドスピーカまたはヘッドホンを通して再生されるときに、真の記録位置を他の位置に仮想的に動かすための方法を提案する。しかしながら、この方法は、すべての音オブジェクトが、記録のために用いられる真の空間マイクロホンまでの等しい距離を有すると考えられる単純な音シーンに制限される。さらに、その方法は、１つの空間マイクロホンの利点をとることができるだけである。
米国特許出願第６１／２８７，５９６号：[11] US61/287,596: An Apparatus and a Method for Converting a First Parametric Spatial Audio Signal into a Second Parametric Spatial Audio Signal
[1] R. K. Furness, "Ambisonics - An overview," in AES 8th International Conference, April 1990, pp. 181-189 [2] V. Pulkki, "Directional audio coding in spatial sound reproduction and stereo upmixing," in Proceedings of the AES 28th International Conference, pp. 251-258, Piteaa, Sweden, June 30 - July 2, 2006 [3] V. Pulkki, "Spatial sound reproduction with directional audio coding," J. Audio Eng. Soc., vol. 55, no. 6, pp. 503-516, June 2007 [4] C. Faller: "Microphone Front-Ends for Spatial Audio Coders", in Proceedings of the AES 125th International Convention, San Francisco, Oct. 2008 [5] M. Kallinger, H. Ochsenfeld, G. Del Galdo, F. Kuech, D. Mahne, R. Schultz-Amling. and O. Thiergart, "A spatial filtering approach for directional audio coding," in Audio Engineering Society Convention 126, Munich, Germany, May 2009 [6] R. Schultz-Amling, F. Kuech, O. Thiergart, and M. Kallinger, "Acoustical zooming based on a parametric sound field representation," in Audio Engineering Society Convention 128, London UK, May 2010 [7] J. Herre, C. Falch, D. Mahne, G. Del Galdo, M. Kallinger, and O. Thiergart, "Interactive teleconferencing combining spatial audio object coding and DirAC technology," in Audio Engineering Society Convention 128, London UK, May 2010 [8] E. G. Williams, Fourier Acoustics: Sound Radiation and Nearfield Acoustical Holography, Academic Press, 1999 [9] A. Kuntz and R. Rabenstein, "Limitations in the extrapolation of wave fields from circular measurements," in 15th European Signal Processing Conference (EUSIPCO 2007), 2007 [10] A. Walther and C. Faller, "Linear simulation of spaced microphone arrays using b-format recordings," in Audio Engineering Society Convention 128, London UK, May 2010 [12] S. Rickard and Z. Yilmaz, "On the approximate W-disjoint orthogonality of speech," in Acoustics, Speech and Signal Processing, 2002. ICASSP 2002. IEEE International Conference on, April 2002, vol. 1 [13] R. Roy, A. Paulraj, and T. Kailath, "Direction-of-arrival estimation by subspace rotation methods - ESPRIT," in IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP), Stanford, CA, USA, April 1986 [14] R. Schmidt, "Multiple emitter location and signal parameter estimation," IEEE Transactions on Antennas and Propagation, vol. 34, no. 3, pp. 276-280, 1986 [15] J. Michael Steele, "Optimal Triangulation of Random Samples in the Plane", The Annals of Probability, Vol. 10, No.3 (Aug., 1982), pp. 548-553 [16] F. J. Fahy, Sound Intensity, Essex: Elsevier Science Publishers Ltd., 1989 [17] R. Schultz-Amling, F. Kuech, M. Kallinger, G. Del Galdo, T. Ahonen and V. Pulkki, "Planar microphone array processing for the analysis and reproduction of spatial audio using directional audio coding," in Audio Engineering Society Convention 124, Amsterdam, The Netherlands, May 2008 [18] M. Kallinger, F. Kuech, R. Schultz-Amling, G. Del Galdo, T. Ahonen and V. Pulkki, "Enhanced direction estimation using microphone arrays for directional audio coding;" in Hands-Free Speech Communication and Microphone Arrays, 2008. HSCMA 2008, May 2008, pp. 45-48
本発明の目的は、幾何学的な情報の抽出による音取得のための改良された概念を提供することである。本発明の目的は、請求項１に記載の装置によって、請求項２４に記載の方法によって、さらに、請求項２５に記載のコンピュータプログラムによって解決される。
実施形態によれば、環境において設定可能な仮想位置で仮想マイクロホンの記録をシミュレートするためにオーディオ出力信号を生成するための装置が提供される。その装置は、音事象位置推定器および情報計算モジュールを含む。音事象位置推定器は、その環境において音源の位置を示す音源位置を推定するように構成され、音事象位置推定器は、その環境において第１の真のマイクロホン位置に設置される第１の真の空間マイクロホンによって提供される第１の方向情報に基づいて、さらに、その環境において第２の真のマイクロホン位置に設置される第２の真の空間マイクロホンによって提供される第２の方向情報に基づいて、音源位置を推定するように構成される。
情報計算モジュールは、第１の真の空間マイクロホンによって記録される第１の記録されたオーディオ入力信号に基づいて、第１の真のマイクロホン位置に基づいて、仮想マイクロホンの仮想位置に基づいて、さらに、音源位置に基づいて、オーディオ出力信号を生成するように構成される。
実施形態において、情報計算モジュールは、伝搬補償器を含み、伝搬補償器は、オーディオ出力信号を得るために、第１の記録されたオーディオ入力信号の振幅値、強度値または位相値を調整することによって、音源および第１の真の空間マイクロホン間の第１の振幅減衰に基づいてさらに音源および仮想マイクロホン間の第２の振幅減衰に基づいて、第１の記録されたオーディオ入力信号を修正することによって第１の修正されたオーディオ信号を生成するように構成される。実施形態において、第１の振幅減衰は、音源から放出される音波の振幅減衰であってもよく、さらに、第２の振幅減衰は、音源から放出される音波の振幅減衰であってもよい。
他の実施形態によれば、情報計算モジュールは、オーディオ出力信号を得るために、第１の記録されたオーディオ入力信号の振幅値、強度値または位相値を調整することによって第１の真の空間マイクロホンでの音源から放出される音波の到来および仮想マイクロホンでの音波の到来間の第１の遅延を補償することによって第１の記録されたオーディオ入力信号を修正することによって第１の修正されたオーディオ信号を生成するように構成される伝搬補償器を含む。
実施形態によれば、以下において真の空間マイクロホンと呼ばれる２つ以上の空間マイクロホンを用いることが考えられる。真の空間マイクロホンごとに、音のＤＯＡは、時間周波数領域において推定することができる。それらの相対的な位置の知識とともに、真の空間マイクロホンによって集められる情報から、環境において自由に仮想的に配置される任意の空間マイクロホンの出力信号を構成することが可能である。この空間マイクロホンは、以下において仮想空間マイクロホンと呼ばれる。
到来方向（ＤＯＡ）は、２Ｄ空間の場合、方位角として表され、または、３Ｄにおいて方位角および仰角の対によって表されてもよいことに留意されたい。同等に、ＤＯＡに向けられる単位ノルムベクトルが用いられてもよい。
実施形態において、手段は、空間的に選択的な方法において音を捉えるために提供され、例えば、特定の目標場所から生じる音は、ちょうどクローズアップ「スポットマイクロホン」がこの場所に取り付けられているように、捉えることができる。しかしながら、このスポットマイクロホンを実際に取り付ける代わりに、その出力信号は、他の遠い位置に配置される２つ以上の空間マイクロホンを用いることによってシミュレートすることができる。
用語「空間マイクロホン」は、音の到来方向を検索することができる空間音の取得のためのいかなる装置（例えば指向性マイクロホンの結合、マイクロホンアレイ）にも言及する。
用語「非空間マイクロホン」は、例えば単一の無指向性または指向性のマイクロホンなどの音の到来方向を検索するために適していないいかなる装置にも言及する。
用語「真の空間マイクロホン」が上述のように物理的に存在する空間マイクロホンに言及することに留意すべきである。
仮想空間マイクロホンに関して、仮想空間マイクロホンがいかなる望ましいマイクロホンタイプまたはマイクロホン結合を表すことに留意すべきであり、それは、例えば、単一の無指向性マイクロホン、指向性マイクロホン、共通のステレオマイクロホンに用いられるように一対の指向性マイクロホンや、マイクロホンアレイも表すことができる。
本発明は、２つ以上の真の空間マイクロホンが用いられるときに、音事象の２Ｄまたは３Ｄ空間において位置を推定することが可能であるという知見に基づき、そのため、位置定位を達成することができる。音事象の決定された位置を用いることによって、空間において任意に配置されさらに方向づけられる仮想空間マイクロホンによって記録されている音信号は、例えば仮想空間マイクロホンの観点から到来方向などの対応する空間サイド情報とともに計算することができる。
この目的のために、それぞれの音事象は、点状の音源、例えば等方性の点状の音源を表すと考えられてもよい。以下において、「真の音源」は、例えば話し手または楽器など、記録環境において物理的に存在する実際の音源に言及する。これに対して、「音源」または「音事象」について、以下において有効な音源に言及し、それは、特定の時間瞬間でまたは特定の時間周波数ビンにおいてアクティブであり、音源は、例えば、真の音源または鏡像源を表すことができる。実施形態によれば、音シーンが多数のそのような音事象または点状の音源としてモデル化されると黙示的に考えられる。さらに、それぞれの音源は、所定の時間周波数表現において特定の時間および周波数スロット内でだけアクティブであると考えられてもよい。真の空間マイクロホン間の距離は、伝搬時間において生じる時間差が時間周波数表現の時間分解能よりも短くなるようであってもよい。後者の考えは、特定の音事象が同じ時間スロット内ですべての空間マイクロホンによって捉えられることを保証する。これは、同じ時間周波数スロットのための異なる空間マイクロホンで推定されるＤＯＡｓが同じ音事象に実際に対応することを意味する。この考えは、数ミリ秒でもの時間分解能を有する大きな部屋（例えばリビングルームまたは会議室など）においてさえ互いに数メートルをおいて配置される真の空間マイクロホンで会談することが困難でない。
マイクロホンアレイは、音源を定位するために用いられてもよい。定位された音源は、それらの性質に応じて異なる物理的な解釈を有することができる。マイクロホンアレイが直接音を受信するときに、それらは、真の音源（例えば話し手）の位置を定位することができてもよい。マイクロホンアレイが反射を受信するときに、それらは、鏡像源の位置を定位することができる。鏡像源は、音源でもある。
任意の場所に配置される仮想マイクロホンの音信号を推定することができるパラメトリック方法が提供される。前に記載される方法とは対照的に、提案された方法は、音場を再生することを直接的に目的とせず、むしろ、この場所に物理的に配置されるマイクロホンによって捉えられるものと知覚的に類似する音を提供することを目的とする。これは、点状の音源、例えば等方性の点状の音源（ＩＰＬＳ）に基づいて音場のパラメトリックモデルを用いることによって達成されてもよい。必要な幾何学的な情報、すなわちすべてのＩＰＬＳの瞬時位置は、２つ以上の分散されたマイクロホンアレイで推定される到来方向の三角測量を行うことによって得られてもよい。これは、アレイの相対的な位置および方向の知識を得ることによって、達成される。それにもかかわらず、実際の音源（例えば話し手）の数および位置に関する演繹的な知識は必要でない。提案された概念、例えば提案された装置または方法のパラメトリック性質を考慮すれば、仮想マイクロホンは、例えば、距離による音圧減衰に関して、任意の指向性パターンも任意の物理的なまたは非物理的な挙動も有することができる。提案されたアプローチは、反響する環境において測定に基づいてパラメータ推定精度を検討することによって検証されている。
得られる空間イメージが、マイクロホンが物理的に配置された位置と常に関連する限り、空間オーディオのための従来の記録技術が制限される一方、本発明の実施形態は、多くのアプリケーションにおいて、音シーンの外側にマイクロホンを配置しさらに任意の観点から音をまだ捉えることができることが、望ましいことを考慮する。実施形態によれば、マイクロホンが音シーンに物理的に配置されている場合、捉えられているものと知覚的に類似する信号を計算することによって、空間において任意の位置に仮想マイクロホンを仮想的に配置する概念が提供される。実施形態は、概念を適用することができ、それは、点状の音源、例えば点状の等方性の音源に基づいて音場のパラメトリックモデルを用いることができる。必要な幾何学的な情報は、２つ以上の分散されたマイクロホンアレイによって集められてもよい。
実施形態によれば、音事象位置推定器は、第１の方向情報として第１の真のマイクロホン位置での音源から放出される音波の第１の到来方向に基づいて、さらに、第２の方向情報として第２の真のマイクロホン位置での音波の第２の到来方向に基づいて、音源位置を推定するように構成されてもよい。
他の実施形態において、情報計算モジュールは、空間サイド情報を計算するための空間サイド情報計算モジュールを含むことができる。情報計算モジュールは、仮想マイクロホンの位置ベクトルに基づいてさらに音事象の位置ベクトルに基づいて、空間サイド情報として仮想マイクロホンでの到来方向またはアクティブな音のインテンシティを推定するように構成されてもよい。
さらなる実施形態によれば、伝搬補償器は、時間周波数領域において表される第１の記録されたオーディオ入力信号の前記強度値を調整することによって第１の真の空間マイクロホンでの音源から放出される音波の到来および仮想マイクロホンでの音波の到来間の第１の遅延または振幅減衰を補償することによって、時間周波数領域において第１の修正されたオーディオ信号を生成するように構成されてもよい。
さらなる実施形態において、情報計算モジュールは、結合器をさらに含むことができ、伝搬補償器は、第２の修正されたオーディオ信号を得るために第２の記録されたオーディオ入力信号の振幅値、強度値または位相値を調整することによって、第２の真の空間マイクロホンでの音源から放出される音波の到来および仮想マイクロホンでの音波の到来間の第２の遅延または振幅減衰を補償することによって、第２の真の空間マイクロホンによって記録される、第２の記録されたオーディオ入力信号を修正するようにさらに構成されてもよく、さらに、結合器は、オーディオ出力信号を得るために、第１の修正されたオーディオ信号および第２の修正されたオーディオ信号を結合することによって結合信号を生成するように構成されてもよい。
他の実施形態によれば、伝搬補償器は、仮想マイクロホンでの音波の到来およびさらなる真の空間マイクロホンのそれぞれでの音源から放出される音波の到来間の遅延を補償することによって、１つ以上のさらなる真の空間マイクロホンによって記録される、１つ以上のさらなる記録されたオーディオ入力信号を修正するようにさらに構成されてもよい。遅延または振幅減衰のそれぞれは、複数の第３の修正されたオーディオ信号を得るためにさらなる記録されたオーディオ入力信号のそれぞれの振幅値、強度値または位相値を調整することによって補償されてもよい。結合器は、オーディオ出力信号を得るために、第１の修正されたオーディオ信号、第２の修正されたオーディオ信号および複数の第３の修正されたオーディオ信号を結合することによって結合信号を生成するように構成されてもよい。
さらなる実施形態において、情報計算モジュールは、オーディオ出力信号を得るために仮想マイクロホンの仮想位置での音波の到来方向に応じてさらに仮想マイクロホンの仮想方向に応じて第１の修正されたオーディオ信号を修正することによって重み付けられたオーディオ信号を生成するためのスペクトル重み付けユニットを含むことができ、第１の修正されたオーディオ信号は、時間周波数領域において修正されてもよい。
さらに、情報計算モジュールは、オーディオ出力信号を得るために仮想マイクロホンの仮想位置での到来方向または音波および仮想マイクロホンの仮想方向に応じて結合信号を修正することによって重み付けられたオーディオ信号を生成するためのスペクトル重み付けユニットを含むことができ、結合信号は、時間周波数領域において修正されてもよい。
実施形態において、伝搬補償器は、オーディオ出力信号を得るために、第３の記録されたオーディオ入力信号の振幅値、強度値または位相値を調整することによって無指向性マイクロホンでの音源から放出される音波の到来および仮想マイクロホンでの音波の到来間の第３の遅延または振幅減衰を補償することによって無指向性マイクロホンによって記録される第３の記録されたオーディオ入力信号を修正することによって第３の修正されたオーディオ信号を生成するようにさらに構成される。
さらなる実施形態において、音事象位置推定器は、３次元環境において音源位置を推定するように構成されてもよい。
さらに、他の実施形態によれば、情報計算モジュールは、仮想マイクロホンでの拡散音エネルギーまたは仮想マイクロホンでの直接音エネルギーを推定するように構成される拡散計算ユニットをさらに含むことができる。
本発明の好適な実施形態は、以下において記載される。
図１は、実施形態によるオーディオ出力信号を生成するための装置を示す。 図２は、実施形態によるオーディオ出力信号を生成するための装置および方法の入力および出力を示す。 図３は、音事象位置推定器および情報計算モジュールを含む実施形態による装置の基本構造を示す。 図４は、真の空間マイクロホンがそれぞれ３つのマイクロホンのユニフォームリニアアレイ（Ｕｎｉｆｏｒｍ ＬＩｎｅａｒ Ａｒｒａｙｓ）として表される例示的なシナリオを示す。 図５は、３Ｄ空間において到来方向を推定するための３Ｄにおいて２つの空間マイクロホンを表す。 図６は、現在の時間周波数ビン（ｋ，ｎ）の等方性の点状の音源が位置ｐIPLS（ｋ，ｎ）に設置される配列を示す。 図７は、実施形態による情報計算モジュールを表す。 図８は、他の実施形態による情報計算モジュールを表す。 図９は、２つの真の空間マイクロホン、定位された音事象および仮想空間マイクロホンの位置と、対応する遅延および振幅減衰とを示す。 図１０は、実施形態による仮想マイクロホンと関連する到来方向を得る方法を示す。 図１１は、実施形態による仮想マイクロホンの観点から音のＤＯＡを導出する可能な方法を表す。 図１２は、実施形態による拡散計算ユニットをさらに含む情報計算ブロックを示す。 図１３は、実施形態による拡散計算ユニットを表す。 図１４は、音事象位置推定が可能でないシナリオを示す。 図１５ａは、２つのマイクロホンアレイが直接音を受信するシナリオを示す。 図１５ｂは、２つのマイクロホンアレイが壁で反射される音を受信するシナリオを示す。 図１５ｃは、２つのマイクロホンアレイが拡散音を受信するシナリオを示す。
図１は、環境において設定可能な仮想位置ｐｏｓＶｍｉｃでの仮想マイクロホンの記録をシミュレートするためにオーディオ出力信号を生成するための装置を示す。その装置は、音事象位置推定器１１０および情報計算モジュール１２０を含む。音事象位置推定器１１０は、第１の真の空間マイクロホンから第１の方向情報ｄｉ１および第２の真の空間マイクロホンから第２の方向情報ｄｉ２を受信する。音事象位置推定器１１０は、その環境において音源の位置を示す音源位置ｓｓｐを推定するように構成され、音源は音波を放出し、音事象位置推定器１１０は、その環境において第１の真のマイクロホン位置ｐｏｓ１ｍｉｃに設置される第１の真の空間マイクロホンによって提供される第１の方向情報ｄｉ１に基づいて、さらに、環境において第２の真のマイクロホン位置に設置される第２の真の空間マイクロホンによって提供される第２の方向情報ｄｉ２に基づいて、音源位置ｓｓｐを推定するように構成される。情報計算モジュール１２０は、第１の真の空間マイクロホンによって記録される第１の記録されたオーディオ入力信号ｉｓ１に基づいて、第１の真のマイクロホン位置ｐｏｓ１ｍｉｃに基づいて、さらに、仮想マイクロホンの仮想位置ｐｏｓＶｍｉｃに基づいて、オーディオ出力信号を生成するように構成される。情報計算モジュール１２０は、オーディオ出力信号を得るために、第１の記録されたオーディオ入力信号ｉｓ１の振幅値、強度値または位相値を調整することによって第１の真の空間マイクロホンでの音源から放出される音波の到来および仮想マイクロホンでの音波の到来間の第１の遅延または振幅減衰を補償することによって第１の記録されたオーディオ入力信号ｉｓ１を修正することによって第１の修正されたオーディオ信号を生成するように構成される伝搬補償器を含む。
図２は、実施形態による装置および方法の入力および出力を示す。２つ以上の真の空間マイクロホン１１１、１１２、・・・、１１Ｎから情報は、その装置に送られ、その方法によって処理される。この情報は、真の空間マイクロホンによって捉えられるオーディオ信号と、真の空間マイクロホンからの方向情報、例えば到来方向（ＤＯＡ）推定とを含む。オーディオ信号および例えば到来方向推定などの方向情報は、時間周波数領域において表されてもよい。例えば、２Ｄ配列再生が望ましく、さらに、従来のＳＴＦＴ（短時間フーリエ変換）領域が信号の表現のために選択される場合、ＤＯＡは、ｋおよびｎ、すなわち周波数および時間インデックスに依存する方位角として表されてもよい。
実施形態において、空間において音事象定位と仮想マイクロホンの位置を記載することとは、共通の座標系において真のおよび仮想の空間マイクロホンの位置および方向に基づいて行われてもよい。この情報は、図２において入力１２１・・・１２Ｎおよび入力１０４によって表されてもよい。入力１０４は、以下に述べられるように、仮想空間マイクロホンの特性、例えばその位置および受信ピックアップパターンをさらに特定することができる。仮想空間マイクロホンが複数の仮想センサを含む場合、それらの位置および対応する異なるピックアップパターンが考慮されてもよい。
その装置または対応する方法の出力は、望ましいときに、１つ以上の音信号１０５であってもよく、それは、１０４によって特定されるように定義されさらに配置される空間マイクロホンによって捉えられていてもよい。さらに、その装置（またはむしろその方法）は、出力として、仮想空間マイクロホンを用いることによって推定されてもよい対応する空間サイド情報１０６を提供することができる。
図３は、２つのメイン処理ユニット、音事象位置推定器２０１および情報計算モジュール２０２を含む、実施形態による装置を示す。音事象位置推定器２０１は、入力１１１・・・１１Ｎに含まれるＤＯＡｓに基づいて、さらに、真の空間マイクロホンの位置および方向の知識に基づいて、幾何学的な再生を行うことができ、そのＤＯＡｓは、計算されている。音事象位置推定器２０５の出力は、音源の（２Ｄまたは３Ｄにおいて）位置推定を含み、その音事象は、時間および周波数ビンごとに生じる。第２の処理ブロック２０２は、情報計算モジュールである。図３の実施形態によれば、第２の処理ブロック２０２は、仮想マイクロホン信号および空間サイド情報を計算する。したがって、それは、仮想マイクロホン信号およびサイド情報計算ブロック２０２とも呼ばれる。仮想マイクロホン信号およびサイド情報計算ブロック２０２は、仮想マイクロホンオーディオ信号１０５を出力するために、１１１・・・１１Ｎに含まれるオーディオ信号を処理するために音事象の位置２０５を用いる。２０２ブロックは、必要であれば、仮想空間マイクロホンに対応する空間サイド情報１０６を計算することもできる。以下の実施形態は、どのようにブロック２０１および２０２が作動することができるかの可能性を示す。
以下において、実施形態による音事象位置推定器の位置推定が詳細に記載される。
課題（２Ｄまたは３Ｄ）の次元および空間マイクロホンの数に応じて、位置推定のためのいくつかの解決策が可能である。
２Ｄにおいて２つの空間マイクロホンが存在する場合、（可能な限り単純な場合）単純な三角測量が可能である。図４は、真の空間マイクロホンがそれぞれ３つのマイクロホンのユニフォームリニアアレイ（ＵＬＡｓ）として表される例示的なシナリオを示す。方位角ａｌ（ｋ，ｎ）およびａ２（ｋ，ｎ）として表されるＤＯＡは、時間周波数ビン（ｋ，ｎ）のために計算される。これは、例えばＥＳＰＲＩＴ、
[13] R. Roy, A. Paulraj, and T. Kailath, "Direction-of-arrival estimation by subspace rotation methods - ESPRIT," in IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP), Stanford, CA, USA, April 1986
、または、
[14] R. Schmidt, "Multiple emitter location and signal parameter estimation," IEEE Transactions on Antennas and Propagation, vol. 34, no. 3, pp. 276-280, 1986
を参照する、（ルート）ＭＵＳＩＣなどの適切なＤＯＡ推定器を、時間周波数領域に変換される音圧信号に用いることによって達成される。
図４において、２つの真の空間マイクロホン、ここでは、２つの真の空間マイクロホンアレイ４１０、４２０が示される。２つの推定されたＤＯＡｓ ａｌ（ｋ，ｎ）およびａ２（ｋ，ｎ）は、２本ラインによって表され、第１のライン４３０はＤＯＡ ａｌ（ｋ，ｎ）を表し、さらに、第２のライン４４０はＤＯＡ ａ２（ｋ，ｎ）を表す。三角測量は、それぞれのアレイの位置および方向を知る単純な幾何学的な考慮を介して可能である。
三角測量は、２本のライン４３０、４４０が正確に平行であるときに失敗する。しかしながら、真のアプリケーションにおいて、これは、非常にまれなことである。しかしながら、すべての三角測量結果が、熟慮された空間において音事象のための物理的なまたは実現可能な位置に対応するというわけではない。例えば、音事象の推定された位置は、遠く離れすぎているかまたは想定された空間の外側でされあるかもしれなく、場合により、ＤＯＡｓが、用いられたモデルで物理的に解釈することができるいかなる音事象にも対応しないことを示す。そのような結果は、センサノイズまたは強すぎる室内反響に起因することがある。したがって、実施形態によれば、そのような望ましくない結果は、情報計算モジュール２０２がそれらを適切に処理することができるように、フラグがつけられる。
図５は、音事象の位置が３Ｄ空間において推定されるシナリオを表す。適切な空間マイクロホン、例えば平面または３Ｄのマイクロホンアレイが用いられる。図５において、第１の空間マイクロホン５１０、例えば第１の３Ｄマイクロホンアレイ、および、第２の空間マイクロホン５２０、例えば第１の３Ｄマイクロホンアレイが示される。３Ｄ空間においてＤＯＡは、例えば、方位角および仰角として表されてもよい。単位ベクトル５３０、５４０は、ＤＯＡｓを表すために用いられてもよい。２本のライン５５０、５６０は、ＤＯＡｓに従ってプロジェクトされる。非常に信頼性が高い推定によってさえ、３Ｄにおいて、ＤＯＡｓに従ってプロジェクトされる２本のライン５５０、５６０は、交差しないかもしれない。しかしながら、三角測量は、例えば、２本のラインを接続する最も小さい部分の中点を選択することによって、まだ行うことができる。
２Ｄの場合と同様に、三角測量は、失敗しまたは方向の特定の結合のための実現不可能な結果を生じ、そして、例えば図３の情報計算モジュール２０２にフラッグがつけられてもよい。
２つよりも多い空間マイクロホンが存在する場合、いくつかの解決策が可能である。例えば、上述の三角測量は、真の空間マイクロホンのすべての対（Ｎ＝３の場合、１と２、１と３、２と３）のために行うことができる。そして、生じる位置は、（ｘおよびｙに沿って、３Ｄが考慮される場合、さらにｚに沿って）平均化されてもよい。
あるいは、より複雑な概念が用いられてもよい。例えば、確率論的なアプローチが、
[15] J. Michael Steele, "Optimal Triangulation of Random Samples in the Plane", The Annals of Probability, Vol. 10, No.3 (Aug., 1982), pp. 548-553
に記載されているように適用されてもよい。
それぞれのＩＰＬＳは、直接音または独特の部屋反射をモデル化する。その位置ｐIPLS（ｋ，ｎ）は、それぞれ、部屋の内側に設置される実際の音源、または、外側に設置される鏡像音源に、理想的に対応することができる。したがって、位置ｐIPLS（ｋ，ｎ）は、音事象の位置を示すこともできる。
用語「真の音源」が記録環境において物理的に存在する実際の音源、例えば話し手または楽器などを意味することに留意されたい。これに対して、「音源」または「音事象」または「ＩＰＬＳ」について、有効な音源に言及し、それは、特定の時間瞬間でまたは特定の時間周波数ビンでアクティブであり、音源は、例えば、真の音源または鏡像源を表すことができる。
図１５ａ〜図１５ｂは、音源を定位するマイクロホンアレイを示す。定位された音源は、それらの性質に応じて異なる物理的な解釈を有することができる。マイクロホンアレイが直接音を受信するときに、それらは、真の音源（例えば話し手）の位置を定位することができてもよい。マイクロホンアレイが反射を受信するときに、それらは、鏡像源の位置を定位することができる。鏡像源は、音源でもある。
図１５ａは、２つのマイクロホンアレイ１５１および１５２が実際の音源（物理的に存在する音源）１５３から直接音を受信するシナリオを示す。
図１５ｂは、２つのマイクロホンアレイ１６１、１６２が反響された音を受信するシナリオを示し、その音は、壁によって反響されている。反射のため、マイクロホンアレイ１６１、１６２は、位置を定位し、その音は、スピーカ１６３の位置と異なる、鏡像源１６５から来るように見える。
図１５ａの実際の音源１５３および鏡像源１６５の両方は、音源である。
図１５ｃは、２つのマイクロホンアレイ１７１、１７２が、拡散音を受信し、さらに、音源を定位することができないシナリオを示す。
さらに、この単一波モデルは、音源信号がＷ−ディスジョイント直交性（ＷＤＯ）条件を満たす、すなわち時間周波数重なりが十分に小さいと想定すれば、少し反響する環境のためだけに正確である。これは、例えば、
[12] S. Rickard and Z. Yilmaz, "On the approximate W-disjoint orthogonality of speech," in Acoustics, Speech and Signal Processing, 2002. ICASSP 2002. IEEE International Conference on, April 2002, vol. 1
を参照する、スピーチ信号のために通常、真実である。
しかしながら、そのモデルも、他の環境のために良好な推定を提供し、したがって、それらの環境のためにも適用できる。
以下において、実施形態による位置ｐIPLS（ｋ，ｎ）の推定が説明される。特定の時間周波数ビンにおいてアクティブなＩＰＬＳの位置ｐIPLS（ｋ，ｎ）、ひいては、時間周波数ビンにおいて音事象の推定は、少なくとも２つの異なる観察位置において測定される音の到来方向（ＤＯＡ）に基づいて三角測量を介して推定される。
他の実施形態において、式（６）は、ｄ2（ｋ，ｎ）のために解かれてもよく、さらに、ｐＩPLS（ｋ，ｎ）は、ｄ2（ｋ，ｎ）を用いて同様に計算される。
以下において、実施形態による、情報計算モジュール２０２、例えば仮想マイクロホン信号およびサイド情報計算モジュールが詳細に記載される。
図７は、実施形態による情報計算モジュール２０２の図解的な概要を示す。情報計算ユニットは、伝搬補償器５００、結合器５１０およびスペクトル重み付けユニット５２０を含む。情報計算モジュール２０２は、音事象位置推定器よって推定される音源位置推定ｓｓｐ、１つ以上の真の空間マイクロホンによって記録される１つ以上のオーディオ入力信号ｉｓ、１つ以上の真の空間マイクロホンの位置ｐｏｓＲｅａｌＭｉｃ、および仮想マイクロホンの仮想位置ｐｏｓＶｍｉｃを受信する。それは、仮想マイクロホンのオーディオ信号を表すオーディオ出力信号ｏｓを出力する。
図８は、他の実施形態による情報計算モジュールを示す。図８の情報計算モジュールは、伝搬補償器５００、結合器５１０およびスペクトル重み付けユニット５２０を含む。伝搬補償器５００は、伝搬パラメータ計算モジュール５０１および伝搬補償モジュール５０４を含む。結合器５１０は、結合ファクタ計算モジュール５０２および結合モジュール５０５を含む。スペクトル重み付けユニット５２０は、スペクトル重量計算ユニット５０３、スペクトル重み付けアプリケーションモジュール５０６および空間サイド情報計算モジュール５０７を含む。
仮想マイクロホンのオーディオ信号を計算するために、幾何学的な情報、例えば真の空間マイクロホン１２１・・・１２Ｎの位置および方向と、仮想空間マイクロホン１０４の位置、方向および特性と、音事象２０５の位置推定とは、情報計算モジュール２０２に、特に、伝搬補償器５００の伝搬パラメータ計算モジュール５０１に、結合器５１０の結合ファクタ計算モジュール５０２に、さらに、スペクトル重み付けユニット５２０のスペクトル重量計算ユニット５０３に送られる。伝搬パラメータ計算モジュール５０１、結合ファクタ計算モジュール５０２およびスペクトル重量計算ユニット５０３は、伝搬補償モジュール５０４、結合モジュール５０５およびスペクトル重み付けアプリケーションモジュール５０６においてオーディオ信号１１１・・・１１Ｎの修正に用いられるパラメータを計算する。
情報計算モジュール２０２において、オーディオ信号１１１・・・１１Ｎは、まず、音事象位置および真の空間マイクロホン間の異なる伝搬長によって与えられる影響を補償するために修正されてもよい。そして、その信号は、例えば信号対雑音比（ＳＮＲ）を改善するために結合されてもよい。最後に、生じる信号は、仮想マイクロホンの指向性ピックアップパターンをいかなる距離に依存するゲイン関数とともに考慮に入れるために、スペクトル的に重み付けられてもよい。これらの３つのステップが、以下に詳細に述べられる。
伝搬補償がこれから詳細に説明される。図９の上部において、２つの真の空間マイクロホン（第１のマイクロホンアレイ９１０および第２のマイクロホンアレイ９２０）、時間周波数ビン（ｋ，ｎ）のための定位された音事象９３０の位置、および仮想空間マイクロホン９４０の位置が示される。
図９の下部は、時間軸を表す。音事象が時間ｔ０で放出され、そして、真のおよび仮想の空間マイクロホンに伝搬すると考えられる。到来の時間遅延および振幅は、伝搬長がより遠くになり、振幅がより弱くなり、到来の時間遅延がより長くなるように、距離によって変わる。
２つの真のアレイで信号は、それらの間の相対的な遅延Ｄｔ１２が小さい場合だけ、互換性がある。そうでなければ、２つの信号のうちの１つは、相対的な遅延Ｄｔ１２を補償するために時間的に再編成され、さらに場合により、異なる減衰を補償するために拡大・縮小される必要がある。
仮想マイクロホンでの到来および真のマイクロホンアレイでの（真の空間マイクロホンの１つでの）到来間の遅延を補償することは、音事象の定位から独立して遅延を変え、それを大部分のアプリケーションのために不必要にする。
図８に戻って、伝搬パラメータ計算モジュール５０１は、真の空間マイクロホンごとにさらに音事象ごとに、修正される遅延を計算するように構成される。望ましい場合、それは、異なる振幅減衰を補償するために考慮されるゲインファクタも計算する。
したがって、伝搬補償モジュール５０４は、オーディオ信号を修正するためにこの情報を用いるように構成される。信号が（フィルタ・バンクの時間ウインドウと比較して）少量の時間だけシフトされることがある場合、単純な位相回転で十分である。遅延がより大きい場合、より複雑な実施が必要である。
伝搬補償モジュール５０４の出力は、元の時間周波数領域において表される修正されたオーディオ信号である。
以下において、実施形態による仮想マイクロホンのための伝搬補償の特定の推定は、とりわけ第１の真の空間マイクロホンの位置６１０および第２の真の空間マイクロホンの位置６２０を示す図６を参照して記載される。
現在説明される実施形態において、少なくとも第１の記録されたオーディオ入力信号、例えば真の空間マイクロホン（例えばマイクロホンアレイ）の少なくとも１つの音圧信号、例えば第１の真の空間マイクロホンの音圧信号が、利用できると考えられる。基準マイクロホンとして考慮されたマイクロホンに、基準位置ｐrefとしてその位置に、さらに、基準音圧信号Ｐref（ｋ，ｎ）としてその音圧信号に言及する。しかしながら、伝搬補償は、１つの音圧信号だけに関して行われるだけでなく、複数のまたはすべての真の空間マイクロホンの音圧信号に関しても行われてもよい。
一般に、複素ファクタγ（ｋ，ｐa，ｐb）は、ｐaからｐbにおいてその原点から球面波の伝搬によって導入される位相回転および振幅減衰を表す。しかしながら、実際の試験は、γにおいて振幅減衰だけを考慮することが位相回転も考慮することと比較して著しくより少しのアーチファクトで仮想マイクロホン信号の妥当な印象をもたらすことを示した。
空間の特定の位置において測定することができる音エネルギーは、音源から、図６において音源の位置ｐIPLSから、距離ｒに強く依存する。多くの状況において、この依存は、周知の物理的な原理、例えば点音源の遠距離場において音圧の１／ｒ減衰、を用いて十分な精度でモデル化することができる。音源から基準マイクロホン例えば第１の真のマイクロホンの距離が公知であるとき、さらに、音源から仮想マイクロホンの距離も公知であるとき、仮想マイクロホンの位置での音エネルギーは、基準マイクロホン、例えば第１の真の空間マイクロホンの信号およびエネルギーから推定することができる。これは、適切なゲインを基準音圧信号に適用することによって、仮想マイクロホンの出力信号を得ることができることを意味する。
第１の真の空間マイクロホンの記録されたオーディオ入力信号（例えば音圧信号）に伝搬補償を行うことによって、第１の修正されたオーディオ信号が得られる。
実施形態において、第２の修正されたオーディオ信号は、第２の真の空間マイクロホンの記録された第２のオーディオ入力信号（第２の音圧信号）に伝搬補償を行うことによって得られてもよい。
他の実施形態において、さらなるオーディオ信号は、さらなる真の空間マイクロホンの記録されたさらなるオーディオ入力信号（さらなる音圧信号）に伝搬補償を行うことによって得られてもよい。
これから、実施形態による図８のブロック５０２および５０５において結合することが詳細に説明される。複数の異なる真の空間マイクロホンから２つ以上のオーディオ信号が、２以上の修正されたオーディオ信号を得るために、異なる伝搬経路を補償するために修正されたと考えられる。すると、異なる真の空間マイクロホンからオーディオ信号が、異なる伝搬経路を補償するために修正され、それらは、オーディオ品質を改善するために結合することができる。そうすることによって、例えば、ＳＮＲを増加することができ、または、残響を低減することができる。
結合のための可能な解決策は、
−重み付けられた平均、例えば、ＳＮＲまたは仮想マイクロホンまでの距離または真の空間マイクロホンによって推定された拡散を考慮すること。従来の解決策、例えば、Ｍａｘｉｍｕｍ Ｒａｔｉｏ Ｃｏｍｂｉｎｉｎｇ（ＭＲＣ）またはＥｑｕａｌ Ｇａｉｎ Ｃｏｍｂｉｎｉｎｇ（ＥＱＣ）が用いられてもよく、または、
−結合信号を得るために修正されたオーディオ信号のいくらかまたはすべての１次結合。修正されたオーディオ信号は、結合信号を得るために、１次結合において重み付けられてもよく、または、
−選択、例えば、唯一の信号だけが、ＳＮＲまたは距離または拡散に依存して用いられる。
を含む。
モジュール５０２のタスクは、適用できる場合、モジュール５０５において行われる、結合することのためのパラメータを計算することである。
これから、実施形態によるスペクトル重み付けが詳細に記載される。このため、図８のブロック５０３および５０６を参照する。この最終ステップで、結合からまたは入力オーディオ信号の伝搬補償から生じるオーディオ信号は、入力１０４によって特定されるように仮想空間マイクロホンの空間特性によるおよび／または再生された配列（２０５において与えられる）による、時間周波数領域において重み付けられる。
時間周波数ビンごとに、幾何学的な再生は、図１０に示されるように、仮想マイクロホンと関連するＤＯＡを容易に得ることを可能にする。さらに、仮想マイクロホンおよび音事象の位置間の距離を、容易に計算することもできる。
そして、時間周波数ビンのため重みは、望ましい仮想マイクロホンのタイプを考慮して計算される。
他の可能性は、芸術的な（非物理的な）減衰関数である。特定のアプリケーションにおいて、自由音場伝搬を特徴づけるものよりも大きいファクタを有する仮想マイクロホンからさらに離れて音事象を抑制することが望ましいかもしれない。このために、いくつか実施形態は、仮想マイクロホンおよび音事象間の距離に依存するさらなる重み付け関数を導入する。実施形態において、仮想マイクロホンから特定の距離内において（例えば複数メートルにおいて）音事象だけが捉えられるべきである。
仮想マイクロホン指向性に関して、任意の指向性パターンを、仮想マイクロホンのために適用することができる。そうすることで、例えば、音源を複素音シーンから切り離すことができる。
実施形態において、１つ以上の真の非空間マイクロホン、例えば、無指向性マイクロホンまたは例えばカージオイドなどの指向性マイククロホンは、図８において仮想マイクロホン信号１０５の音質をさらに改善するために、真の空間マイクロホンに加えて音シーンに配置される。これらのマイクロホンは、いかなる幾何学的な情報を集めるために用いられなく、むしろよりきれいなオーディオ信号を提供するためにだけ用いられる。これらのマイクロホンは、空間マイクロホンよりも音源の近くに配置されてもよい。この場合、実施形態によれば、真の非空間マイクロホンのオーディオ信号およびそれらの位置は、真の空間マイクロホンのオーディオ信号の代わりに、処理するための図８の伝搬補償モジュール５０４に簡単に送られる。そして、伝搬補償は、１つ以上の非空間マイクロホンの位置に関して、非空間マイクロホンの１つ以上の記録されたオーディオ信号のために行われる。これによって、実施形態は、さらなる非空間マイクロホンを用いて実現される。
さらなる態様において、仮想マイクロホンの空間サイド情報の計算が実現される。マイクロホンの空間サイド情報１０６を計算するために、図８の情報計算モジュール２０２は、空間サイド情報計算モジュール５０７を含み、それは、入力として音源の位置２０５と仮想マイクロホンの位置、方向および特性１０４とを受信するように構成される。特定の実施形態において、計算される必要があるサイド情報１０６によれば、仮想マイクロホン１０５のオーディオ信号は、空間サイド情報計算モジュール５０７に入力として考慮することもできる。
空間サイド情報計算モジュール５０７の出力は、仮想マイクロホン１０６のサイド情報である。このサイド情報は、例えば、仮想マイクロホンの観点から時間周波数ビン（ｋ，ｎ）ごとにＤＯＡまたは音の拡散であってもよい。他の可能なサイド情報は、例えば、仮想マイクロホンの位置において測定されたアクティブな音のインテンシティベクトルＩａ（ｋ，ｎ）であることができる。これらのパラメータを導出することができる方法がこれから記載される。
実施形態によれば、仮想空間マイクロホンのためのＤＯＡ推定が実現される。情報計算モジュール１２０は、図１１で示されるように仮想マイクロホンの位置ベクトルに基づいてさらに音事象の位置ベクトルに基づいて、空間サイド情報として仮想マイクロホンでの到来方向を推定するように構成される。
他の実施形態において、情報計算モジュール１２０は、図１１で示されるように仮想マイクロホンの位置ベクトルに基づいてさらに音事象の位置ベクトルに基づいて、空間サイド情報として仮想マイクロホンでのアクティブな音のインテンシティを推定するように構成されてもよい。
実施形態によれば、拡散は、音シーンにおいて任意の位置で自由に配置することができるＶｉｒｔｕａｌ Ｍｉｃｒｏｐｈｏｎｅ（ＶＭ）のために生成されるサイド情報にさらなるパラメータとして計算されてもよい。これによって、仮想マイクロホンの仮想位置でのオーディオ信号の他に拡散も計算する装置は、音シーンにおいて任意の位置のために、ＤｉｒＡＣストリーム、すなわちオーディオ信号、到来方向、および拡散を生成することが可能であるように、仮想ＤｉｒＡＣフロントエンドとしてみることができる。ＤｉｒＡＣストリームは、さらに処理され、格納され、送信され、さらに、任意のマルチラウドスピーカ装置において再生されてもよい。この場合、リスナーは、まるで仮想マイクロホンによって特定される位置におり、さらに、その方向によって決定される方向において観察するように、音シーンを経験する。
実施形態の拡散計算ユニット８０１は、詳細に表す図１３において示される。実施形態によれば、Ｎ個の空間マイクロホンのそれぞれでの直接および拡散音のエネルギーが推定される。そして、ＩＰＬＳの位置に関する情報および空間および仮想マイクロホンの位置に関する情報を用いて、仮想マイクロホンの位置でのこれらのエネルギーのＮ個の推定が得られる。最後に、推定は、推定精度を改善するために結合されることができ、さらに、仮想マイクロホンでの拡散パラメータは容易に計算することができる。
上述のように、場合によっては、音事象位置推定器によって行われる音事象位置推定は、例えば、間違った到来方向推定の場合に失敗する。図１４は、そのようなシナリオを示す。これらの場合、異なる空間マイクロホンでさらに入力１１１〜１１Ｎとして受信されるように推定される拡散パラメータに関して、仮想マイクロホン１０３のための拡散は、空間的にコヒーレントな再生が可能でないように、１に（すなわち、完全な拡散に）設定されてもよい。
さらに、Ｎ個の空間マイクロホンでのＤＯＡ推定の信頼性が考慮されてもよい。これは、例えば、ＤＯＡ推定器またはＳＮＲの差異に関して表されてもよい。そのような情報は、ＤＯＡ推定が信頼できないという場合にＶＭ拡散１０３を人工的に増加することができるように、拡散サブ計算器８５０によって考慮されてもよい。結果として、実際に、位置推定２０５も信頼できない。
いくつかの態様が装置との関係で記載されているにもかかわらず、これらの態様は対応する方法の記述も表すことが明らかであり、ブロックまたは装置は、方法ステップまたは方法ステップの特徴に対応する。同様に、方法ステップとの関係で記載される態様は、対応するブロックまたはアイテムまたは対応する装置の特徴の記述も表す。
本発明の分解された信号は、デジタル記憶媒体に格納することができ、または、例えば無線伝送媒体若しくは例えばインターネットなどの有線伝送媒体などの伝送媒体に送信することができる。
特定の実施要件に応じて、本発明の実施形態は、ハードウェアにおいてまたはソフトウェアにおいて実施することができる。実施は、それぞれの方法が実行されるように、プログラム可能なコンピュータシステムと協働する（または協働することができる）電子的に可読の制御信号が格納される、デジタル記憶媒体、例えばフロッピー（登録商標）ディスク、ＤＶＤ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはフラッシュメモリを用いて実行することができる。
本発明によるいくつかの実施形態は、ここに記載される方法のうちの１つが実行されるように、プログラム可能なコンピュータシステムと協働することができる電子的に可読の制御信号を有する一時的でないデータキャリアを含む。
一般的に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実施することができ、そのプログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときに、それらの方法のうちの１つを実行するために働く。プログラムコードは、例えば、機械可読のキャリアに格納されてもよい。
他の実施形態は、機械可読のキャリアに格納される、ここに記載される方法のうちの１つを実行するためのコンピュータプログラムを含む。
したがって、換言すれば、本発明の方法の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに、ここに記載される方法のうちの１つを実行するためのプログラムコードを有するコンピュータプログラムである。
したがって、本発明の方法のさらなる実施形態は、ここに記載される方法のうちの１つを実行するためのコンピュータプログラムが記録されるデータキャリア（またはデジタル記憶媒体またはコンピュータ可読の媒体）である。
したがって、本発明の方法のさらなる実施形態は、ここに記載される方法のうちの１つを実行するためのコンピュータプログラムを表すデータストリームまたは一連の信号である。データストリームまたは一連の信号は、例えば、データ通信接続を介して、例えばインターネットを介して、転送されるように構成されてもよい。
さらなる実施形態は、ここに記載される方法のうちの１つを実行するように構成されまたは適している処理手段、例えばコンピュータまたはプログラム可能な論理デバイスを含む。
さらなる実施形態は、ここに記載される方法のうちの１つを実行するためのコンピュータプログラムがインストールされているコンピュータを含む。
いくつかの実施形態において、プログラム可能な論理デバイス（例えばフィールドプログラム可能なゲートアレイ）は、ここに記載される方法の機能のいくらかまたはすべてを実行するために用いられてもよい。いくつかの実施形態において、フィールドプログラム可能なゲートアレイは、ここに記載される方法のうちの１つを実行するために、マイクロプロセッサと協働することができる。一般的に、その方法は、好ましくは、いかなるハードウェア装置によっても実行される。
上述の実施形態は、本発明の原理のために単に例示するだけである。ここに記載される構成および詳細の修正および変更が他の当業者にとって明らかであるものと理解される。したがって、本発明は、特許請求の範囲によってだけ制限され、ここに実施形態の記述および説明として示される具体的な詳細によって制限されないと意図される。

Claims (18)

  1. 環境において設定可能な仮想位置で仮想マイクロホンによってオーディオ出力信号の記録をシミュレートするためにオーディオ出力信号を生成するための装置であって、
    前記環境において音事象の位置を示す音事象位置を推定するための音事象位置推定器（１１０）であって、前記音事象は、特定の時間瞬間でまたは特定の時間周波数ビンにおいてアクティブであり、前記音事象は、真の音源または鏡像源であり、前記音事象位置推定器（１１０）は、前記音事象が鏡像源であるときに前記環境において鏡像源の位置を示す前記音事象位置を推定するように構成され、さらに、前記音事象位置推定器（１１０）は、前記環境において第１の真のマイクロホン位置に設置される第１の真の空間マイクロホンによって提供される第１の方向情報に基づいて、さらに、前記環境において第２の真のマイクロホン位置に設置される第２の真の空間マイクロホンによって提供される第２の方向情報に基づいて、前記音事象位置を推定するように構成され、前記第１の真の空間マイクロホンおよび前記第２の真の空間マイクロホンは、物理的に存在する空間マイクロホンであり、さらに、前記第１の真の空間マイクロホンおよび前記第２の真の空間マイクロホンは、音の到来方向を検索することができる空間音の取得のための装置である、音事象位置推定器、および
    第１の記録されたオーディオ入力信号に基づいて、前記第１の真のマイクロホン位置に基づいて、前記仮想マイクロホンの前記仮想位置に基づいて、さらに、前記音事象位置に基づいて、前記オーディオ出力信号を生成するための情報計算モジュール（１２０）を含み、
    前記第１の真の空間マイクロホンは、前記第１の記録されたオーディオ入力信号を記録するように構成され、または、第３のマイクロホンが、前記第１の記録されたオーディオ入力信号を記録するように構成され、
    前記音事象位置推定器（１１０）は、前記第１の方向情報として前記第１の真のマイクロホン位置での前記音事象から放出される前記音波の第１の到来方向に基づいてさらに前記第２の方向情報として前記第２の真のマイクロホン位置での前記音波の第２の到来方向に基づいて前記音事象位置を推定するように構成され、さらに
    前記情報計算モジュール（１２０）は、伝搬補償器（５００）を含み、
    前記伝搬補償器（５００）は、前記オーディオ出力信号を得るために、前記第１の記録されたオーディオ入力信号の振幅値、強度値または位相値を調整することによって、前記音事象および前記第１の真の空間マイクロホン間の第１の振幅減衰に基づいてさらに前記音事象および前記仮想マイクロホン間の第２の振幅減衰に基づいて、前記第１の記録されたオーディオ入力信号を修正することによって第１の修正されたオーディオ信号を生成するように構成され、または、前記伝搬補償器（５００）は、前記オーディオ出力信号を得るために、前記第１の記録されたオーディオ入力信号の振幅値、強度値または位相値を調整することによって、前記第１の真の空間マイクロホンでの前記音事象から放出される音波の到来および前記仮想マイクロホンでの前記音波の到来間の第１の時間遅延を補償することによって第１の修正されたオーディオ信号を生成するように構成される、装置。
  2. 前記情報計算モジュール（１２０）は、空間サイド情報を計算するための空間サイド情報計算モジュール（５０７）を含み、
    前記情報計算モジュール（１２０）は、前記仮想マイクロホンの位置ベクトルに基づいてさらに前記音事象の位置ベクトルに基づいて、空間サイド情報として前記仮想マイクロホンでの前記到来方向またはアクティブな音のインテンシティを推定するように構成される、
    請求項１に記載の装置。
  3. 前記伝搬補償器（５００）は、前記オーディオ出力信号を得るために、前記第１の記録されたオーディオ入力信号の前記振幅値、前記強度値または前記位相値を調整することによって、前記音事象および前記第１の真の空間マイクロホン間の前記第１の振幅減衰に基づいてさらに前記音事象および前記仮想マイクロホン間の前記第２の振幅減衰に基づいて、前記第１の記録されたオーディオ入力信号を修正することによって前記第１の修正されたオーディオ信号を生成するように構成され、
    前記伝搬補償器（５００）は、時間周波数領域において表される前記第１の記録されたオーディオ入力信号の前記強度値を調整することによって、前記音事象および前記第１の真の空間マイクロホン間の前記第１の振幅減衰に基づいてさらに前記音事象および前記仮想マイクロホン間の前記第２の振幅減衰に基づいて、時間周波数領域において前記第１の修正されたオーディオ信号を生成するように構成される、
    請求項１に記載の装置。
  4. 前記伝搬補償器（５００）は、前記オーディオ出力信号を得るために、前記第１の記録されたオーディオ入力信号の前記振幅値、前記強度値または前記位相値を調整することによって、前記第１の真の空間マイクロホンでの前記音事象から放出される音波の前記到来および前記仮想マイクロホンでの前記音波の前記到来間の前記第１の時間遅延を補償することによって前記第１の修正されたオーディオ信号を生成するように構成され、
    前記伝搬補償器（５００）は、時間周波数領域において表される前記第１の記録されたオーディオ入力信号の前記強度値を調整することによって、前記第１の真の空間マイクロホンでの前記音事象から放出される前記音波の前記到来および前記仮想マイクロホンでの前記音波の前記到来間の前記第１の時間遅延を補償することによって、前記時間周波数領域において前記第１の修正されたオーディオ信号を生成するように構成される、
    請求項１に記載の装置。
  6. 前記情報計算モジュール（１２０）は、結合器（５１０）をさらに含み、
    前記伝搬補償器（５００）は、第２の修正されたオーディオ信号を得るために前記第２の記録されたオーディオ入力信号の振幅値、強度値または位相値を調整することによって、前記第２の真の空間マイクロホンでの前記音事象から放出される前記音波の到来および前記仮想マイクロホンでの前記音波の到来間の第２の時間遅延または第２の振幅減衰を補償することによって、前記第２の真の空間マイクロホンによって記録される、第２の記録されたオーディオ入力信号を修正するようにさらに構成され、さらに
    前記結合器（５１０）は、前記オーディオ出力信号を得るために、前記第１の修正されたオーディオ信号および前記第２の修正されたオーディオ信号を結合することによって結合信号を生成するように構成される、
    請求項１ないし請求項５のうちの１つに記載の装置。
  7. 前記伝搬補償器（５００）は、前記仮想マイクロホンでの前記音波の到来およびさらなる真の空間マイクロホンのそれぞれでの前記音事象から放出される前記音波の到来間の時間遅延または振幅減衰を補償することによって、１つ以上のさらなる真の空間マイクロホンによって記録される、１つ以上のさらなる記録されたオーディオ入力信号を修正するようにさらに構成され、前記伝搬補償器（５００）は、複数の第３の修正されたオーディオ信号を得るために、前記さらなる記録されたオーディオ入力信号のそれぞれの振幅値、強度値または位相値を調整することによって、前記時間遅延または振幅減衰のそれぞれを補償するように構成され、さらに
    前記結合器（５１０）は、前記オーディオ出力信号を得るために、前記第１の修正されたオーディオ信号および前記第２の修正されたオーディオ信号および前記複数の第３の修正されたオーディオ信号を結合することによって結合信号を生成するように構成される、
    請求項６に記載の装置。
  8. 前記情報計算モジュール（１２０）は、前記オーディオ出力信号を得るために、前記仮想マイクロホンの前記仮想位置での前記音波の到来方向に応じてさらに前記仮想マイクロホンの前記方向を記載する単位ベクトルに応じて、前記第１の修正されたオーディオ信号を修正することによって重み付けられたオーディオ信号を生成するためのスペクトル重み付けユニット（５２０）を含み、前記第１の修正されたオーディオ信号は、時間周波数領域において修正される、請求項１ないし請求項５のうちの１つに記載の装置。
  9. 前記情報計算モジュール（１２０）は、前記オーディオ出力信号を得るために、前記仮想マイクロホンの前記仮想位置での到来方向または前記音波に応じてさらに前記仮想マイクロホンの前記方向を記載する単位ベクトルに応じて前記結合信号を修正することによって重み付けられたオーディオ信号を生成するためのスペクトル重み付けユニット（５２０）を含み、前記結合信号は、時間周波数領域において修正される、請求項６または請求項７に記載の装置。
  11. 前記伝搬補償器（５００）は、前記オーディオ出力信号を得るために、前記第３の記録されたオーディオ入力信号の振幅値、強度値または位相値を調整することによって、第４のマイクロホンでの前記音事象から放出される前記音波の到来および前記仮想マイクロホンでの前記音波の到来間の第３の時間遅延または第３の振幅減衰を補償することによって第４のマイクロホンによって記録される第３の記録されたオーディオ入力信号を修正することによって第３の修正されたオーディオ信号を生成するようにさらに構成される、請求項１ないし請求項６のうちの１つに記載の装置。
  12. 前記音事象位置推定器（１１０）は、３次元環境において音事象位置を推定するように構成される、請求項１ないし請求項１１のうちの１つに記載の装置。
  13. 前記情報計算モジュール（１２０）は、前記仮想マイクロホンでの拡散音エネルギーまたは前記仮想マイクロホンでの直接音エネルギーを推定するように構成される拡散計算ユニット（８０１）をさらに含み、前記拡散計算ユニット（８０１）は、前記第１および前記第２の真の空間マイクロホンでの拡散音エネルギーに基づいて前記仮想マイクロホンでの前記拡散音エネルギーを推定するように構成される、請求項１ないし請求項１２のうちの１つに記載の装置。
  17. 環境において設定可能な仮想位置で仮想マイクロホンによってオーディオ出力信号の記録をシミュレートするためにオーディオ出力信号を生成するための方法であって、
    前記環境において音事象の位置を示す音事象位置を推定するステップであって、前記音事象は、特定の時間瞬間でまたは特定の時間周波数ビンにおいてアクティブであり、前記音事象は、真の音源または鏡像源であり、前記音事象位置を推定する前記ステップは、前記音事象が鏡像源であるときに前記環境において鏡像源の位置を示す前記音事象位置を推定するステップを含み、さらに、前記音事象位置を推定する前記ステップは、前記環境において第１の真のマイクロホン位置に設置される第１の真の空間マイクロホンによって提供される第１の方向情報に基づき、さらに、前記環境において第２の真のマイクロホン位置に設置される第２の真の空間マイクロホンによって提供される第２の方向情報に基づき、前記第１の真の空間マイクロホンおよび前記第２の真の空間マイクロホンは、物理的に存在する空間マイクロホンであり、さらに、前記第１の真の空間マイクロホンおよび前記第２の真の空間マイクロホンは、音の到来方向を検索することができる空間音の取得のための装置である、前記環境において音事象の位置を示す音事象位置を推定するステップ、および
    第１の記録されたオーディオ入力信号に基づいて、前記第１の真のマイクロホン位置に基づいて、前記仮想マイクロホンの前記仮想位置に基づいて、さらに、前記音事象位置に基づいて、前記オーディオ出力信号を生成するステップを含み、
    前記第１の真の空間マイクロホンは、第１の記録されたオーディオ入力信号を記録するように構成され、または、第３のマイクロホンが、前記第１の記録されたオーディオ入力信号を記録するように構成され、
    前記音事象位置を推定するステップは、前記第１の方向情報として前記第１の真のマイクロホン位置での前記音事象から放出される前記音波の第１の到来方向に基づいてさらに前記第２の方向情報として前記第２の真のマイクロホン位置での前記音波の第２の到来方向に基づいて行われ、
    前記オーディオ出力信号を生成する前記ステップは、前記オーディオ出力信号を得るために、前記第１の記録されたオーディオ入力信号の振幅値、強度値または位相値を調整することによって、前記音事象および前記第１の真の空間マイクロホン間の第１の振幅減衰に基づいてさらに前記音事象および前記仮想マイクロホン間の第２の振幅減衰に基づいて、前記第１の記録されたオーディオ入力信号を修正することによって第１の修正されたオーディオ信号を生成するステップを含み、または、前記オーディオ出力信号を生成する前記ステップは、前記オーディオ出力信号を得るために、前記第１の記録されたオーディオ入力信号の振幅値、強度値または位相値を調整することによって、前記第１の真の空間マイクロホンでの前記音事象から放出される音波の到来および前記仮想マイクロホンでの前記音波の到来間の第１の時間遅延を補償することによって第１の修正されたオーディオ信号を生成するステップを含む、方法。
  18. コンピュータまたは信号プロセッサ上で実行されるときに、請求項１７の方法を実施するためのコンピュータプログラム。
JP2013541374A 2010-12-03 2011-12-02 到来方向推定から幾何学的な情報の抽出による音取得 Active JP5728094B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US41962310P 2010-12-03 2010-12-03
US61/419,623 2010-12-03
US42009910P 2010-12-06 2010-12-06
US61/420,099 2010-12-06
PCT/EP2011/071629 WO2012072798A1 (en) 2010-12-03 2011-12-02 Sound acquisition via the extraction of geometrical information from direction of arrival estimates

Publications (2)

Publication Number Publication Date
JP2014502109A JP2014502109A (ja) 2014-01-23
JP5728094B2 true JP5728094B2 (ja) 2015-06-03

Family

ID=45406686

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2013541374A Active JP5728094B2 (ja) 2010-12-03 2011-12-02 到来方向推定から幾何学的な情報の抽出による音取得
JP2013541377A Active JP5878549B2 (ja) 2010-12-03 2011-12-02 幾何ベースの空間オーディオ符号化のための装置および方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2013541377A Active JP5878549B2 (ja) 2010-12-03 2011-12-02 幾何ベースの空間オーディオ符号化のための装置および方法

Country Status (16)

Country Link
US (2) US9396731B2 (ja)
EP (2) EP2647222B1 (ja)
JP (2) JP5728094B2 (ja)
KR (2) KR101442446B1 (ja)
CN (2) CN103460285B (ja)
AR (2) AR084091A1 (ja)
AU (2) AU2011334851B2 (ja)
BR (1) BR112013013681B1 (ja)
CA (2) CA2819502C (ja)
ES (2) ES2525839T3 (ja)
HK (1) HK1190490A1 (ja)
MX (2) MX338525B (ja)
PL (1) PL2647222T3 (ja)
RU (2) RU2556390C2 (ja)
TW (2) TWI489450B (ja)
WO (2) WO2012072804A1 (ja)

Families Citing this family (106)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9558755B1 (en) 2010-05-20 2017-01-31 Knowles Electronics, Llc Noise suppression assisted automatic speech recognition
EP2600637A1 (en) * 2011-12-02 2013-06-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for microphone positioning based on a spatial power density
US10154361B2 (en) 2011-12-22 2018-12-11 Nokia Technologies Oy Spatial audio processing apparatus
CN104054126B (zh) * 2012-01-19 2017-03-29 皇家飞利浦有限公司 空间音频渲染和编码
BR112015004625B1 (pt) 2012-09-03 2021-12-07 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Aparelho e método para fornecer uma estimativa de probabilidade de presença de voz multicanal informada.
WO2014046916A1 (en) * 2012-09-21 2014-03-27 Dolby Laboratories Licensing Corporation Layered approach to spatial audio coding
US10136239B1 (en) 2012-09-26 2018-11-20 Foundation For Research And Technology—Hellas (F.O.R.T.H.) Capturing and reproducing spatial sound apparatuses, methods, and systems
US10175335B1 (en) 2012-09-26 2019-01-08 Foundation For Research And Technology-Hellas (Forth) Direction of arrival (DOA) estimation apparatuses, methods, and systems
US9554203B1 (en) 2012-09-26 2017-01-24 Foundation for Research and Technolgy—Hellas (FORTH) Institute of Computer Science (ICS) Sound source characterization apparatuses, methods and systems
US9955277B1 (en) 2012-09-26 2018-04-24 Foundation For Research And Technology-Hellas (F.O.R.T.H.) Institute Of Computer Science (I.C.S.) Spatial sound characterization apparatuses, methods and systems
US9549253B2 (en) * 2012-09-26 2017-01-17 Foundation for Research and Technology—Hellas (FORTH) Institute of Computer Science (ICS) Sound source localization and isolation apparatuses, methods and systems
US20160210957A1 (en) * 2015-01-16 2016-07-21 Foundation For Research And Technology - Hellas (Forth) Foreground Signal Suppression Apparatuses, Methods, and Systems
US10149048B1 (en) 2012-09-26 2018-12-04 Foundation for Research and Technology—Hellas (F.O.R.T.H.) Institute of Computer Science (I.C.S.) Direction of arrival estimation and sound source enhancement in the presence of a reflective surface apparatuses, methods, and systems
US9640194B1 (en) 2012-10-04 2017-05-02 Knowles Electronics, Llc Noise suppression for speech processing based on machine-learning mask estimation
FR2998438A1 (fr) * 2012-11-16 2014-05-23 France Telecom Acquisition de donnees sonores spatialisees
EP2747451A1 (en) 2012-12-21 2014-06-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Filter and method for informed spatial filtering using multiple instantaneous direction-of-arrivial estimates
CN104010265A (zh) 2013-02-22 2014-08-27 杜比实验室特许公司 音频空间渲染设备及方法
CN104019885A (zh) * 2013-02-28 2014-09-03 杜比实验室特许公司 声场分析***
US9979829B2 (en) 2013-03-15 2018-05-22 Dolby Laboratories Licensing Corporation Normalization of soundfield orientations based on auditory scene analysis
WO2014171791A1 (ko) 2013-04-19 2014-10-23 한국전자통신연구원 다채널 오디오 신호 처리 장치 및 방법
CN108810793B (zh) 2013-04-19 2020-12-15 韩国电子通信研究院 多信道音频信号处理装置及方法
US9769586B2 (en) 2013-05-29 2017-09-19 Qualcomm Incorporated Performing order reduction with respect to higher order ambisonic coefficients
CN104244164A (zh) 2013-06-18 2014-12-24 杜比实验室特许公司 生成环绕立体声声场
CN104240711B (zh) * 2013-06-18 2019-10-11 杜比实验室特许公司 用于生成自适应音频内容的方法、***和装置
EP2830047A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for low delay object metadata coding
EP2830045A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Concept for audio encoding and decoding for audio channels and audio objects
EP2830052A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder, audio encoder, method for providing at least four audio channel signals on the basis of an encoded representation, method for providing an encoded representation on the basis of at least four audio channel signals and computer program using a bandwidth extension
EP2830050A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for enhanced spatial audio object coding
US9319819B2 (en) * 2013-07-25 2016-04-19 Etri Binaural rendering method and apparatus for decoding multi channel audio
EP3028476B1 (en) 2013-07-30 2019-03-13 Dolby International AB Panning of audio objects to arbitrary speaker layouts
CN104637495B (zh) * 2013-11-08 2019-03-26 宏达国际电子股份有限公司 电子装置以及音频信号处理方法
CN103618986B (zh) * 2013-11-19 2015-09-30 深圳市新一代信息技术研究院有限公司 一种3d空间中音源声像体的提取方法及装置
CN112351367B (zh) 2013-11-22 2022-11-29 苹果公司 用于调节由扬声器阵列发出的声音的方法、***和设备
ES2833424T3 (es) 2014-05-13 2021-06-15 Fraunhofer Ges Forschung Aparato y método para panoramización de amplitud de atenuación de bordes
US9620137B2 (en) * 2014-05-16 2017-04-11 Qualcomm Incorporated Determining between scalar and vector quantization in higher order ambisonic coefficients
US10770087B2 (en) 2014-05-16 2020-09-08 Qualcomm Incorporated Selecting codebooks for coding vectors decomposed from higher-order ambisonic audio signals
DE112015003945T5 (de) * 2014-08-28 2017-05-11 Knowles Electronics, Llc Mehrquellen-Rauschunterdrückung
CN110636415B (zh) 2014-08-29 2021-07-23 杜比实验室特许公司 用于处理音频的方法、***和存储介质
CN104168534A (zh) * 2014-09-01 2014-11-26 北京塞宾科技有限公司 一种全息音频装置及控制方法
US9774974B2 (en) * 2014-09-24 2017-09-26 Electronics And Telecommunications Research Institute Audio metadata providing apparatus and method, and multichannel audio data playback apparatus and method to support dynamic format conversion
CN104378570A (zh) * 2014-09-28 2015-02-25 小米科技有限责任公司 录音方法及装置
EP3206415B1 (en) * 2014-10-10 2019-09-04 Sony Corporation Sound processing device, method, and program
US9794721B2 (en) 2015-01-30 2017-10-17 Dts, Inc. System and method for capturing, encoding, distributing, and decoding immersive audio
TWI579835B (zh) * 2015-03-19 2017-04-21 絡達科技股份有限公司 音效增益方法
EP3079074A1 (fr) * 2015-04-10 2016-10-12 B<>Com Procédé de traitement de données pour l'estimation de paramètres de mixage de signaux audio, procédé de mixage, dispositifs, et programmes d'ordinateurs associés
US9609436B2 (en) 2015-05-22 2017-03-28 Microsoft Technology Licensing, Llc Systems and methods for audio creation and delivery
US9530426B1 (en) 2015-06-24 2016-12-27 Microsoft Technology Licensing, Llc Filtering sounds for conferencing applications
US9601131B2 (en) * 2015-06-25 2017-03-21 Htc Corporation Sound processing device and method
WO2017004584A1 (en) 2015-07-02 2017-01-05 Dolby Laboratories Licensing Corporation Determining azimuth and elevation angles from stereo recordings
HK1255002A1 (zh) 2015-07-02 2019-08-02 杜比實驗室特許公司 根據立體聲記錄確定方位角和俯仰角
GB2543275A (en) * 2015-10-12 2017-04-19 Nokia Technologies Oy Distributed audio capture and mixing
TWI577194B (zh) * 2015-10-22 2017-04-01 山衛科技股份有限公司 環境音源辨識系統及其環境音源辨識之方法
US10425726B2 (en) * 2015-10-26 2019-09-24 Sony Corporation Signal processing device, signal processing method, and program
US10206040B2 (en) * 2015-10-30 2019-02-12 Essential Products, Inc. Microphone array for generating virtual sound field
EP3174316B1 (en) * 2015-11-27 2020-02-26 Nokia Technologies Oy Intelligent audio rendering
US9894434B2 (en) * 2015-12-04 2018-02-13 Sennheiser Electronic Gmbh & Co. Kg Conference system with a microphone array system and a method of speech acquisition in a conference system
US11064291B2 (en) 2015-12-04 2021-07-13 Sennheiser Electronic Gmbh & Co. Kg Microphone array system
EP3338462B1 (en) 2016-03-15 2019-08-28 Fraunhofer Gesellschaft zur Förderung der Angewand Apparatus, method or computer program for generating a sound field description
US9956910B2 (en) * 2016-07-18 2018-05-01 Toyota Motor Engineering & Manufacturing North America, Inc. Audible notification systems and methods for autonomous vehicles
GB2554446A (en) * 2016-09-28 2018-04-04 Nokia Technologies Oy Spatial audio signal format generation from a microphone array using adaptive capture
US9986357B2 (en) 2016-09-28 2018-05-29 Nokia Technologies Oy Fitting background ambiance to sound objects
US10820097B2 (en) 2016-09-29 2020-10-27 Dolby Laboratories Licensing Corporation Method, systems and apparatus for determining audio representation(s) of one or more audio sources
US9980078B2 (en) 2016-10-14 2018-05-22 Nokia Technologies Oy Audio object modification in free-viewpoint rendering
US10531220B2 (en) 2016-12-05 2020-01-07 Magic Leap, Inc. Distributed audio capturing techniques for virtual reality (VR), augmented reality (AR), and mixed reality (MR) systems
CN106708041B (zh) * 2016-12-12 2020-12-29 西安Tcl软件开发有限公司 智能音箱、智能音箱定向移动方法及装置
US11096004B2 (en) 2017-01-23 2021-08-17 Nokia Technologies Oy Spatial audio rendering point extension
US10366700B2 (en) 2017-02-08 2019-07-30 Logitech Europe, S.A. Device for acquiring and processing audible input
US10229667B2 (en) 2017-02-08 2019-03-12 Logitech Europe S.A. Multi-directional beamforming device for acquiring and processing audible input
US10366702B2 (en) 2017-02-08 2019-07-30 Logitech Europe, S.A. Direction detection device for acquiring and processing audible input
US10362393B2 (en) 2017-02-08 2019-07-23 Logitech Europe, S.A. Direction detection device for acquiring and processing audible input
US10531219B2 (en) 2017-03-20 2020-01-07 Nokia Technologies Oy Smooth rendering of overlapping audio-object interactions
US10397724B2 (en) 2017-03-27 2019-08-27 Samsung Electronics Co., Ltd. Modifying an apparent elevation of a sound source utilizing second-order filter sections
US11074036B2 (en) 2017-05-05 2021-07-27 Nokia Technologies Oy Metadata-free audio-object interactions
US10165386B2 (en) * 2017-05-16 2018-12-25 Nokia Technologies Oy VR audio superzoom
IT201700055080A1 (it) * 2017-05-22 2018-11-22 Teko Telecom S R L Sistema di comunicazione wireless e relativo metodo per il trattamento di dati fronthaul di uplink
US10602296B2 (en) 2017-06-09 2020-03-24 Nokia Technologies Oy Audio object adjustment for phase compensation in 6 degrees of freedom audio
US10334360B2 (en) * 2017-06-12 2019-06-25 Revolabs, Inc Method for accurately calculating the direction of arrival of sound at a microphone array
GB2563606A (en) 2017-06-20 2018-12-26 Nokia Technologies Oy Spatial audio processing
GB201710085D0 (en) 2017-06-23 2017-08-09 Nokia Technologies Oy Determination of targeted spatial audio parameters and associated spatial audio playback
GB201710093D0 (en) * 2017-06-23 2017-08-09 Nokia Technologies Oy Audio distance estimation for spatial audio processing
KR102654507B1 (ko) 2017-07-14 2024-04-05 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 다중-지점 음장 묘사를 이용하여 증강된 음장 묘사 또는 수정된 음장 묘사를 생성하기 위한 개념
KR102652670B1 (ko) 2017-07-14 2024-04-01 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 다중-층 묘사를 이용하여 증강된 음장 묘사 또는 수정된 음장 묘사를 생성하기 위한 개념
CN111108555B (zh) 2017-07-14 2023-12-15 弗劳恩霍夫应用研究促进协会 使用深度扩展DirAC技术或其他技术生成经增强的声场描述或经修改的声场描述的装置和方法
US10264354B1 (en) * 2017-09-25 2019-04-16 Cirrus Logic, Inc. Spatial cues from broadside detection
US11395087B2 (en) 2017-09-29 2022-07-19 Nokia Technologies Oy Level-based audio-object interactions
CN111201784B (zh) 2017-10-17 2021-09-07 惠普发展公司，有限责任合伙企业 通信***、用于通信的方法和视频会议***
US10542368B2 (en) 2018-03-27 2020-01-21 Nokia Technologies Oy Audio content modification for playback audio
TWI690921B (zh) * 2018-08-24 2020-04-11 緯創資通股份有限公司 收音處理裝置及其收音處理方法
US11017790B2 (en) * 2018-11-30 2021-05-25 International Business Machines Corporation Avoiding speech collisions among participants during teleconferences
TWI751457B (zh) 2018-12-07 2022-01-01 弗勞恩霍夫爾協會 使用直流分量補償用於編碼、解碼、場景處理及基於空間音訊編碼與DirAC有關的其他程序的裝置、方法及電腦程式
CN113841197B (zh) * 2019-03-14 2022-12-27 博姆云360公司 具有优先级的空间感知多频带压缩***
EP4005233A1 (en) 2019-07-30 2022-06-01 Dolby Laboratories Licensing Corporation Adaptable spatial audio playback
US11968268B2 (en) 2019-07-30 2024-04-23 Dolby Laboratories Licensing Corporation Coordination of audio devices
KR102154553B1 (ko) * 2019-09-18 2020-09-10 한국표준과학연구원 지향성이 향상된 마이크로폰 어레이 및 이를 이용한 음장 취득 방법
EP3963902A4 (en) 2019-09-24 2022-07-13 Samsung Electronics Co., Ltd. METHODS AND SYSTEMS FOR MIXED AUDIO SIGNAL RECORDING AND DIRECTIONAL AUDIO CONTENT REPRODUCTION
TW202123220A (zh) 2019-10-30 2021-06-16 美商杜拜研究特許公司 使用方向性元資料之多通道音頻編碼及解碼
GB2590504A (en) * 2019-12-20 2021-06-30 Nokia Technologies Oy Rotating camera and microphone configurations
CN113284504A (zh) * 2020-02-20 2021-08-20 北京三星通信技术研究有限公司 姿态检测方法、装置、电子设备及计算机可读存储介质
US11277689B2 (en) 2020-02-24 2022-03-15 Logitech Europe S.A. Apparatus and method for optimizing sound quality of a generated audible signal
US11425523B2 (en) * 2020-04-10 2022-08-23 Facebook Technologies, Llc Systems and methods for audio adjustment
CN111951833A (zh) * 2020-08-04 2020-11-17 科大讯飞股份有限公司 语音测试方法、装置、电子设备和存储介质
CN112083379B (zh) * 2020-09-09 2023-10-20 极米科技股份有限公司 基于声源定位的音频播放方法、装置、投影设备及介质
JPWO2022162878A1 (ja) * 2021-01-29 2022-08-04
CN116918350A (zh) * 2021-04-25 2023-10-20 深圳市韶音科技有限公司 声学装置
US20230036986A1 (en) * 2021-07-27 2023-02-02 Qualcomm Incorporated Processing of audio signals from multiple microphones
DE202022105574U1 (de) 2022-10-01 2022-10-20 Veerendra Dakulagi Ein System zur Klassifizierung mehrerer Signale für die Schätzung der Ankunftsrichtung

Family Cites Families (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01109996A (ja) * 1987-10-23 1989-04-26 Sony Corp マイクロホン装置
JPH04181898A (ja) * 1990-11-15 1992-06-29 Ricoh Co Ltd マイクロホン
JPH1063470A (ja) * 1996-06-12 1998-03-06 Nintendo Co Ltd 画像表示に連動する音響発生装置
US6577738B2 (en) * 1996-07-17 2003-06-10 American Technology Corporation Parametric virtual speaker and surround-sound system
US6072878A (en) 1997-09-24 2000-06-06 Sonic Solutions Multi-channel surround sound mastering and reproduction techniques that preserve spatial harmonics
JP3344647B2 (ja) * 1998-02-18 2002-11-11 富士通株式会社 マイクロホンアレイ装置
JP3863323B2 (ja) 1999-08-03 2006-12-27 富士通株式会社 マイクロホンアレイ装置
EP1275272B1 (en) * 2000-04-19 2012-11-21 SNK Tech Investment L.L.C. Multi-channel surround sound mastering and reproduction techniques that preserve spatial harmonics in three dimensions
KR100387238B1 (ko) * 2000-04-21 2003-06-12 삼성전자주식회사 오디오 변조 기능을 갖는 오디오 재생 장치 및 방법, 그장치를 적용한 리믹싱 장치 및 방법
GB2364121B (en) 2000-06-30 2004-11-24 Mitel Corp Method and apparatus for locating a talker
JP4304845B2 (ja) * 2000-08-03 2009-07-29 ソニー株式会社 音声信号処理方法及び音声信号処理装置
KR100626661B1 (ko) * 2002-10-15 2006-09-22 한국전자통신연구원 공간성이 확장된 음원을 갖는 3차원 음향 장면 처리 방법
AU2003269551A1 (en) * 2002-10-15 2004-05-04 Electronics And Telecommunications Research Institute Method for generating and consuming 3d audio scene with extended spatiality of sound source
KR101014404B1 (ko) * 2002-11-15 2011-02-15 소니 주식회사 오디오신호의 처리방법 및 처리장치
JP2004193877A (ja) * 2002-12-10 2004-07-08 Sony Corp 音像定位信号処理装置および音像定位信号処理方法
KR20040060718A (ko) 2002-12-28 2004-07-06 삼성전자주식회사 오디오 스트림 믹싱 방법, 그 장치 및 그 정보저장매체
EP1576602A4 (en) 2002-12-28 2008-05-28 Samsung Electronics Co Ltd METHOD AND DEVICE FOR MIXING AUDIO SEQUENCE AND INFORMATION RECORDING MEDIUM
JP3639280B2 (ja) * 2003-02-12 2005-04-20 任天堂株式会社 ゲームメッセージ表示方法およびゲームプログラム
FI118247B (fi) 2003-02-26 2007-08-31 Fraunhofer Ges Forschung Menetelmä luonnollisen tai modifioidun tilavaikutelman aikaansaamiseksi monikanavakuuntelussa
JP4133559B2 (ja) 2003-05-02 2008-08-13 株式会社コナミデジタルエンタテインメント 音声再生プログラム、音声再生方法及び音声再生装置
US20060104451A1 (en) * 2003-08-07 2006-05-18 Tymphany Corporation Audio reproduction system
RU2396608C2 (ru) * 2004-04-05 2010-08-10 Конинклейке Филипс Электроникс Н.В. Способ, устройство, кодирующее устройство, декодирующее устройство и аудиосистема
GB2414369B (en) * 2004-05-21 2007-08-01 Hewlett Packard Development Co Processing audio data
KR100586893B1 (ko) 2004-06-28 2006-06-08 삼성전자주식회사 시변 잡음 환경에서의 화자 위치 추정 시스템 및 방법
WO2006006935A1 (en) 2004-07-08 2006-01-19 Agency For Science, Technology And Research Capturing sound from a target region
US7617501B2 (en) 2004-07-09 2009-11-10 Quest Software, Inc. Apparatus, system, and method for managing policies on a computer having a foreign operating system
US7903824B2 (en) * 2005-01-10 2011-03-08 Agere Systems Inc. Compact side information for parametric coding of spatial audio
DE102005010057A1 (de) 2005-03-04 2006-09-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines codierten Stereo-Signals eines Audiostücks oder Audiodatenstroms
WO2006105105A2 (en) 2005-03-28 2006-10-05 Sound Id Personal sound system
JP4273343B2 (ja) * 2005-04-18 2009-06-03 ソニー株式会社 再生装置および再生方法
US20070047742A1 (en) 2005-08-26 2007-03-01 Step Communications Corporation, A Nevada Corporation Method and system for enhancing regional sensitivity noise discrimination
JP5038145B2 (ja) * 2005-10-18 2012-10-03 パイオニア株式会社 定位制御装置、定位制御方法、定位制御プログラムおよびコンピュータに読み取り可能な記録媒体
WO2007136187A1 (en) * 2006-05-19 2007-11-29 Electronics And Telecommunications Research Institute Object-based 3-dimensional audio service system using preset audio scenes
CN101473645B (zh) * 2005-12-08 2011-09-21 韩国电子通信研究院 使用预设音频场景的基于对象的三维音频服务***
DE602007004451D1 (de) 2006-02-21 2010-03-11 Koninkl Philips Electronics Nv Audiokodierung und audiodekodierung
GB0604076D0 (en) * 2006-03-01 2006-04-12 Univ Lancaster Method and apparatus for signal presentation
EP1989926B1 (en) 2006-03-01 2020-07-08 Lancaster University Business Enterprises Limited Method and apparatus for signal presentation
US8374365B2 (en) * 2006-05-17 2013-02-12 Creative Technology Ltd Spatial audio analysis and synthesis for binaural reproduction and format conversion
US20080004729A1 (en) * 2006-06-30 2008-01-03 Nokia Corporation Direct encoding into a directional audio coding format
JP4894386B2 (ja) * 2006-07-21 2012-03-14 ソニー株式会社 音声信号処理装置、音声信号処理方法および音声信号処理プログラム
US8229754B1 (en) * 2006-10-23 2012-07-24 Adobe Systems Incorporated Selecting features of displayed audio data across time
EP2595148A3 (en) * 2006-12-27 2013-11-13 Electronics and Telecommunications Research Institute Apparatus for coding multi-object audio signals
JP4449987B2 (ja) * 2007-02-15 2010-04-14 ソニー株式会社 音声処理装置、音声処理方法およびプログラム
US9015051B2 (en) * 2007-03-21 2015-04-21 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Reconstruction of audio channels with direction parameters indicating direction of origin
JP4221035B2 (ja) * 2007-03-30 2009-02-12 株式会社コナミデジタルエンタテインメント ゲーム音出力装置、音像定位制御方法、および、プログラム
EP2147567B1 (en) 2007-04-19 2013-04-10 Epos Development Ltd. Voice and position localization
FR2916078A1 (fr) * 2007-05-10 2008-11-14 France Telecom Procede de codage et decodage audio, codeur audio, decodeur audio et programmes d'ordinateur associes
US8180062B2 (en) * 2007-05-30 2012-05-15 Nokia Corporation Spatial sound zooming
US20080298610A1 (en) 2007-05-30 2008-12-04 Nokia Corporation Parameter Space Re-Panning for Spatial Audio
JP5294603B2 (ja) * 2007-10-03 2013-09-18 日本電信電話株式会社 音響信号推定装置、音響信号合成装置、音響信号推定合成装置、音響信号推定方法、音響信号合成方法、音響信号推定合成方法、これらの方法を用いたプログラム、及び記録媒体
GB2467668B (en) * 2007-10-03 2011-12-07 Creative Tech Ltd Spatial audio analysis and synthesis for binaural reproduction and format conversion
KR101415026B1 (ko) 2007-11-19 2014-07-04 삼성전자주식회사 마이크로폰 어레이를 이용한 다채널 사운드 획득 방법 및장치
DE212009000019U1 (de) 2008-01-10 2010-09-02 Sound Id, Mountain View Persönliches Schallsystem für die Anzeige eines Schalldruckpegels oder einer anderen Umgebungsbedingung
JP5686358B2 (ja) * 2008-03-07 2015-03-18 学校法人日本大学 音源距離計測装置及びそれを用いた音響情報分離装置
JP2009246827A (ja) * 2008-03-31 2009-10-22 Nippon Hoso Kyokai <Nhk> 音源及び仮想音源の位置特定装置、方法及びプログラム
KR101461685B1 (ko) * 2008-03-31 2014-11-19 한국전자통신연구원 다객체 오디오 신호의 부가정보 비트스트림 생성 방법 및 장치
US8457328B2 (en) * 2008-04-22 2013-06-04 Nokia Corporation Method, apparatus and computer program product for utilizing spatial information for audio signal enhancement in a distributed network environment
EP2154677B1 (en) 2008-08-13 2013-07-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. An apparatus for determining a converted spatial audio signal
EP2154910A1 (en) * 2008-08-13 2010-02-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus for merging spatial audio streams
US8023660B2 (en) * 2008-09-11 2011-09-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus, method and computer program for providing a set of spatial cues on the basis of a microphone signal and apparatus for providing a two-channel audio signal and a set of spatial cues
KR101392546B1 (ko) * 2008-09-11 2014-05-08 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 마이크로폰 신호를 기반으로 공간 큐의 세트를 제공하는 장치, 방법 및 컴퓨터 프로그램과, 2채널 오디오 신호 및 공간 큐의 세트를 제공하는 장치
ES2733878T3 (es) * 2008-12-15 2019-12-03 Orange Codificación mejorada de señales de audio digitales multicanales
JP5309953B2 (ja) 2008-12-17 2013-10-09 ヤマハ株式会社 収音装置
EP2205007B1 (en) * 2008-12-30 2019-01-09 Dolby International AB Method and apparatus for three-dimensional acoustic field encoding and optimal reconstruction
US8867754B2 (en) 2009-02-13 2014-10-21 Honda Motor Co., Ltd. Dereverberation apparatus and dereverberation method
JP5197458B2 (ja) * 2009-03-25 2013-05-15 株式会社東芝 受音信号処理装置、方法およびプログラム
JP5314129B2 (ja) * 2009-03-31 2013-10-16 パナソニック株式会社 音響再生装置及び音響再生方法
CN102414743A (zh) * 2009-04-21 2012-04-11 皇家飞利浦电子股份有限公司 音频信号合成
EP2249334A1 (en) * 2009-05-08 2010-11-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio format transcoder
EP2346028A1 (en) 2009-12-17 2011-07-20 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. An apparatus and a method for converting a first parametric spatial audio signal into a second parametric spatial audio signal
KR20120059827A (ko) * 2010-12-01 2012-06-11 삼성전자주식회사 다중 음원 위치추적장치 및 그 위치추적방법

Also Published As

Publication number Publication date
PL2647222T3 (pl) 2015-04-30
TW201234873A (en) 2012-08-16
AR084091A1 (es) 2013-04-17
HK1190490A1 (en) 2014-11-21
JP2014501945A (ja) 2014-01-23
JP2014502109A (ja) 2014-01-23
US20130268280A1 (en) 2013-10-10
ES2643163T3 (es) 2017-11-21
KR101619578B1 (ko) 2016-05-18
WO2012072804A1 (en) 2012-06-07
AU2011334857A1 (en) 2013-06-27
WO2012072798A1 (en) 2012-06-07
ES2525839T3 (es) 2014-12-30
MX338525B (es) 2016-04-20
CN103460285A (zh) 2013-12-18
CA2819394A1 (en) 2012-06-07
EP2647222A1 (en) 2013-10-09
CN103460285B (zh) 2018-01-12
AU2011334851B2 (en) 2015-01-22
BR112013013681A2 (pt) 2017-09-26
AU2011334857B2 (en) 2015-08-13
JP5878549B2 (ja) 2016-03-08
RU2570359C2 (ru) 2015-12-10
TWI489450B (zh) 2015-06-21
CN103583054B (zh) 2016-08-10
RU2013130226A (ru) 2015-01-10
TWI530201B (zh) 2016-04-11
US20130259243A1 (en) 2013-10-03
AR084160A1 (es) 2013-04-24
MX2013006068A (es) 2013-12-02
US9396731B2 (en) 2016-07-19
EP2647005A1 (en) 2013-10-09
CA2819502C (en) 2020-03-10
KR20140045910A (ko) 2014-04-17
BR112013013681B1 (pt) 2020-12-29
KR20130111602A (ko) 2013-10-10
CN103583054A (zh) 2014-02-12
RU2556390C2 (ru) 2015-07-10
CA2819502A1 (en) 2012-06-07
KR101442446B1 (ko) 2014-09-22
TW201237849A (en) 2012-09-16
MX2013006150A (es) 2014-03-12
AU2011334851A1 (en) 2013-06-27
US10109282B2 (en) 2018-10-23
CA2819394C (en) 2016-07-05
RU2013130233A (ru) 2015-01-10
EP2647222B1 (en) 2014-10-29
EP2647005B1 (en) 2017-08-16

Similar Documents

Publication Publication Date Title
JP5728094B2 (ja) 到来方向推定から幾何学的な情報の抽出による音取得
JP5814476B2 (ja) 空間パワー密度に基づくマイクロフォン位置決め装置および方法
JP6086923B2 (ja) 幾何学配置に基づく空間オーディオ符号化ストリームを統合する装置および方法

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20140528

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140609

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20140528

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140625

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140805

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141024

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150310

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150403

R150 Certificate of patent or registration of utility model

Ref document number: 5728094

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250