JP7321218B2 - 変調された脱相関による空間的オーディオ信号の向上 - Google Patents

変調された脱相関による空間的オーディオ信号の向上 Download PDF

Info

Publication number
JP7321218B2
JP7321218B2 JP2021128119A JP2021128119A JP7321218B2 JP 7321218 B2 JP7321218 B2 JP 7321218B2 JP 2021128119 A JP2021128119 A JP 2021128119A JP 2021128119 A JP2021128119 A JP 2021128119A JP 7321218 B2 JP7321218 B2 JP 7321218B2
Authority
JP
Japan
Prior art keywords
channels
decorrelated
decorrelation
input audio
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021128119A
Other languages
English (en)
Other versions
JP2021177668A (ja
Inventor
エス． マックグラス，デイヴィッド
Original Assignee
ドルビー ラボラトリーズ ライセンシング コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ドルビー ラボラトリーズ ライセンシング コーポレイション filed Critical ドルビー ラボラトリーズ ライセンシング コーポレイション
Publication of JP2021177668A publication Critical patent/JP2021177668A/ja
Application granted granted Critical
Publication of JP7321218B2 publication Critical patent/JP7321218B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Stereophonic System (AREA)

Description

関連出願への相互参照
本願は2015年3月3日に出願された米国仮特許出願第62/127,613号および2016年2月23日に出願された米国仮特許出願第62/298,905号の優先権を主張するものである。両出願の内容はここに参照によってその全体において組み込まれる。
技術分野
本発明は、複数のオーディオ・チャネルから構成されるオーディオ信号の操作に関し、詳細には、より低い分解能の空間的特性をもつ入力オーディオ信号からより高い分解能の空間的特性をもつオーディオ信号を生成するために使われる方法に関する。
マルチチャネル・オーディオ信号は、非常に複雑な音響シーンの印象を含みうる末端聴取者のための聴取経験を記憶または転送するために使われる。マルチチャネル信号は、これに限られないが以下を含むいくつかの一般的な規約を使って音響シーンを記述する情報を担持しうる。
離散スピーカー・チャネル：オーディオ・シーンは何らかの仕方ですでにレンダリングされてスピーカー・チャネルを形成していてもよい。スピーカー・チャネルは、適切な配置のスピーカーで再生されるとき、所望される音響シーンの印象を作り出す。離散スピーカー・チャネル・フォーマットの例は、今日多くのサウンド・フォーマットにおいて使われる、ステレオ、5.1または7.1信号を含む。
オーディオ・オブジェクト：オーディオ・シーンは、一つまたは複数のオブジェクト・オーディオ・チャネルとして表現されてもよい。オブジェクト・オーディオ・チャネルは、聴取者再生設備によってレンダリングされるときに、音響シーンを再生成することができる。いくつかの場合には、各オブジェクトには（暗黙的または明示的）メタデータが伴う。メタデータは、オブジェクトを聴取者再生環境における適切な位置にパンするために、レンダラーによって使われる。オーディオ・オブジェクト・フォーマットの例はドルビー・アトモスを含む。ドルビー・アトモスは、ブルーレイディスクおよび他の映画配送フォーマットのリッチなサウンドトラックの担持において使われている。
音場チャネル：オーディオ・シーンは、音場フォーマットという、まとまって一つまたは複数のオーディオ・オブジェクトを含む二つ以上のオーディオ信号の組によって表現されてもよい。各オブジェクトの空間位置はパン利得の形で空間的フォーマット（Spatial Format）においてエンコードされる。
本開示は、さまざまな空間的フォーマットに準拠するマルチチャネル・オーディオ信号の修正に関する。
〈音場フォーマット〉
Nチャネル音場フォーマットは、そのパン関数PN(φ)によって定義されてもよい。特に、G＝PN(φ)で、Gは利得値のN×1列ベクトルを表わし、φはオブジェクトの空間位置を定義する。
Figure 0007321218000001
 よって、M個のオーディオ・オブジェクトの集合（o1(t),o2(t),…,oM(t)）は、式(2)により、Nチャネル空間的フォーマットの信号XN(t)にエンコードされることができる（ここで、オーディオ・オブジェクトmはφmによって定義される位置に位置される）。
Figure 0007321218000002
本稿で詳細に述べるように、いくつかの実装では、オーディオ信号を処理する方法が、Nr個の入力オーディオ・チャネルを含む入力オーディオ信号を受領することに関わってもよい。Nrは2以上の整数であってもよい。いくつかの例では、入力オーディオ信号は、第一の音場フォーマット分解能をもつ第一の音場フォーマットを表わしていてもよい。本方法は、前記入力オーディオ・チャネルのうち二つ以上の集合に第一の脱相関プロセスを適用して脱相関チャネルの第一の集合を生成することに関わっていてもよい。第一の脱相関プロセスは、入力オーディオ・チャネルの前記集合のチャネル間相関を維持することに関わっていてもよい。本方法は、脱相関チャネルの前記第一の集合に第一の変調プロセスを適用して、脱相関され変調された出力チャネルの第一の集合を生成することに関わっていてもよい。
いくつかの実装では、本方法は、脱相関され変調された出力チャネルの前記第一の集合を、二つ以上の脱相関されていない出力チャネルと組み合わせて、Np個の出力オーディオ・チャネルを含む出力オーディオ信号を生成することに関わってもよい。Npは、いくつかの例では、3以上の整数であってもよい。いくつかの実装によれば、出力チャネルは、第一の音場フォーマットより相対的に高い分解能の音場フォーマットである第二の音場フォーマットを表わしてもよい。いくつかの例では、前記脱相関されていない出力チャネルは、前記出力オーディオ信号の、より低い分解能の成分と一致し、前記脱相関され変調された出力チャネルは前記出力オーディオ信号の、より高い分解能の成分と一致していてもよい。いくつかの実装では、前記脱相関されていない出力チャネルは、最小二乗フォーマット変換器を前記Nr個の入力オーディオ・チャネルに適用することによって生成されてもよい。
いくつかの例では、前記変調プロセスは、脱相関チャネルの前記第一の集合に線形行列を適用することに関わっていてもよい。いくつかの実装では、前記組み合わせることは、脱相関され変調された出力チャネルの前記第一の集合を、Nr個の脱相関されていない出力チャネルと組み合わせることに関わっていてもよい。いくつかの実装によれば、前記第一の脱相関プロセスを適用することは、前記Nr個の入力オーディオ・チャネルのそれぞれに同一の脱相関プロセスを適用することに関わっていてもよい。
いくつかの実装では、本方法は、前記入力オーディオ・チャネルのうち二つ以上の前記集合に第二の脱相関プロセスを適用して、脱相関チャネルの第二の集合を生成することに関わっていてもよい。いくつかの例では、前記第二の脱相関プロセスは、入力オーディオ・チャネルの前記集合のチャネル間相関を維持することに関わっていてもよい。本方法は、脱相関チャネルの前記第二の集合に第二の変調プロセスを適用して、脱相関され変調された出力チャネルの第二の集合を生成することに関わっていてもよい。いくつかの実装では、前記組み合わせるプロセスは、脱相関され変調された出力チャネルの前記第二の集合を、脱相関され変調された出力チャネルの前記第一の集合および前記二つ以上の脱相関されていない出力チャネルと組み合わせることに関わっていてもよい。
いくつかの実装によれば、前記第一の脱相関プロセスは第一の脱相関関数に関わっていてもよく、前記第二の脱相関プロセスは第二の脱相関関数に関わっていてもよい。いくつかの事例では、前記第二の脱相関関数は、前記第一の脱相関関数を、約90度または約－90度の位相シフトをもって適用することに関わっていてもよい。いくつかの例では、前記第一の変調は第一の変調関数に関わっていてもよく、前記第二の変調プロセスは第二の変調関数に関わっていてもよく、前記第二の変調関数は、前記第一の変調関数に約90度または約－90度の位相シフトを加えたものを含んでいてもよい。
いくつかの例では、前記脱相関、変調および組み合わせのプロセスは、出力オーディオ信号がデコードされてスピーカーのアレイに提供されるときに、次のことを満たすよう、出力オーディオ信号を生成してもよい：ａ）スピーカーのアレイにおけるエネルギーの空間分布が、前記入力オーディオ信号が最小二乗デコーダを介してスピーカーのアレイにデコードされることから帰結するエネルギーの空間分布と実質的に同じである；およびｂ）スピーカーのアレイ内の隣り合うスピーカー間の相関が、前記入力オーディオ信号が最小二乗デコーダを介してスピーカーのアレイにデコードされることから帰結する相関と実質的に異なっている。
いくつかの例では、前記入力オーディオ信号を受領することは、オーディオ方向制御（steering）論理プロセスから第一の出力を受領することに関わっていてもよい。前記第一の出力は、前記Nr個の入力オーディオ・チャネルを含んでいてもよい。いくつかのそのような実装では、本方法は、前記出力オーディオ信号の前記Np個のオーディオ・チャネルを、前記オーディオ方向制御論理プロセスからの第二の出力と組み合わせることに関わっていてもよい。前記第二の出力は、いくつかの事例では、現在の優勢音方向に基づいて、一つまたは複数のチャネルの利得が変更された方向制御されたオーディオ・データのNp個のオーディオ・チャネルを含んでいてもよい。
本稿に記載される方法の一部または全部は、非一時的な媒体上に記憶されている命令（たとえばソフトウェア）に従って一つまたは複数の装置によって実行されてもよい。そのような非一時的な媒体は、ランダム・アクセス・メモリ（RAM）デバイス、読み出し専用メモリ（ROM）デバイスなどを含むがそれに限られない、本稿に記載されるようなメモリ・デバイスを含んでいてもよい。たとえば、本ソフトウェアは、Nr個の入力オーディオ・チャネルを含む入力オーディオ信号を受領するよう一つまたは複数の装置を制御するための命令を含んでいてもよい。Nrは2以上の整数であってもよい。いくつかの例では、入力オーディオ信号は、第一の音場フォーマット分解能をもつ第一の音場フォーマットを表わしていてもよい。本ソフトウェアは、前記入力オーディオ・チャネルのうち二つ以上の集合に第一の脱相関プロセスを適用して脱相関チャネルの第一の集合を生成するための命令を含んでいてもよい。第一の脱相関プロセスは、入力オーディオ・チャネルの前記集合のチャネル間相関を維持することに関わっていてもよい。本ソフトウェアは、脱相関チャネルの前記第一の集合に第一の変調プロセスを適用して、脱相関され変調された出力チャネルの第一の集合を生成するための命令を含んでいてもよい。
いくつかの実装では、本ソフトウェアは、脱相関され変調された出力チャネルの前記第一の集合を、二つ以上の脱相関されていない出力チャネルと組み合わせて、Np個の出力オーディオ・チャネルを含む出力オーディオ信号を生成するための命令を含んでいてもよい。Npは、いくつかの例では、3以上の整数であってもよい。いくつかの実装によれば、出力チャネルは、第一の音場フォーマットより相対的に高い分解能の音場フォーマットである第二の音場フォーマットを表わしてもよい。いくつかの例では、前記脱相関されていない出力チャネルは、前記出力オーディオ信号の、より低い分解能の成分と一致し、前記脱相関され変調された出力チャネルは前記出力オーディオ信号の、より高い分解能の成分と一致していてもよい。いくつかの実装では、前記脱相関されていない出力チャネルは、最小二乗フォーマット変換器を前記Nr個の入力オーディオ・チャネルに適用することによって生成されてもよい。
いくつかの例では、前記変調プロセスは、脱相関チャネルの前記第一の集合に線形行列を適用することに関わっていてもよい。いくつかの実装では、前記組み合わせることは、脱相関され変調された出力チャネルの前記第一の集合を、Nr個の脱相関されていない出力チャネルと組み合わせることに関わっていてもよい。いくつかの実装によれば、前記第一の脱相関プロセスを適用することは、前記Nr個の入力オーディオ・チャネルのそれぞれに同一の脱相関プロセスを適用することに関わっていてもよい。
いくつかの実装では、本ソフトウェアは、前記入力オーディオ・チャネルのうち二つ以上の前記集合に第二の脱相関プロセスを適用して、脱相関チャネルの第二の集合を生成するための命令を含んでいてもよい。いくつかの例では、前記第二の脱相関プロセスは、入力オーディオ・チャネルの前記集合のチャネル間相関を維持することに関わっていてもよい。本ソフトウェアは、脱相関チャネルの前記第二の集合に第二の変調プロセスを適用して、脱相関され変調された出力チャネルの第二の集合を生成するための命令を含んでいてもよい。いくつかの実装では、前記組み合わせるプロセスは、脱相関され変調された出力チャネルの前記第二の集合を、脱相関され変調された出力チャネルの前記第一の集合および前記二つ以上の脱相関されていない出力チャネルと組み合わせることに関わっていてもよい。
いくつかの実装によれば、前記第一の脱相関プロセスは第一の脱相関関数に関わっていてもよく、前記第二の脱相関プロセスは第二の脱相関関数に関わっていてもよい。いくつかの事例では、前記第二の脱相関関数は、前記第一の脱相関関数を、約90度または約－90度の位相シフトをもって適用することに関わっていてもよい。いくつかの例では、前記第一の変調は第一の変調関数に関わっていてもよく、前記第二の変調プロセスは第二の変調関数に関わっていてもよく、前記第二の変調関数は、前記第一の変調関数に約90度または約－90度の位相シフトを加えたものを含んでいてもよい。
いくつかの例では、前記脱相関、変調および組み合わせのプロセスは、出力オーディオ信号がデコードされてスピーカーのアレイに提供されるときに、次のことを満たすよう、出力オーディオ信号を生成してもよい：ａ）スピーカーのアレイにおけるエネルギーの空間分布が、前記入力オーディオ信号が最小二乗デコーダを介してスピーカーのアレイにデコードされることから帰結するエネルギーの空間分布と実質的に同じである；およびｂ）スピーカーのアレイ内の隣り合うスピーカー間の相関が、前記入力オーディオ信号が最小二乗デコーダを介してスピーカーのアレイにデコードされることから帰結する相関と実質的に異なっている。
いくつかの例では、前記入力オーディオ信号を受領することは、オーディオ方向制御（steering）論理プロセスから第一の出力を受領することに関わっていてもよい。前記第一の出力は、前記Nr個の入力オーディオ・チャネルを含んでいてもよい。いくつかのそのような実装では、本ソフトウェアは、前記出力オーディオ信号の前記Np個のオーディオ・チャネルを、前記オーディオ方向制御論理プロセスからの第二の出力と組み合わせるための命令を含んでいてもよい。前記第二の出力は、いくつかの事例では、現在の優勢音方向に基づいて、一つまたは複数のチャネルの利得が変更された方向制御されたオーディオ・データのNp個のオーディオ・チャネルを含んでいてもよい。
本開示の少なくともいくつかの側面は、インターフェース・システムおよび制御システムを含む装置において実装されてもよい。制御システムは、汎用の単一チップまたは複数チップ・プロセッサ、デジタル信号プロセッサ（DSP）、特定用途向け集積回路（ASIC）、フィールド・プログラマブル・ゲート・アレイ（FPGA）または他のプログラム可能型論理デバイス、離散的なゲートもしくはトランジスタ論理または離散的なハードウェア・コンポーネントのうちの少なくとも一つを含んでいてもよい。インターフェース・システムはネットワーク・インターフェースを含んでいてもよい。いくつかの実装では、本装置はメモリ・システムを含んでいてもよい。インターフェース・システムは、制御システムと、メモリ・システムの少なくとも一部（たとえばメモリ・システムの少なくとも一つのメモリ・デバイス）との間のインターフェースを含んでいてもよい。
制御システムは、Nr個の入力オーディオ・チャネルを含む入力オーディオ信号を、インターフェース・システムを介して受領することができてもよい。Nrは2以上の整数であってもよい。いくつかの例では、入力オーディオ信号は、第一の音場フォーマット分解能をもつ第一の音場フォーマットを表わしていてもよい。本制御システムは、前記入力オーディオ・チャネルのうち二つ以上の集合に第一の脱相関プロセスを適用して脱相関チャネルの第一の集合を生成することができてもよい。第一の脱相関プロセスは、入力オーディオ・チャネルの前記集合のチャネル間相関を維持することに関わっていてもよい。本制御システムは、脱相関チャネルの前記第一の集合に第一の変調プロセスを適用して、脱相関され変調された出力チャネルの第一の集合を生成することができてもよい。
いくつかの実装では、本制御システムは、脱相関され変調された出力チャネルの前記第一の集合を、二つ以上の脱相関されていない出力チャネルと組み合わせて、Np個の出力オーディオ・チャネルを含む出力オーディオ信号を生成することができてもよい。Npは、いくつかの例では、3以上の整数であってもよい。いくつかの実装によれば、出力チャネルは、第一の音場フォーマットより相対的に高い分解能の音場フォーマットである第二の音場フォーマットを表わしてもよい。いくつかの例では、前記脱相関されていない出力チャネルは、前記出力オーディオ信号の、より低い分解能の成分と一致し、前記脱相関され変調された出力チャネルは前記出力オーディオ信号の、より高い分解能の成分と一致していてもよい。いくつかの実装では、前記脱相関されていない出力チャネルは、最小二乗フォーマット変換器を前記Nr個の入力オーディオ・チャネルに適用することによって生成されてもよい。
いくつかの例では、前記変調プロセスは、脱相関チャネルの前記第一の集合に線形行列を適用することに関わっていてもよい。いくつかの実装では、前記組み合わせることは、脱相関され変調された出力チャネルの前記第一の集合を、Nr個の脱相関されていない出力チャネルと組み合わせることに関わっていてもよい。いくつかの実装によれば、前記第一の脱相関プロセスを適用することは、前記Nr個の入力オーディオ・チャネルのそれぞれに同一の脱相関プロセスを適用することに関わっていてもよい。
いくつかの実装では、本制御システムは、前記入力オーディオ・チャネルのうち二つ以上の前記集合に第二の脱相関プロセスを適用して、脱相関チャネルの第二の集合を生成することができてももよい。いくつかの例では、前記第二の脱相関プロセスは、入力オーディオ・チャネルの前記集合のチャネル間相関を維持することに関わっていてもよい。本制御システムは、脱相関チャネルの前記第二の集合に第二の変調プロセスを適用して、脱相関され変調された出力チャネルの第二の集合を生成することができてもよい。いくつかの実装では、前記組み合わせるプロセスは、脱相関され変調された出力チャネルの前記第二の集合を、脱相関され変調された出力チャネルの前記第一の集合および前記二つ以上の脱相関されていない出力チャネルと組み合わせることに関わっていてもよい。
いくつかの実装によれば、前記第一の脱相関プロセスは第一の脱相関関数に関わっていてもよく、前記第二の脱相関プロセスは第二の脱相関関数に関わっていてもよい。いくつかの事例では、前記第二の脱相関関数は、前記第一の脱相関関数を、約90度または約－90度の位相シフトをもって適用することに関わっていてもよい。いくつかの例では、前記第一の変調は第一の変調関数に関わっていてもよく、前記第二の変調プロセスは第二の変調関数に関わっていてもよく、前記第二の変調関数は、前記第一の変調関数に約90度または約－90度の位相シフトを加えたものを含んでいてもよい。
いくつかの例では、前記脱相関、変調および組み合わせのプロセスは、出力オーディオ信号がデコードされてスピーカーのアレイに提供されるときに、次のことを満たすよう、出力オーディオ信号を生成してもよい：ａ）スピーカーのアレイにおけるエネルギーの空間分布が、前記入力オーディオ信号が最小二乗デコーダを介してスピーカーのアレイにデコードされることから帰結するエネルギーの空間分布と実質的に同じである；およびｂ）スピーカーのアレイ内の隣り合うスピーカー間の相関が、前記入力オーディオ信号が最小二乗デコーダを介してスピーカーのアレイにデコードされることから帰結する相関と実質的に異なっている。
いくつかの例では、前記入力オーディオ信号を受領することは、オーディオ方向制御（steering）論理プロセスから第一の出力を受領することに関わっていてもよい。前記第一の出力は、前記Nr個の入力オーディオ・チャネルを含んでいてもよい。いくつかのそのような実装では、本制御システムは、前記出力オーディオ信号の前記Np個のオーディオ・チャネルを、前記オーディオ方向制御論理プロセスからの第二の出力と組み合わせることができてもよい。前記第二の出力は、いくつかの事例では、現在の優勢音方向に基づいて、一つまたは複数のチャネルの利得が変更された方向制御されたオーディオ・データのNp個のオーディオ・チャネルを含んでいてもよい。
本開示のより完全な理解のために、以下の記述および付属の図面が参照される。
Ａは、スピーカーにデコードされる高分解能の音場フォーマットの例を示し、Ｂは低分解能の音場フォーマットがスピーカーにデコードされる前に高分解能にフォーマット変換されるシステムの例を示す図である。 3チャネルの低分解能の音場フォーマットがスピーカーにデコードされる前に9チャネルの高分解能の音場フォーマットにフォーマット変換されることを示す図である。 音場フォーマットにエンコードされ、その後φs＝0にあるスピーカーにデコードされる、角度φにおける入力オーディオ・オブジェクトからの利得を、二つの異なる音場フォーマットについて示す図である。 9チャネルBF4h音場フォーマットにエンコードされ、その後9スピーカーのアレイにデコードされる、角度φにおける入力オーディオ・オブジェクトからの利得を示す図である。 3チャネルBF1h音場フォーマットにエンコードされ、その後9スピーカーのアレイにデコードされる、角度φにおける入力オーディオ・オブジェクトからの利得を示す図である。 3チャネルBF1h音場フォーマットから9チャネルBF4h音場フォーマットを生成する（従来技術の）方法を示す図である。 損失パワーを補償するための利得ブーストを用いて3チャネルBF1h音場フォーマットから9チャネルBF4h音場フォーマットを生成する（従来技術の）方法を示す図である。 3チャネルBF1h音場フォーマットから9チャネルBF4h音場フォーマットを生成するための代替的な方法の一例を示す図である。 3チャネルBF1h音場フォーマットにエンコードされ、9チャネルBF4h音場フォーマットにフォーマット変換され、その後諸位置φsに位置される諸スピーカーにデコードされる、角度φ＝0における入力オーディオ・オブジェクトからの利得を示す図である。 3チャネルBF1h音場フォーマットから9チャネルBF4h音場フォーマットを生成するためのもう一つの代替的な方法を示す図である。 可変サイズをもつオブジェクトをレンダリングするために使われるフォーマット変換器の例を示す図である。 アップミキサー・システムにおける拡散信号経路を処理するために使われるフォーマット変換器の例を示す図である。 本稿に開示されるさまざまな方法を実行できる装置の構成要素の例を示すブロック図である。 本稿に開示される方法の例示的ブロックを示す流れ図である。
図１Ａに示す従来技術では、パン関数がパンナーＡ（１）の内部で、Npチャネルのもとの音場信号（５）Y(t)を生成するために使われる。これはその後、スピーカー・デコーダ（４）（NS×Np行列）によってNS個のスピーカー信号の集合にデコードされる。
一般に、音場フォーマットは、再生スピーカー配置が未知である状況において使われることがある。最終的な聴取経験の品質は、（ａ）音場フォーマットの情報担持容量と、（ｂ）再生環境において使われるスピーカーの量および配置との両方に依存する。
スピーカーの数がNp以上である（よってNS≧Np）と想定すると、空間的再生の知覚される品質は、もとの音場信号（５）におけるチャネル数Npによって制限されることになる。
しばしば、パンナーＡ（１）は、Bフォーマットとして知られる特定の族のパン関数（文献では球面調和関数、アンビソニックまたは高次アンビソニック、パン則（panning rules）とも称される）を利用する。
図１のＢは、代替的なパンナーであるパンナーＢ（２）が入力音場信号（６）、Nrチャネル空間的フォーマットx(t)を生成するよう構成され、このx(t)が次いで、フォーマット変換器（３）によって処理されて、Npチャネル出力音場信号（７）y(t)を生成する。ここで、Np＞Nrである。
本開示は、フォーマット変換器（３）を実装する方法を記述する。たとえば、本開示は、我々のフォーマット変換器（３）のためのNr入力Np出力LTI伝達関数を提供するためにフォーマット変換器（３）において使われる線形時間不変（LTI: Linear Time Invariant）フィルタを構築するために使われてもよい諸方法を提供する。これにより、図１のＢのシステムによって提供される聴取経験は可能な限り、図１のＡのシステムの聴取経験に知覚的に近くなる。
〈例――BF1hからBF4h〉
例示的なシナリオから始める。図１のＡのパンナーＡ（１）は、次のパンナーの式に従って、四次水平Bフォーマット音場を生成するよう構成されている（用語BF4hは水平方向の（horizontal）4次のBフォーマット（B-Format）を示すために使われていることを注意しておく）。
Figure 0007321218000003
 この場合、変数φは方位角を表わし、Np＝9であり、PBF4h(φ)は9×1の列ベクトルを表わす（よって、信号Y(t)も9個のオーディオ・チャネルからなる）。
ここで、図１のＢのパンナーＢ（２）が一次のBフォーマット音場を生成するよう構成されているとする。
Figure 0007321218000004
 よって、この例では、Nr＝3であり、PBF1h(φ)は3×1の列ベクトルを表わす（よって、図１のＢの信号X(t)は3個のオーディオ・チャネルからなる）。この例では、我々の目標は、最適化された聴取経験が達成されるよう、任意のスピーカー・アレイをデコードするのに好適な、X(t)からLTIプロセスによって導出される、図１のＢの9チャネル出力音場信号（７）Y(t)を生成することである。
図２に示されるように、このLTIフォーマット変換プロセスの伝達関数をHと称する。
〈スピーカー・デコーダ線形行列〉
図１Ｂに示した例では、フォーマット変換器（３）はNrチャネル入力音場信号（６）を入力として受け取り、Npチャネル出力音場信号（７）を出力する。フォーマット変換器（３）は一般に、聴取者の再生環境における最終的なスピーカー配置に関する情報は受け取らない。聴取者が十分多数のスピーカーを有すると想定することにすれば（これは先述したNS≧Npという想定である）スピーカー配置は安全に無視できる。ただし、本開示に記載される方法は、再生環境がより少数のスピーカーをもつ聴取者についても適切な聴取経験を生成するであろう。
そうではあるが、本稿に記載されるフォーマット変換器の振る舞いを、空間的信号Y(t)およびY(t)が最終的にスピーカーにデコードされるときの最終結果を示すことによって例解できることが便利であろう。
Npチャネル音場信号Y(t)をNs個のスピーカーにデコードするためには、Ns×Np行列が音場信号に次のように適用されてもよい：
Spkr(t)＝DecodeMatrix×Y(t) (6)
一つのスピーカーに注目すると、アレイ内の他のスピーカーを無視することができ、DecodeMatrix〔デコード行列〕の一つの行を見ることができる。これをデコード行ベクトルDecN(φs)と呼ぶことにする。これは、DecodeMatrixのこの行が、Nチャネル音場信号を角φsに位置しているスピーカーにデコードするために意図されていることを示している。
式(4)および(5)に記載される種類のBフォーマット信号については、デコード行ベクトルは次のように計算されてもよい。
Figure 0007321218000005
 ここでは、3チャネルBF1h信号がスピーカーにデコードされる仮想的なシナリオを調べられるよう、Dec3(φs)が示されていることを注意しておく。しかしながら、図２に示したシステムのいくつかの実装では、9チャネル・スピーカーのデコード行ベクトルDec9(φs)のみが使われる。
また、他の望ましい属性をもったスピーカー・パン曲線を作り出すために、デコード行ベクトルDec9(φs)の代替的な形が使われてもよいことも注意しておく。最良のスピーカー・デコーダ係数を定義することは本稿の意図ではない。本稿に開示される実装の価値は、スピーカー・デコーダ係数の選択に依存しない。
〈入力オーディオ・オブジェクトからスピーカーへの全体的利得〉
これで図２からの三つの主たる処理ブロックを合わせることができる。それにより、位置φにパンされる入力オーディオ・オブジェクトが、聴取者再生環境における位置φsに位置するスピーカーに供給される信号において現われる仕方：
gain3,9(φ,φs)＝Dec9(φs)×H×P3(φ) (11)
を定義することができる。
式(11)において、P3(φ)は、位置φの入力オーディオ・オブジェクトをBF1hフォーマットにパンする利得値の3×1ベクトルを表わす。
この例において、Hは、BF1hフォーマットからBF4hフォーマットへのフォーマット変換を実行する9×3行列を表わす。
式(11)において、Dec9(φs)は、聴取環境における位置φsに位置するスピーカーにBF4h信号をデコードした1×9の行ベクトルを表わす。
比較のために、フォーマット変換器を含まない、図１のＡに示した（従来技術の）システムのエンドツーエンドの利得も定義することができる。
gain9(φ,φs)＝Dec9(φs)×P3(φ) (12)
。
図３の点線は、オブジェクトが（利得ベクトルGBF4h(φ)を介して）BH4h音場フォーマットにパンされ、次いでデコード行ベクトルDec9(0)によってデコードされるときの、方位角φに位置するオーディオ・オブジェクトからφs＝0に位置するスピーカーへの全体的な利得gain9(φ,φs)を示している。
この利得プロットは、もとのオブジェクトからスピーカーへの最大利得が現われるのはオブジェクトがスピーカー（φ＝0にある）と同じ位置に位置するときであり、オブジェクトがスピーカーから遠ざかるにつれて利得は急速に（φ＝40°で）0に低下することを示している。
加えて、図３における実線は、オブジェクトがBH1h 3チャネル音場フォーマットにおいてパンされ、次いでデコード行ベクトルDec3(0)によってスピーカー・アレイにデコードされるときの、利得gain3(φ,φs)を示している。
〈低分解能信号X(t)において欠けているもの〉
複数のスピーカーが聴取者のまわりの円に配置されるとき、図３に示される利得曲線は、スピーカー利得をすべて示すよう、プロットし直されることができる。それにより、それらのスピーカーがどのように互いと相互作用するかを見ることができる。
たとえば、9個のスピーカーが40°の間隔で聴取者のまわりに配置されるとき、結果として得られる9個の利得曲線の集合は、9チャネルおよび3チャネルの場合についてそれぞれ図４および図５に示されている。
図４および図５の両方において、φs＝0に位置するスピーカーにおける利得は実線としてプロットされ、他のスピーカーは点線でプロットされる。
図４を見ると、オブジェクトがφ＝0に位置しているとき、このオブジェクトについてのオーディオ信号が前方スピーカー（φs＝0にある）に利得1.0をもって呈示されることがわかる。また、このオブジェクトからのオーディオ信号は他のすべてのスピーカーには利得0.0をもって呈示されることになる。
定性的には、図４の観察に基づき、BH4h音場フォーマットは、Dec9s(φs)デコード行ベクトルを通じてデコードされるとき、φ＝0に位置するオブジェクトが前方スピーカーに現われ他の8個のスピーカーにはエネルギーがないという意味で、これら9個のスピーカーを通じて高品質のレンダリングを提供すると言うことができる。
残念ながら、BH1h音場フォーマットが9個のスピーカーにデコードされるときの結果を示す図５に関しては、同じ定性的な評価を下すことができない。
図５の利得曲線の欠点は、二つの異なる属性に関して記述することができる。
パワー分布：オブジェクトがφ＝0に位置するとき、すべてのパワーが前方スピーカー（φs＝0にある）に加えられ、他の8個のスピーカーにはパワー0が加えられるときに、スピーカーへの最適なパワー分布が生じる。BF1hデコーダは、かなりの量のパワーが他のスピーカーに広がるので、このエネルギー分布を達成しない。
過剰な相関：φ＝0に位置するオブジェクトがBF1h音場フォーマットをもってエンコードされ、Dec3(φs)デコード行ベクトルによってデコードされるとき、5つの前方スピーカー（φs＝－80°、－40°、0°、40°、80°）が同じオーディオ信号を含むことになり、その結果、これら5つのスピーカーの間の高いレベルの相関が生じる。さらに、後方の二つのスピーカー（φs＝－160°および160°）は前方チャネルと位相外れになる。最終結果は、聴取者は不快なフェイジーな（phasey）感じを経験し、聴取者の小さな動きが、気づかれるほどのコーミング・アーチファクトにつながる。
従来技術の方法は、過剰な相関の問題を、脱相関された信号成分を加えることによって解決しようとしてきたが、パワー分布の問題を悪化させる結果となっていた。
本稿に開示されるいくつかの実装は、同じパワー分布を保存しつつスピーカー・チャネル間の相関を低下させることができる。
〈よりよいフォーマット変換器の設計〉
式(4)および(5)から、BF1hフォーマットを定義する三つのパン利得値は、BF4hフォーマットを定義する9個のパン利得値の部分集合であることがわかる。よって、低分解能信号X(t)は、高分解能信号Y(t)から、単純な線形投影Mpによって導出されたものであることができる。
Figure 0007321218000006
 図１におけるフォーマット変換器（３）の一つの目的は、より正確な信号Y(t)によって伝えられる経験によくマッチする音響経験を末端聴取者に提供する新たな信号Y(t)を再生成することである。フォーマット変換器HLSの動作についての最小平均二乗最適選択は、Mpの擬似逆行列を取ることによって計算されてもよい。
Figure 0007321218000007
 式(16)において、Mp +は、当技術分野でよく知られているムーア・ペンローズ擬似逆行列を表わす。
ここで使われている命名法は、最小二乗解がフォーマット変換行列HLSを使うことによって最小二乗の意味でできるだけよくY(t)にマッチする新たな9チャネル信号YLS(t)を生成するよう動作するという事実を伝えることが意図されている。
最小二乗解（HLS＝M+）は数学的な意味においてベストフィットを提供する一方、聴取者にとってはその結果は振幅が低すぎることになる。3チャネルBF1h音場フォーマットは、図６に示されるように、9チャネルBF4hフォーマットで6チャネルを捨てたものと同一だからである。よって、最小二乗解は音響シーンのパワーの2/3を消去することに関わる。
一つの（小さな）改善は、図７に示されるように、単純に結果を増幅することから得ることができる。一つのそのような例では、最小二乗解の0でない成分y1(t)～y3(t)は、0でない成分x1(t)～x3(t)に
Figure 0007321218000008
 のように利得gLSを適用することによって生成される。
〈脱相関のための変調方法〉
図６および図７のフォーマット変換器は聴取者にとっていくらか受け入れられる再生経験を提供するものの、図５における重なり合う曲線が証左となるように、近隣のスピーカーの間のきわめて大きな度合いの相関を生じることがある。
（図７で行なっているように）単に低分解能信号成分をブーストするのではなく、よりよい代替は、BF1h入力信号の脱相関されたバージョンを使ってBF4h信号の高次項に、より多くのエネルギーを加えることである。
本稿に開示されるいくつかの実装は、X(t)の一つまたは複数の低分解能音場成分（たとえばx1(t)、x2(t)、x3(t)）から、Y(t)の一つまたは複数の高次成分（たとえばy4(t)、y5(t)、y6(t)、y7(t)、y8(t)、y9(t)）の近似を合成する方法を定義することに関わる。
Y(t)の高次成分を生成するために、いくつかの例は脱相関器を利用する。入力オーディオ信号を受けて、人間の聴取者によって入力信号から脱相関されていると知覚される出力信号を生成する動作を表わすために記号Δを使うことにする。
脱相関器の実装方法に関してはさまざまな刊行物において多くのことが書かれている。簡単のため、本稿では、256サンプルの遅延および512サンプルの遅延からなる二つの計算効率のよい脱相関器：
Δ1＝z-256 (20)
Δ2＝z-512 (21)
を定義する（当業者におなじみのz変換記法を使っている）。
上記の脱相関器は単に例である。代替的な実装では、当業者によく知られている他の脱相関方法のような脱相関の他の方法が、本稿に記載される脱相関方法の代わりに、あるいはそれに加えて使われてもよい。
Y(t)の高次成分を生成するために、いくつかの例は（図８のΔ1およびΔ2のような）一つまたは複数の脱相関器および対応する変調関数（たとえばmod1(φs)＝cos3φsおよびmod2(φs)＝sin3φs)）を選ぶことに関わる。この例では、何もしない脱相関器および変調器関数Δ0＝1およびmod0(φs)＝1をも定義する。すると、各変調関数について、以下の諸段階をたどる。
１．変調関数modk(φs)を与えられる。Np×Nr行列（9×3行列）Qkを構築することをねらいとする。
２．積：
p＝modk×Dec9(φs)×HLS
を形成する。積pは行ベクトル（1×3ベクトル）であり、各要素はφsのsinおよびcos関数での代数表現である。
３．恒等式：
p≡Dec9(φs)×Qk
を満たす（一意的な）行列Qkを見出すべく、解く。
この方法によれば、k＝0のとき、何もしない脱相関器Δ0＝1（これは実際には脱相関器ではない）および何もしない変調器関数mod0(φs)＝1が上記の手順においてQ0＝HLSを計算するために使われることを注意しておく。
よって、変調関数mod0(φs)＝1、mod1(φs)＝cos3φsおよびmod2(φs)＝sin3φsに対応する三つのQ行列は次のようになる。
Figure 0007321218000009
 この例において、本方法は、全体的な伝達関数を9×3行列：
Hmod＝g0×Q0＋g1×Q1×Δ1＋g2×Q2×Δ2
として定義することによって、フォーマット変換器を実装する。
g0＝1およびg1＝g2＝0と設定することによって、我々のシステムはこれらの条件のもとで最小二乗フォーマット変換器と同一なものに帰着することを注意しておく。
また、g0＝√3およびg1＝g2＝0と設定することによって、我々のシステムはこれらの条件のもとで利得ブーストした最小二乗フォーマット変換器と同一なものに帰着することを注意しておく。
最後に、g0＝1およびg1＝g2＝√2と設定することによって到達する実施形態では、フォーマット変換器全体の伝達関数は次のように書ける。
Figure 0007321218000010
 一つのそのような方法を実装するためのブロック図が図８に示されている。第一の変調器（９）が脱相関器Δ1から出力を受領することを注意しておく。これはつまり、この例では、三つのチャネルすべてが同じ脱相関器によって修正されるということである。よって、三つの出力信号は次のように表わせる：
Figure 0007321218000011
 式(27)において、x1(t)、x2(t)、x3(t)は第一の脱相関器（８）への入力を表わす。同様に、図８における第二の変調器（１１）については、次のようになる：
Figure 0007321218000012
 この方法の背後の哲学を説明するために、図９における実線の曲線を見る。この曲線は、gain3,9 Q0(0,φs)、つまり（三チャネルBF1h信号が行列Q0＝HLSを使って9チャネルBF4hフォーマットに変換された場合に）φ＝0に位置するオブジェクトがφsに位置するスピーカーに現われる利得を示している。聴取者再生環境において、－120°から＋120°までの間の方位角に位置するいくつかのスピーカーが存在する場合、これらのスピーカーはみな前記オブジェクト・オーディオ信号の何らかの成分を、正の利得をもって含む。よって、これらのスピーカーすべてが相関された信号を含むことになる。
ここに示される、破線と点線でプロットした他の二つの利得曲線は、gain3,9 Q1(0,φs)およびgain3,9 Q2(0,φs)である（フォーマット変換がそれぞれQ1およびQ2に従って適用されるときにφ＝0に位置するオブジェクトが位置φsのスピーカーに現われる際の利得関数）。これら二つの利得関数は一緒に合わせると、実線と同じパワーを担持するが、40°より大きく離れている二つのスピーカーは同じ仕方で相関してはいない。
（聴取者選好に基づく主観的な観点からの）一つの非常に望ましい結果は、これら三つの利得曲線の、聴取者選好試験によって決定された混合係数（g0,g1,g2）との混合に関わる。
〈Δ 2 を形成するためのヒルベルト変換の使用〉
ある代替的実施形態では、第二の脱相関器は次によって置き換えられる：
Figure 0007321218000013
 式(29)において、H〔便宜上花文字のHをこう記す〕はヒルベルト変換を表わす。これは、事実上、我々の第二の脱相関プロセスは、我々の第一の脱相関プロセスに90°の追加的な位相シフト（ヒルベルト変換）を加えたものと同一であることを意味する。Δ2についてのこの表式を図８の第二の脱相関器（１０）に代入すると、図１０の新しい図に到達する。
いくつかのそのような実装では、第一の脱相関プロセスは第一の脱相関関数に関わり、第二の脱相関プロセスは第二の脱相関関数に関わる。第二の脱相関関数は、第一の脱相関関数に約90度または約－90度の位相シフトを加えたものに等しくてもよい。いくつかのそのような例では、約90度の角は、89度から91度の範囲の角、88度から92度の範囲の角、87度から93度の範囲の角、86度から94度の範囲の角、85度から95度の範囲の角、84度から96度の範囲の角、83度から97度の範囲の角、82度から98度の範囲の角、81度から99度の範囲の角、80度から100度の範囲の角などであってもよい。同様に、いくつかのそのような例では、約－90度の角は、－89度から－91度の範囲の角、－88度から－92度の範囲の角、－87度から－93度の範囲の角、－86度から－94度の範囲の角、－85度から－95度の範囲の角、－84度から－96度の範囲の角、－83度から－97度の範囲の角、－82度から－98度の範囲の角、－81度から－99度の範囲の角、－80度から－100度の範囲の角などであってもよい。いくつかの実装では、位相シフトは周波数の関数として変化してもよい。いくつかのそのような実装によれば、位相シフトは、関心対象の何らかの周波数範囲のみにわたって約90度であってもよい。いくつかのそのような例では、関心対象の周波数範囲は300Hzから2kHzの範囲を含んでいてもよい。他の例は他の位相シフトを適用してもよく、および／または他の周波数範囲にわたって約90度の位相シフトを適用してもよい。
〈代替的な変調関数の使用〉
本稿に開示されるさまざまな例において、第一の変調プロセスは第一の変調関数に関わり、第二の変調プロセスは第二の変調関数に関わり、第二の変調関数は第一の変調関数に約90度または約－90度の位相シフトを加えたものである。図８を参照して上記した手順において、BF1h入力信号のBF4h出力信号への変換は、第一の変調関数mod1(φs)＝cos3φsおよび第二の変調関数mod2(φs)＝sin3φsに関わっていた。しかしながら、他の実装は、第二の変調関数が第一の変調関数に約90度または約－90度の位相シフトを加えたものである他の変調関数を使って実装されてもよい。
たとえば、変調関数mod1(φs)＝cos2φsおよびmod2(φs)＝sin2φsを使うと、次のような代替的なQ行列の計算になる：
Figure 0007321218000014
 〈代替的な出力フォーマット〉
代替的な変調関数mod1(φs)＝cos2φsおよびmod2(φs)＝sin2φsを使う、前節で与えた例は、最後の二行に0を含むQ行列を生じる。結果として、これらの代替的な変調関数により、出力フォーマットは、
Figure 0007321218000015
 のように、Q行列が7つの行に縮小された7チャネルBF3hフォーマットに縮小されることを許容する。
ある代替的な実施形態では、出力フォーマットにおけるチャネル数を減らすために、Q行列はより少数の行に縮小されてもよい。結果として次のQ行列が得られる。
Figure 0007321218000016
 〈他の音場フォーマット〉
下記を含む他の音場入力フォーマットが本稿に開示される方法に従って処理されてもよい。
BF1（4チャネル、一次アンビソニックス、WXYZフォーマットとしても知られる）。これはmod1(φs)＝cos3φsおよびmod2(φs)＝sin3φsのような変調関数を使ってBF3（16チャネル三次アンビソニックス）にフォーマット変換されうる；
BF1（4チャネル、一次アンビソニックス、WXYZフォーマットとしても知られる）。これはmod1(φs)＝cos2φsおよびmod2(φs)＝sin2φsのような変調関数を使ってBF2（9チャネル二次アンビソニックス）にフォーマット変換されうる；または
BF2（9チャネル、二次アンビソニックス、WXYZフォーマットとしても知られる）。これはmod1(φs)＝cos4φsおよびmod2(φs)＝sin4φsのような変調関数を使ってBF3（16チャネル六次アンビソニックス）にフォーマット変換されうる。
本稿で定義される変調方法が幅広い範囲の音場フォーマットに適用可能であることは理解されるであろう。
〈大きさをもつオブジェクトをレンダリングするためのフォーマット変換器〉
図１１は、オーディオ・オブジェクトをレンダリングするのに好適なシステムを示している。ここで、フォーマット変換器（３）は、より低分解能のBF1h信号x1(t)…x3(t)から9チャネルのBF4h信号y1(t)…y9(t)を生成するために使われる。
図１１に示される例では、オーディオ・オブジェクトo1(t)が中間的な9チャネルBF4h信号z1(t)…z9(t)を形成するためにパンされる。この高分解能信号は、直接利得スケーラー（１５）を介し、加算されて、BF4h出力にされる。これによりオーディオ・オブジェクトo1(t)がBF4h出力において高分解能をもって表現できる（よって聴取者にはコンパクトなオブジェクトのように感じられる）。
追加的に、この実装において、BF4h信号の零次および一次成分（それぞれz1(t)およびz2(t)…z3(t)）は零次利得スケーラー（１７）および一次利得スケーラー（１６）によって修正されて、3チャネルBF1h信号x1(t)…x3(t)を形成する。
この例では、三つの利得制御信号はサイズ・プロセス（１４）によって、オブジェクトに関連するsize1パラメータの関数として、次のように生成される。
size1＝0のとき、利得値は：
{size＝0}{GainZerothGain＝0,GainFirstGain＝0,GainDirectGain＝1}
size1＝1/2のとき、利得値は：
{size＝1/2}{GainZerothGain＝1,GainFirstGain＝1,GainDirectGain＝0}
size1＝1のとき、利得値は：
{size＝1}{GainZerothGain＝√3,GainFirstGain＝0,GainDirectGain＝0}
。
この例では、size＝0をもつオーディオ・オブジェクトは本質的に点源であるオーディオ・オブジェクトに対応し、size＝1をもつオーディオ・オブジェクトは再生環境全体、たとえば部屋全体のサイズに等しいサイズをもつオーディオ・オブジェクトに対応する。いくつかの実装では、0から1までの間のsize1の値について、これら三つの利得パラメータの値は、ここに定義される値に基づいていてもよい区分線形関数として変化する。
この実装によれば、BF4h信号の零次および一次成分をスケーリングすることによって形成されるBF1h信号は、フォーマット変換されたBF4h信号を生成するために、フォーマット変換器（たとえば先述した型のようなもの）を通される。次いで、直接信号およびフォーマット変換されたBF4h信号は、サイズ調整されたBF4h出力信号を形成するために組み合わされる。直接、零次および一次の利得スケーラーを調整することによって、BF4h出力信号にパンされるオブジェクトの知覚されるサイズが、点源から非常に大きな源（たとえば部屋全体を包含するもの）までの間で変えられる。
〈アップミキサーで使われるフォーマット変換器〉
図１２に示されるようなアップミキサーは、低分解能音場信号（たとえばBF1h）を入力として取る方向制御論理プロセス（１８）の使用によって動作する。たとえば、方向制御論理プロセス（１８）は、できるだけ正確に方向制御されるべき入力音場信号の成分を識別し（そしてそれらの成分を処理して高分解能出力信号z1(t)…z9(t)を形成し）てもよい。たとえば、方向制御論理（１８）は、現在の優勢音方向に基づいて一つまたは複数のチャネルの利得を変更してもよく、方向制御されたオーディオ・データのNp個のオーディオ・チャネルを出力してもよい。図１２に示した例では、p＝9であり、よって方向制御論理プロセス（１８）が方向制御されたオーディオ・データの9個のチャネルを出力する。
入力信号のこれらの方向制御された成分とは別に、この例では、方向制御論理プロセス（１８）は、残留信号x1(t)…x3(t)を放出する。この残留信号は、高分解能信号z1(t)…z9(t)を形成するために方向制御されないオーディオ成分を含む。
図１２に示した例では、この残留信号x1(t)…x3(t)はフォーマット変換器（３）によって処理されて、方向制御された信号z1(t)…z9(t)と組み合わせるのに好適な、残留信号の、より高い分解能のバージョンを与える。よって、図１２は、アップミックスされたBF4h出力信号を生成するために、方向制御されたオーディオ・データのNp個のオーディオ・チャネルを、フォーマット変換器の出力オーディオ信号のNp個のオーディオ・チャネルと組み合わせる例を示している。さらに、BF1h残留信号を生成し、その信号にフォーマット変換器を適用して、変換されたBF4h残留信号を生成することの計算量が、方向制御論理を使って残留信号をBF4hフォーマットに直接アップミックスすることの計算量よりも低ければ、低下した計算量でのアップミックスが達成される。残留信号は優勢信号ほど知覚的に重要ではないので、図１２に示されるアップミキサーを使って生成される、結果として得られるアップミックスされたBF4h出力信号は、たとえば高精度の優勢BF4h出力信号および残留BF4h出力信号の両方を直接生成するために方向制御論理を使うアップミキサーによって生成されるBF4h出力信号と知覚的に同様になるが、低下した計算量で生成できる。
図１３は、本稿に記載されるさまざまな方法を実装することのできる装置のコンポーネントの例を提供するブロック図である。装置１３００はたとえば、オーディオ・データ処理システムであってもよい（あるいはその一部であってもよい）。いくつかの例では、装置１３００は別のデバイスのコンポーネントにおいて実装されてもよい。
この例において、装置１３００は、インターフェース・システム１３０５および制御システム１３１０を含む。制御システム１３１０は、本稿に開示される方法の一部または全部を実装できてもよい。制御システム１３１０はたとえば、汎用の単一チップまたは複数チップ・プロセッサ、デジタル信号プロセッサ（DSP）、特定用途向け集積回路（ASIC）、フィールド・プログラマブル・ゲート・アレイ（FPGA）または他のプログラム可能型論理デバイス、離散的なゲートもしくはトランジスタ論理および／または離散的なハードウェア・コンポーネントを含んでいてもよい。
この実装において、装置１３００はメモリ・システム１３１５を含む。メモリ・システム１３１５は、フラッシュメモリ、ハードドライブなどといった非一時的な記憶媒体の一つまたは複数の好適な型を含んでいてもよい。インターフェース・システム１３０５はネットワーク・インターフェース、制御システムとメモリ・システムとの間のインターフェースおよび／または外部装置インターフェース（たとえばユニバーサルシリアルバス（USB）インターフェース）を含んでいてもよい。メモリ・システム１３１５は図１３では別個の要素として描かれているが、制御システム１３１０は少なくともいくらかのメモリを含んでいてもよく、それが前記メモリ・システムの一部とみなされてもよい。同様に、いくつかの実装では、メモリ・システム１３１５は何らかの制御システム機能を提供できてもよい。
この例では、制御システム１３１０はインターフェース・システム１３０５を介してオーディオ・データおよび他の情報を受領できる。いくつかの実装では、制御システム１３１０はオーディオ処理装置を含んでいてもよい（あるいは実装してもよい）。
いくつかの実装では、制御システム１３１０は、本稿に記載される方法の少なくとも一部を、一つまたは複数の非一時的な媒体上に記憶されたソフトウェアに従って実行できてもよい。非一時的な媒体は、制御システム１３１０に付随する、ランダム・アクセス・メモリ（RAM）および／または読み出し専用メモリ（ROM）のようなメモリを含んでいてもよい。非一時的な媒体はメモリ・システム１３１５のメモリを含んでいてもよい。
図１４は、いくつかの実装に基づく、フォーマット変換プロセスの例示的ブロックを示す流れ図である。図１４のブロック（および本稿で与えられる他の流れ図のブロック）は、たとえば、図１３の制御システム１３１０によって、あるいは同様の装置によって実行されてもよい。よって、図１４のいくつかのブロックは、図１３の一つまたは複数の要素を参照して記述される。本稿に開示される他の方法に関しては、図１４で概説される方法は、示されるよりも多数または少数のブロックを含んでいてもよい。さらに、本稿に開示される方法のブロックは必ずしも示される順序で実行されるのではない。
ここで、ブロック１４０５は、Nr個の入力オーディオ・チャネルを含む入力オーディオ信号を受領することに関わる。この例では、Nrは2以上の整数である。この実装によれば、入力オーディオ信号は、第一の音場フォーマット分解能をもつ第一の音場フォーマットを表わす。いくつかの例では、第一の音場フォーマットは3チャネルBF1h音場フォーマットであってもよく、他の例では、第一の音場フォーマットはBF1（4チャネル、一次アンビソニックス；WXYZフォーマットとしても知られる）フォーマットまたは別の音場フォーマットであってもよい。
図１４に示した例では、ブロック１４１０は、入力オーディオ・チャネルのうち二つ以上の集合に第一の脱相関プロセスを適用して脱相関チャネルの第一の集合を生成することに関わる。この例によれば、第一の脱相関プロセスは、入力オーディオ・チャネルの前記集合のチャネル間相関を維持する。第一の脱相関プロセスは、たとえば、図８および図１０を参照して上記した脱相関器Δ1の実装の一つに対応していてもよい。これらの例において、第一の脱相関プロセスを適用することは、Nr個の入力オーディオ・チャネルのそれぞれに同一の脱相関プロセスを適用することに関わる。
この実装において、ブロック１４１５は、脱相関チャネルの前記第一の集合に第一の変調プロセスを適用して、脱相関され変調された出力チャネルの第一の集合を生成することに関わる。第一の変調プロセスは、たとえば、図８を参照して上記した第一の変調器（９）の実装の一つに、あるいは図１０を参照して上記した変調器（１３）の実装の一つ対応していてもよい。よって、変調プロセスは、脱相関チャネルの前記第一の集合に線形行列を適用することに関わってもよい。
この例によれば、ブロック１４２０は、脱相関され変調された出力チャネルの前記第一の集合を、二つ以上の脱相関されていない出力チャネルと組み合わせて、Np個の出力オーディオ・チャネルを含む出力オーディオ信号を生成することに関わる。この例では、Npは3以上の整数である。この実装では、出力チャネルは、第一の音場フォーマットより相対的に高い分解能の音場フォーマットである第二の音場フォーマットを表わす。いくつかのそのような例では、第二の音場フォーマットは9チャネルBF4h音場フォーマットである。他の例では、第二の音場フォーマットは、7チャネルBF3hフォーマット、5チャネルBF3hフォーマット、BF2音場フォーマット（9チャネル二次アンビソニックス）、BF3音場フォーマット（16チャネル三次アンビソニックス）または別の音場フォーマットのような別の音場フォーマットであってもよい。
この実装によれば、前記脱相関されていない出力チャネルは、前記出力オーディオ信号の、より低い分解能の成分と一致し、前記脱相関され変調された出力チャネルは前記出力オーディオ信号の、より高い分解能の成分と一致する。図８および図１０を参照するに、たとえば、出力チャネルy1(t)～y3(t)が脱相関されていない出力信号の例を与える。よって、これらの例では、組み合わせることは、脱相関され変調された出力チャネルの前記第一の集合を、Nr個の脱相関されていない出力チャネルと組み合わせることに関わる。ここでNr＝3である。いくつかのそのような実装では、脱相関されていない出力チャネルは、最小二乗フォーマット変換器をNr個の入力オーディオ・チャネルに適用することによって生成される。図１０に示される例では、出力チャネルy4(t)～y9(t)は、第一の脱相関プロセスおよび第一の変調プロセスによって生成された、脱相関され変調された出力チャネルの例を与える。
いくつかのそのような例によれば、第一の脱相関プロセスは第一の脱相関関数に関わり、第二の脱相関プロセスは第二の脱相関関数に関わり、第二の脱相関関数は第一の脱相関関数に約90度または約－90度の位相シフトを加えたものである。いくつかのそのような実装では、第一の変調プロセスは第一の変調関数に関わり、第二の変調プロセスは第二の変調関数に関わり、第二の変調関数は第一の変調関数に約90度または約－90度の位相シフトを加えたものである。
いくつかの例では、脱相関、変調および組み合わせは、出力オーディオ信号がデコードされてスピーカーのアレイに提供されるときに、スピーカーのアレイにおけるエネルギーの空間分布が、前記入力オーディオ信号が最小二乗デコーダを介してスピーカーのアレイにデコードされることから帰結するエネルギーの空間分布と実質的に同じであるよう、出力オーディオ信号を生成する。さらに、いくつかのそのような実装では、スピーカーのアレイ内の隣り合うスピーカー間の相関は、前記入力オーディオ信号が最小二乗デコーダを介してスピーカーのアレイにデコードされることから帰結する相関と実質的に異なる。
図１１を参照して上記したようないくつかの実装は、大きさをもつオブジェクトをレンダリングするためのフォーマット変換器を実装することに関わってもよい。いくつかのそのような実装は、オーディオ・オブジェクト・サイズの指示を受け取り、オーディオ・オブジェクト・サイズが閾値サイズ以上であることを判別し、二つ以上の入力オーディオ信号の前記集合に利得値0を適用することに関わってもよい。一つの例は、図１１のサイズ・プロセス（１４）を参照して上記した。この例では、size1パラメータが1/2以上であれば、GainDirectGain＝0である。したがって、この例では、直接利得スケーラー（１５）は入力チャネルz1-9(t)に0の利得を適用する。
図１２を参照して上記したようないくつかの例は、アップミキサーにおいてフォーマット変換器を実装することに関わっていてもよい。いくつかのそのような実装は、オーディオ方向制御論理プロセスから出力を受け取ることに関わっていてもよい。出力は、現在の優勢音方向に基づいて一つまたは複数のチャネルの利得が変更されている、方向制御されたオーディオ・データのNp個のオーディオ・チャネルを含む。いくつかの例は、方向制御されたオーディオ・データのNp個のオーディオ・チャネルを出力オーディオ信号のNp個のオーディオ・チャネルと組み合わせることに関わっていてもよい。
〈フォーマット変換器の他の用途〉
本開示において記述される実装へのさまざまな修正が当業者には容易に明白になりうる。本稿で定義される一般原理は、本開示の精神または範囲から外れることなく、他の実装に適用されてもよい。たとえば、本稿に記載されるフォーマット変換器が有益になる他の多くの応用があることは理解されるであろう。このように、請求項は、本稿に示される実装に限定されることは意図されておらず、本開示、本稿に開示される原理および新規な特徴と整合する最も広い範囲を与えられるものである。
いくつかの態様を記載しておく。
〔態様１〕
オーディオ信号を処理する方法であって：
Nr個の入力オーディオ・チャネルを含む入力オーディオ信号を受領する段階であって、前記入力オーディオ信号は、第一の音場フォーマット分解能をもつ第一の音場フォーマットを表わし、Nrは2以上の整数である、段階と；
前記入力オーディオ・チャネルのうち二つ以上のチャネルの集合に第一の脱相関プロセスを適用して脱相関チャネルの第一の集合を生成する段階であって、前記第一の脱相関プロセスは、入力オーディオ・チャネルの前記集合のチャネル間相関を維持する、段階と；
脱相関チャネルの前記第一の集合に第一の変調プロセスを適用して、脱相関され変調された出力チャネルの第一の集合を生成する段階と；
脱相関され変調された出力チャネルの前記第一の集合を、二つ以上の脱相関されていない出力チャネルと組み合わせて、Np個の出力オーディオ・チャネルを含む出力オーディオ信号を生成する段階であって、Npは3以上の整数であり、前記出力チャネルは、前記第一の音場フォーマットより相対的に高い分解能の音場フォーマットである第二の音場フォーマットを表わし、前記脱相関されていない出力チャネルは、前記出力オーディオ信号の、より低い分解能の成分と一致し、前記脱相関され変調された出力チャネルは前記出力オーディオ信号の、より高い分解能の成分と一致する、段階とを含む、
方法。
〔態様２〕
前記変調プロセスは脱相関チャネルの前記第一の集合に線形行列を適用することに関わる、態様１記載の方法。
〔態様３〕
前記組み合わせることは、脱相関されて変調された出力チャネルの前記第一の集合をNr個の脱相関されていない出力チャネルと組み合わせることに関わる、態様１または２記載の方法。
〔態様４〕
前記第一の脱相関プロセスを適用することは、前記Nr個の入力オーディオ・チャネルのそれぞれに同一の脱相関プロセスを適用することに関わる、態様１ないし３のうちいずれか一項記載の方法。
〔態様５〕
前記入力オーディオ・チャネルのうち二つ以上のチャネルの前記集合に第二の脱相関プロセスを適用して、脱相関チャネルの第二の集合を生成する段階であって、前記第二の脱相関プロセスは、入力オーディオ・チャネルの前記集合のチャネル間相関を維持する、段階と；
脱相関チャネルの前記第二の集合に第二の変調プロセスを適用して、脱相関され変調された出力チャネルの第二の集合を生成する段階とをさらに含み、
前記組み合わせることは、脱相関され変調された出力チャネルの前記第二の集合を、脱相関され変調された出力チャネルの前記第一の集合および前記二つ以上の脱相関されていない出力チャネルと組み合わせることに関わる、
態様１ないし４のうちいずれか一項記載の方法。
〔態様６〕
前記第一の脱相関プロセスは第一の脱相関関数を含み、前記第二の脱相関プロセスは第二の脱相関関数を含み、前記第二の脱相関関数は前記第一の脱相関関数に約90度または約－90度の位相シフトを加えたものを含む、態様５記載の方法。
〔態様７〕
前記第一の変調プロセスは第一の変調関数を含み、前記第二の変調プロセスは第二の変調関数を含み、前記第二の変調関数は前記第一の変調関数に約90度または約－90度の位相シフトを加えたものを含む、態様５または６記載の方法。
〔態様８〕
前記脱相関、変調および組み合わせは、前記出力オーディオ信号がデコードされてスピーカーのアレイに提供されるときに：
ａ）前記スピーカーのアレイにおけるエネルギーの空間分布が、前記入力オーディオ信号が最小二乗デコーダを介して前記スピーカーのアレイにデコードされることから帰結するエネルギーの空間分布と実質的に同じであり、；かつ、
ｂ）前記スピーカーのアレイ内の隣り合うスピーカー間の相関が、前記入力オーディオ信号が最小二乗デコーダを介して前記スピーカーのアレイにデコードされることから帰結する相関と実質的に異なる、
よう前記出力オーディオ信号を生成する、態様１ないし７のうちいずれか一項記載の方法。
〔態様９〕
前記脱相関されていない出力チャネルは、前記Nr個の入力オーディオ・チャネルに最小二乗フォーマット変換器を適用することによって生成される、態様１ないし８のうちいずれか一項記載の方法。
〔態様１０〕
前記入力オーディオ信号を受領する段階は、オーディオ方向制御論理プロセスから第一の出力を受領することに関わり、前記第一の出力は前記Nr個の入力オーディオ・チャネルを含み、当該方法はさらに、前記出力オーディオ信号の前記Np個のオーディオ・チャネルを、前記オーディオ方向制御論理プロセスからの第二の出力と組み合わせる段階を含み、前記第二の出力は、現在の優勢音方向に基づいて一つまたは複数のチャネルの利得が変更された、方向制御されたオーディオ・データのNp個のオーディオ・チャネルを含む、態様１ないし９のうちいずれか一項記載の方法。
〔態様１１〕
ソフトウェアが記憶されている非一時的な媒体であって、前記ソフトウェアは：
Nr個の入力オーディオ・チャネルを含む入力オーディオ信号を受領する段階であって、前記入力オーディオ信号は、第一の音場フォーマット分解能をもつ第一の音場フォーマットを表わし、Nrは2以上の整数である、段階と；
前記入力オーディオ・チャネルのうち二つ以上のチャネルの集合に第一の脱相関プロセスを適用して脱相関チャネルの第一の集合を生成する段階であって、前記第一の脱相関プロセスは、入力オーディオ・チャネルの前記集合のチャネル間相関を維持する、段階と；
脱相関チャネルの前記第一の集合に第一の変調プロセスを適用して、脱相関され変調された出力チャネルの第一の集合を生成する段階と；
脱相関され変調された出力チャネルの前記第一の集合を、二つ以上の脱相関されていない出力チャネルと組み合わせて、Np個の出力オーディオ・チャネルを含む出力オーディオ信号を生成する段階であって、Npは3以上の整数であり、前記出力チャネルは、前記第一の音場フォーマットより相対的に高い分解能の音場フォーマットである第二の音場フォーマットを表わし、前記脱相関されていない出力チャネルは、前記出力オーディオ信号の、より低い分解能の成分と一致し、前記脱相関され変調された出力チャネルは前記出力オーディオ信号の、より高い分解能の成分と一致する、段階と
を実行するよう一つまたは複数のデバイスを制御するための命令を含んでいる、非一時的な媒体。
〔態様１２〕
前記変調プロセスは脱相関チャネルの前記第一の集合に線形行列を適用することに関わる、態様１１記載の非一時的な媒体。
〔態様１３〕
前記組み合わせることは、脱相関されて変調された出力チャネルの前記第一の集合をNr個の脱相関されていない出力チャネルと組み合わせることに関わる、態様１１または１２記載の非一時的な媒体。
〔態様１４〕
前記第一の脱相関プロセスを適用することは、前記Nr個の入力オーディオ・チャネルのそれぞれに同一の脱相関プロセスを適用することに関わる、態様１１ないし１３のうちいずれか一項記載の非一時的な媒体。
〔態様１５〕
前記ソフトウェアは：
前記入力オーディオ・チャネルのうち二つ以上のチャネルの前記集合に第二の脱相関プロセスを適用して、脱相関チャネルの第二の集合を生成する段階であって、前記第二の脱相関プロセスは、入力オーディオ・チャネルの前記集合のチャネル間相関を維持する、段階と；
脱相関チャネルの前記第二の集合に第二の変調プロセスを適用して、脱相関され変調された出力チャネルの第二の集合を生成する段階とを実行するための命令を含み、
前記組み合わせることは、脱相関され変調された出力チャネルの前記第二の集合を、脱相関され変調された出力チャネルの前記第一の集合および前記二つ以上の脱相関されていない出力チャネルと組み合わせることに関わる、
態様１１ないし１４のうちいずれか一項記載の非一時的な媒体。
〔態様１６〕
前記第一の脱相関プロセスは第一の脱相関関数を含み、前記第二の脱相関プロセスは第二の脱相関関数を含み、前記第二の脱相関関数は前記第一の脱相関関数に約90度または約－90度の位相シフトを加えたものを含む、態様１５記載の非一時的な媒体。
〔態様１７〕
前記第一の変調プロセスは第一の変調関数を含み、前記第二の変調プロセスは第二の変調関数を含み、前記第二の変調関数は前記第一の変調関数に約90度または約－90度の位相シフトを加えたものを含む、態様１５または１６記載の非一時的な媒体。
〔態様１８〕
インターフェース・システムおよび制御システムを有する装置であって、
前記制御システムは：
Nr個の入力オーディオ・チャネルを含む入力オーディオ信号を前記インターフェース・システムを介して受領する段階であって、前記入力オーディオ信号は、第一の音場フォーマット分解能をもつ第一の音場フォーマットを表わし、Nrは2以上の整数である、段階と；
前記入力オーディオ・チャネルのうち二つ以上のチャネルの集合に第一の脱相関プロセスを適用して脱相関チャネルの第一の集合を生成する段階であって、前記第一の脱相関プロセスは、入力オーディオ・チャネルの前記集合のチャネル間相関を維持する、段階と；
脱相関チャネルの前記第一の集合に第一の変調プロセスを適用して、脱相関され変調された出力チャネルの第一の集合を生成する段階と；
脱相関され変調された出力チャネルの前記第一の集合を、二つ以上の脱相関されていない出力チャネルと組み合わせて、Np個の出力オーディオ・チャネルを含む出力オーディオ信号を生成する段階であって、Npは3以上の整数であり、前記出力チャネルは、前記第一の音場フォーマットより相対的に高い分解能の音場フォーマットである第二の音場フォーマットを表わし、前記脱相関されていない出力チャネルは、前記出力オーディオ信号の、より低い分解能の成分と一致し、前記脱相関され変調された出力チャネルは前記出力オーディオ信号の、より高い分解能の成分と一致する、段階とを実行できる、
装置。
〔態様１９〕
前記変調プロセスは脱相関チャネルの前記第一の集合に線形行列を適用することに関わる、態様１８記載の装置。
〔態様２０〕
前記組み合わせることは、脱相関されて変調された出力チャネルの前記第一の集合をNr個の脱相関されていない出力チャネルと組み合わせることに関わる、態様１８または１９記載の装置。
〔態様２１〕
前記第一の脱相関プロセスを適用することは、前記Nr個の入力オーディオ・チャネルのそれぞれに同一の脱相関プロセスを適用することに関わる、態様１８ないし２０のうちいずれか一項記載の装置。
〔態様２２〕
前記制御システムは：
前記入力オーディオ・チャネルのうち二つ以上のチャネルの前記集合に第二の脱相関プロセスを適用して、脱相関チャネルの第二の集合を生成する段階であって、前記第二の脱相関プロセスは、入力オーディオ・チャネルの前記集合のチャネル間相関を維持する、段階と；
脱相関チャネルの前記第二の集合に第二の変調プロセスを適用して、脱相関され変調された出力チャネルの第二の集合を生成する段階とをさらに実行でき、
前記組み合わせることは、脱相関され変調された出力チャネルの前記第二の集合を、脱相関され変調された出力チャネルの前記第一の集合および前記二つ以上の脱相関されていない出力チャネルと組み合わせることに関わる、
態様１８ないし２１のうちいずれか一項記載の装置。
〔態様２３〕
前記第一の脱相関プロセスは第一の脱相関関数を含み、前記第二の脱相関プロセスは第二の脱相関関数を含み、前記第二の脱相関関数は前記第一の脱相関関数に約90度または約－90度の位相シフトを加えたものを含む、態様２２記載の装置。
〔態様２４〕
前記第一の変調プロセスは第一の変調関数を含み、前記第二の変調プロセスは第二の変調関数を含み、前記第二の変調関数は前記第一の変調関数に約90度または約－90度の位相シフトを加えたものを含む、態様２２または２３記載の装置。
〔態様２５〕
インターフェース・システムおよび制御手段を有する装置であって、
前記制御手段は：
Nr個の入力オーディオ・チャネルを含む入力オーディオ信号を前記インターフェース・システムを介して受領する段階であって、前記入力オーディオ信号は、第一の音場フォーマット分解能をもつ第一の音場フォーマットを表わし、Nrは2以上の整数である、段階と；
前記入力オーディオ・チャネルのうち二つ以上のチャネルの集合に第一の脱相関プロセスを適用して脱相関チャネルの第一の集合を生成する段階であって、前記第一の脱相関プロセスは、入力オーディオ・チャネルの前記集合のチャネル間相関を維持する、段階と；
脱相関チャネルの前記第一の集合に第一の変調プロセスを適用して、脱相関され変調された出力チャネルの第一の集合を生成する段階と；
脱相関され変調された出力チャネルの前記第一の集合を、二つ以上の脱相関されていない出力チャネルと組み合わせて、Np個の出力オーディオ・チャネルを含む出力オーディオ信号を生成する段階であって、Npは3以上の整数であり、前記出力チャネルは、前記第一の音場フォーマットより相対的に高い分解能の音場フォーマットである第二の音場フォーマットを表わし、前記脱相関されていない出力チャネルは、前記出力オーディオ信号の、より低い分解能の成分と一致し、前記脱相関され変調された出力チャネルは前記出力オーディオ信号の、より高い分解能の成分と一致する、段階とを実行するための手段である、
装置。
〔態様２６〕
前記変調プロセスは脱相関チャネルの前記第一の集合に線形行列を適用することに関わる、態様２５記載の装置。
〔態様２７〕
前記組み合わせることは、脱相関されて変調された出力チャネルの前記第一の集合をNr個の脱相関されていない出力チャネルと組み合わせることに関わる、態様２５または２６記載の装置。
〔態様２８〕
前記第一の脱相関プロセスを適用することは、前記Nr個の入力オーディオ・チャネルのそれぞれに同一の脱相関プロセスを適用することに関わる、態様２５ないし２７のうちいずれか一項記載の装置。
〔態様２９〕
前記制御手段は：
前記入力オーディオ・チャネルのうち二つ以上のチャネルの前記集合に第二の脱相関プロセスを適用して、脱相関チャネルの第二の集合を生成する段階であって、前記第二の脱相関プロセスは、入力オーディオ・チャネルの前記集合のチャネル間相関を維持する、段階と；
脱相関チャネルの前記第二の集合に第二の変調プロセスを適用して、脱相関され変調された出力チャネルの第二の集合を生成する段階とを実行するための手段を含み、
前記組み合わせることは、脱相関され変調された出力チャネルの前記第二の集合を、脱相関され変調された出力チャネルの前記第一の集合および前記二つ以上の脱相関されていない出力チャネルと組み合わせることに関わる、
態様２５ないし２８のうちいずれか一項記載の装置。
〔態様３０〕
前記第一の脱相関プロセスは第一の脱相関関数を含み、前記第二の脱相関プロセスは第二の脱相関関数を含み、前記第二の脱相関関数は前記第一の脱相関関数に約90度または約－90度の位相シフトを加えたものを含む、態様２９記載の装置。
〔態様３１〕
前記第一の変調プロセスは第一の変調関数を含み、前記第二の変調プロセスは第二の変調関数を含み、前記第二の変調関数は前記第一の変調関数に約90度または約－90度の位相シフトを加えたものを含む、態様２９または３０記載の装置。

Claims (21)

  1. プロセッサと；
    前記プロセッサに動作を実行させる命令を記憶している非一時的なコンピュータ読み取り可能な媒体とを有するシステムであって、前記動作は：
    Nr個の入力オーディオ・チャネルを含む入力オーディオ信号をインターフェースから受領する段階であって、前記入力オーディオ信号は、第一の音場フォーマット分解能をもつ第一の音場フォーマットを表わし、Nrは2以上の整数である、段階と；
    前記入力オーディオ・チャネルのうち二つ以上のチャネルの集合に第一の脱相関プロセスを適用して脱相関チャネルの第一の集合を生成する段階であって、前記第一の脱相関プロセスは、入力オーディオ・チャネルの前記集合のチャネル間相関を維持する、段階と；
    脱相関チャネルの前記第一の集合に第一の変調プロセスを適用して、脱相関され変調された出力チャネルの第一の集合を生成する段階と；
    脱相関され変調された出力チャネルの前記第一の集合を、二つ以上の脱相関されていないチャネルと組み合わせて、Np個の出力オーディオ・チャネルを含む出力オーディオ信号を生成する段階であって、Npは3以上の整数である、段階とを含み、前記出力オーディオ・チャネルが、前記第一の音場フォーマットよりも相対的により高い分解能の音場フォーマットである第二の音場フォーマットを表わし、前記二つ以上の脱相関されていないチャネルは、前記出力オーディオ信号の、より低い分解能の成分と一致し、前記脱相関され変調された出力チャネルは、前記出力オーディオ信号の、より高い分解能の成分と一致する、段階とを含む、
    システム。
  2. 前記第一の変調プロセスは脱相関チャネルの前記第一の集合に線形行列を適用することを含む、請求項１記載のシステム。
  3. 前記組み合わせることが、脱相関され変調された出力チャネルの前記第一の集合を、Nr個の脱相関されていないチャネルと組み合わせることに関わる、請求項１記載のシステム。
  4. 前記第一の脱相関プロセスを適用することは、前記Nr個の入力オーディオ・チャネルのそれぞれに同一の脱相関プロセスを適用することを含む、請求項１記載のシステム。
  5. 前記動作が：
    前記入力オーディオ・チャネルのうち二つ以上のチャネルの前記集合に第二の脱相関プロセスを適用して、脱相関チャネルの第二の集合を生成する段階であって、前記第二の脱相関プロセスは、入力オーディオ・チャネルの前記集合のチャネル間相関を維持する、段階と；
    脱相関チャネルの前記第二の集合に第二の変調プロセスを適用して、脱相関され変調された出力チャネルの第二の集合を生成する段階とをさらに含み、
    前記組み合わせることは、脱相関され変調された出力チャネルの前記第二の集合を、脱相関され変調された出力チャネルの前記第一の集合および前記二つ以上の脱相関されていないチャネルと組み合わせることに関わる、
    請求項１記載のシステム。
  6. 前記動作が：
    前記第一の脱相関プロセスは第一の脱相関関数を含み、前記第二の脱相関プロセスは第二の脱相関関数を含み、前記第二の脱相関関数は前記第一の脱相関関数に約90度または約－90度の位相シフトを加えたものを含む、請求項５記載のシステム。
  7. 前記第一の変調プロセスは第一の変調関数を含み、前記第二の変調プロセスは第二の変調関数を含み、前記第二の変調関数は前記第一の変調関数に約90度または約－90度の位相シフトを加えたものを含む、請求項６記載のシステム。
  8. Nr個の入力オーディオ・チャネルを含む入力オーディオ信号をインターフェース・システムから受領する段階であって、前記入力オーディオ信号は、第一の音場フォーマット分解能をもつ第一の音場フォーマットを表わし、Nrは2以上の整数である、段階と；
    前記入力オーディオ・チャネルのうち二つ以上のチャネルの集合に第一の脱相関プロセスを適用して脱相関チャネルの第一の集合を生成する段階であって、前記第一の脱相関プロセスは、入力オーディオ・チャネルの前記集合のチャネル間相関を維持する、段階と；
    脱相関チャネルの前記第一の集合に第一の変調プロセスを適用して、脱相関され変調された出力チャネルの第一の集合を生成する段階と；
    脱相関され変調された出力チャネルの前記第一の集合を、二つ以上の脱相関されていないチャネルと組み合わせて、Np個の出力オーディオ・チャネルを含む出力オーディオ信号を生成する段階であって、Npは3以上の整数である、段階とを含み、前記出力オーディオ・チャネルが、前記第一の音場フォーマットよりも相対的により高い分解能の音場フォーマットである第二の音場フォーマットを表わし、前記二つ以上の脱相関されていないチャネルは、前記出力オーディオ信号の、より低い分解能の成分と一致し、前記脱相関され変調された出力チャネルは、前記出力オーディオ信号の、より高い分解能の成分と一致する、段階とを含む、
    方法。
  9. 前記第一の変調プロセスは脱相関チャネルの前記第一の集合に線形行列を適用することを含む、請求項８記載の方法。
  10. 前記組み合わせることが、脱相関され変調された出力チャネルの前記第一の集合を、Nr個の脱相関されていないチャネルと組み合わせることに関わる、請求項８記載の方法。
  11. 前記第一の脱相関プロセスを適用することは、前記Nr個の入力オーディオ・チャネルのそれぞれに同一の脱相関プロセスを適用することを含む、請求項８記載の方法。
  12. 前記入力オーディオ・チャネルのうち二つ以上のチャネルの前記集合に第二の脱相関プロセスを適用して、脱相関チャネルの第二の集合を生成する段階であって、前記第二の脱相関プロセスは、入力オーディオ・チャネルの前記集合のチャネル間相関を維持する、段階と；
    脱相関チャネルの前記第二の集合に第二の変調プロセスを適用して、脱相関され変調された出力チャネルの第二の集合を生成する段階とをさらに含み、
    前記組み合わせることは、脱相関され変調された出力チャネルの前記第二の集合を、脱相関され変調された出力チャネルの前記第一の集合および前記二つ以上の脱相関されていないチャネルと組み合わせることに関わる、
    請求項８記載の方法。
  13. 前記第一の脱相関プロセスは第一の脱相関関数を含み、前記第二の脱相関プロセスは第二の脱相関関数を含み、前記第二の脱相関関数は前記第一の脱相関関数に約90度または約－90度の位相シフトを加えたものを含む、請求項１２記載の方法。
  14. 前記第一の変調プロセスは第一の変調関数を含み、前記第二の変調プロセスは第二の変調関数を含み、前記第二の変調関数は前記第一の変調関数に約90度または約－90度の位相シフトを加えたものを含む、請求項１３記載の方法。
  15. プロセッサによって実行されると前記プロセッサに動作を実行させる命令を記憶している非一時的なコンピュータ読み取り可能な媒体であって、前記動作は：
    Nr個の入力オーディオ・チャネルを含む入力オーディオ信号をインターフェース・システムから受領する段階であって、前記入力オーディオ信号は、第一の音場フォーマット分解能をもつ第一の音場フォーマットを表わし、Nrは2以上の整数である、段階と；
    前記入力オーディオ・チャネルのうち二つ以上のチャネルの集合に第一の脱相関プロセスを適用して脱相関チャネルの第一の集合を生成する段階であって、前記第一の脱相関プロセスは、入力オーディオ・チャネルの前記集合のチャネル間相関を維持する、段階と；
    脱相関チャネルの前記第一の集合に第一の変調プロセスを適用して、脱相関され変調された出力チャネルの第一の集合を生成する段階と；
    脱相関され変調された出力チャネルの前記第一の集合を、二つ以上の脱相関されていないチャネルと組み合わせて、Np個の出力オーディオ・チャネルを含む出力オーディオ信号を生成する段階であって、Npは3以上の整数である、段階とを含み、前記出力オーディオ・チャネルが、前記第一の音場フォーマットよりも相対的により高い分解能の音場フォーマットである第二の音場フォーマットを表わし、前記二つ以上の脱相関されていないチャネルは、前記出力オーディオ信号の、より低い分解能の成分と一致し、前記脱相関され変調された出力チャネルは、前記出力オーディオ信号の、より高い分解能の成分と一致する、段階とを含む、
    非一時的なコンピュータ読み取り可能な媒体。
  16. 前記第一の変調プロセスは脱相関チャネルの前記第一の集合に線形行列を適用することを含む、請求項１５記載の非一時的なコンピュータ読み取り可能な媒体。
  17. 前記組み合わせることが、脱相関され変調された出力チャネルの前記第一の集合を、Nr個の脱相関されていないチャネルと組み合わせることに関わる、請求項１５記載の非一時的なコンピュータ読み取り可能な媒体。
  18. 前記第一の脱相関プロセスを適用することは、前記Nr個の入力オーディオ・チャネルのそれぞれに同一の脱相関プロセスを適用することを含む、請求項１５記載の非一時的なコンピュータ読み取り可能な媒体。
  19. 前記動作が：
    前記入力オーディオ・チャネルのうち二つ以上のチャネルの前記集合に第二の脱相関プロセスを適用して、脱相関チャネルの第二の集合を生成する段階であって、前記第二の脱相関プロセスは、入力オーディオ・チャネルの前記集合のチャネル間相関を維持する、段階と；
    脱相関チャネルの前記第二の集合に第二の変調プロセスを適用して、脱相関され変調された出力チャネルの第二の集合を生成する段階とをさらに含み、
    前記組み合わせることは、脱相関され変調された出力チャネルの前記第二の集合を、脱相関され変調された出力チャネルの前記第一の集合および前記二つ以上の脱相関されていないチャネルと組み合わせることに関わる、
    請求項１５記載の非一時的なコンピュータ読み取り可能な媒体。
  20. 前記動作が：
    前記第一の脱相関プロセスは第一の脱相関関数を含み、前記第二の脱相関プロセスは第二の脱相関関数を含み、前記第二の脱相関関数は前記第一の脱相関関数に約90度または約－90度の位相シフトを加えたものを含む、請求項１９記載の非一時的なコンピュータ読み取り可能な媒体。
  21. N r は3以上の整数である、請求項１ないし７のうちいずれか一項に記載のシステム。
JP2021128119A 2015-03-03 2021-08-04 変調された脱相関による空間的オーディオ信号の向上 Active JP7321218B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562127613P 2015-03-03 2015-03-03
US62/127,613 2015-03-03
US201662298905P 2016-02-23 2016-02-23
US62/298,905 2016-02-23
JP2019150274A JP6926159B2 (ja) 2015-03-03 2019-08-20 変調された脱相関による空間的オーディオ信号の向上

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019150274A Division JP6926159B2 (ja) 2015-03-03 2019-08-20 変調された脱相関による空間的オーディオ信号の向上

Publications (2)

Publication Number Publication Date
JP2021177668A JP2021177668A (ja) 2021-11-11
JP7321218B2 true JP7321218B2 (ja) 2023-08-04

Family

ID=55854783

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2017542860A Active JP6576458B2 (ja) 2015-03-03 2016-03-02 変調された脱相関による空間的オーディオ信号の向上
JP2019150274A Active JP6926159B2 (ja) 2015-03-03 2019-08-20 変調された脱相関による空間的オーディオ信号の向上
JP2021128119A Active JP7321218B2 (ja) 2015-03-03 2021-08-04 変調された脱相関による空間的オーディオ信号の向上

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2017542860A Active JP6576458B2 (ja) 2015-03-03 2016-03-02 変調された脱相関による空間的オーディオ信号の向上
JP2019150274A Active JP6926159B2 (ja) 2015-03-03 2019-08-20 変調された脱相関による空間的オーディオ信号の向上

Country Status (6)

Country Link
US (5) US10210872B2 (ja)
EP (3) EP3611727B1 (ja)
JP (3) JP6576458B2 (ja)
CN (2) CN107430861B (ja)
ES (1) ES2922373T3 (ja)
WO (1) WO2016141023A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3611727B1 (en) 2015-03-03 2022-05-04 Dolby Laboratories Licensing Corporation Enhancement of spatial audio signals by modulated decorrelation
WO2016210174A1 (en) 2015-06-25 2016-12-29 Dolby Laboratories Licensing Corporation Audio panning transformation system and method
US10015618B1 (en) * 2017-08-01 2018-07-03 Google Llc Incoherent idempotent ambisonics rendering
JP2021530723A (ja) * 2018-07-02 2021-11-11 ドルビー ラボラトリーズ ライセンシング コーポレイション 没入的オーディオ信号を含むビットストリームを生成またはデコードするための方法および装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007043388B1 (ja) 2005-10-07 2007-05-31 Matsushita Electric Ind Co Ltd 音響信号処理装置および音響信号処理方法
JP2008507184A (ja) 2004-07-14 2008-03-06 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オーディオチャネル変換
JP2013517687A (ja) 2010-01-22 2013-05-16 ドルビー ラボラトリーズ ライセンシング コーポレイション マルチチャネル脱相関を使った改善されたマルチチャネル上方混合
WO2015017235A1 (en) 2013-07-31 2015-02-05 Dolby Laboratories Licensing Corporation Processing spatially diffuse or large audio objects
US20160157039A1 (en) 2013-07-22 2016-06-02 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Multi-Channel Decorrelator, Multi-Channel Audio Decoder, Multi-Channel Audio Encoder, Methods and Computer Program using a Premix of Decorrelator Input Signals
JP6576458B2 (ja) 2015-03-03 2019-09-18 ドルビー ラボラトリーズ ライセンシング コーポレイション 変調された脱相関による空間的オーディオ信号の向上

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11275696A (ja) * 1998-01-22 1999-10-08 Sony Corp ヘッドホン、ヘッドホンアダプタおよびヘッドホン装置
WO2002078388A2 (en) * 2001-03-27 2002-10-03 1... Limited Method and apparatus to create a sound field
US8363865B1 (en) 2004-05-24 2013-01-29 Heather Bottum Multiple channel sound system using multi-speaker arrays
DE102005010057A1 (de) * 2005-03-04 2006-09-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines codierten Stereo-Signals eines Audiostücks oder Audiodatenstroms
CN101248483B (zh) * 2005-07-19 2011-11-23 皇家飞利浦电子股份有限公司 多声道音频信号的生成
EP1927265A2 (en) * 2005-09-13 2008-06-04 Koninklijke Philips Electronics N.V. A method of and a device for generating 3d sound
US8515468B2 (en) 2005-09-21 2013-08-20 Buckyball Mobile Inc Calculation of higher-order data from context data
WO2007118583A1 (en) * 2006-04-13 2007-10-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio signal decorrelator
US9015051B2 (en) * 2007-03-21 2015-04-21 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Reconstruction of audio channels with direction parameters indicating direction of origin
ES2796552T3 (es) * 2008-07-11 2020-11-27 Fraunhofer Ges Forschung Sintetizador de señales de audio y codificador de señales de audio
EP2560161A1 (en) * 2011-08-17 2013-02-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Optimal mixing matrices and usage of decorrelators in spatial audio processing
CN103165136A (zh) * 2011-12-15 2013-06-19 杜比实验室特许公司 音频处理方法及音频处理设备
EP2830336A3 (en) * 2013-07-22 2015-03-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Renderer controlled spatial upmix
EP2980789A1 (en) * 2014-07-30 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for enhancing an audio signal, sound enhancing system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008507184A (ja) 2004-07-14 2008-03-06 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オーディオチャネル変換
WO2007043388B1 (ja) 2005-10-07 2007-05-31 Matsushita Electric Ind Co Ltd 音響信号処理装置および音響信号処理方法
JP2013517687A (ja) 2010-01-22 2013-05-16 ドルビー ラボラトリーズ ライセンシング コーポレイション マルチチャネル脱相関を使った改善されたマルチチャネル上方混合
US20160157039A1 (en) 2013-07-22 2016-06-02 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Multi-Channel Decorrelator, Multi-Channel Audio Decoder, Multi-Channel Audio Encoder, Methods and Computer Program using a Premix of Decorrelator Input Signals
WO2015017235A1 (en) 2013-07-31 2015-02-05 Dolby Laboratories Licensing Corporation Processing spatially diffuse or large audio objects
JP6576458B2 (ja) 2015-03-03 2019-09-18 ドルビー ラボラトリーズ ライセンシング コーポレイション 変調された脱相関による空間的オーディオ信号の向上

Also Published As

Publication number Publication date
US10210872B2 (en) 2019-02-19
CN112002337A (zh) 2020-11-27
US20230230600A1 (en) 2023-07-20
JP6926159B2 (ja) 2021-08-25
US11562750B2 (en) 2023-01-24
EP4123643B1 (en) 2024-06-19
CN107430861A (zh) 2017-12-01
ES2922373T3 (es) 2022-09-14
US10593338B2 (en) 2020-03-17
US20200273469A1 (en) 2020-08-27
US11081119B2 (en) 2021-08-03
CN107430861B (zh) 2020-10-16
US20220028400A1 (en) 2022-01-27
EP3611727B1 (en) 2022-05-04
US20190180760A1 (en) 2019-06-13
EP4123643A1 (en) 2023-01-25
EP3266021B1 (en) 2019-05-08
JP6576458B2 (ja) 2019-09-18
JP2018511213A (ja) 2018-04-19
JP2020005278A (ja) 2020-01-09
US20180018977A1 (en) 2018-01-18
JP2021177668A (ja) 2021-11-11
WO2016141023A1 (en) 2016-09-09
EP3611727A1 (en) 2020-02-19
EP3266021A1 (en) 2018-01-10

Similar Documents

Publication Publication Date Title
JP7321218B2 (ja) 変調された脱相関による空間的オーディオ信号の向上
US9949053B2 (en) Method and mobile device for processing an audio signal
US20170366912A1 (en) Ambisonic audio rendering with depth decoding
US9402144B2 (en) Apparatus for changing an audio scene and an apparatus for generating a directional function
CA3147196C (en) Method for and apparatus for decoding an ambisonics audio soundfield representation for audio playback using 2d setups
WO2015089468A2 (en) Apparatus and method for sound stage enhancement
JP6539742B2 (ja) オーディオ信号をフィルタリングするためのオーディオ信号処理装置および方法
CN111295896A (zh) 在扬声器的任意集合上的基于对象的音频的虚拟渲染
JP6552132B2 (ja) 音声信号のクロストーク低減のための音声信号処理装置および方法
EP3613219A1 (en) Stereo virtual bass enhancement
KR20210027343A (ko) 다채널 오디오 신호의 바이노럴 렌더링 방법 및 장치
KR101637407B1 (ko) 부가적인 출력 채널들을 제공하기 위하여 스테레오 출력 신호를 발생시키기 위한 장치와 방법 및 컴퓨터 프로그램
US11284213B2 (en) Multi-channel crosstalk processing
JPH1188994A (ja) 音像定位装置及び音像制御方法
JP6629739B2 (ja) 音声処理装置
GB2617055A (en) Apparatus, Methods and Computer Programs for Enabling Rendering of Spatial Audio

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210804

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220927

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20221227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230627

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230725

R150 Certificate of patent or registration of utility model

Ref document number: 7321218

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150