JP2010515944A

JP2010515944A - オーディオデコーダ

Info

Publication number: JP2010515944A
Application number: JP2009545259A
Authority: JP
Inventors: ディルクジェイブレーバールト
Original assignee: Koninklijke Philips NV; Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2007-01-10
Filing date: 2008-01-07
Publication date: 2010-05-13
Anticipated expiration: 2028-01-07
Also published as: CN101578658A; US20100076774A1; BRPI0806346A2; US8634577B2; MX2009007412A; RU2009130352A; KR20090113286A; WO2008084427A2; BRPI0806346B1; WO2008084427A3; TR201906713T4; CN101578658B; BRPI0806346A8; KR101443568B1; JP5455647B2; EP2109861A2; RU2466469C2; EP2109861B1

Abstract

オーディオデコーダ１００は、エフェクト手段、デコード手段及び再生手段を有する。エフェクト手段５００は、受信されたダウンミクスオーディオ信号から変更されたダウンミクスオーディオ信号を生成する。前記受信されたダウンミクスオーディオ信号は複数のオーディオオブジェクトのダウンミクスを有する。前記変更されたダウンミクスオーディオ信号は、前記受信されたダウンミクスオーディオ信号に含まれるオーディオオブジェクトに対応する推定されたオーディオ信号に対してエフェクトを適用することにより得られる。前記推定されたオーディオ信号は、受信されたパラメトリックデータに基づいて前記受信されたダウンミクスオーディオ信号から導出される。前記受信されたパラメトリックデータは、前記複数のオーディオオブジェクトのそれぞれについての複数のオブジェクトパラメータを有する。前記変更されたダウンミクスオーディオ信号は、適用されたエフェクトのタイプに基づいて、デコード手段によってデコードされるか若しくは又は再生手段によって再生されるか又は再生手段の出力と結合される。デコード手段３００は、前記パラメトリックデータに基づいて、前記ダウンミクスオーディオ信号又は前記変更されたダウンミクスオーディオ信号から前記オーディオオブジェクトをデコードするように構成される。再生手段４００は、前記デコードされたオーディオオブジェクトから少なくとも１つの出力オーディオ信号を生成するように構成される。

Description

本発明は、オーディオデコーダに関し、特に、限定するものではないが、ＭＰＥＧサラウンドデコーダ又はオブジェクト指向デコーダに関する。

（パラメトリック）空間オーディオ符号化器（エンコーダ）においては、減少された数のダウンミクスオーディオ信号（例えば、モノラルに対応する単一のダウンミクス信号、又はステレオダウンミクスのための２つのダウンミクス信号）と、元のオーディオ信号の空間特性を記述する対応するパラメータのセットとを生成するために、元のオーディオ信号からパラメータが抽出される。（パラメトリック）空間オーディオデコーダにおいては、送信される空間パラメータにより記述される空間特性は、元の多チャネルオーディオ信号に非常に類似した、空間多チャネル信号を再生成するために利用される。

近年、デコード側における個々のオーディオオブジェクトの処理及び操作のための手法が、大きな関心を集めている。例えば、ＭＰＥＧのフレームワーク内で、オブジェクトベースの空間オーディオ符号化に対するワークグループが始まっている。該ワークグループの目的は、「複数の音源又はオブジェクトを、幾つかのダウンミクスチャネルと対応する空間パラメータとへ、ビットレート効率良く符号化するための、新たな技術の探究、及び現在のＭＰＥＧサラウンドコンポーネント及び技術の再利用」である。換言すれば、該目的は、複数のオーディオオブジェクトを、対応するパラメータを伴うダウンミクスチャネルの限られたセットへとエンコードすることである。デコーダ側においては、例えば個々のオブジェクトを再配置することにより、ユーザがコンテンツとインタラクトする。

斯かるコンテンツとのインタラクションは、オブジェクト指向デコーダにおいて容易に実現される。該インタラクションはこのとき、デコードに後続する再生を含むことにより実現される。該再生は、個々のオブジェクトを決定する必要をなくすために、デコードと組み合わせられる。現在利用可能な専用の再生は、オブジェクトの配置、音量の調節、又は再生されるオーディオ信号の等化を有する。

再生が組み込まれた既知のオブジェクト指向デコーダの１つの欠点は、個々のオブジェクトを生成しないため又は個々のオブジェクトに対して操作をしないため、オブジェクトの操作の限られたセットしか許容しない点である。一方で、個々のオーディオオブジェクトの明示的なデコードは、非常にコストが高く非効率的である。

本発明の目的は、広範なオブジェクトの操作を、個々のオーディオオブジェクトをこの目的のためにデコードする必要なく可能とする、オーディオオブジェクトをデコードするための改善されたデコーダを提供することにある。

本目的は、本発明によるオーディオデコーダにより達成される。それぞれが対応する波形を持つオブジェクトのセットが、オブジェクト指向エンコーダにおいて前もってエンコードされており、該エンコーダがダウンミクスオーディオ信号（単一チャネルの場合には単一の信号）を生成し、該ダウンミクスオーディオ信号が、複数のオーディオオブジェクトのダウンミクスと対応するパラメトリックデータとであることが仮定される。該パラメトリックデータは、異なるオーディオオブジェクトのそれぞれについて、オブジェクトパラメータのセットを有する。受信器は、該ダウンミクスオーディオ信号と該パラメトリックデータとを受信する。該ダウンミクスオーディオ信号は更にエフェクト（effect）手段に送られ、該エフェクト手段が、該ダウンミクスオーディオ信号に含まれる選択されたオーディオオブジェクトに対応するオーディオ信号の推定値に対してエフェクトを適用することにより、変更されたダウンミクスオーディオ信号を生成する。該オーディオ信号の推定値は、パラメトリックデータに基づいて導出される。変更されたダウンミクスオーディオ信号は更に、例えば挿入又は送信エフェクトのような適用されるエフェクトのタイプに依存して、デコード手段若しくは再生手段に送られ、又は再生手段の出力と組み合わせられる。デコード手段は、該デコード手段に送られたダウンミクスオーディオ信号からオーディオオブジェクトをデコードし、ここで該ダウンミクスオーディオ信号は、元の受信されたダウンミクスオーディオ信号又は変更されたダウンミクスオーディオ信号である。該デコードは、パラメトリックデータに基づいて実行される。再生手段は、適用されるエフェクトのタイプに依存して、デコード手段及び任意にエフェクト手段から得られたオーディオオブジェクトから、空間出力オーディオ信号を生成する。

本発明によるデコーダの利点は、種々のタイプのエフェクトを適用するために、エフェクトが適用されるべきオブジェクトが利用可能であることを必要としない点である。その代わりに、本発明は、実際のデコードの前に又は実際のデコードと並行して、オブジェクトに対応する推定されたオーディオ信号に対してエフェクトを適用することを提案する。それ故、明示的なオブジェクトのデコードは必要とされず、デコーダにおいて生じる再生が保存される。

一実施例においては、前記オブジェクト又は複数のオブジェクトに対応する推定されたオーディオ信号のスペクトル又は時間エンベロープが前記挿入エフェクトにより変更される場合、前記パラメトリックデータを変更するための変更手段を更に有する。

斯かるエフェクトの例は、付加的な高周波スペクトル成分を生成する非線形歪み、又は多帯域圧縮器である。変更されたオーディオ信号のスペクトル特性が変化した場合、受信されたパラメトリックデータに含まれる変更されていないパラメータを適用することは、望ましくない、ことによると不快なアーティファクトに導き得る。それ故、新たなスペクトル又は時間特性に合致するようにパラメータを適合させることが、結果の再生されるオーディオ信号の品質を改善する。

一実施例においては、前記オーディオオブジェクト又は複数のオーディオオブジェクトに対応する推定されたオーディオ信号の生成は、オーディオオブジェクトに対応するパワーパラメータに基づく前記ダウンミクスオーディオ信号の時間／周波数依存のスケーリングを有し、前記パワーパラメータは前記パラメトリックデータに含まれる。

該推定の利点は、該推定が、ダウンミクスオーディオ信号の乗算を有する点である。このことは、推定処理を単純且つ効率的なものとする。

一実施例においては、前記デコード手段は、ＭＰＥＧサラウンド規格に従うデコーダと、前記パラメトリックデータをＭＰＥＧサラウンド規格に従うパラメトリックデータに変換するための変換手段と、を有する。

ＭＰＥＧサラウンドデコーダを用いる利点は、このタイプのデコーダが、オブジェクト指向デコーダのための再生エンジンとして利用される点である。この場合には、オブジェクト指向パラメータは、ユーザ制御データと組み合わせられ、チャネル（対）間のレベル差及び相関パラメータのようなＭＰＥＧサラウンドパラメータへと変換される。それ故、ＭＰＥＧサラウンドパラメータは、オブジェクト指向パラメータ（即ち送信される情報）と、所望の再生特性（即ちデコーダ側で設定されるユーザ制御可能な情報）との組み合わせられたエフェクトに起因する。このような場合には、中間のオブジェクト信号が必要とされない。

本発明は更に、受信器及び通信システム、並びに対応する方法を提供する。

一実施例においては、挿入と送信とのエフェクトは同時に適用される。例えば挿入エフェクトの利用は送信エフェクトの利用を除外するものではなく、その逆も成り立つ。

本発明は更に、プログラム可能な装置が本発明による方法を実行することを可能とする、コンピュータプログラムを提供する。

本発明のこれらの及び他の態様は、図面に示される実施例を参照しながら説明され明らかとなるであろう。

図面を通して、同一の参照番号は類似する又は対応する特徴を示す。図面において示される特徴の幾つかは、典型的にはソフトウェアにより実装され、それ自体がソフトウェアモジュール又はオブジェクトのようなソフトウェアエンティティを表す。

オブジェクト指向デコーダを模式的に示す。本発明によるオブジェクト指向デコーダを模式的に示す。挿入エフェクトのためのエフェクト手段の例を示す。オブジェクト又は複数のオブジェクトに対応する推定されたオーディオ信号のスペクトルエンベロープが挿入エフェクトにより変更される場合の、パラメトリックデータを変更するための変更手段を示す。送信エフェクトのためのエフェクト手段の例を示す。ＭＰＥＧサラウンド規格に従うデコーダと、パラメトリックデータをＭＰＥＧサラウンド規格に従うパラメトリックデータに変換するための変換手段と、を有するデコーダ手段を示す。本発明の幾つかの実施例による、オーディオ信号の通信のための伝送システムを示す。

図１Ａは、例えばC. Fallerによる「Parametric Joint-Coding of Audio Sources」（AES 120th Convention、Paris、フランス国、Preprint 6752、2006年5月）より知られた、オブジェクト指向デコーダ１００を模式的に示す。それぞれが対応する波形を持つオブジェクトのセットが、オブジェクト指向エンコーダにおいて前もってエンコードされており、該エンコーダがダウンミクスオーディオ信号（単一チャネルの場合には単一の信号、又は２つのチャネル（ステレオ）の場合には２つの信号）を生成し、該ダウンミクスオーディオ信号が、対応するパラメトリックデータにより特徴付けられる複数のオーディオオブジェクトのダウンミクスであることが仮定される。該パラメトリックデータは、種々のオーディオオブジェクトのそれぞれについて、オブジェクトパラメータのセットを有する。受信器２００は、前記ダウンミクスオーディオ信号と前記パラメトリックデータとを受信する。

受信器２００に送られる信号は、ダウンミクスオーディオ信号及びパラメトリックデータに対応する多重化されたダウンミクスオーディオデータのストリームに対応する単一の信号である。該受信器の機能はこのとき、２つのデータストリームの多重分離である。ダウンミクスオーディオ信号が圧縮された形態（ＭＰＥＧ−１レイヤ３のような）で提供される場合には、受信器２００は更に、圧縮されたオーディオ信号の、時間ドメインのオーディオダウンミクス信号への伸張及びデコードを実行する。

受信器２００の入力は単一の信号／データ経路として示されているが、別個のダウンミクス信号及び／又はパラメトリックデータに対して複数のデータ経路を有しても良い。従って、ダウンミクス信号及びパラメトリックデータはデコード手段３００に送られ、該デコード手段３００が、パラメトリックデータに基づいてダウンミクスオーディオ信号からオーディオオブジェクトをデコードする。デコードされたオーディオオブジェクトは更に、該デコードされたオーディオオブジェクトから少なくとも１つの出力オーディオ信号を生成するため、再生手段４００へと送られる。デコード手段と再生手段とは別個のユニットとして示されているが、これらはしばしば併合される。斯かるデコード手段と再生処理手段との併合の結果、個々のオーディオオブジェクトの明示的なデコードの必要がなくなる。その代わりに、再生されるオーディオ信号は、かなり低い計算コストで、且つオーディオ品質の損失なく、提供される。

図１Ｂは、本発明によるオブジェクト指向デコーダ１１０を模式的に示す。受信器２００は、前記ダウンミクスオーディオ信号及び前記パラメトリックデータを受信する。該ダウンミクスオーディオ信号及びパラメトリックデータは更にエフェクト手段５００に送られ、該エフェクト手段５００は、該ダウンミクスオーディオ信号に含まれる選択されたオーディオオブジェクトに対応するオーディオ信号の推定値に対してエフェクトを適用することにより、変更されたダウンミクスオーディオ信号を生成する。前記オーディオ信号の推定値は、パラメトリックデータに基づいて導出される。変更されたダウンミクスオーディオ信号は更に、例えば挿入又は送信エフェクトのような適用されるエフェクトのタイプに依存して、デコード手段３００若しくは再生手段４００に送られ、又は再生手段の出力と組み合わせられる。デコード手段３００は、該デコード手段に送られたダウンミクスオーディオ信号からオーディオオブジェクトをデコードし、ここで該ダウンミクスオーディオ信号は、元の受信されたダウンミクスオーディオ信号又は変更されたダウンミクスオーディオ信号である。該デコードは、パラメトリックデータに基づいて実行される。再生手段４００は、適用されるエフェクトのタイプに依存して、デコード手段３００及び任意にエフェクト手段５００から得られたオーディオオブジェクトから、空間出力オーディオ信号を生成する。

図２は、挿入エフェクトのためのエフェクト手段５００の例を示す。ダウンミクス信号５０１は、エフェクト手段５００に送られる。これら信号は、推定手段５１０に含まれるユニット５１１及び５１２に、並行して送られる。推定手段５１０は、挿入エフェクトが適用されるべきオブジェクト又は複数のオブジェクトに対応する推定されたオーディオ信号と、残りのオブジェクトに対応する推定されたオーディオ信号とを生成する。挿入エフェクトが適用されるべきオブジェクト又は複数のオブジェクトに対応するオーディオ信号の推定はユニット５１１により実行され、残りのオブジェクトに対応するオーディオ信号の推定はユニット５１２により実行される。前記推定は、受信器２００から得られるパラメトリックデータ５０２に基づくものである。従って、挿入エフェクトは、挿入エフェクトが適用されるべきオブジェクト又は複数のオブジェクトに対応する推定されたオーディオ信号に対して、挿入手段５３０により適用される。加算器５４０は、挿入手段５３０から供給されるオーディオ信号と、残りのオブジェクトに対応する推定されたオーディオ信号とを加算し、それ故全てのオブジェクトを再び組み合わせる。その結果の変更されたダウンミクス信号５０３は更に、オブジェクト指向デコーダ１１０のデコード手段３００に送られる。本明細の残りの部分において、ユニット２００、３００又は４００が参照されるときはいつでも、これらユニットはオブジェクト指向デコーダ１１０に含まれる。

挿入エフェクトの例は、数あるなかでも、ダイナミックレンジ圧縮、歪みの生成（例えばギターのアンプをシミュレートするため）、又はボコーダである。このタイプのエフェクトは好適には、オーディオオブジェクトの限られた（好適には単一の）セットに対して適用される。

図３は、オブジェクト又は複数のオブジェクトに対応する推定されたオーディオ信号のスペクトルエンベロープが挿入エフェクトにより変更される場合の、パラメトリックデータを変更するための変更手段６００を示す。ユニット５１１及び５１２は例えば個々のオーディオオブジェクトを推定し、ユニット５１３は残りのオーディオオブジェクトを同時に推定する。挿入手段５３０は、それぞれユニット５１１及び５１２から得られる推定された信号に対して挿入エフェクトを適用する、別個のユニット５３１及び５３２を有する。加算器５４０は、挿入手段５３０から供給されるオーディオ信号と、残りのオブジェクトに対応する推定されたオーディオ信号とを加算し、それ故全てのオブジェクトを再び組み合わせる。その結果の変更されたダウンミクス信号５０３は更に、オブジェクト指向デコーダ１１０のデコード手段３００に送られる。

ユニット５３１及び５３２において利用される挿入エフェクトは、同一のタイプのおものであっても良いし、又は異なるものであっても良い。ユニット５３２により利用される挿入エフェクトは例えば、付加的な高周波スペクトル成分を生成する非線形歪み、又は多帯域圧縮器である。変更されたオーディオ信号のスペクトル特性が変化した場合、デコード手段３００において受信されたパラメトリックデータに含まれる変更されていないパラメータを適用することは、望ましくない、ことによると不快なアーティファクトに導き得る。それ故、新たなスペクトル又は時間特性に合致するようにパラメータを適合させることが、結果のオーディオ信号の品質を改善する。該パラメトリックデータの適合は、ユニット６００において実行される。適合されたパラメトリックデータ５０４はデコード手段３００に送られ、変更されたダウンミクス信号５０３のデコードのために利用される。

挿入手段５３０に含まれる２つのユニット５３１及び５３２は単なる例であることは、留意されるべきである。ユニットの数は、適用されるべき挿入エフェクトの数に応じて変化しても良い。更に、ユニット５３１及び５３２は、ハードウェアで実装されても良いし、又はソフトウェアで実装されても良い。

図４は、送信エフェクトのためのエフェクト手段の例を示す。ダウンミクス信号５０１はエフェクト手段５００に送られ、これら信号は、推定手段５１０に含まれるユニット５１１及び５１２に並行して送られる。推定手段５１０は、送信エフェクトが適用されるべきオブジェクト又は複数のオブジェクトに対応する推定されたオーディオ信号を生成する。前記推定は、受信器２００から得られるパラメトリックデータ５０２に基づくものである。従って、推定手段５１０から得られるオブジェクト又は複数のオブジェクトに対応する推定されたオーディオ信号に対して、利得手段５６０により、利得が加えられる。利得は、重みとも呼ばれ得、オブジェクト又は複数のオブジェクト毎のエフェクトの量を決定する。ユニット５６１及び５６２のそれぞれは、推定手段から得られた個々のオーディオ信号に対して、利得を加える。これらユニットのそれぞれは、種々の利得を加え得る。加算器５４０は利得手段５６０から供給されたオーディオ信号を加算し、ユニット５７０が送信エフェクトを適用する。その結果の信号５０５は、「湿った（wet）」出力とも呼ばれ、再生手段へと送られるか、又は代替としては、再生手段の出力と混合される（又は該出力に加算される）。

送信エフェクトの例は、数あるなかでも、例えばコーラス、フランジャ（flanger）、フェイザ（phaser）のような反響、変調エフェクトである。

利得手段５６０に含まれる２つのユニット５６１及び５６２は単なる例であることは、留意されるべきである。ユニットの数は、送信エフェクトのレベルが設定されるべきオーディオオブジェクト又は複数のオーディオオブジェクトに対応する信号の数に応じて、変化しても良い。

推定手段５１０及び利得手段５６０は、複数のオブジェクト信号の重み付けされた結合を推定する、単一の処理ステップへと結合されても良い。利得５６１及び５６２は、それぞれ推定手段５１１及び５１２において組み込まれても良い。このことは以下の式にも記述され、ここでＱはオブジェクト信号の重み付けされた結合（の推定値）であり、時間／周波数タイル毎に１つの単一のスケーリング操作により得られる。

オブジェクト又はオブジェクトの結合毎の利得は、「エフェクト送信レベル」と解釈され得る。幾つかの用途においては、エフェクトの量は好適には、オブジェクト毎にユーザ制御可能である。例えば、ユーザは、或るオブジェクトを反響なしで所望し、別のオブジェクトを少量の反響を伴って所望し、更に他のオブジェクトを完全な反響を伴って所望し得る。斯かる例においては、オブジェクト毎の利得は、それぞれのオブジェクトについて、０、０．５及び１．０に等しくても良い。

一実施例においては、オーディオオブジェクト又は複数のオブジェクトに対応する推定されたオーディオ信号の生成は、オーディオオブジェクトに対応するパワーパラメータに基づく、ダウンミクスオーディオ信号の時間／周波数依存のスケーリングを有する。ここで、前記パワーパラメータは、パラメトリックデータに含まれる。

本実施例は、以下の例について説明される。エンコーダにおいて、Ｉ個のオブジェクト信号ｓ_ｉ［ｎ］（ここでｉ＝０、…、Ｉ−１であり、ｎはサンプルインデクスである）がダウンミクスされ、ダウンミクス信号の和：

によりダウンミクス信号ｘ［ｎ］を生成する。

該ダウンミクス信号は、ダウンミクス信号ｘ［ｎ］の個々の時間／周波数タイル内の、各オブジェクトの（相対的な）信号パワーを記述する、オブジェクト指向パラメータに付随される。オブジェクト信号ｓ_ｉ［ｎ］は、例えば最初に、オーバラップ解析ウィンドウｗ［ｎ］を用いて、ウィンドウ処理される：

ここでＬはウィンドウの長さであり、例えばＬ／２は対応するホップサイズ（５０％のオーバラップを仮定する）であり、ｍはウィンドウのインデクスである。該解析ウィンドウの典型的な形態は、ハニングウィンドウ（Hanning Window）：

である。

結果のセグメント化された信号ｓ_ｉ［ｎ，ｍ］は次いで、ＦＦＴを用いて周波数ドメインへと変換される：

ここで、ｋはＦＦＴビンのインデクスである。ＦＦＴビンのインデスクｋは次いで、パラメータ帯ｂへとグループ化される。換言すれば、各パラメータ帯ｂは、隣接する周波数ビンのインデクスｋのセットに対応する。各パラメータ帯ｂ、及び各オブジェクト信号Ｓ_ｉ［ｋ，ｍ］の各セグメントｍについて、パワー値σ_ｉ ^２［ｂ，ｍ］が計算される：

ここで、＊は複素共役演算子である。これらのパラメータσ_ｉ ^２［ｂ，ｍ］は、パラメトリックデータに（好適には対数ドメインで量子化されて）含まれる。

オブジェクト指向オーディオデコーダにおけるオブジェクト又は複数のオブジェクトの推定処理は、ダウンミクスオーディオ信号の時間／周波数依存のスケーリングを有する。同一のインデクスｎを持つ離散時間型ダウンミクス信号ｘ［ｎ］は、周波数インデクスｋとフレーム（時間的なセグメント）インデクスｍとを持つ時間／周波数タイルＸ［ｋ，ｍ］へと分割される。このことは例えば、解析ウィンドウｗ［ｎ］を用いて信号ｘ［ｎ］をウィンドウ処理することにより達成される：

ここでＬはウィンドウの長さであり、Ｌ／２は対応するホップサイズである。この場合、好適な解析ウィンドウは、ハニングウィンドウの平方根により与えられる：

続いて、ウィンドウ処理された信号ｘ［ｎ，ｍ］は、ＦＦＴを用いて周波数ドメインへと変換される：

Ｘ［ｋ，ｍ］の周波数ドメイン成分は次いで、いわゆるパラメータ帯ｂ（ｂ＝０、…、Ｂ−１）へとグループ化される。これらパラメータ帯は、エンコーダにおけるパラメータ帯と一致する。オブジェクトｉのセグメントｍのデコーダ側の推定値

は、

によって与えられる。ここでｂ（ｋ）は、周波数インデクスｋに関連していたパラメータ帯である。

重みｇ_ｉによるオブジェクト信号Ｓ_ｉの重み付けされた結合Ｑは、

によって与えられる。

オブジェクト指向デコーダにおいては、Ｑは、

によって推定されることができる。

換言すれば、オブジェクト信号、又は複数のオーディオオブジェクト信号のいずれかの線形結合は、ダウンミクス信号Ｘ［ｋ，ｍ］の時間−周波数依存のスケーリングによって、提案されるオブジェクト指向オーディオデコーダにおいて推定されることができる。

時間ドメインの出力信号に帰着させるため、各推定されたオブジェクト信号は、時間ドメインへと変換され（逆ＦＦＴを用いて）、合成ウィンドウ（解析ウィンドウと同一である）によって乗算され、オーバラップ加算を用いて前のフレームと結合される。

一実施例においては、推定されたオーディオ信号の生成は、オーディオオブジェクトに対応するパワーパラメータに基づくダウンミクスオーディオ信号の時間／周波数依存のスケーリングによる、オブジェクト又は複数のオブジェクトの組み合わせの重み付けを有する。ここで前記パワーパラメータは、受信されるパラメトリックデータに含まれる。

送信エフェクトは入力信号よりも出力信号を多く持ち得る点は、留意されるべきである。例えば、ステレオ又は多チャネルの場合には、反響ユニットはモノラル入力信号を持つ。

一実施例においては、ダウンミクスされた信号及びパラメトリックデータは、ＭＰＥＧサラウンド規格に従うものである。既存のＭＰＥＧサラウンドデコーダは、デコード機能に次いで、再生装置としても機能する。斯かる場合においては、デコードオブジェクトに対応する中間オーディオ信号は必要とされない。オブジェクトのデコード及び再生は、単一の装置に組み合わせられる。

図５は、ＭＰＥＧサラウンド規格に従うデコーダ３２０と、前記パラメトリックデータをＭＰＥＧサラウンド規格に従うパラメトリックデータに変換するための変換手段３１０と、を有するデコード手段３００を示す。ダウンミクス信号５０１又は変更されたダウンミクス信号５０３に対応する信号５０８は、挿入エフェクトが適用されると、ＭＰＥＧサラウンドデコーダ３２０に送られる。変換手段３１０は、パラメトリックデータ５０６及びユーザ制御データ５０７に基づいて、パラメトリックデータを、ＭＰＥＧサラウンド規格に従うパラメトリックデータに変換する。オブジェクト又は複数のオブジェクトに対応する推定されたオーディオ信号のスペクトルエンベロープが挿入エフェクトにより変更される場合には、パラメトリックデータ５０６は、パラメトリックデータ５０２又は変更されたパラメトリックデータ５０４である。ユーザ制御データ５０７は例えば、１つの又は複数のオーディオオブジェクトの所望の空間位置を示しても良い。

一実施例によれば、本方法は、少なくとも１つのダウンミクスオーディオ信号及びパラメトリックデータを受信するステップと、変更されたダウンミクスオーディオ信号を生成するステップと、該ダウンミクスオーディオ信号からオーディオオブジェクトをデコードするステップと、該デコードされたオーディオオブジェクトから少なくとも１つの出力オーディオ信号を生成するステップと、を有する。本方法においては、各ダウンミクスオーディオ信号は、複数のオーディオオブジェクトのダウンミクスを有する。パラメトリックデータは、複数のオーディオオブジェクトのそれぞれについての、複数のオブジェクトパラメータを有する。変更されたダウンミクスオーディオ信号は、前記ダウンミクスオーディオ信号に含まれるオーディオオブジェクトに対応する推定されたオーディオ信号に対してエフェクトを適用することにより得られる。該推定されたオーディオ信号は、パラメトリックデータに基づいてダウンミクスオーディオ信号から導出される。変更されたダウンミクスオーディオ信号は、適用されたエフェクトのタイプに基づいて、デコード手段３００によりデコードされるか、又は再生手段４００により再生される。デコードするステップは、パラメトリックデータに基づいて、ダウンミクスオーディオ信号又は変更されたダウンミクスオーディオ信号に対して、デコード手段３００により実行される。

デコードされたオーディオオブジェクトから少なくとも１つの出力オーディオ信号を生成する最後のステップは、再生ステップとも呼ばれることができ、デコードするステップと共に１つの処理ステップに組み合わせられても良い。

一実施例においては、オーディオ信号を受信するための受信器は、受信部、エフェクト手段、デコード手段、及び再生手段を有する。受信部は、送信器から、少なくとも１つのダウンミクスオーディオ信号及びパラメトリックデータを受信する。各ダウンミクスオーディオ信号は、複数のオーディオオブジェクトのダウンミクスを有する。パラメトリックデータは、複数のオーディオオブジェクトのそれぞれについての、複数のオブジェクトパラメータを有する。

エフェクト手段は、変更されたダウンミクスオーディオ信号を生成する。これら変更されたダウンミクスオーディオ信号は、前記ダウンミクスオーディオ信号に含まれるオーディオオブジェクトに対応する推定されたオーディオ信号に対してエフェクトを適用することにより得られる。該推定されたオーディオ信号は、パラメトリックデータに基づいて、ダウンミクスオーディオ信号から導出される。変更されたダウンミクスオーディオ信号は、適用されたエフェクトのタイプに基づいて、デコード手段によりデコードされるか、又は再生手段により再生される。

デコード手段は、パラメトリックデータに基づいて、ダウンミクスオーディオ信号又は変更されたダウンミクスオーディオ信号から、オーディオオブジェクトをデコードする。再生手段は、該デコードされたオーディオオブジェクトから、少なくとも１つのオーディオ信号を生成する。

図６は、本発明の幾つかの実施例による、オーディオ信号の通信のための伝送システムを示す。該伝送システムは、ネットワーク８００を通して受信器９００に結合された送信器７００を有する。ネットワーク８００は、例えばインターネットであっても良い。

送信器７００は例えば信号記録装置であり、受信器９００は例えば信号再生装置である。信号記録機能がサポートされる特定の例においては、送信器７００は、複数のオーディオオブジェクトを受信するための手段７１０を有する。従ってこれらオブジェクトは、少なくとも１つのダウンミクスオーディオ信号及びパラメトリックデータにおける複数のオーディオオブジェクトをエンコードするために、エンコード手段７２０によりエンコードされる。斯かるエンコード手段６２０の実施例は、C. Fallerによる「Parametric Joint-Coding of Audio Sources」（AES 120th Convention、Paris、フランス国、2006年5月）において与えられる。各ダウンミクスオーディオ信号は、複数のオーディオオブジェクトのダウンミクスを有する。前記パラメトリックデータは、前記複数のオーディオオブジェクトのそれぞれについての、複数のオブジェクトパラメータを有する。エンコードされたオーディオオブジェクトは、ダウンミクスオーディオ信号及びパラメトリックデータを送信するための手段７３０によって、受信器９００へと送信される。前記手段７３０はネットワーク８００とのインタフェースを持ち、ダウンミクス信号をネットワーク８００を通して送信しても良い。

受信器９００は、少なくとも１つのダウンミクスオーディオ信号及びパラメトリックデータを送信器７００から受信するための受信部９１０を有する。各ダウンミクスオーディオ信号は、複数のオーディオオブジェクトのダウンミクスを有する。前記パラメトリックデータは、前記複数のオーディオオブジェクトのそれぞれについての複数のオブジェクトパラメータを有する。エフェクト手段９２０は、変更されたダウンミクスオーディオ信号を生成する。前記変更されたダウンミクスオーディオ信号は、前記ダウンミクスオーディオ信号に含まれるオーディオオブジェクトに対応する推定されたオーディオ信号に対してエフェクトを適用することにより得られる。前記推定されたオーディオ信号は、パラメトリックデータに基づいてダウンミクスオーディオ信号から導出される。前記変更されたダウンミクスオーディオ信号は、適用されるエフェクトのタイプに基づいて、デコード手段によりデコードされるか若しくは再生手段により再生されるか、又は再生手段の出力と結合される。デコード手段は、パラメトリックデータに基づいて、ダウンミクスオーディオ信号又は変更されたダウンミクスオーディオ信号から、オーディオオブジェクトをデコードする。再生手段は、該デコードされたオーディオオブジェクトから、少なくとも１つのオーディオ信号を生成する。

一実施例においては、挿入エフェクトと送信エフェクトとは、同時に適用される。

一実施例においては、エフェクトはユーザ入力に応じて適用される。ユーザは、例えばボタン、スライダ、ノブ又はグラフィカルユーザインタフェースによって、自身の好みに従ってエフェクトを設定することができる。

上述の実施例は本発明を限定するものではなく説明するものであって、当業者は添付する請求項の範囲から逸脱することなく多くの代替実施例を設計することが可能であろうことは留意されるべきである。

請求項において、括弧に挟まれたいずれの参照記号も、請求の範囲を限定するものとして解釈されるべきではない。「有する（comprise）」なる語は、請求項に記載されたもの以外の要素又はステップの存在を除外するものではない。要素に先行する「１つの（a又はan）」なる語は、複数の斯かる要素の存在を除外するものではない。本発明は、幾つかの別個の要素を有するハードウェアによって、及び適切にプログラムされたコンピュータによって実装されても良い。

Claims

受信されたダウンミクスオーディオ信号から変更されたダウンミクスオーディオ信号を生成するためのエフェクト手段であって、前記受信されたダウンミクスオーディオ信号は複数のオーディオオブジェクトのダウンミクスを有し、前記変更されたダウンミクスオーディオ信号は、前記受信されたダウンミクスオーディオ信号に含まれるオーディオオブジェクトに対応する推定されたオーディオ信号に対してエフェクトを適用することにより得られ、前記推定されたオーディオ信号は、受信されたパラメトリックデータに基づいて前記受信されたダウンミクスオーディオ信号から導出され、前記受信されたパラメトリックデータは、前記複数のオーディオオブジェクトのそれぞれについての複数のオブジェクトパラメータを有し、前記変更されたダウンミクスオーディオ信号は、適用されたエフェクトのタイプに基づいて、デコード手段によってデコードされるか若しくは又は再生手段によって再生されるか又は再生手段の出力と結合されるエフェクト手段と、
前記パラメトリックデータに基づいて、前記ダウンミクスオーディオ信号又は前記変更されたダウンミクスオーディオ信号から前記オーディオオブジェクトをデコードするように構成されたデコード手段と、
前記デコードされたオーディオオブジェクトから少なくとも１つの出力オーディオ信号を生成するように構成された再生手段と、
を有するオーディオデコーダ。
前記エフェクト手段は挿入エフェクトを提供するように構成され、
前記挿入エフェクトが適用されるべきオブジェクト又は複数のオブジェクトに対応する前記推定されたオーディオ信号を生成し、残りのオブジェクトに対応する前記推定されたオーディオ信号を生成するための推定手段と、
前記挿入エフェクトが適用されるべきオブジェクト又は複数のオブジェクトに対応する前記推定されたオーディオ信号に対して挿入エフェクトを適用するための挿入手段と、
前記挿入手段から供給されるオーディオ信号と、前記残りのオブジェクトに対応する前記推定されたオーディオ信号とを加算するための加算器と、
を有する、請求項１に記載のデコーダ。
前記オブジェクト又は複数のオブジェクトに対応する推定されたオーディオ信号のスペクトル又は時間エンベロープが前記挿入エフェクトにより変更される場合、前記パラメトリックデータを変更するための変更手段を更に有する、請求項２に記載のデコーダ。
前記エフェクト手段は送信エフェクトを提供するように構成され、
前記送信エフェクトが適用されるべきオブジェクト又は複数のオブジェクトに対応する前記推定されたオーディオ信号を生成するための推定手段と、
前記送信エフェクトが適用されるべきオブジェクト又は複数のオブジェクトに対応する前記推定されたオーディオ信号に対する送信エフェクトの量を決定するための利得手段と、
前記利得手段から得られるオーディオ信号を加算するための加算器と、
前記加算器から得られるオーディオ信号に対して送信エフェクトを適用するための送信手段と、
を有する、請求項１に記載のデコーダ。
前記オーディオオブジェクト又は複数のオーディオオブジェクトに対応する推定されたオーディオ信号の生成は、オーディオオブジェクトに対応するパワーパラメータに基づく前記ダウンミクスオーディオ信号の時間／周波数依存のスケーリングを有し、前記パワーパラメータは前記パラメトリックデータに含まれる、請求項１乃至４のいずれか一項に記載のデコーダ。
前記推定されたオーディオ信号の生成は、オーディオオブジェクトに対応するパワーパラメータに基づく前記ダウンミクスオーディオ信号の時間／周波数依存のスケーリングによる、オブジェクト又は複数のオブジェクトの組み合わせの重み付けを有し、前記パワーパラメータは前記パラメトリックデータに含まれる、請求項５に記載のデコーダ。
前記ダウンミクスされた信号及び前記パラメトリックデータは、ＭＰＥＧサラウンド規格に従う、請求項１に記載のデコーダ。
前記デコード手段は、ＭＰＥＧサラウンド規格に従うデコーダと、前記パラメトリックデータをＭＰＥＧサラウンド規格に従うパラメトリックデータに変換するための変換手段と、を有する、請求項７に記載のデコーダ。
オーディオ信号をデコードする方法であって、前記方法は、
少なくとも１つのダウンミクスオーディオ信号及びパラメトリックデータを受信するステップであって、各前記ダウンミクスオーディオ信号は複数のオーディオオブジェクトのダウンミクスを有し、前記パラメトリックデータは前記複数のオーディオオブジェクトのそれぞれについての複数のオブジェクトパラメータを有するステップと、
変更されたダウンミクスオーディオ信号を生成するステップであって、前記変更されたダウンミクスオーディオ信号は、前記ダウンミクスオーディオ信号に含まれるオーディオオブジェクトに対応する推定されたオーディオ信号に対してエフェクトを適用することにより得られ、前記推定されたオーディオ信号は、前記パラメトリックデータに基づいて前記ダウンミクスオーディオ信号から導出され、前記変更されたダウンミクスオーディオ信号は、適用されたエフェクトのタイプに基づいて、デコード手段によってデコードされるか若しくは又は再生手段によって再生されるか又は再生手段の出力と結合されるステップと、
前記パラメトリックデータに基づいて前記ダウンミクスオーディオ信号又は前記変更されたダウンミクスオーディオ信号から前記オーディオオブジェクトをデコードするステップと、
前記デコードされたオーディオオブジェクトから少なくとも１つの出力オーディオ信号を生成するステップと、
を有する方法。
オーディオ信号を受信するための受信器であって、前記受信器は、請求項１に記載のデコーダと、少なくとも１つのダウンミクスオーディオ信号及びパラメトリックデータを送信器から受信するための受信部とを有し、各前記ダウンミクスオーディオ信号は、複数のオーディオオブジェクトのダウンミクスを有し、前記パラメトリックデータは、前記複数のオーディオオブジェクトのそれぞれについての複数のオブジェクトパラメータを有し、前記受信部は、前記エフェクト手段及び前記デコード手段に結合された受信器。
オーディオ信号を通信するための通信システムであって、前記通信システムは送信器を有し、前記送信器は、
複数のオーディオオブジェクトを受信するための手段と、
前記複数のオーディオオブジェクトを少なくとも１つのダウンミクスオーディオ信号及びパラメトリックデータにエンコードするためのエンコード手段であって、各前記ダウンミクスオーディオ信号は、複数のオーディオオブジェクトのダウンミクスを有し、前記パラメトリックデータは、前記複数のオーディオオブジェクトのそれぞれについての複数のオブジェクトパラメータを有するエンコード手段と、
前記ダウンミクスオーディオ信号及び前記パラメトリックデータを受信器に送信するための手段と、
を有し、前記通信システムは更に、請求項１０に記載の受信器を有する、通信システム。
オーディオ信号を受信するための方法であって、前記方法は、
少なくとも１つのダウンミクスオーディオ信号及びパラメトリックデータを送信器から受信するステップであって、各前記ダウンミクスオーディオ信号は複数のオーディオオブジェクトのダウンミクスを有し、前記パラメトリックデータは前記複数のオーディオオブジェクトのそれぞれについての複数のオブジェクトパラメータを有するステップと、
変更されたダウンミクスオーディオ信号を生成するステップであって、前記変更されたダウンミクスオーディオ信号は、前記ダウンミクスオーディオ信号に含まれるオーディオオブジェクトに対応する推定されたオーディオ信号に対してエフェクトを適用することにより得られ、前記推定されたオーディオ信号は、前記パラメトリックデータに基づいて前記ダウンミクスオーディオ信号から導出され、前記変更されたダウンミクスオーディオ信号は、適用されたエフェクトのタイプに基づいて、デコード手段によってデコードされるか若しくは又は再生手段によって再生されるか又は再生手段の出力と結合されるステップと、
前記パラメトリックデータに基づいて前記ダウンミクスオーディオ信号又は前記変更されたダウンミクスオーディオ信号から前記オーディオオブジェクトをデコードするステップと、
前記デコードされたオーディオオブジェクトから少なくとも１つの出力オーディオ信号を生成するステップと、
を有する方法。
オーディオ信号を送信及び受信する方法であって、前記方法は、
送信器において、
複数のオーディオオブジェクトを受信するステップと、
前記複数のオーディオオブジェクトを少なくとも１つのダウンミクスオーディオ信号及びパラメトリックデータにエンコードするステップであって、各前記ダウンミクスオーディオ信号は、複数のオーディオオブジェクトのダウンミクスを有し、前記パラメトリックデータは、前記複数のオーディオオブジェクトのそれぞれについての複数のオブジェクトパラメータを有するステップと、
前記ダウンミクスオーディオ信号及び前記パラメトリックデータを受信器に送信するステップと、
を実行するステップを有し、受信器において、
少なくとも１つのダウンミクスオーディオ信号及びパラメトリックデータを送信器から受信するステップであって、各前記ダウンミクスオーディオ信号は複数のオーディオオブジェクトのダウンミクスを有し、前記パラメトリックデータは前記複数のオーディオオブジェクトのそれぞれについての複数のオブジェクトパラメータを有するステップと、
変更されたダウンミクスオーディオ信号を生成するステップであって、前記変更されたダウンミクスオーディオ信号は、前記ダウンミクスオーディオ信号に含まれるオーディオオブジェクトに対応する推定されたオーディオ信号に対してエフェクトを適用することにより得られ、前記推定されたオーディオ信号は、前記パラメトリックデータに基づいて前記ダウンミクスオーディオ信号から導出され、前記変更されたダウンミクスオーディオ信号は、適用されたエフェクトのタイプに基づいて、デコード手段によってデコードされるか若しくは又は再生手段によって再生されるか又は再生手段の出力と結合されるステップと、
前記パラメトリックデータに基づいて前記ダウンミクスオーディオ信号又は前記変更されたダウンミクスオーディオ信号から前記オーディオオブジェクトをデコードするステップと、
前記デコードされたオーディオオブジェクトから少なくとも１つの出力オーディオ信号を生成するステップと、
を実行するステップを有する方法。
挿入エフェクトと送信エフェクトとが同時に適用される、請求項９、１２及び１３のいずれか一項に記載の方法。
前記エフェクトはユーザ入力に応じて適用される、請求項９、１２及び１３のいずれか一項に記載の方法。
請求項９、１２及び１３のいずれか一項に記載の方法を実行するためのコンピュータプログラム。
請求項１に記載のオーディオデコーダを有するオーディオ再生装置。