JP2008535015A - オーディオ符号化および復号化 - Google Patents

オーディオ符号化および復号化 Download PDF

Info

Publication number
JP2008535015A
JP2008535015A JP2008503634A JP2008503634A JP2008535015A JP 2008535015 A JP2008535015 A JP 2008535015A JP 2008503634 A JP2008503634 A JP 2008503634A JP 2008503634 A JP2008503634 A JP 2008503634A JP 2008535015 A JP2008535015 A JP 2008535015A
Authority
JP
Japan
Prior art keywords
channel
signal
data
reinforcement
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008503634A
Other languages
English (en)
Other versions
JP5106383B2 (ja
JP2008535015A5 (ja
Inventor
ヘラルド エイチ ホソ
フランソワ ピー マイブルグ
アルノルダス ダブリュ ジェイ オーメン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=36607294&utm_source=***_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2008535015(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2008535015A publication Critical patent/JP2008535015A/ja
Publication of JP2008535015A5 publication Critical patent/JP2008535015A5/ja
Application granted granted Critical
Publication of JP5106383B2 publication Critical patent/JP5106383B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Stereophonic System (AREA)
  • Reduction Or Emphasis Of Bandwidth Of Signals (AREA)
  • Stereo-Broadcasting Methods (AREA)

Abstract

単独でまたは何らかの組み合わせで上述した欠点の１つまたはそれ以上を好ましくは緩和するか、軽減するか、または排除すること。マルチ・チャンネル・オーディオ符号器は、Ｎチャンネル・オーディオ信号を符号化する。第１の装置１１０は、Ｎチャンネル信号について、第１の符号化Ｍチャンネル信号、例えば、空間的ステレオ・ダウン・ミックスを生成する（Ｎ＞Ｍ）。ダウン・ミキサ１１５、１１６、１１７は、Ｎチャンネル・オーディオ信号に対する信号用第１の補強データを生成する。芸術的ステレオ・ミックスなど、第２のＭチャンネル信号は、Ｎチャンネル信号について生成される。その後、プロセッサ１２３は、第１のＭチャンネル信号に対する第２のＭチャンネル信号用第２の補強データを生成する。第２の装置１２０は、第２のＭチャンネル信号と、第１の補強データと、第２の補強データとを含む出力信号を生成する。発生器１２３は、第２の符号化Ｍチャンネル信号に対して、絶対補強データとしての第２の補強データの生成、または、相対補強データとしての第２の補強データの生成から動的に選択することができる。復号器２０は、逆の動作を行なうことができ、受信ビット・ストリーム内の表示によって、絶対補強データまたは相対補強データとして第２の補強データを適用することができる。

Description

本発明は、マルチ・チャンネル信号のオーディオ符号化および復号化もしくはオーディオ符号化または復号化に関するものである。
マルチ・チャンネル・オーディオ信号とは、２つまたはそれ以上のオーディオ・チャンネルを有するオーディオ信号である。マルチ・チャンネル・オーディオ信号のよく知られている例は、２チャンネル・ステレオ・オーディオ信号、および、２つのフロント・オーディオ・チャンネルと、２つのリヤ・オーディオ・チャンネルと、１つのセンター・オーディオ信号と、更に、低音補強（ＬＦＥ）チャンネルを有する５．１チャンネル・オーディオ信号である。このような５．１チャンネル・オーディオ信号は、ＤＶＤ（デジタル・バーサタイル・ディスク）システムおよびＳＡＣＤ（スーパー・オーディオ・コンパクト・ディスク）システムで使用されている。マルチ・チャンネル素材の人気が高まっているために、マルチ・チャンネル素材の効率的なコーディングがより重要になっている。
オーディオ処理の分野においては、幾つかのオーディオ・チャンネルを別の数のオーディオ・チャンネルに変換することがよく知られている。このような変換は、様々な理由から行われると考えられる。例えば、オーディオ信号は、別のフォーマットに変換して高度なユーザー体験を実現することができる。例えば、これまでのステレオ録音には、２つのチャンネルだけが含まれ、一方、最新の高度オーディオ・システムでは、一般的に、人気のある５．１サラウンド・サウンド・システムのように、５つまたは６つのチャンネルが使用される。したがって、２つのステレオ・チャンネルは、高度オーディオ・システムを余すところなく利用するために、５つまたは６つのチャンネルに変換することができる。
チャンネル変換の別の理由は、コーディング効率である。例えば、サラウンド・サウンド・オーディオ信号は、オーディオ信号のマルチ・チャンネル空間特性を記述するパラメータ・ビット・ストリームと組み合わせたステレオ・チャンネル・オーディオ信号に符号化することができることが既にわかっている。復号器は、非常に良好な精度でサラウンド・サウンド・オーディオ信号を再生することができる。このようにして、実質的なビット・レート節約を行うことができる。
５．１−２−５．１マルチ・チャンネル・オーディオ・コーディング・システムが公知である。この公知のオーディオ・コーディング・システムにおいては、５．１入力オーディオ信号は、２つのダウン・ミックス・チャンネルと関連パラメータとに符号化されて、かつ、２つのダウン・ミックス・チャンネルと関連パラメータとで表される。また、ダウン・ミックス信号は、空間的ダウン・ミックスと総称される。公知のシステムにおいては、空間的ダウン・ミックスは、品質に関しては５．１入力チャンネルの固定ＩＴＵダウン・ミックスに匹敵するステレオ画像を有するステレオ・オーディオ信号を成す。ステレオ設備しか持たないユーザーは、この空間的ステレオ・ダウン・ミックスを聴くことができ、一方、５．１チャンネル設備を有するリスナーは、この空間的ステレオ・ダウン・ミックスと関連パラメータとによって行われる５．１チャンネル再生を聴くことができる。５．１チャンネル設備は、空間的ステレオ・ダウン・ミックス（即ち、ステレオ・オーディオ信号）と関連パラメータとから５．１チャンネル・オーディオ信号を復号化／再構築する。
しかしながら、空間的ステレオ・ダウン・ミックスは、元のステレオ信号または明示的に生成されるステレオ信号と比較すると質が劣ると考えられることが多い。例えば、プロのスタジオ技師は、空間的ステレオ・ダウン・ミックスを多少退屈で面白くないと捉えがちであることが多い。このような理由から、空間的ステレオ・ダウン・ミックスと異なる芸術的ステレオ・ダウン・ミックスが生成されることが多い。例えば、特別な残響またはソースの追加、ステレオ画像の拡幅などが行われる。ユーザーが芸術的ステレオ・ダウン・ミックスを楽しむことができるように、空間的ダウン・ミックスではなく、この芸術的ダウン・ミックスは、送信手段を介して送信するか、または、記憶媒体上に格納することができる。しかしながら、ステレオ信号から５．１信号を生成するパラメータ・データは、元のダウン・ミックス信号を基本とするため、この方法は、５．１チャンネル・オーディオ信号再生の質に重大な影響を与える。具体的には、入力５．１チャンネル・オーディオ信号は、空間的ステレオ・ダウン・ミックスと関連パラメータとに符号化されたものである。空間的ステレオ・ダウン・ミックスの代わりに芸術的ステレオ・ダウン・ミックスを使用すれば、空間的ステレオ・ダウン・ミックスは、システムの復号化端ではもはや利用不可能になる恐れがあり、５．１チャンネル・オーディオ信号の質の高い再構築が不可能である。
５．１チャンネル・オーディオ信号の質を向上させる考えられる方法は、空間的ステレオ・ダウン・ミックス信号の更なるデータを含めることである。例えば、芸術的ステレオ・ダウン・ミックスに加えて、空間的ステレオ・ダウン・ミックスを同じビット・ストリーム内に含めることができるか、または、パラレルで送信することができる。しかしながら、これによって、データ転送速度が大幅に速くなり、したがって、通信帯域幅または記憶要件が大きくなり、符号化されたマルチ・チャンネル信号の質とデータ転送速度との比率が劣化することになる。
したがって、マルチ・チャンネル・オーディオ用改良型符号化／復号化システムであれば有利となり、特に、性能、質、および質とデータ転送速度との比率もしくは性能、質、または質とデータ転送速度との比率の向上を可能にするシステムであれば有利となる。
したがって、本発明は、単独でまたは何らかの組み合わせで上述した欠点の１つまたはそれ以上を好ましくは緩和するか、軽減するか、または排除しようとするものである。
本発明の第１の態様によれば、Ｎチャンネル・オーディオ信号を符号化するマルチ・チャンネル・オーディオ符号器であって、Ｎチャンネル・オーディオ信号用第１のＭチャンネル信号を生成する手段であって、Ｍは、Ｎより小さい手段と、Ｎチャンネル・オーディオ信号に対して、第１のＭチャンネル信号用第１の補強データを生成する手段と、Ｎチャンネル・オーディオ信号用第２のＭチャンネル信号を生成する手段と、第１のＭチャンネル信号に対して、第２のＭチャンネル信号用第２の補強データを生成する補強手段と、第２のＭチャンネル信号と、第１の補強データと、第２の補強データとを含む符号化出力信号を生成する手段とを含み、補強手段が、第２のＭチャンネル信号に対して、絶対補強データとしての第２の補強データの生成、または、相対補強データとして第２の補強データの生成とから動的に選択するように構成されるマルチ・チャンネル・オーディオ符号器を提供する。
本発明は、マルチ・チャンネル信号の効率的な符号化を可能にすることができる。特に、質とデータ転送速度との比率が増大した効率的な符号化を達成することができる。本発明は、第１のＭチャンネル信号に関する補強データに基づいてマルチ・チャンネル生成に及ぼす影響を低減して１つのＭチャンネル信号が別のＭチャンネル信号に取って代わることを可能にすることができる。具体的には、空間的ダウン・ミックスに関連した補強データに基づいて復号器にて効率的なマルチ・チャンネル再生を可能にしながら空間的ダウン・ミックスではなく芸術的ダウン・ミックス送信することができる。補強データの動的選択によって、補強データの大幅な縮小および生成することができる信号の質の向上もしくは補強データの大幅な縮小または生成することができる信号の質の向上が可能となる。
絶対補強データは、第２のＭチャンネル信号を参照することなく第１のＭチャンネル信号を記述するものであり、一方、相対補強データは、第２のＭチャンネル信号を参照しながら第１のＭチャンネル信号を記述するものである。
第１のＭチャンネル信号および第２のＭチャンネル信号もしくは第１のＭチャンネル信号または第２のＭチャンネル信号を生成する手段は、Ｎチャンネル信号を処理することによって、または、例えば、内部または外部ソースからＭチャンネル信号を受信することによって、信号を生成することができる。
本発明の任意選択的な特長によれば、補強手段は、絶対補強データとしての第２の部分の生成、または、相対補強データとしての第２の部分の生成からのみ動的に選択するように構成される。
これは、効率的な性能を可能にすることができ、特に、質とデータ転送速度の比率が向上した符号化信号を実現することができる。上記の選択は、例えば、Ｎチャンネル信号のセグメントの特性から導出された１つまたはそれ以上のパラメータを評価することによって、特に、第１のＭチャンネル信号および第２のＭチャンネル信号もしくは第１のＭチャンネル信号または第２のＭチャンネル信号（それ自体、Ｎチャンネル信号から導出することができる）から導出された１つまたはそれ以上のパラメータに基づいて行うことができる。
本発明の任意選択的な特長によれば、補強手段は、絶対補強データと相対補強データの相対特性に応答して、絶対補強データと相対補強データとから選択するように構成される。
これは、効率的な性能を可能にすることができ、特に、質とデータ転送速度の比率が向上した符号化信号を実現することができる。あるいは、または、更に、効率的および複雑性が低い、もしくは効率的または複雑性が低い実行を可能にすることができる。
本発明の任意選択的な特長によれば、相対特性は、相対補強データの信号エネルギーに対する絶対補強データの信号エネルギーである。
これは、効率的な性能を可能にすることができ、特に、質とデータ転送速度の比率が向上した符号化信号を実現することができる。あるいは、または、更に、効率的および複雑性が低い、もしくは効率的または複雑性が低い実行を可能にすることができる。具体的には、補強手段は、信号エネルギーが最も低いタイプの補強データを選択することができる。
本発明の任意選択的な特長によれば、補強手段は、第２のＭチャンネル信号を信号ブロックに分割し、かつ、各信号ブロックについて絶対補強データと相対補強データとから個々に選択するように構成される。
これは、効率的な性能を可能にすることができ、特に、質とデータ転送速度の比率が向上した符号化信号を実現することができる。あるいは、または、更に、効率的および複雑性が低い、もしくは効率的または複雑性が低い実行を可能にすることができる。信号ブロックは、時間ドメインおよび周波数ドメインもしくは時間ドメインまたは周波数ドメインにおいて分割することができ、かつ、各信号ブロックは、具体的には、時間／周波数タイルの群を含むことができる。信号ブロックへの分割は、第１のＭチャンネル信号およびＮチャンネル信号もしくは第１のＭチャンネル信号またはＮチャンネル信号に適用することができる。
本発明の任意選択的な特長によれば、補強手段は、信号ブロックに関連した特性のみに基づいて信号ブロックについて絶対補強データと相対補強データとから選択するように構成される。
これは、効率的な性能を可能にすることができ、特に、質とデータ転送速度の比率が向上した符号化信号を実現することができる。あるいは、または、更に、効率的および複雑性が低い、もしくは効率的または複雑性が低い実行を可能にすることができる。具体的には、補強手段は、信号エネルギーが最低であるタイプの補強データを選択することができる。
本発明の任意選択的な特長によれば、補強手段は、絶対補強データとしての前記補強データの生成と相対補強データとしての前記補強データの生成との切り替えの切り替え時間間隔中に、絶対補強データと相対補強データの組み合わせとして補強データを生成するように構成される。
これは、スイッチングの向上を可能にすることができ、かつ、特に、スイッチングに関連した人為的影響を低減することができる。音質の向上を達成することができる。切り替え時間間隔中の組み合わせは、絶対補強データから相対補強データにおよび相対補強データから絶対補強データに、もしくは絶対補強データから相対補強データにまたは相対補強データから絶対補強データに切り替わるときに適用することができる。組み合わせは、重複加算法を用いて達成することができる。
本発明の任意選択的な特長によれば、組み合わせは、絶対補強データと相対補強データとの間の補間を含む。
これは、質の高い実際的かつ効率的な実行を可能にすることができる。音質の向上を達成することができる。
本発明の任意選択的な特長によれば、符号化出力信号を生成する手段は、相対補強データが使用されるのかそれとも絶対補強データが使用されるのかを示すデータを含むように構成される。
これは、効率的な性能を可能にすることができ、特に、質とデータ転送速度の比率が向上した符号化信号を実現することができる。あるいは、または、更に、効率的および複雑性が低い、もしくは効率的または複雑性が低い実行を可能にすることができる。表示データは、具体的には、各信号ブロックについて選択表示を含むことができる。
本発明の任意選択的な特長によれば、第２の補強データは、補強データの第１の部分と補強データの第２の部分とを含み、第２の部分は、第１の部分より質の高い第１のＭチャンネル信号表現を行う。
これは、効率的な性能を可能にすることができ、特に、質とデータ転送速度の比率が向上した符号化信号を実現することができる。第１の部分は、第２の部分より遅いデータ転送速度を有することができる。第２の部分は、復号器が第１のＭチャンネル信号を再生するのをより正確に可能にするデータを含むことができる。
本発明の任意選択的な特長によれば、補強手段は、絶対補強データとして、または、相対補強データとしての第２の部分のみを動的に選択するように構成される。
これは、効率的な性能を可能にすることができ、特に、質とデータ転送速度の比率が向上した符号化信号を実現することができる。
本発明の任意選択的な特長によれば、補強手段は、第１の部分の補強データを第１のＭチャンネル信号に適用することによって生成された基準信号に対して、第２の部分の相対データを生成するように構成される。
これは、効率的な性能を可能にすることができ、特に、質とデータ転送速度の比率が向上した符号化信号を実現することができる。
本発明の別の態様によれば、Ｎチャンネル・オーディオ信号を復号化するマルチ・チャンネル・オーディオ復号器であって、Ｎチャンネル・オーディオ信号用第１のＭチャンネル信号であって、Ｍが、Ｎより小さい信号と、第１のＭチャンネル信号と異なる第２のＭチャンネル信号に対するマルチ・チャンネル拡張用第１の補強データと、第１のＭチャンネル信号に対する絶対補強データと相対補強データとを含む、第２のＭチャンネル信号に対する第１のＭチャンネル信号用第２の補強データと、信号ブロックに関する第２の補強データが絶対補強データであるのかそれとも相対補強データであるのかを示す表示データとを含む符号化オーディオ信号を受信する手段と、第１のＭチャンネル信号と第２の補強データとに応答してＭチャンネル・マルチ・チャンネル拡張信号を生成する生成手段と、Ｍチャンネル・マルチ・チャンネル拡張信号と、第１の補強データとに応答してＮチャンネル復号化信号を生成する手段とを含み、生成手段が、表示データに応答して、絶対補強データとしての第２の補強データの適用、または、相対補強データとしての第２の補強データの適用から選択するように構成されるマルチ・チャンネル・オーディオ復号器を提供する。
本発明は、効率的かつ高性能なマルチ・チャンネル信号復号化を可能にすることができる。特に、特定のデータ転送速度について質が向上した信号の効率的な復号化を達成することができる。本発明は、１つのＭチャンネル信号が、第１のＭチャンネル信号に関係する補強データに基づいてマルチ・チャンネル生成に及ぼす影響を低減して別のＭチャンネル信号に取って代わることを可能にすることができる。具体的には、空間的ダウン・ミックスに関連した補強データに基づいて復号器にて効率的なマルチ・チャンネル再生を可能にしながら空間的ダウン・ミックスではなく芸術的ダウン・ミックス送信することができる。
絶対補強データは、第１のＭチャンネル信号を参照することなく第２のＭチャンネル信号を記述し、一方、相対補強データは、第１のＭチャンネル信号を参照しながら第２のＭチャンネル信号を記述する。
本発明の任意選択的な特長によれば、生成手段は、時間ドメインにおいて第２の補強データを第１のＭチャンネル信号に適用するように構成される。
これは、効率的な性能を可能にすることができ、特に、特定のデータ転送速度について質が向上した復号化信号を実現することができる。あるいは、または、更に、効率的および複雑性が低い、もしくは効率的または複雑性が低い実行を可能にすることができる。
本発明の任意選択的な特長によれば、生成手段は、周波数ドメインにおいて第２の補強データを第１のＭチャンネル信号に適用するように構成される。
これは、効率的な性能を可能にすることができ、特に、特定のデータ転送速度について質が向上した復号化信号を実現することができる。あるいは、または、更に、効率的および複雑性が低い、もしくは効率的または複雑性が低い実行を可能にすることができる。
特に、多くの実施形態においては、周波数ドメインの適用によって、時間から周波数への変換所要回数を少なくすることができる。周波数ドメインは、例えば、直交ミラーフィルタバンク（ＱＭＦ）ドメインまたは修正離散コサイン変換（ＭＤＣＴ）ドメインとすることができる。
本発明の任意選択的な特長によれば、第２の補強データは、補強データの第１の部分と補強データの第２の部分とを含み、第２の部分は、第１の部分より質の高い第１のＭチャンネル信号表現を行う。
これは、効率的な性能を可能にすることができ、特に、特定のデータ転送速度について質が向上した復号化信号を実現することができる。あるいは、または、更に、効率的および複雑性が低い、もしくは効率的または複雑性が低い実行を可能にすることができる。第２の部分は、復号器が第１のＭチャンネル信号を再生することをより正確に可能にするデータを含むことができる。
本発明の任意選択的な特長によれば、生成手段は、絶対補強データとしての第２の部分の第２の補強データの適用、または、相対補強データとしての第２の部分の第２の補強データの適用からのみ選択するように構成される。
これは、効率的な性能を可能にすることができ、特に、特定のデータ転送速度について質が向上した復号化信号を実現することができる。あるいは、または、更に、効率的および複雑性が低い、もしくは効率的または複雑性が低い実行を可能にすることができる。
本発明の任意選択的な特長によれば、生成手段は、第１の部分の補強データを第１のＭチャンネル信号に適用することによって生成された信号に第２の部分の相対補強データを適用することによってＭチャンネル・マルチ・チャンネル拡張部を生成するように構成される。
これは、効率的な性能を可能にすることができ、特に、特定のデータ転送速度について質が向上した復号化信号を実現することができる。あるいは、または、更に、効率的および複雑性が低い、もしくは効率的または複雑性が低い実行を可能にすることができる。
本発明の別の態様によれば、Ｎチャンネル・オーディオ信号を符号化する方法であって、Ｎチャンネル・オーディオ信号用第１のＭチャンネル信号を生成するステップであって、ＭがＮより小さいステップと、Ｎチャンネル・オーディオ信号に対して第１のＭチャンネル信号用第１の補強データを生成するステップと、Ｎチャンネル・オーディオ信号用第２のＭチャンネル信号を生成するステップと、第１のＭチャンネル信号に対して第２のＭチャンネル信号用第２の補強データを生成するステップと、第２のＭチャンネル信号と、第１の補強データと、第２の補強データとを含む符号化出力信号を生成するステップとを含み、第２の補強データの生成ステップが、第２のＭチャンネル信号に対して、絶対補強データとしての第２の補強データの生成、または、相対補強データとしての第２の補強データの生成から動的に選択するステップを含む方法を提供する。
本発明の別の態様によれば、Ｎチャンネル・オーディオ信号を復号化する方法であって、Ｎチャンネル・オーディオ信号用第１のＭチャンネル信号であって、ＭがＮより小さい信号と、第１のＭチャンネル信号と異なる第２のＭチャンネル信号に対するマルチ・チャンネル拡張用第１の補強データと、第１のＭチャンネル信号に対する絶対補強データと相対補強データとを含む、第２のＭチャンネル信号用第１のＭチャンネル信号に対する第２の補強データと、信号ブロックに関する第２の補強データが絶対補強データであるのかそれとも相対補強データであるのかを示す表示データとを含む符号化オーディオ信号を受信するステップと、第１のＭチャンネル信号と第２の補強データとに応答してＭチャンネル・マルチ・チャンネル拡張信号を生成するステップと、Ｍチャンネル・マルチ・チャンネル拡張信号と、第１の補強データとに応答してＮチャンネル復号化信号を生成するステップとを含み、Ｍチャンネル・マルチ・チャンネル拡張信号の生成ステップが、表示データに応答して、絶対補強データとしての第２の補強データの適用、または、相対補強データとしての第２の補強データの適用から選択するステップを含む方法を提供する。
本発明の別の態様によれば、Ｎチャンネル・オーディオ信号用符号化マルチ・チャンネル・オーディオ信号であって、Ｎチャンネル・オーディオ信号用Ｍチャンネル信号データであって、ＭがＮより小さい信号データと、第１のＭチャンネル信号と異なる第２のＭチャンネル信号に対するマルチ・チャンネル拡張用第１の補強データと、第１のＭチャンネル信号に対する絶対補強データと相対補強データとを含む、第２のＭチャンネル信号に対する第１のＭチャンネル信号用第２の補強データと、信号ブロックに関する第２の補強データが絶対補強データであるのかそれとも相対補強データであるのかを示す表示データとを含む符号化マルチ・チャンネル・オーディオ信号を提供する。
本発明の別の態様によれば、上述したような信号が格納された記憶媒体を提供する。
本発明の別の態様によれば、上述したようなマルチ・チャンネル・オーディオ符号器を含む、符号化マルチ・チャンネル・オーディオ信号を送信する送信器を提供する。
本発明の別の態様によれば、上述したようなマルチ・チャンネル・オーディオ復号器を含む、マルチ・チャンネル・オーディオ信号を受信する受信器を提供する。
本発明の別の態様によれば、符号化マルチ・チャンネル・オーディオ信号を送信チャンネルを介して受信器に送信する送信器を含む送信システムであって、上述したようなマルチ・チャンネル・オーディオ符号器を含む送信器と、上述したようなマルチ・チャンネル・オーディオ復号器を含む受信器とを含む送信システムを提供する。
本発明の別の態様によれば、符号化マルチ・チャンネル・オーディオ信号を送信する方法であって、Ｎチャンネル・オーディオ信号を符号化するステップを含み、符号化するステップが、Ｎチャンネル・オーディオ信号用第１のＭチャンネル信号を生成するステップであって、ＭがＮより小さいステップと、Ｎチャンネル・オーディオ信号に対して第１のＭチャンネル信号用第１の補強データを生成するステップと、Ｎチャンネル・オーディオ信号用第２のＭチャンネル信号を生成するステップと、第１のＭチャンネル信号に対して第２のＭチャンネル信号用第２の補強データを生成するステップと、第２のＭチャンネル信号と、第１の補強データと、第２の補強データとを含む、符号化出力信号を生成するステップとを含み、第２の補強データの生成ステップが、第２のＭチャンネル信号に対して、絶対補強データとしての第２の補強データの生成、または、相対補強データとしての第２の補強データの生成から動的に選択するステップを含む方法を提供する。
本発明の別の態様によれば、符号化マルチ・チャンネル・オーディオ信号を受信する方法であって、符号化マルチ・チャンネル・オーディオ信号を復号化するステップを含み、復号化するステップが、Ｎチャンネル・オーディオ信号用第１のＭチャンネル信号であって、ＭがＮより小さい信号と、第１のＭチャンネル信号と異なる第２のＭチャンネル信号に対するマルチ・チャンネル拡張用第１の補強データと、第１のＭチャンネル信号に対する絶対補強データと相対補強データとを含む、第２のＭチャンネル信号に対する第１のＭチャンネル信号用第２の補強データと、信号ブロックに関する第２の補強データが絶対補強データであるのかそれとも相対補強データであるのかを示す表示データとを含む符号化マルチ・チャンネル・オーディオ信号を受信するステップと、第１のＭチャンネル信号と第２の補強データとに応答してＭチャンネル・マルチ・チャンネル拡張信号を生成する生成ステップと、Ｍチャンネル・マルチ・チャンネル拡張信号と、第１の補強データとに応答してＮチャンネル復号化信号を生成するステップとを含み、Ｍチャンネル・マルチ・チャンネル拡張信号の生成ステップが、表示データに応答して、絶対補強データとしての第２の補強データの適用、または、相対補強データとしての第２の補強データの適用から選択するステップを含む方法を提供する。
本発明の別の態様によれば、オーディオ信号を送受信する方法であって、Ｎチャンネル・オーディオ信号用第１のＭチャンネル信号を生成するステップであって、ＭがＮより小さいステップと、Ｎチャンネル・オーディオ信号に対して第１のＭチャンネル信号用第１の補強データを生成するステップと、Ｎチャンネル・オーディオ信号用第２のＭチャンネル信号を生成するステップと、第１のＭチャンネル信号に対して第２のＭチャンネル信号用第２の補強データを生成するステップであって、第２のＭチャンネル信号に対して、絶対補強データとしての第２の補強データの生成、または、相対補強データとしての第２の補強データの生成から動的に選択するステップを含むステップと、第２のＭチャンネル信号と、第１の補強データと、第２の補強データとを含む符号化出力信号を生成するステップとを含む、Ｎチャンネル・オーディオ信号を符号化するステップと；送信器から受信器に符号化出力信号を送信するステップと；受信器にて符号化出力信号を受信するステップと；第２のＭチャンネル信号と第２の補強データとに応答してＭチャンネル・マルチ・チャンネル拡張信号を生成するステップであって、絶対補強データとしての第２の補強データの適用、または、相対補強データとしての第２の補強データの適用から選択するステップを含むステップと、Ｍチャンネル・マルチ・チャンネル拡張信号と第１の補強データに応答してＮチャンネル復号化信号を生成するステップとを含む、符号化出力信号を復号化するステップとを含む方法を提供する。
本発明の別の態様によれば、上述した方法のステップをプロセッサに実行させるように動作するコンピュータプログラムを提供する。
本発明の別の態様によれば、上述したようなマルチ・チャンネル・オーディオ符号器を含むマルチ・チャンネルオーディオレコーダを提供する。
本発明の別の態様によれば、上述したようなマルチ・チャンネル・オーディオ復号器を含むマルチ・チャンネルオーディオプレーヤ（６０）を提供する。
本発明の上記およびその他の態様、特長および利点は、以下で説明する実施形態から明らかになるであろうし、かつ、以下で説明する実施形態を参照すれば明らかにされるであろう。
本発明の種々の実施形態を、例としてのみ、図面を参照しながら説明する。
以下の説明は、５．１チャンネルから２チャンネルへの符号器および２チャンネルから５．１チャンネルの復号器もしくは５．１チャンネルから２チャンネルの符号器または２チャンネルから５．１チャンネルの復号器に適用可能な本発明の実施形態が中心となっている。しかしながら、本発明は、この適用に限定されないことが理解されるであろう。
図１は、本発明の一部の実施形態によるマルチ・チャンネル・オーディオ符号器１０の実施形態のブロック図を示す。このマルチ・チャンネル・オーディオ符号器１０は、Ｎ個のオーディオ信号１０１をＭ個のオーディオ信号１０２と関連パラメータ・データ１０４、１０５とに符号化するために構成される。これにおいては、ＭとＮは、整数であり、Ｎ＞Ｍ、かつ、Ｍ≧１である。マルチ・チャンネル・オーディオ符号器１０の例は、Ｎは、６、即ち、５＋１チャンネルに等しく、Ｍは、２に等しい５．１チャンネルから２チャンネルへの符号器である。このようなマルチ・チャンネル・オーディオ符号器は、５．１チャンネル入力オーディオ信号を２チャンネル出力オーディオ信号、例えば、ステレオ出力オーディオ信号と関連パラメータとに符号化する。マルチ・チャンネル・オーディオ符号器１０の他の例は、５．１チャンネルから１チャンネルへの符号器、６．１チャンネルから２チャンネルへの符号器、６．１チャンネルから１チャンネルへの符号器、７．１チャンネルから２チャンネルへの符号器、７．１チャンネルから１チャンネルへの符号器である。また、ＮがＭより大きい限り、かつ、Ｍが１より大きいか、または１に等しい限り、ＮとＭについて他の値を有する符号器が可能である。
符号器１０は、第１の符号化装置１１０と、それに連結された状態で、第２の符号化装置１２０を含む。第１の符号化装置１１０は、Ｎ個の入力オーディオ信号１０１を受信して、Ｎ個のオーディオ信号１０１をＭ個のオーディオ信号１０２と第１の関連パラメータ・データ１０４に符号化する。Ｍ個のオーディオ信号１０２と第１の関連パラメータ・データ１０４は、Ｎ個のオーディオ信号１０１を表す。第１の装置１１０によって行われるようなＭ個のオーディオ信号１０２へのＮ個のオーディオ信号１０１の符号化は、ダウン・ミックスともいうことができ、Ｍ個のオーディオ信号１０２は、空間的ダウン・ミックス１０２ともいうことができる。装置１１０は、マルチ・チャンネル・オーディオ信号１０１をモノまたはステレオ・ダウン・ミックス・オーディオ信号１０２と関連パラメータ１０４に符号化する従来のパラメータ系マルチ・チャンネル・オーディオ符号器とすることができる。関連パラメータ１０４によって、復号器は、モノまたはステレオ・ダウン・ミックス・オーディオ信号１０２からマルチ・チャンネル・オーディオ信号１０１を再構築することができる。なお、ダウン・ミックス１０２は、３つ以上のチャンネルを有することもできる。
第１の装置１１０は、空間的ダウン・ミックス１０２を第２の装置１２０に供給する。第２の装置１２０は、空間的ダウン・ミックス１０２から、第２の関連パラメータ・データ１０５の形で第２の補強データを生成する。第２の関連パラメータ・データ１０５は、空間的ダウン・ミックス１０２を表す、即ち、これらのパラメータ１０５は、復号器が例えば、空間的ダウン・ミックス１０２に似た信号を合成することによって空間的ダウン・ミックス１０２の少なくとも一部を再構築することを可能にする空間的ダウン・ミックス１０２の特性を含む。関連パラメータ・データは、第１および第２の関連パラメータ・データ１０４、１０５を含む。
第２の関連パラメータ・データ１０５は、Ｋ個（Ｍ個）の更なるオーディオ信号１０３からの空間的ダウン・ミックス１０２の再構築を可能にする修正パラメータを含む。このようにして、復号器は、空間的ダウン・ミックス１０２のなお一層良好な再構築を行うことができる。この再構築は、代替ダウン・ミックス１０３、即ち、芸術的ダウン・ミックスなど、Ｋ個の更なるオーディオ信号１０３に基づいて行なうことができる。復号器は、代替ダウン・ミックス信号１０３が空間的ダウン・ミックス１０２により酷似するように修正パラメータを代替ダウン・ミックス信号１０３に適用することができる。
第２の装置１２０は、入力として、代替ダウン・ミックス１０３を受信することができる。代替ダウン・ミックス１０３は、符号器１０の外部にあるソース（図１に示すような）から受信することができるか、あるいは、代替ダウン・ミックス１０３は、例えば、Ｎ個のオーディオ信号１０１から、符号器１０（図示せず）の内側に生成することができる。第２の装置１２０は、空間的ダウン・ミックス１０２の少なくとも一部を代替ダウン・ミックス１０３と比較して、空間的ダウン・ミックス１０２と代替ダウン・ミックス１０３の差、例えば、空間的ダウン・ミックス１０２の特性と代替ダウン・ミックス１０３の特性の差を表す修正パラメータ１０５を生成することができる。この例においては、代替ダウン・ミックス１０３は、具体的には、空間的ダウン・ミックスに関連した芸術的ダウン・ミックスである。
この例においては、第２の装置１２０は、代替ダウン・ミックス１０３を参照することなく空間的ダウン・ミックス１０２を直接に表す絶対値として修正パラメータを更に生成することができる。更に、第２の装置１２０は、符号化出力信号について相対修正パラメータと絶対修正パラメータとから選択する機能性を含む。具体的には、この選択は、動的に行われ、信号およびパラメータ・データもしくは信号またはパラメータ・データによって、個々の信号ブロックについて行なうことができる。
更に、第２の装置１２０は、符号化信号の異なる信号セクションについてどの修正パラメータ（絶対または相対）が使用されたのかの表示を含める機能性を含むことができる。例えば、各信号ブロックについて、データ・ビットを含めて、その信号ブロックについて、相対パラメータまたは絶対パラメータが含まれているのか示すことができる。
修正パラメータ１０５は、分散、共分散、および相関などの１つまたはそれ以上の統計的な信号特性（の差）、またはこれらの特性、またはダウン・ミックス信号（の差）の比率を含むことが好ましい。なお、信号の分散は、その信号のエネルギーまたは電力と同等である。これらの統計的な信号特性によって、空間的ダウン・ミックスの良好な再構築が可能である。
図２は、本発明の一部の実施形態によるマルチ・チャンネル・オーディオ復号器２０の実施形態のブロック図を示す。復号器２０は、Ｋ個のオーディオ信号１０３と関連パラメータ・データ１０４、１０５とをＮ個のオーディオ信号２０３に復号化するように構成される。これにおいては、ＫとＮは、整数であり、Ｎ＞Ｋ、Ｋ≧１である。Ｋ個のオーディオ信号１０３、即ち、代替ダウン・ミックス１０３と関連パラメータ・データ１０４、１０５は、Ｎ個のオーディオ信号２０３、即ち、マルチ・チャンネル・オーディオ信号２０３を表す。マルチ・チャンネル・オーディオ復号器２０の例は、Ｎが６、即ち、５＋１チャンネルに等しく、Ｋが２に等しい２チャンネルから５．１チャンネルへの復号器である。このようなマルチ・チャンネル・オーディオ復号器は、２チャンネル入力オーディオ信号、例えば、ステレオ入力オーディオ信号と関連パラメータとを５．１チャンネル出力オーディオ信号に復号化する。マルチ・チャンネル・オーディオ復号器２０の他の例は、１チャンネルから５．１チャンネルへの復号器、２チャンネルから６．１チャンネルへの復号器、１チャンネルから６．１チャンネルへの復号器、２チャンネルから７．１チャンネルへの復号器、１チャンネルから７．１チャンネルへの復号器である。また、ＮがＫより大きい限り、かつ、Ｋが１より大きいか、または１に等しい限り、ＮとＫについて他の値を有する復号器が可能である。
マルチ・チャンネル・オーディオ復号器２０は、第１の装置２１０と、それに連結された状態で、第２の装置２２０とを含む。第１の装置２１０は、代替ダウン・ミックス１０３と修正パラメータ１０５の形である補強データとを受信し、代替ダウン・ミックス１０３と修正パラメータ１０５とから、Ｍ個の更なるオーディオ信号２０２、即ち、空間的ダウン・ミックス２０２、または、その近似値を再構築する。これにおいては、Ｍは、整数であり、Ｍ≧１である。修正パラメータ１０５は、空間的ダウン・ミックス２０２を表す。第１の装置２１０は、具体的には、修正パラメータ１０５が 絶対修正パラメータまたは相対修正パラメータであるかを判断し、相応にパラメータを適用するように構成される。具体的には、第１の装置２１０は、個々の信号ブロックに関する修正パラメータ１０５が受信ビットストリームの明示的データに基づいて相対パラメータまたは絶対パラメータであるか判断することができる。例えば、パラメータがその信号ブロックにおいて絶対修正パラメータまたは相対修正パラメータであるかを示す各信号ブロックについて単一のデータビットを含むことができる。
第２の装置２２０は、第１の装置２１０と修正パラメータ１０４とから空間的ダウン・ミックス２０２を受信する。第２の装置２２０は、空間的ダウン・ミックス２０２と修正パラメータ１０４とをマルチ・チャンネル・オーディオ信号２０３に復号化する。第２の装置２２０は、モノまたはステレオ・ダウン・ミックス・オーディオ信号２０２と関連パラメータ１０４をマルチ・チャンネル・オーディオ信号２０３とに復号化する従来のパラメータ系マルチ・チャンネル・オーディオ復号器とすることができる。
第１の装置２１０は、入力信号１０３から信号２０２を再構築することが必要または望ましいか判断するように構成される。このような再構築は、代替ダウン・ミックス１０３ではなく、空間的ダウン・ミックス信号２０２が第１の装置２１０に供給されるときには適用不可能である場合がある。第１の装置２１０は、入力信号１０３から、修正パラメータ１０５に含まれるのと類似のまたは同じ信号特性を生成することによって、かつ、これらの生成された信号特性を修正パラメータ１０５と比較することによってこれを判断することができる。この比較によって生成信号特性が修正パラメータ１０５と等しいかまたは実質的に等しいとわかった場合、入力信号１０３は、空間的ダウン・ミックス信号２０２と十分に類似するものであり、第１の装置２１０は、入力信号１０３を第２の装置２２０に転送することができる。この比較によって生成信号特性が修正パラメータ１０５と等しくないかまたは実質的に等しくないとわかった場合、入力信号１０３は、空間的ダウン・ミックス信号２０２に十分に類似するものではなく、第１の装置２１０は、入力信号１０３と修正パラメータ１０５とから空間的ダウン・ミックス信号２０２を再構築／近似処理することができる。
第１の装置２１０は、代替ダウン・ミックスから、代替ダウン・ミックス１０３を表す更なる修正パラメータ／特性を生成することができる。このような場合、第１の装置２１０は、代替ダウン・ミックス１０３と修正パラメータ１０５および更なる修正パラメータ（の差）とから空間的ダウン・ミックス２０２を再構築することができる。
修正パラメータ１０５と更なる修正パラメータは、それぞれ、空間的ダウン・ミックス２０２、代替ダウン・ミックス１０３の統計的特性を含むことができる。分散、相関、共分散などのこれらの統計的特性によって、これらのパラメータの導出元である信号が良好に表される。これらの統計的特性は、関連特性が修正パラメータ１０５内に含まれる特性と適合するように代替ダウン・ミックスを変換させることによって空間的ダウン・ミックス２０２を再構築する際に有用である。
図３は、本発明の一部の実施形態による送信システム７０の実施形態のブロック図を示す。送信システム７０は、送信チャンネル３０、例えば、有線または無線通信リンクを介して符号化マルチ・チャンネル・オーディオ信号を受信器５０に送信する送信器４０を含む。送信器４０は、上述したように、マルチ・チャンネル・オーディオ信号１０１を、空間的ダウン・ミックス１０２と、関連パラメータ１０４、１０５とに符号化するマルチ・チャンネル・オーディオ符号器１０を含む。送信器４０は、パラメータ１０４、１０５と、空間的ダウン・ミックス１０２または代替ダウン・ミックス１０３とを含む符号化マルチ・チャンネル・オーディオ信号を送信チャンネル３０を介して受信器５０に送信する手段４１を更に含む。受信器５０は、符号化マルチ・チャンネル・オーディオ信号を受信する手段５１と、上述したように、代替ダウン・ミックス１０３または空間的ダウン・ミックス１０２と関連パラメータ１０４、１０５とをマルチ・チャンネル・オーディオ信号２０３に復号化するマルチ・チャンネル・オーディオ復号器２０を含む。
図４は、本発明の一部の実施形態によるマルチ・チャンネル・オーディオプレーヤ／レコーダ６０の実施形態のブロック図を示す。オーディオプレーヤ/レコーダ６０は、本発明の一部の実施形態によるマルチ・チャンネル・オーディオ復号器２０およびマルチ・チャンネル・オーディオ符号器１０もしくは本発明の一部の実施形態によるマルチ・チャンネル・オーディオ復号器２０またはマルチ・チャンネル・オーディオ符号器１０を含む。オーディオプレーヤ/レコーダ６０は、独自の記憶装置、例えば、固体メモリまたはハードディスクを有することができる。また、オーディオプレーヤ/レコーダ６０は、（記録可能）ＤＶＤディスクまたは（記録可能）ＣＤディスクなどの着脱式記憶手段を容易にすることができる。代替ダウン・ミックス１０３とパラメータ１０４、１０５とを含む格納された符号化マルチ・チャンネル・オーディオ信号は、復号器２０によって復号化して、オーディオプレーヤ/レコーダ６０によってプレイつまり再生することができる。符号器１０は、記憶手段上での格納に向けてマルチ・チャンネル・オーディオ信号を復号化することができる。
図５は、本発明の一部の実施形態によるマルチ・チャンネル・オーディオ符号器１０のブロック図を示す。図５の符号器は、具体的には、図１の符号器１０とすることができる。符号器１０は、第１の装置１１０と、それに連結された状態で、第２の装置１２０とを含む。第１の装置１１０は、それぞれ、左前、左後、右前、右後、中央を含む５.１マルチ・チャンネル・オーディオ信号１０１と、低周波補強オーディオ信号ｌｆ、ｌｒ、ｒｆ、ｒｒ、ｃｏ、ｌｆｅを受信する。第２の装置１２０は、それぞれ、左芸術的オーディオ信号と右芸術的オーディオ信号ｌａ、ｒａとを含む芸術的ステレオ・ダウン・ミックス１０３を受信する。マルチ・チャンネル・オーディオ信号１０１と芸術的ダウン・ミックス１０３は、時間ドメイン・オーディオ信号である。第１および第２の装置１１０、１２０においては、これらの信号１０１、１０３は、セグメント化されて、周波数ドメインに変換される。
第１の装置１１０においては、パラメータ・データ１０４を３段階で導出する。第１の段階においては、３対のオーディオ信号ｌｆとｒｆ、ｒｆとｒｒ、ｃｏとｌｆｅをそれぞれセグメント化して、セグメント化信号を、それぞれ、セグメント化・変換装置１１２、１１３、１１４において周波数ドメインに変換させる。セグメント信号の結果的に得られる周波数ドメイン表現は、それぞれ、周波数ドメイン信号Ｌｆ、Ｌｒ、Ｒｆ、Ｒｒ、Ｃｏ、ＬＦＥとして示される。第２の段階においては、３対のこれらの周波数ドメイン信号ＬｆとＬｒ、ＲｆとＲｒ、ＣｏとＬＦＥを、それぞれ、ダウン・ミキサ１１５、１１６、１１７においてダウンミックス処理して、それぞれ、モノ・オーディオ信号Ｌ、Ｒ、Ｃと、それぞれ、関連パラメータ１４１、１４２、１４３とを生成する。ダウン・ミキサ１１５、１１６、１１７は、従来のＭＰＥＧ４パラメータ系ステレオ符号器とすることができる。最後に、第３の段階において、３つのモノ・オーディオ信号Ｌ、Ｒ、Ｃをダウン・ミキサ１１８内でダウン・ミックス処理して空間的ステレオ・ダウン・ミックス１０２と関連パラメータ１４４とを取得する。空間的ダウン・ミックス１０２は、信号ＬｏとＲｏを含む。
パラメータ・データ１４１、１４２、１４３、１４４は、第１の関連パラメータ・データ１０４の形で第１の補強データ内に含まれる。パラメータ・データ１０４と空間的ダウン・ミックス１０２は、５.１入力信号１０１を表す。
第２の装置においては、それぞれ、オーディオ信号ｌａとｒａによって時間ドメインにおいて表される芸術的ダウン・ミックス信号１０３は、まず、セグメント化装置１２１内でセグメント化される。結果的に得られるセグメント化オーディオ信号１２７は、それぞれ、信号ｌａｓとｒａｓを含む。次に、このセグメント化オーディオ信号１２７は、変換器１２２によって周波数ドメインに変換される。結果的に得られる周波数ドメイン信号１２６は、信号ＬａとＲａを含む。最後に、セグメント化された芸術的ダウン・ミックス１０３の周波数ドメイン表現である周波数ドメイン信号１２６とセグメント化空間的ダウン・ミックス１０２の周波数ドメイン表現は、発生器１２３に供給され、発生器１２３は、芸術的ダウン・ミックス１０３が空間的ダウン・ミックス１０２により酷似するように、復号器が芸術的ダウン・ミックス１０３を修正／変換することを可能にする修正パラメータ１０５の形で更なる（第２の）補強データを生成する。
特定の例においては、また、セグメント化時間ドメイン信号１２７は、セレクター１２４に供給される。セレクター１２４への他の２つの入力は、空間的ステレオ・ダウン・ミックス１０２の周波数ドメイン表現と制御信号１２８である。制御信号１２８は、セレクター１２４が芸術的ダウン・ミックス１０３または空間的ダウン・ミックス１０２を符号化マルチ・チャンネル・オーディオ信号の一部として出力するべきであるか判断する。空間的ダウン・ミックス１０２は、芸術的ダウン・ミックスがないときに選択することができる。制御信号１２８は、手作業で設定することができるか、または、芸術的ダウン・ミックス１０３の存在を感知することによって自動的に生成することができる。制御信号１２８は、対応する復号器２０が後述するように制御信号１２８を利用することができるようにパラメータ・ビット・ストリーム内に含めることができる。したがって、この例示的な符号器によって、空間的ダウン・ミックス１０２または芸術的ダウン・ミックス１０３を含む信号を生成することができる。
セレクター１２４の出力信号１０２、１０３は、信号ｌｏとｒｏとして示される。芸術的ステレオ・ダウン・ミックス１２７がセレクター１２４によって出力されなければならない場合、セグメント化時間ドメイン信号ｌａｓとｒａｓは、重複加算によってセレクター１２４内で信号ｌｏとｒｏに結合される。空間的ステレオ・ダウン・ミックス１０２が制御信号１２８によって表示されるように出力されなければならない場合、セレクター１２４は、信号ＬｏとＲｏを時間ドメインに変換して、重複加算によって信号ｌｏとｒｏに結合する。時間ドメイン信号ｌｏとｒｏは、５.１チャンネルから２チャンネルへの符号器１０のステレオ・ダウン・ミックスを成す。
発生器１２３を以下で更に詳細に説明する。発生器１２３の機能は、第２の補強データ、具体的には、芸術的ダウン・ミックス１０３がある意味で元の空間的ダウン・ミックス１０２に類似するように、芸術的ダウン・ミックス１０３の変換を記述する修正パラメータを判断することである。
一般に、この変換は、以下のように記述することができる。
Figure 2008535015
ここで、
Figure 2008535015
と
Figure 2008535015
は、芸術的ダウン・ミックス１０３の左右のチャンネルの時間／周波数タイルのサンプルを含むベクトルであり、
Figure 2008535015
と
Figure 2008535015
は、修正芸術的ダウン・ミックスの左右のチャンネルの時間／周波数タイルのサンプルを含むベクトルであり、
Figure 2008535015
は、任意選択的補助チャンネルの時間／周波数タイルのサンプルを含み、
Figure 2008535015
は、変換行列である。なお、任意のベクトル
Figure 2008535015
が、列ベクトルと定義される。修正芸術的ダウン・ミックスは、元の空間的ダウン・ミックス１０２と類似するように、この変換によって変換される芸術的ダウン・ミックス１０３である。補助チャンネル
Figure 2008535015
は、説明するシステムにおいては、空間的ダウン・ミックス信号またはその低周波コンテンツである。
（Ｎ＋２）×２変換行列
Figure 2008535015
は、修正芸術的ダウン・ミックスへの芸術的ダウン・ミックス１０３と補助チャンネルの変換を記述する。変換行列
Figure 2008535015
またはその要素は、復号器２０が変換行列
Figure 2008535015
の少なくとも一部を再構築することができるように修正パラメータ１０５に含まれることが好ましい。その後、復号器２０は、変換行列
Figure 2008535015
を芸術的ダウン・ミックス１０３に適用して空間的ダウン・ミックス１０２を再構築することができる（以下で説明するように）。
あるいは、修正パラメータ１０５は、信号特性、例えば、空間的ダウン・ミックス１０２のエネルギーまたは電力値および相関値もしくはエネルギーまたは電力または相関値を含む。その後、復号器２０は、芸術的ダウン・ミックス１０３から当該の信号特性を生成することができる。空間的ダウン・ミックス１０２と芸術的ダウン・ミックス１０３の信号特性によって、復号器２０は、変換行列
Figure 2008535015
（以下で説明）を構築し、かつ、それを芸術的ダウン・ミックス１０３に適用して空間的ダウン・ミックス１０２を再構築することができる（やはり以下で説明）。
具体的には、発生器１２３は、相対修正データも絶対修正データも生成し、かつ、個々の信号ブロック（またはセグメント）についてこのデータから選択するように構成される。したがって、符号化信号に関する修正パラメータ１０５は、異なる信号ブロックに向けて絶対修正データも相対修正データも含む。絶対修正データとは対照的に、相対修正データは、芸術的ダウン・ミックス１０３に対して空間的ダウン・ミックス１０２を記述する。具体的には、相対修正データは、空間的ダウン・ミックス・サンプルに（より密接に）対応するように芸術的ダウン・ミックス・サンプルを修正することを可能にする差分データとすることができ、一方、絶対ダウン・ミックス・データは、芸術的ダウン・ミックス・サンプルを参照または芸術的ダウン・ミックス・サンプルに依存することなく、直接、空間的ダウン・ミックス・サンプルに対応することができる。
以下を含め、元のステレオ・ダウン・ミックス１０２に似るように芸術的ダウン・ミックス１０３を修正する方法が幾つかあることが理解されるであろう。
Ｉ．波形の適合。
ＩＩ．統計的特性の適合。
ａ．左右のチャンネルのエネルギーまたは電力の適合。
ｂ．左右のチャンネルの共分散行列の適合。
ＩＩＩ．左右のチャンネルのエネルギーまたは電力の拘束下での波形の可能な最良の適合を取得する。
ＩＶ．上述した方法ＩからＩＩＩを混合する。
明確にするために、（１）の補助チャンネル
Figure 2008535015
は、変換行列
Figure 2008535015
を
Figure 2008535015
のように書くことができるように初めは考慮されず、相対補強データは、例えば、以下として生成することができる。
Ｉ．波形適合（方法Ｉ）
芸術的ダウン・ミックス１０３と空間的ダウン・ミックス１０２の波形の適合は、修正芸術的ダウン・ミックスの左信号も右信号も芸術的ステレオ・ダウン・ミックス１０３の左右の信号の線形結合として表すことによって得ることができる。
Figure 2008535015
その後、（２）の行列
Figure 2008535015
は、以下のように書くことができる。
Figure 2008535015
パラメータα１、α２、β１およびβ２を選ぶ方法は、空間的ダウン・ミックス信号ＬｓとＲｓとその推定値（即ち、修正芸術的ダウン・ミックス信号
Figure 2008535015
と
Figure 2008535015
）とのユークリッド距離の２乗を最小限に抑えることである。したがって、
Figure 2008535015
および
Figure 2008535015
ＩＩ．統計的特性の適合（方法ＩＩ）
方法ＩＩ．ａ：左右の信号のエネルギーを適合させることをここで論じる。それぞれ、
Figure 2008535015
と
Figure 2008535015
によって示す、修正左芸術的ダウン・ミックス信号と修正右芸術的ダウン・ミックス信号をここで以下の要領で計算する。
Figure 2008535015
ここで、真のパラメータの場合、αとβは、以下によって示される。
Figure 2008535015
その結果、変換行列
Figure 2008535015
は、以下のように書くことができる。
Figure 2008535015
これらの選択で、それぞれ、信号
Figure 2008535015
と
Figure 2008535015
は、それぞれ、信号
Figure 2008535015
と
Figure 2008535015
と同じエネルギーを有することを確認することができる。
方法ＩＩ．ｂ：芸術的ステレオ・ダウン・ミックス１０３と空間的ダウン・ミックス１０２の共分散行列を適合させるには、これらの行列を以下のように固有値分解を使用して分解することができる。
Figure 2008535015
ここで、芸術的ステレオ・ダウン・ミックス１０３の共分散行列
Figure 2008535015
は、以下によって示される。
Figure 2008535015
Figure 2008535015
は、ユニタリ行列であり、
Figure 2008535015
は、対角行列である。
Figure 2008535015
は、空間的ステレオ・ダウン・ミックス１０２の共分散行列であり、
Figure 2008535015
は、ユニタリ行列であり、
Figure 2008535015
は、対角行列である。
Figure 2008535015
を計算するとき、２つの相互無相関信号
Figure 2008535015
と
Figure 2008535015
が得られ（行列
Figure 2008535015
との乗算により）、これらの信号は、単位エネルギー（行列
Figure 2008535015
のにより）を有する。
Figure 2008535015
を計算することによって、まず、
Figure 2008535015
の共分散行列は、恒等行列、即ち、
Figure 2008535015
に等しい共分散行列に変換される。いずれかの任意のユニタリ行列
Figure 2008535015
を適用すれば、共分散構造が変えられないことになり、
Figure 2008535015
を適用すると、結果的に、空間的ステレオ・ダウン・ミックス１０２と等しい共分散構造が得られる。
行列
Figure 2008535015
と信号
Figure 2008535015
と
Figure 2008535015
を以下のように定義してみよう。
Figure 2008535015
行列
Figure 2008535015
は、可能な最良の波形適合が、最小のユークリッド距離２乗に関して、信号
Figure 2008535015
と
Figure 2008535015
と信号
Figure 2008535015
と
Figure 2008535015
との間で得られるように選ぶことができ、
Figure 2008535015
と
Figure 2008535015
は、（１１）によって示される。
Figure 2008535015
に関するこの選択については、統計的方法内での波形適合を用いることができる。
（１２）から、変換行列
Figure 2008535015
は、以下によって示されることがわかる。
Figure 2008535015
ＩＩＩ．エネルギー拘束下での最良の波形適合（方法ＩＩＩ）
（３）を仮定すると、パラメータα１、α２、β１およびβ２は、エネルギー拘束下で（４）と（５）を最小限に抑えることによって得ることができる。
Figure 2008535015
ＩＶ．混合方法（方法ＩＶ）
異なる方法の混合に関して、可能な組み合わせとして、方法ＩＩ．ａと方法ＩＩ．ｂの混合または方法ＩＩ．ａと方法ＩＩＩの混合が挙げられる。以下のように進むことができる。
ａ）方法ＩＩ．ｂ／ＩＩＩを使用したときに得られる
Figure 2008535015
と
Figure 2008535015
間と
Figure 2008535015
と
Figure 2008535015
間の波形適合が良好である場合、方法ＩＩ．ｂ／ＩＩＩを使用する。
ｂ）この波形適合が不良である場合、方法ＩＩ．ａを使用する。
ｃ）この波形適合の質の関数として、変換行列を混合させることによって、２つの方法の漸進的な移行を確保する。
これを、数学的に以下のように表すことができる。
（３）と（２）を使用して、変換行列
Figure 2008535015
を以下のように一般的な形で書くことができる。
Figure 2008535015
この行列は、２つのベクトル
Figure 2008535015
と
Figure 2008535015
を使用して以下のように書き換えることができる。
Figure 2008535015
方法ＩＩ．ｂまたは方法ＩＩＩのいずれかを使用して得られた
Figure 2008535015
と
Figure 2008535015
の波形適合の質は、
Figure 2008535015
で表される。以下のように定義される。
Figure 2008535015
方法ＩＩ．ｂまたは方法ＩＩＩのいずれかを使用して得られた
Figure 2008535015
と
Figure 2008535015
の波形適合の質は、
Figure 2008535015
で表される。以下のように定義される。
Figure 2008535015

Figure 2008535015
と
Figure 2008535015
は両方とも、０と１の間にある。左チャンネルの混合係数
Figure 2008535015
と右チャンネルの混合係数
Figure 2008535015
は、以下のように定義することができる。
Figure 2008535015
ここで、
Figure 2008535015
、
Figure 2008535015
、
Figure 2008535015
、
Figure 2008535015
は、０と１の間の値であり、
Figure 2008535015
、
Figure 2008535015
である。方程式（２０）は、混合係数
Figure 2008535015
と
Figure 2008535015
が０と１の間であることを確保するものである。
方法ＩＩ．ａ、ＩＩ．ｂ、ＩＩＩの変換行列
Figure 2008535015
は、それぞれ、（８）によって示めされる
Figure 2008535015
、（１４）によって示される
Figure 2008535015
、
Figure 2008535015
と定義しよう。各変換行列は、以下のように２つのベクトルで分割することができ、これは、（１７）における
Figure 2008535015
の分割に似たものである。
Figure 2008535015
方法ＩＩ．ａと方法ＩＩ．ｂを混合する変換行列
Figure 2008535015
は、以下のように得られる。
Figure 2008535015
方法ＩＩ．ａと方法ＩＩＩを混合する変換行列
Figure 2008535015
は、以下のように得られる。
Figure 2008535015
ここで、２つの補強層チャンネルに対応する２つの補助チャンネルを考慮すると、上記の方程式（１）は、以下のように書き換えることができる。
Figure 2008535015
ここで、
Figure 2008535015
と
Figure 2008535015
（前と同様）は、それぞれ、芸術的ダウン・ミックスの左右のチャンネルの時間／周波数タイルのサンプルを含み、
Figure 2008535015
と
Figure 2008535015
は、それぞれ、修正芸術的ダウン・ミックスの左右のチャンネルの時間／周波数タイルのサンプルを含み、
Figure 2008535015
と
Figure 2008535015
は、補強層信号の時間／周波数タイルのサンプルを含む。したがって、４×２変換行列Ｔ'は、芸術的ダウン・ミックスと補強層信号から修正芸術的ダウン・ミックスへの変換を記述する。方程式（１）に関して、ここで使用される２つのみの補助チャンネルは、補強層信号
Figure 2008535015
と
Figure 2008535015
である。
特定の例示的なシステムにおいては、第２の補強層は、２つの異なるタイプのデータを含むことができる。
第１のタイプのデータは、方程式（１）の行列Ｔ内に含まれたパラメータを含む。これらのパラメータは、この例においては、信号帯域全体について計算され、ある意味で空間的ダウン・ミックスに似るように芸術的ステレオ・ダウン・ミックスを変換させるものである。したがって、この種のパラメータは、元の空間的ダウン・ミックスにより酷似する修正芸術的ダウン・ミックスを実現することができるが、（必ずしも）復号器が空間的ダウン・ミックスを正確に生成することを可能にするわけではない。各時間／周波数タイルについては、４つのパラメータのみが必要であり、即ち、Ｔの値が必要とされる（Ｔ１１、Ｔ１２、Ｔ２１、Ｔ２２）。これらのパラメータは、絶対コーディングまたは差分コーディングすることができ、符号器１０は、具体的には絶対符号化と差分符号化との間で切り替わることができる。
第２のタイプのデータは、実際の空間的ダウン・ミックスに対応するものであり、この特定の例においては、空間的ダウン・ミックスの帯域限定バージョンの表現である。具体的には、このタイプのデータは、空間的ダウン・ミックスの低周波部分（例えば、１．７ｋＨｚを下回る周波数）を表す。これによって、同じ、例えば、統計的特性を有する信号をただ生成するのではなく、復号器にて空間的ダウン・ミックスのこの部分を非常に正確に再構築することが可能になる（行列Ｔの場合と同様に）。この種のデータは、芸術的ダウン・ミックスに絶対的にまたは相対的にコーディングすることができる。具体的には、このタイプのデータを差分符号化することができる。例えば、変換行列Ｔを芸術的ダウン・ミックスに適用すると（例えば、方程式（２６）を参照されたい）、その信号と空間的ダウン・ミックスの差を符号化することができる。
したがって、一部の実施形態においては、第２の補強データは、補強データの第１の部分と第２の部分に分割され、第１の部分は、第２の部分ほど正確には空間的ダウン・ミックスを記述しない。一般的に、第２の補強データの第１の部分の対応するデータ転送速度は、第２の部分より遅い。第２の補強データの第２の部分の補強データは、ダウン・ミックスの一部のみに関連することができ、具体的には、低周波部分にのみ関連することができる。
一部の実施形態においては、発生器１２３は、第２の補強データの第１の部分と第２の部分の両方について、個別にまたはまとめて、絶対データと相対データとから選択するように配置することができる。他の実施形態においては、発生器１２３は、データの部分の１つのみについて絶対データと相対データから選択することができる。具体的には、以下では、第２の補強データの第１の部分がＴのパラメータを含み、一方、第２の部分が空間的ダウン・ミックスの低周波表現を含み、絶対データと相対データとからの動的な選択は、第２の補強データの第２の部分にのみ適用される種々の実施形態について説明する。
第２の補強データの第２の部分の相対データは、これらの実施形態においては、例えば、第１の部分の補強データが適用された後の芸術的ダウン・ミックスに対する差分値（即ち、修正芸術的ダウン・ミックスに対する差分値）として生成することができる。
以下においては、発生器１２３が第２の補強データの第２の部分について絶対データと相対データとからのみ選択する実施形態について以下で説明する。
第２の補強データの第１の部分と第２の部分の一部に関する絶対補強データは、この例においては、以下を設定することによって関連時間／周波数タイルについて導出することができる。
Figure 2008535015
ここで、
Figure 2008535015
、
Figure 2008535015
は、それぞれ、空間的ステレオ・ダウン・ミックスの左右のチャンネルの時間／周波数タイルのサンプルを含む。したがって、この特定の例においては、絶対補強データは、単に、芸術的ダウン・ミックス１０３の対応する時間／周波数タイル・サンプルに取って代わることができる空間的ダウン・ミックス１０２の実際の時間／周波数タイル・サンプルだけである。
更に、第２の補強データの第１および第２の部分のその部分については、関連時間／周波数タイルに関する相対補強データは、具体的には、以下を設定することによって差分データとして導出することができる。
Figure 2008535015
ここで、パラメータＴ１１、Ｔ１２、Ｔ２１、Ｔ２２は、方程式（２）の行列Ｔを構成する。
Figure 2008535015
このようにして、発生器１２３は、芸術的ダウン・ミックス１０３について絶対補強データと相対補強データの両方を生成することができ、復号器は、マルチ・チャンネル補強データの生成に使用される空間的ダウン・ミックス１０２により酷似する修正芸術的ダウン・ミックスを生成することができる。
発生器１２３は、更に、絶対補強データと相対補強データとから選択するように構成される。この選択は、この特定の例においては、個々の信号ブロック（例えば、個々のセグメント）について、かつ、これらの信号ブロック内の信号の特性に基づいて行われる。具体的には、発生器１２３は、任意の信号ブロックについて絶対補強データと相対補強データの特性を評価することができ、任意の信号ブロックについてどちらのデータを補強層に含めるべきか判断することができる。更に、発生器１２３は、どちらのデータが選択されたかの表示を含むことができ、その結果、復号器は、受信補強データを正しく適用することができる。
一部の実施形態においては、発生器１２３は、符号化を評価して、絶対補強データまたは相対補強データを最も効率的に符号化することができる（例えば、任意の精度を得るための最少数のビットで）か判断することができる。強引な方法として、実際に両方のタイプの補強データを符号化して符号化データサイズを比較することができる。しかしながら、これは、一部の実施形態においては複雑な方法となる恐れがあり、例示的な符号器１０においては、発生器１２３は、相対補強データの信号エネルギーに対する絶対補強データの信号エネルギーを評価して、２つの比較に基づいてどちらのタイプのデータを含めるべきか選択する。
具体的には、オーディオ・コーダについては、ビットレートに関して、できるだけ小さなエネルギーで信号を符号化することが有益であることが多い。したがって、発生器１２３は、最低信号エネルギーを有するタイプの補強データを選択する。特に、相対補強データは、
Figure 2008535015
のときに選択され、それ以外の場合には、絶対補強データが選択される。
異なる補強データ間の切り替えに関する問題は、一部の顕著な人為的影響が起こる恐れがあるということである。例示的符号器１０においては、発生器１２３は、異なる補強データ間で漸進的に切り替わる機能性も含む。したがって、切り替わりは、１つの信号ブロック内の１つのタイプの補強データから次の信号ブロック内の別のタイプに直に切り替わるのではなく、一方のセットのデータから他方のセットに漸進的に行われる。
したがって、（１つの信号ブロックを下回るかまたは上回る持続時間を有する）時間間隔中、発生器１２３は、絶対補強データと相対補強データの結合として補強データを生成する。この結合は、例えば、異なるタイプのデータ間の補間によって達成することができるか、または、この結合では、重複加算法を用いることができる。
特定の例として、異なるタイプの補強データ間で急に切り替わる
Figure 2008535015
ではなく、送信される補強データは、
Figure 2008535015
として生成することができ、ここでは、ｋ番目のデータ・フレームのαの値は、以下と判断することができる。
Figure 2008535015
現在のフレームが絶対コーディングされる場合。
現在のフレームが差分コーディングされる場合。

ここで、αｋは、ｋ番目のフレーム内のαの値を示し、δは、適応速度である。δ＝０．３３という値は、多くのシナリオにおいて確実に人為的影響がない符号化を実現することができる。方程式（２９）内に示す信号
Figure 2008535015
と
Figure 2008535015
は、パラメータ補間または重複加算法を用いて取得することができ、符号化されてビット・ストリームに追加される。更に、差分補強データまたは絶対補強データに関する判断が、ビット・ストリーム内に含まれ、その結果、復号器が、符号器内で使用されるのと同じα値を導出することが可能になる。
ここの説明では個別にこれらのＭ個のチャンネルの各々の（チャンネル間の）コーディングと共に差分モードと絶対モードを用いることが中心となっているが、他の実施形態では、異なる符号化法を用いることができることが理解されるであろう。例えば、Ｍ＝２の場合、次のステップは、例えば、ステレオ信号の（チャンネル間の）コーディングを行うときにはＭ／Ｓコーディング（Ｍｉｄ／Ｓｉｄｅコーディング、したがって、和信号と差信号をコーディング）を適用することとすることができる。多くの実施形態においては、これは、個々のチャンネルの（チャンネル間の）コーディングの差分モードと絶対モードの両方において有利であろう。
変換行列Ｔ'の諸要素は、実数値または複素数値とすることができる。これらの諸要素は、以下のように修正パラメータに符号化することができる。実数でありかつ正である変換行列
Figure 2008535015
の諸要素は、ＭＰＥＧ４ Ｐａｒａｍｅｔｒｉｃ Ｓｔｅｒｅｏ内で使用されるＩＩＤパラメータなど、対数で定量化することができる。小さな信号の過剰増幅を回避するためにパラメータの値について上限値を設定することが可能である。この上限値は、固定であるか、または、自動生成される左チャンネルと芸術的左チャンネル間の相関および自動生成される右チャンネルと芸術的右チャンネル間の相関の関数とすることができる。複雑である
Figure 2008535015
の諸要素のうち、大きさは、ＩＩＤパラメータを用いて定量化することができ、位相は、線形に定量化することができる。Ｔ'の諸要素は、実数であり、恐らくは負は、負の値と正の値の区別を確保しながら、要素の絶対値の対数を取ることによって、コーディングすることができる。
図６は、図５の発生器１２３の例をより詳細に示す。この例においては、発生器１２３は、信号ブロック・プロセッサ１４５を含み、信号ブロック・プロセッサ１４５は、周波数ドメイン空間的ダウン・ミックス１０２と周波数ドメイン芸術的ダウン・ミックス１２６とを受信して、信号を信号ブロックに分割する。各信号ブロックは、所定の持続時間の時間間隔に対応することができる。一部の実施形態においては、信号ブロックは、あるいはまたは更に、周波数ドメイン内で分割することができ、かつ、例えば、変換サブチャンネルは、異なる信号ブロックでまとめてグループ化することができる。
信号ブロック・プロセッサ１４５は、絶対補強データ・プロセッサ１４６に連結され、絶対補強データ・プロセッサ１４６は、先述したように、個々の信号ブロックについて絶対補強データを生成する。更に、信号ブロック・プロセッサ１４５は、相対補強データ・プロセッサ１４７に連結され、相対補強データ・プロセッサ１４７は、先述したように、個々の信号ブロックについて相対補強データを生成する。相対補強データと絶対補強データは、信号ブロック内の信号特性に基づいて判断され、具体的には、任意の時間／周波数タイル・グループに関する補強データは、その時間／周波数タイル・グループのみに基づいて判断することができる。
絶対補強データ・プロセッサ１４６は、第１の信号エネルギー・プロセッサ１４８に連結され、第１の信号エネルギー・プロセッサ１４８は、先述したように、各信号ブロック内の絶対補強データの信号エネルギーを判断する。同様に、相対補強データ・プロセッサ１４７は、第２の信号エネルギー・プロセッサ１４９に連結され、第２の信号エネルギー・プロセッサ１４９は、先述したように、各信号ブロック内の相対補強データの信号エネルギーを判断する。
第１および第２の信号エネルギー・プロセッサ１４８、１４９は、選択プロセッサ１５０に連結され、選択プロセッサ１５０は、各信号ブロックについて、どちらのタイプが最低信号エネルギーを有するかによって絶対補強データまたは相対補強データから選択する。
選択プロセッサ１５０は、補強データ・プロセッサ１５１に供給され、補強データ・プロセッサ１５１は、更に、補強データ・プロセッサ１４６と相対補強データ・プロセッサ１４７とに連結される。選択プロセッサ１５１は、どちらのタイプの補強データが選択されたかを示す制御信号を受信して、相応に、その補強データを選択補強データとして生成する。更に、選択プロセッサ１５１は、切り替え時間間隔中の絶対パラメータと相対パラメータ間の補間を含む漸進的な切り替えを行うように配置される。
選択プロセッサ１５１は、符号化プロセッサ１５２に連結され、符号化プロセッサ１５２は、特定のプロトコルに従って補強データを符号化する。更に、符号化プロセッサ１５２は、例えば、各信号ブロックについてビットを設定してデータタイプを表示することによって、どちらのタイプのデータが選択されているかを示すデータを符号化する。符号化プロセッサ１５２からのこの符号化データは、符号器１０によって生成された符号化ビット・ストリーム内に含まれる。
図７は、具体的には図２のオーディオ復号器２０とすることができる、本発明の一部の実施形態によるマルチ・チャンネル・オーディオ復号器の別の実施形態のブロック図を示す。
復号器２０は、第１の装置２１０と、それに連結された状態で、第２の装置２２０を含む。第１の装置２１０は、ダウン・ミックス信号ｌｏとｒｏおよび修正パラメータ１０５を入力として受信する。この入力は、例えば、図１または図５の符号器１０からの単一のビット・ストリームとして受信することができる。ダウン・ミックス信号ｌｏとｒｏは、空間的ダウン・ミックス１０２または芸術的ダウン・ミックス１０３の一部とすることができる。
第１の装置２１０は、セグメント化・変換装置２１１とダウン・ミックス修正装置２１２とを含む。ダウン・ミックス信号ｌｏとｒｏは、それぞれ、セグメント化され、セグメント化信号は、セグメント化・変換装置２１１内で周波数ドメインに変換される。セグメント化ダウン・ミックス信号の結果的に得られる周波数ドメイン表現は、それぞれ、周波数ドメイン信号ＬｏとＲｏとして示される。次に、周波数ドメイン信号ＬｏとＲｏは、ダウン・ミックス修正装置２１２内で処理される。ダウン・ミックス修正装置２１２の機能は、空間的ダウン・ミックス２０２に似るように入力ダウン・ミックスを修正すること、即ち、芸術的ダウン・ミックス１０３と修正パラメータ１０５から空間的ダウン・ミックス２０２を再構築することである。
空間的ダウン・ミックス１０２が復号器２０によって受信された場合、ダウン・ミックス修正装置２１２は、ダウン・ミックス信号ＬｏとＲｏを修正する必要はなく、これらのダウン・ミックス信号ＬｏとＲｏは、単に、空間的ダウン・ミックス２０２のダウン・ミックス信号ＬｄとＲｄとして第２の装置２２０に渡すことができる。制御信号２１７は、入力ダウン・ミックスの修正の必要性があるかどうか、即ち、入力ダウン・ミックスが空間的ダウン・ミックスであるのかそれとも代替ダウン・ミックスであるのかを表示することができる。制御信号２１７の生成は、例えば、入力ダウン・ミックスと、所望の空間的ダウン・ミックスの信号特性を記述することができる関連パラメータ１０５とを分析することによって、復号器２０内で内部的に行なうことができる。入力ダウン・ミックスが所望の信号特性に適合する場合、修正が不要であることを表示するように制御信号２１７を設定することができる。あるいは、制御信号２１７は、手作業で設定することができるか、または、その設定は、例えば、パラメータセット１０５において符号化マルチ・チャンネル・オーディオ信号の一部として受信することができる。
符号器２０が芸術的ダウン・ミックス１０３を受信し、制御信号２１７が、受信ダウン・ミックス信号ＬｏとＲｏはダウン・ミックス修正装置２１２によって修正されるべきであると表示する場合、復号器は、受信修正パラメータの表現によって２通りに動作することができる。パラメータが芸術的ダウン・ミックスから空間的ダウン・ミックスへの相対変換を表す場合（即ち、パラメータが相対補強データである場合）、符号器内で行われる動作と逆に修正パラメータを芸術的ダウン・ミックスに適用することによって、直接、変換変数が取得される。異なる実施形態においては、これは、例えば、第２の補強データの第２の部分に適用することができる。
一方、送信パラメータが空間的ダウン・ミックスの絶対特性を表す場合、復号器は、直接、空間的ダウン・ミックス・サンプルによって芸術的ダウン・ミックス・サンプルを置き換えることができる。例えば、第２の補強データの第２の部分が単に空間的ダウン・ミックスの時間／周波数タイル・サンプルにある場合、復号器は、直接、芸術的ダウン・ミックスの対応する時間／周波数タイル・サンプルをこれらで置き換えることができる。復号器が、まず、実際に送信された芸術的ダウン・ミックスの対応する特性を計算することも可能であることが理解されるであろう。この情報（送信パラメータと送信芸術的ダウン・ミックスの算出特性）を用いて、送信芸術的ダウン・ミックス（の特性）から空間的ダウン・ミックス（の特性）への変換を記述する変換変数が判断される。より具体的にいうと、変換行列Ｔの判断は、先述した方法ＩＩ．ａまたは（若干修正された）ＩＩ．ｂを用いて行なうことができる。
方法ＩＩ．ａは、絶対エネルギーが第２の補強データの第１の部分において送信された場合に用いることができる。送信（絶対）パラメータ
Figure 2008535015
と
Figure 2008535015
は、それぞれ、空間的ダウン・ミックスの左右の信号のエネルギーを表し、以下によって示される。
Figure 2008535015
送信ダウン・ミックス
Figure 2008535015
と
Figure 2008535015
のエネルギーは、復号器にて計算される。この変数を用いて、以下のように、（７）のパラメータαとβを計算することができる。
Figure 2008535015
変換行列
Figure 2008535015
は、以下によって示される。
Figure 2008535015
具体的には、ダウン・ミックス修正装置２１２は、芸術的ダウン・ミックスと修正パラメータ１０５を受信ビット・ストリームから抽出する機能性を含む。芸術的ダウン・ミックスは、（復号器によって使用される信号ブロックに対応する）信号ブロックに分割される。各信号ブロックについては、ダウン・ミックス修正装置２１２は、ビット・ストリームの受信データの表示を評価して、この信号ブロックについて第１および第２の部分には相対第２の補強データまたは絶対第２の補強データが供給されているか判断する。その後、ダウン・ミックス修正装置２１２は、表示データに応答して、絶対補強データまたは相対補強データとして第２の補強データの第１および第２の部分を適用する。
変換行列要素Ｔ１２とＴ２１が０に設定されたとき、複雑性は低いが高い性能を達成することができることが既にわかっている。以下においては、ダウン・ミックス修正装置２１２の一部の特定の実行例について、この制限と共に説明する。しかしながら、種々の実行例は、Ｔ１２およびＴ２１もしくはＴ１２またはＴ２１が０と異なる場合に容易に拡張することができることが理解されるであろう。
芸術的ダウン・ミックス信号向けに送信された第２の補強データの第２の部分の補強データがない場合、第１の装置２１０を図８に示すように実行することができる。時間ドメイン・ステレオ・ダウン・ミックス信号ｌｏとｒｏが、まず、セグメント化されて、ＱＭＦ変換によって周波数ドメインに変換され、その結果、芸術的ステレオ・ダウン・ミックスの時間／周波数タイルを表す信号ＬａとＲａが得られる。次に、これらの信号は、変換行列Ｔを用いて変換され、その結果、信号Ｔ１１ＬａとＴ１２Ｒａが得られる。
補強データは、時間ドメインおよび周波数ドメインもしくは時間ドメインまたは周波数ドメインにおいて生成しかつ適用することができることが理解されるであろう。したがって、コーディングされた時間ドメイン補強データ（Ｌｅｎｈ、Ｒｅｎｈ）をビット・ストリーム内に含めることが可能である。しかしながら、一部の適用においては、時間ドメイン補強データではなく、コーディングされた周波数ドメイン補強データ含めることが有利である可能性がある。例えば、多くの符号器においては、補強データは、時間／周波数タイルに関しては周波数ドメイン内で生成され、かつ、時間ドメイン信号を生成するために、周波数ドメインから時間ドメインへの変換が符号器にて必要とされる。更に、当該の補強データを適用するために、復号器は、データを時間ドメインから周波数ドメインに変換する。したがって、ドメイン変換回数は、補強データを周波数ドメインに含めることによって少なくすることができる。
一部の実施形態においては、芸術的ダウン・ミックスと補強データとを生成するために、異なる時間から周波数への変換を用いることができる。例えば、芸術的ダウン・ミックスの符号化では、ＱＭＦ変換を用いることができ、一方、補強データでは、ＭＤＣＴ変換が用いられる。この場合、補強データは、（ＭＤＣＴ）周波数ドメイン内に含めることができ、２つの周波数ドメイン間で直接行われる変換は、図９に示すように、ダウン・ミックス修正装置２１２によって行なうことができる。
この例においては、変換行列Ｔ＊は、単に、方程式（２）の変換行列Ｔとすることができる。しかしながら、スイッチング時の人為的影響を低減するために、Ｔ＊は、方程式（２）の変換行列Ｔに対応することができるが、漸進的な切り替えに向けて修正される。具体的には、行列Ｔ＊は、方程式（３０）によって求められるような因数αを含むことができ、その場合、絶対補強データまたは相対補強データに関する判断は、ビット・ストリームから検索される。この方法は、第２の補強データの第２の部分の補強層データが存在する信号ブロック／周波数帯域に使用され、その他の場合、図８の方法を用いることができる。
補強データ（Ｌｅｎｈ、Ｒｅｎｈ）が時間ドメインにおいて提供された場合、図１０に示すように、図９と類似の方法を用いることができる。しかしながら、この場合、周波数から周波数への変換の代わりに、時間から周波数への変換が用いられ、この時間から周波数への変換は、具体的には、芸術的ダウン・ミックスの符号化にＱＭＦ変換が用いられるときに時間からＱＭＦへのドメイン変換によるものとすることができる。したがって、この例においては、補強データは、周波数ドメインにおいて適用される。
多くの実施形態においては、第１の装置２１０において１回の時間ドメインから周波数ドメインへの変換しか用いられない時間ドメイン補強データに関する復号器の実行を用いることができる。
具体的には、以下の差分補強データ・パラメータを使用することができる。
Figure 2008535015
ただし、方程式（２７）によって示めされる行列Ｔは、正則行列である（したがって、その逆が存在する）ことを条件とする。ここで、方程式（１）を以下に変えることができる。
Figure 2008535015
図１１は、方程式（３４）と方程式（３５）に基づく時間ドメイン補強データに関するダウン・ミックス修正装置２１２の効率的な実行が行われることを示す。明瞭さを期すために、行列ＴのＴ１２とＴ２１は、０に設定される。図１０の実行例と比較すると、図１１の実行例によって必要とされる時間からＱＭＦへのドメイン変換は１回だけである。
したがって、上述したように、ダウン・ミックス修正装置２１２は、マルチ・チャンネル補強データに使用される空間的ダウン・ミックスに非常に酷似している信号２０２を生成する。これは、第２の装置２２０によって効果的に使用して２チャンネル・オーディオ信号を完全サラウンド・サウンド・マルチ・チャンネル信号に拡張することができる。更に、各信号ブロックについて最も妥当なタイプの補強データ（相対または絶対）を動的にかつ柔軟に選択することによって、実質的により効率的な符号化が達成され、かつ、質とデータ転送速度との比率が向上したマルチ・チャンネル符号化／復号化が達成される。
第２の装置２２０は、再構築空間的ダウン・ミックス２０２と関連パラメータ１０４とを５．１チャンネル出力信号２０３に復号化する従来の２チャンネルから５．１チャンネルへの復号器とすることができる。先述したように、パラメータ・データ１０４は、パラメータ・データ１４１、１４２、１４３、１４４を含む。第２の装置２２０は、符号器１０内の第１の装置１１０の逆の処理を行う。第２の装置２２０は、アップ・ミキサ２２１を含み、アップ・ミキサ２２１は、ステレオ・ダウン・ミックスと関連パラメータ１４４とを３つのモノ・オーディオ信号Ｌ、Ｒ、Ｃに変換し、それぞれ、モノ・オーディオ信号Ｌ、Ｒ、Ｃの各々は、それぞれ、相関分離器２２２、２２５、２２８内で相関分離される。その後、混合行列２２３によってモノ・オーディオ信号、その相関分離オーディオ信号、関連パラメータ１４１が信号ＬｆとＬｒに変換される。同様に、混合行列２２６によって、モノ・オーディオ信号Ｒ、その相関分離オーディオ信号、関連パラメータ１４２が、信号ＲｆとＲｒに変換され、混合行列２２９によって、モノ・オーディオ信号Ｃ、その相関分離オーディオ信号、関連パラメータ１４３が信号ＣｏとＬＦＥに変換される。最後に、３つの対のセグメント化周波数ドメイン信号ＬｆとＬｒ、ＲｆとＲｆ、ＣｏとＬＦＥは、それぞれ、３つの対の出力信号ｌｆとｌｒ、ｒｆとｒｒ、ｃｏとｌｆｅを取得するために、それぞれ、逆変換器２２４、２２７、２３０において時間ドメインに変換され、かつ、重複加算によって結合される。出力信号ｌｆとｌｒ、ｒｆとｒｒ、ｃｏとｌｆｅは、復号化マルチ・チャンネル・オーディオ信号２０３を成す。
マルチ・チャンネル・オーディオ符号器１０とマルチ・チャンネル・オーディオ復号器２０は、デジタル・ハードウェアによって、または、デジタル信号プロセッサまたは汎用マイクロプロセッサによって実行されるソフトウェアによって実行することができる。
以上の説明では、明瞭さを期すために、異なる機能装置およびプロセッサを参照しながら本発明の種々の実施形態を説明したことが理解されるであろう。しかしながら、本発明から逸脱することなく、異なる機能装置またはプロセッサ間での機能性の任意の適切な配分を用いることができることが明らかであろう。例えば、別個のプロセッサまたは制御装置によって実行されるように示した機能性は、同じプロセッサまたは制御装置によって実行することができる。したがって、特定の機能装置への言及は、厳密な論理的または物理的構造または構成を示すのではなく、説明した機能性を実現する適切な手段への言及としてのみ見るべきである。
本発明は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの任意の組み合わせを含む任意の適切な形態で実行することができる。本発明は、任意選択的に、１つまたはそれ以上のデータ・プロセッサおよびデジタル信号プロセッサもしくは１つまたはそれ以上のデータ・プロセッサまたはデジタル信号プロセッサ上で実行されるコンピュータ・ソフトウェアとして、少なくとも部分的に実行することができる。本発明の実施形態の要素および構成品は、任意の適切な方法で物理的、機能的、および論理的に実行することができる。実際、機能性は、単一の装置内で、複数の装置内で、または他の機能装置の一部として実行することができる。この点を踏まえると、本発明は、単一の装置内で実行することができるか、または、異なる装置およびプロセッサ間に物理的かつ機能的に配分することができる。
本発明を一部の実施形態に関連して説明してきたが、本明細書で定める特定の形態に限定されることを意図するものではない。むしろ、本発明の範囲は、添付の特許請求の範囲によってのみ限定される。更に、機能は特定の実施形態に関連して説明されているように思われる場合があるが、当業者は、説明した種々の実施形態の様々な特長は、本発明に従って組み合わせることができることを認識するであろう。特許請求の範囲においては、「を含む」という用語は、他の要素またはステップの存在を除外するものではない。
更に、個別に記載しているが、複数の手段、要素または方法のステップは、例えば、単一の装置またはプロセッサによって実行することができる。更に、個々の特長は、異なる請求項に含むことができるが、これらは、恐らくは有利に組み合わせることができ、異なる請求項に含めることは、種々の特長の組み合わせが実現不可能および不利もしくは実現不可能または不利であることを意味するものではない。また、１つのカテゴリーの請求項内に特長を含めることは、このカテゴリーへの限定を意味するのではなく、その特長が必要に応じて他の請求項のカテゴリーに等しく適用可能であることを示すものである。更に、請求項内での種々の特長の順番は、種々の特長を加工しなければならない何らかの特定の順番を意味するものではなく、特に、方法に関する請求項における個々のステップの順番は、この順番で個々のステップを実行しなければならないことを意味するものではない。むしろ、個々のステップは、任意の適切な順番で実行することができる。更に、単数での言及は、複数を排除するものではない。したがって、「１つの」、「第１の」、「第２の」などの言及は、複数を排除するものではない。請求項内の各種参照符号は、単に、明確にする例として提示されているものであり、いかなる点においても種々の請求項の範囲を限定すると解釈すべきではない。
本発明の一部の実施形態によるマルチ・チャンネル・オーディオ符号器のブロック図である。 本発明の一部の実施形態によるマルチ・チャンネル・オーディオ復号器のブロック図である。 本発明の一部の実施形態による送信システムのブロック図である。 本発明の一部の実施形態によるマルチ・チャンネル・オーディオ・プレーヤ／レコーダのブロック図である。 本発明の一部の実施形態によるマルチ・チャンネル・オーディオ符号器のブロック図である。 本発明の一部の実施形態による補強データ発生器のブロック図である。 本発明の一部の実施形態によるマルチ・チャンネル・オーディオ復号器のブロック図である。 マルチ・チャンネル・オーディオ復号器の諸要素のブロック図である。 本発明の一部の実施形態によるマルチ・チャンネル・オーディオ復号器の諸要素のブロック図である。 本発明の一部の実施形態によるマルチ・チャンネル・オーディオ復号器の諸要素のブロック図である。 本発明の一部の実施形態によるマルチ・チャンネル・オーディオ復号器の諸要素のブロック図である。
符号の説明
１０ マルチ・チャンネル・オーディオ符号器
２０ マルチ・チャンネル・オーディオ復号器
３０ 送信チャンネル
４０ 送信器
５０ 受信器
６０ マルチ・チャンネル・オーディオプレーヤ／レコーダ
７０ 送信システム
１０１ マルチ・チャンネル・オーディオ信号
１０２ ダウン・ミックス・オーディオ信号
１０３ 代替ダウン・ミックス信号
１０４ 第１の関連パラメータ・データ
１０５ 第２の関連パラメータ・データ
１１０ 第１の符号化装置
１１２〜１１４ セグメント化・変換装置
１１５〜１１８ ダウン・ミキサ
１２０ 第２の符号化装置
１２１ セグメント化装置
１２２ 変換器
１２３ 発生器
１２４ セレクター
１２６ 周波数ドメイン信号
１２７ セグメント化オーディオ信号
１２８ 制御信号
１４１〜１４４ パラメータ・データ
１４５ 信号ブロック・プロセッサ
１４６ 絶対補強データ・プロセッサ
１４７ 相対補強データ・プロセッサ
１４８ 第１の信号エネルギー・プロセッサ
１４９ 第２の信号エネルギー・プロセッサ
１５０ 選択プロセッサ
１５１ 補強データ・プロセッサ
１５２ 符号化プロセッサ
２０２ 空間的ダウン・ミックス
２０３ マルチ・チャンネル・オーディオ信号
２１０ 第１の装置
２１１ セグメント化・変換装置
２１２ ダウン・ミックス修正装置
２１７ 制御信号
２２０ 第２の装置
２２１ アップ・ミキサ
２２２、２２５、２２８ 相関分離器
２２３、２２６、２２９ 混合行列
２２４、２２７、２３０ 逆変換器

Claims (31)

  1. Ｎチャンネル・オーディオ信号を符号化するマルチ・チャンネル・オーディオ符号器であって、
    前記Ｎチャンネル・オーディオ信号用第１のＭチャンネル信号を生成する手段であって、Ｍは、Ｎより小さい前記手段と、
    前記Ｎチャンネル・オーディオ信号に対して、前記第１のＭチャンネル信号用第１の補強データを生成する手段と、
    前記Ｎチャンネル・オーディオ信号用第２のＭチャンネル信号を生成する手段と、
    前記第１のＭチャンネル信号に対して、前記第２のＭチャンネル信号用第２の補強データを生成する補強手段と、
    前記第２のＭチャンネル信号と、前記第１の補強データと、前記第２の補強データとを含む符号化出力信号を生成する手段と
    を含み、
    前記補強手段が、前記第２のＭチャンネル信号に対して、絶対補強データとしての前記第２の補強データの生成、または、相対補強データとして前記第２の補強データの生成とから動的に選択するように構成されるマルチ・チャンネル・オーディオ符号器。
  2. 前記補強手段が、前記Ｎチャンネル信号の特性に応答して、前記絶対補強データと前記相対補強データとから選択するように構成される、請求項１に記載のマルチ・チャンネル・オーディオ符号器。
  3. 前記補強手段が、前記絶対補強データと前記相対補強データの相対特性に応答して、前記絶対補強データと前記相対補強データとから選択するように構成される、請求項１に記載のマルチ・チャンネル・オーディオ符号器。
  4. 前記相対特性が、前記相対補強データの信号エネルギーに対する前記絶対補強データの信号エネルギーである、請求項１に記載のマルチ・チャンネル・オーディオ符号器。
  5. 前記補強手段が、前記第２のＭチャンネル信号を信号ブロックに分割し、かつ、各信号ブロックについて前記絶対補強データと前記相対補強データとから個々に選択するように構成される、請求項１に記載のマルチ・チャンネル・オーディオ符号器。
  6. 前記補強手段が、信号ブロックに関連した特性にのみ基づいて、該信号ブロックについて、前記絶対補強データと前記相対補強データとから選択するように構成される、請求項５に記載のマルチ・チャンネル・オーディオ符号器。
  7. 前記補強手段が、絶対補強データとしての前記補強データの生成と相対補強データとしての前記補強データの生成との切り替えの切り替え時間間隔中に、前記絶対補強データと前記相対補強データの組み合わせとして前記補強データを生成するように構成される、請求項１に記載のマルチ・チャンネル・オーディオ符号器。
  8. 前記組み合わせが、前記絶対補強データと前記相対補強データとの間の補間を含む、請求項７に記載のマルチ・チャンネル・オーディオ符号器。
  9. 前記符号化出力信号を生成する前記手段が、相対補強データ使用されるのかそれとも絶対補強データが使用されるのかを示すデータを含むように構成される、請求項１に記載のマルチ・チャンネル・オーディオ符号器。
  10. 前記第２の補強データが、補強データの第１の部分と補強データの第２の部分とを含み、前記第２の部分が、前記第１の部分より質の高い前記第１のＭチャンネル信号表現を行う、請求項１に記載のマルチ・チャンネル・オーディオ符号器。
  11. 前記補強手段が、絶対補強データとして、または相対補強データとして前記第２の部分の生成することのみを動的に選択するように構成される、請求項１０に記載のマルチ・チャンネル・オーディオ符号器。
  12. 前記補強手段が、前記第１の部分の補強データを前記第１のＭチャンネル信号に適用することによって生成された基準信号に対して、前記第２の部分の相対データを生成するように構成される、請求項１０に記載のマルチ・チャンネル・オーディオ符号器。
  13. Ｎチャンネル・オーディオ信号を復号化するマルチ・チャンネル・オーディオ復号器であって、
    前記Ｎチャンネル・オーディオ信号用第１のＭチャンネル信号であって、Ｍが、Ｎより小さい前記信号と、
    前記第１のＭチャンネル信号と異なる第２のＭチャンネル信号に対するマルチ・チャンネル拡張用第１の補強データと、
    前記第１のＭチャンネル信号に対する絶対補強データと相対補強データとを含む、前記第２のＭチャンネル信号に対する前記第１のＭチャンネル信号用第２の補強データと、
    信号ブロックに関する前記第２の補強データが絶対補強データであるのかそれとも相対補強データであるのかを示す表示データと
    を含む符号化オーディオ信号を受信する手段と、
    前記第１のＭチャンネル信号と前記第２の補強データとに応答してＭチャンネル・マルチ・チャンネル拡張信号を生成する生成手段と、
    前記Ｍチャンネル・マルチ・チャンネル拡張信号と、前記第１の補強データとに応答してＮチャンネル復号化信号を生成する手段と
    を含み、
    前記生成手段が、前記表示データに応答して、絶対補強データとしての前記第２の補強データの適用、または、相対補強データとしての前記第２の補強データの適用から選択するように構成されるマルチ・チャンネル・オーディオ復号器。
  14. 前記生成手段が、時間ドメインにおいて前記第２の補強データを前記第１のＭチャンネル信号に適用するように構成される、請求項１３に記載のマルチ・チャンネル・オーディオ復号器。
  15. 前記生成手段が、周波数ドメインにおいて前記第２の補強データを前記第１のＭチャンネル信号に適用するように構成される、請求項１３に記載のマルチ・チャンネル・オーディオ復号器。
  16. 前記第２の補強データが、補強データの第１の部分と補強データの第２の部分とを含み、前記第２の部分が、前記第１の部分より質の高い前記第１のＭチャンネル信号表現を行う、請求項１３に記載のマルチ・チャンネル・オーディオ復号器。
  17. 前記生成手段が、絶対補強データとしての前記第２の部分の第２の補強データの適用、または、相対補強データとしての前記第２の部分の第２の補強データの適用からのみ選択するように構成される、請求項１３に記載のマルチ・チャンネル・オーディオ復号器。
  18. 前記生成手段が、前記第１の部分の補強データを前記第１のＭチャンネル信号に適用することによって生成された信号に前記第２の部分の相対補強データを適用することによって前記Ｍチャンネル・マルチ・チャンネル拡張部を生成するように構成される、請求項１３に記載のマルチ・チャンネル・オーディオ復号器。
  19. Ｎチャンネル・オーディオ信号を符号化する方法であって、
    前記Ｎチャンネル・オーディオ信号用第１のＭチャンネル信号を生成するステップであって、ＭがＮより小さい前記ステップと、
    前記Ｎチャンネル・オーディオ信号に対して前記第１のＭチャンネル信号用第１の補強データを生成するステップと、
    前記Ｎチャンネル・オーディオ信号用第２のＭチャンネル信号を生成するステップと、
    前記第１のＭチャンネル信号に対して前記第２のＭチャンネル信号用第２の補強データを生成するステップと、
    前記第２のＭチャンネル信号と、前記第１の補強データと、前記第２の補強データとを含む符号化出力信号を生成するステップと
    を含み、
    前記第２の補強データの生成ステップが、前記第２のＭチャンネル信号に対して、絶対補強データとしての前記第２の補強データの生成、または、相対補強データとしての前記第２の補強データの生成から動的に選択するステップを含む方法。
  20. Ｎチャンネル・オーディオ信号を復号化する方法であって、
    前記Ｎチャンネル・オーディオ信号用第１のＭチャンネル信号であって、ＭがＮより小さい前記信号と、
    前記第１のＭチャンネル信号と異なる第２のＭチャンネル信号に対するマルチ・チャンネル拡張用第１の補強データと、
    前記第１のＭチャンネル信号に対する絶対補強データと相対補強データとを含む、前記第２のＭチャンネル信号に対する前記第１のＭチャンネル信号用第２の補強データと、
    信号ブロックに関する前記第２の補強データが絶対補強データであるのかそれとも相対補強データであるのかを示す表示データと
    を含む符号化オーディオ信号を受信するステップと、
    前記第１のＭチャンネル信号と前記第２の補強データとに応答してＭチャンネル・マルチ・チャンネル拡張信号を生成するステップと、
    前記Ｍチャンネル・マルチ・チャンネル拡張信号と、前記第１の補強データとに応答してＮチャンネル復号化信号を生成するステップと
    を含み、
    前記Ｍチャンネル・マルチ・チャンネル拡張信号の生成ステップが、前記表示データに応答して、絶対補強データとしての前記第２の補強データの適用、または、相対補強データとしての前記第２の補強データの適用から選択するステップを含む方法。
  21. Ｎチャンネル・オーディオ信号用符号化マルチ・チャンネル・オーディオ信号であって、
    前記Ｎチャンネル・オーディオ信号用Ｍチャンネル信号データであって、ＭがＮより小さい前記信号データと、
    前記第１のＭチャンネル信号と異なる第２のＭチャンネル信号に対するマルチ・チャンネル拡張用第１の補強データと、
    前記第１のＭチャンネル信号に対する絶対補強データと相対補強データとを含む、前記第２のＭチャンネル信号に対する前記第１のＭチャンネル信号用第２の補強データと、
    信号ブロックに関する前記第２の補強データが絶対補強データであるのかそれとも相対補強データであるのかを示す表示データと
    を含む符号化マルチ・チャンネル・オーディオ信号。
  22. 請求項２１に記載の信号が格納された記憶媒体。
  23. 請求項１に記載のマルチ・チャンネル・オーディオ符号器を含む、符号化マルチ・チャンネル・オーディオ信号を送信する送信器。
  24. 請求項１３に記載のマルチ・チャンネル・オーディオ復号器を含む、マルチ・チャンネル・オーディオ信号を受信する受信器。
  25. 符号化マルチ・チャンネル・オーディオ信号を送信チャンネルを介して受信器に送信する送信器を含む送信システムであって、請求項１に記載のマルチ・チャンネル・オーディオ符号器と、請求項１３に記載のマルチ・チャンネル・オーディオ復号器を含む前記受信器を含む送信システム。
  26. 符号化マルチ・チャンネル・オーディオ信号を送信する方法であって、前記方法が、Ｎチャンネル・オーディオ信号を符号化するステップを含み、
    前記符号化するステップが、
    前記Ｎチャンネル・オーディオ信号用第１のＭチャンネル信号を生成するステップであって、ＭがＮより小さい前記ステップと、
    前記Ｎチャンネル・オーディオ信号に対して前記第１のＭチャンネル信号用第１の補強データを生成するステップと、
    前記Ｎチャンネル・オーディオ信号用第２のＭチャンネル信号を生成するステップと、
    前記第１のＭチャンネル信号に対して前記第２のＭチャンネル信号用第２の補強データを生成するステップと、
    前記第２のＭチャンネル信号と、前記第１の補強データと、前記第２の補強データとを含む、符号化出力信号を生成するステップと
    を含み、
    前記第２の補強データの生成ステップが、前記第２のＭチャンネル信号に対して、絶対補強データとしての前記第２の補強データの生成、または、相対補強データとしての前記第２の補強データの生成から動的に選択するステップを含む方法。
  27. 符号化マルチ・チャンネル・オーディオ信号を受信する方法であって、前記方法が、前記符号化マルチ・チャンネル・オーディオ信号を復号化するステップを含み、
    前記復号化するステップが、
    前記Ｎチャンネル・オーディオ信号用第１のＭチャンネル信号であって、ＭがＮより小さい前記信号と、
    前記第１のＭチャンネル信号と異なる第２のＭチャンネル信号に対するマルチ・チャンネル拡張用第１の補強データと、
    前記第１のＭチャンネル信号に対する絶対補強データと相対補強データとを含む、前記第２のＭチャンネル信号に対する前記第１のＭチャンネル信号用第２の補強データと、
    信号ブロックに関する前記第２の補強データが絶対補強データであるのかそれとも相対補強データであるのかを示す表示データと
    を含む前記符号化マルチ・チャンネル・オーディオ信号を受信するステップと、
    前記第１のＭチャンネル信号と前記第２の補強データとに応答してＭチャンネル・マルチ・チャンネル拡張信号を生成する生成ステップと、
    前記Ｍチャンネル・マルチ・チャンネル拡張信号と、前記第１の補強データとに応答してＮチャンネル復号化信号を生成するステップと
    を含み、
    前記Ｍチャンネル・マルチ・チャンネル拡張信号の生成ステップが、前記表示データに応答して、絶対補強データとしての前記第２の補強データの適用、または、相対補強データとしての前記第２の補強データの適用から選択するステップを含む方法。
  28. オーディオ信号を送受信する方法であって、
    前記方法が、Ｎチャンネル・オーディオ信号を符号化するステップを備え、
    前記符号化するステップが、
    前記Ｎチャンネル・オーディオ信号用第１のＭチャンネル信号を生成するステップであって、ＭがＮより小さい前記ステップと、
    前記Ｎチャンネル・オーディオ信号に対して前記第１のＭチャンネル信号用第１の補強データを生成するステップと、
    前記Ｎチャンネル・オーディオ信号用第２のＭチャンネル信号を生成するステップと、
    前記第１のＭチャンネル信号に対して前記第２のＭチャンネル信号用第２の補強データを生成するステップであって、前記第２のＭチャンネル信号に対して、絶対補強データとしての前記第２の補強データの生成、または、相対補強データとしての前記第２の補強データの生成から動的に選択するステップを含む前記ステップと、
    前記第２のＭチャンネル信号と、前記第１の補強データと、前記第２の補強データとを含む符号化出力信号を生成するステップと；
    送信器から受信器に前記符号化出力信号を送信するステップと；
    前記受信器にて前記符号化出力信号を受信するステップと；
    前記第２のＭチャンネル信号と前記第２の補強データとに応答してＭチャンネル・マルチ・チャンネル拡張信号を生成するステップであって、絶対補強データとしての前記第２の補強データの適用、または、相対補強データとしての前記第２の補強データの適用から選択するステップを含む前記ステップと、
    前記Ｍチャンネル・マルチ・チャンネル拡張信号と前記第１の補強データに応答してＮチャンネル復号化信号を生成するステップと
    を含む、方法。
  29. プロセッサに、請求項１９、請求項２０、請求項２６、請求項２７、および請求項２８の何れかに記載の方法のステップを実行させるように動作するコンピュータプログラム。
  30. 請求項１に記載のマルチ・チャンネル・オーディオ符号器を含むマルチ・チャンネルオーディオレコーダ。
  31. 請求項１３に記載のマルチ・チャンネル・オーディオ復号器を含むマルチ・チャンネルオーディオレコーダ。
JP2008503634A 2005-03-30 2006-03-16 オーディオ符号化および復号化 Active JP5106383B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
EP05102515.3 2005-03-30
EP05102515 2005-03-30
EP05103085.6 2005-04-18
EP05103085 2005-04-18
EP06100245 2006-01-11
EP06100245.7 2006-01-11
PCT/IB2006/050826 WO2006103586A1 (en) 2005-03-30 2006-03-16 Audio encoding and decoding

Publications (3)

Publication Number Publication Date
JP2008535015A true JP2008535015A (ja) 2008-08-28
JP2008535015A5 JP2008535015A5 (ja) 2009-05-07
JP5106383B2 JP5106383B2 (ja) 2012-12-26

Family

ID=36607294

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008503634A Active JP5106383B2 (ja) 2005-03-30 2006-03-16 オーディオ符号化および復号化

Country Status (11)

Country Link
US (1) US7840411B2 (ja)
EP (1) EP1866913B1 (ja)
JP (1) JP5106383B2 (ja)
KR (2) KR101346120B1 (ja)
CN (2) CN101151660B (ja)
AT (1) ATE406651T1 (ja)
BR (1) BRPI0608756B1 (ja)
DE (1) DE602006002501D1 (ja)
ES (1) ES2313646T3 (ja)
MX (1) MX2007011995A (ja)
WO (1) WO2006103586A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016035567A1 (ja) * 2014-09-01 2016-03-10 ソニー株式会社 音声処理装置
JP2017501440A (ja) * 2013-11-28 2017-01-12 ドルビー・インターナショナル・アーベー 特異値分解を用いる高次Ａｍｂｉｓｏｎｉｃｓ符号化と復号の方法と装置

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006035705A1 (ja) * 2004-09-28 2006-04-06 Matsushita Electric Industrial Co., Ltd. スケーラブル符号化装置およびスケーラブル符号化方法
CN101167124B (zh) * 2005-04-28 2011-09-21 松下电器产业株式会社 语音编码装置和语音编码方法
RU2007139784A (ru) * 2005-04-28 2009-05-10 Мацусита Электрик Индастриал Ко., Лтд. (Jp) Устройство кодирования звука и способ кодирования звука
US7461106B2 (en) * 2006-09-12 2008-12-02 Motorola, Inc. Apparatus and method for low complexity combinatorial coding of signals
CN101589623B (zh) * 2006-12-12 2013-03-13 弗劳恩霍夫应用研究促进协会 对表示时域数据流的数据段进行编码和解码的编码器、解码器以及方法
US8576096B2 (en) * 2007-10-11 2013-11-05 Motorola Mobility Llc Apparatus and method for low complexity combinatorial coding of signals
US8209190B2 (en) * 2007-10-25 2012-06-26 Motorola Mobility, Inc. Method and apparatus for generating an enhancement layer within an audio coding system
US20090234642A1 (en) * 2008-03-13 2009-09-17 Motorola, Inc. Method and Apparatus for Low Complexity Combinatorial Coding of Signals
US8639519B2 (en) * 2008-04-09 2014-01-28 Motorola Mobility Llc Method and apparatus for selective signal coding based on core encoder performance
CN101809656B (zh) * 2008-07-29 2013-03-13 松下电器产业株式会社 音响编码装置、音响解码装置、音响编码解码装置及会议***
US8200496B2 (en) * 2008-12-29 2012-06-12 Motorola Mobility, Inc. Audio signal decoder and method for producing a scaled reconstructed audio signal
US8175888B2 (en) * 2008-12-29 2012-05-08 Motorola Mobility, Inc. Enhanced layered gain factor balancing within a multiple-channel audio coding system
US8219408B2 (en) * 2008-12-29 2012-07-10 Motorola Mobility, Inc. Audio signal decoder and method for producing a scaled reconstructed audio signal
US8140342B2 (en) * 2008-12-29 2012-03-20 Motorola Mobility, Inc. Selective scaling mask computation based on peak detection
US8423355B2 (en) * 2010-03-05 2013-04-16 Motorola Mobility Llc Encoder for audio signal including generic audio and speech frames
US8428936B2 (en) * 2010-03-05 2013-04-23 Motorola Mobility Llc Decoder for audio signal including generic audio and speech frames
EP2578000A1 (en) * 2010-06-02 2013-04-10 Koninklijke Philips Electronics N.V. System and method for sound processing
DK2691951T3 (en) 2011-03-28 2016-11-14 Dolby Laboratories Licensing Corp TRANSFORMATION WITH REDUCED COMPLEXITY OF AN Low-Frequency
CN102802112B (zh) * 2011-05-24 2014-08-13 鸿富锦精密工业（深圳）有限公司 具有音频文件格式转换功能的电子装置
US9129600B2 (en) 2012-09-26 2015-09-08 Google Technology Holdings LLC Method and apparatus for encoding an audio signal
TWI546799B (zh) 2013-04-05 2016-08-21 杜比國際公司 音頻編碼器及解碼器
EP2830050A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for enhanced spatial audio object coding
EP2830047A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for low delay object metadata coding
EP2830045A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Concept for audio encoding and decoding for audio channels and audio objects
EP2830333A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-channel decorrelator, multi-channel audio decoder, multi-channel audio encoder, methods and computer program using a premix of decorrelator input signals
EP2830052A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder, audio encoder, method for providing at least four audio channel signals on the basis of an encoded representation, method for providing an encoded representation on the basis of at least four audio channel signals and computer program using a bandwidth extension
CN103413553B (zh) 2013-08-20 2016-03-09 腾讯科技（深圳）有限公司 音频编码方法、音频解码方法、编码端、解码端和***
US9067135B2 (en) * 2013-10-07 2015-06-30 Voyetra Turtle Beach, Inc. Method and system for dynamic control of game audio based on audio analysis
CN105206278A (zh) * 2014-06-23 2015-12-30 张军 一种基于流水线的三维音频编码加速方法
BR112021025420A2 (pt) * 2019-07-08 2022-02-01 Voiceage Corp Método e sistema para codificar metadados em fluxos de áudio e para adaptação de taxa de bits intraobjeto e interobjeto flexível

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005101371A1 (en) * 2004-04-16 2005-10-27 Coding Technologies Ab Method for representing multi-channel audio signals
WO2006008683A1 (en) * 2004-07-14 2006-01-26 Koninklijke Philips Electronics N.V. Method, device, encoder apparatus, decoder apparatus and audio system
WO2006026452A1 (en) * 2004-08-25 2006-03-09 Dolby Laboratories Licensing Corporation Multichannel decorrelation in spatial audio coding
WO2006048204A1 (en) * 2004-11-02 2006-05-11 Coding Technologies Ab Multi parametrisation based multi-channel reconstruction
WO2006060280A2 (en) * 2004-11-30 2006-06-08 Agere Systems Inc. Parametric coding of spatial audio with cues based on transmitted channels
WO2006084916A2 (en) * 2005-02-14 2006-08-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Parametric joint-coding of audio sources
WO2006089570A1 (en) * 2005-02-22 2006-08-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Near-transparent or transparent multi-channel encoder/decoder scheme

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19628293C1 (de) * 1996-07-12 1997-12-11 Fraunhofer Ges Forschung Codieren und Decodieren von Audiosignalen unter Verwendung von Intensity-Stereo und Prädiktion
SG54379A1 (en) * 1996-10-24 1998-11-16 Sgs Thomson Microelectronics A Audio decoder with an adaptive frequency domain downmixer
US5946352A (en) * 1997-05-02 1999-08-31 Texas Instruments Incorporated Method and apparatus for downmixing decoded data streams in the frequency domain prior to conversion to the time domain
US6122619A (en) * 1998-06-17 2000-09-19 Lsi Logic Corporation Audio decoder with programmable downmixing of MPEG/AC-3 and method therefor
US6539357B1 (en) * 1999-04-29 2003-03-25 Agere Systems Inc. Technique for parametric coding of a signal containing information
SE519985C2 (sv) * 2000-09-15 2003-05-06 Ericsson Telefon Ab L M Kodning och avkodning av signaler från flera kanaler
CN1705980A (zh) * 2002-02-18 2005-12-07 皇家飞利浦电子股份有限公司 参数音频编码
BRPI0308691B1 (pt) * 2002-04-10 2018-06-19 Koninklijke Philips N.V. “Métodos para codificar um sinal de canal múltiplo e para decodificar informação de sinal de canal múltiplo, e arranjos para codificar e decodificar um sinal de canal múltiplo”
JP4322207B2 (ja) * 2002-07-12 2009-08-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オーディオ符号化方法
KR100528325B1 (ko) * 2002-12-18 2005-11-15 삼성전자주식회사 비트율 조절이 가능한 스테레오 오디오 부호화 및복호화방법 및 그 장치
US7447317B2 (en) * 2003-10-02 2008-11-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V Compatible multi-channel coding/decoding by weighting the downmix channel
US7394903B2 (en) * 2004-01-20 2008-07-01 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal
US7391870B2 (en) * 2004-07-09 2008-06-24 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E V Apparatus and method for generating a multi-channel output signal
US7903824B2 (en) * 2005-01-10 2011-03-08 Agere Systems Inc. Compact side information for parametric coding of spatial audio

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005101371A1 (en) * 2004-04-16 2005-10-27 Coding Technologies Ab Method for representing multi-channel audio signals
WO2006008683A1 (en) * 2004-07-14 2006-01-26 Koninklijke Philips Electronics N.V. Method, device, encoder apparatus, decoder apparatus and audio system
WO2006026452A1 (en) * 2004-08-25 2006-03-09 Dolby Laboratories Licensing Corporation Multichannel decorrelation in spatial audio coding
WO2006048204A1 (en) * 2004-11-02 2006-05-11 Coding Technologies Ab Multi parametrisation based multi-channel reconstruction
WO2006060280A2 (en) * 2004-11-30 2006-06-08 Agere Systems Inc. Parametric coding of spatial audio with cues based on transmitted channels
WO2006084916A2 (en) * 2005-02-14 2006-08-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Parametric joint-coding of audio sources
WO2006089570A1 (en) * 2005-02-22 2006-08-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Near-transparent or transparent multi-channel encoder/decoder scheme

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017501440A (ja) * 2013-11-28 2017-01-12 ドルビー・インターナショナル・アーベー 特異値分解を用いる高次Ａｍｂｉｓｏｎｉｃｓ符号化と復号の方法と装置
US10244339B2 (en) 2013-11-28 2019-03-26 Dolby International Ab Method and apparatus for higher order ambisonics encoding and decoding using singular value decomposition
US10602293B2 (en) 2013-11-28 2020-03-24 Dolby International Ab Methods and apparatus for higher order ambisonics decoding based on vectors describing spherical harmonics
WO2016035567A1 (ja) * 2014-09-01 2016-03-10 ソニー株式会社 音声処理装置
JPWO2016035567A1 (ja) * 2014-09-01 2017-06-08 ソニーセミコンダクタソリューションズ株式会社 音声処理装置
US10547960B2 (en) 2014-09-01 2020-01-28 Sony Semiconductor Solutions Corporation Audio processing apparatus

Also Published As

Publication number Publication date
ATE406651T1 (de) 2008-09-15
CN101151658B (zh) 2011-07-06
ES2313646T3 (es) 2009-03-01
WO2006103586A1 (en) 2006-10-05
CN101151660A (zh) 2008-03-26
KR20070116174A (ko) 2007-12-06
KR20130079627A (ko) 2013-07-10
KR101346120B1 (ko) 2014-01-02
US20100153118A1 (en) 2010-06-17
BRPI0608756B1 (pt) 2019-06-04
EP1866913B1 (en) 2008-08-27
JP5106383B2 (ja) 2012-12-26
BRPI0608756A2 (pt) 2011-03-15
DE602006002501D1 (de) 2008-10-09
US7840411B2 (en) 2010-11-23
CN101151658A (zh) 2008-03-26
CN101151660B (zh) 2011-10-19
MX2007011995A (es) 2007-12-07
EP1866913A1 (en) 2007-12-19

Similar Documents

Publication Publication Date Title
JP5106383B2 (ja) オーディオ符号化および復号化
RU2411594C2 (ru) Кодирование и декодирование аудио
JP5311597B2 (ja) マルチチャンネル・エンコーダ
US9865270B2 (en) Audio encoding and decoding
US8433583B2 (en) Audio decoding
JP4616349B2 (ja) ステレオ互換性のあるマルチチャネルオーディオ符号化
JP5455647B2 (ja) オーディオデコーダ
JP5179881B2 (ja) オーディオソースのパラメトリックジョイント符号化
US9966080B2 (en) Audio object encoding and decoding
JP4772279B2 (ja) オーディオ信号のマルチチャネル／キュー符号化／復号化
TWI455614B (zh) 方法、器件、編碼器裝置、解碼器裝置及聲訊系統
CN109448741B (zh) 一种3d音频编码、解码方法及装置
JP2009523259A (ja) マルチチャンネル信号の復号化及び符号化方法、記録媒体及びシステム
JP2008535014A (ja) スケーラブルマルチチャネル音声符号化方法
JPWO2006022190A1 (ja) オーディオエンコーダ

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090313

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090313

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110920

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20111219

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20111227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120319

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120904

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121002

R150 Certificate of patent or registration of utility model

Ref document number: 5106383

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151012

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250