JPWO2005081229A1 - オーディオエンコーダ及びオーディオデコーダ - Google Patents

オーディオエンコーダ及びオーディオデコーダ Download PDF

Info

Publication number
JPWO2005081229A1
JPWO2005081229A1 JP2006519336A JP2006519336A JPWO2005081229A1 JP WO2005081229 A1 JPWO2005081229 A1 JP WO2005081229A1 JP 2006519336 A JP2006519336 A JP 2006519336A JP 2006519336 A JP2006519336 A JP 2006519336A JP WO2005081229 A1 JPWO2005081229 A1 JP WO2005081229A1
Authority
JP
Japan
Prior art keywords
signal
encoded signal
encoded
code amount
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006519336A
Other languages
English (en)
Inventor
宮阪　修二
修二 宮阪
良明 高木
良明 高木
一任 阿部
一任 阿部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Publication of JPWO2005081229A1 publication Critical patent/JPWO2005081229A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Stereophonic System (AREA)

Abstract

マルチチャネル信号をもとに、ステレオ信号を生成するオーディオエンコーダであって、ダウンミックス部１００は、２チャネルを超えるマルチチャネル信号を、２チャネルのステレオ信号にダウンミックスする。第１符号化部１０１は、ダウンミックスされたステレオ信号を符号化し、第１符号化信号を生成する。第２符号化部１０２は、ダウンミックスされたステレオ信号をマルチチャネル信号に戻すための情報を符号化し、第２符号化信号を生成する。符号量算出部１０３は、第２符号化信号の符号量を算出する。第１多重化部１０４は、第１符号化信号または第２符号化信号とのいずれかと、算出された符号量とを多重化する。これにより、デコーダは、上記符号量に基づいてマルチチャネル信号の符号化信号を簡単に抜き取れるので、ダウンミックス信号のみを再生するデコーダを安価に構成することができる。

Description

本発明は、マルチチャネル信号を符号化するオーディオエンコーダに関する。特に、エンコードされたマルチチャネル信号を安価なデコーダで再生できるような符号化信号を生成するオーディオエンコーダに関する。
また、本発明は、そのようなオーディオエンコーダでエンコードされた符号化信号をデコードするオーディオデコーダに関する。特にマルチチャネル信号を２チャネルで再生するようなオーディオデコーダに関する。
従来から、マルチチャネル信号を安価な再生装置、とりわけ２チャネルの再生装置で再生することができるような符号化信号を生成するオーディオエンコーダの研究開発が行われている。例えば、ＭＰＥＧ２オーディオ規格（ＩＳＯ１３８１８−３）では、マルチチャネル信号を２チャネルにダウンミックスした信号と、当該ダウンミックスされた信号をマルチチャネル信号に戻すための信号とを分けて、それぞれ第１符号化信号、第２符号化信号として符号化し、安価なデコーダでは上記第１符号化信号のみを復号化することができる技術が開示されている（非特許文献１参照）。
ＭＰＥＧ２オーディオ規格（ＩＳＯ１３８１８−３）
しかしながら、ＭＰＥＧ２オーディオ規格では、上記第１符号化信号と、上記第２符号化信号とを分離することが容易ではないという課題があった。
図１は、ＭＰＥＧ２オーディオ規格における符号化信号（ビットストリーム）の構造を示したものである。図１において、フレームヘッダ情報９００は、１１５２サンプルごとに符号化された１フレームの符号化情報の開始位置を示している。第１符号化信号９０１は、マルチチャネル信号を２チャネルにダウンミックスしたステレオ信号を符号化した符号化信号である。第２符号化信号９０２は、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化して得られる符号化信号である。
さてここで、第１符号化信号９０１のみをデコードしたいと欲する、例えば、２チャネル再生のみを前提として設計された携帯電話機などのデコーダは、第１符号化信号９０１を取得し復号化した後、第２符号化信号９０２を読み飛ばしたいと欲するが、以下の理由によって容易には第２符号化信号９０２の量を取得することができず、従って、容易には第２符号化信号９０２を読み飛ばすことができない。なぜならば、各フレームのフレームサイズは各フレームのフレームヘッダ情報９００を解析することで容易に取得することができるが、第１符号化信号９０１の符号量は図に例示したようにフレームごとに可変であるので、必然的に第２符号化信号９０２の符号量も可変となる。従って、第２符号化信号９０２の符号量は、当該フレームのフレームサイズから当該フレームの第１符号化信号９０１の符号量を引くことによってしか知ることができない。従って第１符号化信号９０１をデコードする際、第１符号化信号９０１の符号量をいちいち算出しなければならないこととなり、このことに多大の演算資源を費やさなければならないという課題がある。
また、従来の技術では、以下のような課題もある。
ＭＰＥＧ２オーディオ規格では、復号化されたダウンミックス信号は、サンプル時刻ごとに所定のマトリックス演算によってダウンミックスされているので、もともとのマルチチャネル信号の空間情報が失われているという。従って、元の空間情報を再現した上で、２チャネルダウンミックスした信号を再生せんと欲した場合、つまり、仮想サラウンド処理を施した２チャネル信号を再生せんと欲した場合、一旦、第１符号化信号９０１と第２符号化信号９０２とを用いてマルチチャネル信号を復号した後、頭部伝達関数に基づいて空間情報をフィルタ処理する必要があり、そのことに多大の演算資源を費やさなければならないという課題がある。
本発明は、このような従来の問題点に鑑みてなされたものであって、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化した符号化信号の符号量を簡単に知りえるような符号化信号を生成するオーディオエンコーダを提供することを目的とする。
さらに、本発明は、ダウンミックス信号を再生するだけで元のマルチチャネルの空間情報が再生できるような符号化情報を生成するオーディオエンコーダを提供することを第２の目的とする。
また、そのようなオーディオエンコーダで符号化された符号化信号を少ない演算量で復号化するオーディオデコーダを提供することを目的とする。
上記の課題を解決するため、本発明のオーディオエンコーダは、２チャネルを超えるマルチチャネル信号を、２チャネルのステレオ信号にダウンミックスするダウンミックス手段と、前記ダウンミックスされたステレオ信号を符号化し、第１符号化信号を生成する第１符号化手段と、前記ダウンミックスされたステレオ信号をマルチチャネル信号に戻すための情報を符号化し、第２符号化信号を生成する第２符号化手段と、前記第２符号化信号の符号量を算出する符号量算出手段と、前記第１符号化信号、前記第２符号化信号および算出された前記符号量を表す信号を多重化する多重化手段とを備えることを特徴とする。
また、前記多重化手段は、前記符号量算出手段で算出された符号量と、前記第２符号化信号とを多重化する第１多重化部と、前記第１符号化信号と、前記符号量が多重化された前記第２符号化信号とを多重化する第２多重化部とを備えるとしてもよい。
さらに、前記第１多重化部は、前記符号量算出手段で算出された前記符号量を、前記第２符号化信号の先頭に配置して多重化するとしてもよい。
また、前記第１多重化部は、前記符号量算出手段で算出された前記符号量を、前記第２符号化信号の開始を識別する記号の直後に配置するように多重化するとしてもよい。
さらに、前記第１多重化部は、前記符号量算出手段で算出された前記符号量を表す信号を可変長で記述し、前記第２符号化信号に多重化するとしてもよい。
また、前記ダウンミックス手段は、前記マルチチャネル信号に頭部伝達関数を用いた演算を行い、ダウンミックス処理を行うとしてもよい。
また、前記ダウンミックス手段は、周波数軸上で、前記マルチチャネル信号に頭部伝達関数を用いた演算を行うとしてもよい。
さらに、前記第２符号化信号は無効なデータを含み、前記符号量算出手段は、前記無効なデータを含む前記第２符号化信号の符号量を算出するとしてもよい。
上記の課題を解決するため、本発明のオーディオデコーダは、２チャネルを超えるマルチチャネル信号からダウンミックスされた２チャネルのステレオ信号が符号化されて得られる第１符号化信号と、前記ステレオ信号からマルチチャネル信号を生成するための情報が符号化されて得られたものである第２符号化信号と、前記第２符号化信号の符号量を表す信号とを含む符号化信号を取得する取得手段と、取得された前記符号化信号を復号化してステレオ信号を出力する復号化手段とを備える。
また、前記復号化手段は、取得された前記符号化信号から、前記第１符号化信号を読み出す第１符号化信号読み出し部と、前記第２符号化信号の符号量を表す信号を、前記符号化信号から読み出す符号量読み出し部と、前記第１符号化信号読み出し部によって読み出された前記第１符号化信号を復号化して、前記ステレオ信号を出力する第１復号化部とを備え、前記第１符号化信号読み出し部は、前記符号量読み出し部によって読み出された前記符号量を表す信号に基づいて、第２符号化信号を読み飛ばすとしてもよい。
また、前記第１符号化信号は、頭部伝達関数を用いた演算によりあらかじめ仮想サラウンド効果が付与されたステレオ信号が符号化されたものであり、前記第１復号化部は、仮想サラウンド効果の付与されたステレオ信号を出力するとしてもよい。
また、前記オーディオデコーダは、さらに、前記第２符号化信号を前記符号化信号から読み出す第２符号化信号読み出し部と、読み出された前記第１符号化信号と前記第２符号化信号とに基づいて、マルチチャネル信号を復号化する第２復号化部と、前記復号化されたマルチチャネル信号に対し、頭部伝達関数に基づくフィルタ処理を施し、仮想サラウンド効果が付与されたステレオ信号を出力するフィルタ部と、前記第１復号化部から出力される前記ステレオ信号と、前記フィルタ部から出力される前記仮想サラウンド効果が付与されたステレオ信号とのいずれかを選択する選択部とを備えるとしてもよい。
さらに、前記第１復号化部は、前記ステレオ信号の周波数軸信号を生成し、前記フィルタ部は、前記ステレオ信号の周波数軸信号から復元されたマルチチャネル信号の周波数軸信号に対し、頭部伝達関数に基づくフィルタ処理を行い２チャネルの周波数軸信号を生成した後、前記周波数軸信号を時間軸信号に変換するとしてもよい。
また、前記オーディオデコーダは、さらに、少なくとも前記第２復号化部を駆動する為の電力を供給する電力供給部を備え、前記選択部は、前記電力供給部からの電力供給量が所定の値を下回った場合、前記第１復号化部からのステレオ信号を選択するとしてもよい。
さらに、前記符号量読み出し部によって読み出される前記第２符号化信号の符号量を表す信号は、無効なデータを含む前記第２符号化信号の符号量を表す信号であるとしてもよい。
本発明によれば、ダウンミックス信号をマルチチャネル信号に戻すために必要な情報を符号化して得られる第２符号化信号の符号量を、オーディオデコーダで簡単に知りえるような符号化信号を生成することができることとなる。従って、ダウンミックス信号のみを再生する再生装置においても、容易にダウンミックス信号のみを復号化して再生することができる。
本発明によれば、前記第２符号化信号の符号量を表す信号を、前記第２符号化信号の開始位置の直後から入手することができることとなる。
本発明によれば、前記第２符号化信号の符号量を表す信号を、その値の大きさに応じて可変符号長で多重化できるので、符号量を表す信号多重化のためのビット数を節約することができることとなる。
さらに、本発明によれば、ダウンミックス処理を周波数軸上で行うことができるので、前記第２符号化手段が周波数軸上の信号に対し符号化処理を行う場合、前記ダウンミックス処理と前記第２符号化の処理とが効率的に実施できることとなる。
本発明によれば、第１符号化手段が、１／２以下の帯域の信号を扱うことになるので、圧縮率が向上できることとなる。また、第１符号化手段で符号化された符号化信号のみを再生する場合、１／２以下の帯域の信号を扱うことになるので復号化の演算量が少なくて済むこととなる。また、近年広く研究開発が行われている帯域拡大技術（ＩＳＯ／ＩＥＣ１４４９６−３）が１／２帯域の以下の帯域の信号を拡大する技術であるので、その技術とのインターフェースがとり易くなることとなる。
また、本発明によれば、ダウンミックス信号が、頭部伝達関数のフィルタ処理された信号となり、第１符号化信号のみを再生した場合でも、もともとのマルチチャネルの空間情報が反映されることとなる。
さらに、本発明によれば、ダウンミックス信号が、頭部伝達関数のフィルタ処理された信号となり、第１符号化信号のみを再生した場合でも、もともとのマルチチャネルの空間情報が反映されることとなる。しかも頭部伝達関数の処理を周波数軸上で実施するので、近年主流のオーディオ圧縮方式、例えば、ＡＡＣ方式（ＩＳＯ／ＩＥＣ１３８１８−７）やＡＡＣ−ＳＢＲ方式（ＩＳＯ／ＩＥＣ１４４９６−３）と組み合わせたとき、少ない演算量で処理が実行できることとなる。なぜならば、それらの方式が、周波数軸上の信号を圧縮符号化している方式であるからである。
また、本発明によれば、ダウンミックス信号のみを復号化したいと欲する場合、簡単な処理でマルチチャネル化のために情報を取り去ることができることとなる。
さらに、本発明によれば、ダウンミックス信号の再生音と、マルチチャネル信号に対し、頭部伝達関数に基づくフィルタ処理を施した再生音とを選択できることとなる。
また、本発明によれば、周波数軸上で頭部伝達関数に基づくフィルタ処理を行い２チャネルの周波数軸信号を生成した後、当該周波数軸信号を時間軸信号に変換することができるので、近年主流のオーディオ圧縮方式、例えば、ＡＡＣ方式（ＩＳＯ／ＩＥＣ１３８１８−７）やＡＡＣ−ＳＢＲ方式（ＩＳＯ／ＩＥＣ１４４９６−３）と組み合わせたとき、少ない演算量で処理が実行できることとなる。なぜならば、それらの方式が、周波数軸上の信号を圧縮符号化している方式であるからである。
さらに、本発明によれば、オーディオデコーダを駆動する為の電力が低下した場合、例えば電池寿命がつきかけている場合、自動的にダウンミックス信号の復号化のモードに入るので、電池寿命が延長することとなる。また、聴取者は音質の変化によって電池寿命がつきかけていることを検知することができることとなる。
［図１］図１は、ＭＰＥＧ２オーディオ規格における符号化信号（ビットストリーム）の構造を示したものである。
［図２］図２は、本実施の形態１におけるオーディオエンコーダの構成を示すブロック図である。
［図３］図３（ａ）は、ダウンミックスの変換マトリックスを示す図である。図３（ｂ）は、ダウンミックス信号を元のマルチチャネル信号に戻すための信号を生成するマトリックスを示す図である。図３（ｃ）は、ダウンミックス信号を元のマルチチャネル信号に戻すためのマトリックスを示す図である。
［図４］図４（ａ）は、図３（ｂ）に示したマトリックスを頭部伝達関数に基づいて算出した場合のマトリックスの一例を示す図である。図４（ｂ）は、図４（ａ）の逆行列であり、ダウンミックス信号を元のマルチチャネル信号に戻すためのマトリックスの一例を示す図である。
［図５］図５は、図２の符号量算出部１０３で算出された符号量を符号化信号に記述するための記述方法の一例を示す図である。
［図６］図６は、図５に示した記述方法で符号量を符号化信号に記述する際のフローチャートである。
［図７］図７は、本実施の形態１、２で生成される符号化信号のデータ構成を示す図である。
［図８］図８は、本実施の形態２におけるオーディオエンコーダの構成を示す図である。
［図９］図９は、本実施の形態３におけるオーディオデコーダの構成を示す図である。
［図１０］図１０は、図５に示した符号量記述方法で記述されている符号量を表す信号をオーディオデコーダで読み取る場合の手順を示すフローチャートである。
［図１１］図１１は、本実施の形態４におけるオーディオデコーダの構成を示す図である。
［図１２］図１２は、本実施の形態４におけるオーディオデコーダのもう１つの構成を示す図である。
［図１３］図１３（ａ）は、本発明のオーディオデコーダを内蔵するモバイルテレビの外観の一例を示す図である。図１３（ｂ）は、本発明のオーディオデコーダを内蔵する携帯電話機の外観の一例を示す図である。
 符号の説明
１００，５００ ダウンミックス部
１０１，５０１ 第１符号化部
１０２，５０２ 第２符号化部
１０３，５０３ 符号量算出部
１０４，５０４ 第１多重化部
１０５，５０５ 第２多重化部
６００，７００，８００ 第１符号化信号取り出し部
６０１，７０１，８０１ 第２符号化信号取り出し部
６０２，７０２，８０２ 第１復号化部
６０３，７０３，８０３ 符号量取り出し部
６０４，７０４，８０４ 実体信号取り出し部
７０５，８０５ 第２復号化部
７０６，８０６ フィルタ部
７０７，８０７ 選択部
９００ フレームヘッダ情報
９０１ 第１符号化信号
９０２ 第２符号化信号
（実施の形態１）
以下、本発明の実施の形態１におけるオーディオエンコーダについて図面を参照しながら説明する。図２は本実施の形態１におけるオーディオエンコーダの構成を示す図である。図２に示す実施の形態１のオーディオエンコーダは、１フレームがそれぞれ可変長の第１符号化信号と第２符号化信号とからなるフレームごとに、第２符号化信号の先頭部に当該第２符号化信号の符号量を表す信号を記述しておくオーディオエンコーダであって、ダウンミックス部１００、第１符号化部１０１、第２符号化部１０２、符号量算出部１０３、第１多重化部１０４および第２多重化部１０５を備える。第１符号化信号は、マルチチャネル信号をダウンミックスして得られる２チャネルのステレオ信号を符号化して得られる。第２符号化信号は、第１符号化信号から元のマルチチャネル信号を復元するための情報を符号化して得られる。ダウンミックス部１００は、Ｍチャネル（ＭはＭ＞２を満たす自然数）のマルチチャネル信号をステレオ信号にダウンミックスする。なお、以下では、マルチチャネル信号をダウンミックスして得られたステレオ信号のことを「ダウンミックス信号」という。第１符号化部１０１は、ダウンミックス信号を符号化し、第１符号化信号を生成する。第２符号化部１０２は、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化する。符号量算出部１０３は、第２符号化部１０２で符号化された信号の符号量を算出する。第１多重化部１０４は、符号量算出部１０３で算出された符号量と第２符号化部１０２で生成された信号とを多重化し、第２符号化信号を生成する。第２多重化部１０５は、第１符号化信号と第２符号化信号とを多重化する。
以上のように構成されたオーディオエンコーダの動作について以下説明する。まず、ダウンミックス部１００は、本実施の形態では４チャネル（前左ｃｈ、前右ｃｈ、後左ｃｈ、後右ｃｈ）のマルチチャネル信号を入力とし、ステレオ信号にダウンミックスする。その方法は例えば、図３（ａ）に示したマトリックス演算を実行し、（前左ｃｈ＋後左ｃｈ）を新たに左ｃｈとし、（前右ｃｈ＋後右ｃｈ）を新たに右ｃｈとする、というような変換マトリックスを用いる方法が一般的である。または、ＭＰＥＧ２オーディオ規格で定められているように、入力の各チャネルの信号をフィルタバンクを用いて周波数軸信号に変換し、それぞれの周波数帯域ごとに定められた変換マトリックスに従ってダウンミックスしてもよい。または、入力の各チャネルの信号をＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）など直交変換方式を用いて周波数係数に変換し周波数係数ごとに定められた変換マトリックスに従ってダウンミックスしてもよい。この場合、各周波数係数は、フーリエ係数のように、複素数であってもよい。
次に第１符号化部１０１は、周波数軸上または時間軸上でダウンミックスされたダウンミックス信号を符号化し、第１符号化信号を生成する。ここで第１符号化部１０１による符号化は、例えばＭＰＥＧ規格などで規定された符号化方式でよい。
次に第２符号化部１０２は、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化する。例えば、ダウンミックスに用いた変換マトリックス演算に対する逆変換マトリックス演算を成立させる為の補助マトリックス演算によって生成された信号を符号化する。最も単純な例を図３（ｂ）に示した。すなわち、図３（ｂ）の網掛け部分のマトリックス演算によって算出された左’ｃｈ、右’ｃｈの信号を符号化する。このような信号が符号化され、ダウンミックス信号を符号化した信号とともに伝送、または蓄積されていれば、図３（ｃ）に示した逆マトリックス演算によって、もとの４チャネル（前左ｃｈ、前右ｃｈ、後左ｃｈ、後右ｃｈ）のマルチチャネル信号にもどすことができるからである。図４（ａ）は、図３（ｂ）に示したマトリックスを頭部伝達関数ＨＲＴＦに基づいて算出された係数からなるマトリックスの一例を示す図である。図４（ｂ）は、図４（ａ）の逆行列であり、ダウンミックス信号を元のマルチチャネル信号に戻すためのマトリックスの一例を示す図である。図４（ａ）および（ｂ）のａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ，ｉ，ｊ，ｋ，ｌ，ｍ，ｎ，ｏ，ｐは、頭部伝達関数ＨＲＴＦに基づいて算出された係数である。このような頭部伝達関数に基づくマトリックスを用いることによって、左ｃｈおよび右ｃｈによって表される２チャネルのステレオ信号に、もともとのマルチチャネルの空間情報が反映されることとなる。このような処理は入力の時間軸信号に対して行われても良いが、入力の時間軸信号をフィルタバンクなどを用いて周波数軸信号に変換し、それぞれの周波数帯域ごとに定められた変換マトリックスに従って行われてもよい。または、入力の時間軸信号をＦＦＴなど直交変換方式を用いて周波数係数に変換し周波数係数ごとに定められた変換マトリックスに従って行われてもよい。この場合、各周波数係数は、フーリエ係数のように、複素数であってもよい。
次に符号量算出部１０３は、第２符号化部１０２で符号化された信号の符号量を算出する。ただし、符号量算出部１０３は、第２符号化部１０２で符号化された信号を記述すべき領域が、第２符号化部１０２で符号化された信号以外の無効なデータ、例えば、ｎｕｌｌなどを含む場合には、その無効なデータを含んだ符号量を算出する。すなわち、請求項およびここでいう符号量とは、第２符号化部１０２で符号化された信号を記述すべき領域が、無効なデータを含む場合には、その無効なデータを含んだ符号量をいう。
次に第１多重化部１０４は、符号量算出部１０３で算出された符号量と、第２符号化部１０２で生成された信号とを多重化し、第２符号化信号を生成する。図５は、図２の符号量算出部１０３で算出された符号量を符号化信号に記述するための記述方法の一例を示す図である。図６は、図５に示した記述方法で符号量を符号化信号に記述する際のフローチャートである。ここで、符号量算出部１０３で算出された符号量は、例えば図５に示すようにＡビット、または（Ａ＋Ｂ）ビットの可変長のビットフィールドで表現される。具体的には、算出された符号量がＡビットで表されるのであれば、ｓｉｚｅ＿ｏｆ＿ｅｘｔだけで記述され、符号量がＡビットを超える場合には、ｓｉｚｅ＿ｏｆ＿ｅｘｔとｓｉｚｅ＿ｏｆ＿ｅｓｃとの２つのフィールドで表される。例えば、Ａが４、Ｂが８、符号量ｓｕｍが１４バイトの場合、１４は２進数１１１０の４ビットで表すことができるので（Ｓ４０１）、ｓｉｚｅ＿ｏｆ＿ｅｘｔという４ビットのフィールドに、ｓｕｍ＝１４を表す２進数１１１０が書かれる（Ｓ４０２）。この条件を表すｉｆ文では、ｓｉｚｅ＿ｏｆ＿ｅｘｔの値１４が、（１＜＜４）−１すなわち、１を４ビット左へシフトした値１６から１を減算して得られる１５より小さいので、ｓｉｚｅ＿ｏｆ＿ｅｓｃという８ビットのフィールドは存在しない。すなわちこの場合４ビットのビットフィールドで符号量を表す信号を多重化する。
また、例えば、Ａが４、Ｂが８、符号量ｓｕｍが１００バイトの場合には（Ｓ４０１）、ｓｉｚｅ＿ｏｆ＿ｅｘｔという４ビットのフィールドに、２進数１１１１が書かれる（Ｓ４０３）。この条件を表すｉｆ文では、ｓｉｚｅ＿ｏｆ＿ｅｘｔの値が、（１＜＜４）−１すなわち１５と等しいので、ｓｉｚｅ＿ｏｆ＿ｅｓｃという８ビットのフィールドに、ｓｕｍ−ｓｉｚｅ＿ｏｆ＿ｅｘｔ＋１＝１００−（１５−１）の値が書かれる（Ｓ４０４）。すなわちこの場合１２ビットのビットフィールドで符号量を表す信号が多重化される。
最後に第２多重化部１０５で、第１符号化信号９０１と第２符号化信号９０２とを多重化する。この処理を、逐次オーディオフレームごとに行うことによって、図７に示すような、第１符号化信号９０１と第２符号化信号９０２とが交互に多重化され、且つ、第２符号化信号９０２の先頭部に符号量を表す信号が多重化されたような符号化信号が生成される。
上記のように、本実施の形態によれば、Ｍチャネル（Ｍ＞２）のマルチチャネル信号をステレオ信号にダウンミックスするダウンミックス部と、ダウンミックス信号を符号化し第１符号化信号を生成する第１符号化部１０１と、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化する第２符号化部１０２と、第２符号化部１０２で符号化された信号の符号量を算出する符号量算出部１０３と、符号量算出部１０３で算出された符号量と第２符号化部１０２で生成された信号とを多重化し第２符号化信号を生成する第１多重化部１０４と、第１符号化信号と第２符号化信号とを多重化する第２多重化部１０５とを備え、第１多重化部１０４は、符号量を表す信号が第２符号化信号の先頭に配置されるように、符号量を表す信号を多重化することによって、第１符号化信号のみを復号化しダウンミックス信号のみを再生せんと欲するデコーダにとっては、第２符号化信号の符号量を示す情報が第２符号化信号に含まれているので、容易に第２符号化信号を全体の符号化信号から取り除くことができることとなる。
勿論ここで、符号量を表す信号は、第２符号化信号の開始を識別する記号の直後に配置するように、符号量を表す信号を多重化することが望ましい。なぜならば、第１符号化信号のみを復号化しダウンミックス信号のみを再生せんと欲するデコーダにとっては、第２符号化信号の符号量を示す情報が、第２符号化信号の先頭に配置されていれば、容易に第２符号化信号を全体の符号化信号から取り除くことができるからである。なお、この第２符号化信号の符号量は、ＭＰＥＧ２の符号化信号のＦｉｌｌ Ｅｌｅｍｅｎｔに記述されてもよい。この場合、第２符号化信号の開始を識別する記号とは、Ｆｉｌｌ Ｅｌｅｍｅｎｔの開始を示す記号である。
また、算出された符号量を、当該符号量を表すためのビット量に応じた可変長のビットフィールドに多重化することによって、当該符号量を表す信号を多重化するためのビット数を削減できることとなる。
また、本実施の形態では、マルチチャネル信号のチャネル数は説明の簡単化のために４としたが、４でなくてもよく、一般的に広く普及している５．１チャネルであっても良いことはいうまでもない。
なお、算出された符号量を表す信号は、第２符号化信号の先頭に記述されることが好ましいが、本発明はこれに限定されない。例えば、フレームヘッダ情報の中に記述されてもよい。また、フレームヘッダ情報の中に第１符号化信号の符号量を表す信号が記述されるとしてもよい。なぜなら、フレームヘッダ情報の中にはフレーム全体の符号量が記述されているので、第２符号化信号の符号量は簡単に算出することができるからである。
（実施の形態２）
以下本発明の実施の形態２におけるオーディオエンコーダについて図面を参照しながら説明する。図８は本実施の形態２におけるオーディオエンコーダの構成を示す図である。図８のオーディオエンコーダは、入力された時間軸上の４チャネル信号を周波数軸上の信号に変換した後、ダウンミックスするオーディオエンコーダであって、ダウンミックス部５００、第１符号化部５０１、第２符号化部５０２、符号量算出部５０３、第１多重化部５０４および第２多重化部５０５を備える。これにおいて、第２符号化部５０２、符号量算出部５０３、第１多重化部５０４および第２多重化部５０５は、実施の形態１で示したものと同様のものである。実施の形態１で示したものと異なるものは、ダウンミックス部５００が、第２符号化部５０２の処理過程で生成される各入力チャネルの周波数軸信号を入力とし、該各入力チャネルの周波数軸信号の一部、または帯域の周波数軸信号をダウンミックスするように構成されている点と、第１符号化部５０１が、ダウンミックス部５００でダウンミックスされた信号を入力として当該信号を符号化するように構成されている点である。
以上のように構成されたオーディオエンコーダの動作について以下に説明する。まず、第２符号化部５０２は、入力された４チャネル信号を時間軸上の信号のサンプル数と同数のサンプル数からなる周波数軸信号に変換する。これはフィルタバンクを用いても良いし、ＦＦＴのような直交変換方式を用いて周波数係数に変換してもよい。この場合、各周波数係数は、フーリエ係数のように、複素数であってもよい。この各チャネルの周波数軸信号をダウンミックス部５００に対し送出し、ダウンミックス部５００で所定の方法でダウンミックス処理が行われる。ここで、各チャネルの対応する周波数軸信号同士に対して実施されるダウンミックス処理は、実施の形態１で述べたようなマトリックス演算によって実施すればよい。一方第２符号化部５０２では、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化する。この方法も、実施の形態１で示した方法と同様でよい。
ここで本実施の形態では、ダウンミックス部５００は、受け取った各チャネルの周波数軸信号の一部の帯域のみに対しダウンミックス処理を実施するようにしてもよい。例えば、全周波数帯域の高域側の一部を取り除いた信号をダウンミックスする。このことによって、第１符号化信号のみを復号化しダウンミックス信号のみを再生せんと欲するデコーダにとっては、符号化信号の周波数帯域が狭いので復号化に際しての演算量が少なくてすむことになる。また、全周波数帯域の１／２以下の周波数帯域の信号をダウンミックスすることとすれば、以下に示す理由によって、更に利便性を享受できる。すなわち、第１符号化部５０１は、例えばＭＰＥＧ規格などで規定された符号化方式でよいが、特に、ここで、周波数帯域が全周波数帯域の１／２以下の周波数帯域であれば近年ＭＰＥＧ４規格で検討されている帯域拡大技術（ＩＳＯ／ＩＥＣ１４４９６−３）が前提としている周波数帯域と合致するので、当該技術とのインターフェースがとり易くなるからである。
以降、符号量算出部５０３の処理、第１多重化部５０４の処理、第２多重化部５０５の処理は、実施の形態１で述べたのと同様でよい。
また、ダウンミックス部５００では、周波数成分に分解された信号に対し頭部伝達関数に基づいたフィルタ処理を実施しながらダウンミックスしてもよい。周波数成分に分解された信号に対する頭部伝達関数に基づいたフィルタ処理は、特開平１１−０３２４００号公報で述べられているような方法でよい。そうすることによって、第１符号化部５０１で符号化された符号化信号のみを再生した場合でも、もともとのマルチチャネルの空間情報が反映されることとなるからである。勿論このことは、本実施の形態２での処理過程のみに適応されるわけではなく、先の実施の形態１での処理過程で実施しても良いことは言うまでもない。
上記のように、本実施の形態によれば、Ｍチャネル（Ｍ＞２）のマルチチャネル信号をステレオ信号にダウンミックスするダウンミックス部５００と、ダウンミックス信号を符号化し第１符号化信号を生成する第１符号化部５０１と、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化する第２符号化部５０２と、第２符号化部５０２で符号化された信号の符号量を算出する符号量算出部５０３と、符号量算出部５０３で算出された符号量を表す信号と第２符号化部５０２で生成された信号とを多重化し第２符号化信号を生成する第１多重化部５０４と、第１符号化信号と第２符号化信号とを多重化する第２多重化部５０５と、を有し、ダウンミックス部５００は、マルチチャネル信号をそれぞれ周波数軸信号に変換し該周波数軸信号の一部または全部の周波数帯域の信号をステレオ信号にダウンミックスすることによって、ダウンミックス処理を周波数軸上で行うことができるので、第２符号化部５０２が周波数軸上の信号に対し符号化処理を行う場合、ダウンミックス処理と第２符号化の処理とが効率的に実施できることとなる。また、一部または全部の周波数帯域の信号をステレオ信号にダウンミックスすれば、ダウンミックス処理を少ない演算量で行えることとなると同時に、第１符号化部５０１が、狭い帯域の信号を扱うことになるので、圧縮率が向上できることとなる。また、第１符号化部５０１で符号化された符号化信号のみを再生する場合、狭い帯域の信号を扱うことになるので復号化の演算量が少なくて済むこととなる。また、ダウンミックス処理を、もともとの周波数帯域の１／２の帯域で処理すれば、第１符号化部５０１が、１／２以下の帯域の信号を扱うことになるので、圧縮率がさらに向上できることとなると同時に、第１符号化部５０１で符号化された符号化信号のみを再生する場合、１／２以下の帯域の信号を扱うことになるので復号化の演算量が少なくて済むこととなる。また、近年広く研究開発が行われている帯域拡大技術（ＩＳＯ／ＩＥＣ１４４９６−３）が１／２帯域の以下の帯域の信号を拡大する技術であるので、その技術とのインターフェースがとり易くなることとなる。
また、上記ダウンミックス処理時に、頭部伝達関数のフィルタ処理も実施しておけば、第１符号化部５０１で符号化された符号化信号のみを再生した場合でも、もともとのマルチチャネルの空間情報が反映されることとなる。
勿論、上記頭部伝達関数のフィルタ処理は周波数軸上で行わず、時間軸上で行ってもよいことは言うまでもない。
また、本実施の形態では、マルチチャネル信号のチャネル数は説明の簡単化のために４としたが、４でなくてもよく、一般的に広く普及している５．１チャネルであっても良いことはいうまでもない。
（実施の形態３）
以下本発明の実施の形態３におけるオーディオデコーダについて図面を参照しながら説明する。本オーディオデコーダは、実施の形態１または実施の形態２で符号化された符号化信号を復号化するオーディオデコーダである。すなわち、Ｍチャネル（Ｍ＞２）のマルチチャネル信号をダウンミックスしたステレオ信号を符号化した第１符号化信号と、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化した第２符号化信号とが多重化された符号化信号を復号化するオーディオデコーダである。ここで、第２符号化信号には、当該第２符号化信号の符号量を示す値が多重化されているものとする。
図９は本実施の形態３におけるオーディオデコーダの構成を示す図である。図９において、オーディオデコーダは、第１符号化信号取り出し部６００、第２符号化信号取り出し部６０１、第１復号化部６０２、符号量取り出し部６０３、および実体信号取り出し部６０４を備える。第１符号化信号取り出し部６００は、第１符号化信号を取り出す。第２符号化信号取り出し部６０１は、第２符号化信号を取り出す。第１復号化部６０２は、第１符号化信号に基づいて、ダウンミックス信号を復号化する。符号量取り出し部６０３は、第２符号化信号に含まれている当該第２符号化信号の符号量を表す信号を取り出す。実体信号取り出し部６０４は、符号量取り出し部６０３によって取り出された符号量を表す信号に基づいて、符号化信号から第２符号化信号を取り出す。
以上のように構成されたオーディオデコーダの動作について、以下に説明する。まず、第１符号化信号取り出し部６００は、４チャネルのマルチチャネル信号をダウンミックスしたステレオ信号を符号化した第１符号化信号と、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化した第２符号化信号とが多重化された符号化信号から、第１符号化信号を取り出す。ここで、第１符号化信号は、実施の形態１、または実施の形態２の第１符号化部で生成された符号化信号であるので、当該第１符号化信号取り出し部６００では、第１符号化信号の符号化フォーマットに則って第１符号化信号を取り出せばよい。例えば、第１符号化部が、ＭＰＥＧ規格ＡＡＣ方式に則った符号化部なのであれば、当該第１符号化信号取り出し部６００では、ＡＡＣ符号化フォーマットに則って第１符号化信号を取り出せばよい。
次に、第１復号化部６０２で第１符号化信号に基づいて、ダウンミックス信号を復号化する。ここでの復号化の方法も、第１符号化信号の符号化規格に則って復号化すればよい。
図１０は、図５に示した符号量記述方法で記述されている符号量を表す信号をオーディオデコーダで読み取る場合の手順を示すフローチャートである。次に、第２符号化信号取り出し部６０１に内蔵されている符号量取り出し部６０３で、第２符号化信号に含まれている当該第２符号化信号の符号量を表す信号を取り出す（Ｓ５０１）。ここで当該符号量ｓｕｍは、図５に示したＡビットまたは（Ａ＋Ｂ）ビットで表現されているものとする。例えば、図５に示したｓｉｚｅ＿ｏｆ＿ｅｘｔが４ビット、ｓｉｚｅ＿ｏｆ＿ｅｓｃが８ビット、ｓｉｚｅ＿ｏｆ＿ｅｘｔの値が２進数で１０１０であるとする。この場合、ｓｉｚｅ＿ｏｆ＿ｅｘｔの値が１０であり、（１＜＜４）−１＝１５に等しくないので（Ｓ５０２）、ｓｉｚｅ＿ｏｆ＿ｅｓｃの８ビットは存在せず、符号量ｓｕｍは１０バイトということになる（Ｓ５０５）。また例えば、ｓｉｚｅ＿ｏｆ＿ｅｘｔが４ビット、ｓｉｚｅ＿ｏｆ＿ｅｓｃが８ビット、ｓｉｚｅ＿ｏｆ＿ｅｘｔの値が２進数で１１１１の場合、ｓｉｚｅ＿ｏｆ＿ｅｘｔの値が（１＜＜４）−１＝１５なので（Ｓ５０２）、ｓｉｚｅ＿ｏｆ＿ｅｓｃの８ビットが存在することになる。符号量取り出し部６０３は、さらに８ビットのｓｉｚｅ＿ｏｆ＿ｅｓｃを取り出す（Ｓ５０３）。ここで、ｓｉｚｅ＿ｏｆ＿ｅｓｃの値が２進数で００００１０００の場合、符号量ｓｕｍは、ｓｕｍ＝ｓｉｚｅ＿ｏｆ＿ｅｘｔ＋ｓｉｚｅ＿ｏｆ＿ｅｓｃ−１＝１５＋８−１となり、２２バイトとなる（Ｓ５０４）。
最後に、実体信号取り出し部６０４で、符号量取り出し部６０３によって取り出された符号量を表す信号に基づいて、符号化信号から第２符号化信号を取り出す。例えば、符号量が、２０バイトなのであれば、以降の２０バイトの信号が、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化した第２符号化信号の符号量と分かり、当該第２符号化信号は、ダウンミックス信号のみを再生するデコーダにとっては不要なものであるので、そのサイズ分だけ、符号化信号を読み飛ばせばよいことになる。
ここで、当該第２符号化信号に多重化されている当該符号量に応じた値は、必ずしも、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化した信号の符号量と丁度一致している必要はなく、それと同じかそれより大きな値であればよい。例えば、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化した信号の正味の符号量が１８バイトの場合でも、例えば２バイトの付加的な情報を追加した場合は（これは実質的に無意味な情報でもよいが）、当該第２符号化信号に多重化されている当該符号量に相当する値は２０となっているべきである。すなわち、第２符号化信号が付加的な情報または無意味な情報である２バイトを含んでいるとした場合と同じである。そうすることによって、実体信号取り出し部は、符号化信号の内容については一切関知する必要がなくなるからである。
以上の様に、本実施の形態のオーディオデコーダは、Ｍチャネル（Ｍ＞２）のマルチチャネル信号をダウンミックスしたステレオ信号を符号化した第１符号化信号と、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化した第２符号化信号とが多重化された符号化信号に対し、第１符号化信号を取り出す第１符号化信号取り出し部６００と、第２符号化信号を取り出す第２符号化信号取り出し部６０１と、第１符号化信号に基づいて、ダウンミックス信号を復号化する第１復号化部６０２とを有し、第２符号化信号取り出し部６０１は、第２符号化信号に含まれる符号量を表す信号を取り出す符号量取り出し部６０３と、符号量取り出し部６０３によって取り出された符号量を表す信号に基づいて、符号化信号から第２符号化信号を取り出す実体信号取り出し部６０４をさらに備える。これによって、ダウンミックス信号のみを復号化したいと欲するオーディオデコーダの場合、簡単な処理でマルチチャネル化のための情報を取り去るまたは読み飛ばすことができることとなる。
勿論ここで、符号量を表す信号は、第２符号化信号の先頭に配置されることが望ましい。なぜならば、第１符号化信号のみを復号化しダウンミックス信号のみを再生せんと欲するデコーダにとっては、第２符号化信号の符号量を示す情報が、第２符号化信号の先頭に配置されていれば、容易に第２符号化信号を全体の符号化信号から取り除くことができるからである。
またここで、第１符号化信号が、先に述べた実施の形態２のように、予め頭部伝達関数に基づくフィルタ処理によって本来のマルチチャネル信号が２チャネル信号にダウンミックスされていれば、第１符号化信号のみを復号化しダウンミックス信号のみを再生せんと欲するデコーダにとっては、単に第１符号化信号を復号化するだけで、もともとのマルチチャネルの空間情報が反映されたオーディオを再生できることとなる。
また、本実施の形態では、マルチチャネル信号のチャネル数は説明の簡単化のために４としたが、４でなくてもよく、一般的に広く普及している５．１チャネルであっても良いことはいうまでもない。
（実施の形態４）
以下、本発明の実施の形態４におけるオーディオデコーダについて図面を参照しながら説明する。
本オーディオデコーダは、実施の形態１または実施の形態２で符号化された符号化信号を復号化するオーディオデコーダである。すなわち、Ｍチャネル（Ｍ＞２）のマルチチャネル信号をダウンミックスしたステレオ信号を符号化した第１符号化信号と、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化した第２符号化信号とが多重化された符号化信号を復号化するオーディオデコーダである。ここで、第２符号化信号には、当該第２符号化信号の符号量を示す値が多重化されているものである。
図１１は、本実施の形態４におけるオーディオデコーダの構成を示す図である。図１１に示すように、実施の形態４のオーディオデコーダは、第１符号化信号取り出し部７００、第２符号化信号取り出し部７０１、第１復号化部７０２、符号量取り出し部７０３、実体信号取り出し部７０４、第２復号化部７０５、フィルタ部７０６および選択部７０７を備える。このうち、実施の形態３と異なるのは、第１符号化信号と第２符号化信号とに基づいて、マルチチャネル信号を復号化する第２復号化部７０５と、復号化されたマルチチャネル信号に対し、頭部伝達関数に基づくフィルタ処理を施すフィルタ部７０６と、第１復号化部７０２で生成された信号か、フィルタ部７０６で生成された信号かを選択する選択部７０７とを備えたところである。それ以外の第１符号化信号取り出し部７００、第２符号化信号取り出し部７０１、第１復号化部７０２、符号量取り出し部７０３および実体信号取り出し部７０４は、実施の形態３で述べたものと同様である。
以上のように構成されたオーディオデコーダの動作について、以下に説明する。まず、第１符号化信号取り出し部７００は、４チャネルのマルチチャネル信号をダウンミックスしたステレオ信号を符号化した第１符号化信号と、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化した第２符号化信号とが多重化された符号化信号から、第１符号化信号を取り出す。この動作は、実施の形態３と同様である。
次に、第１復号化部７０２で第１符号化信号に基づいて、ダウンミックス信号を復号化する。この動作も、実施の形態３と同様である。
次に、第２符号化信号取り出し部７０１に内蔵されている符号量取り出し部７０３で、第２符号化信号に含まれている当該第２符号化信号の符号量を表す信号を取り出す。この動作は、実施の形態３と同様である。
次に符号量取り出し部７０３によって取り出された符号量を表す信号に基づいて、実体信号取り出し部７０４が、符号化信号から第２符号化信号を取り出す。この動作は、実施の形態３と同様である。
次に、第２復号化部７０５で、第１符号化信号と第２符号化信号とに基づいて、マルチチャネル信号を復号化する。
ここで、第１符号化信号と第２符号化信号は、実施の形態１、または実施の形態２のオーディオエンコーダで生成された符号化信号であるので、当該第２復号化部７０５では、その符号化フォーマットに則って第１符号化信号と第２符号化信号とを復号しマルチチャネル信号を生成すればよい。
次にフィルタ部７０６で、復号化されたマルチチャネル信号に対し、頭部伝達関数に基づくフィルタ処理を施す。
最後に、選択部７０７で、第１復号化部で生成された信号か、フィルタ部で生成された信号かを選択する。
以上の様に、本実施の形態では、Ｍチャネル（Ｍ＞２）のマルチチャネル信号をダウンミックスしたステレオ信号を符号化した第１符号化信号と、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化した第２符号化信号とが多重化された符号化信号に対し、第１符号化信号を取り出す第１符号化信号取り出し部７００と、第２符号化信号を取り出す第２符号化信号取り出し部７０１と、第１符号化信号に基づいて、ダウンミックス信号を復号化する第１復号化部７０２と、第２符号化信号に含まれる符号量を表す信号を取り出す符号量取り出し部７０３と、符号量取り出し部７０３によって取り出された符号量を表す信号に基づいて、符号化信号から第２符号化信号を取り出す実体信号取り出し部７０４と、第１符号化信号と第２符号化信号とに基づいて、マルチチャネル信号を復号化する第２復号化部７０５と、復号化されたマルチチャネル信号に対し、頭部伝達関数に基づくフィルタ処理を施すフィルタ部７０６と、第１復号化部で生成された信号か、フィルタ部７０６で生成された信号かを選択する選択部７０７とを備えることによって、ダウンミックス信号の再生音と、マルチチャネル信号に対し頭部伝達関数に基づくフィルタ処理を施した再生音とを利用者が選択できることとなる。
上記の処理において、第２復号化部７０５では各マルチチャネル信号の周波数軸信号を生成するようにし、当該各マルチチャネル信号の周波数軸信号に対し周波数軸上で頭部伝達関数に基づくフィルタ処理を行い２チャネルの周波数軸信号を生成した後、当該周波数軸信号を時間軸信号に変換するようにしてもよい。例えば、特開平１１−０３２４００号公報で述べられているような方法でもよい。そうすることによって、例えば、ＡＡＣ方式（ＩＳＯ／ＩＥＣ１３８１８−７）やＡＡＣ−ＳＢＲ方式（ＩＳＯ／ＩＥＣ１４４９６−３）と組み合わせたとき、演算量が大幅に削減できることになる。なぜならば、それらの方式が、周波数軸上の信号を圧縮符号化している方式であるので、周波数軸信号を時間軸信号に変換する処理が内蔵されているが、周波数軸上でダウンミックスすることによって、周波数軸信号を時間軸信号に変換する処理が２チャネル分のみで済むことになるからである。
また、本実施の形態では、マルチチャネル信号のチャネル数は説明の簡単化のために４としたが、４でなくてもよく、一般的に広く普及している５．１チャネルであっても良いことはいうまでもない。
また、本実施の形態では、第２復号化部は、第１符号化信号と第２符号化信号とを入力とし、それらを用いてマルチチャネル信号を復号化したが、第１復号化部で復号化した信号を用いて、マルチチャネル信号を復号化するようにしてもよい。図１２は、本実施の形態４におけるオーディオデコーダの他の構成を示す図である。その場合、図１２に示すような構成になる。
また、当該オーディオデコーダを駆動する為の電力が低下した場合、例えば電池寿命がつきかけている場合、そのことを検出し、自動的に上記選択部を、第１復号化部で生成された信号で出力するように制御すれば、バッテリーがつきかけているときに、自動的にダウンミックス信号の復号化のモードに入るので、電池寿命が延長することとなる。また、聴取者は音質の変化によって電池寿命がつきかけていることを検知することができることとなる。
図１３は、本発明のオーディオデコーダを備えるモバイルオーディオ機器の外観の一例を示す図である。（ａ）は、本発明のオーディオデコーダを内蔵するモバイルテレビの一例を示す図である。（ｂ）は、本発明のオーディオデコーダを内蔵する携帯電話機の一例を示す図である。同図に示すような携帯型の機器では、単位時間あたりの演算量が大きいと、演算処理の並列化などのために回路規模が大きくなってしまう。そして、モバイルオーディオ機器では、いまだに２チャネル再生が主流である。従って、同図に示すようなモバイルオーディオ機器では、本発明のオーディオエンコーダによって符号化された符号化信号を復号化し、再生することによって、符号化信号の不要な部分を読み飛ばし、頭部伝達関数を用いてフィルタリングされた仮想サラウンドオーディオを、低い負荷で再生することができる。
本発明にかかるオーディオエンコーダは、マルチチャネル信号を符号化するオーディオエンコーダであるが、エンコードされたマルチチャネル信号を安価なデコーダで再生できるような符号化信号を生成するので、特に機器の小型化が必要な携帯機器に応用できる。
本発明にかかるオーディオデコーダは、マルチチャネル信号を符号化した符号化信号を２チャネルの再生部、例えば、ヘッドホンで再生するのに適しているので、特に機器の小型化が必要な携帯機器、例えば、モバイルテレビ、ＭＤ、ＳＤおよび携帯電話機などに応用できる。
本発明は、マルチチャネル信号を符号化するオーディオエンコーダに関する。特に、エンコードされたマルチチャネル信号を安価なデコーダで再生できるような符号化信号を生成するオーディオエンコーダに関する。
また、本発明は、そのようなオーディオエンコーダでエンコードされた符号化信号をデコードするオーディオデコーダに関する。特にマルチチャネル信号を２チャネルで再生するようなオーディオデコーダに関する。
従来から、マルチチャネル信号を安価な再生装置、とりわけ２チャネルの再生装置で再生することができるような符号化信号を生成するオーディオエンコーダの研究開発が行われている。例えば、ＭＰＥＧ２オーディオ規格（ＩＳＯ１３８１８−３）では、マルチチャネル信号を２チャネルにダウンミックスした信号と、当該ダウンミックスされた信号をマルチチャネル信号に戻すための信号とを分けて、それぞれ第１符号化信号、第２符号化信号として符号化し、安価なデコーダでは上記第１符号化信号のみを復号化することができる技術が開示されている（非特許文献１参照）。
ＭＰＥＧ２オーディオ規格（ＩＳＯ１３８１８−３）
しかしながら、ＭＰＥＧ２オーディオ規格では、上記第１符号化信号と、上記第２符号化信号とを分離することが容易ではないという課題があった。
図１は、ＭＰＥＧ２オーディオ規格における符号化信号（ビットストリーム）の構造を示したものである。図１において、フレームヘッダ情報９００は、１１５２サンプルごとに符号化された１フレームの符号化情報の開始位置を示している。第１符号化信号９０１は、マルチチャネル信号を２チャネルにダウンミックスしたステレオ信号を符号化した符号化信号である。第２符号化信号９０２は、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化して得られる符号化信号である。
さてここで、第１符号化信号９０１のみをデコードしたいと欲する、例えば、２チャネル再生のみを前提として設計された携帯電話機などのデコーダは、第１符号化信号９０１を取得し復号化した後、第２符号化信号９０２を読み飛ばしたいと欲するが、以下の理由によって容易には第２符号化信号９０２の量を取得することができず、従って、容易には第２符号化信号９０２を読み飛ばすことができない。なぜならば、各フレームのフレームサイズは各フレームのフレームヘッダ情報９００を解析することで容易に取得することができるが、第１符号化信号９０１の符号量は図に例示したようにフレームごとに可変であるので、必然的に第２符号化信号９０２の符号量も可変となる。従って、第２符号化信号９０２の符号量は、当該フレームのフレームサイズから当該フレームの第１符号化信号９０１の符号量を引くことによってしか知ることができない。従って第１符号化信号９０１をデコードする際、第１符号化信号９０１の符号量をいちいち算出しなければならないこととなり、このことに多大の演算資源を費やさなければならないという課題がある。
また、従来の技術では、以下のような課題もある。
ＭＰＥＧ２オーディオ規格では、復号化されたダウンミックス信号は、サンプル時刻ごとに所定のマトリックス演算によってダウンミックスされているので、もともとのマルチチャネル信号の空間情報が失われているという。従って、元の空間情報を再現した上で、２チャネルダウンミックスした信号を再生せんと欲した場合、つまり、仮想サラウンド処理を施した２チャネル信号を再生せんと欲した場合、一旦、第１符号化信号９０１と第２符号化信号９０２とを用いてマルチチャネル信号を復号した後、頭部伝達関数に基づいて空間情報をフィルタ処理する必要があり、そのことに多大の演算資源を費やさなければならないという課題がある。
本発明は、このような従来の問題点に鑑みてなされたものであって、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化した符号化信号の符号量を簡単に知りえるような符号化信号を生成するオーディオエンコーダを提供することを目的とする。
さらに、本発明は、ダウンミックス信号を再生するだけで元のマルチチャネルの空間情報が再生できるような符号化情報を生成するオーディオエンコーダを提供することを第２の目的とする。
また、そのようなオーディオエンコーダで符号化された符号化信号を少ない演算量で復号化するオーディオデコーダを提供することを目的とする。
上記の課題を解決するため、本発明のオーディオエンコーダは、２チャネルを超えるマルチチャネル信号を、２チャネルのステレオ信号にダウンミックスするダウンミックス手段と、前記ダウンミックスされたステレオ信号を符号化し、第１符号化信号を生成する第１符号化手段と、前記ダウンミックスされたステレオ信号をマルチチャネル信号に戻すための情報を符号化し、第２符号化信号を生成する第２符号化手段と、前記第２符号化信号の符号量を算出する符号量算出手段と、前記第１符号化信号、前記第２符号化信号および算出された前記符号量を表す信号を多重化する多重化手段とを備えることを特徴とする。
また、前記多重化手段は、前記符号量算出手段で算出された符号量と、前記第２符号化信号とを多重化する第１多重化部と、前記第１符号化信号と、前記符号量が多重化された前記第２符号化信号とを多重化する第２多重化部とを備えるとしてもよい。
さらに、前記第１多重化部は、前記符号量算出手段で算出された前記符号量を、前記第２符号化信号の先頭に配置して多重化するとしてもよい。
また、前記第１多重化部は、前記符号量算出手段で算出された前記符号量を、前記第２符号化信号の開始を識別する記号の直後に配置するように多重化するとしてもよい。
さらに、前記第１多重化部は、前記符号量算出手段で算出された前記符号量を表す信号を可変長で記述し、前記第２符号化信号に多重化するとしてもよい。
また、前記ダウンミックス手段は、前記マルチチャネル信号に頭部伝達関数を用いた演算を行い、ダウンミックス処理を行うとしてもよい。
また、前記ダウンミックス手段は、周波数軸上で、前記マルチチャネル信号に頭部伝達関数を用いた演算を行うとしてもよい。
さらに、前記第２符号化信号は無効なデータを含み、前記符号量算出手段は、前記無効なデータを含む前記第２符号化信号の符号量を算出するとしてもよい。
上記の課題を解決するため、本発明のオーディオデコーダは、２チャネルを超えるマルチチャネル信号からダウンミックスされた２チャネルのステレオ信号が符号化されて得られる第１符号化信号と、前記ステレオ信号からマルチチャネル信号を生成するための情報が符号化されて得られたものである第２符号化信号と、前記第２符号化信号の符号量を表す信号とを含む符号化信号を取得する取得手段と、取得された前記符号化信号を復号化してステレオ信号を出力する復号化手段とを備える。
また、前記復号化手段は、取得された前記符号化信号から、前記第１符号化信号を読み出す第１符号化信号読み出し部と、前記第２符号化信号の符号量を表す信号を、前記符号化信号から読み出す符号量読み出し部と、前記第１符号化信号読み出し部によって読み出された前記第１符号化信号を復号化して、前記ステレオ信号を出力する第１復号化部とを備え、前記第１符号化信号読み出し部は、前記符号量読み出し部によって読み出された前記符号量を表す信号に基づいて、第２符号化信号を読み飛ばすとしてもよい。
また、前記第１符号化信号は、頭部伝達関数を用いた演算によりあらかじめ仮想サラウンド効果が付与されたステレオ信号が符号化されたものであり、前記第１復号化部は、仮想サラウンド効果の付与されたステレオ信号を出力するとしてもよい。
また、前記オーディオデコーダは、さらに、前記第２符号化信号を前記符号化信号から読み出す第２符号化信号読み出し部と、読み出された前記第１符号化信号と前記第２符号化信号とに基づいて、マルチチャネル信号を復号化する第２復号化部と、前記復号化されたマルチチャネル信号に対し、頭部伝達関数に基づくフィルタ処理を施し、仮想サラウンド効果が付与されたステレオ信号を出力するフィルタ部と、前記第１復号化部から出力される前記ステレオ信号と、前記フィルタ部から出力される前記仮想サラウンド効果が付与されたステレオ信号とのいずれかを選択する選択部とを備えるとしてもよい。
さらに、前記第１復号化部は、前記ステレオ信号の周波数軸信号を生成し、前記フィルタ部は、前記ステレオ信号の周波数軸信号から復元されたマルチチャネル信号の周波数軸信号に対し、頭部伝達関数に基づくフィルタ処理を行い２チャネルの周波数軸信号を生成した後、前記周波数軸信号を時間軸信号に変換するとしてもよい。
また、前記オーディオデコーダは、さらに、少なくとも前記第２復号化部を駆動する為の電力を供給する電力供給部を備え、前記選択部は、前記電力供給部からの電力供給量が所定の値を下回った場合、前記第１復号化部からのステレオ信号を選択するとしてもよい。
さらに、前記符号量読み出し部によって読み出される前記第２符号化信号の符号量を表す信号は、無効なデータを含む前記第２符号化信号の符号量を表す信号であるとしてもよい。
本発明によれば、ダウンミックス信号をマルチチャネル信号に戻すために必要な情報を符号化して得られる第２符号化信号の符号量を、オーディオデコーダで簡単に知りえるような符号化信号を生成することができることとなる。従って、ダウンミックス信号のみを再生する再生装置においても、容易にダウンミックス信号のみを復号化して再生することができる。
本発明によれば、前記第２符号化信号の符号量を表す信号を、前記第２符号化信号の開始位置の直後から入手することができることとなる。
本発明によれば、前記第２符号化信号の符号量を表す信号を、その値の大きさに応じて可変符号長で多重化できるので、符号量を表す信号多重化のためのビット数を節約することができることとなる。
さらに、本発明によれば、ダウンミックス処理を周波数軸上で行うことができるので、前記第２符号化手段が周波数軸上の信号に対し符号化処理を行う場合、前記ダウンミックス処理と前記第２符号化の処理とが効率的に実施できることとなる。
本発明によれば、第１符号化手段が、１／２以下の帯域の信号を扱うことになるので、圧縮率が向上できることとなる。また、第１符号化手段で符号化された符号化信号のみを再生する場合、１／２以下の帯域の信号を扱うことになるので復号化の演算量が少なくて済むこととなる。また、近年広く研究開発が行われている帯域拡大技術（ＩＳＯ／ＩＥＣ１４４９６−３）が１／２帯域の以下の帯域の信号を拡大する技術であるので、その技術とのインターフェースがとり易くなることとなる。
また、本発明によれば、ダウンミックス信号が、頭部伝達関数のフィルタ処理された信号となり、第１符号化信号のみを再生した場合でも、もともとのマルチチャネルの空間情報が反映されることとなる。
さらに、本発明によれば、ダウンミックス信号が、頭部伝達関数のフィルタ処理された信号となり、第１符号化信号のみを再生した場合でも、もともとのマルチチャネルの空間情報が反映されることとなる。しかも頭部伝達関数の処理を周波数軸上で実施するので、近年主流のオーディオ圧縮方式、例えば、ＡＡＣ方式（ＩＳＯ／ＩＥＣ１３８１８−７）やＡＡＣ−ＳＢＲ方式（ＩＳＯ／ＩＥＣ１４４９６−３）と組み合わせたとき、少ない演算量で処理が実行できることとなる。なぜならば、それらの方式が、周波数軸上の信号を圧縮符号化している方式であるからである。
また、本発明によれば、ダウンミックス信号のみを復号化したいと欲する場合、簡単な処理でマルチチャネル化のために情報を取り去ることができることとなる。
さらに、本発明によれば、ダウンミックス信号の再生音と、マルチチャネル信号に対し、頭部伝達関数に基づくフィルタ処理を施した再生音とを選択できることとなる。
また、本発明によれば、周波数軸上で頭部伝達関数に基づくフィルタ処理を行い２チャネルの周波数軸信号を生成した後、当該周波数軸信号を時間軸信号に変換することができるので、近年主流のオーディオ圧縮方式、例えば、ＡＡＣ方式（ＩＳＯ／ＩＥＣ１３８１８−７）やＡＡＣ−ＳＢＲ方式（ＩＳＯ／ＩＥＣ１４４９６−３）と組み合わせたとき、少ない演算量で処理が実行できることとなる。なぜならば、それらの方式が、周波数軸上の信号を圧縮符号化している方式であるからである。
さらに、本発明によれば、オーディオデコーダを駆動する為の電力が低下した場合、例えば電池寿命がつきかけている場合、自動的にダウンミックス信号の復号化のモードに入るので、電池寿命が延長することとなる。また、聴取者は音質の変化によって電池寿命がつきかけていることを検知することができることとなる。
（実施の形態１）
以下、本発明の実施の形態１におけるオーディオエンコーダについて図面を参照しながら説明する。図２は本実施の形態１におけるオーディオエンコーダの構成を示す図である。図２に示す実施の形態１のオーディオエンコーダは、１フレームがそれぞれ可変長の第１符号化信号と第２符号化信号とからなるフレームごとに、第２符号化信号の先頭部に当該第２符号化信号の符号量を表す信号を記述しておくオーディオエンコーダであって、ダウンミックス部１００、第１符号化部１０１、第２符号化部１０２、符号量算出部１０３、第１多重化部１０４および第２多重化部１０５を備える。第１符号化信号は、マルチチャネル信号をダウンミックスして得られる２チャネルのステレオ信号を符号化して得られる。第２符号化信号は、第１符号化信号から元のマルチチャネル信号を復元するための情報を符号化して得られる。ダウンミックス部１００は、Ｍチャネル（ＭはＭ＞２を満たす自然数）のマルチチャネル信号をステレオ信号にダウンミックスする。なお、以下では、マルチチャネル信号をダウンミックスして得られたステレオ信号のことを「ダウンミックス信号」という。第１符号化部１０１は、ダウンミックス信号を符号化し、第１符号化信号を生成する。第２符号化部１０２は、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化する。符号量算出部１０３は、第２符号化部１０２で符号化された信号の符号量を算出する。第１多重化部１０４は、符号量算出部１０３で算出された符号量と第２符号化部１０２で生成された信号とを多重化し、第２符号化信号を生成する。第２多重化部１０５は、第１符号化信号と第２符号化信号とを多重化する。
以上のように構成されたオーディオエンコーダの動作について以下説明する。まず、ダウンミックス部１００は、本実施の形態では４チャネル（前左ｃｈ、前右ｃｈ、後左ｃｈ、後右ｃｈ）のマルチチャネル信号を入力とし、ステレオ信号にダウンミックスする。その方法は例えば、図３（ａ）に示したマトリックス演算を実行し、（前左ｃｈ＋後左ｃｈ）を新たに左ｃｈとし、（前右ｃｈ＋後右ｃｈ）を新たに右ｃｈとする、というような変換マトリックスを用いる方法が一般的である。または、ＭＰＥＧ２オーディオ規格で定められているように、入力の各チャネルの信号をフィルタバンクを用いて周波数軸信号に変換し、それぞれの周波数帯域ごとに定められた変換マトリックスに従ってダウンミックスしてもよい。または、入力の各チャネルの信号をＦＦＴ（Fast Fourier Transform）など直交変換方式を用いて周波数係数に変換し周波数係数ごとに定められた変換マトリックスに従ってダウンミックスしてもよい。この場合、各周波数係数は、フーリエ係数のように、複素数であってもよい。
次に第１符号化部１０１は、周波数軸上または時間軸上でダウンミックスされたダウンミックス信号を符号化し、第１符号化信号を生成する。ここで第１符号化部１０１による符号化は、例えばＭＰＥＧ規格などで規定された符号化方式でよい。
次に第２符号化部１０２は、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化する。例えば、ダウンミックスに用いた変換マトリックス演算に対する逆変換マトリックス演算を成立させる為の補助マトリックス演算によって生成された信号を符号化する。最も単純な例を図３（ｂ）に示した。すなわち、図３（ｂ）の網掛け部分のマトリックス演算によって算出された左’ｃｈ、右’ｃｈの信号を符号化する。このような信号が符号化され、ダウンミックス信号を符号化した信号とともに伝送、または蓄積されていれば、図３（ｃ）に示した逆マトリックス演算によって、もとの４チャネル（前左ｃｈ、前右ｃｈ、後左ｃｈ、後右ｃｈ）のマルチチャネル信号にもどすことができるからである。図４（ａ）は、図３（ｂ）に示したマトリックスを頭部伝達関数ＨＲＴＦに基づいて算出された係数からなるマトリックスの一例を示す図である。図４（ｂ）は、図４（ａ）の逆行列であり、ダウンミックス信号を元のマルチチャネル信号に戻すためのマトリックスの一例を示す図である。図４（ａ）および（ｂ）のa, b, c, d, e, f, g, h, i, j, k, l, m, n, o, pは、頭部伝達関数ＨＲＴＦに基づいて算出された係数である。このような頭部伝達関数に基づくマトリックスを用いることによって、左ｃｈおよび右ｃｈによって表される２チャネルのステレオ信号に、もともとのマルチチャネルの空間情報が反映されることとなる。このような処理は入力の時間軸信号に対して行われても良いが、入力の時間軸信号をフィルタバンクなどを用いて周波数軸信号に変換し、それぞれの周波数帯域ごとに定められた変換マトリックスに従って行われてもよい。または、入力の時間軸信号をＦＦＴなど直交変換方式を用いて周波数係数に変換し周波数係数ごとに定められた変換マトリックスに従って行われてもよい。この場合、各周波数係数は、フーリエ係数のように、複素数であってもよい。
次に符号量算出部１０３は、第２符号化部１０２で符号化された信号の符号量を算出する。ただし、符号量算出部１０３は、第２符号化部１０２で符号化された信号を記述すべき領域が、第２符号化部１０２で符号化された信号以外の無効なデータ、例えば、nullなどを含む場合には、その無効なデータを含んだ符号量を算出する。すなわち、請求項およびここでいう符号量とは、第２符号化部１０２で符号化された信号を記述すべき領域が、無効なデータを含む場合には、その無効なデータを含んだ符号量をいう。
次に第１多重化部１０４は、符号量算出部１０３で算出された符号量と、第２符号化部１０２で生成された信号とを多重化し、第２符号化信号を生成する。図５は、図２の符号量算出部１０３で算出された符号量を符号化信号に記述するための記述方法の一例を示す図である。図６は、図５に示した記述方法で符号量を符号化信号に記述する際のフローチャートである。ここで、符号量算出部１０３で算出された符号量は、例えば図５に示すようにＡビット、または（Ａ＋Ｂ）ビットの可変長のビットフィールドで表現される。具体的には、算出された符号量がＡビットで表されるのであれば、size_of_extだけで記述され、符号量がＡビットを超える場合には、size_of_extとsize_of_escとの２つのフィールドで表される。例えば、Ａが４、Ｂが８、符号量sumが１４バイトの場合、１４は２進数１１１０の４ビットで表すことができるので（Ｓ４０１）、size_of_extという４ビットのフィールドに、sum=１４を表す２進数１１１０が書かれる（Ｓ４０２）。この条件を表すif文では、size_of_extの値１４が、（１＜＜４）−１すなわち、１を４ビット左へシフトした値１６から１を減算して得られる１５より小さいので、size_of_escという８ビットのフィールドは存在しない。すなわちこの場合４ビットのビットフィールドで符号量を表す信号を多重化する。
また、例えば、Ａが４、Ｂが８、符号量sumが１００バイトの場合には（Ｓ４０１）、size_of_extという４ビットのフィールドに、２進数１１１１が書かれる（Ｓ４０３）。この条件を表すif文では、size_of_extの値が、（１＜＜４）−１すなわち１５と等しいので、size_of_escという８ビットのフィールドに、sum − size_of_ext ＋１＝１００−（１５−１）の値が書かれる（Ｓ４０４）。すなわちこの場合１２ビットのビットフィールドで符号量を表す信号が多重化される。
最後に第２多重化部１０５で、第１符号化信号９０１と第２符号化信号９０２とを多重化する。この処理を、逐次オーディオフレームごとに行うことによって、図７に示すような、第１符号化信号９０１と第２符号化信号９０２とが交互に多重化され、且つ、第２符号化信号９０２の先頭部に符号量を表す信号が多重化されたような符号化信号が生成される。
上記のように、本実施の形態によれば、Ｍチャネル（Ｍ＞２）のマルチチャネル信号をステレオ信号にダウンミックスするダウンミックス部と、ダウンミックス信号を符号化し第１符号化信号を生成する第１符号化部１０１と、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化する第２符号化部１０２と、第２符号化部１０２で符号化された信号の符号量を算出する符号量算出部１０３と、符号量算出部１０３で算出された符号量と第２符号化部１０２で生成された信号とを多重化し第２符号化信号を生成する第１多重化部１０４と、第１符号化信号と第２符号化信号とを多重化する第２多重化部１０５とを備え、第１多重化部１０４は、符号量を表す信号が第２符号化信号の先頭に配置されるように、符号量を表す信号を多重化することによって、第１符号化信号のみを復号化しダウンミックス信号のみを再生せんと欲するデコーダにとっては、第２符号化信号の符号量を示す情報が第２符号化信号に含まれているので、容易に第２符号化信号を全体の符号化信号から取り除くことができることとなる。
勿論ここで、符号量を表す信号は、第２符号化信号の開始を識別する記号の直後に配置するように、符号量を表す信号を多重化することが望ましい。なぜならば、第１符号化信号のみを復号化しダウンミックス信号のみを再生せんと欲するデコーダにとっては、第２符号化信号の符号量を示す情報が、第２符号化信号の先頭に配置されていれば、容易に第２符号化信号を全体の符号化信号から取り除くことができるからである。なお、この第２符号化信号の符号量は、ＭＰＥＧ２の符号化信号のFill Elementに記述されてもよい。この場合、第２符号化信号の開始を識別する記号とは、Fill Elementの開始を示す記号である。
また、算出された符号量を、当該符号量を表すためのビット量に応じた可変長のビットフィールドに多重化することによって、当該符号量を表す信号を多重化するためのビット数を削減できることとなる。
また、本実施の形態では、マルチチャネル信号のチャネル数は説明の簡単化のために４としたが、４でなくてもよく、一般的に広く普及している５．１チャネルであっても良いことはいうまでもない。
なお、算出された符号量を表す信号は、第２符号化信号の先頭に記述されることが好ましいが、本発明はこれに限定されない。例えば、フレームヘッダ情報の中に記述されてもよい。また、フレームヘッダ情報の中に第１符号化信号の符号量を表す信号が記述されるとしてもよい。なぜなら、フレームヘッダ情報の中にはフレーム全体の符号量が記述されているので、第２符号化信号の符号量は簡単に算出することができるからである。
（実施の形態２）
以下本発明の実施の形態２におけるオーディオエンコーダについて図面を参照しながら説明する。図８は本実施の形態２におけるオーディオエンコーダの構成を示す図である。図８のオーディオエンコーダは、入力された時間軸上の４チャネル信号を周波数軸上の信号に変換した後、ダウンミックスするオーディオエンコーダであって、ダウンミックス部５００、第１符号化部５０１、第２符号化部５０２、符号量算出部５０３、第１多重化部５０４および第２多重化部５０５を備える。これにおいて、第２符号化部５０２、符号量算出部５０３、第１多重化部５０４および第２多重化部５０５は、実施の形態１で示したものと同様のものである。実施の形態１で示したものと異なるものは、ダウンミックス部５００が、第２符号化部５０２の処理過程で生成される各入力チャネルの周波数軸信号を入力とし、該各入力チャネルの周波数軸信号の一部、または帯域の周波数軸信号をダウンミックスするように構成されている点と、第１符号化部５０１が、ダウンミックス部５００でダウンミックスされた信号を入力として当該信号を符号化するように構成されている点である。
以上のように構成されたオーディオエンコーダの動作について以下に説明する。まず、第２符号化部５０２は、入力された４チャネル信号を時間軸上の信号のサンプル数と同数のサンプル数からなる周波数軸信号に変換する。これはフィルタバンクを用いても良いし、ＦＦＴのような直交変換方式を用いて周波数係数に変換してもよい。この場合、各周波数係数は、フーリエ係数のように、複素数であってもよい。この各チャネルの周波数軸信号をダウンミックス部５００に対し送出し、ダウンミックス部５００で所定の方法でダウンミックス処理が行われる。ここで、各チャネルの対応する周波数軸信号同士に対して実施されるダウンミックス処理は、実施の形態１で述べたようなマトリックス演算によって実施すればよい。一方第２符号化部５０２では、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化する。この方法も、実施の形態１で示した方法と同様でよい。
ここで本実施の形態では、ダウンミックス部５００は、受け取った各チャネルの周波数軸信号の一部の帯域のみに対しダウンミックス処理を実施するようにしてもよい。例えば、全周波数帯域の高域側の一部を取り除いた信号をダウンミックスする。このことによって、第１符号化信号のみを復号化しダウンミックス信号のみを再生せんと欲するデコーダにとっては、符号化信号の周波数帯域が狭いので復号化に際しての演算量が少なくてすむことになる。また、全周波数帯域の１／２以下の周波数帯域の信号をダウンミックスすることとすれば、以下に示す理由によって、更に利便性を享受できる。すなわち、第１符号化部５０１は、例えばＭＰＥＧ規格などで規定された符号化方式でよいが、特に、ここで、周波数帯域が全周波数帯域の１／２以下の周波数帯域であれば近年ＭＰＥＧ４規格で検討されている帯域拡大技術（ＩＳＯ／ＩＥＣ１４４９６−３）が前提としている周波数帯域と合致するので、当該技術とのインターフェースがとり易くなるからである。
以降、符号量算出部５０３の処理、第１多重化部５０４の処理、第２多重化部５０５の処理は、実施の形態１で述べたのと同様でよい。
また、ダウンミックス部５００では、周波数成分に分解された信号に対し頭部伝達関数に基づいたフィルタ処理を実施しながらダウンミックスしてもよい。周波数成分に分解された信号に対する頭部伝達関数に基づいたフィルタ処理は、特開平１１−０３２４００号公報で述べられているような方法でよい。そうすることによって、第１符号化部５０１で符号化された符号化信号のみを再生した場合でも、もともとのマルチチャネルの空間情報が反映されることとなるからである。勿論このことは、本実施の形態２での処理過程のみに適応されるわけではなく、先の実施の形態１での処理過程で実施しても良いことは言うまでもない。
上記のように、本実施の形態によれば、Ｍチャネル（Ｍ＞２）のマルチチャネル信号をステレオ信号にダウンミックスするダウンミックス部５００と、ダウンミックス信号を符号化し第１符号化信号を生成する第１符号化部５０１と、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化する第２符号化部５０２と、第２符号化部５０２で符号化された信号の符号量を算出する符号量算出部５０３と、符号量算出部５０３で算出された符号量を表す信号と第２符号化部５０２で生成された信号とを多重化し第２符号化信号を生成する第１多重化部５０４と、第１符号化信号と第２符号化信号とを多重化する第２多重化部５０５と、を有し、ダウンミックス部５００は、マルチチャネル信号をそれぞれ周波数軸信号に変換し該周波数軸信号の一部または全部の周波数帯域の信号をステレオ信号にダウンミックスすることによって、ダウンミックス処理を周波数軸上で行うことができるので、第２符号化部５０２が周波数軸上の信号に対し符号化処理を行う場合、ダウンミックス処理と第２符号化の処理とが効率的に実施できることとなる。また、一部または全部の周波数帯域の信号をステレオ信号にダウンミックスすれば、ダウンミックス処理を少ない演算量で行えることとなると同時に、第１符号化部５０１が、狭い帯域の信号を扱うことになるので、圧縮率が向上できることとなる。また、第１符号化部５０１で符号化された符号化信号のみを再生する場合、狭い帯域の信号を扱うことになるので復号化の演算量が少なくて済むこととなる。また、ダウンミックス処理を、もともとの周波数帯域の１／２の帯域で処理すれば、第１符号化部５０１が、１／２以下の帯域の信号を扱うことになるので、圧縮率がさらに向上できることとなると同時に、第１符号化部５０１で符号化された符号化信号のみを再生する場合、１／２以下の帯域の信号を扱うことになるので復号化の演算量が少なくて済むこととなる。また、近年広く研究開発が行われている帯域拡大技術（ＩＳＯ／ＩＥＣ１４４９６−３）が１／２帯域の以下の帯域の信号を拡大する技術であるので、その技術とのインターフェースがとり易くなることとなる。
また、上記ダウンミックス処理時に、頭部伝達関数のフィルタ処理も実施しておけば、第１符号化部５０１で符号化された符号化信号のみを再生した場合でも、もともとのマルチチャネルの空間情報が反映されることとなる。
勿論、上記頭部伝達関数のフィルタ処理は周波数軸上で行わず、時間軸上で行ってもよいことは言うまでもない。
また、本実施の形態では、マルチチャネル信号のチャネル数は説明の簡単化のために４としたが、４でなくてもよく、一般的に広く普及している５．１チャネルであっても良いことはいうまでもない。
（実施の形態３）
以下本発明の実施の形態３におけるオーディオデコーダについて図面を参照しながら説明する。本オーディオデコーダは、実施の形態１または実施の形態２で符号化された符号化信号を復号化するオーディオデコーダである。すなわち、Ｍチャネル（Ｍ＞２）のマルチチャネル信号をダウンミックスしたステレオ信号を符号化した第１符号化信号と、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化した第２符号化信号とが多重化された符号化信号を復号化するオーディオデコーダである。ここで、第２符号化信号には、当該第２符号化信号の符号量を示す値が多重化されているものとする。
図９は本実施の形態３におけるオーディオデコーダの構成を示す図である。図９において、オーディオデコーダは、第１符号化信号取り出し部６００、第２符号化信号取り出し部６０１、第１復号化部６０２、符号量取り出し部６０３、および実体信号取り出し部６０４を備える。第１符号化信号取り出し部６００は、第１符号化信号を取り出す。第２符号化信号取り出し部６０１は、第２符号化信号を取り出す。第１復号化部６０２は、第１符号化信号に基づいて、ダウンミックス信号を復号化する。符号量取り出し部６０３は、第２符号化信号に含まれている当該第２符号化信号の符号量を表す信号を取り出す。実体信号取り出し部６０４は、符号量取り出し部６０３によって取り出された符号量を表す信号に基づいて、符号化信号から第２符号化信号を取り出す。
以上のように構成されたオーディオデコーダの動作について、以下に説明する。まず、第１符号化信号取り出し部６００は、４チャネルのマルチチャネル信号をダウンミックスしたステレオ信号を符号化した第１符号化信号と、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化した第２符号化信号とが多重化された符号化信号から、第１符号化信号を取り出す。ここで、第１符号化信号は、実施の形態１、または実施の形態２の第１符号化部で生成された符号化信号であるので、当該第１符号化信号取り出し部６００では、第１符号化信号の符号化フォーマットに則って第１符号化信号を取り出せばよい。例えば、第１符号化部が、ＭＰＥＧ規格ＡＡＣ方式に則った符号化部なのであれば、当該第１符号化信号取り出し部６００では、ＡＡＣ符号化フォーマットに則って第１符号化信号を取り出せばよい。
次に、第１復号化部６０２で第１符号化信号に基づいて、ダウンミックス信号を復号化する。ここでの復号化の方法も、第１符号化信号の符号化規格に則って復号化すればよい。
図１０は、図５に示した符号量記述方法で記述されている符号量を表す信号をオーディオデコーダで読み取る場合の手順を示すフローチャートである。次に、第２符号化信号取り出し部６０１に内蔵されている符号量取り出し部６０３で、第２符号化信号に含まれている当該第２符号化信号の符号量を表す信号を取り出す（Ｓ５０１）。ここで当該符号量sumは、図５に示したＡビットまたは（Ａ＋Ｂ）ビットで表現されているものとする。例えば、図５に示したsize_of_extが４ビット、size_of_escが８ビット、size_of_extの値が２進数で１０１０であるとする。この場合、size_of_extの値が１０であり、（１＜＜４）−１＝１５に等しくないので（Ｓ５０２）、size_of_escの８ビットは存在せず、符号量sumは１０バイトということになる（Ｓ５０５）。また例えば、size_of_extが４ビット、size_of_escが８ビット、size_of_extの値が２進数で１１１１の場合、size_of_extの値が（１＜＜４）−１＝１５なので（Ｓ５０２）、size_of_escの８ビットが存在することになる。符号量取り出し部６０３は、さらに８ビットのsize_of_escを取り出す（Ｓ５０３）。ここで、size_of_escの値が２進数で００００１０００の場合、符号量sumは、sum ＝ size_of_ext ＋ size_of_esc−１＝１５＋８−１となり、２２バイトとなる（Ｓ５０４）。
最後に、実体信号取り出し部６０４で、符号量取り出し部６０３によって取り出された符号量を表す信号に基づいて、符号化信号から第２符号化信号を取り出す。例えば、符号量が、２０バイトなのであれば、以降の２０バイトの信号が、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化した第２符号化信号の符号量と分かり、当該第２符号化信号は、ダウンミックス信号のみを再生するデコーダにとっては不要なものであるので、そのサイズ分だけ、符号化信号を読み飛ばせばよいことになる。
ここで、当該第２符号化信号に多重化されている当該符号量に応じた値は、必ずしも、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化した信号の符号量と丁度一致している必要はなく、それと同じかそれより大きな値であればよい。例えば、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化した信号の正味の符号量が１８バイトの場合でも、例えば２バイトの付加的な情報を追加した場合は（これは実質的に無意味な情報でもよいが）、当該第２符号化信号に多重化されている当該符号量に相当する値は２０となっているべきである。すなわち、第２符号化信号が付加的な情報または無意味な情報である２バイトを含んでいるとした場合と同じである。そうすることによって、実体信号取り出し部は、符号化信号の内容については一切関知する必要がなくなるからである。
以上の様に、本実施の形態のオーディオデコーダは、Ｍチャネル（Ｍ＞２）のマルチチャネル信号をダウンミックスしたステレオ信号を符号化した第１符号化信号と、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化した第２符号化信号とが多重化された符号化信号に対し、第１符号化信号を取り出す第１符号化信号取り出し部６００と、第２符号化信号を取り出す第２符号化信号取り出し部６０１と、第１符号化信号に基づいて、ダウンミックス信号を復号化する第１復号化部６０２とを有し、第２符号化信号取り出し部６０１は、第２符号化信号に含まれる符号量を表す信号を取り出す符号量取り出し部６０３と、符号量取り出し部６０３によって取り出された符号量を表す信号に基づいて、符号化信号から第２符号化信号を取り出す実体信号取り出し部６０４をさらに備える。これによって、ダウンミックス信号のみを復号化したいと欲するオーディオデコーダの場合、簡単な処理でマルチチャネル化のための情報を取り去るまたは読み飛ばすことができることとなる。
勿論ここで、符号量を表す信号は、第２符号化信号の先頭に配置されることが望ましい。なぜならば、第１符号化信号のみを復号化しダウンミックス信号のみを再生せんと欲するデコーダにとっては、第２符号化信号の符号量を示す情報が、第２符号化信号の先頭に配置されていれば、容易に第２符号化信号を全体の符号化信号から取り除くことができるからである。
またここで、第１符号化信号が、先に述べた実施の形態２のように、予め頭部伝達関数に基づくフィルタ処理によって本来のマルチチャネル信号が２チャネル信号にダウンミックスされていれば、第１符号化信号のみを復号化しダウンミックス信号のみを再生せんと欲するデコーダにとっては、単に第１符号化信号を復号化するだけで、もともとのマルチチャネルの空間情報が反映されたオーディオを再生できることとなる。
また、本実施の形態では、マルチチャネル信号のチャネル数は説明の簡単化のために４としたが、４でなくてもよく、一般的に広く普及している５．１チャネルであっても良いことはいうまでもない。
（実施の形態４）
以下、本発明の実施の形態４におけるオーディオデコーダについて図面を参照しながら説明する。
本オーディオデコーダは、実施の形態１または実施の形態２で符号化された符号化信号を復号化するオーディオデコーダである。すなわち、Ｍチャネル（Ｍ＞２）のマルチチャネル信号をダウンミックスしたステレオ信号を符号化した第１符号化信号と、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化した第２符号化信号とが多重化された符号化信号を復号化するオーディオデコーダである。ここで、第２符号化信号には、当該第２符号化信号の符号量を示す値が多重化されているものである。
図１１は、本実施の形態４におけるオーディオデコーダの構成を示す図である。図１１に示すように、実施の形態４のオーディオデコーダは、第１符号化信号取り出し部７００、第２符号化信号取り出し部７０１、第１復号化部７０２、符号量取り出し部７０３、実体信号取り出し部７０４、第２復号化部７０５、フィルタ部７０６および選択部７０７を備える。このうち、実施の形態３と異なるのは、第１符号化信号と第２符号化信号とに基づいて、マルチチャネル信号を復号化する第２復号化部７０５と、復号化されたマルチチャネル信号に対し、頭部伝達関数に基づくフィルタ処理を施すフィルタ部７０６と、第１復号化部７０２で生成された信号か、フィルタ部７０６で生成された信号かを選択する選択部７０７とを備えたところである。それ以外の第１符号化信号取り出し部７００、第２符号化信号取り出し部７０１、第１復号化部７０２、符号量取り出し部７０３および実体信号取り出し部７０４は、実施の形態３で述べたものと同様である。
以上のように構成されたオーディオデコーダの動作について、以下に説明する。まず、第１符号化信号取り出し部７００は、４チャネルのマルチチャネル信号をダウンミックスしたステレオ信号を符号化した第１符号化信号と、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化した第２符号化信号とが多重化された符号化信号から、第１符号化信号を取り出す。この動作は、実施の形態３と同様である。
次に、第１復号化部７０２で第１符号化信号に基づいて、ダウンミックス信号を復号化する。この動作も、実施の形態３と同様である。
次に、第２符号化信号取り出し部７０１に内蔵されている符号量取り出し部７０３で、第２符号化信号に含まれている当該第２符号化信号の符号量を表す信号を取り出す。この動作は、実施の形態３と同様である。
次に符号量取り出し部７０３によって取り出された符号量を表す信号に基づいて、実体信号取り出し部７０４が、符号化信号から第２符号化信号を取り出す。この動作は、実施の形態３と同様である。
次に、第２復号化部７０５で、第１符号化信号と第２符号化信号とに基づいて、マルチチャネル信号を復号化する。
ここで、第１符号化信号と第２符号化信号は、実施の形態１、または実施の形態２のオーディオエンコーダで生成された符号化信号であるので、当該第２復号化部７０５では、その符号化フォーマットに則って第１符号化信号と第２符号化信号とを復号しマルチチャネル信号を生成すればよい。
次にフィルタ部７０６で、復号化されたマルチチャネル信号に対し、頭部伝達関数に基づくフィルタ処理を施す。
最後に、選択部７０７で、第１復号化部で生成された信号か、フィルタ部で生成された信号かを選択する。
以上の様に、本実施の形態では、Ｍチャネル（Ｍ＞２）のマルチチャネル信号をダウンミックスしたステレオ信号を符号化した第１符号化信号と、ダウンミックス信号をマルチチャネル信号に戻すための情報を符号化した第２符号化信号とが多重化された符号化信号に対し、第１符号化信号を取り出す第１符号化信号取り出し部７００と、第２符号化信号を取り出す第２符号化信号取り出し部７０１と、第１符号化信号に基づいて、ダウンミックス信号を復号化する第１復号化部７０２と、第２符号化信号に含まれる符号量を表す信号を取り出す符号量取り出し部７０３と、符号量取り出し部７０３によって取り出された符号量を表す信号に基づいて、符号化信号から第２符号化信号を取り出す実体信号取り出し部７０４と、第１符号化信号と第２符号化信号とに基づいて、マルチチャネル信号を復号化する第２復号化部７０５と、復号化されたマルチチャネル信号に対し、頭部伝達関数に基づくフィルタ処理を施すフィルタ部７０６と、第１復号化部で生成された信号か、フィルタ部７０６で生成された信号かを選択する選択部７０７とを備えることによって、ダウンミックス信号の再生音と、マルチチャネル信号に対し頭部伝達関数に基づくフィルタ処理を施した再生音とを利用者が選択できることとなる。
上記の処理において、第２復号化部７０５では各マルチチャネル信号の周波数軸信号を生成するようにし、当該各マルチチャネル信号の周波数軸信号に対し周波数軸上で頭部伝達関数に基づくフィルタ処理を行い２チャネルの周波数軸信号を生成した後、当該周波数軸信号を時間軸信号に変換するようにしてもよい。例えば、特開平１１−０３２４００号公報で述べられているような方法でもよい。そうすることによって、例えば、ＡＡＣ方式（ＩＳＯ／ＩＥＣ１３８１８−７）やＡＡＣ−ＳＢＲ方式（ＩＳＯ／ＩＥＣ１４４９６−３）と組み合わせたとき、演算量が大幅に削減できることになる。なぜならば、それらの方式が、周波数軸上の信号を圧縮符号化している方式であるので、周波数軸信号を時間軸信号に変換する処理が内蔵されているが、周波数軸上でダウンミックスすることによって、周波数軸信号を時間軸信号に変換する処理が２チャネル分のみで済むことになるからである。
また、本実施の形態では、マルチチャネル信号のチャネル数は説明の簡単化のために４としたが、４でなくてもよく、一般的に広く普及している５．１チャネルであっても良いことはいうまでもない。
また、本実施の形態では、第２復号化部は、第１符号化信号と第２符号化信号とを入力とし、それらを用いてマルチチャネル信号を復号化したが、第１復号化部で復号化した信号を用いて、マルチチャネル信号を復号化するようにしてもよい。図１２は、本実施の形態４におけるオーディオデコーダの他の構成を示す図である。その場合、図１２に示すような構成になる。
また、当該オーディオデコーダを駆動する為の電力が低下した場合、例えば電池寿命がつきかけている場合、そのことを検出し、自動的に上記選択部を、第１復号化部で生成された信号で出力するように制御すれば、バッテリーがつきかけているときに、自動的にダウンミックス信号の復号化のモードに入るので、電池寿命が延長することとなる。また、聴取者は音質の変化によって電池寿命がつきかけていることを検知することができることとなる。
図１３は、本発明のオーディオデコーダを備えるモバイルオーディオ機器の外観の一例を示す図である。（ａ）は、本発明のオーディオデコーダを内蔵するモバイルテレビの一例を示す図である。（ｂ）は、本発明のオーディオデコーダを内蔵する携帯電話機の一例を示す図である。同図に示すような携帯型の機器では、単位時間あたりの演算量が大きいと、演算処理の並列化などのために回路規模が大きくなってしまう。そして、モバイルオーディオ機器では、いまだに２チャネル再生が主流である。従って、同図に示すようなモバイルオーディオ機器では、本発明のオーディオエンコーダによって符号化された符号化信号を復号化し、再生することによって、符号化信号の不要な部分を読み飛ばし、頭部伝達関数を用いてフィルタリングされた仮想サラウンドオーディオを、低い負荷で再生することができる。
本発明にかかるオーディオエンコーダは、マルチチャネル信号を符号化するオーディオエンコーダであるが、エンコードされたマルチチャネル信号を安価なデコーダで再生できるような符号化信号を生成するので、特に機器の小型化が必要な携帯機器に応用できる。
本発明にかかるオーディオデコーダは、マルチチャネル信号を符号化した符号化信号を２チャネルの再生部、例えば、ヘッドホンで再生するのに適しているので、特に機器の小型化が必要な携帯機器、例えば、モバイルテレビ、ＭＤ、ＳＤおよび携帯電話機などに応用できる。
図１は、ＭＰＥＧ２オーディオ規格における符号化信号（ビットストリーム）の構造を示したものである。 図２は、本実施の形態１におけるオーディオエンコーダの構成を示すブロック図である。 図３（ａ）は、ダウンミックスの変換マトリックスを示す図である。図３（ｂ）は、ダウンミックス信号を元のマルチチャネル信号に戻すための信号を生成するマトリックスを示す図である。図３（ｃ）は、ダウンミックス信号を元のマルチチャネル信号に戻すためのマトリックスを示す図である。 図４（ａ）は、図３（ｂ）に示したマトリックスを頭部伝達関数に基づいて算出した場合のマトリックスの一例を示す図である。図４（ｂ）は、図４（ａ）の逆行列であり、ダウンミックス信号を元のマルチチャネル信号に戻すためのマトリックスの一例を示す図である。 図５は、図２の符号量算出部１０３で算出された符号量を符号化信号に記述するための記述方法の一例を示す図である。 図６は、図５に示した記述方法で符号量を符号化信号に記述する際のフローチャートである。 図７は、本実施の形態１、２で生成される符号化信号のデータ構成を示す図である。 図８は、本実施の形態２におけるオーディオエンコーダの構成を示す図である。 図９は、本実施の形態３におけるオーディオデコーダの構成を示す図である。 図１０は、図５に示した符号量記述方法で記述されている符号量を表す信号をオーディオデコーダで読み取る場合の手順を示すフローチャートである。 図１１は、本実施の形態４におけるオーディオデコーダの構成を示す図である。 図１２は、本実施の形態４におけるオーディオデコーダのもう１つの構成を示す図である。 図１３（ａ）は、本発明のオーディオデコーダを内蔵するモバイルテレビの外観の一例を示す図である。図１３（ｂ）は、本発明のオーディオデコーダを内蔵する携帯電話機の外観の一例を示す図である。
符号の説明
１００，５００ ダウンミックス部
１０１，５０１ 第１符号化部
１０２，５０２ 第２符号化部
１０３，５０３ 符号量算出部
１０４，５０４ 第１多重化部
１０５，５０５ 第２多重化部
６００，７００，８００ 第１符号化信号取り出し部
６０１，７０１，８０１ 第２符号化信号取り出し部
６０２，７０２，８０２ 第１復号化部
６０３，７０３，８０３ 符号量取り出し部
６０４，７０４，８０４ 実体信号取り出し部
７０５，８０５ 第２復号化部
７０６，８０６ フィルタ部
７０７，８０７ 選択部
９００ フレームヘッダ情報
９０１ 第１符号化信号
９０２ 第２符号化信号

Claims (19)

  1. ２チャネルを超えるマルチチャネル信号を、２チャネルのステレオ信号にダウンミックスするダウンミックス手段と、
    前記ダウンミックスされたステレオ信号を符号化し、第１符号化信号を生成する第１符号化手段と、
    前記ダウンミックスされたステレオ信号をマルチチャネル信号に戻すための情報を符号化し、第２符号化信号を生成する第２符号化手段と、
    前記第２符号化信号の符号量を算出する符号量算出手段と、
    前記第１符号化信号、前記第２符号化信号および算出された前記符号量を表す信号を多重化する多重化手段と
    を備えることを特徴とするオーディオエンコーダ。
  2. 前記多重化手段は、
    前記符号量算出手段で算出された符号量と、前記第２符号化信号とを多重化する第１多重化部と、
    前記第１符号化信号と、前記符号量が多重化された前記第２符号化信号とを多重化する第２多重化部と
    を備えることを特徴とする請求項１記載のオーディオエンコーダ。
  3. 前記第１多重化部は、前記符号量算出手段で算出された前記符号量を、前記第２符号化信号の先頭に配置して多重化する
    ことを特徴とする請求項２記載のオーディオエンコーダ。
  4. 前記第１多重化部は、前記符号量算出手段で算出された前記符号量を、前記第２符号化信号の開始を識別する記号の直後に配置するように多重化する
    ことを特徴とする請求項２記載のオーディオエンコーダ。
  5. 前記第１多重化部は、前記符号量算出手段で算出された前記符号量を可変長で記述し、前記第２符号化信号に多重化する
    ことを特徴とする請求項２記載のオーディオエンコーダ。
  6. 前記ダウンミックス手段は、前記マルチチャネル信号に頭部伝達関数を用いた演算を行い、ダウンミックス処理を行う
    ことを特徴とする請求項１記載のオーディオエンコーダ。
  7. 前記ダウンミックス手段は、周波数軸上で、前記マルチチャネル信号に頭部伝達関数を用いた演算を行う
    ことを特徴とする請求項６に記載のオーディオエンコーダ。
  8. 前記第２符号化信号は無効なデータを含み、
    前記符号量算出手段は、前記無効なデータを含む前記第２符号化信号の符号量を算出する
    ことを特徴とする請求項１記載のオーディオエンコーダ。
  9. 符号化信号を復号化するオーディオデコーダであって、
    ２チャネルを超えるマルチチャネル信号からダウンミックスされた２チャネルのステレオ信号が符号化されて得られる第１符号化信号と、前記ステレオ信号からマルチチャネル信号を生成するための情報が符号化されて得られたものである第２符号化信号と、前記第２符号化信号の符号量を表す信号とを含む符号化信号を取得する取得手段と、
    取得された前記符号化信号を復号化してステレオ信号を出力する復号化手段と
    を備えることを特徴とするオーディオデコーダ。
  10. 前記復号化手段は、
    取得された前記符号化信号から、前記第１符号化信号を読み出す第１符号化信号読み出し部と、
    前記第２符号化信号の符号量を表す信号を、前記符号化信号から読み出す符号量読み出し部と、
    前記第１符号化信号読み出し部によって読み出された前記第１符号化信号を復号化して、前記ステレオ信号を出力する第１復号化部とを備え、
    前記第１符号化信号読み出し部は、前記符号量読み出し部によって読み出された前記符号量に基づいて、第２符号化信号を読み飛ばす
    ことを特徴とする請求項９記載のオーディオデコーダ。
  11. 前記第１符号化信号は、頭部伝達関数を用いた演算によりあらかじめ仮想サラウンド効果が付与されたステレオ信号が符号化されたものであり、
    前記第１復号化部は、仮想サラウンド効果の付与されたステレオ信号を出力する ことを特徴とする請求項１０記載のオーディオデコーダ。
  12. 取得された前記符号化信号から読み出される前記第２符号化信号の符号量を表す信号は、無効なデータを含む前記第２符号化信号の符号量を表す信号である
    ことを特徴とする請求項９記載のオーディオデコーダ。
  13. 前記復号化手段は、さらに、
    取得された前記符号化信号から、前記第１符号化信号を読み出す第１符号化信号読み出し部と、
    前記第１符号化信号読み出し部によって読み出された前記第１符号化信号を復号化して、前記ステレオ信号を出力する第１復号化部と、
    前記第２符号化信号を前記符号化信号から読み出す第２符号化信号読み出し部と、
    読み出された前記第１符号化信号と前記第２符号化信号とに基づいて、マルチチャネル信号を復号化する第２復号化部と、
    前記復号化されたマルチチャネル信号に対し、頭部伝達関数に基づくフィルタ処理を施し、仮想サラウンド効果が付与されたステレオ信号を出力するフィルタ部と、
    前記第１復号化部から出力される前記ステレオ信号と、前記フィルタ部から出力される前記仮想サラウンド効果が付与された前記ステレオ信号とのいずれかを選択する選択部とを備える
    ことを特徴とする請求項９記載のオーディオデコーダ。
  14. 前記第１復号化部は、前記ステレオ信号の周波数軸信号を生成し、
    前記フィルタ部は、前記ステレオ信号の周波数軸信号から復元されたマルチチャネル信号の周波数軸信号に対し、頭部伝達関数に基づくフィルタ処理を行い２チャネルの周波数軸信号を生成した後、前記周波数軸信号を時間軸信号に変換する
    ことを特徴とする請求項１３記載のオーディオデコーダ。
  15. 前記オーディオデコーダは、さらに、
    少なくとも前記第２復号化部を駆動する為の電力を供給する電力供給部を備え、
    前記選択部は、前記電力供給部からの電力供給量が所定の値を下回った場合、前記第１復号化部からのステレオ信号を選択する
    ことを特徴とする請求項１４記載のオーディオデコーダ。
  16. ２チャネルを超えるマルチチャネル信号を、２チャネルのステレオ信号にダウンミックスし、
    ダウンミックスされた前記ステレオ信号を符号化し、第１符号化信号を生成し、
    ダウンミックスされた前記ステレオ信号をマルチチャネル信号に戻すための情報を符号化し、第２符号化信号を生成し、
    前記第２符号化信号の符号量を算出し、
    前記第１符号化信号、前記第２符号化信号および算出された符号量を表す信号を多重化する
    ことを特徴とするオーディオ符号化方法。
  17. 符号化信号を復号化するオーディオ復号化方法であって、
    ２チャネルを超えるマルチチャネル信号からダウンミックスされた２チャネルのステレオ信号が符号化されて得られる第１符号化信号と、前記ステレオ信号からマルチチャネル信号を生成するための情報が符号化されて得られたものである第２符号化信号と、前記第２符号化信号の符号量を表す信号とを含む符号化信号を取得し、
    取得された前記符号化信号を復号化してステレオ信号を出力する
    ことを特徴とするオーディオ復号化方法。
  18. オーディオエンコーダのためのプログラムであって、コンピュータを
    ２チャネルを超えるマルチチャネル信号を、２チャネルのステレオ信号にダウンミックスするダウンミックス手段と、前記ダウンミックスされたステレオ信号を符号化し、第１符号化信号を生成する第１符号化手段と、前記ダウンミックスされたステレオ信号をマルチチャネル信号に戻すための情報を符号化し、第２符号化信号を生成する第２符号化手段と、前記第２符号化信号の符号量を算出する符号量算出手段と、前記第１符号化信号、前記第２符号化信号および算出された前記符号量を表す信号を多重化する多重化手段との各手段として機能させるプログラム。
  19. 符号化信号を復号化するオーディオデコーダのためのプログラムであって、コンピュータを
    ２チャネルを超えるマルチチャネル信号からダウンミックスされた２チャネルのステレオ信号が符号化されて得られる第１符号化信号と、前記ステレオ信号からマルチチャネル信号を生成するための情報が符号化されて得られたものである第２符号化信号と、前記第２符号化信号の符号量を表す信号とを含む符号化信号を取得する取得手段と、取得された前記符号化信号を復号化してステレオ信号を出力する復号化手段との各手段として機能させるプログラム。
JP2006519336A 2004-02-25 2005-02-09 オーディオエンコーダ及びオーディオデコーダ Pending JPWO2005081229A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2004049650 2004-02-25
JP2004049650 2004-02-25
PCT/JP2005/001968 WO2005081229A1 (ja) 2004-02-25 2005-02-09 オーディオエンコーダ及びオーディオデコーダ

Publications (1)

Publication Number Publication Date
JPWO2005081229A1 true JPWO2005081229A1 (ja) 2007-10-25

Family

ID=34879555

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006519336A Pending JPWO2005081229A1 (ja) 2004-02-25 2005-02-09 オーディオエンコーダ及びオーディオデコーダ

Country Status (4)

Country Link
US (1) US7613306B2 (ja)
JP (1) JPWO2005081229A1 (ja)
CN (1) CN1906664A (ja)
WO (1) WO2005081229A1 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2396608C2 (ru) * 2004-04-05 2010-08-10 Конинклейке Филипс Электроникс Н.В. Способ, устройство, кодирующее устройство, декодирующее устройство и аудиосистема
US7573912B2 (en) * 2005-02-22 2009-08-11 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschunng E.V. Near-transparent or transparent multi-channel encoder/decoder scheme
KR100818268B1 (ko) * 2005-04-14 2008-04-02 삼성전자주식회사 오디오 데이터 부호화 및 복호화 장치와 방법
JP4988716B2 (ja) 2005-05-26 2012-08-01 エルジー エレクトロニクス インコーポレイティド オーディオ信号のデコーディング方法及び装置
WO2006126844A2 (en) 2005-05-26 2006-11-30 Lg Electronics Inc. Method and apparatus for decoding an audio signal
ATE433182T1 (de) * 2005-07-14 2009-06-15 Koninkl Philips Electronics Nv Audiokodierung und audiodekodierung
CN101253556B (zh) * 2005-09-02 2011-06-22 松下电器产业株式会社 能量整形装置以及能量整形方法
JP4740335B2 (ja) * 2005-09-14 2011-08-03 エルジー エレクトロニクス インコーポレイティド オーディオ信号のデコーディング方法及び装置
WO2007032646A1 (en) * 2005-09-14 2007-03-22 Lg Electronics Inc. Method and apparatus for decoding an audio signal
US7974713B2 (en) 2005-10-12 2011-07-05 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Temporal and spatial shaping of multi-channel audio signals
TWI333642B (en) * 2006-01-19 2010-11-21 Lg Electronics Inc Method and apparatus for processing a media signal
JP5054035B2 (ja) * 2006-02-07 2012-10-24 エルジー エレクトロニクス インコーポレイティド 符号化／復号化装置及び方法
BRPI0707969B1 (pt) 2006-02-21 2020-01-21 Koninklijke Philips Electonics N V codificador de áudio, decodificador de áudio, método de codificação de áudio, receptor para receber um sinal de áudio, transmissor, método para transmitir um fluxo de dados de saída de áudio, e produto de programa de computador
KR100754220B1 (ko) 2006-03-07 2007-09-03 삼성전자주식회사 Ｍｐｅｇ 서라운드를 위한 바이노럴 디코더 및 그 디코딩방법
KR20080086549A (ko) * 2006-04-03 2008-09-25 엘지전자 주식회사 미디어 신호 처리 방법 및 장치
ES2390181T3 (es) * 2006-06-29 2012-11-07 Lg Electronics Inc. Procedimiento y aparato para procesar una señal de audio
KR20090013178A (ko) 2006-09-29 2009-02-04 엘지전자 주식회사 오브젝트 기반 오디오 신호를 인코딩 및 디코딩하는 방법 및 장치
EP2083584B1 (en) * 2008-01-23 2010-09-15 LG Electronics Inc. A method and an apparatus for processing an audio signal
US8615316B2 (en) * 2008-01-23 2013-12-24 Lg Electronics Inc. Method and an apparatus for processing an audio signal
MY178597A (en) 2008-07-11 2020-10-16 Fraunhofer Ges Forschung Audio encoder, audio decoder, methods for encoding and decoding an audio signal, and a computer program
US8639368B2 (en) * 2008-07-15 2014-01-28 Lg Electronics Inc. Method and an apparatus for processing an audio signal
US8452430B2 (en) * 2008-07-15 2013-05-28 Lg Electronics Inc. Method and an apparatus for processing an audio signal
US8615398B2 (en) * 2009-01-29 2013-12-24 Qualcomm Incorporated Audio coding selection based on device operating condition
CN101556799B (zh) * 2009-05-14 2013-08-28 华为技术有限公司 一种音频解码方法和音频解码器
KR101756838B1 (ko) 2010-10-13 2017-07-11 삼성전자주식회사 다채널 오디오 신호를 다운 믹스하는 방법 및 장치
US8804971B1 (en) * 2013-04-30 2014-08-12 Dolby International Ab Hybrid encoding of higher frequency and downmixed low frequency content of multichannel audio
AU2017357453B2 (en) 2016-11-08 2021-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding or decoding a multichannel signal using a side gain and a residual gain
US10891960B2 (en) * 2017-09-11 2021-01-12 Qualcomm Incorproated Temporal offset estimation
IL307898A (en) 2018-07-02 2023-12-01 Dolby Laboratories Licensing Corp Methods and devices for encoding and/or decoding embedded audio signals

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5781237A (en) * 1994-03-25 1998-07-14 Matsushita Electric Industrial Co., Ltd. Video coding apparatus and video coding method
JP3149673B2 (ja) * 1994-03-25 2001-03-26 松下電器産業株式会社 映像符号化装置、映像符号化方法、映像再生装置及び光ディスク
JP2000295698A (ja) * 1999-04-08 2000-10-20 Matsushita Electric Ind Co Ltd バーチャルサラウンド装置
JP2001100792A (ja) * 1999-09-28 2001-04-13 Sanyo Electric Co Ltd 符号化方法、符号化装置およびそれを備える通信システム
JP3913664B2 (ja) * 2001-11-14 2007-05-09 松下電器産業株式会社 符号化装置、復号化装置およびこれらを用いたシステム
EP1374230B1 (en) 2001-11-14 2006-06-21 Matsushita Electric Industrial Co., Ltd. Audio coding and decoding

Also Published As

Publication number Publication date
US20070162278A1 (en) 2007-07-12
WO2005081229A1 (ja) 2005-09-01
US7613306B2 (en) 2009-11-03
CN1906664A (zh) 2007-01-31

Similar Documents

Publication Publication Date Title
JPWO2005081229A1 (ja) オーディオエンコーダ及びオーディオデコーダ
KR101086347B1 (ko) 부가정보 비트스트림 변환을 포함하는 다양한 채널로구성된 다객체 오디오 신호의 부호화 및 복호화 장치 및방법
CA2603027C (en) Device and method for generating a data stream and for generating a multi-channel representation
JP4601669B2 (ja) マルチチャネル信号またはパラメータデータセットを生成する装置および方法
JP4685925B2 (ja) 適応残差オーディオ符号化
KR101158698B1 (ko) 복수-채널 인코더, 입력 신호를 인코딩하는 방법, 저장 매체, 및 인코딩된 출력 데이터를 디코딩하도록 작동하는 디코더
JP2010515099A5 (ja)
JP2007526687A (ja) 可変ブロック長信号の復号化スキーム
KR20100089772A (ko) 오디오 신호의 부호화 및 복호화 방법 및 그 장치
CA3146169A1 (en) Encoding and decoding ivas bitstreams
JP4359499B2 (ja) オーディオ信号の編集
JP3761639B2 (ja) オーディオ復号装置
KR20080071971A (ko) 미디어 신호 처리 방법 및 장치
JP4213708B2 (ja) オーディオ復号装置
RU2383941C2 (ru) Способ и устройство для кодирования и декодирования аудиосигналов