JP2011507050A - オーディオ信号処理方法及び装置 - Google Patents

Abstract

オーディオ信号を処理する方法を開示する。本発明は、第１帯域及び第２帯域からなる周波数帯域において前記第１帯域に対応するスペクトルデータを受信し、前記第１の帯域の部分帯域に対応するコピーバンドの周波数情報に基づいて前記コピーバンドを決定し、前記コピーバンドのスペクトルデータを用いて、前記第２帯域に対応するターゲットバンドのスペクトルデータを生成することを有し、前記コピーバンドは前記第１帯域の上部に存在する。
【選択図】図２

Description

本発明は、信号を処理する装置及びその方法に関するものである。本発明は、広い範囲のアプリケーションに適応するが、特に、信号のスペクトルデータを用いてオーディオ信号をエンコーディング及びデコーディングすることに適する。

一般に、信号特性を用いたオーディオ信号の処理において、互いに異なる帯域の信号間の特性に基づいてオーディオ信号は処理される。

従来技術は、互いに異なる帯域の信号間の特性に基づいてオーディオ信号を効果的に処理するには不十分である。

本発明は、信号を処理する装置、及びその方法に向いており、関連する技術の制限や不利点による１以上の問題を実質的に取り除く。

本発明の目的は、互いに異なる帯域の信号間の特性に基づいてオーディオ信号を処理することができる信号処理装置、及びその方法を提供することにある。

本発明の他の目的は、特定帯域の複数スペクトルデータから適切なスペクトルデータを選択する方法で、異なる帯域におけるスペクトルデータを取得することができる信号処理装置、及びその方法を提供することにある。

本発明の更なる目的は、音声信号及びオーディオ信号などの互いに異なる特性を有する信号をその対応する特性に適した方式により処理するにもかかわらず、ビットレートを最小化することができる信号処理装置、及びその方法を提供することにある。

本発明の更なる特性と利点は、以下の記載で説明され、当該記載から一部が明らかとなり、又は本発明の実施により知ることができる。本発明の目的とその他の利点は、明細書、特許請求の範囲、図面で特に示される構成により、実現され、及び達成される。

実例化され、広範に記載されるように、これらの、及びその他の利点を達成するために、並びに本発明の目的に従い、本発明に係る信号処理装置は、コピーバンド決定部、帯域拡張情報受信部及びターゲットバンド生成部を有する。前記ターゲットバンド生成部は、時間拡張／圧縮部及びデシメーション部を含み、フィルタリング部をさらに含むことができる。

前記コピーバンド決定部は、低周波帯域及び高周波帯域からなる周波数帯域において、前記低周波帯域に対応するスペクトルデータを受信し、前記低周波帯域の部分帯域に対応するコピーバンドの周波数情報に基づいて前記コピーバンドを決定する。

帯域拡張情報取得部は、前記コピーバンドからターゲットバンドを生成するための付加情報を取得し、前記付加情報はビットストリームから取得することができる。前記付加情報は、ゲイン情報、ハーモニック（harmonic）情報などを含むことができる。

前記ターゲット情報生成部は、前記コピーバンドのスペクトルデータを用いて、前記高周波領域に対応するターゲットバンドのスペクトルデータを生成する。ここで、前記コピーバンドは、前記低周波帯域の上部に存在することができる。低周波帯域に存在するコピーバンドを用いて高周波帯域を生成することもでき、その逆に、高周波帯域に存在するコピーバンドを用いて低周波帯域を生成することもできる。

前記ターゲットバンド生成部は、時間拡張／圧縮部及びデシメーション部を含み、フィルタリング部をさらに含むことができる。すなわち、前記コピーバンドは、ビットストリームから取得することもでき、受信されたスペクトルデータをフィルタリングして取得することもできる。

ここで、前記コピーバンドの周波数情報は、開始周波数、開始バンド及びこれを示すインデックス情報のうち一つであって、前記ターゲットバンドのスペクトルデータは、前記コピーバンドのスペクトルデータと前記ターゲットバンドのスペクトルデータとの間のゲインに該当するゲイン情報及び前記コピーバンドのハーモニック情報のうち一つ以上を用いて生成される。前記低周波帯域のスペクトルデータは、オーディオ信号及び音声信号のうち一つによってデコーディングされる。

本発明は、既存のＡＡＣ、ＡＣ３、ＡＭＲなどのコアコーディング又は今後のコアコーディングに適用される。以下では、ダウンミックス信号に適用される場合を基準にして説明するが、これに限定されることはない。

当然のことであるが、前記の一般的な記載、及び以下の詳細な記載の両方は、典型的なもの、説明的なものであり、請求項に記載される本発明の更なる説明を提供することを目的とする。

本発明は、次のような効果と利点を提供する。

第一に、音声信号の特性を有する信号は音声信号としてデコーディングし、オーディオ信号の特性を有する信号はオーディオ信号としてデコーディングするので、各信号の特性に符合するデコーディング方式を適応的に選択することができる。

第二に、伝送されたスペクトルデータのうち最も適切なスペクトルデータを選択することによって、他の帯域のスペクトルデータを取得するので、オーディオ信号の復元率を高めることができる。

第三に、エンコーダから伝送された開始バンド情報を用いてスペクトルデータを選択するので、スペクトルデータの選択において正確度を高めることができ、演算に必要な複雑度を減少させることができる。

第四に、一部の帯域に該当するスペクトルデータの伝送を省略できるので、スペクトルデータの伝送に要されるビットを著しく節減することができる。

本発明の更なる理解を提供するために添付され、組み込まれ、及び本明細書の一部を構成する図面は、本発明の実施例を説明し、記述と共に、本発明の原理を説明する。

本発明の実施例に係るオーディオ信号エンコーディング装置の構成図である。 図１の部分帯域エンコーディング部の細部構成図である。 本発明に係るコピーバンド、ターゲットバンド及び開始バンドの関係を示した図である。 本発明の部分帯域拡張の多様な実施例を示した図である。 本発明の実施例に係るオーディオ信号デコーディング装置の構成図である。 図５の部分帯域デコーディング部の細部構成図である。 ターゲットバンドのスペクトルデータの数がコピーバンドのスペクトルデータの数より大きい場合を説明するための図である。 ターゲットバンドのスペクトルデータの個数がコピーバンドのスペクトルデータの個数より小さい場合を説明するための図である。

本発明の好適な実施例が詳細に説明され、これらの例は図面により説明される。

本発明に使用される下記の用語は、次のような基準で解釈され、記載されていない用語も下記の趣旨によって解釈される。「コーディング（coding）」は、場合によってエンコーディング又はデコーディングに解釈され、「情報（information）」は、値、パラメータ、係数、成分などを総称する用語で、場合によって異なる意味に解釈されることもあるが、本発明がこれに限定されることはない。

図１は、本発明の実施例に係るオーディオ信号エンコーディング装置の構成を示す図で、図２は、図１の部分帯域エンコーディング部の細部構成を示す図である。

図１を参照すれば、オーディオ信号エンコーディング装置は、マルチチャネルエンコーディング部１１０、部分帯域エンコーディング部１２０、オーディオ信号エンコーディング部１３０、音声信号エンコーディング部１４０及びマルチプレクサ１５０を含む。

マルチチャネルエンコーディング部１１０は、複数のチャネル信号（以下、マルチチャネル信号）を受け、ダウンミックスを行うことによってダウンミックス信号を生成し、ダウンミックス信号をマルチチャネル信号にアップミックスするために必要な空間情報を生成する。ここで、空間情報は、チャネルレベル差情報、チャネル間相関情報、チャネル予測係数及びダウンミックスゲイン情報などを含むことができる。

一方、ここでのダウンミックス信号は、時間ドメイン（例えば、残余（residual）データ）の信号であるか、周波数変換が行われた周波数ドメイン（例えば、スケールファクタ係数、スペクトルデータ）の情報である。

部分帯域エンコーディング部１２０は、広帯域信号から狭帯域信号及び帯域拡張情報を生成する。

複数の帯域からなる元の信号を広帯域信号といい、複数の帯域のうち少なくとも一つの帯域を狭帯域信号という。例えば、２個の帯域である低周波帯域及び高周波帯域からなる広帯域信号において、前記低周波帯域又は高周波帯域を狭帯域信号という。部分帯域は、前記狭帯域信号全体の一部を示し、以下ではコピーバンドと称する。

帯域拡張情報は、前記コピーバンドを用いてターゲットバンドを生成するための情報であって、周波数情報、ゲイン情報、ハーモニック成分情報などを含むことができる。デコーダにおいて、前記広帯域信号は、狭帯域信号に前記ターゲットバンドを結合することによって生成される。

ダウンミックス信号（狭帯域ダウンミックス信号（ＤＭＸ_ｎ））の特定フレーム又は特定セグメントが大きいオーディオ特性を有する場合、オーディオ信号エンコーディング部１３０は、オーディオコーディング方式にしたがってダウンミックス信号をエンコーディングする。ここで、オーディオ信号は、ＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）標準又はＨＥ―ＡＡＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）標準に従うものであるが、本発明がこれに限定されることはない。一方、オーディオ信号エンコーディング部は、ＭＤＣＴ（Ｍｏｄｉｆｉｅｄ Ｄｉｓｃｒｅｔｅ Ｔｒａｎｓｆｏｒｍ）エンコーダに該当する。

ダウンミックス信号（狭帯域ダウンミックス信号（ＤＭＸ_ｎ））の特定フレーム又は特定セグメントが大きい音声特性を有する場合、音声信号エンコーディング部１４０は、音声コーディング方式にしたがってダウンミックス信号をエンコーディングする。ここで、音声信号は、Ｇ．７ＸＸ系列又はＡＭＲ―系列を含むことができ、これに限定されることはない。一方、音声信号エンコーディング部１４０は、線形予測符号化（ＬＰＣ：Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｏｎ Ｃｏｄｉｎｇ）方式をさらに用いることができる。ハーモニック信号が時間軸上で高い重複性を有する場合、過去の信号から現在の信号を予測する線形予測によってモデリングされるが、この場合、線形予測符号化方式を採択することによって符号化効率を高めることができる。一方、音声信号エンコーディング部１４０はタイムドメインエンコーダに該当する。

このように、部分帯域エンコーディング部１２０を通した狭帯域ダウンミックスは、フレーム別又はセグメント別にオーディオ信号エンコーディング部１３０又は音声信号エンコーディング部１４０のうち一つによってエンコーディングされる。

マルチプレクサ１５０は、マルチチャネルエンコーディング部１１０によって生成された空間情報、部分帯域エンコーディング部１２０によって生成された帯域拡張情報、エンコーディングされた狭帯域ダウンミックス信号をマルチプレクシングすることによってビットストリームを生成する。

以下、図２を参照して部分帯域エンコーディング部１２０の細部構成について説明する。

図２を参照すれば、部分帯域エンコーディング部１２０は、スペクトルデータ取得部１２２、コピーバンド決定部１２４、ゲイン情報取得部１２６、ハーモニック成分情報取得部１２８及び帯域拡張情報伝送部１２９を含む。

スペクトルデータ取得部１２２は、受信された広帯域信号がスペクトルデータでない場合、ダウンミックスをスペクトル係数に変換し、スペクトル係数をスケールファクタでスケーリングした後、量子化を行うことによってスペクトルデータを生成する。ここでのスペクトルデータは、広帯域ダウンミックスに対応する広帯域のスペクトルデータである。

コピーバンド決定部１２４は、広帯域のスペクトルデータに基づいてコピーバンド及びターゲットバンドを決定し、帯域拡張のための周波数情報を生成し、前記周波数情報は、開始周波数又は開始バンド情報などを含むことができる。以下、図３及び図４を参照しながらコピーバンドなどについて説明する。

図３は、本発明の第１の実施例に係るコピーバンド、ターゲットバンド及び開始バンドの関係を示した図で、図４は、本発明の第２の実施例〜第４の実施例に係るコピーバンド、ターゲットバンド及び開始バンドの関係を示した図である。

まず、図３を参照すれば、０からｎ−1まで合計ｎ個のスケールファクタバンド（ｓｆｂ）が存在し、各スケールファクタバンド（ｓｆｂ_０、…、ｓｆｂ_ｎ−１）に対応するスペクトルデータが存在する。特定バンドに属するスペクトルデータ（ｓｄ_ｉ）は多数のスペクトルデータの集合（ｓｄ_ｉ＿０からｓｄ_{ｉ＿ｍ−１}）を意味することができるが、スペクトルデータの個数（ｍ_ｉ）は、スペクトルデータ単位、バンド単位又はそれ以上の単位に対応して生成することができる。一方、０番目のスケールファクタバンド（ｓｆｂ_０）が低周波帯域で、ｎ−１番目のスケールファクタバンド（ｓｆｂ_ｎ−１）が上部、すなわち、高周波帯域に該当することを例に挙げているが、その逆の場合も可能である。

広帯域信号に該当するスペクトルデータは、第１帯域及び第２帯域を含む帯域全体（ｓｆｂ_０、…、ｓｆｂ_ｎ−１）に該当するスペクトルデータである。また、狭帯域ダウンミックス（ＤＭＸ_ｎ）に該当するスペクトルデータは、第１帯域に該当するスペクトルデータであって、０番目のバンド（ｓｆｂ_０）のスペクトルデータからｉ−１番目のバンド（ｓｆｂ_ｉ−１）のスペクトルデータまでを含む。すなわち、狭帯域スペクトルデータのみがデコーダに伝送され、残りのバンド（ｓｆｂ_ｉからｓｆｂ_ｎ−１）のスペクトルデータは伝送されない。

このようにスペクトルデータが伝送されないバンドをデコーダが生成し、これをターゲットバンド（ｔａｒｇｅｔ ｂａｎｄ）（ｔｂ）という。一方、コピーバンド（ｃｏｐｙ ｂａｎｄ）（ｃｂ）は、デコーダでターゲットバンド（ｔｂ）のスペクトルデータを生成するのに用いられるスペクトルデータのスケールファクタバンドである。コピーバンドは、狭帯域ダウンミックスに対応するバンド（ｓｆｂ_０〜ｓｆｂ_ｉ−１）のうち一部（ｓｆｂ_ｓ〜ｓｆｂ_ｉ−１）である。コピーバンド（ｃｂ）が開始されるバンドは開始バンド（ｓｔａｒｔ ｂａｎｄ）（ｓｂ）で、開始バンドの周波数は開始周波数である。すなわち、コピーバンド（ｃｂ）は、開始バンド（ｓｂ）自体であるか、開始バンド及びそれより高い周波数バンドを含むか、開始バンド及びそれより低い周波数バンドを含むことができる。

本発明によれば、エンコーダで広帯域スペクトルデータを用いて狭帯域スペクトルデータ及び帯域拡張情報を生成し、デコーダでは、狭帯域スペクトルデータのうちコピーバンドのスペクトルデータを用いてターゲットバンドのスペクトルデータを生成する。

図４は、部分帯域拡張の三つの実施例を示している。コピーバンドは、狭帯域全体の部分帯域としてターゲットバンドを生成することができ、ここで、前記コピーバンドは、狭帯域の上部周波数帯域に位置することができる。そして、前記コピーバンドの個数は、少なくとも一つであって、複数である場合、前記コピーバンドは等間隔又は可変間隔で位置することができる。

図４（Ａ）は、コピーバンドの帯域幅及びターゲットバンドの帯域幅が同一である場合の部分バンド拡張方式を示している。すなわち、コピーバンド（ｃｂ）は、開始バンド（ｓｂ）に該当するｓ番目のバンド（ｓｆｂ_ｓ）、ｎ−４番目のバンド（ｓｆｂ_ｎ−４）及びｎ−２番目のバンド（ｓｆｂ_ｎ−２）である。エンコーダでは、コピーバンドのスペクトルデータを用いてコピーバンドの右側にあるターゲットバンドのスペクトルデータの伝送を省略することができる。一方、コピーバンドのスペクトルデータとターゲットバンドのスペクトルデータとの間の差であるゲイン情報（ｇ）が生成されるが、これについては後ほど説明する。

図４（Ｂ）は、コピーバンド及びターゲットバンドの帯域幅が異なる場合を示している。ターゲットバンドの帯域幅は、コピーバンドの帯域幅の二つ以上（ｔｂ、ｔｂ’）であって、前記コピーバンドの帯域幅に該当するターゲットバンドの帯域幅のスペクトルデータに互いに異なるゲイン（ｇ_ｓ、ｇ_ｓ＋１）を適用して生成することができる。

図４（Ｃ）を参照すれば、コピーバンドのスペクトルデータを用いてターゲットバンドのスペクトルデータを生成した後、第２開始バンド（ｓｆｂ_ｋ）以前のバンド（ｓｆｂ_ｋ０〜ｓｆｂ_ｋ−１）に該当するスペクトルデータを用いて、第２ターゲットバンド（ｓｆｂ_ｋ、…、ｓｆｂ_ｎ−１）のスペクトルデータを生成することができる。このとき、開始バンドの周波数はサンプリング周波数（ｆ_ｓ）の１／８に該当し、第２開始バンドはサンプリング周波数（ｆ_ｓ）の１／８に該当するが、本発明がこれに限定されることはない。

以上、本発明の多様な実施例に係るターゲットバンド、コピーバンド及び開始バンドの関係を説明したが、再び図２を参照しながら、残りの構成要素について説明する。

コピーバンド決定部１２４は、上述したように、コピーバンド、ターゲットバンド及びコピーバンドの開始バンド（ｓｂ）を決定する。開始バンドは、フレーム別に可変的に決定することができる。この開始バンドは、フレーム毎の信号の特性によって決定されるが、信号が過渡（transient）、又は定常（stationary）であるかによって決定することができる。例えば、信号が過渡である場合、信号が定常である場合よりもハーモニック成分が少ないので、開始バンドが低い周波数として決定される。

一方、開始バンドは、スペクトルセントロイドを用いた音の明るさの数値として決定することもできる。例えば、音が比較的明るい場合（高音が多い場合）は開始バンドを高周波帯域で形成し、音が比較的暗い場合（低音が多い場合）は開始バンドを低周波帯域で形成することができる。フレーム毎に可変的に開始バンドは決定されるが、音質とビットレート間のトレードオフを考慮して開始バンドを決定することが望ましい。

コピーバンド決定部１２４は、ターゲットバンドのスペクトルデータが除かれた狭帯域のスペクトルデータ又は狭帯域ダウンミックス（ＤＭＸ_ｎ）を出力する。この狭帯域ダウンミックスは、図１を参照して説明したオーディオ信号エンコーディング部又は音声信号エンコーディング部に入力される。

また、コピーバンド決定部１２４は、開始バンド情報を生成し、開始バンド情報は、コピーバンド（ｃｂ）が開始される開始周波数についての開始周波数情報、又はコピーバンド（ｃｂ）の開始バンド情報を示す。開始バンド情報は、実際の値のみでなく、インデックス情報としても表示される。前記開始バンド情報がインデックス情報として表示された場合、前記インデックスに該当する開始バンド情報は、テーブルに格納され、デコーダで用いることができる。開始バンド情報は、帯域拡張情報伝送部１２９に伝達され、帯域拡張情報として加えられる。

ゲイン情報取得部１２６は、ターゲットバンドのスペクトルデータ及びコピーバンドのスペクトルデータを用いてゲイン情報を生成する。ここで、ゲイン情報は、次の等式のようにコピーバンドのエネルギーとターゲットバンドのエネルギーの比として定義される。

ここで、ｇ_ｉはゲインで、ｉは現在のターゲットバンドである。

このゲイン情報は、上記のようにターゲットバンド別に決定される。ゲイン情報は、帯域拡張情報伝送部１２９に伝達され、これも帯域拡張情報として含まれる。

ハーモニック成分情報取得部１２８は、コピーバンドのハーモニック成分を分析し、ハーモニック成分情報を生成する。このハーモニック成分情報も、帯域拡張情報伝送部１２９に伝達され、同様に、帯域拡張情報として加えられる。

帯域拡張情報伝送部１２９は、開始バンド情報、ゲイン情報、ハーモニック成分情報を有する帯域拡張情報を出力し、この帯域拡張情報は、図１を参照に説明したマルチプレクサに入力される。

上記のような方法で狭帯域ダウンミックス及び帯域拡張情報が生成されるが、以下では、デコーダで帯域拡張情報及び狭帯域ダウンミックスを用いて広帯域ダウンミックスを生成する過程について説明する。

図５は、本発明の実施例に係るオーディオ信号デコーディング装置の構成を示す図で、図６は、図５の帯域拡張デコーディング部の細部構成を示す図である。

まず、図５を参照すれば、本発明の実施例に係るオーディオ信号デコーディング装置２００は、デマルチプレクサ２１０、オーディオ信号デコーディング部２２０、音声信号デコーディング部２３０、部分帯域デコーディング部２４０及びマルチチャネルデコーディング部２５０を含む。

デマルチプレクサ２１０は、ビットストリームから狭帯域ダウンミックス（ＤＭＸ_ｎ）、帯域拡張情報及び空間情報を抽出する。オーディオ信号デコーディング部２２０は、狭帯域ダウンミックス信号が大きいオーディオ特性を有する場合、オーディオコーディング方式で狭帯域ダウンミックス信号をデコーディングする。ここで、オーディオ信号は、上述したように、ＡＡＣ標準、ＨＥ―ＡＡＣ標準に従うことができる。音声信号デコーディング部２３０は、狭帯域ダウンミックス信号が大きい音声特性を有する場合、音声コーディング方式で狭帯域ダウンミックス信号をデコーディングする。

部分帯域デコーディング部２４０は、狭帯域ダウンミックスに帯域拡張情報を適用して広帯域信号を生成する。これについては、図６を参照して具体的に説明する。

マルチチャネルデコーディング部２５０は、広帯域ダウンミックス及び空間情報を用いて出力信号を生成する。

図６を参照すれば、部分帯域デコーディング部２４０は、帯域拡張情報受信部２４２、コピーバンド決定部２４４及びターゲットバンド情報生成部２４６を含み、信号復元部２４８をさらに含むことができる。

帯域拡張情報受信部２４２は、帯域拡張情報から開始バンド情報、ゲイン情報、ハーモニック成分情報を抽出し、これらをコピーバンド決定部２２４及びターゲットバンド情報生成部２４６に伝達する。

コピーバンド決定部２４４は、狭帯域ダウンミックス（ＤＭＸ_ｎ）及び開始バンド情報を用いてコピーバンドを決定する。ここで、狭帯域ダウンミックス（ＤＭＸ_ｎ）が狭帯域のスペクトルデータでない場合、スペクトルデータに変形する。更に、前記コピーバンドは、開始バンドと同一又は異なるものとできる。前記コピーバンドが開始バンドと異なる場合、開始バンド情報に該当するバンドからスペクトルデータを有するバンドまでがコピーバンドとして決定される。そして、決定されたコピーバンドに該当するスペクトルデータをターゲットバンド情報生成部２４６に伝達する。

ターゲットバンド情報生成部２４６は、コピーバンドのスペクトルデータ及びゲイン情報などを用いてターゲットバンドのスペクトルデータを生成する。以下の等式により、ターゲットバンドのデータを生成することができる。

ここで、ｇ_ｉは現在バンドのゲインで、ｓｄ（ｔａｇｅｔ＿ｂａｎｄ）はターゲットバンドのスペクトルデータで、ｓｄ（ｃｏｐｙ＿ｂａｎｄ）はコピーバンドのスペクトルデータである。

図４（Ａ）に表示された前記実施例の場合、ターゲットバンドの左側コピーバンドのスペクトルデータにゲイン（ｇ_ｓ、ｇ_ｎ−４、ｇ_ｎ−２など）を適用することができる。図４の（Ｂ）の場合、最初のターゲットバンド（ｔｂ）に対しては、コピーバンドのスペクトルデータにゲイン（ｇ_ｓ、ｇ_ｎ−３）を適用し、２番目のターゲットバンド（ｔｂ’）に対しては、コピーバンドのスペクトルデータに他のゲイン（ｇ_ｓ ^＊ｇ_ｓ＋１、ｇ_ｎ−３ ^＊ｇ_ｎ−２）を適用することができる。図４の（Ｃ）の場合も、狭帯域のうち一部の領域であるコピーバンドのスペクトルデータ（ｓｄ_ｓ）にゲイン（ｇ_ｓ）を適用した後、狭帯域全体に対して他のゲイン（ｇ_２ｎｄ）を適用して２次ターゲットバンド（ｔｂ）のスペクトルデータを生成する。

一方、ターゲットバンドのスペクトルデータの個数（Ｎ_ｔ）及びコピーバンドのスペクトルデータの個数（Ｎ_ｃ）が異なる場合について説明する。図７は、ターゲットバンドのスペクトルデータの個数（Ｎ_ｔ）がコピーバンドのスペクトルデータの個数（Ｎ_ｃ）より大きい場合を説明するための図で、図８は、ターゲットバンドのスペクトルデータの個数（Ｎ_ｔ）がコピーバンドのスペクトルデータの個数（Ｎ_ｃ）より小さい場合を説明するための図である。

まず、図７の（Ａ）を説明すれば、ターゲットバンド（ｓｆｂ_ｉ）のスペクトルデータの個数（Ｎ_ｔ）が３６で、コピーバンド（ｓｆｂ_ｓ）のスペクトルデータの個数（Ｎ_ｃ）が２４であることが分かる。データの個数が大きいほど、バンドの水平長さは長く表示されている。ターゲットバンドのデータの個数がより大きいので、コピーバンドのデータを２回以上用いることができる。例えば、図７の（Ｂ１）に示すように、まず、コピーバンドの２４個のデータをターゲットバンドの低周波から充填し、図７の（Ｂ２）に示すように、コピーバンドの前部分１２個又は後部分１２個をターゲットバンドの残り部分に充填することができる。もちろん、ここでも、伝送されたゲイン情報を適用することができる。

一方、図８の（Ａ）を参照すれば、ターゲットバンド（ｓｆｂ_ｉ）のスペクトルデータの個数（Ｎ_ｔ）が２４で、コピーバンド（ｓｆｂ_ｓ）のスペクトルデータの個数（Ｎ_ｃ）が３６であることが分かる。ターゲットバンドのデータの個数がより小さいので、コピーバンドのデータのうち一部のみを用いることができる。例えば、図８の（Ｂ）に表示されたように、コピーバンド（ｓｆｂ_ｓ）の前部分のスペクトルデータ２４個のみを用いたり、図８の（Ｃ）に表示されたように、コピーバンド（ｓｆｂ_ｓ）の後部分のスペクトルデータ２４個のみを用いることによって、ターゲットバンド（ｓｆｂ_ｉ）のスペクトルデータを生成することができる。

再び図６を参照すれば、ターゲットバンド情報生成部２４６は、上記した多様な方式でゲインを適用してターゲットバンドのスペクトルデータを生成する。一方、ターゲットバンド情報生成部２４６は、ターゲットバンドのスペクトルデータを生成するにおいて、ハーモニック成分情報をさらに用いることができる。具体的に、エンコーダによって伝送されたハーモニック成分情報を用いて、ターゲットバンドの個数又は広さに対応するサブハーモニック信号をフェーズ合成などの方法で作ることができる。

ターゲットバンド情報生成部２４６は、時間拡張／圧縮段階とデシメーション段階の組み合わせによりスペクトルデータを生成することができる。ここで、時間拡張／圧縮段階は、時間ドメインの信号を時間方向に拡張する段階を含むことができ、前記拡張段階は、フェーズボコーダ方式を用いることができる。一方、デシメーション段階は、時間拡張された信号を再び元の時間に圧縮する段階を含むことができる。ターゲットバンドスペクトルデータに時間拡張／圧縮段階及びデシメーション段階を適用することができる。

信号復元部２４８は、ターゲットバンドスペクトルデータ及び狭帯域信号を用いて広帯域信号を生成する。広帯域信号は、広帯域のスペクトルデータであるか、時間ドメインの信号に該当する。

本発明に係るオーディオ信号処理方法は、コンピュータで実行されるためのプログラムに搭載することができ、コンピュータ読み取り可能な記録媒体に格納できる。また、本発明に係るデータ構造を有するマルチメディアデータも、コンピュータ読み取り可能な記録媒体に格納できる。前記コンピュータ読み取り可能な記録媒体は、コンピュータシステムによって読まれるデータが格納されるあらゆる種類の格納装置を含む。コンピュータ読み取り可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ―ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ格納装置などがあり、キャリアウェーブ（例えば、インターネットを介した伝送）の形態で具現されることも含む。また、前記エンコーディング方法によって生成されたビットストリームは、コンピュータ読み取り可能な記録媒体に格納され、又は有無線通信網を用いて伝送できる。

本発明は、オーディオ／ビデオ信号をエンコーディング／デコーディングに適用される。

以上のように、本発明は、限定された実施例と図面によって説明されたが、本発明がこれによって限定されることはなく、本発明の属する技術分野で通常の知識を有する者によって本発明の技術思想と下記に記載する特許請求の範囲の均等範囲内で多様な修正及び変形が可能であることは当然である。

Claims (15)

1. 第１帯域及び第２帯域を含む周波数帯域の該第１帯域に対応するスペクトルデータを受信するステップ、
   前記第１帯域の部分帯域に対応するコピーバンドの周波数情報に基づいて該コピーバンドを決定するステップ、
   前記コピーバンドのスペクトルデータを用いて、前記第２帯域に対応するターゲットバンドのスペクトルデータを生成するステップ、
   を有し、
   前記コピーバンドは、前記第１帯域の上部に存在する、オーディオ信号処理方法。
2. 前記ターゲットバンドの前記スペクトルデータは、時間拡張／圧縮ステップとデシメーションステップの組み合わせにより生成される、請求項１に記載のオーディオ信号処理方法。
3. 前記コピーバンドの前記周波数情報は、開始周波数、開始バンド及び該開始バンドを示すインデックス情報の少なくとも１つを有する、請求項１に記載のオーディオ信号処理方法。
4. 前記ターゲットバンドの前記スペクトルデータは、前記コピーバンドと前記ターゲットバンドのスペクトルデータの間のゲインに該当するゲイン情報及び前記コピーバンドのハーモニック情報の少なくとも１つを用いて生成される、請求項１に記載のオーディオ信号処理方法。
5. 前記第１帯域の前記スペクトルデータは、オーディオコーディング方式及び音声コーディング方式のどちらか一方によりデコーディングされた信号に基づいて生成される、請求項１に記載のオーディオ信号処理方法。
6. 第１帯域及び第２帯域を含む周波数帯域の該第１帯域に対応するスペクトルデータを受信し、前記第１帯域の部分帯域に対応するコピーバンドの周波数情報に基づいて該コピーバンドを決定するコピーバンド決定部と、
   前記コピーバンドのスペクトルデータを用いて、前記第２帯域に対応するターゲットバンドのスペクトルデータを生成するターゲットバンド情報生成部と、
   を有し、
   前記コピーバンドは、前記第１帯域の上部に存在する、オーディオ信号処理装置。
7. 前記ターゲットバンドの前記スペクトルデータは、フィルタリングステップ、時間拡張／圧縮ステップ及びデシメーションステップの組み合わせにより生成される、請求項６に記載のオーディオ信号処理装置。
8. 前記コピーバンドの前記周波数情報は、開始周波数、開始バンド及び該開始バンドを示すインデックス情報の１つを有する、請求項６に記載のオーディオ信号処理装置。
9. 前記ターゲットバンドの前記スペクトルデータは、前記コピーバンドと前記ターゲットバンドのスペクトルデータの間のゲインに該当するゲイン情報及び前記コピーバンドのハーモニック情報の少なくとも１つを用いて生成される、請求項６に記載のオーディオ信号処理装置。
10. 前記第１帯域の前記スペクトルデータは、オーディオコーディング方式及び音声コーディング方式のどちらか一方によりデコーディングされた信号に基づいて生成される、請求項６に記載のオーディオ信号処理装置。
11. 第１帯域及び第２帯域を含む周波数帯域のスペクトルデータを取得するステップ、
    前記周波数帯域の前記スペクトルデータを用いてコピーバンド及びターゲットバンドを決定するステップ、
    前記コピーバンドの周波数を示すコピーバンドの周波数情報を生成するステップ、
    前記周波数帯域の前記スペクトルデータから前記ターゲットバンドのスペクトルデータを除くことにより前記第１帯域のスペクトルデータを生成するステップ、
    を有する、オーディオ信号処理方法。
12. 前記コピーバンドと前記ターゲットバンドのスペクトルデータの間のゲインに該当するゲイン情報を生成するステップをさらに有する、請求項１１に記載のオーディオ信号処理方法。
13. 広帯域のスペクトルデータを取得するスペクトルデータ取得部と、
    前記広帯域の前記スペクトルデータを用いてコピーバンド及びターゲットバンドを決定し、前記コピーバンドの開始周波数情報又は前記コピーバンドの開始バンドインデックス情報に対応する開始バンド情報を出力し、前記広帯域の前記スペクトルデータから前記ターゲットバンドの前記スペクトルデータを除くことにより狭帯域のスペクトルデータを出力するコピーバンド決定部と、
    を有する、オーディオ信号処理装置。
14. 前記コピーバンドと前記ターゲットバンドのスペクトルデータの間のゲインに該当するゲイン情報を生成するゲイン情報取得部をさらに有する、請求項１３に記載のオーディオ信号処理装置。
15. 周波数帯域の第１帯域に対応するスペクトルデータ及び帯域拡張情報を有するデジタルオーディオデータを格納するコンピュータ読み取り可能な記録媒体において、
    前記周波数帯域は、前記第１帯域、及び第２帯域を有し、
    前記第２帯域のターゲットバンドを生成するためのコピーバンドは、前記第１帯域の上部に含まれ、
    前記帯域拡張情報は、前記コピーバンドの周波数情報、ゲイン情報及び前記コピーバンドのハーモニック情報の少なくとも１つを有する、コンピュータ読み取り可能な記録媒体。

Images