JP5232791B2 - ミックス信号処理装置及びその方法 - Google Patents

Description

本発明は、信号処理方法及び装置に関するものであり、より詳細には、オーディオ信号またはビデオ信号などのミックス信号をエンコーディング及びデコーディングできる信号処理方法及び装置に関する。

一般に、ステレオ信号が最も頻繁に生成され、消費者たちに最も広く用いられている。最近ではマルチチャネル信号が益々広く利用されてきている。しかし、かかるミックス信号は、ミックス信号を構成するソース信号単位ではなくチャネル信号単位に処理されるという制約がある。したがって、チャネル信号単位にミックス信号を処理する場合、ミックス信号を構成する特定ソース信号のみを独立して処理できないという問題点がある。例えば、映画を見る際に俳優たちの音声に対するボリュームは一定に維持しながら、バックグラウンドミュージックのボリュームのみを上げることは不可能である。

一方、ステレオチャネルの場合、あるソースの信号に残響（reverberation）のような効果を追加すると、１つのソースの信号に各チャネル（左側チャネル、右側チャネル）別に属性が追加される。言い換えると、残響効果が追加された特定ソースの左側信号、及び残響効果が追加された特定ソースの右側信号は、１つのソースに該当する信号であるとしても１つのソース信号として取り扱われず、それぞれ独立した２つのソース信号として取り扱われる。ところが、ミックス信号をソース信号別にリミックスする際に、付加情報及び制御情報はソース信号別に処理すべきなので、各ソース信号に対して付加情報（及び制御情報）を全て処理しなければならないという問題点がある。

また、従来はミックス信号及び付加情報を多重化して伝送するから、ミックス信号と付加情報を独立して抽出できないという問題点があった。

また、ミックス信号と付加情報のドメインが異なる場合に、ドメインを一致させる方法がないため、問題点があった。

また、付加情報をそのまま伝送する場合、情報量が増えるという問題点があった。

本発明は、上記のような問題点を解決するために案出されたもので、その目的は、ミックス信号をソース信号別にリミックスする際に、関連あるソース信号を１つのソース信号にグルーピングすることによってユーザが容易に制御できるようにするミックス信号の信号処理方法及び装置を提供することにある。

上記のような問題点を解決するために、本発明は、ユーザがミックス信号及び付加情報を独立して伝送する信号処理方法及び装置を提供することに目的がある。

また、本発明は、ミックス信号または付加情報を独立して抽出してリミックス信号を生成する信号処理方法及び装置を提供することに目的がある。

また、本発明は、付加情報を新しいミックス信号に合わせて変形する信号処理方法及び装置を提供することに目的がある。

また、本発明は、ミックス信号及び付加情報を同一のドメインに変換する信号処理方法及び装置を提供することに目的がある。

また、本発明は、同一のドメインを持つミックス信号及び付加情報を用いてリミックス信号を生成する信号処理方法及び装置を提供することに目的がある。

また、本発明は、ミックス信号及び付加情報のドメインが異なる場合、ミックス信号のドメインと付加情報のドメインとを一致させてリミックス信号を生成する信号処理方法及び装置を提供することに目的がある。

また、本発明は、付加情報を少ない情報量を有するように変形するエンコーディング方法及び装置を提供することに目的がある。

また、本発明は、変形された付加情報を用いてミックス信号をソース信号単位に制御できるミックス信号デコーディング方法及び装置を提供することに目的がある。

上記目的を達成するために、本発明は、ミックス信号及びソース信号のうち１つ以上を受信する段階と、前記ミックス信号及び前記ソース信号のうち１つ以上を用いて、統合ソース信号に対応する統合付加情報を生成する段階と、を含み、前記統合ソース信号は、１つ以上のソース信号をグルーピングすることによって生成されることを特徴とする信号処理方法を提供する。

また、上記目的を達成するために、本発明は、ミックス信号及びソース信号のうち１つ以上を受信する受信部と、前記ミックス信号及び前記ソース信号のうち１つ以上を用いて、統合ソース信号に対応する統合付加情報を生成する統合付加情報生成部と、を含み、前記統合ソース信号は、１つ以上のソース信号をグルーピングすることによって生成されることを特徴とする信号処理装置を提供する。

また、上記目的を達成するために、本発明は、ミックス信号及びソース信号のうち１つ以上を受信する段階と、前記ミックス信号の付加情報、または前記ソース信号の付加情報を受信する段階と、前記受信した付加情報を用いて統合ソース信号に対応する統合付加情報を生成する段階と、を含み、前記統合ソース信号は、１つ以上のソース信号をグルーピングすることによって生成されることを特徴とする信号処理方法を提供する。

また、上記目的を達成するために、本発明は、ミックス信号及びソース信号のうち１つ以上を受信し、前記ミックス信号の付加情報、または前記ソース信号の付加情報を受信する受信部と、前記受信した付加情報を用いて、統合ソース信号に対応する統合付加情報を生成する統合付加情報生成部と、を含み、前記統合ソース信号は、１つ以上のソース信号をグルーピングすることによって生成されることを特徴とする信号処理装置を提供する。

また、上記目的を達成するために、本発明は、多重化された第１ミックス信号及び付加情報から前記第１ミックス信号または前記付加情報を独立して獲得する段階と、ユーザミックスパラメータを獲得する段階と、前記第１ミックス信号または前記付加情報と前記ユーザミックスパラメータを用いてリミックス信号を生成する段階と、を含み、前記第１ミックス信号は、１つ以上のソース信号を含み、前記付加情報は、リミックスされるソース信号と前記第１ミックス信号との関係を表すことを特徴とする信号処理方法を提供する。

また、上記目的を達成するために、本発明は、１つ以上のソース信号を含むミックス信号を獲得する段階と、前記ソース信号のうちリミックスされるソース信号と前記ミックス信号との関係を表す付加情報を獲得する段階と、前記ミックス信号及び前記付加情報を多重化する段階と、を含むことを特徴とする信号処理方法を提供する。

また、上記目的を達成するために、本発明は、ソース信号から第１識別情報を抽出し、付加情報から第２識別情報を獲得する段階と、前記第１識別情報と前記第２識別情報とが一致する場合、前記付加情報及び前記ソース信号を用いてリミックス信号を生成する段階と、を含み、前記付加情報は、リミックスされるソース信号間の関係を表すことを特徴とする信号処理方法を提供する。

また、上記目的を達成するために、本発明は、１つ以上のソース信号を含むミックス信号から第１識別情報を抽出するコアデコーディング部と、付加情報から第２識別情報を抽出する付加情報デコーディング部と、前記第１識別情報と前記第２識別情報との一致の有無を判断して制御信号を発生させる識別情報読取部と、前記制御信号によって前記付加情報、前記ミックス信号及びユーザから獲得された制御情報を用いてリミックス信号を生成するリミックスレンダリング部と、を含むことを特徴とする信号処理装置を提供する。

また、上記目的を達成するために、本発明は、多重化された第１ミックス信号及び付加情報から獲得された前記第１ミックス信号を記憶するミックス信号記憶部と、前記多重化された第１ミックス信号及び付加情報から獲得された前記付加情報を記憶する付加情報記憶部と、前記第１ミックス信号または前記付加情報及びユーザから得られた制御情報を用いてリミックス信号を生成するリミックスレンダリング部と、を含むことを特徴とする信号処理装置を提供する。

また、上記目的を達成するために、本発明は、１つ以上のソース信号を含むミックス信号を獲得する段階と、付加情報を獲得する段階と、ユーザミックスパラメータを獲得する段階と、前記ミックス信号のドメインと前記付加情報のドメインとが同じ場合、前記ミックス信号、前記付加情報及び前記ユーザミックスパラメータを用いてリミックス信号を生成する段階と、を含み、前記付加情報は、前記ソース信号のうちリミックスされるソース信号間の関係、または、リミックスされるソース信号と前記ミックス信号との関係を表すことを特徴とする信号処理方法を提供する。

また、上記目的を達成するために、本発明は、１つ以上のソース信号を含むミックス信号を獲得するミックス信号デコーディング部と、付加情報を獲得する付加情報デコーディング部と、前記ミックス信号のドメインと前記付加情報のドメインとが同じ場合、前記ミックス信号、前記付加情報及びユーザミックスパラメータを用いてリミックス信号を生成するリミックスレンダリング部と、を含み、前記付加情報は、前記ソース信号のうちリミックスされるソース信号間の関係、または、リミックスされるソース信号と前記ミックス信号との関係を表し、前記ユーザミックスパラメータは、ユーザから提供された制御情報を用いて生成されることを特徴とする信号処理装置を提供する。

また、上記目的を達成するために、本発明は、１つ以上のソース信号を含むミックス信号を獲得する段階と、第１付加情報を獲得する段階と、ミックスパラメータを獲得する段階と、前記ミックス信号、前記第１付加情報、及び前記ミックスパラメータを用いてリミックス信号を生成する段階と、を含み、前記第１付加情報は、前記ソース信号のうちリミックスされるソース信号と前記ミックス信号との関係を表す第２付加情報を変形した情報であることを特徴とする信号処理方法を提供する。

また、上記目的を達成するために、本発明は、１つ以上のソース信号を含むミックス信号を獲得する段階と、前記ソース信号のうちリミックスされるソース信号を獲得する段階と、前記ミックス信号及び前記リミックスされるソース信号を用いて第１付加情報を生成する段階と、前記第１付加情報を第２付加情報に変形する段階と、を含み、前記第１付加情報は、前記リミックスされるソース信号と前記ミックス信号との関係を表す情報であることを特徴とする信号処理方法を提供する。

また、上記目的を達成するために、本発明は、第１ミックス信号及び第１付加情報を獲得する段階と、第２ミックス信号を獲得する段階と、前記第１ミックス信号と前記第２ミックス信号とを比較した結果を用いて前記第１付加情報を第２付加情報に変形する段階を含み、前記第１付加情報は、前記第１ミックス信号をリミックスするのに必要な情報であり、前記第２付加情報は、前記第２ミックス信号をリミックスするのに必要な情報であることを特徴とする信号処理方法を提供する。

また、上記目的を達成するために、本発明は、１つ以上のソース信号を含むミックス信号を獲得するミックス信号デコーディング部と、第１付加情報を獲得する付加情報デコーディング部と、前記ミックス信号、前記第１付加情報、及びミックスパラメータを用いてリミックス信号を生成するリミックスレンダリング部と、を含み、前記第１付加情報は、前記ソース信号のうちリミックスされるソース信号と前記ミックス信号との関係を表す第２付加情報を変形した情報であり、前記ミックスパラメータは、ユーザから獲得された制御情報を用いて生成されることを特徴とする信号処理装置を提供する。

また、上記目的を達成するために、本発明は、１つ以上のソース信号を含むミックス信号及びリミックスされるソース信号を用いて第１付加情報を生成する付加情報生成部と、前記第１付加情報を第２付加情報に変形する付加情報変形部と、前記第２付加情報を符号化する付加情報エンコーディング部と、を含み、前記第１付加情報は、前記リミックスされるソース信号と前記ミックス信号との関係を表す情報であることを特徴とする信号処理装置を提供する。

本発明による信号処理方法及び装置によれば、ミックス信号をソース信号別にリミックスする際に、特定効果の加えられたそれぞれのチャネル信号（例:残響効果の加えられた左側チャネル信号、残響効果の加えられた右側チャネル信号）がグルーピングされて１つのソースを構成するため、ユーザは、それぞれのソースを制御することなく、グルーピングされたソース統合ソースのみを制御することが可能になる。

また、本発明による信号処理方法及び装置によれば、ユーザはある分類（例:ドラム）に属する多数の楽器（例：バスドラム、ハイハット、ロータム、スネアドラム、シンバル等の音）を全体的に一度に制御することが可能になる。

また、本発明による信号処理方法及び装置によれば、連関性あるソース信号を１つのソース信号にグルーピングすることによって、ユーザはソース信号をそれぞれ制御することなくグルーピングされたソースを制御すればいいため、ミックス信号のリミキシングをより容易で便利にすることができる。

また、本発明による信号処理方法及び装置によれば、ミックス信号をソース信号別に調節でき、ミックス信号と付加情報を独立して伝送でき、付加情報を新しいミックス信号に合わせて変形することができる。

また、本発明による信号処理方法及び装置によれば、ミックス信号及び付加情報を同じドメインに変換し、同じドメインを持つミックス信号及び付加情報を用いてリミックス信号を生成することができる。

また、本発明による信号処理方法及び装置によれば、ミックス信号のドメインと付加情報のドメインとが異なる場合、付加情報のドメインをミックス信号のドメインに変換し、付加情報及びミックス信号を用いてリミックス信号を生成することによって演算量を減少させることができる。

また、本発明による信号処理方法及び装置によれば、変形された付加情報を用いてミックス信号をソース信号別に調節できる信号処理方法及び装置を提供することができる。

また、本発明による信号処理方法及び装置によれば、付加情報を変形して少ない情報量で付加情報を生成し、これを伝送することによって、データ伝送量を減らすことができる。

本発明の一実施例による第１信号処理装置のブロック図である。 ステレオ信号を用いる場合の図１の第１の信号処理装置を示す詳細ブロック図である。 本発明の一実施例によるメディア信号を処理するためのドメインである。 本発明の一実施例による第２の信号処理装置のブロック図である。 本発明の一実施例による第３の信号処理装置のブロック図である。 ステレオ信号を用いる場合の図５の第３の信号処理装置を示す詳細ブロック図である。 本発明の一実施例による第４の信号処理装置のブロック図である。 通常のエンコーディング装置及び本発明の一実施例による信号処理装置の結合を示すブロック図である。 通常のデコーディング装置及び本発明の一実施例による信号処理装置の結合を示すブロック図である。 本発明の一実施例による第５の信号処理装置のブロック図である。 本発明の一実施例による第６の信号処理装置のブロック図である。 本発明の一実施例による第７の信号処理装置のブロック図である。 本発明の一実施例による信号処理方法のフローチャートである。 本発明の一実施例による第８の信号処理装置のブロック図である。 本発明の一実施例による第９の信号処理装置のブロック図である。 本発明の一実施例による信号処理方法のフローチャートである。 本発明の一実施例による第１０の信号処理装置のブロック図である。 本発明の一実施例による第１１の信号処理装置のブロック図である。 図１８に示す付加情報抽出部の詳細ブロック図である。 本発明の一実施例による付加情報を変形する方法を示すグラフである。 本発明の一実施例による付加情報を変形する方法を示すグラフである。 本発明の一実施例によるミックス信号の変形例を示す図である。 本発明の一実施例による多重化装置及び逆多重化装置示す図である。 本発明の一実施例によるミックス信号及び付加情報が多重化された信号を示す図である。 本発明の一実施例によるミックス信号または付加情報を独立的に抽出してリミックス信号を生成する方法を示すフローチャートである。 本発明の一実施例による第１２の信号処理装置のブロック図である。 本発明の一実施例による第１３の信号処理装置のブロック図である。 本発明の一実施例による信号処理方法を示すフローチャートである。 本発明の一実施例による信号処理方法を示すフローチャートである。 本発明の一実施例による第１４の信号処理装置のブロック図である。 本発明の一実施例による第１５の信号処理装置のブロック図である。 本発明の一実施例による第１６の信号処理装置のブロック図である。 本発明の一実施例による第１７の信号処理装置のブロック図である。 本発明の一実施例による信号処理方法を示すフローチャートである。 本発明の一実施例による信号処理方法を示すフローチャートである。 本発明の一実施例による第１８の信号処理装置のブロック図である。 本発明の一実施例による第１９の信号処理装置のブロック図である。 本発明の一実施例による信号処理方法を示すフローチャートである。 本発明の一実施例による信号処理方法を示すフローチャートである。 本発明の一実施例による第２０の信号処理装置のブロック図である。 本発明の一実施例による第２１の信号処理装置のブロック図である。 本発明の一実施例による第２２の信号処理装置のブロック図である。 本発明の一実施例による第２３の信号処理装置のブロック図である。 本発明の一実施例による第２４の信号処理装置のブロック図である。 本発明の一実施例による信号処理方法を示すフローチャートである。 本発明の一実施例による第２５の信号処理装置のブロック図である。 図４６の第２５の信号処理装置を示す詳細ブロック図である。 本発明の一実施例による第２６の信号処理装置のブロック図である。 本発明の一実施例による付加情報処理部を示すブロック図である。 本発明の一実施例による付加情報を新しく適用するミックス信号に好適に変換するトランスコーダを示す図である。 本発明の一実施例による第２７の信号処理装置のブロック図である。 本発明の一実施例による信号処理方法を示すフローチャートである。 本発明の一実施例による信号処理方法を示すフローチャートである。

以下、添付の図面を参照しつつ、本発明の好適な実施例について詳細に説明する。ただし、本明細書及び請求範囲に用いられた用語や単語は通常的または辞書的な意味に限定して解釈されてはならず、発明者は自身の発明を最善の方法で説明するために用語の概念を適宜定義することができるという原則に立ち、本発明の技術的思想に符合する意味及び概念として解釈されなければならない。したがって、本明細書に記載された実施例と図面に示された構成は、本発明の最も好ましい一実施例に過ぎないもので、本発明の技術的思想を限定するためのものではない。したがって、本出願時点においてこれらに代える様々な均等物と変形例が存在できることは明らかである。

図１は、本発明の一実施例による第１の信号処理装置のブロック図である。この第１の信号処理装置は、付加情報生成部１０３及び付加情報エンコーディング部１０５を含む。

図１を参照すると、付加情報生成部１０３は、通常のミックス信号１０１及び該ミックス信号を構成するソース信号１０２を用いて付加情報１０４を生成する。ミックス信号１０１は、モノ（mono）、ステレオ（stereo）及びマルチチャネルオーディオ信号（multi-channel audio signal）とすることができる。ソース信号１０２は、ミックス信号１０１を構成するソース信号の一部または全部になり得る。付加情報１０４は、ミックス信号をソース信号単位に処理するのに用いられる情報のことを指す。付加情報１０４は、ミックス信号をリミキシングするためのミックスパラメータを含む。このミックスパラメータには、エンコーダでソース信号を用いて生成されたエンコーダミックスパラメータ（Encoder mix parameter）を含み、選択的にミックス信号のみを用いて生成されたブラインドミックスパラメータ（Blind mix parameter）を含むことができる。ミックスパラメータの例には、それぞれのソース信号に対するゲイン値及びサブバンドパワー（subband power）などがある。付加情報１０４に対する具体的な定義及び生成方法は、図２で説明する。本発明は、また、ミックス信号を構成するソース信号１０２のみを用いて付加情報１０４を生成することもできる。付加情報エンコーディング部１０５は、生成された付加情報１０４をエンコーディングし、符号化された付加情報信号１０６を生成する。ミックス信号１０１及び付加情報信号１０６は、デコーディング装置に伝送される。

図２は、ステレオ信号を用いる場合における、図１に示す第１の信号処理装置の詳細ブロック図である。前述したように、本発明で用いられるミックス信号は、モノ、ステレオ及びマルチチャネルオーディオ信号とすることができるが、便宜上、ステレオ信号２０１を基準にして説明する。

本発明の目的は、Ｍ個（０≦Ｍ≦Ｉ）のソース信号がリミックスされるように、該ソース信号を含むステレオ信号を修正することにある。これらソース信号を、互いに異なるゲインファクターを持ちながらステレオ信号にリミックスすることができる。リミックス信号を下の式２のように表現することができる。

ここで、ｃ_i及びｄ_iは、リミックスされるＭ個のソース信号に対する新しいゲインファクターである。ｃ_i及びｄ_iをデコーダ端より提供することができる。この場合、付加情報生成部２０６は、ステレオ信号２０１及びＭ個のソース信号２０２を用いて付加情報２０７を生成することができる。

図２を参照すると、第１信号処理装置に、通常のステレオ信号２０１及びステレオ信号２０１に含まれるＭ個のソース信号２０２が入力される。ステレオ信号２０１は、付加情報と同期化するためにある程度遅延され、出力信号として直接用いることができる。付加情報を生成するために、ステレオ信号２０１及びソース信号２０２は、フィルターバンク２０３を通じて時間−周波数ドメインのサブバンド別信号２０４及び２０５に分解される。すなわち、ステレオ信号２０１及びソース信号は時間−周波数ドメインで処理される。この時間−周波数ドメインについては図３で後述する。サブバンド別信号２０４は、各サブバンドの中心周波数で同様にプロセシングされる。特定の周波数でステレオ信号２０１のサブバンド対２０４はｘ₁（ｋ）及びｘ₂（ｋ）で表示される。ここで、ｋはサブバンド信号の時間インデックス（time index）である。同様に、Ｍ個のソース信号２０２のサブバンド信号２０５は、ｓ₁（ｋ），ｓ₂（ｋ），…，ｓ_M（ｋ）で表示される。明瞭な表現のために、サブバンド（周波数）インデックスを使用しなかった。

ここで、α∈［０，１］は、下の式６のように指数的に減少する推定ウィンド（estimation window）の時定数を決定する。

同様に、ｂ_iは、下の式８のように計算される。

図３は、本発明の一実施例によるメディア信号を処理するためのドメインを示す。前述したように、オーディオ信号及び付加情報は、図３に示すような時間−周波数ドメインのサブバンド別信号として処理される。この時間−周波数ドメインのサブバンド別信号は知覚的に誘導される。例えば、約２０ｍｓの長さを持つサイン波分析窓及び統合窓（sine analysis and synthesis window）を持つＳＴＦＴ（Short Time Fourier transform）を用いてサブバンド別信号を生成できる。この時、ＳＴＦＴ係数は、１つのグループがＥＲＢ（equivalent rectangular bandwidth）の約２倍となる帯域幅を持つようにグループ化されることができる。

図４は、本発明の一実施例による第２の信号処理装置のブロック図である。図４を参照すると、ダウンミキシング部４０２は、複数のソース信号４０１を合算して１つの和信号（sum signal）４０４を生成する。第２信号処理装置は、第１信号処理装置とは違い、ステレオ信号を伝送する代わりに和信号４０４を伝送する。付加情報生成部４０３は、ソース信号４０１を用いて付加情報４０５を生成する。付加情報４０５は、各ソース信号に対応するサブバンドパワー及びゲインファクターを含む。また、付加情報４０５は、リミックスレンダリング部における遅延に対応するパラメータを含むことができる。第１信号処理装置におけると略同様に、付加情報４０５は、より量子化及び符号化に適合した他の値に変換して伝送されることができる。付加情報エンコーディング部４０６は、生成された付加情報４０５を用いて、符号化された付加情報信号４０７を生成する。生成された和信号４０４及び付加情報信号４０７はデコーディング装置に伝送される。本発明はまた、ダウンミキシング部４０２を有しないエンコーディング装置を含む。この場合、ソース信号４０１は、和信号４０４に変換されず、各ソース信号４０１が直接伝送される。

図５は、本発明の一実施例による第３の信号処理装置のブロック図である。この第３の信号処理装置は、付加情報デコーディング部５０３及びリミックスレンダリング部５０５を含む。

図５を参照すると、ミックス信号５０１及び付加情報信号５０２が第３信号処理装置に入力される。ミックス信号５０１は、モノ、ステレオまたはマルチチャネルオーディオ信号とすることができる。付加情報デコーディング部５０３は、付加情報信号５０２をデコーディングして付加情報５０４を生成する。付加情報５０４は、伝送されたオーディオ信号５０１に含まれたソース信号のゲインファクター及びサブバンドパワーなどを含む。リミックスレンダリング部５０５には、ユーザが直接提供する制御情報を用いて生成されたユーザミックスパラメータ（user−mix parameter）５０６が入力されることができる。リミックスレンダリング部５０５は、ミックス信号５０１、伝送された付加情報５０４及びユーザミックスパラメータ５０６を用いてリミックス信号５０７を生成する。リミックス信号を生成する方法についての具体的な説明は、図６で後述する。リミックス信号５０７を、伝送されたミックス信号のチャネル数と同じチャネル数を持つＥｑチャネルミックス信号（Eq−channel mix signal）として生成されたり、または、ミックス信号のチャネル数よりも多いチャネル数を持つアップチャネルミックス信号（Up−channel mix signal）として生成することができる。

図６は、ステレオ信号を用いる場合における、図５の第３の信号処理装置を示す詳細ブロック図である。前述したように、伝送されたミックス信号は、モノ、ステレオ及びマルチチャネルオーディオ信号とすることができるが、便宜上、ステレオ信号６０１とする。

サブバンド別リミックス信号６０９は、下の式１０のように表現されることができる。

リミックス信号６０９を生成するために、最小二乗推定法（least squares estimation）が用いられることができる。サブバンド別ミックス信号６０４ｘ₁（ｋ）及びｘ₂（ｋ）が与えられると、下の式１１のように、互いに異なるゲインを持つサブバンド別リミックス信号６０９をサブバンド別ミックス信号６０４の線形組合せとして推定することができる。

ここで、ｗ₁₁（ｋ）, ｗ₁₂（ｋ）, ｗ₂₁（ｋ）及びｗ₂₂（ｋ）は、重み係数（weighting factor）である。この時、生成される推定エラー（estimation error）は、下の式１２のように定義されることができる。

同様に、ｗ₂₁及びｗ₂₂を、下の式１５のように生成することができる。

万一、ミックス信号６０４の位相が互いに同期したり（coherent）、または、ほとんど同期化するとしたら、下の式１７のように表現される値が１に近づくようになる。

この時、重み係数を、下の式１８のように表現することができる。

このように生成されたサブバンド別リミックス信号６０９は、前述したように、逆フィルターバンク６１０を通じて時間−ドメインのリミックス信号６１１に変換される。リミックス信号６１１は、ユーザが提供した制御情報を用いて生成されたユーザミックスパラメータｃ_i及びｄ_iを用いてそれぞれのソース信号を独立的にリミックスして生成されたリミックス信号と略同様に聞こえる。

以上では２チャネルステレオ信号のリミキシングに焦点を合わせた。しかし、前述したように、本発明は、ステレオ信号に制限されず、マルチチャネルオーディオ信号、例えば５．１チャネルオーディオ信号をリミキシングすることまで拡張可能である。当業者は、本明細書で記述されたステレオ信号と略同様にしてマルチチャネルオーディオ信号をリミキシングすることができる。この場合に、上記の式１１を下の式１９のように書き直すことができる。

選択的に、ミックス信号のチャネルのうちの特定のチャネルはリミックスせずにそのまま残すようにすることができる。例えば、５．１サラウンドチャネルに対して、２つの後方チャネルは修正せずに、前方チャネルにのみリミキシングを適用するようにすることができる。この場合に、２または３チャネルリミキシングアルゴリズムが前方チャネルに適用される。

図７は、本発明の一実施例による第４の信号処理装置のブロック図である。第４の信号処理装置は、付加情報デコーディング部７０３、空間情報統合部７０５及びリミックスレンダリング部７０７を含む。

図７を参照すると、ソース信号の和信号７０１及び付加情報信号７０２が第４の信号処理装置に入力される。付加情報デコーディング部７０３は、付加情報信号７０２をデコーディングして付加情報７０４を生成する。付加情報７０４は、ゲインファクター、遅延定数及びサブバンドパワーなどを含む。付加情報統合部７０５は、付加情報７０４を用いて、和信号７０１を複数のソース信号７０６に分離する。リミックスレンダリング部７０７は、ソース信号７０６を用いてリミックス信号７０９を生成できる。この時、リミックスレンダリング部７０７は、付加情報として伝送されたミックスパラメータを用いてリミックス信号７０９を生成できる。また、リミックスレンダリング部７０７は、選択的に、ユーザが提供する制御情報を用いて生成されたユーザミックスパラメータ７０８を用いてリミックス信号７０９を生成することができる。

図８は、通常のエンコーディング装置と本発明の一実施例による信号処理装置との結合を示すブロック図である。ミックス信号８０１は、通常のエンコーディング装置８０３により符号化され、符号化されたミックス信号８０５に変換される。ミックス信号８０１は、チャネル別信号またはソース信号になることができる。通常のエンコーディング装置８０３は、ＡＡＣ、ＭＰ３エンコーダなどのような従来のエンコーディング装置だけでなく、今後開発されるエンコーディング装置を含む。本発明によるリミックス信号エンコーディング装置８０４は、ミックス信号８０１及びミックス信号に含まれるソース信号８０２を用いて付加情報信号８０６を生成する。多重化部８０７は、符号化されたミックス信号８０５及び付加情報信号８０６を用いてビットストリーム８０８を生成する。前述したように、付加情報信号８０６は従来装置と互換性を持つように、従来のミックス信号フォーマット内の補助データ領域に挿入されることができる。

図９は、通常のデコーディング装置と本発明の一実施例による信号処理装置との結合を示すブロック図である。逆多重化部９０２は、伝送されたビットストリーム９０１から符号化されたミックス信号９０３及び付加情報信号９０４を分離する。その後、通常のデコーディング装置９０５は、符号化されたミックス信号９０３をデコーディングし、本発明によるリミックス信号デコーディング装置９０７で用いられうるようなミックス信号９０６を生成する。通常のデコーディング装置９０５は、ＡＡＣ、ＭＰ３デコーダなどのような従来のデコーディング装置だけでなく、今後開発されるデコーディング装置を含む。ミックス信号９０６は、チャネル別信号またはソース信号になることができる。本発明によるリミックス信号デコーディング装置９０７は、付加情報信号９０４及びユーザミックスパラメータ９０８のうち少なくとも１つを用いてミックス信号９０６をリミックス信号９０９に変換できる。

図１０は、本発明の一実施例による第５の信号処理装置のブロック図である。図１０を参照すると、第５の信号処理装置は、ミックス信号デコーディング部１００１、パラメータ生成部１００２、及びリミックスレンダリング部１００８を含む。選択的に、エフェクタ（Effecter）１０１１を含むことができる。パラメータ生成部１００２は、ブラインドミックスパラメータ生成部１００３、ユーザミックスパラメータ生成部１００４、及びリミックスパラメータ生成部１００５を含むことができる。リミックスパラメータ生成部１００５は、Ｅｑミックスパラメータ生成部１００６を含み、選択的にアップミックスパラメータ生成部１００７を含むことができる。また、リミックスレンダリング部１００８は、Ｅｑミックスレンダリング部１００９を含み、選択的にアップミックスレンダリング部１０１０を含むことができる。

ミックス信号デコーディング部１００１は、エンコーディング端から伝送された符号化されたミックス信号をデコーディングしてミックス信号を生成する。パラメータ生成部１００２は、エンコーディング端から伝送された付加情報及びユーザ制御情報（または、構成情報）を受信する。このユーザ制御情報は、エンコーダ端から伝送されずにデコーダ端で生成されても良い。ユーザミックスパラメータ生成部１００４は、ユーザ制御情報を用いてユーザミックスパラメータを生成する。エンコーダ端から伝送された付加情報には、エンコーダミックスパラメータ（Encoder Mix Parameter）を含むことができる。また、ブラインドミックスパラメータ生成部１００３は、ミックス信号を用いてブラインドミックスパラメータ（Blind−Mix Parameter）を生成することができる。エンコーダミックスパラメータとブラインドミックスパラメータは、択一的にリミックスパラメータ生成部１００５に入力される。

リミックスパラメータ生成部１００５は、付加情報及びユーザミックスパラメータを用いてリミックスパラメータを生成する。このリミックスパラメータを、リミックス信号のチャネルに適用されうるように生成することができる。リミックスパラメータ生成部１００５に含まれるＥｑミックスパラメータ生成部１００６は、ミックス信号のチャネル数と同じチャネル数を持つリミックス信号を生成するのに用いられるリミックスパラメータを生成し、リミックスパラメータ生成部１００５に含まれうるアップミックスパラメータ生成部１００７は、ミックス信号のチャネル数よりも多いチャネル数を持つリミックス信号を生成するのに用いられるリミックスパラメータを生成する。リミックスパラメータはリミックスレンダリング部１００８に入力される。

リミックスレンダリング部１００８に含まれるＥｑミックスレンダリング部１００９は、リミックスパラメータ及びミックス信号を用いて、ミックス信号のチャネル数と同じチャネル数を持つＥｑチャネルリミックス信号（Eq−channel remix signal）を生成する。リミックスレンダリング部１００８に含まれうるアップミックスレンダリング部１０１０は、アップミックスパラメータ生成部１００７で生成されたリミックスパラメータ及びミックス信号を用いて、ミックス信号のチャネル数よりも多いチャネル数を持つアップチャネルリミックス信号（Up−channel remix signal）を生成する。アップミックスレンダリング部１０１０は、Ｅｑチャネルレンダリング部１００９で生成されたリミックス信号を用いてアップチャネルリミックス信号を生成しても良い。

したがって、第５信号処理装置は、エンコーディング端から伝送されたミックス信号をそのまま出力したり、Ｅｑチャネルリミックス信号として出力したり、または、アップチャネルリミックス信号として出力することができる。選択的に、リミックスレンダリング部は、エフェクタ１０１１から提供される情報を用いて、リミックス信号に多様な効果を与えることができる。

図１１は、本発明の一実施例による第６の信号処理装置のブロック図である。図１１を参照すると、第６の信号処理装置において、エンコーダは、統合付加情報生成部１１０３、統合付加情報エンコーディング部１１０４を含み、デコーダは、統合付加情報デコーディング部１１０５、リミックスレンダリング部１１０６を含む。

ソース信号１１０２は、１つ以上のソース信号（Ｓ_{1_L}，Ｓ_{1_R}，Ｓ_{2_L}，Ｓ_{2_R}，…，Ｓ_{M_L}，Ｓ_{M_R}）全体を指す用語である。ソース信号（Ｓ_{1_L}，Ｓ_{1_R}，Ｓ_{2_L}，Ｓ_{2_R}，…，Ｓ_{M_L}，Ｓ_{M_R}）とは、本発明の信号処理装置で１つのオブジェクトとして取り扱われる信号のことをいい、ソース信号別に付加情報が存在できる。付加情報については後述する。ソース信号のうち‘Ｓ_{1_L}’は、１番目のソース信号（例：特定の楽器信号）Ｓ₁に特定効果が加えられて左側チャネルに流入する信号であり、ソース信号のうち‘Ｓ_{1_R}’は、１番目のソース信号Ｓ₁に特定効果が加えられて右側チャネルに流入する信号である。上の図２に関する説明で言及したように、１つのソース信号（例：特定の楽器信号）であってもある効果（例：残響（reverberation）効果）が適用されるとチャネル別属性が追加されるので、各チャネルに流入する信号は別のソース信号をそれぞれ構成する。

付加情報とは、ソース信号（Ｓ_{1_L}，Ｓ_{1_R}，Ｓ_{2_L}，Ｓ_{2_R}，…，Ｓ_{M_L}，Ｓ_{M_R}）にそれぞれ適用されうる情報である。この付加情報は、図１及び図２に基づいて説明したように、ゲインファクター（ａ_i，ｂ_i）、サブバンドパワー（E｛s_i ²(k)｝）のうち１つ以上を含むことができる。ソース信号が‘Ｓ_{1_L}’である時、付加情報はａ_{1_L}、Ｂ_{1_L}、E｛s_{i_L} ²(k)｝で表現され、ソース信号が‘Ｓ_{1_R}’の時、付加情報は、ａ_{1_R}、Ｂ_{1_R}、E｛s_{i_R} ²(k)｝で表現される。ソース信号（Ｓ_{1_L}，Ｓ_{1_R}，Ｓ_{2_L}，Ｓ_{2_R}，…，Ｓ_{M_L}，Ｓ_{M_R}）に必要な付加情報を全て列挙すると、下記の通りである。

統合付加情報エンコーディング部１１０４は、統合付加情報生成部１１０３により生成された統合付加情報をエンコーディングし、統合付加情報ビットストリームを生成する。

統合付加情報デコーディング部１１０５は、受信した統合付加情報ビットストリームをデコーディングして統合付加情報を抽出する。

図１２は、本発明の一実施例による第７の信号処理装置のブロック図である。図１１に基づいて説明された第６の信号処理装置との差異点を概略的に説明すると、第６の信号処理装置ではミックス信号１１０１及びソース信号１１０２から統合付加情報が生成されるのに対し、図１２に示す第７の信号処理装置では、ソース信号１２０１がダウンミックス部１２１０でダウンミキシングされて合成ソース信号Ｓ(ｎ)が生成され、このソース信号１０２がダウンミックスされる過程で統合付加情報が抽出される。以下、図１２を参照しつつ、第７の信号処理装置について具体的に説明する。

図１２を参照すると、本発明の第７の信号処理装置において、エンコーダは、ダウンミックス部１２１０、統合付加情報生成部１２２０、及び統合付加情報エンコーディング部１２３０を含み、デコーダは、統合付加情報デコーディング部１２６０、付加情報統合部１２７０、及びリミックスレンダリング部１２８０を含む。

ダウンミックス部１２１０は、ソース信号１２０１をダウンミックスして合成ソース信号Ｓ(ｎ)を生成する。ダウンミックス部１２１０は、図４に基づいて説明されたダウンミキシング部４０２と略同様の機能を行なうもので、ここでの合成ソース信号Ｓ(ｎ)は、図４に基づいて説明された和信号（sum signal）Ｓ(ｎ)４０４と同じものであっても良いが、本発明がこれに限定されるわけではない。統合付加情報生成部１２２０は、ソース信号１０２から統合付加情報を生成する。ここで、統合付加情報生成部１２２０は、付加情報ではなく統合付加情報を生成する以外は、図４に基づいて説明された付加情報生成部４０３と略同様の機能を行なう。統合付加情報エンコーディング部１２３０は、統合付加情報生成部１２２０により生成された統合付加情報をエンコーディングして統合付加情報ビットストリームを生成する。

図１３は、本発明の一実施例による信号処理方法を示すフローチャートである。本発明の一実施例による信号処理方法を、図１１及び図１２に基づいて説明された本発明の第６の信号処理装置及び第７の信号処理装置により具現することができる。

図１３を参照すると、まず、信号処理装置のエンコーダ（以下、‘エンコーダ’と略す。）は、１つ以上のソース信号を用いて統合ソース信号を生成する（Ｓ１３１０段階）。ここで、統合ソース信号は、１つ以上のソース信号がグルーピングされた信号である。Ｓ１３１０段階を、ユーザから受信したグルーピング選択信号に基づいて行うことができる。言い換えると、ユーザがどのソース信号とどのソース信号をグルーピングするかを選択できる。その後、エンコーダは、Ｓ１３１０段階で生成された統合ソース信号を用いて統合付加情報を生成する（Ｓ１３２０段階）。統合付加情報を生成する過程は、図１１に基づいて説明されたのと同様なので、その説明は省略する。一方、Ｓ１３２０段階で統合ソース信号を利用せずにミックス信号またはソース信号を用いて統合付加情報を生成しても良い。その後、エンコーダは、Ｓ１３２０段階で生成された統合付加情報をエンコーディングする（Ｓ１３３０段階）。

すると、信号処理装置のデコーダ（以下、‘デコーダ’と略す。）は、エンコーダにより生成されたミックス信号（または合成ソース信号）及び統合付加情報を受信する（Ｓ１３４０段階）。デコーダは、Ｓ１３４０段階で受信した統合付加情報をデコーディングする（Ｓ１３５０段階）。そして、デコーダは、ユーザから統合制御情報を受信する（Ｓ１３６０段階）。その後、Ｓ１３６０段階で受信した統合制御情報、及びＳ１３５０段階でデコーディングされた統合付加情報を用いてミックス信号（または合成ソース信号）をリミキシングする（Ｓ１３７０段階）。

図１４は、本発明の一実施例による第８の信号処理装置のブロック図である。図１４〜図１６に基づいて説明される各実施例は、統合付加情報をエンコーダではなくデコーダで生成する例である。図１４を参照すると、第８の信号処理装置において、エンコーダは、付加情報生成部１４３０及び付加情報エンコーディング部１４４０を含み、デコーダは、付加情報デコーディング部１４５０、統合付加情報生成部１４６０、及びリミックスレンダリング部１４７０を含む。

図１５は本発明の一実施例による第９の信号処理装置のブロック図である。図１４に基づいて説明された第８の信号処理装置との差異点を概略的に説明すると、図１５に示す第９の信号処理装置では、ソース信号１５１０がダウンミックス部１５２０でダウンミキシングされることで合成ソース信号Ｓ(ｎ)が生成される。以下、図１５を参照しつつ、第９の信号処理装置について具体的に説明する。

第９の信号処理装置において、エンコーダは、ダウンミックス部１５２０、付加情報生成部１５３０、及び付加情報エンコーディング部１５４０を含み、デコーダは、付加情報デコーディング部１５５０、統合付加情報生成部１５６０、及び付加情報統合部１５７０、リミックスレンダリング部１５８０を含む。

ダウンミックス部１５２０は、ソース信号１５１０をダウンミックスして合成ソース信号Ｓ(ｎ)を生成する。同様に、ダウンミックス部１５２０は、図４に基づいて説明されたダウンミキシング部４０２と略同様の機能を行なう。付加情報生成部１５３０は、ソース信号Ｓ(ｎ)から付加情報を生成する。付加情報エンコーディング部１５４０は、付加情報をエンコーディングして付加情報ビットストリームを生成する。

付加情報デコーディング部１５５０は、受信した付加情報ビットストリームをデコーディングして付加情報を抽出する。統合付加情報生成部１５６０は、付加情報を用いて統合付加情報を生成する構成要素であり、第３実施例における統合付加情報生成部１５７０と略同様の構成要素である。付加情報統合部１５７０及びリミックスレンダリング部１５８０は、図１２の付加情報統合部１２７０及びリミックスレンダリング部１２８０とそれぞれ略同様の構成要素である。

図１６は、本発明の一実施例による信号処理方法を示すフローチャートである。本発明の一実施例による信号処理方法は、図１４及び図１５に基づいて説明された本発明の第８の信号処理装置及び第９の信号処理装置により具現されることができる。

図１６を参照すると、信号処理装置のエンコーダは、ミックス信号及びソース信号のうち１つ以上を用いて付加情報を生成する（Ｓ１６１０段階）。その後、エンコーダは、Ｓ１６１０段階で生成された付加情報をエンコーディングする（Ｓ１６２０段階）。

一方、信号処理装置のデコーダは、ミックス信号（または合成ソース信号）及び付加情報を受信する（Ｓ１６３０段階）。その後、デコーダは、Ｓ１６３０段階で受信した付加情報をデコーディングする（Ｓ１６４０段階）。そして、デコーダは、Ｓ１６４０段階でデコーディングされた付加情報を用いて統合付加情報を生成する（Ｓ１６５０段階）。続いて、デコーダは、ユーザから統合制御情報を受信する（Ｓ１６６０段階）。その後、デコーダは、Ｓ１６６０段階で受信した統合制御情報、及びＳ１６５０で生成された統合付加情報を用いて、ミックス信号（または合成ソース信号）をリミキシングする（Ｓ１６７０段階）。

図１７は、本発明の一実施例による第１０の信号処理装置のブロック図である。図１７を参照すると、第１０の信号処理装置は、逆多重化部１７１０、ミックス信号記憶部１７２０、付加情報記憶部１７４０及びリミックスレンダリング部１７６０を含む。

逆多重化部１７１０は、ミックス信号及び付加情報をパーシングし、それぞれミックス信号記憶部１７２０及び付加情報記憶部１７４０に送る。ミックス信号記憶部１７２０及び付加情報記憶部１７４０は、逆多重化部１７１０から受け取ったミックス信号及び付加情報をそれぞれ記憶する。信号デコーディング装置は、ユーザがミックス信号１７３０または付加情報１７５０を利用しようとする場合、ミックス信号記憶部１７２０または付加情報記憶部１７４０からミックス信号１７３０または付加情報１７５０を独立的に抽出して出力する。

ユーザがリミックス信号１７７０を要求する場合、デコーディング装置は、ミックス信号１７３０、付加情報及びユーザミックスパラメータを用いてリミックス信号１７７０を生成して出力する。このユーザミックスパラメータを、ユーザから受け取った制御情報を用いて生成することができる。デコーディング装置は、ユーザの要求に応じてリミックス信号１７７０を出力したり、または、ミックス信号１７３０や付加情報１７５０を直接出力することができる。後者の場合、ユーザは、出力したミックス信号１７３０または付加情報１７５０と新しいミックス信号または新しい付加情報を用いてリミックス信号１７７０を生成することができる。

図１８は、本発明の一実施例による第１１の信号処理装置のブロック図である。図１８を参照すると、第１１の信号処理装置は、ミックス信号入力部１８２０、付加情報抽出部１８３０及びリミックスレンダリング部１８６０を含む。

第１１の信号処理装置は、エンコーディング装置または付加情報提供サーバーなどから伝送されてきた付加情報を記憶する。第１１の信号処理装置は、ミックス信号に対する付加情報を直接生成して記憶しても良い。第１１の信号処理装置は、ミックス信号入力部１８２０を用いてユーザからミックス信号１８１０を受信する。付加情報抽出部１８３０は、ユーザから受け取ったミックス信号１８１０と同じミックス信号があるか検索する。ユーザが入力したミックス信号１８１０と同じミックス信号がある場合、付加情報抽出部１８３０は、その信号からミックス信号に対する付加情報信号を抽出し、抽出した付加情報をリミックスレンダリング部１８６０に送る。

付加情報抽出部１８３０は、ユーザから受け取ったミックス信号１８１０と同じミックス信号がない場合、一定の共通点を持つミックス信号を検索する。付加情報抽出部１８３０は、共通点を持つミックス信号のうち、ユーザから受け取ったミックス信号１８１０に最も似ているミックス信号を抽出し、抽出したミックス信号に対する付加情報を抽出する。付加情報抽出部１８３０は、抽出した付加情報がユーザにより入力されたミックス信号１８１０を調節することはできるが、時刻同期や速さ等に差がある場合、ユーザにより入力されたミックス信号１８１０を調節できるように付加情報を変形する。

リミックスレンダリング部１８６０は、ミックス信号入力部１８２０及び付加情報抽出部１８３０から受信したミックス信号及び付加情報または変形された付加情報を用いてリミックス信号１８７０を出力する。付加情報抽出部１８３０は、ユーザから受け取ったミックス信号１８１０と一定の共通点を持つミックス信号がない場合、受け取ったミックス信号１８１０に対する付加情報を直接生成してこれをリミックスレンダリング部１８６０に送ったり、または、付加情報を使用せずにユーザから受け取ったミックス信号１８１０のみを再生しても良い。

図１９は、図１８に示す付加情報抽出部の詳細ブロック図である。図１９を参照すると、付加情報抽出部１８３０は、比較部１９３０及び付加情報変形部１９４０を含む。

第１１の信号処理装置は、信号提供サーバーまたはユーザから新しいミックス信号１９２０を受信する。比較部１９３０は、デコーディング装置に記憶されているミックス信号１９１０とユーザまたは信号提供サーバーから受け取った新しいミックス信号１９２０とを比較する。デコーディング装置は、記憶されているミックス信号１９１０及び新しいミックス信号１９２０とが同一である場合、記憶されているミックス信号１９１０に対する付加情報を新しいミックス信号に対する付加情報として利用できる。信号デコーディング装置は、記憶されているミックス信号１９１０及び新しいミックス信号１９２０が時刻同期や再生速度等で微細な差がある場合、記憶されているミックス信号１９１０に対する付加情報を新しいミックス信号１９２０に対する付加情報に変形して利用することができる。すなわち、信号デコーディング装置は、記憶されているミックス信号１９１０及び新しいミックス信号１９２０とを比較し、両ミックス信号が同一でない場合、付加情報変形部１９４０を用いて付加情報を変形する。

付加情報を変形する方法については、図２０〜図２２を参照して説明する。付加情報変形部１９４０は、変形された付加情報を出力する。デコーディング装置は、ユーザから受け取ったミックス信号及び変形された付加情報を用いて新しいミックス信号をリミキシングする。

図２０及び図２１は、本発明の一実施例による付加情報を変形する方法を示すグラフである。デコーディング装置は、エンコーディング装置または別のサーバーからミックス信号２００１及びこれに対する付加情報２００３を受信して記憶する。デコーディング装置は、ミックス信号２００１を受信し、ミックス信号２００１に対する付加情報２００３を直接生成して記憶しても良い。デコーディング装置が記憶しているミックス信号２００１及びこれに対する付加情報２００３が、図２０及び図２１に示されている。

図２０で、デコーディング装置に記憶されているミックス信号及びこれに対する付加情報は、伝送及び記憶の効率から、ＭＰ３ファイルなどの圧縮された信号形態とする。例えば、デコーディング装置は、“November rain”というミックス信号２００１及びこれに対する付加情報２００３を、エンコーディング装置からＭＰ３ファイルとして伝送されて記憶しているとする。ユーザは、リミックスされていない“November rain”という曲を無損失のＣＤ信号として持っているとする時、この無損失のＣＤ信号を、デコーディング装置に記憶されている付加情報を用いてリミックス信号として再生することができる。

デコーディング装置に記憶されている“November rain”曲に対する付加情報はＭＰ３ファイルであり、ユーザがリミックスしようとする信号はＣＤ信号であるから、ＭＰ３ファイルとして記憶されている付加情報は、ＣＤ信号に合う付加情報に変形されなければならない。デコーディング装置は、新しいミックス信号２００２をリミックスするために記憶していた付加情報２００３を抽出しこれを新しい付加情報２００４に変形する。図２０で、新しくリミックスするミックス信号２００２は元のミックス信号２００１よりも時間遅延されている。ＭＰ３ファイルは、圧縮率を高めるためにミックス信号の始部と終部の休止区間２００５を省略する場合が多い。したがって、デコーディング装置は、ＭＰ３ファイルとされている付加情報２００３も同様に休止区間２００５分だけ時間遅延し、新しい付加情報２００４を生成しなければならない。

図２１を参照すると、ユーザがリミックスしようとする新しいミックス信号２１０２は、デコーディング装置に記憶されているミックス信号２１０１よりも周波数が低い。すなわち、新しいミックス信号２１０２は、記憶していたミックス信号２１０１よりも時間軸方向に延びている。したがって、デコーディング装置は、付加情報２１０３を新しいミックス信号２１０２に合わせて変形しなければならない。デコーディング装置は、記憶されているミックス信号２１０１と新しいミックス信号２１０２とを比較し、付加情報２１０３も新しいミックス信号に合う付加情報２１０４に変形する。デコーディング装置は、付加情報２１０３を時間に関して延ばして新しいミックス信号２１０４を生成することができる。デコーディング装置は、変形された付加情報２１０４を用いて新しいミックス信号２１０２をリミキシングする。

図２２は、本発明の一実施例によるミックス信号の変形例を示す図である。図２２の上図を参照すると、元のミックス信号１２０１には、図示のような位置で録音されたピアノ信号２２０１、バイオリン信号２２０２及びボーカル信号２２０３が含まれている。この時、新しいミックス信号２２０２は、図２２の下図のように変形された位置で録音された信号と仮定する。デコーディング装置は、デコーディング装置に記憶されていたミックス信号２００１，２１０１と、ユーザがリミックスしようとする新しいミックス信号２００２，２１０２とを比較する。新しいミックス信号２００２，２１０２は、元のミックス信号２００１，２１０１に含まれているソース信号の位置が変形されて録音された信号であるから、新しいミックス信号２００２，２１０２に対する付加情報２００４，２１０４も変形されなければならない。

図２２の上図と下図で、バイオリン信号２２０２は位置が同一であり、ピアノ信号２２０１及びボーカル信号２２０３のみ位置が互いに変わっているので、デコーディング装置は、バイオリン信号２２０２に対する付加情報はそのままにし、ピアノ信号２２０１に対する付加情報とボーカル信号２２０３に対する付加情報のみを互いに変えることで新しい付加情報２２０２を生成できる。

図２３は、本発明の一実施例による多重化装置及び逆多重化装置を示す図である。図２３を参照すると、多重化装置２３０１は独立的に伝送されるミックス信号及び付加情報を受信し、これを多重化する。多重化装置２３０１は、エンコーディング装置またはデコーディング装置と別個に存在できる。例えば、エンコーディング装置がミックス信号及びこれに対する付加情報を独立的に出力する場合、多重化装置２３０１は、デコーディング装置に含まれてまたはデコーディング装置の前に位置し、エンコーディング装置から独立的に伝送されたミックス信号及び付加情報を多重化することで、これら両信号を１つの信号として管理できる。

逆多重化装置２３０２は、ミックス信号と付加情報が１つの信号として一緒に伝送される場合、ミックス信号と付加情報をパーシングして分離する。ユーザは、ミックス信号または付加情報を独立的に使用しようとする場合、逆多重化装置２３０２を用いてミックス信号と付加情報を分離できる。逆多重化装置２３０２も同様に、信号エンコーディング装置または信号デコーディング装置と別個として存在できる。

図２４は、本発明の一実施例によるミックス信号及び付加情報が多重化された信号を示す図である。図２４を参照すると、エンコーディング装置またはデコーディング装置に含まれている多重化部またはエンコーディング及びデコーディング装置とは独立している多重化装置は、ミックス信号及びミックス信号に対する付加情報を単純に結合した形態２４０１に多重化したり、または、ミックス信号の補助領域（ancillary data）部分にミックス信号に対する付加情報を含めた形態２４０２に多重化することができる。また、多重化部または多重化装置は、ミックス信号と付加情報をフレーム単位にまたは一定の単位ごとに結合して多重化された信号２４０２を生成することもできる。

図２５は、本発明の一実施例によるミックス信号または付加情報を独立的に抽出してリミックス信号を生成する方法を示すフローチャートである。図２５を参照すると、デコーディング装置は、第１ミックス信号及びこれに対する付加情報を受信し、これを分離して記憶する（Ｓ２５０１）。デコーディング装置は、ユーザから第２ミックス信号を受信する（Ｓ２５０２）。デコーディング装置は、第１ミックス信号に第２ミックス信号と同じミックス信号があるか判断する（Ｓ２５０３）。第２ミックス信号と同じ第１ミックス信号がデコーディング装置に記憶されている場合、デコーディング装置は、第１ミックス信号に対する付加情報を抽出する（Ｓ２５０７）。デコーディング装置は、第２ミックス信号及び抽出した付加情報を用いてリミックス信号を生成する（Ｓ２５０９）。デコーディング装置は、第１ミックス信号に第２ミックス信号と同じ信号がない場合、第１ミックス信号のうち、第２ミックス信号と一定の共通点を持つ第１ミックス信号があるか判断する（Ｓ２５０４）。デコーディング装置は、第２ミックス信号と一定の共通点がある第１ミックス信号がない場合、第２ミックス信号に対する付加情報を直接生成する（Ｓ２５０８）。デコーディング装置は、第２ミックス信号及び新しく生成した付加情報を用いてリミックス信号を生成する（Ｓ２５０９）。デコーディング装置は、第２ミックス信号とビットレートやレベル、波形、容量などが共通する第１ミックス信号がある場合、なかでも最も類似する第１ミックス信号を抽出する（Ｓ２５０５）。デコーディング装置は、第１ミックス信号に対する付加情報を第２ミックス信号に対する付加情報に変形する（Ｓ２５０６）。デコーディング装置は、第２ミックス信号及び変形された付加情報を用いてリミックス信号を生成する（Ｓ２５０９）。

図２６は、本発明の一実施例による第１２の信号処理装置のブロック図である。第１２の信号処理装置は、付加情報生成部２６０３、識別情報生成部２６０５、コアエンコーディング部２６０６、及び付加情報エンコーディング部２６０４を含む。

付加情報生成部２６０３は、ミックス信号２６０１及びソース信号２６０２から付加情報を生成する。識別情報生成部２６０５は識別情報を生成する。ここで、識別情報とは、ミックス信号と付加情報とのマッチングの有無を表すためにそれぞれに同一に与えられる情報のことをいい、ランダムに生成された任意のコードであっても良く、ミックス信号２６０１またはソース信号２６０２のメタデータを含むコードであっても良く、任意のコード及びメタデータコードが結合された形態であっても良い。ランダムに生成された任意のコードである場合、少なくとも数十ビットから数千ビットになりうる。ここでメタデータとは、作曲者、アルバム名、演奏者、レコード製作社、リミックス可能楽器などを含む情報でありうるが、本発明はこれに限定されない。識別情報を付加情報に挿入することができ、したがって、識別情報の挿入された付加情報を独立的に用いられることができる。

図２７は、本発明の一実施例による第１３の信号処理装置のブロック図である。第１３の信号処理装置は、コアデコーディング部２７０１、付加情報デコーディング部２７０２、識別情報読取部２７０３、及びリミックスレンダリング部２７０４を含む。

識別情報読取部２７０３は、コアデコーディング部２７０１により抽出された第１識別情報及び付加情報デコーディング部２７０２により抽出された第２識別情報が互いに一致するか否か判断し、その結果として制御信号を発生させる。互いに一致しない場合、再生不可という制御信号を発生させ、互いに一致する場合には再生可能という制御信号を発生させることができる。

リミックスレンダリング部２７０４は、識別情報読取部２７０３により発生した制御信号に応じて、付加情報を用いてリミックス信号を生成する。この付加情報は、付加情報デコーディング部２７０２によりデコーディングされた付加情報とし、ミックス信号は、コアデコーディング部２７０１によりデコーディングされたミックス信号とすれば良い。リミックスレンダリング部２７０４は、このようなリミックス信号の生成において、ソース信号をなす各ソース別にリミキシングしてリミックス信号を生成することができる。
図２８は、本発明の一実施例による信号処理方法を示すフローチャートである。図２８に示す信号処理方法の順序は、図２６に示す第１２の信号処理装置により具現することができる。図２８を参照すると、まず、ミックス信号及びソース信号を用いて付加情報を生成する（Ｓ２８０１）。その後、識別情報をランダムに生成するか否かを決定する（Ｓ２８０２）。識別情報をランダムに生成すると決定する場合（Ｓ２８０２の‘Ｙｅｓ’）は、ランダムにすなわち無作為的にコードを発生させて識別情報を生成する（Ｓ２８０３）。

もし、Ｓ２８０２段階で、識別情報をランダムに生成しないと決定する場合（Ｓ２８０２の‘Ｎｏ’）、ミックス信号またはソース信号のメタデータ（例：作曲者、アルバム名、演奏者、レコード製作社、リミックス可能楽器等）を収集または獲得する（Ｓ２８０４）。メタデータを収集または獲得する方法は、ミックス信号から抽出しても良く、情報提供者サーバーに接続して受け取っても良いが、本発明はこれに限定されない。その後、Ｓ２８０４段階で収集されたメタデータを用いて識別情報を生成する（Ｓ２８０５）。この時、Ｓ２８０３段階でランダムに生成された任意のコードと、Ｓ２８０５段階で生成された識別情報を結合しても良い。Ｓ２８０３段階及びＳ２８０５段階で生成された識別情報をそれぞれミックス信号及び付加情報に挿入する（Ｓ２８０６）。

図２９は、本発明の一実施例による信号処理方法を示すフローチャートである。図２９に示す信号処理方法の順序は、図２７に示す第１３の信号処理装置により具現することができる。

まず、ミックス信号及び付加情報を受信する（Ｓ２９０１）。ここで、ミックス信号は識別情報を含むミックス信号であり、付加情報は識別情報を含む情報でありうる。その後、Ｓ２９０１段階で受信したミックス信号から第１識別情報を抽出し、付加情報から第２識別情報を抽出する（Ｓ２９０２）。その後、Ｓ２９０２段階で抽出された第１識別情報及び第２識別情報が互いに一致するか否か判断する（Ｓ２９０３）。第１識別情報と第２識別情報とが互いに一致しない場合、ミックス信号と付加情報は互いにマッチングされないものと判断し、手順を終了する（Ｓ２９０３の‘Ｎｏ’）。Ｓ２９０３段階の判断結果、第１識別情報と第２識別情報とが互いに一致する場合（Ｓ２９０３の‘Ｙｅｓ’）、ミックス信号と付加情報は互いにマッチングされるものであるから、付加情報を用いてリミックス信号を生成する（Ｓ２９０４）。この時、Ｓ２９０４段階は、ソース信号をなす各ソース別にリミキシングしてリミックス信号を生成する段階でありうる。

図３０は、本発明の一実施例による第１４の信号処理装置のブロック図である。図２６に基づいて説明された第１２の信号処理装置との差異点を概略的に説明すると、第１２の信号処理装置では、ミックス信号２６０１及びソース信号２６０２から付加情報が生成されるのに対し、図３０に示す第１４の信号処理装置では、ソース信号３００１がダウンミキシング部３００２でダウンミキシングされて和信号が生成され、このソース信号３００１がダウンミキシングされる過程で付加情報が抽出される。以下、図３０を参照しつつ、第１４の信号処理装置について具体的に説明する。

図３０を参照すると、第１４の信号処理装置は、ダウンミキシング部３００１、付加情報生成部３００３、識別情報生成部３００６、コアエンコーディング部３００４、及び付加情報エンコーディング部３００５を含む。
ダウンミキシング部３００２は、１つ以上のソースで構成されるソース信号３００１をダウンミキシングして和信号Ｓ(ｎ)を生成する。これは、図４に基づいて説明されたダウンミキシング部４０２と略同様の機能を行なう。付加情報生成部３００３は、１つ以上のソースで構成されるソース信号３００１から付加情報を生成する。ここで、付加情報は、各ソース信号に対応するサブバンドパワー及びゲインファクターを含むことができ、付加情報は、リミックスレンダリング部における遅延に対応するパラメータを含むことができる。

識別情報生成部３００６は、識別情報を生成する構成要素であり、図２６に示す識別情報生成部２６０５と略同様なので、その具体的な説明は省略する。コアエンコーディング部３００４は、識別情報生成部３００６により生成された識別情報を和信号Ｓ(ｎ)に挿入し、識別情報を含む和信号Ｓ(ｎ)'を生成する。付加情報エンコーディング部３００５は、識別情報生成部３００６により生成された識別情報を付加情報に挿入し、識別情報を含む付加情報ｓｉ'を生成する。

図３１は、本発明の一実施例による第１５の信号処理装置のブロック図である。この第１５の信号処理装置は、上記の図２７に基づいて説明された第１３の信号処理装置と比較する時、識別情報を含むミックス信号及び付加情報を受信する代わりに、識別情報を含む和信号Ｓ(ｎ)'及び付加情報を受信し、受信した和信号Ｓ(ｎ)'を付加情報統合部３１０１によって多数個のソース信号に分離する以外は、略同様である。

図３１を参照すると、第１５の信号処理装置は、付加情報統合部３１０１、コアデコーディング部３１０３、付加情報デコーディング部３１０２、識別情報読取部３１０４、及びリミックスレンダリング部３１０５を含む。

図３２は、本発明の一実施例による第１６の信号処理装置のブロック図である。図３０に基づいて説明された第１４の信号処理装置との差異点を説明すると、第１４の信号処理装置では、ソース信号３００１がダウンミキシング部３００２でダウンミキシングされて和信号が生成されるのに対し、第１６の信号処理装置では、ソース信号３２０１がダウンミックスされず、そのまま識別情報が挿入されるという点以外は、略同様に構成される。以下、図３２を参照しつつ、第１４の信号処理装置との差異点を中心に説明する。

第１４の信号処理装置は、付加情報生成部３２０２、識別情報生成部３２０５、コアエンコーディング部３２０４、及び付加情報エンコーディング部３２０３を含む。付加情報生成部３２０２、識別情報生成部３２０５、及び付加情報エンコーディング部３２０３は、図３０で説明された付加情報生成部３００３、識別情報生成部３００６、及び付加情報エンコーディング部３００５とそれぞれ略同様の構成要素であるから、その説明は省略する。

コアエンコーディング部３２０４は、多数のソースからなるソース信号３２０１のうち１つ以上のソース（すなわち、ソース信号（））に識別情報を挿入する。

図３３は、本発明の一実施例による第１７の信号処理装置のブロック図である。図３１に基づいて説明された第１５の信号処理装置との差異点を説明すると、第１５の信号処理装置では、和信号Ｓ(ｎ)が付加情報統合部３１０１により別個のソース信号に分離されるのに対し、第１７の信号処理装置では、和信号Ｓ(ｎ)が受信されるのではなく別個のソース信号３３０１が受信されるため、付加情報統合部３３０１が存在しない点が異なり、それ以外の内容は略同様である。すなわち、第１７の信号処理装置は、コアデコーディング部３３０１、付加情報デコーディング部３３０２、識別情報読取部３３０７、及びリミックスレンダリング部３３０８を含み、これは、図３１のコアデコーディング部３１０３、付加情報デコーディング部３１０２、識別情報読取部３１０４、及びリミックスレンダリング部３１０５とそれぞれ略同様の構成要素であるから、その説明は省略する。

図３４は、本発明の一実施例による信号処理方法を示すフローチャートである。図３４に示す信号処理方法の順序を、図３０及び図３２に示す第１４の信号処理装置または第１６の信号処理装置によりそれぞれ具現することができる。図３４を参照すると、まず１つ以上のソース信号をダウンミックスして和信号を生成する（第２の例に限って該当）（Ｓ３４０１）。その後、Ｓ３４０１の１つ以上のソース信号を用いて付加情報を生成する（Ｓ３４０２）。その後、図２８に基づいて説明されたＳ２８０２段階〜Ｓ２８０５段階と同じ段階を行なう（Ｓ３４０３〜Ｓ３４０６）。その後、Ｓ３４０４段階及びＳ３４０６段階で生成された識別情報を和信号（第３の例では１つ以上のソース信号）、及び付加情報にそれぞれ挿入する（Ｓ３４０７）。

図３５は、本発明の一実施例による信号処理方法を示すフローチャートである。図３５に示す信号処理方法の順序は、図３１及び図３３に示す第１５の信号処理装置及び第１７の信号処理装置によりそれぞれ具現されることができる。

図３５を参照すると、和信号（第３例では１つ以上のソース信号）及び付加情報を受信する（Ｓ３５０１）。和信号（または１つ以上のソース信号）から第１識別情報を抽出し、付加情報から第２識別情報を抽出する（Ｓ３５０２）。その後、第１識別情報と第２識別情報が一致することを条件（Ｓ３５０３の‘Ｎｏ’）として和信号を再生する。このようにソース信号を再生する際に、ソース信号をなす各ソース（各ソース信号）別にリミキシングしてリミックス信号を生成することができる。

図３６は、本発明の一実施例による第１８の信号処理装置のブロック図である。本発明の一実施例による第１８の信号処理装置は、ミックス信号（または和信号、ソース信号）にはいかなる情報も挿入せずに、付加情報にのみ所定の情報を挿入する方式である。

図３６を参照すると、本発明の一実施例による第１８の信号処理装置は、固有情報抽出部３６０２及び付加情報エンコーディング部３６０３を含む。

固有情報抽出部３６０２は、ミックス信号３６０１（和信号またはソース信号）から固有情報を抽出する。ここで、固有情報とは、特定ミックス信号にのみ現れる固有な信号を有するものであり、ミックス信号と他の信号とを区別づける情報のことをいい、例えば、ミックス信号の特定区間のサンプルの値になることができ、サンプルの長さ及びミックス信号の特定区間のサンプルの値を含んでも良いが、本発明はこれに限定されない。例えば、固有情報が‘サンプルの長さ’及び‘始めてから３秒の地点から連続した３個のサンプルの値’とすれば、ミックス信号のサンプリング周波数が４４．１ＫＨｚで、総時間が３：１２．４５である曲の場合、サンプルの長さは下記の通りである。

そして、始めてから３秒の地点から３個のサンプルの値のうち、１番目のサンプルの値が５０（Ｌ１）、１９６（Ｒ１）で、２番目のサンプルの値が５４２１（Ｌ２）、４５１５（Ｒ２）で、３番目のサンプルの値が１８５４２（Ｌ３）、１５４８７（Ｒ３）である場合、固有情報は、サンプルの長さとサンプルの値を結合した値である“８４８７０４５、５０（Ｌ１）、１９６（Ｒ１）、５４２１（Ｌ２）、４５１５（Ｒ２）、１８５４２（Ｌ３）、１５４８７（Ｒ３）”となることができる。

付加情報エンコーディング部３６０３は、固有情報抽出部３６０２により抽出された特定ミックス信号３６０１の固有情報をそれに該当する付加情報ｓｉに挿入し、固有情報の含まれた付加情報ｓｉ'を生成する。

図３７は、本発明の一実施例による第１９の信号処理装置のブロック図である。図３７を参照すると、第１９の信号処理装置は、固有情報抽出部３７０２、付加情報エンコーディング部３７０３、識別情報読取部３７０４、及びリミックスレンダリング部３７０５を含む。

固有情報抽出部３７０２は、ミックス信号（和信号またはソース信号）から第１固有情報を抽出する。第１固有情報を抽出する方式は、図３６のエンコーディング装置の固有情報抽出部３６０２で固有情報を抽出する方式と同一にすることができる。付加情報エンコーディング部３７０３は、固有情報の含まれた付加情報ｓｉ'から第２固有情報を抽出する。識別情報読取部３７０４は、固有情報抽出部３７０２により抽出された第１固有情報及び付加情報エンコーディング部３７０３により抽出された第２固有情報が一致するか否か判断して制御信号を発生させる。リミックスレンダリング部３７０５は、識別情報読取部３７０４の制御信号によって付加情報を用いてミックス信号（または和信号、ソース信号）を再生する。

図３８は、本発明の一実施例による信号処理方法を示すフローチャートである。図３８を、図３６に示す第１８の信号処理装置により具現することができる。まず、ミックス信号（和信号またはソース信号）及び付加情報を受信する（Ｓ３８０１）。その後、Ｓ３８０１段階で受信したミックス信号（和信号またはソース信号）から固有情報を抽出する（Ｓ３８０２）。Ｓ３８０２段階で抽出した固有情報を、Ｓ３８０１段階で受信した付加情報に挿入する（Ｓ３８０３）。

図３９は、本発明の一実施例による信号処理方法を示すフローチャートである。図３９を、図３７に示す第１９の信号処理装置により具現することができる。まず、ミックス信号（和信号またはソース信号）を受信する（Ｓ３９０１）。その後、Ｓ３９０１段階で受信したミックス信号（和信号またはソース信号）から第１固有情報を抽出する（Ｓ３９０２）。そして、Ｓ３９０１段階で受信した付加情報から第２固有情報を抽出する（Ｓ３９０３）。その後、Ｓ３９０２段階で受信した第１固有情報とＳ３９０３段階で受信した第２固有情報とが一致するか否か判断し、一致する場合（Ｓ３９０４の‘Ｙｅｓ’）は、付加情報を用いてミックス信号（和信号またはソース信号）を再生する（Ｓ３９０５）。もちろん、ミックス信号（和信号またはソース信号）を再生する際に、ソース信号をなす各ソース別にリミキシングしてリミックス信号を生成することができる。

図４０は、本発明の一実施例による第２０の信号処理装置のブロック図である。図４０を参照すると、第２０の信号処理装置は、ミックス信号デコーディング部４００１、ミックス信号ドメイン変換部４００３、付加情報デコーディング部４００６及びリミックスレンダリング部４００４を含む。第２０の信号処理装置は、エンコーディング装置からミックス信号及び付加情報を伝送される。付加情報は、レベル情報、時間遅延情報、相関情報、ミックス情報などを含む。

ここで、レベル情報は、リミックスされるソース信号のレベルを含むことができ、リミックスされるソース信号間の相対的なレベルや、またはリミックスされるソース信号とミックス信号間の相対的なレベルを含むことができる。また、ミックス信号のレベルを別に付加情報に含めることができる。時間遅延情報は、リミックスされるソース信号間の時間遅延情報、またはリミックスされるソース信号とミックス信号間の時間遅延情報を含むことができる。相互相関情報は、リミックスされるソース信号間の相互相関情報、リミックスされるソース信号とミックス信号間の相互相関情報、またはミックス信号間の相互相関情報を含むことができる。ミックス情報は、特定ソースがミックス信号にミックスされる度合を表す情報であり、例えば、特定ソースが右側に位置する効果が出るようにミックスしたい場合、左側チャネルより右側チャネルにより大きい大きさで含まれるようにミックスを行なうことができる。このように、ミックス情報は、各ソースが各チャネルにミックスされる度合を表すことができる。ミックス情報は、大きさだけでなく、ミックスに関連した時間遅延、相関関係などの情報を含むことが可能である。

上記デコーディング装置は、同一エンコーディング装置からミックス信号及び付加情報を受信しても良いが、別個のエンコーディング装置からミックス信号及び付加情報のそれぞれを受信しても良い。エンコーディング装置がミックス信号及び付加情報を１つのビットストリーム形態としてデコーディング装置に伝送する場合、デコーディング装置は、ビットストリームを逆多重化することによって、ミックス信号はミックス信号デコーディング部４００１に送られ、付加情報は付加情報デコーディング部４００６に送られる。

ミックス信号デコーディング部４００６は、符号化されたミックス信号を復号化する。第２０信号処理装置は、サブバンドドメインでミックス信号及び付加情報を用いてリミックス信号を生成できる。ミックス信号ドメイン変換部４００３は、ミックス信号のドメインを付加情報のドメインと同じサブバンドドメインに変換する。付加情報デコーディング部４００６は、付加情報をデコーディングし、デコーディングされた付加情報をリミックスレンダリング部４００４に送る。リミックスレンダリング部４００４は、ミックス信号ドメイン変換部４００３から付加情報と同じサブバンドドメインを持つミックス信号を受け取り、付加情報デコーディング部４００６からサブバンドドメインの付加情報を受け取る。

また、リミックスレンダリング部４００４は、ユーザから制御情報を受信し、該制御情報を用いてユーザミックスパラメータを生成する。リミックスレンダリング部４００４は、同じドメイン上のミックス信号及び付加情報、そしてユーザミックスパラメータを用いてリミックス信号を生成する。第２０の信号処理装置は、元のミックス信号を復元した後、元のミックス信号に含まれているソース信号を調節してリミックス信号を生成したり、または、元のミックス信号を復元せずに付加情報及びユーザミックスパラメータを用いて直接リミックス信号を生成することができる。逆ドメイン変換部４００５は、生成されたリミックス信号を元のドメイン、例えば、時間ドメインに変換する。

図４１は、本発明の一実施例による第２１の信号処理装置のブロック図である。図４１の実施例は、ミックス信号のドメインと付加情報のドメインをそれぞれ変換してドメインを一致させることを特徴とし、ミックス信号に対してのみドメイン変換を行なう図４０の実施例と異なる。図４１を参照すると、第２１の信号処理装置は、ミックス信号デコーディング部４１０１、付加情報デコーディング部４１０２、ミックス信号ドメイン変換部４１０３、付加情報ドメイン変換部４１０６及びリミックスレンダリング部４１０４を含む。

ミックス信号デコーディング部４１０１は、エンコーディング装置から受信しまたはあらかじめ記憶しておいたミックス信号を抽出して復号化する。付加情報デコーディング部４１０２は、エンコーディング装置から受信しまたはデコーディング装置で生成して記憶していた付加情報を抽出してこれを復号化する。ミックス信号と付加情報を、同一エンコーディング装置から受信しても良く、異なる装置から別個に受信しても良い。また、付加情報は、デコーディング装置で直接生成されても良い。付加情報デコーディング部４１０２は、付加情報を復号化する。

ミックス信号ドメイン変換部４１０３及び付加情報ドメイン変換部４１０６はそれぞれミックス信号及び付加情報を同一ドメイン、例えば、ＱＭＦドメインに変換する。例えば、ミックス信号がＭＤＣＴドメイン上の信号であり、付加情報がＱＭＦドメイン上の信号である場合が考えられる。サブバンド符号化のためには、エイリアシングを引き起こすことなく帯域をフィルターバンクで分割し、低いサンプリング周波数にする。周波数分割に使われるフィルターの１つが、直交ミラーフィルターＱＭＦ（Quadrature Mirror Filter）である。エイリアシングを相殺させながら高い効率が得られる周波数分割方法の他の方法として、ＭＤＣＴ（Modified Discrete Cosine Transform；変形離散余弦変換）方法がある。ＭＤＣＴは、５１２サンプルを一度に時間信号から周波数信号に変換する方法であり、ＦＦＴのような高速アルゴリズムを用いて乗算回数などを大幅に減らすことができる。ＱＭＦドメイン上の信号は、ＱＭＦにより周波数分割されて変換された信号を意味し、ＭＤＣＴドメイン上の信号は、ＭＤＣＴ方法により周波数分割されて変換された信号を意味する。ＭＤＣＴ方法を用いて付加情報をＭＤＣＴドメインに変換したり、ＱＭＦ方法を用いてミックス信号をＱＭＦドメインに変換したり、または、他の方法を用いてミックス信号と付加情報を同一ドメイン上の信号に変換することができる。

リミックスレンダリング部４１０４は、ミックス信号ドメイン変換部４１０３から受け取ったミックス信号と付加情報ドメイン変換部４１０６から受け取った同一ドメインの付加情報及びユーザミックスパラメータを用いてリミックス信号を生成する。逆ドメイン変換部４１０５は、リミックス信号を人が知覚できるように時間ドメインに変換して出力する。

図４２は、本発明の一実施例による第２２の信号処理装置のブロック図である。図４２の実施例は、付加情報のドメインのみを変換するという点が、ミックス信号に対するドメイン変換を行なう図４０及び図４１の実施例と区別される。図４２を参照すると、デコーディング装置は、ミックス信号デコーディング部４２０１、付加情報デコーディング部４２０２、付加情報ドメイン変換部４２０３及びリミックスレンダリング部４２０４を含む。

ミックス信号と付加情報のドメインが異なる場合、第２２の信号処理装置は、リミックス信号を生成するためにミックス信号と付加情報のドメインを一致させる。ミックス信号と付加情報をいずれもドメイン変換したり、または、ミックス信号を付加情報のドメインに変換したりしても良いが、ミックス信号はそのままにし、付加情報のドメインをミックス信号のドメインに変換しても良い。付加情報は、ミックス信号よりも情報量が少ないので、付加情報をミックス信号のドメインに変換すると、ミックス信号を付加情報のドメインに変換することに比べて演算量が減少する。ミックス信号デコーディング部４２０１はミックス信号を受信し、これを復号化してリミックスレンダリング部４２０４に送る。付加情報デコーディング部４２０１は、付加情報を受信しこれを復号化する。付加情報ドメイン変換部４２０３は、付加情報をミックス信号と同じドメイン、例えば、サブバンドドメインに変換する。リミックスレンダリング部４２０４は、同じドメイン上のミックス信号、付加情報及びユーザミックスパラメータを用いてリミックス信号を生成する。

図４３は、本発明の一実施例による第２３の信号処理装置のブロック図である。図４３を参照すると、第２３の信号処理装置は、ミックス信号デコーディング部４３０１、付加情報デコーディング部４３０２及びリミックスレンダリング部４３０４を含む。デコーディング装置は、ミックス信号と付加情報を受信する。ミックス信号デコーディング部４３０１はミックス信号を復号化し、付加情報デコーディング部４３０２は付加情報を復号化する。ミックス信号と付加情報のドメインが同一なので、デコーディング装置は、別のドメイン変換を行なわない。リミックスレンダリング部４３０４は、復号化されたミックス信号、復号化された付加情報及びユーザミックスパラメータを用いてリミックス信号を生成する。ミックス信号と付加情報のドメインが同一なことからドメイン変換を行なわないので、ドメイン変換に要求される演算量及び複雑さが減少する。

図４４は、本発明の一実施例による第２４の信号処理装置のブロック図である。図４４を参照すると、第２４の信号処理装置は、ミックス信号デコーディング部４４０１、付加情報デコーディング部４４０５，４４０２、付加情報ドメイン変換部４４０３及びリミックスレンダリング部４４０４を含む。このデコーディング装置は、ミックス信号と付加情報のドメインが同一か否か判断する。ミックス信号と付加情報のドメインが同一でない場合、デコーディング装置は、付加情報デコーディング部４４０２及び付加情報ドメイン変換部４４０３を用いて付加情報をドメイン変換する。デコーディング装置は、付加情報ドメイン変換部４４０３を用いて付加情報のドメインをミックス信号のドメインと同じドメインに変換する。

ミックス信号と付加情報のドメインが同一な場合、デコーディング装置は、付加情報デコーディング部４４０６を用いて付加情報を処理する。付加情報デコーディング部４４０６は、付加情報を復号化し、復号化した付加情報をリミックスレンダリング部４４０４に送る。リミックスレンダリング部４４０４は、付加情報、ミックス信号及びユーザミックスパラメータを用いてリミックス信号を生成する。

図４５は、本発明の一実施例による信号処理方法を示すフローチャートである。図４５を参照すると、信号処理装置は、ミックス信号、付加情報及びユーザミックスパラメータを獲得する（Ｓ４５０1）。信号処理装置は、ミックス信号と付加情報が同一ドメイン上の信号か否か判断する（Ｓ４５０2）。デコーディング装置は、ミックス信号と付加情報のドメインが同一な場合、ミックス信号及び付加情報をそれぞれ復号化し、復号化されたミックス信号、付加情報及びユーザミックスパラメータを用いてリミックス信号を生成する（Ｓ４５０4）。

デコーディング装置は、ミックス信号と付加情報のドメインが同一でない場合、ミックス信号のドメインと付加情報のドメインを一致させる（Ｓ４５０3）。デコーディング装置は、ミックス信号と付加情報をそれぞれドメイン変換して同一ドメインに変換したり、または、ミックス信号のドメインを付加情報のドメインに変換できる。また、デコーディング装置は、付加情報のドメインをミックス信号のドメインに変換しても良い。ドメインが変換され、ミックス信号のドメインと付加情報のドメインが同一になった場合、デコーディング装置は、ミックス信号、付加情報及びユーザミックスパラメータを用いてリミックス信号を生成する（Ｓ４５０4）。

図４６は、本発明の一実施例による第２５の信号処理装置のブロック図である。図４６を参照すると、第２５の信号処理装置は、付加情報処理部４６０３を含む。第２５の信号処理装置は、ミックス信号４６０１を直接デコーディング装置に伝送しても良いが、ミックス信号４６０１が複数である場合は、ミックス信号４６０１を１つまたは２つのダウンミックス信号にダウンミキシングして伝送しても良い。図示してはいないが、ミックス信号の伝送効率のためにミックス信号４６０１は符号化して伝送されることができる。

付加情報処理部４６０３は、ミックス信号４６０１及びソース信号４６０２を用いて付加情報を生成する。ソース信号４６０２はミックス信号４６０１に含まれていても良く、ミックス信号４６０１に含まれていない別のソース信号であっても良い。

付加情報処理部４６０３は、生成された付加情報を変形することができる。すなわち、付加情報処理部４６０３は、付加情報を正規化（normalization）したり、または、付加情報の一部をデフォルト値に定めることによって付加情報量を減らすことができる。付加情報処理部４６０３は、変形された付加情報をエンコーディングしてデコーディング装置に伝送する。

付加情報変形部４７０８は、サブバンド別付加情報４７０７を変形する。すなわち、付加情報変形部４７０８は、サブバンド別付加情報４７０７を新しいゲインファクター及び新しいショート−タイムサブバンドパワーなどのような新しい付加情報４７０９に変形する。付加情報変形部４７０８は、新しい付加情報４７０９を用いて表現されるミックス信号が元のミックス信号４７０１と同じ値を持つように付加情報を変形する。すなわち、ゲインファクターとソース信号との積で表現されるミックス信号４７０１は、値は同一であるが新しいゲインファクターと新しいソース信号を用いて「’」のように表現できる。

この時、新しいゲインファクターａ_i’，ｂ_i’のうち１つをデフォルト値に設定すると、エンコーディング装置は、デフォルト値に設定されたゲインファクターを伝送する必要がなくなる。エンコーディング装置は、付加情報をより量子化及び符号化に適合した他の値に変換することもできる。付加情報エンコーディング部４７１０は、変形された付加情報４７０９をエンコーディングしてデコーディング装置に伝送したり、または、変形された付加情報４７０９を量子化及び符号化に適合した値に変換した後、これをエンコーディングしてデコーディング装置に伝送する。

図４８は、本発明の一実施例による第２６の信号処理装置のブロック図である。図４８を参照すると、第２６の信号処理装置は、ダウンミキシング部４８０２及び付加情報処理部４６０３を含み、付加情報処理部４６０３は、付加情報生成部４８０３、付加情報変形部４８０４及び付加情報エンコーディング部４８０５を含む。図４７に示す第２５の信号処理装置と図４８に示す第２６の信号処理装置の差異点は、付加情報を生成するために用いられる情報にある。図４７に示す第２５の信号処理装置は、ソース信号及びミックス信号を用いて付加情報を生成するが、図４８に示す第２６の信号処理装置は、ソース信号のみを用いて付加情報を生成する。

ダウンミキシング部４８０２は、ソース信号４８０１をダウンミキシングしてデコーディング装置に伝送する。付加情報処理部４６０３は付加情報を生成し、これをエンコーディングしてデコーディング装置に伝送する。付加情報生成部４８０３は、ソース信号４８０１の全部または一部を用いて付加情報を生成できる。付加情報変形部４８０４は、付加情報生成部４８０３が生成した付加情報を、伝送効率などのために新しい付加情報に変形する。付加情報変形部４８０４は、変形された付加情報を量子化及びエンコーディングなどに適合した値に変換することができる。付加情報エンコーディング部４８０５は、変形された付加情報をエンコーディングしてデコーディング装置に伝送したり、または、変形された付加情報を量子化などのために変換した後、変換された付加情報をエンコーディングしてデコーディング装置に伝送する。

また、ミックス信号を構成するのに発生しうる信号間の干渉現象の影響を相殺するために、下の式２５のような値を伝送することができる。

付加情報は、前述したゲインファクター、ショート−タイムサブバンドパワー、時間遅延情報、相関情報、ミックス情報の他にも様々な情報を含むことができる。例えば、付加情報がミックス信号と一緒に生成されない場合、時刻同期などの不一致によって再生に問題が生じることがある。したがって、付加情報にタイミング情報を含むことができる。また、タイミング情報は、ミックス信号に含まれたり、または、付加情報及びミックス信号に全て含まれることができる。したがって、タイミング情報を用いて付加情報がミックス信号と一緒に再生される時にシンク問題を解決できる。ここで、タイミング情報は実時間または相対的時間に対する情報でありうる。または、タイミング情報は、ミックス信号の特性によって判断できる情報を含む。

同一ソースでもってミックスしたミックス信号であっても、ミックス方法や符号化方法によって信号間に差が発生することがある。例えば、ＣＤに収録された音楽とＭＰ３に変換された音楽間には時刻同期などで差が発生する場合がある。このような場合、ＭＰ３と一緒に多重化された付加情報はＣＤに用いられる場合に時刻同期などの問題から再生の正確度に影響を与えることがある。このような場合、多重化された信号と付加情報を新しく用いる信号と比較し、付加情報を新しく用いる信号に合うように変形することも可能である。

図５０は、本発明の一実施例による付加情報を、新しく適用するミックス信号に合わせて変換するトランスコーダである。図５０を参照すると、入力１ ５００１は多重化された信号であり、入力２ ５００２は付加情報を新しく適用するミックス信号である。場合によって、入力１ ５００１を、ミックス信号と付加情報が共に入力することができる。トランスコーダ５００３は、入力１ ５００１に含まれたミックス信号と入力２ ５００２のミックス信号とを比較し、それに基づいて付加情報を変換する役割を果たす。出力５００４は、変換された付加情報であっても良く、または、入力２の信号と付加情報が多重化されて出力されても良い。

また、エンコーディング装置で付加情報を生成する時、アプリケーション（application）によって付加情報の量を調節することが可能である。例えば、特定オブジェクトをミューティング可能なアプリケーションが、特定オブジェクトをパニングのみするアプリケーションに比べてより多くの情報を必要とする。したがって、付加情報を生成するエンコーディング装置から音質を保障できる最大制御に対するガイド情報を、デコーディング装置に提供することができる。ガイド情報を、全てのソース信号に同一に適用したり、または、各ソース信号ごとに独立して適用することができる。

また、付加情報には、モノまたは多チャネルの特定チャネルを指示する識別子を含むことができる。マルチソースが入力され、ミックス信号及び付加情報が生成される場合を仮定する。マルチソースはソースによってモノであっても、２個のチャネルを持つステレオであっても、または２個を超えるチャネルを持つマルチチャネルであっても良い。ソースがマルチチャネルを持つ場合、各チャネルを独立したソースと仮定して処理することが可能である。

例えば、ステレオチャネルを持つソースの場合、Ｋ番目の入力ソースがモノであり、Ｋ＋１番目の入力ソースがステレオである場合を考えることができる。この場合に、Ｋ番目の入力ソースがｎ番目の処理ソースであるとすれば、Ｋ＋1番目の入力ステレオソースの最初のチャネルはｎ＋1番目の処理ソースと認識し、Ｋ＋１番目の入力ステレオソースの２番目のチャネルはｎ＋２番目の処理ソースと認識し、１つの入力ソースをチャネル別にそれぞれ１つの処理ソース、すなわち、２つの処理ソースと認識して符号化することが可能である。

このような場合、合計Ｎ個の処理ソースが存在する場合、各処理ソースのタイプをビット列に含める必要がある。例えば、ｎ番目の処理ソースはモノ信号であり、ｎ＋１番目の処理ソースはステレオソースの１番目のチャネルに対応し、ｎ＋２番目の処理ソースはｎ＋１番目の処理ソースと一緒に構成されるステレオソースの２番目のチャネルに対応することを表す情報を伝送する必要がある。ここで、ステレオソースの処理ソースが常に隣接して伝送されるとすれば、処理ソースタイプは、モノ、１番目のチャネル、２番目のチャネルのように３種類に制限されることがわかる。

図５１は、本発明の一実施例による第２７の信号処理装置のブロック図である。図５１を参照すると、第２７の信号処理装置は、逆多重化部５１０２、ミックス信号デコーディング部５１０５、付加情報デコーディング部５１０４、付加情報復元部５１０５、及びリミックスレンダリング部５１０６を含む。

多重化されたミックス信号及び第１付加情報５１０１が逆多重化部５１０２に入力されると、逆多重化部５１０２は、符号化されたミックス信号と第１付加情報を分離し、符号化されたミックス信号はミックス信号デコーディング部５１０３に伝送され、符号化された第１付加情報は付加情報デコーディング部５１０４に伝送される。第１付加情報は、ミックス信号をリミックスするのに用いられる第２付加情報を変形した情報のことを指す。

ミックス信号デコーディング部５１０３は、符号化されたミックス信号を復号化してミックス信号を生成し、付加情報デコーディング部５１０４は、符号化された第１付加情報を復号化して第１付加情報を生成する。その後、付加情報復元部５１０５は、生成された第１付加情報を元の第２付加情報に復元する。付加情報復元部５１０５は選択的に存在する。すなわち、本発明による第２７の信号処理装置は、第１付加情報を用いてリミックス信号を生成するように構成されても良く、第２付加情報を用いてリミックス信号を生成するように構成されても良い。第１付加情報または第２付加情報、及び復号化されたミックス信号は、リミックスレンダリング部５１０６に伝送される。リミックスレンダリング部５１０６は、第１付加情報または第２付加情報、ミックス信号及びユーザミックスパラメータを用いてリミックス信号５１０７を生成できる。ユーザミックスパラメータは、ユーザから獲得された制御情報を用いて生成することができる。

図５２は、本発明の一実施例による信号処理方法を示すフローチャートである。図５２を参照すると、付加情報生成部４９０１は、ミックス信号またはソース信号を用いて付加情報を生成する（Ｓ５２０１）。付加情報変形部４９０２は、生成された付加情報を変形する（Ｓ５２０２）。付加情報転換部４９０３は、変形された付加情報を他の形態に変換する（Ｓ５２０３）。付加情報量子化部４９０４は、変換された付加情報を量子化する（Ｓ５２０４）。付加情報エンコーディング部４９０５は、量子化された付加情報をエンコーディングしてデコーディング装置に伝送する（Ｓ５２０５）。

図５３は、本発明の一実施例による信号処理方法を示すフローチャートである。図５３を参照すると、本発明による信号処理装置は、変形された付加情報を受信する（Ｓ５３０１）。変形された付加情報は、変形されたゲインファクター及び変形されたサブバンドパワーを含む。前述したように、変形されたゲインファクターのうち１つの値は特定値にデフォルトされているので、デコーディング装置は、変形された付加情報のうちデフォルトされなかったゲインファクター及びサブバンドパワーのみを受信すればよい。

エンコーディング装置が付加情報を変形すると、それによってソース信号も変形されるので、新しいソース信号が生成されたと見なすことができる。したがって、エンコーディング装置は、新しく生成されたソース信号及び新しく生成されたソース信号に対する付加情報を伝送することとなる。エンコーディング装置が付加情報を変形する場合、ゲインファクターとソース信号がいずれも変形されるので、ゲインファクターとソース信号との積で構成されるミックス信号は、元の信号と同一である。デコーディング装置は変形された付加情報を受信してこれをデコーディングする。その後、変形された付加情報を用いて元の付加情報を生成する。デコーディング装置には、ユーザが提供する制御情報を入力することができる。

その後、変形された付加情報は、元の付加情報に復元される（Ｓ５３０２）。場合によっては、元の付加情報に復元せずに、変形された付加情報を直接利用しても良い。デコーディング装置は、ミックス信号、制御情報、元の付加情報を用いてリミックス信号を生成できる（Ｓ５３０３）。また、本発明によるデコーディング装置は、元の付加情報ではなく変形された付加情報を用いてリミックス信号を生成することも可能である。デコーディング装置が生成するリミックス信号は、エンコーディング装置の付加情報の変形の有無と関係がない。

以上ではいくつかの実施例に挙げて本発明を具体的に説明してきたが、これら実施例は本発明を理解を助けるために提示されたもので、本発明の範囲がこれら実施例に制限されることはない。当業者には本発明の技術的思想の範囲内で様々な変形が可能であるということが理解でき、したがって、本発明の範囲は、添付した特許請求の範囲によって定められるべきである。

Claims (24)

1. ソース信号を含むミックス信号及び該ミックス信号の付加情報を受信する段階と、
   前記ミックス信号と、前記ソース信号と、前記付加情報とのうち１つ以上を用いて、統合ソース信号に対応する統合付加情報を生成する段階であって、前記統合付加情報は、前記統合ソース信号の間の関係情報を含む段階と、
   前記統合ソース信号を制御するための統合制御情報を受信する段階と、
   前記統合付加情報と、前記統合制御情報と、前記ミックス信号とに基づいて、リミックス信号を生成する段階と、を有し、
   前記統合ソース信号は、２以上のソース信号をグルーピングすることによって生成され、
   前記付加情報は、前記ソース信号が前記ミックス信号にダウンミックスされるときに生成されることを特徴とする信号処理方法。
2. 前記統合付加情報は、前記統合ソース信号と前記ミックス信号との間の関係情報、及び前記統合ソース信号に対応するエネルギー情報のうち１つ以上を含むことを特徴とする、請求項１に記載の信号処理方法。
3. 前記２以上のソース信号を用いて前記統合ソース信号を生成する段階をさらに含むことを特徴とする、請求項１に記載の信号処理方法。
4. グルーピング選択信号を受信する段階をさらに含み、
   前記統合付加情報を生成する段階は、前記グルーピング選択信号に基づいて行われることを特徴とする、請求項１に記載の信号処理方法。
5. 合成ソース信号を受信する段階と、
   前記統合付加情報及び前記統合制御情報を用いて、前記ミックス信号及び前記合成ソース信号のうち１つ以上をデコーディングする段階と、をさらに含み、
   前記統合制御情報は、前記統合ソース信号に適用可能であることを特徴とする、請求項１に記載の信号処理方法。
6. 前記統合付加情報及び前記統合制御情報を用いてアップミックスパラメータを生成する段階をさらに含み、前記アップミックスパラメータは前記ミックス信号をアップミックスすることによって前記リミックス信号を生成するために用いることができることを特徴とする、請求項１に記載の信号処理方法。
7. ソース信号を含むミックス信号と、該ミックス信号の付加情報と、統合ソース信号を制御するための統合制御情報とを受信する受信部と、
   前記ミックス信号及び前記ソース信号のうち１つ以上を用いて、前記統合ソース信号に対応する統合付加情報を生成する統合付加情報生成部と、
   前記統合付加情報と、前記統合制御情報と、前記ミックス信号とに基づいてリミックス信号を生成するリミキシング部と、を備え、
   前記統合ソース信号は、２以上のソース信号をグルーピングすることによって生成され、
   前記付加情報は、前記ソース信号が前記ミックス信号にダウンミックスされるときに生成されることを特徴とする信号処理装置。
8. 前記統合付加情報は、前記統合ソース信号と前記ミックス信号との間の関係情報、及び前記統合ソース信号に対応するエネルギー情報のうち１つ以上を含むことを特徴とする、請求項７に記載の信号処理装置。
9. 前記統合ソース信号は、前記２以上のソース信号を用いて生成されることを特徴とする、請求項７に記載の信号処理装置。
10. 前記受信部はグルーピング選択信号を受信し、
    前記統合付加情報の生成は、前記グルーピング選択信号に基づいて行われることを特徴とする、請求項７に記載の信号処理装置。
11. 前記受信部は合成ソース信号を受信し、
    前記リミキシング部は、前記統合付加情報及び前記統合制御情報を用いて、前記ミックス信号及び前記合成ソース信号のうち１つ以上をデコーディングし、
    前記統合制御情報は、前記統合ソース信号に適用可能であることを特徴とする、請求項７に記載の信号処理装置。
12. 前記統合付加情報及び前記統合制御情報を用いてアップミックスパラメータを生成するアップミックスパラメータ生成部をさらに備え、前記アップミックスパラメータは前記ミックス信号をアップミックスすることによって前記リミックス信号を生成するために用いることができることを特徴とする、請求項７に記載の信号処理装置。
13. ソース信号を含むミックス信号のうち１つ以上を受信する段階と、
    統合ソース信号に対応する統合付加情報を受信する段階であって、該統合付加情報は前記統合ソース信号の間の関係情報を含む、段階と、
    前記統合ソース信号を制御するための統合制御情報を受信する段階と、
    前記統合付加情報と、前記統合制御情報と、前記ミックス信号とに基づいてリミックス信号を生成する段階と、を有し、
    前記統合ソース信号は、２以上のソース信号をグルーピングすることによって生成されることを特徴とする信号処理方法。
14. 前記統合付加情報は、前記統合ソース信号と前記ミックス信号との間の関係情報、及び前記統合ソース信号に対応するエネルギー情報のうち１つ以上を含むことを特徴とする、請求項１３に記載の信号処理方法。
15. 前記２以上のソース信号を用いて前記統合ソース信号を生成する段階をさらに含むことを特徴とする、請求項１３に記載の信号処理方法。
16. グルーピング選択信号を受信する段階をさらに含み、前記統合付加情報の生成は、前記グルーピング選択信号に基づいて行われることを特徴とする、請求項１３に記載の信号処理方法。
17. 合成ソース信号を受信する段階と、
    前記統合付加情報及び前記統合制御情報を用いて、前記ミックス信号及び前記合成ソース信号のうち１つ以上をデコーディングする段階と、をさらに含み、
    前記統合制御情報は、前記統合ソース信号に適用可能であることを特徴とする、請求項１３に記載の信号処理方法。
18. 前記統合付加情報及び前記統合制御情報を用いてアップミックスパラメータを生成する段階をさらに含み、前記アップミックスパラメータは前記ミックス信号をアップミックスすることによって前記リミックス信号を生成するために用いることができることを特徴とする、請求項１３に記載の信号処理方法。
19. ソース信号を含むミックス信号及び統合ソース信号に対応する統合付加情報を受信する受信部であって、前記統合付加情報は、前記統合ソース信号の間の関係情報を含む、受信部と、
    統合制御情報を受信するリミキシング部であって、前記統合付加情報と、前記統合制御情報と、前記ミックス信号とに基づいてリミックス信号を生成するリミキシング部と、を備え、
    前記統合ソース信号は、２以上のソース信号をグルーピングすることによって生成されることを特徴とする信号処理装置。
20. 前記統合付加情報は、前記統合ソース信号と前記ミックス信号との間の関係情報、及び前記統合ソース信号に対応するエネルギー情報のうち１つ以上を含むことを特徴とする、請求項１９に記載の信号処理装置。
21. 前記統合ソース信号は、前記２以上のソース信号を用いて生成されることを特徴とする、請求項１９に記載の信号処理装置。
22. 前記受信部はグルーピング選択信号を受信し、
    前記統合付加情報の生成は、前記グルーピング選択信号に基づいて行われることを特徴とする、請求項１９に記載の信号処理装置。
23. 前記受信部は合成ソース信号を受信し、
    前記リミキシング部は、前記統合付加情報及び前記統合制御情報を用いて、前記ミックス信号及び前記合成ソース信号のうち１つ以上をデコーディングし、
    前記統合制御情報は、前記統合ソース信号に適用可能であることを特徴とする、請求項１９に記載の信号処理装置。
24. 前記統合付加情報及び前記統合制御情報を用いてアップミックスパラメータを生成するアップミックスパラメータ生成部をさらに備え、前記アップミックスパラメータは前記ミックス信号をアップミックスすることによって前記リミックス信号を生成するために用いることができることを特徴とする、請求項１９に記載の信号処理装置。

Images