WO2010005050A1

WO2010005050A1 - 信号分析装置、信号制御装置及びその方法と、プログラム

Info

Publication number: WO2010005050A1
Application number: PCT/JP2009/062522
Authority: WO
Inventors: 嶋田　修; 野村　俊之
Original assignee: 日本電気株式会社
Priority date: 2008-07-11
Filing date: 2009-07-09
Publication date: 2010-01-14
Also published as: CN102138176B; US20110112843A1; CN102138176A; JPWO2010005050A1; EP2312578A4; EP2312578A1

Abstract

音源信号が混合された入力信号を、音源信号に分離するための分離情報を生成する分離情報計算部を有し、前記入力信号と前記分離情報とを送出することを特徴とする信号分析装置である。

Description

信号分析装置、信号制御装置及びその方法と、プログラム

　本発明は信号分析装置、信号制御装置及びその方法と、プログラムに関する。

　１つまたは複数の音源信号が混合された多チャンネル入力信号を伝送し、受信側で復号信号を制御するシステムとして図１７に示す技術がある。図１７を参照して、関連する技術について説明する。図１７のシステムにおいて、符号化部900が多チャンネル入力信号を符号化することにより、符号化された多チャンネル信号を生成する。多チャンネル信号を符号化する方法としては、非特許文献１に開示されているＡＡＣ方式が知られている。符号化部900は、符号化された多チャンネル信号を伝送信号として出力する。伝送信号は伝送路を介して、復号部910へ供給される。

　復号部910は受信した伝送信号を、多チャンネル復号信号に復号する。そして、復号部910は、多チャンネル復号信号を信号再合成部920へ供給する。ＡＡＣを用いて符号化した場合、復号部910は、ＡＡＣ方式で符号化された情報を復号することにより、多チャンネル復号信号を生成する。信号再合成部920は、多チャンネル復号信号と出力信号情報を受け、出力信号情報に基づいて多チャンネル復号信号を所望の位置に定位させることにより、多チャンネル出力信号を再合成する。そして、信号再合成部920は、多チャンネル出力信号を出力する。多チャンネル出力信号を再合成する方法としては、非特許文献２に開示されているＥｎｈａｎｃｅｄ　Ｍａｔｒｉｘ　Ｍｏｄｅを用いることができる。ここで、出力信号情報は、多チャンネル復号信号と多チャンネル出力信号との関係を表す情報である。

2005年、アイエスオー／アイイシー 14496-3:2005 パート3 オーディオ、（ISO/IEC 14496-3:2005 Part 3 Audio） 2007年、アイエスオー／アイイシー 23003-1:2007 パート1 エムペグ　サラウンド、（ISO/IEC 23003-1:2007 Part 1 MPEG Surround）

　しかしながら、上述の関連する技術では、多チャンネル入力信号を構成する音源信号を独立に制御することができないという問題があった。なぜなら、上述の関連する技術では、音源信号が混合されている多チャンネル入力信号を制御しているのであって、音源信号ごとに制御していないからである。すなわち、多チャンネル入力信号に含まれる特定の音源信号の定位を変更したり、多チャンネル入力信号に含まれる特定の音源信号だけを抑圧または強調するといった制御ができない。

　そこで、本発明は上記課題に鑑みて発明されたものであって、その目的は、多チャンネル入力信号を構成する１つまたは複数の音源信号を独立に制御することのできる信号分析装置、信号制御装置及びその方法と、プログラムを提供することである。

　上記課題を解決する本発明は、音源信号が混合された入力信号を、前記音源信号に分離するための分離情報を生成する分離情報計算部を有し、前記入力信号と前記分離情報とを送出することを特徴とする信号分析装置である。

　上記課題を解決する本発明は、音源信号が混合された入力信号を、前記音源信号に分離するための分離情報と、前記入力信号と前記音源信号との関係を表す再合成情報とを生成する再合成情報計算部と、前記分離情報に基づいて、前記入力信号を前記音源信号に分離することにより分離信号を生成する信号分離部とを有し、前記分離信号と前記再合成情報とを送出することを特徴とする信号分析装置である。

　上記課題を解決する本発明は、音源信号が混合された入力信号を、前記音源信号に分離するための分離情報を生成する分離情報計算部と、前記分離情報に基づいて、前記入力信号を前記音源信号に分離することにより分離信号を生成する信号分離部と、前記分離信号を符号化する符号化部とを有することを特徴とする信号分析装置である。

　上記課題を解決する本発明は、音源信号が混合された混合信号と、前記混合信号を前記音源信号に分離するための分離情報と、特定の音源信号を制御する出力信号情報とを受信する信号制御装置であって、前記出力信号情報と前記分離情報とから、前記音源信号を制御するための分離再合成情報を生成する分離再合成情報生成部と、前記分離再合成情報に基づいて、前記混合信号を修正する信号再合成部とを有することを特徴とする信号制御装置である。

　上記課題を解決する本発明は、音源信号が混合された混合信号をダウンミックスしたダウンミックス信号と、前記ダウンミックス信号と前記混合信号との関係を表す分析情報と、前記混合信号を前記音源信号に分離するための分離情報と、特定の音源信号を制御する出力信号情報とを受信する信号制御装置であって、前記出力信号情報と前記分析情報と前記分離情報とから、前記音源信号を制御するための修正分離再合成情報を生成する分離再合成情報生成部と前記修正分離再合成情報に基づいて、前記ダウンミックス信号を修正する信号再合成部とを有することを特徴とする信号制御装置である。

　上記課題を解決する本発明は、音源信号が混合された混合信号を分離した分離信号と、前記混合信号と前記分離信号との関係を表す再合成情報と、特定の音源信号を制御する出力信号情報とを受信する信号制御装置であって、前記出力信号情報と前記再合成情報とから、前記音源信号を制御するための統合再合成情報を生成する再合成情報統合部と、前記修正分離再合成情報に基づいて、前記分離信号を修正する信号再合成部とを有することを特徴とする信号制御装置である。

　上記課題を解決する本発明は、音源信号が混合された混合信号を分離した分離信号をダウンミックスしたダウンミックス信号と、前記ダウンミックス信号と前記分離信号との関係を表す分析情報と、前記混合信号と前記分離信号との関係を表す再合成情報と、特定の音源信号を制御する出力信号情報とを受信する信号制御装置であって、前記出力信号情報と前記分析情報と前記再合成情報とから、前記音源信号を制御するための修正再合成情報を生成する再合成情報修正部と、前記修正再合成情報に基づいて、前記ダウンミックス信号を修正する信号再合成部とを有することを特徴とする信号制御装置である。

　上記課題を解決する本発明は、音源信号が混合された混合信号を分離した分離信号と、特定の音源信号を制御する出力信号情報とを受信する信号制御装置であって、前記出力信号情報に基づいて前記分離信号を修正する信号再合成部を有することを特徴とする信号制御装置である。

　上記課題を解決する本発明は、音源信号が混合された混合信号を分離した分離信号をダウンミックスしたダウンミックス信号と、前記ダウンミックス信号と前記分離信号との関係を表す分析情報と、特定の音源信号を制御する出力信号情報とを受信する信号制御装置であって、前記出力信号情報と前記分析情報とから、前記音源信号を制御するための修正再合成情報を生成する再合成情報修正部と、前記修正再合成情報に基づいて、前記ダウンミックス信号を修正する信号再合成部とを有することを特徴とする信号制御装置である。

　上記課題を解決する本発明は、音源信号が混合された混合信号と、特定の音源信号を制御する出力信号情報と受信する信号制御装置であって、前記混合信号を前記音源信号に分離するための分離情報を生成する分離情報計算部と、前記出力信号情報と前記分離情報とから、前記音源信号を制御するための分離再合成情報を生成する分離再合成情報生成部と、前記分離再合成情報に基づいて、前記混合信号を修正する信号再合成部とを有することを特徴とする信号制御装置である。

　上記課題を解決する本発明は、音源信号が混合された入力信号を、前記音源信号に分離するための分離情報を生成し、前記入力信号と前記分離情報とを送出することを特徴とする信号分析方法である。

　上記課題を解決する本発明は、音源信号が混合された入力信号を、前記音源信号に分離するための分離情報と、前記入力信号と前記音源信号との関係を表す再合成情報とを生成し、前記分離情報に基づいて、前記入力信号を前記音源信号に分離することにより分離信号を生成し、前記分離信号と前記再合成情報とを送出することを特徴とする信号分析方法である。

　上記課題を解決する本発明は、音源信号が混合された入力信号を、前記音源信号に分離するための分離情報を生成し、前記分離情報に基づいて、前記入力信号を前記音源信号に分離することにより分離信号を生成し、前記分離信号を符号化することを特徴とする信号分析方法である。

　上記課題を解決する本発明は、音源信号が混合された混合信号と、前記混合信号を前記音源信号に分離するための分離情報と、特定の音源信号を制御する出力信号情報とを受信し、前記出力信号情報と前記分離情報とから、前記音源信号を制御するための分離再合成情報を生成し、前記分離再合成情報に基づいて、前記混合信号を修正することを特徴とする信号制御方法である。

　上記課題を解決する本発明は、音源信号が混合された混合信号をダウンミックスしたダウンミックス信号と、前記ダウンミックス信号と前記混合信号との関係を表す分析情報と、前記混合信号を前記音源信号に分離するための分離情報と、特定の音源信号を制御する出力信号情報とを受信し、前記出力信号情報と前記分析情報と前記分離情報とから、前記音源信号を制御するための修正分離再合成情報を生成し、前記修正分離再合成情報に基づいて、前記ダウンミックス信号を修正することを特徴とする信号制御方法である。

　上記課題を解決する本発明は、音源信号が混合された混合信号を分離した分離信号と、前記混合信号と前記分離信号との関係を表す再合成情報と、特定の音源信号を制御する出力信号情報とを受信し、前記出力信号情報と前記再合成情報とから、前記音源信号を制御するための統合再合成情報を生成し、前記修正分離再合成情報に基づいて、前記分離信号を修正することを特徴とする信号制御方法である。

　上記課題を解決する本発明は、音源信号が混合された混合信号を分離した分離信号をダウンミックスしたダウンミックス信号と、前記ダウンミックス信号と前記分離信号との関係を表す分析情報と、前記混合信号と前記分離信号との関係を表す再合成情報と、特定の音源信号を制御する出力信号情報と受信し、前記出力信号情報と前記分析情報と前記再合成情報とから、前記音源信号を制御するための修正再合成情報を生成し、前記修正再合成情報に基づいて、前記ダウンミックス信号を修正することを特徴とする信号制御方法である。

　上記課題を解決する本発明は、音源信号が混合された混合信号を分離した分離信号と、特定の音源信号を制御する出力信号情報とを受信し、前記出力信号情報に基づいて前記分離信号を修正することを特徴とする信号制御方法である。

　上記課題を解決する本発明は、音源信号が混合された混合信号を分離した分離信号をダウンミックスしたダウンミックス信号と、前記ダウンミックス信号と前記分離信号との関係を表す分析情報と、特定の音源信号を制御する出力信号情報とを受信し、前記出力信号情報と前記分析情報とから、前記音源信号を制御するための修正再合成情報を生成し、前記修正再合成情報に基づいて、前記ダウンミックス信号を修正することを特徴とする信号制御方法である。

　上記課題を解決する本発明は、音源信号が混合された混合信号と、特定の音源信号を制御する出力信号情報とを受信し、前記混合信号を前記音源信号に分離するための分離情報を生成し、前記出力信号情報と前記分離情報とから、前記音源信号を制御するための分離再合成情報を生成し、前記分離再合成情報に基づいて、前記混合信号を修正することを特徴とする信号制御方法である。

　上記課題を解決する本発明は、音源信号が混合された入力信号を、前記音源信号に分離するための分離情報を生成する分離情報計算処理を情報処理装置に実行させるプログラムである。

　上記課題を解決する本発明は、音源信号が混合された入力信号を、前記音源信号に分離するための分離情報と、前記入力信号と前記音源信号との関係を表す再合成情報とを生成する再合成情報計算処理と、前記分離情報に基づいて、前記入力信号を前記音源信号に分離することにより分離信号を生成する信号分離処理とを情報処理装置に実行させるプログラムである。

　上記課題を解決する本発明は、音源信号が混合された入力信号を、前記音源信号に分離するための分離情報を生成する分離情報計算処理と、前記分離情報に基づいて、前記入力信号を前記音源信号に分離することにより分離信号を生成する信号分離処理と、前記分離信号を符号化する符号化処理とを情報処理装置に実行させるプログラムである。

　上記課題を解決する本発明は、音源信号が混合された混合信号と、前記混合信号を前記音源信号に分離するための分離情報と、特定の音源信号を制御する出力信号情報とが入力され、前記出力信号情報と前記分離情報とから、前記音源信号を制御するための分離再合成情報を生成する分離再合成情報生成処理と、前記分離再合成情報に基づいて、前記混合信号を修正する信号再合成処理とを情報処理装置に実行させるプログラムである。

　上記課題を解決する本発明は、音源信号が混合された混合信号をダウンミックスしたダウンミックス信号と、前記ダウンミックス信号と前記混合信号との関係を表す分析情報と、前記混合信号を前記音源信号に分離するための分離情報と、特定の音源信号を制御する出力信号情報とが入力され、前記出力信号情報と前記分析情報と前記分離情報とから、前記音源信号を制御するための修正分離再合成情報を生成する分離再合成情報生成処理と、前記修正分離再合成情報に基づいて、前記ダウンミックス信号を修正する信号再合成処理とを情報処理装置に実行させるプログラムである。

　上記課題を解決する本発明は、音源信号が混合された混合信号を分離した分離信号と、前記混合信号と前記分離信号との関係を表す再合成情報と、特定の音源信号を制御する出力信号情報とが入力され、前記出力信号情報と前記再合成情報とから、前記音源信号を制御するための統合再合成情報を生成する再合成情報統合処理と、前記修正分離再合成情報に基づいて、前記分離信号を修正する信号再合成処理とを情報処理装置に実行させるプログラムである。

　上記課題を解決する本発明は、音源信号が混合された混合信号を分離した分離信号をダウンミックスしたダウンミックス信号と、前記ダウンミックス信号と前記分離信号との関係を表す分析情報と、前記混合信号と前記分離信号との関係を表す再合成情報と、特定の音源信号を制御する出力信号情報とが入力され、前記出力信号情報と前記分析情報と前記再合成情報とから、前記音源信号を制御するための修正再合成情報を生成する再合成情報修正処理と、前記修正再合成情報に基づいて、前記ダウンミックス信号を修正する信号再合成処理とを情報処理装置に実行させるプログラムである。

　上記課題を解決する本発明は、音源信号が混合された混合信号を分離した分離信号と、特定の音源信号を制御する出力信号情報とが入力され、前記出力信号情報に基づいて前記分離信号を修正する信号再合成処理を情報処理装置に実行させるプログラムである。

　上記課題を解決する本発明は、音源信号が混合された混合信号を分離した分離信号をダウンミックスしたダウンミックス信号と、前記ダウンミックス信号と前記分離信号との関係を表す分析情報と、特定の音源信号を制御する出力信号情報とが入力され、前記出力信号情報と前記分析情報とから、前記音源信号を制御するための修正再合成情報を生成する再合成情報修正処理と、前記修正再合成情報に基づいて、前記ダウンミックス信号を修正する信号再合成処理とを情報処理装置に実行させるプログラムである。

　上記課題を解決する本発明は、音源信号が混合された混合信号と、特定の音源信号を制御する出力信号情報とが入力され、前記混合信号を前記音源信号に分離するための分離情報を生成する分離情報計算処理と、前記出力信号情報と前記分離情報とから、前記音源信号を制御するための分離再合成情報を生成する分離再合成情報生成処理と、前記分離再合成情報に基づいて、前記混合信号を修正する信号再合成処理とを情報処理装置に実行させるプログラムである。

　本発明によれば、出力信号情報に基づいて、多チャンネル入力信号を構成する１つまたは複数の音源信号を独立に制御することができる。

図１は本発明の第一の実施の形態を示すブロック図である。図２は分離再合成情報生成部320の構成例である。図３は本発明の第二の実施の形態を示すブロック図である。図４は低ビットレート符号化部400の構成例である。図５は分離再合成情報生成部420の構成例である。図６は本発明の第三の実施の形態を示すブロック図である。図７は再合成情報計算部510の第一の構成例である。図８は再合成情報計算部510の第二の構成例である。図９は本発明の第四の実施の形態を示すブロック図である。図１０は再合成情報修正部620の構成例である。図１１は本発明の第五の実施の形態を示すブロック図である。図１２は本発明の第六の実施の形態を示すブロック図である。図１３は低ビットレート符号化部210の構成例である。図１４は本発明の第七の実施の形態を示すブロック図である。図１５は本発明の第八の実施の形態を示すブロック図である。図１６は本発明の第九の実施の形態を示すブロック図である。図１７は本発明に関連する技術を示すブロック図である。

　本発明の信号分析制御システムの実施の形態について図面を参照して詳細に説明する。

　＜第一の実施の形態＞
　図１を参照し、本発明の信号分析制御システムの第一の実施の形態について説明する。本発明の信号分析制御システムは、送信部30と受信部31とが伝送路を介して接続された構成である。送信部30は、１つまたは複数の音源信号が混合された多チャンネル入力信号を受信し、伝送信号を出力する。伝送信号は、伝送路を介して、受信部31に入力される。受信部31は、伝送信号と出力信号情報を受信し、多チャンネル出力信号を出力する。また、送信部、伝送路、受信部をそれぞれ、録音部、蓄積媒体、再生部としてもよい。

　以下、本発明の説明では、複数の音源信号が混合された多チャンネル入力信号の場合について説明するが、本発明は、1つの音源信号が混合された多チャンネル入力信号の場合についても適用できる。

　多チャンネル入力信号を、例えば、複数のマイクロホンで取得した場合、多チャンネル入力信号には、複数のマイクロホンの設置位置や指向性の情報を含むことができる。また、多チャンネル入力信号がデジタル信号の場合には、サンプリング周波数の情報を含むことができる。これら情報は、後述する多チャンネル入力信号を音源信号に分離するための情報を算出するさいに、利用することができる。

　送信部30は、複数の音源信号が混合された多チャンネル入力信号を受信し、伝送信号を出力する。送信部30は、分離情報計算部102、符号化部300から構成される。多チャンネル入力信号は、分離情報計算部102と符号化部300に入力される。分離情報計算部102は、多チャンネル入力信号を複数の音源信号に分離するための分離情報を生成する。そして、分離情報計算部102は、分離情報を符号化部300に出力する。符号化部300は、多チャンネル入力信号と、分離情報計算部102から受信した分離情報を符号化することにより、伝送信号を生成する。そして、符号化部300は、伝送信号を伝送路に出力する。

　受信部31は、伝送信号と出力信号情報を受信し、多チャンネル出力信号を出力する。受信部31は、復号部310と分離再合成情報生成部320と信号再合成部330から構成される。伝送信号は復号部310に入力される。出力信号情報は分離再合成情報生成部320に入力される。まず、復号部310は、受信した伝送信号を、多チャンネル復号信号と復号分離情報とに復号する。続いて、復号部310は、多チャンネル復号信号を信号再合成部330に、復号分離情報を分離再合成情報生成部320に、それぞれ出力する。分離再合成情報生成部320は、出力信号情報と、復号部310から受信した復号分離情報を統合することにより、分離再合成情報を生成する。そして、分離再合成情報生成部320は、分離再合成情報を信号再合成部330に出力する。信号再合成部330は、分離再合成情報生成部320から受信した分離再合成情報に基づいて、復号部310から受信した多チャンネル復号信号を修正することにより、多チャンネル出力信号を再合成する。信号再合成部330は、多チャンネル出力信号を出力する。

　出力信号情報は、多チャンネル入力信号に含まれる複数の音源信号を複数の出力チャネルにそれぞれ出力するための情報である。つまり、出力信号情報は、各音源信号と多チャンネル出力信号との関係を周波数成分毎に表した情報である。例えば、出力信号情報は、各音源信号の定位情報を含んでいても良い。出力信号情報は、音像をぼかしたりして定位感を操作するための情報を含んでいてもよい。出力信号情報を利用することにより、音源信号ごとに各出力チャネルへの出力信号を制御することができる。各音源信号は、特定の1つの出力チャネル（例えばスピーカ）から出力してもよいし、複数の出力チャネルに分配して出力してもよい。例えば、特定の音源信号を特定の出力チャネルのみから出力させることにより、明確に定位させることができ、臨場感を向上させることができる。また、特定の音源信号を抑圧または強調してもよい。

　出力信号情報は、利用者によって外部から得られる情報に基づいて入力してもよい。例えば、外部から入力される情報としては、受信部に予め登録されていた利用者の嗜好などの個人情報、受信部の動作状態（スピーカをオフにしてあるなどの外部環境情報を含む）、受信部の種類や形式、電源や電池の利用状態や残量、アンテナの種類や状態（折りたたまれているなどの形状、向きなど）がある。また、出力信号情報は、別の形式で自動的に獲得されることとしてもよい。出力信号情報は、受信部内部または近傍に設置されたセンサを経由して、自動的に獲得される情報を元に入力してもよい。例えば、自動的に獲得される情報として、外部雑音量、明るさ、時間帯、地理的な位置、気温、映像との同期情報、カメラを通じたバーコード情報などを用いてもよい。

　出力信号情報は、各音源信号の代わりに、複数の音源信号からなる音源信号群を単位とした情報でもよい。また、出力信号情報は、周波数成分毎に表した情報の代わりに、複数の周波数成分を単位とした情報でもよいし、全周波数成分をまとめた情報でもよい。

　続いて、図10における分離情報計算部102の構成例を詳細に説明する。分離情報計算部102は、受信した多チャンネル入力信号を分析することにより、分離情報を生成する。そして、分離情報計算部102は、分離情報を出力する。分離情報は、多チャンネル入力信号と音源信号の関係を表す情報であり、多チャンネル入力信号を複数の音源信号に分離するために利用される。分離情報を生成する方法として、ブラインド信号源分離（Blind Source Separation）や、独立成分分析（Independent Component Analysis）と呼ばれる手法を用いることができる。ブラインド信号源分離および独立成分分析の方法に関連する技術は、文献１(2005年、「スピーチ・エンハンスメント」、シュプリンガー、（Speech Enhancement, Springer, 2005, pp. 299 - 327）、299ページから327ページ。)に開示されている。

　以下、分離情報計算部102の動作例を説明する。まず、分離情報計算部102は、複数の入力信号サンプルをまとめて、１ブロックを構成し、このブロックに対して周波数変換を適用する。周波数変換の例としては、フーリエ変換、コサイン変換、ＫＬ（カルーネンレーベ）変換などが知られている。これらの変換の具体的な演算に関連する技術及びその性質は、文献２（1990 年、「ディジタル・コーディング・オブ・ウェーブフォームス」、プレンティス・ホール (DIGITAL CODING OF WAVEFORMS, PRINCIPLES AND APPLICATIONS TO SPEECH AND VIDEO, PRENTICE-HALL, 1990.)）に開示されている。また、１ブロックの入力信号サンプルを窓関数で重み付けした結果に対して、前述の変換を適用することができる。このような窓関数としては、ハミング、ハニング（ハン）、ケイザー、ブラックマンなどの窓関数が知られている。また、さらに複雑な窓関数を用いることもできる。これらの窓関数に関連する技術は、文献３（1975 年、「ディジタル・シグナル・プロセシング」、プレンティス・ホール (DIGITAL SIGNAL PROCESSING, PRENTICE-HALL, 1975.)）及び文献４（1993 年、「マルチレートシステムズ・アンド・フィルタバンクス」、プレンティス・ホール (MULTIRATE SYSTEMS AND FILTER BANKS, PRENTICE-HALL, 1993.)）に開示されている。さらに、複数の入力信号サンプルから１ブロックを構成する際に、各ブロックに重なり（オーバラップ）を許容してもよい。例えば、ブロック長の30％のオーバラップを適用する場合には、あるブロックに属する信号サンプルの最後30％は、次のブロックに属する信号サンプルの最初30％として複数のブロックで重複して用いられる。オーバラップを有するブロック化と変換に関連する技術は、文献２に開示されている。

　さらに、他の周波数変換の例としては、帯域分割フィルタバンクで構成してもよい。帯域分割フィルタバンクは、複数の帯域通過フィルタから構成される。帯域分割フィルタバンクは、受信した入力信号を複数の周波数帯域に分割する。帯域分割フィルタバンクの各周波数帯域は等間隔であってもよいし、不等間隔であってもよい。不等間隔に帯域分割することによって、低域では狭帯域に分割して時間分解能を低く、高域では広い帯域に分割して時間分解能を高くすることができる。不等間隔分割の代表例には、低域に向かって帯域が逐次半分になるオクターブ分割や人間の聴覚特性に対応した臨界帯域分割などがある。帯域分割フィルタバンクとその設計法に関連する技術は、文献４に開示されている。

　続いて、分離情報計算部102は、上述の方法で周波数変換した多チャンネル入力信号を用いて分離情報を生成する。ある周波数帯域fにおける多チャンネル入力信号の周波数成分をX_i(f), i=1,2,…M (Mは入力チャンネル数)、分離信号の周波数成分をY_i(f), i=1,2,…P (Pは音源信号数)とし、分離行列の周波数成分をW(f)とすると、

となる分離行列W(f)を計算する。ここで、分離行列W(f)は、

となるP行M列の行列である。分離信号Y_i(f)は一般的に未知であるため、分離信号Y_i(f)の独立性を最大化するような分離行列W(f)を計算する。分離行列W(f)の計算法に関連する技術は、文献１に開示されている。分離情報計算部102は、各周波数帯域で算出した分離行列W(f)を分離情報として出力する。

　次に、図１における符号化部300の構成例を詳細に説明する。符号化部300は、多チャンネル入力信号と分離情報を受信し、多チャンネル入力信号と分離情報を符号化することにより、符号化された多チャンネル入力信号と符号化された分離情報を伝送信号として生成する。そして、符号化部300は、伝送信号を伝送路に出力する。

　まず、多チャンネル入力信号の符号化の具体例を説明する。符号化部300は、多チャンネル入力信号を、ＡＡＣなどの符号化方法を用いて符号化することができる。ＡＡＣを用いた場合、多チャンネル入力信号は周波数変換された後、マスキング効果などの聴覚特性とハフマン符号化を利用して周波数変換された信号の冗長性が除去され、符号化された多チャンネル入力信号が生成される。

　続いて、分離情報の符号化の具体例を説明する。符号化部300は、分離情報である分離行列W(f)を量子化および符号化することにより、符号化された分離情報を生成する。量子化方法としては、線形量子化、非線形量子化などの量子化方法が知られている。量子化された分離情報は、ハフマン符号化などを用いて冗長性を取り除くことができる。さらに、分離情報の冗長性を除去するために、可聴限界周波数などの聴覚特性を利用することができる。例えば、聴覚上認知され難い高周波数帯域の分離情報は量子化および符号化しなくても良い。さらに、分離情報の冗長性を除去する方法として、臨界帯域幅などの聴覚特性を利用して分離情報を複数の周波数帯域で統合してから量子化および符号化することができる。統合する周波数帯域の間隔は等間隔であってもよいし、不等間隔であってもよい。不等間隔に帯域分割することによって、低域では狭帯域に分割して、高域では広い帯域に分割して、聴覚特性に合わせることができる。全ての、周波数帯域をまとめて1つにしてもよい。統合する方法としては、統合する周波数帯域に含まれる各要素の平均を用いることができる。統合する他の方法として、分離情報が複素数信号である場合、各要素を振幅項と位相項に分けてから統合してもよい。例えば、振幅項は、統合する周波数帯域に含まれる各要素の振幅項の平均を用いて、位相項は統合せずに各要素の位相項をそのまま用いることができる。

　次に、図１における復号部310の構成例を詳細に説明する。復号部310は、受信した伝送信号を多チャンネル復号信号と復号分離情報とに復号する。復号部310は、多チャンネル復号信号を信号再合成部330に、復号分離情報を分離再合成情報生成部320に、それぞれ出力する。

　まず、符号化された多チャンネル入力信号の復号の具体例を説明する。復号部310は、符号化された多チャンネル入力信号を復号することにより、多チャンネル復号信号を生成する。符号化された多チャンネル入力信号の復号は、符号化部300に用いられた多チャンネル入力信号の符号化方法に対応する復号方法を用いる。ＡＡＣを用いた場合、まず、符号化された多チャンネル入力信号はハフマン復号および逆量子化されることにより、複数の周波数成分から構成される各チャンネルの復号変換信号が生成される。そして、各チャンネルの復号変換信号はチャンネルごとに逆周波数変換される。ここで適用する逆周波数変換は、符号化部300において、多チャンネル入力信号に適用した周波数変換に対応する逆変換が用いられる。例えば、符号化部300が、複数の多チャンネル入力信号サンプルをまとめて１ブロックを構成し、このブロックに対して周波数変換を適用するときには、逆周波数変換処理でも、同一数のサンプルに対して対応する逆変換を適用する。また、符号化部300が複数の多チャンネル入力信号サンプルから１ブロックを構成する際に、各ブロックに重なり（オーバラップ）を許容する場合には、これに対応して、逆周波数変換処理でも、逆変換後の信号に対して同一のオーバラップを適用する。さらに、符号化部300を帯域分割フィルタバンクで構成するときには、逆周波数変換を帯域合成フィルタバンクで構成する。帯域合成フィルタバンクとその設計法に関連する技術は、文献４に開示されている。逆周波数変換された信号は、多チャンネル復号信号として出力される。

　続いて、符号化された分離情報の復号の具体例を説明する。復号部310は、符号化された分離情報を復号することにより、復号分離情報を生成する。符号化された分離情報の復号は、符号化部300に用いられた分離情報の符号化方法に対応する復号方法を用いる。符号化された分離情報は、復号および逆量子化されることにより、復号分離情報が生成される。

　次に、図２を参照して、図１における分離再合成生成部320の構成例を詳細に説明する。分離再合成情報生成部320は、復号分離情報と出力信号情報を受信し、分離再合成情報を出力する。分離再合成情報生成部320は、再合成情報変換部321、再合成情報統合部322、合成部323から構成される。復号分離情報は、再合成情報変換部321と合成部323に入力され、出力信号情報は、再合成情報統合部322に入力される。

　再合成情報変換部321は、受信した復号分離情報を変換することにより、復号再合成情報を生成する。そして、再合成情報変換部321は、復号再合成情報を再合成情報統合部322に出力する。ここで、復号再合成情報は、多チャンネル入力信号に含まれる複数の音源信号と多チャンネル入力信号との関係を表す。すなわち、復号再合成情報は、送信部において受信した多チャンネル入力信号に各音源信号がどのように混合されているかを表し、各音源信号の定位情報を含む。

　復号再合成情報を算出する具体的な例を説明する。周波数帯域fにおける復号分離情報の周波数成分をWD(f)とすると、復号再合成情報の周波数成分UD(f)は、UD(f)=WD^-1(f)となり、復号分離情報の逆行列で表すことができる。ここで、復号再合成情報UD(f)は、M行P列の行列であり、Mは多チャンネル入力信号のチャンネル数、Pは音源信号数を表す。

　再合成情報統合部322は、受信した復号再合成情報と出力信号情報を統合することにより、統合再合成情報を生成する。そして、再合成情報統合部322は、統合再合成情報を合成部323に出力する。まず、再合成情報統合部322は、復号再合成情報を変換再合成情報に変換する。変換再合成情報は、多チャンネル入力信号に含まれる複数の音源信号と多チャンネル出力信号との関係を表す。周波数帯域fにおける変換再合成情報の周波数成分UT(f)は、変換行列の周波数成分H(f)と、復号再合成情報の周波数成分UD(f)を用いて、

となる。ここで、M,N,Pはそれぞれ、多チャンネル入力信号のチャンネル数、多チャンネル出力信号のチャンネル数、音源信号数を表す。H(f)は、N行M列の行列であり、UT(f)は、N行P列の行列となる。変換行列は、多チャンネル入力信号のチャンネル構成を多チャンネル出力信号のチャンネル構成に変換する行列である。例えば、多チャンネル入力信号のチャンネル構成と多チャンネル出力信号のチャンネル構成が同一であれば、H(f)は単位行列となり、UT(f)=UD(f)となる。入力チャンネル数のほうが出力チャンネル数より小さい場合には、変換行列はアップミックス動作となる。このとき、入力チャンネル数よりも多い出力チャンネルが無音となるように変換行列を構成してもよいし、複数の入力チャンネルを混合したものとなるように変換行列を構成してもよい。一方で、入力チャンネル数のほうが出力チャンネル数より多い場合には、変換行列はダウンミックス動作となる。ことのき、複数の入力チャンネルを混合したものが出力チャンネルとなるように変換行列を構成してもよいし、特定の入力チャンネルを選択したものが出力チャンネルとなるように変換行列を構成してもよい。変換行列は、あらかじめ定めれた行列を用いてもよいし、多チャンネル入力信号と多チャンネル出力信号の特性に応じて変化する行列を用いてもよい。また、時間の経過とともに変化してもよい。

　続いて、再合成情報統合部322は、変換再合成情報と出力信号情報を統合することにより、統合再合成情報を生成する。そして、再合成情報統合部322は、統合再合成情報を出力する。統合再合成情報は、音源信号と多チャンネル出力信号との関係を表す。統合する方法としては、各音源信号ごとに、変換再合成情報と出力信号情報のどちらの情報を用いるかを選択することにより統合することができる。他の方法として、各音源信号ごとに選択するのではなく、複数の音源信号をまとめた音源信号群を単位として統合してもよい。また、音源信号ごとに選択するのではなく、全音源信号に対して、常にどちらか一方の情報を選択して統合再合成情報として用いてもよい。例えば、常に変換再合成情報を用いることにより、送信者の意図を反映させることができる。

　統合再合成情報算出の具体的な例を説明する。周波数帯域fにおける出力信号情報の周波数成分U(f)と、変換再合成情報の周波数成分UT(f)を次のように表す。

　ここで、Pは、音源信号の個数を表し、Nは、多チャンネル出力信号のチャンネル数を表す。周波数帯域fにおける統合再合成情報の周波数成分をUC(f)とすると、数4を用いて、統合再合成情報の周波数成分UC(f)は、

となる。ここで、UC(f)は、N行P列の行列である。音源信号ごとに出力信号情報または変換再合成情報のどちらを用いるかは、利用者の嗜好に応じて選択してもよいし、あらかじめ決められた方法で選択してもよい。さらに、特定の音源信号に関しては、変換再合成情報を常に選択するといった統合方法を用いてもよい。

　合成部323は、受信した復号分離情報と統合再合成情報を合成することにより、分離再合成情報を生成する。そして、合成部323は、分離再合成情報を出力する。分離再合成情報は、多チャンネル復号信号を各音源信号に分離し、各音源信号ごとに制御するための情報を表す。周波数帯域fにおける復号分離情報の周波数成分をWD(f)、統合再合成情報の周波数成分をUC(f)とすると、分離再合成情報の周波数成分UW(f)は、UW(f)=UC(f)×WD(f)となる。UW(f)は、N行M列となる。

　次に、図１に戻り、信号再合成部330の構成例を詳細に説明する。信号再合成部330は、多チャンネル復号信号と分離再合成情報を受信し、分離再合成情報に基づき、多チャンネル復号信号を構成する複数の音源信号を独立に修正することにより、多チャンネル出力信号を生成する。信号再合成部330は、多チャンネル出力信号を出力する。

　以下、信号再合成部330の動作例を説明する。まず、信号再合成部330は、多チャンネル復号信号を周波数変換する。周波数変換する方法については、分離情報計算部102で説明した周波数変換と同様であるため、説明を省略する。周波数帯域fにおける多チャンネル復号信号の周波数成分をXD_i(f), i=1,2,…M (Mは入力チャンネル数)、分離再合成情報の周波数成分をUW(f)とすると、制御された信号の周波数成分Z_i(f), i=1,2,…N (Nは出力チャンネル数)は、

となる。UW(f)は、N行M列の行列である。続いて、信号再合成部330は、制御された信号の周波数成分を逆周波数変換する。逆周波数変換する方法については、復号部310で説明した逆周波数変換と同様であるため、説明を省略する。そして、信号再合成部330は、逆周波数変換された信号を多チャンネル出力信号として出力する。

　信号再合成部330の他の動作例を説明する。まず、信号再合成部330は、分離再合成情報の周波数成分を逆周波数変換し、インパルス応答（フィルタ係数）を生成する。逆周波数変換する方法については、復号部310で説明した逆周波数変換と同様であるため、説明を省略する。そして、信号再合成部330は、多チャンネル復号信号にインパルス応答を畳み込み演算することで、多チャンネル出力信号を生成する。

　上記符号化部300および復号部310の説明では、多チャンネル入力信号の符号化および復号に、AACを想定して説明したが、パルス符号変調(PCM)、適応差分パルス符号変調(ADPCM)、さらにCELPなどに代表される分析合成符号化を適用してもよい。PCM/ADPCMに関連する技術は文献２に開示されている。また、CELPに関連する技術は文献５(１９８５年３月、アイ・イー・イー・イー・インターナショナル・カンファレンス・オン・アクースティック・スピーチ・アンド・シグナル・プロセシング、２５．１．１、 (IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH, AND SIGNAL PROCESSING, 25.1.1, MAR, 1985, pp.937-940) 937～940ページ)に開示されている。また、符号化部300は、多チャンネル入力信号の符号化処理を行わずに多チャンネル入力信号をそのまま伝送し、復号部310は、復号処理を行わずに多チャンネル入力信号を多チャンネル復号信号として、そのまま信号再合成部330に出力してもよい。この構成により、符号化・復号処理に伴う信号の歪をなくすことができる。この構成により、信号再合成部330は、多チャンネル入力信号に歪を生じさせることなく多チャンネル復号信号を受信することができる。

　以上説明したように、本発明の第一の実施の形態によれば、出力信号情報と送信部から出力される分離情報に基づいて、受信部で音源信号ごとに制御することができる。すなわち、受信部で所望の音源信号を所望の位置に定位させたり、抑圧および強調させることができる。また、送信部で受信した多チャンネル入力信号を構成する各音源信号の定位情報を保持することができるため、受信部において、送信部で受信した多チャンネル入力信号と同一の定位情報を容易に再現できる。

　＜第二の実施の形態＞
　図３を参照して、本発明の第二の実施の形態について説明する。第二の実施の形態は、送信部40と受信部41とが伝送路を介して接続された構成である。送信部40は、複数の音源信号が混合された多チャンネル入力信号を受信し、伝送信号を出力する。伝送信号は、伝送路を介して、受信部41に入力される。受信部41は、伝送信号と出力信号情報を受信し、多チャンネル出力信号を出力する。

　送信部40は、複数の音源信号が混合された多チャンネル入力信号を受信し、伝送信号を出力する。送信部40は、分離情報計算部102、低ビットレート符号化部400から構成される。多チャンネル入力信号は、分離情報計算部102と低ビットレート符号化部400に入力される。分離情報計算部102は、多チャンネル入力信号を複数の音源信号に分離するための分離情報を生成する。そして、分離情報計算部102は、分離情報を低ビットレート符号化部400に出力する。低ビットレート符号化部400は、多チャンネル入力信号と、分離情報計算部102から受信した分離情報を符号化することにより、伝送信号を生成する。そして、低ビットレート符号化部400は、伝送信号を伝送路に出力する。送信部40は、第一の実施の形態を表す図１の送信部30と比べて、符号化部300が、低ビットレート符号化部400で構成されている点が異なる。

　受信部41は、伝送信号と出力信号情報を受信し、多チャンネル出力信号を出力する。受信部41は、低ビットレート復号部410と分離再合成情報生成部420と信号再合成部430から構成される。伝送信号は低ビットレート復号部410に入力される。出力信号情報は分離再合成情報生成部420に入力される。まず、低ビットレート復号部410は、受信した伝送信号を、ダウンミックス復号信号と復号分析情報と復号分離情報とに復号する。続いて、低ビットレート復号部410は、ダウンミックス復号信号を信号再合成部430に、復号分析情報と復号分離情報を分離再合成情報生成部420に、それぞれ出力する。分離再合成情報生成部420は、出力信号情報と、低ビットレート復号部410から受信した復号分析情報と復号分離情報を統合することにより、修正分離再合成情報を生成する。そして、分離再合成情報生成部420は、修正分離再合成情報を信号再合成部430に出力する。信号再合成部430は、分離再合成情報生成部420から受信した修正分離再合成情報に基づいて、低ビットレート復号部410から受信したダウンミックス復号信号を修正することにより、多チャンネル出力信号を再合成する。そして、信号再合成部430は、多チャンネル出力信号を出力する。受信部41は、第一の実施の形態を表す図１の受信部31と比べて、復号部300、分離再合成情報生成部320、信号再合成部330が、ぞれぞれ、低ビットレート復号部400、分離再合成情報生成部420、信号再合成部430で構成されている点が異なる。

　出力信号情報は、第一の実施の形態で説明したとおり、多チャンネル入力信号に含まれる複数の音源信号を複数の出力チャネルにそれぞれ出力するための情報である。

　以下、第一の実施の形態と重複する部分の説明は省略し、本実施の形態の特徴である低ビットレート符号化部400、低ビットレート復号部400、分離再合成情報生成部420、信号再合成部430の構成例について説明する。

　まず、図４を参照して、低ビットレート符号化部400の構成例を詳細に説明する。低ビットレート符号化部400は、受信した多チャンネル入力信号と分離情報を符号化することにより、伝送信号を生成する。そして、低ビットレート符号化部400は伝送信号を出力する。低ビットレート符号化部400は、ダウンミックス部211、信号分析部213、符号化部401から構成される。多チャンネル入力信号は、信号分析部213とダウンミックス部211に入力され、分離情報は符号化部401に入力される。

　ダウンミックス部211は、多チャンネル入力信号をダウンミックスすることにより、ダウンミックス信号を生成する。そして、ダウンミックス部211は、ダウンミックス信号を符号化部401に出力する。

　ダウンミックス部211におけるダウンミックス処理は、例えば、全ての多チャンネル入力信号を加算して1チャンネルのダウンミックス信号を生成することができる。また、多チャンネル入力信号を複数のグループに分け、各グループに属する多チャンネル入力信号を加算することにより、複数チャンネルのダウンミックス信号を生成してもよい。なお、多チャンネル入力信号をそのまま加算するのではなく、多チャンネル入力信号の位相差・相関を補償してから加算しても良い。

　ダウンミックス部211における他のダウンミックス処理として、多チャンネル入力信号を周波数変換し、周波数成分毎に周波数変換した多チャンネル入力信号を加算することによりダウンミックス信号を生成することができる。周波数変換は、分離情報計算部102における周波数変換と同様な処理用いることができるため、説明を省略する。このとき、周波数成分毎に異なるエネルギ補正あるいは位相差補償を変換された多チャンネル入力信号に施してから加算しても良い。ダウンミックス処理を周波数領域で行うため、時間領域で行う構成に比べて、詳細なダウンミックス処理が実現できる。

　信号分析部213は、受信した多チャンネル入力信号を分析することにより、分析情報を生成する。そして、信号分析部213は、分析情報を符号化部401に出力する。ここで、分析情報は、多チャンネル入力信号とダウンミックス信号との関係を周波数成分毎に表した情報であり、信号間のエネルギ差、時間差や相関などを用いて表すことができる。分析情報の一例として文献６（2007年、アイエスオー／アイイシー 23003-1:2007 パート1 エムペグ　サラウンド、（ISO/IEC 23003-1:2007 Part 1 MPEG Surround））に開示された情報が知られている。まず、受信した多チャンネル入力信号を周波数変換する。周波数変換は、分離情報計算部102における周波数変換と同様な処理用いることができるため、説明を省略する。続いて、信号分析部213は、周波数変換された信号を分析することにより、信号間のエネルギ差、時間差や相関などを算出する。そして、信号分析部213は、算出した信号間のエネルギ差、時間差や相関などに基づいて、分析情報を生成する。分析情報の生成に関連する技術は、文献６に開示されている。

　符号化部401は、受信したダウンミックス信号と分析情報と分離情報を符号化することにより、符号化されたダウンミックス信号と符号化された分析情報と符号化された分離情報を伝送信号として生成する。そして、符号化部401は、伝送信号を伝送路に出力する。

　まず、ダウンミックス信号の符号化の具体例を説明する。符号化部401は、ダウンミックス信号を符号化することにより、符号化されたダウンミックス信号を生成する。ダウンミックス信号を符号化する方法は、第一の実施の形態の符号化部300で説明した多チャンネル入力信号を符号化する処理と同様な処理を用いることができるため、説明を省略する。

　続いて、分析情報の符号化の具体例を説明する。符号化部401は、分析情報を符号化することにより、符号化された分析情報を生成する。分析情報を符号化する方法として、文献６に開示されている量子化方法がある。量子化方法としては、線形量子化、非線形量子化などの量子化方法が知られている。量子化された分析情報は、ハフマン符号化などを用いて冗長性を取り除くことができる。さらに、分析情報の冗長性を除去するために、可聴限界周波数などの聴覚特性を利用することができる。例えば、聴覚上認知され難い高周波数帯域の分離情報は量子化および符号化しなくても良い。さらに、分析情報の冗長性を除去する方法として、臨界帯域幅などの聴覚特性を利用して分析情報を複数の周波数帯域で統合してから量子化および符号化することができる。統合する周波数帯域の間隔は等間隔であってもよいし、不等間隔であってもよい。不等間隔に帯域分割することによって、低域では狭帯域に分割して、高域では広い帯域に分割して、聴覚特性に合わせることができる。全ての、周波数帯域をまとめて1つにしてもよい。統合する方法としては、統合する周波数帯域に含まれる各要素の平均を用いることができる。符号化された分析情報の情報量は、多チャンネル入力信号をチャンネルごとに符号化する場合と比較して、少ない情報量で符号化することができる。

　続いて、分離情報の符号化の具体例を説明する。符号化部401は、分離情報を符号化することにより、符号化された分離情報を生成する。分離情報を符号化する処理は、第一の実施の形態の符号化部300において説明したとおりであるため、説明を省力する。

　次に、図３に戻り、低ビットレート復号部410の構成例を詳細に説明する。低ビットレート復号部410は、受信した伝送信号を、ダウンミックス復号信号と復号分析情報と復号分離情報とに復号する。低ビットレート復号部410は、ダウンミックス復号信号を信号再合成部430に、復号分析情報と復号分離情報を分離再合成情報生成部420に、それぞれ出力する。

　まず、符号化されたダウンミックス信号の復号の具体例を説明する。低ビットレート復号部410は、符号化されたダウンミックス信号を復号することにより、ダウンミックス復号信号を生成する。符号化されたダウンミックス信号の復号は、符号化部401に用いられたダウンミックス信号の符号化方法に対応する復号方法を用いる。符号化されたダウンミックス信号を復号する処理は、第一の実施の形態の復号部310における符号化された多チャンネル入力信号を復号する処理と同様な処理を用いることができるため、説明を省略する。

　続いて、符号化された分析情報の復号の具体例を説明する。低ビットレート復号部410は、符号化された分析情報を復号することにより、復号分析情報を生成する。符号化された分析情報の復号は、符号化部401に用いられた分析情報の符号化方法に対応する復号方法を用いる。符号化された分析情報は、復号および逆量子化されることにより、復号分析情報が生成される。

　続いて、符号化された分離情報の復号の具体例を説明する。低ビットレート復号部410は、符号化された分離情報を復号することにより、復号分離情報を生成する。符号化された分離情報の復号は、符号化部401に用いられた分離情報の符号化方法に対応する復号方法を用いる。符号化された分離情報を復号する処理は、第一の実施の形態の復号部310において説明したとおりであるため、説明を省略する。

　続いて、図５を参照して、図３における分離再合成情報生成部420の構成例を詳細に説明する。分離再合成情報生成部420は、復号分析情報と復号分離情報と出力信号情報を受信し、修正分離再合成情報を出力する。分離再合成情報生成部420は、再合成情報変換部321、再合成情報統合部322、合成部323、修正部421から構成される。復号分析情報は、修正部421に入力される。復号分離情報は、再合成情報変換部321と合成部323に入力される。出力信号情報は、再合成情報統合部322に入力される。図２の第一の実施の形態の分離再合成情報生成部320と比較すると、分離再合成情報生成部420は、修正部421が新たに追加されていることが異なる。以下、修正部421について説明する。

　修正部421は、分離再合成情報と復号分析情報を受信し、復号分析情報に基づき分離再合成情報を修正することにより、修正分離再合成情報を出力する。修正分離再合成情報は、ダウンミックス復号信号を各音源信号に分離し、分離した各音源信号ごとに制御するための情報を表す。復号分析情報の周波数帯域fの周波数成分をA(f)、分離再合成情報の周波数成分をUW(f)とすると、修正分離再合成情報の周波数成分UWA(f)は、UWA(f)=UW(f)×A(f)となる。ここで、多チャンネル入力信号のチャンネル数、ダウンミックス信号のチャンネル数、音源信号数、多チャンネル出力信号のチャンネル数を、それぞれM、Q、P、Nとすると、A(f)とUW(f)は、それぞれ、、M行Q列の行列とN行M列となり、UWA(f)は、N行Q列の行列となる。

　次に、図３に戻り、信号再合成部430の構成例を詳細に説明する。信号再合成部430は、ダウンミックス復号信号と修正分離再合成情報を受信し、修正分離再合成情報に基づき、ダウンミックス復号信号を構成する複数の音源信号を独立に修正することにより、多チャンネル出力信号を生成する。信号再合成部430は、多チャンネル出力信号を出力する。

　以下、信号再合成部430の動作例を説明する。まず、信号再合成部430は、ダウンミックス復号信号を周波数変換する。周波数変換する方法については、第一の実施の形態の符号化部300で説明した周波数変換と同様であるため、説明を省略する。周波数帯域fにおけるダウンミックス復号信号の周波数成分をMD_i(f), i=1,2,…Q (Qはダウンミック信号のチャンネル数)、修正分離再合成情報の周波数成分をUWA(f)とすると、制御された信号の周波数成分Z_i(f), i=1,2,…N (Nは出力チャンネル数)は、

となる。ここで、UWA(f)は、N行Q列の行列である。続いて、信号再合成部430は、制御された信号の周波数成分を逆周波数変換する。逆周波数変換する方法については、第一の実施の形態の復号部310で説明した逆周波数変換と同様であるため、説明を省略する。そして、信号再合成部430は、逆周波数変換された信号を多チャンネル出力信号として出力する。

　信号再合成部430の他の動作例を説明する。まず、信号再合成部430は、修正分離再合成情報を逆周波数変換し、インパルス応答（フィルタ係数）を生成する。逆周波数変換する方法については、復号部310で説明した逆周波数変換と同様であるため、説明を省略する。そして、信号再合成部430は、ダウンミックス復号信号にインパルス応答を畳み込み演算することで、多チャンネル出力信号を生成することができる。

　以上説明したように、本発明の第二の実施の形態によれば、出力信号情報と送信部から出力される分離情報に基づいて、受信部で音源信号ごとに制御することができる。すなわち、受信部で所望の音源信号を所望の位置に定位させたり、抑圧および強調させることができる。また、送信部で受信した多チャンネル入力信号を構成する各音源信号の定位情報を保持することができるため、受信部において、送信部で受信した多チャンネル入力信号と同一の定位情報を容易に再現できる。さらに、第一の実施の形態と比べて、多チャンネル入力信号を少ない情報量で符号化するため、伝送信号の情報量を削減することができる。

　＜第三の実施の形態＞
　図６を参照して、本発明の第三の実施の形態について説明する。第三の実施の形態は、送信部50と受信部51とが伝送路を介して接続された構成である。送信部50は、複数の音源信号が混合された多チャンネル入力信号を受信し、伝送信号を出力する。伝送信号は、伝送路を介して、受信部51に入力される。受信部51は、伝送信号と出力信号情報を受信し、多チャンネル出力信号を出力する。

　送信部50は、複数の音源信号が混合された多チャンネル入力信号を受信し、伝送信号を出力する。送信部50は、再合成情報計算部500、信号分離部101、符号化部510から構成される。多チャンネル入力信号は、再合成情報計算部500と信号分離部101に入力される。再合成情報計算部500は、多チャンネル入力信号を複数の音源信号に分離するための分離情報と、多チャンネル入力信号を構成する複数の音源信号と多チャンネル入力信号との関係を表す再合成情報を生成する。そして、再合成情報計算部500は、分離情報を信号分離部101に、再合成情報を符号化部510に出力する。信号分離部101は、多チャンネル入力信号と分離情報を受信し、多チャンネル入力信号を分離することにより、分離信号を生成する。そして、信号分離部101は、分離信号を符号化部510に出力する。符号化部510は、信号分離部101から受信した分離信号と、再合成情報計算部500から受信した再合成情報を符号化することにより、伝送信号を生成する。そして、符号化部510は、伝送路に出力する。送信部50は、第一の実施の形態を表す図１の送信部30と比べて、分離情報計算部102と符号化部300が、それぞれ、再合成情報計算部500と符号化部510で構成されている点と、新たに信号分離部101を具備していることが異なる。

　受信部51は、伝送信号と出力信号情報を受信し、多チャンネル出力信号を出力する。受信部51は、復号部520と再合成情報統合部322と信号再合成部530から構成される。伝送信号は復号部520に入力される。出力信号情報は再合成情報統合部322に入力される。まず、復号部520は、受信した伝送信号を、復号分離信号と復号再合成情報とに復号する。続いて、復号部520は、復号分離信号を信号再合成部530に、復号再合成情報を再合成情報統合部322に、それぞれ出力する。再合成情報統合部322は、出力信号情報と、復号部520から受信した復号再合成情報を統合することにより、統合再合成情報を生成する。そして、再合成情報統合部322は、統合再合成情報を信号再合成部530に出力する。信号再合成部530は、再合成情報統合部322から受信した統合再合成情報に基づいて、復号部520から受信した復号分離信号を修正することにより、多チャンネル出力信号を再合成する。信号再合成部530は、多チャンネル出力信号を出力する。受信部51は、第一の実施の形態を表す図１の受信部31と比べて、復号部310と分離再合成情報生成部320と信号再合成部330が、それぞれ、復号部520と再合成情報統合部322と信号再合成部530で構成されている点が異なる。

　再合成情報は、多チャンネル入力信号に含まれる複数の音源信号と多チャンネル入力信号との関係を表す情報である。つまり、再合成情報は、多チャンネル入力信号に各音源信号がどのように混合されているかを表し、各音源信号の定位情報を含む。本実施の形態は、分離情報を受信部へ伝送する第一および第二の実施の形態と異なり、再合成情報を伝送することを特徴とする。

　出力信号情報は、第一の実施の形態で説明したとおりである。なお、本実施の形態の出力信号情報は、伝送された再合成情報に基づき生成された多チャンネル出力信号を利用者が聴取した後に、利用者の好みに応じて入力することができる。この場合、最初から出力信号情報を各音源ごとに入力する必要がなく、利用者の利便性が向上される。

　続いて、図７を参照して、図６における再合成情報計算部500の第一の構成例を詳細に説明する。再合成情報計算部500は、多チャンネル入力信号を受信し、分離情報と再合成情報を出力する。再合成情報計算部500は、分離情報計算部102と再合成情報変換部321から構成される。分離情報計算部102は、多チャンネル入力信号を受信し、多チャンネル入力信号を分析することにより、多チャンネル入力信号を複数の音源信号に分離するための情報である分離情報を生成する。そして、分離情報計算部102は、分離情報を出力する。分離情報計算部102は、第一の実施の形態において用いたものと同様であり、説明は省略する。再合成情報変換部321は、受信した分離情報を変換することにより、再合成情報を生成する。そして、分離情報計算部102は、再合成情報を出力する。再合成情報変換部321は、第一の実施の形態において用いたものと同様であり、説明は省略する。本実施の形態の再合成情報変換部321は、符号化復号を適用していない分離情報に基づいて再合成情報に変換している。このため、精度のよい再合成情報を生成することができる。

　次に、図８を参照して、再合成情報計算部500の第二の構成例を詳細に説明する。再合成情報計算部500は、多チャンネル入力信号を受信し、分離情報と再合成情報を出力する。第二の構成例は、図７の第一の構成例と比較して、再合成情報整形部501が新たに追加されていることを特徴とする。再合成情報整形部501は、再合成情報変換部321から受信した再合成情報を整形し、整形した再合成情報を出力する。

　以下、第二の構成例の特徴である再合成情報整形部501の動作例について詳細に説明する。まず、再合成情報整形部501は、受信した再合成情報から各音源の到来方向を推定する。到来方向を推定する方法として、再合成情報に含まれる各音源の定位情報を用いることができる。到来方向算出の具体的な例を説明する。周波数帯域fにおける再合成情報の周波数成分UE(f)を次のように表す。

ここで、Pは、音源信号の個数を表し、Mは、多チャンネル入力信号のチャンネル数を表す。UE(f)は、M行P列の行列であり、再合成情報の各列がそれぞれの音源と多チャンネル入力信号との関係を表す。すなわち、ue_i(f)を用いて、音源信号iの到来方向を算出することができる。

　例えば、多チャンネル入力信号を左チャンネルと右チャンネルの2つ(M=2)とし、音源信号iが空気中などを伝播して2つのチャンネルに到来することとする。このとき、d_i(f)=ue_2i(f)/ue_1i(f)を音源信号iの到来方向を算出するための情報として用いることができる。d_i(f)が複素数信号である場合、d_i(f)の振幅項が、左チャンネルと右チャンネルに到来した音源信号iの信号の大きさの比を表す。一方で、位相項が左チャンネルと右チャンネルに到来した音源信号iの時間差を表す。到来方向の周波数成分doa_i(f)は、d_i(f)の振幅項と位相項に基づいて算出することができる。到来方向を算出するさいには、振幅項と位相項のいずれかを用いて生成してもよいし、両方を用いて生成してもよい。例えば、位相項を用いず、振幅項のみを用いた場合、d_i(f)の振幅項の値が1に近ければ近いほど、音源信号iは中央付近に存在することになる。一方で、d_i(f)の値が1より大きくなればなるほど、または1より小さくなればなるほど、左または右方向に音源が存在することになる。到来方向を算出する方法として、あらかじめ決められた関数に従って、d_i(f)を到来方向に変換する方法がある。この関数は、線形であってもよいし、非線形であってもよい。また、多チャンネル入力信号の特性に応じて変更してもよい。再合成情報UE(f)を用いて、到来方向の算出に関連する技術は、文献１に開示されている。

　多チャンネル入力信号のチャンネル数が2個以上の場合は、特定のチャンネルのペアから到来方向を算出することができる。また、複数のペアで到来方向を算出し、算出した到来方向を統合してもよい。複数のペアを用いて算出することにより、精度の高い到来方向を算出することができる。

　上記の到来方向の推定の説明では、周波数成分毎に行う方法について説明してきたが、複数の周波数帯域の再合成情報をまとめてから算出してもよい。あるいは、各周波数帯域で推定した到来方向から、複数の周波数帯域に対する共通の到来方向を算出しても良い。例えば、各周波数帯域の到来方向の推定精度に応じた重みを用いて、各周波数帯域の到来方向を重み付け平均することにより、複数の周波数帯域に対する共通の到来方向を算出してもよい。推定精度に応じた重みとしては、分離信号の各周波数帯域のエネルギを用いることができる。例えば、エネルギの大きい周波数帯域の重みは大きくし、エネルギが小さい周波数帯域の重みは小さくすることにより、聞こえにくい小さなエネルギ成分が到来方向に及ぼす影響を取り除くことができる。さらに、マスキング効果などの人の聴覚特性に基づいて重みを算出することができる。例えば、マスキング効果を利用して周波数成分毎に算出した聴感的な重要度を重みとして用いてもよい。この重み付けにより、人の聴覚特性に合致した到来方向を推定できる。さらに、音源は周波数に拠らず共通の一点から発振されるため、その到来方向も全周波数帯域に対して共通に推定しても良い。

　続いて、再合成情報整形部501は、推定した各音源の到来方向に基づいて再合成情報を再生成する。そして、再合成情報整形部501は、再生成した再合成情報を出力する。到来方向の周波数成分doa_i(f)を用いて、再生成された再合成情報の周波数成分UE’(f)は、

となる。ここで、g_i(x)は、到来方向xを再合成情報に変換する関数であり、多チャンネル入力信号のチャンネルの構成に応じて、チャンネル毎に規定される関数である。変換関数g_i(x)は、線形であってもよいし、非線形であってもよい。

　変換関数g_i(x) の出力は一般に複素数値となる。変換関数は、到来方向により再合成情報UE’(f)の位相項と振幅項の両方あるいはどちらか一方を定める関数となる。変換関数g_i(x)は、人の聴覚特性に基づいて定めてもよい。例えば、人の聴覚特性として、低周波数帯域の信号は、信号の位相差を主に用いて音源の到来方向を認知し、高周波数帯域の信号は、信号の振幅差を主に用いて音源の到来方向を認知することが知られている。この特性を利用すると、変換関数は音源の到来方向に応じて低域周波数帯域の再合成情報UE’(f)の位相項を主に定める関数となる。一方で、高域周波数帯域では、変換関数は、音源の到来方向により再合成情報UE’(f)の振幅項を主に定める関数となる。なお、変換関数は、上記の聴覚特性に依らず、音源の到来方向に応じて振幅項と位相項を任意に定めた関数としても良い。

　この変換関数は、再合成情報変換部321が出力した再合成情報を、符号化効率を向上させるため、あるいは、受信部での各音源の定位感を向上させるために、到来方向により整形することに相当する。例えば、変換関数の出力が振幅項のみで表される場合、変換関数は、再合成情報変換部321が出力した再合成情報に含まれる位相項が到来方向に及ぼす影響を、再生成した再合成情報の振幅項により補償するように、再合成情報に含まれる位相項を振幅項で表す関数に相当する。この場合、変換関数の出力は実数値となる。一方で、変換関数g_i(x)の出力が位相項のみで表される場合、変換関数は、再合成情報変換部321が出力した再合成情報に含まれる振幅項が到来方向に及ぼす影響を、再生成した再合成情報の位相項により補償するように、再合成情報に含まれる振幅項を位相項で表す関数に相当する。この場合、変換関数の出力の大きさは1となる。また、変換関数g_i(x)は、頭部伝達関数として構成することもできる。到来方向に対応した頭部伝達関数を用いることにより、音源の到来方向を擬似的に再合成情報に変換することができる。この場合、変換関数g_i(x)の出力は複素数値となる。

　再合成情報整形部501の他の動作例を説明する。本動作例は、到来方向を推定することなく、再合成情報を整形することを特徴とする。再合成情報整形部501は、再合成情報変換部321が出力した再合成情報をあらかじめ定めれた関数に従って、整形することができる。例えば、再合成情報に含まれる振幅項と位相項を入力とするあらかじめ定めれた整形関数を用いることにより、整形した再合成情報を生成することができる。このとき、整形関数の出力が振幅項のみで表される場合、整形関数は、再合成情報に含まれる振幅項が音源信号の定位に及ぼす影響を、整形した再合成情報の位相項により補償するように、再合成情報の位相項を振幅項で表す関数となる。この場合、整形関数の出力は実数値となる。一方で、整形関数の出力が位相項のみで表される場合、整形関数は、再合成情報に含まれる振幅項が音源信号の定位に及ぼす影響を、整形した再合成情報の位相項により補償するように、再合成情報の振幅項を位相項で表す関数となる。この場合、整形関数の出力の大きさは1となる。もちろん、整形関数は、振幅項と位相項を任意に定めた関数としても良い。さらに、マスキング効果などの人の聴覚特性に基づいて再合成情報を整形することができる。例えば、マスキング効果により、人が認知できない周波数帯域の整形関数の出力を0とすることができる。上記の整形関数の説明では、周波数成分毎に行う方法について説明してきたが、複数の周波数帯域の再合成情報をまとめてから算出してもよい。

　なお、前述したように再合成情報は複数の音源信号と多チャンネル入力信号との関係、すなわち、定位情報を表しており、多チャンネル入力信号を収録したマイクロホンの配置位置が大きく関与する。例えば、マイクロホンが近接して配置されている場合、再合成情報変換部321が出力した再合成情報は、近接したマイクロホン間における音源信号の定位情報を表している。このため、近接したマイクロホン間の再合成情報を用いて再合成した信号を人間が聴取しても、その定位感を得ることは難しい。このような場合でも、上述した方法を用いて、聴感上、定位感が分かる再合成情報を生成することができる。また、受信部での出力信号のチャンネル数や、出力信号をスピーカから出力する場合でスピーカ配置位置が既知の場合、受信部で再合成した信号を人間が聴取したときに、聴感上、定位感が分かるように、上述した方法を用いて、再合成情報を生成してもよい。出力チャンネル数や、スピーカ配置位置が未知の場合でも、あらかじめ定められた出力チャンネル数や、スピーカ配置位置を複数仮定して複数の再合成情報を生成してもよい。

　次に、図６に戻り、信号分離部101の構成例を詳細に説明する。信号分離部101は、多チャンネル入力信号と分離情報を受信し、分離情報に基づき、多チャンネル入力信号を各音源信号に分離することにより、分離信号を生成する。そして、信号分離部101は、分離信号を符号化部510に出力する。まず、多チャンネル入力信号を周波数変換する。周波数変換する方法については、第一の実施の形態の分離情報計算部102で説明した周波数変換と同様であるため、説明を省略する。周波数帯域fにおける多チャンネル入力信号の周波数成分をX (f)、分離情報の周波数成分をW(f)とすると、分離信号の周波数成分Y(f)は、Y(f)= W(f)×X(f)となる。続いて、信号分離部101は、分離信号の周波数成分を逆周波数変換する。逆周波数変換する方法については、第一の実施の形態の復号部320で説明した周波数変換と同様であるため、説明を省略する。そして、信号分離部101は、逆周波数変換した信号を分離信号として出力する。

　信号分離部101の他の構成例を説明する。まず、信号分離部101は、分離情報を逆周波数変換し、インパルス応答（フィルタ係数）を生成する。逆周波数変換する方法については、第一の実施の形態の復号部320で説明した周波数変換と同様であるため、説明を省略する。そして、信号分離部101は、多チャンネル入力信号にインパルス応答を畳み込み演算することにより、分離信号を信号を生成すること。

　続いて、符号化部510の構成例を詳細に説明する。符号化部510は、分離信号と再合成情報を受信し、分離信号と再合成情報を符号化することにより、、符号化された分離信号と符号化された再合成情報を伝送信号として生成する。そして、符号化部510は伝送信号を伝送路に出力する。

　まず、分離信号の符号化の具体例を説明する。符号化部510は、分離信号を符号化することにより、符号化された分離信号を生成する。分離信号を符号化する方法は、第一の実施の形態の符号化部300で説明した多チャンネル入力信号を符号化する処理と同様な処理を用いることができるため、説明を省略する。

　続いて、再合成情報の符号化の具体例を説明する。符号化部510は、再合成情報を符号化することにより、符号化された再合成情報を生成する。再合成情報を符号化する方法は、第一の実施の形態の符号化部300で説明した分離情報を符号化する処理と同様な処理を用いることができるため、説明を省略する。

　次に、復号部520の構成例を詳細に説明する。復号部520は、受信した伝送信号を、復号分離信号と復号再合成情報とに復号する。復号部520は、復号分離信号を再合成部530に、復号再合成情報を再合成情報統合部322に、それぞれ出力する。

　まず、符号化された分離信号の復号の具体例を説明する。復号部520は、符号化された分離信号を復号することにより、復号分離信号を生成する。符号化された分離信の復号は、符号化部510に用いられた分離信号の符号化方法に対応する復号方法を用いる。符号化された分離信号を復号する処理は、第一の実施の形態の復号部310における符号化された多チャンネル入力信号を復号する処理と同様な処理を用いることができるため、説明を省略する。

　続いて、符号化された再合成情報の復号の具体例を説明する。復号部520は、符号化された再合成情報を復号することにより、復号再合成情報を生成する。符号化された再合成情報の復号は、符号化部401に用いられた再合成情報の符号化方法に対応する復号方法を用いる。符号化された再合成情報を復号する処理は、第一の実施の形態の復号部310において説明した分離情報を復号する処理と同様な処理を用いることができるため、説明を省略する。

　再合成情報統合部322は、受信した出力信号情報と復号再合成情報を統合することにより、統合再合成情報を生成する。再合成情報統合部322は、第一の実施の形態において、図２を用いて説明したとおりであるため、説明を省略する。なお、再合成情報が複数ある場合には、複数ある再合成情報から1つを選択して用いる。選択する方法としては、受信側の人間が選択してもよいし、出力信号のチャンネル数やスピーカ配置位置に応じて、自動的に選択してもよい。

　次に、信号再合成部530の構成例を詳細に説明する。信号再合成部530は、復号分離信号と統合再合成情報を受信し、統合再合成情報に基づき、復号分離信号を構成する複数の音源信号を独立に修正することにより、多チャンネル出力信号を生成する。信号再合成部530は、多チャンネル出力信号を出力する。

　以下、信号再合成部530の動作例を説明する。まず、信号再合成部530は、復号分離信号を周波数変換する。周波数変換する方法については、第一の実施の形態の符号化部300で説明した周波数変換と同様であるため、説明を省略する。周波数帯域fにおける復号分離信号の周波数成分をYD_i(f), i=1,2,…P (Pは音源信号数)とし、統合再合成情報の周波数成分をUC(f)とすると、制御された信号の周波数成分Z_i(f), i=1,2,…N (Nは出力チャンネル数)は、

となる。UC(f)は、N行P列の行列である。続いて、信号再合成部530は、制御された信号の周波数成分を逆周波数変換する。逆周波数変換する方法については、第一の実施の形態の復号部310で説明した逆周波数変換と同様であるため、説明を省略する。そして、信号再合成部530は、逆周波数変換された信号を多チャンネル出力信号として出力する。

　信号再合成部530の他の動作例を説明する。まず、信号再合成部530は、統合再合成情報を逆周波数変換し、インパルス応答（フィルタ係数）を生成する。逆周波数変換する方法については、第一の実施の形態の復号部310で説明した逆周波数変換と同様であるため、説明を省略する。そして、信号再合成部530は、復号分離信号にインパルス応答を畳み込み演算することで、多チャンネル出力信号を生成する。

　以上説明したように、本発明の第三の実施の形態によれば、出力信号情報と送信部から出力される再合成情報に基づいて、受信部で音源信号ごとに制御することができる。すなわち、受信部で所望の音源信号を所望の位置に定位させたり、抑圧および強調させることができる。また、送信部で受信した多チャンネル入力信号を構成する各音源信号の定位情報を含む再合成情報を伝送するため、受信部において、送信部で受信した多チャンネル入力信号と同一の定位を施した多チャンネル出力信号を容易に再現できる。さらに、第一の実施の形態とは異なり、再合成情報が伝送されるため、受信部で復号再合成情報に変換する必要がなく、受信部の演算量を削減できる。なお、再合成情報は、各音源信号の定位情報のみを表すように整形することができるので、分離情報を量子化する場合と比較して、量子化効率がよく、伝送信号の情報量を削減することができる。さらに、再合成情報は、各音源信号の定位情報を表すので、電源投入時などの多チャンネル出力信号の生成開始時に出力信号情報が入手できない場合、再合成情報を出力信号情報の初期値として用いることができ、利用者は再合成情報に基づき生成された多チャンネル出力信号を聴取した後に、利用者の好みに応じて出力信号情報を入力することができる。このため、最初から出力信号情報を音源ごとに入力する必要がなく、利用者の利便性が向上される。

　＜第四の実施の形態＞
　図９を参照して、本発明の第四の実施の形態について説明する。第四の実施の形態は、送信部60と受信部61とが伝送路を介して接続された構成である。送信部60は、複数の音源信号が混合された多チャンネル入力信号を受信し、伝送信号を出力する。伝送信号は、伝送路を介して、受信部61に入力される。受信部61は、伝送信号と出力信号情報を受信し、多チャンネル出力信号を出力する。

　送信部60は、複数の音源信号が混合された多チャンネル入力信号を受信し、伝送信号を出力する。送信部60は、再合成情報計算部500、信号分離部101、低ビットレート符号化部600から構成される。多チャンネル入力信号は、再合成情報計算部500と信号分離部101に入力される。再合成情報計算部500は、多チャンネル入力信号を複数の音源信号に分離するための分離情報と、多チャンネル入力信号を構成する複数の音源信号と多チャンネル入力信号との関係を表す再合成情報を生成する。そして、再合成情報計算部500は、分離情報を信号分離部101に、再合成情報を低ビットレート符号化部600に出力する。信号分離部101は、多チャンネル入力信号と分離情報を受信し、多チャンネル入力信号を分離することにより、分離信号を生成する。そして、信号分離部101は、分離信号を低ビットレート符号化部600に出力する。低ビットレート符号化部600は、信号分離101から受信した分離信号と、再合成情報計算部500から受信した再合成情報を符号化することにより、伝送信号を生成する。そして、低ビットレート符号化部600は、伝送信号を伝送路に出力する。送信部60は、第三の実施の形態を表す図６の送信部50と比べて、符号化部510が、低ビットレート符号化部600で構成されている点が異なる。

　受信部61は、伝送信号と出力信号情報を受信し、多チャンネル出力信号を出力する。受信部61は、低ビットレート復号部610と再合成情報修正部620と信号再合成部630から構成される。伝送信号は低ビットレート復号部610に入力される。出力信号情報は再合成情報修正部620に入力される。まず、低ビットレート復号部610は、受信した伝送信号を、ダウンミックス復号信号と復号分析情報と復号再合成情報をとに復号する。続いて、低ビットレート復号部610は、ダウンミックス復号信号を信号再合成部630に、復号分析情報と復号再合成情報を再合成情報修正部620に、それぞれ出力する。再合成情報修正部620は、出力信号情報と、低ビットレート復号部610から受信した復号分析情報と復号再合成情報とを統合することにより、修正再合成情報を生成する。そして、再合成情報修正部620は、修正再合成情報を信号再合成部630に出力する。信号再合成部630は、再合成情報修正部620から受信した修正再合成情報に基づいて、低ビットレート復号部610から受信したダウンミックス復号信号を修正することにより、多チャンネル出力信号を再合成する。そして、信号再合成部630は、多チャンネル出力信号を出力する。受信部61は、第三の実施の形態を表す図６の受信部51と比べて、復号部520、再合成情報統合部322、信号再合成部530が、ぞれぞれ、低ビットレート復号部610、再合成情報修正部620、信号再合成部630で構成されている点が異なる。

　再合成情報は、第三の実施の形態で説明したとおり、多チャンネル入力信号に含まれる複数の音源信号と多チャンネル入力信号との関係を表す情報である。また、出力信号情報は、第一の実施の形態で説明したとおりである。なお、本実施の形態の出力信号情報は、第三の実施の形態で説明したとおり、伝送された再合成情報に基づき生成された多チャンネル出力信号を利用者が聴取した後に、利用者の好みに応じて入力することができる。

　以下、第三の実施の形態と重複する部分の説明は省略し、本実施の形態の特徴である低ビットレート符号化部600、低ビットレート復号部610、再合成情報修正部620、信号再合成部630の構成例について説明する。

　低ビットレート符号化部600は、分離信号と再合成情報を受信し、伝送信号を伝送路に出力する。低ビットレート符号化部600は、第二の実施の形態で説明した図３の低ビットレート符号化部400と同様の処理を行う。ここで、分離信号と再合成情報は、それぞれ、第二の実施の形態における低ビットレート符号化部400の入力である多チャンネル入力信号と分離情報に対応する。低ビットレート符号化部600は、符号化されたダウンミックス信号と符号化された分析情報と符号化された再合成情報を伝送信号として生成する。そして、低ビットレート符号化部600は、伝送信号を出力する。

　低ビットレート復号部610は、受信した伝送信号を、ダウンミックス復号信号と復号分析情報と復号情報とに復号する。低ビットレート復号部610は、ダウンミックス復号信号を信号再合成部630に、復号分析情報と復号再合成情報を再合成情報修正部620に、それぞれ出力する。低ビットレート復号部610は、第二の実施の形態で説明した図３の低ビットレート復号部410と同様の処理を行う。ここで、復号再合成情報が第二の実施の形態における低ビットレート復号部410の出力である復号分離情報に対応する。

　次に、図１０を参照して、図９における再合成情報修正部620の構成例を詳細に説明する。再合成情報修正部620は、復号分析情報と復号再合成情報と出力信号情報を受信し、修正再合成情報を出力する。再合成情報修正部620は、再合成情報統合部322、修正部621から構成される。復号分析情報は、修正部621に入力され、復号再合成情報と出力信号情報は、再合成情報統合部322に入力される。再合成情報統合部322は、受信した復号再合成情報と再合成情報を統合することにより、統合再合成情報を生成する。再合成情報統合部322は、第一の実施の形態で説明したとおりであるため、説明を省略する。

　修正部621は、統合再合成情報と復号分析情報を受信し、復号分析情報に基づき統合再合成情報を修正することにより、修正再合成情報を出力する。修正再合成情報は、ダウンミックス信号を分離信号に復元し、各音源信号ごとに制御するための情報を表す。周波数帯域fにおける復号分析情報の周波数成分をA(f)、統合再合成情報の周波数成分をUC(f)とすると、修正再合成情報の周波数成分UCA(f)は、 UCA(f)=UC(f)×A(f)となる。ここで、ダウンミックス信号、音源信号数、多チャンネル出力信号のチャンネル数を、それぞれQ、P、Nとすると、A(f)とUC(f)は、それぞれ、P行Q列とN行P列の行列であり、UCA(f)は、N行Q列の行列となる。

　次に、図９に戻り、信号再合成部630の構成例を詳細に説明する。信号再合成部630は、ダウンミックス復号信号と修正再合成情報を受信し、修正再合成情報に基づき、ダウンミックス復号信号を修正することにより、多チャンネル出力信号を生成する。信号再合成部630は、多チャンネル出力信号を出力する。

　以下、信号再合成部630の動作例を説明する。まず、信号再合成部630は、ダウンミックス復号信号を周波数変換する。周波数変換する方法については、第一の実施の形態の符号化部300で説明した周波数変換と同様であるため、説明を省略する。周波数帯域fにおけるダウンミックス復号信号の周波数成分をMD_i(f), i=1,2,…Q (Qはダウンミック信号のチャンネル数)、修正再合成情報の周波数成分をUCA(f)とすると、制御された信号の周波数成分Z_i(f), i=1,2,…N (Nは出力チャンネル数)は、

となる。UCA(f)は、N行Q列の行列である。続いて、信号再合成部630は、制御された信号の周波数成分を逆周波数変換する。逆周波数変換する方法については、第一の実施の形態の復号部310で説明した逆周波数変換と同様であるため、説明を省略する。そして、信号再合成部630は、逆周波数変換された信号を多チャンネル出力信号として出力する。

　信号再合成部630の他の動作例を説明する。まず、信号再合成部630は、修正再合成情報の周波数成分を逆周波数変換し、インパルス応答（フィルタ係数）を生成する。逆周波数変換する方法については、復号部310で説明した逆周波数変換と同様であるため、説明を省略する。そして、信号再合成部630は、ダウンミックス復号信号にインパルス応答を畳み込み演算することで、多チャンネル出力信号を生成する。

　以上説明したように、本発明の第四の実施の形態によれば、出力信号情報と送信部から出力される再合成情報に基づいて、受信部で音源信号ごとに制御することができる。すなわち、受信部で所望の音源信号を所望の位置に定位させたり、抑圧および強調させることができる。また、送信部で受信した多チャンネル入力信号を構成する各音源信号の定位情報を含む再合成情報を伝送するため、受信部において、送信部で受信した多チャンネル入力信号と同一の定位を施した多チャンネル出力信号を容易に再現できる。さらに、第一の実施の形態とは異なり、再合成情報が伝送されるため、受信部で復号再合成情報に変換する必要がなく、受信部の演算量を削減できる。なお、再合成情報は、各音源信号の定位情報のみを表すように整形することができるので、分離情報を量子化する場合と比較して、量子化効率がよく、伝送信号の情報量を削減することができる。さらに、再合成情報は、各音源信号の定位情報を表すので、伝送された再合成情報に基づき生成された多チャンネル出力信号を利用者が聴取した後に、利用者の好みに応じて出力信号情報を入力することができる。このため、最初から出力信号情報を各音源ごとに入力する必要がなく、利用者の利便性が向上される。また、第三の実施の形態と比べて、多チャンネル入力信号を少ない情報量で符号化するため、伝送信号の情報量を削減することができる。

　＜第五の実施の形態＞
　図１１を参照して、本発明の第五の実施の形態について説明する。第五の実施の形態は、送信部10と受信部11とが伝送路を介して接続された構成である。送信部10は、複数の音源信号が混合された多チャンネル入力信号を受信し、伝送信号を出力する。伝送信号は、伝送路を介して、受信部11に入力される。受信部11は、伝送信号と出力信号情報を受信し、多チャンネル出力信号を出力する。

　送信部10は、複数の音源信号が混合された多チャンネル入力信号を受信し、伝送信号を出力する。送信部10は、分離情報計算部102、信号分離部101、符号化部110から構成される。多チャンネル入力信号は、分離情報計算部102と信号分離部101に入力される。分離情報計算部102は、多チャンネル入力信号を分析することにより、多チャンネル入力信号を複数の音源信号に分離するための分離情報を生成する。そして、分離情報計算部102は、分離情報を信号分離部101に出力する。信号分離部101は、多チャンネル入力信号と分離情報を受信し、多チャンネル入力信号を各音源信号に分離することにより、分離信号を生成する。そして、信号分離部101は、分離信号を符号化部110に出力する。符号化部110は、信号分離101から受信した分離信号を符号化することにより、伝送信号を生成する。そして、符号化部110は、伝送信号を伝送路に出力する。送信部10は、第一の実施の形態を表す図１の送信部30と比べて、符号化部300が符号化部110で構成されている点と、新たに信号分離部101を具備していることが異なる。信号分離部101は、第三の実施の形態で説明したとおりである。

　符号化部110は、分離信号を受信し、分離信号を符号化することにより、符号化された分離信号を生成する。そして、符号化部110は、符号化された分離信号を伝送信号として出力する。分離信号を符号化する処理は、第三の実施の形態の符号化部510において説明したとおりであるため、説明を省略する。

　受信部11は、伝送信号と出力信号情報を受信し、多チャンネル出力信号を出力する。受信部11は、復号部120と信号再合成部130から構成される。伝送信号は復号部120に入力される。出力信号情報は信号再合成部130に入力される。まず、復号部120は、受信した伝送信号を、復号分離信号に復号する。続いて、復号部120は、復号分離信号を信号再合成部130に出力する。信号再合成部130は、出力信号情報に基づいて、復号部120から受信した復号分離信号を修正することにより、多チャンネル出力信号を再合成する、信号再合成部130は、多チャンネル出力信号を出力する。受信部11は、第一の実施の形態を表す図１の受信部31と比べて、復号部310と信号再合成部330が、それぞれ、復号部120と信号再合成部130で構成されている点と、分離再合成情報生成部320を具備しないことが異なる。

　復号部120は、受信した伝送信号を、復号分離信号に復号する。そして、復号部120は、復号分離信号を信号再合成部130に出力する。符号化された分離信号の復号は、第三の実施の形態の復号部520におい説明したとおりであるため、説明を省略する。

　信号再合成部130は、復号分離信号と出力信号情報を受信し、出力信号情報に基づき、復号分離信号を構成する複数の音源信号を独立に修正することにより、多チャンネル出力信号を生成する。信号再合成部130は、多チャンネル出力信号を出力する。

　以下、信号再合成部130の動作例を説明する。まず、信号再合成部130は、復号分離信号を周波数変換する。周波数変換する方法については、第三の実施の形態の符号化部510で説明したとおりであるため、説明を省略する。周波数帯域fにおける復号分離信号の周波数成分をYD_i(f), i=1,2,…P (Pは音源信号数)とし、出力信号情報の周波数成分をU (f)とすると、制御された信号の周波数成分Z_i(f), i=1,2,…N (Nは出力チャンネル数)は、

となる。U (f)は、N行P列の行列である。続いて、信号再合成部130は、制御された信号の周波数成分を逆周波数変換する。逆周波数変換する方法については、第一の実施の形態の復号部310で説明した逆周波数変換と同様であるため、説明を省略する。そして、信号再合成部130は、逆周波数変換された信号を多チャンネル出力信号として出力する。

　信号再合成部130の他の動作例を説明する。まず、信号再合成部130は、出力信号情報の周波数成分を逆周波数変換し、インパルス応答（フィルタ係数）を生成する。逆周波数変換する方法については、第一の実施の形態の復号部310で説明した逆周波数変換と同様であるため、説明を省略する。そして、信号再合成部130は、復号分離信号にインパルス応答を畳み込み演算することで、多チャンネル出力信号を生成する。

　以上説明したように、本発明の第五の実施の形態によれば、出力信号情報に基づいて、受信部で音源信号ごとに制御することができる。すなわち、受信部で所望の音源信号を所望の位置に定位させたり、抑圧および強調させることができる。また、第一から第四の実施の形態と比べると、分離情報または再合成情報を伝送しないため、伝送信号の情報量を削減することができる。また、第一から第四の実施の形態と比べると、分離情報または再合成情報を伝送しないため、受信側において、分離情報または再合成情報と出力信号情報とを統合する処理を行わないので、受信部の処理が簡単になり、受信部の演算量を削減することができる。

　＜第六の実施の形態＞
　図１２を参照して、本発明の第六の実施の形態について説明する。第六の実施の形態は、送信部20と受信部21とが伝送路を介して接続された構成である。送信部20は、複数の音源信号が混合された多チャンネル入力信号を受信し、伝送信号を出力する。伝送信号は、伝送路を介して、受信部21に入力される。受信部21は、伝送信号と出力信号情報を受信し、多チャンネル出力信号を出力する。

　送信部20は、複数の音源信号が混合された多チャンネル入力信号を受信し、伝送信号を出力する。送信部20は、分離情報計算部102、信号分離部101、低ビットレート符号化部210から構成される。多チャンネル入力信号は、分離情報計算部102と信号分離部101に入力される。分離情報計算部102は、多チャンネル入力信号を分析することにより、多チャンネル入力信号を複数の音源信号に分離するための分離情報を生成する。そして、分離情報計算部102は、分離情報を信号分離部101に出力する。信号分離部101は、多チャンネル入力信号と分離情報を受信し、多チャンネル入力信号を各音源信号に分離することにより、分離信号を生成する。そして、信号分離部101は、分離信号を低ビットレート符号化部210に出力する。低ビットレート符号化部210は、信号分離部101から受信した分離信号を符号化することにより、伝送信号を生成する。そして、低ビットレート符号化部210は、伝送信号を伝送路に出力する。送信部10は、第五の実施の形態を表す図１１の送信部10と比べて、符号化部110が、低ビットレート符号化部210で構成されている点が異なる。

　受信部21は、伝送信号と出力信号情報を受信し、多チャンネル出力信号を出力する。受信部21は、低ビットレート復号部220と修正部240と信号再合成部630から構成される。伝送信号は低ビットレート復号部220に入力される。出力信号情報は修正部240に入力される。まず、低ビットレート復号部220は、受信した伝送信号を、ダウンミックス復号信号と復号分析情報とに復号する。続いて、低ビットレート復号部220は、ダウンミックス復号信号を信号再合成部630に、復号分析情報を修正部240に出力する。修正部240は、復号分析情報に基づいて、出力信号情報を修正することにより、修正再合成情報を生成する。そして、修正部240は、修正再合成情報を信号再合成部230に出力する。信号再合成部630は、修正再合成情報に基づいて、低ビットレート復号部220から受信したダウンミックス復号信号を修正することにより、多チャンネル出力信号を再合成する。信号再合成部630は、多チャンネル出力信号を出力する。受信部21は、第五の実施の形態を表す図１１の受信部11と比べて、復号部120と信号再合成部130が、それぞれ、低ビットレート復号部220と信号再合成部630で構成されている点と、新たに修正部240を具備することが異なる。信号再合成部630は、第四の実施の形態で説明したとおりである。

　以下、第五の実施の形態と重複する部分の説明は省略し、本実施の形態の特徴である低ビットレート符号化部210、低ビットレート復号部220、修正部240の構成例について説明する。

　図１３を参照して、図１２の低ビットレート符号化部210の構成例を詳細に説明する。低ビットレート符号化部210は、分離信号を受信し、伝送信号を伝送路に出力する。低ビットレート符号化部210は、ダウンミックス部211、信号分析部213、符号化部212から構成される。分離信号は、信号分析部213とダウンミックス部211に入力される。ダウンミックス部211は、分離信号をダウンミックすることによりダウンミックス信号を生成する。信号分析部213は、分離信号を分析することにより、分析情報を生成する。ダウンミックス部211および、信号分析部213は、第二の実施の形態において、図４を用いて説明したとおりであるので、説明を省略する。符号化部212は、受信したダウンミックス信号と分析情報を符号化することにより、符号化されたダウンミックス信号と符号化された分析情報を伝送信号として生成する。ダウンミックス信号の符号化は、第二の実施の形態で説明したとおりであるため、説明を省略する。また、分析情報の符号化も第二の実施の形態で説明したとおりであるため、説明を省略する。そして、符号化部212は、伝送信号を伝送路に出力する。

　次に、図１２に戻り、低ビットレート復号部220の構成例を詳細に説明する。低ビットレート復号部220は、受信した伝送信号を、ダウンミックス復号信号と復号分析情報とに復号する。符号化されたダウンミック信号の復号は、第二の実施の形態で説明したとおりであるため、説明を省略する。また、符号化された分析情報の復号も第二の実施の形態で説明したとおりであるため、説明を省略する。そして、低ビットレート復号部220は、ダウンミックス復号信号を信号再合成部230に、復号分析情報を修正部240に、それぞれ出力する。

　修正部240は、出力信号情報と復号分析情報を受信し、復号分析情報に基づき分出力信号情報を修正することにより、修正再合成情報を生成する。そして、修正部240は、修正再合成情報を出力する。修正再合成情報は、ダウンミックス復号信号を分離信号に復元し、各音源信号ごとに制御するための情報を表す。周波数帯域fにおける復号分析情報の周波数成分をA(f)、出力信号情報の周波数成分をU(f)とすると、修正再合成情報の周波数成分をUCA(f)は、 UCA(f)=U(f)×A(f)となる。ここで、ダウンミックス信号、音源信号数、多チャンネル出力信号のチャンネル数を、それぞれQ、P、Nとすると、A(f)とU(f)は、それぞれ、P行Q列とN行P列の行列であり、UCA(f)は、N行Q列の行列となる。

　以上説明したように、本発明の第六の実施の形態によれば、出力信号情報に基づいて、受信部で音源信号ごとに制御することができる。すなわち、受信部で所望の音源信号を所望の位置に定位させるたり、抑圧および強調させことができる。また、第一から第四の実施の形態と比べると、分離情報または再合成情報を伝送しないため、伝送信号の情報量を削減することができる。また、第一から第四の実施の形態と比べると、分離情報または再合成情報を伝送しないため、受信側において、分離情報または再合成情報と出力信号情報とを統合する処理を行わないので、受信部の処理が簡単になり、受信部の演算量を削減することができる。また、第五の実施の形態と比べて、多チャンネル入力信号を少ない情報量で符号化するため、伝送信号の情報量を削減することができる。

　＜第七の実施の形態＞
　図１４を参照して、本発明の第七の実施の形態について説明する。第七の実施の形態は、送信部70と受信部71とが伝送路を介して接続された構成である。送信部70は、複数の音源信号が混合された多チャンネル入力信号を受信し、伝送信号を出力する。伝送信号は、伝送路を介して、受信部71に入力される。受信部71は、伝送信号と出力信号情報を受信し、多チャンネル出力信号を出力する。

　送信部70は、複数の音源信号が混合された多チャンネル入力信号を受信し、伝送信号を出力する。送信部70は、符号化部110から構成される。多チャンネル入力信号は、符号化部110に入力される。符号化部110は、多チャンネル入力信号を符号化することにより、伝送信号を生成する。そして、符号化部110は、伝送信号を伝送路に出力する。多チャンネル入力信号を符号化する処理は、第一の実施の形態の符号化部300において説明したとおりであるため、説明を省略する。

　受信部71は、伝送信号と出力信号情報を受信し、多チャンネル出力信号を出力する。受信部71は、復号部120と分離情報計算部102と分離再合成情報生成部320と信号再合成部330から構成される。伝送信号は復号部120に入力される。出力信号情報は分離再合成情報生成部320に入力される。まず、復号部120は、受信した伝送信号を、多チャンネル復号信号に復号する。続いて、復号部120は、多チャンネル復号信号を分離情報計算部102と信号再合成部330に出力する。分離情報計算部102は、多チャンネル復号信号を複数の音源信号に分離するための分離情報を生成する。そして、分離情報計算部102は、分離情報を分離再合成情報生成部320に出力する。分離再合成情報生成部320は、出力信号情報と、分離情報計算部102から受信した分離情報を統合することにより、分離再合成情報を生成する。そして、分離再合成情報生成部320は、分離再合成情報を信号再合成部330に出力する。信号再合成部330は、分離再合成情報生成部320から受信した分離再合成情報に基づいて、復号部120から受信した多チャンネル復号信号を修正することにより、多チャンネル出力信号を再合成する。信号再合成部330は、多チャンネル出力信号を出力する。受信部71は、第一の実施の形態を表す図１の受信部31と比べて、復号部310が復号部120で構成されている点と、新たに分離情報計算部102を具備することが異なる。

　復号部120は、受信した伝送信号を、多チャンネル復号信号に復号する。そして、復号部120は、多チャンネル復号信号を分離情報計算部102と信号再合成部330に出力する。符号化された多チャンネル入力信号の復号は、第一の実施の形態の復号部310におい説明したとおりであるため、説明を省略する。

　分離情報計算部102は、受信した多チャンネル復号信号を分析することにより、分離情報を生成する。そして、分離情報計算部102は、分離情報を出力する。分離情報は、多チャンネル復号信号と音源信号の関係を表す情報であり、多チャンネル復号信号を複数の音源信号に分離するために利用される。分離情報計算部102の動作は、第一の実施の形態で説明したとおりであるため、説明を省略する。

　以上説明したように、本発明の第七の実施の形態によれば、出力信号情報に基づいて、受信部で音源信号ごとに制御することができる。すなわち、受信部で所望の音源信号を所望の位置に定位させるたり、抑圧および強調させことができる。また、第一から第四の実施の形態と比べると、分離情報または再合成情報を伝送しないため、伝送信号の情報量を削減することができる。また、第一から第四の実施の形態と比べると、分離情報または再合成情報を生成しないため、送信部の演算量を削減することができる。また、第一から第六の実施の形態と比べると、受信部が音源信号に分離されていない信号のみを受信しても、受信部で音源信号ごとに制御することができる。

　＜第八の実施の形態＞
　図１５を参照して、本発明の第八の実施の形態を説明する。第一の実施の形態乃至第六の実施の形態まで、一方向通信のみを考慮してきた。すなわち、端末に内蔵された送信部から、別の端末に内蔵された受信部との間での通信について説明してきた。第八の実施の形態は、双方向の通信を考慮し、一台の送受信端末に本発明を適用した送信部と受信部との両方を内蔵しているものである。本発明の第八の実施の形態では、送信部と受信部との両方を持つことにより、テレビ会議端末や携帯電話などの双方向通信に利用した際に、本発明の効果が得られる。

　放送など、一方向の音声通信が行われる場合にも本発明の信号分析制御システムを適用することができる。放送局の送信端末は、本発明の第一の実施の形態乃至第六の実施の形態における送信部のいずれを用いてもよい。放送局とは、放送免許を持つ放送局のみならず、多地点テレビ会議のメイン会場など、音声を送信し、受信をほとんど行わない地点を含む。

　また、受信のみを行う地点においても、本発明の信号分析制御システムを適用することができる。受信のみを行う地点における受信端末では、本発明の第一の実施の形態乃至第七の実施の形態における受信部のいずれを用いてもよい。

　＜第九の実施の形態＞
　図１６を参照して、本発明の第九の実施の形態に基づく信号処理装置を詳細に説明する。本発明の第九の実施の形態は、プログラム制御により動作するコンピュータ1300、1301から構成される。コンピュータは、中央処理装置、プロセッサ、データ処理装置のいずれでもよい。

　コンピュータ1300は、第一の実施の形態乃至第六の実施の形態のいずれかに係る処理を行い、多チャンネル入力信号を受け伝送信号を出力するためのプログラムに基づき動作する。一方、コンピュータ1301は、第一の実施の形態乃至第八の実施の形態のいずれかに係る処理を行い、伝送信号を受け、多チャンネル出力信号を出力するためのプログラムに基づき動作する。なお、第八の実施の形態で説明した送信部および受信部を両方もつ場合、送信処理と受信処理を同一のコンピュータを用いて処理を実行してもよい。

　上記で説明してきた第一の実施の形態乃至第九の実施の形態では、送信部、伝送路、受信部の動作として説明してきたが、それぞれ、録音部、蓄積媒体、再生部と置き換えてもよい。たとえば、図１に示す送信部30は、伝送信号をビットストリームとして蓄積媒体に出力し、蓄積媒体にビットストリームを記録してもよい。また、受信部31は、蓄積媒体に記録されているビットストリームを取出し、ビットストリームを復号して処理を行うことにより出力信号を生成してもよい。

　本発明の第１の実施例は、音源信号が混合された入力信号を、前記音源信号に分離するための分離情報を生成する分離情報計算部を有し、前記入力信号と前記分離情報とを送出することを特徴とする信号分析装置である。

　また、本発明の第２の実施例は、上記実施例において、前記入力信号と前記分離情報とを符号化することにより符号化情報を生成する符号化部を有し、前記符号化情報を送出することを特徴とする。

　また、本発明の第３の実施例は、上記実施例において、前記符号化部は、前記入力信号からダウンミックス信号を生成するダウンミックス部と、前記入力信号と前記ダウンミックス信号との関係を表す分析情報を生成する信号分析部と、前記ダウンミックス信号と前記分析情報と前記分離情報を符号化することにより符号化情報を生成する第二の符号化部とを有することを特徴とする。

　本発明の第４の実施例は、音源信号が混合された入力信号を、前記音源信号に分離するための分離情報と、前記入力信号と前記音源信号との関係を表す再合成情報とを生成する再合成情報計算部と、前記分離情報に基づいて、前記入力信号を前記音源信号に分離することにより分離信号を生成する信号分離部とを有し、前記分離信号と前記再合成情報とを送出することを特徴とする信号分析装置である。

　また、本発明の第５の実施例は、上記実施例において、前記再合成情報計算部は、前記入力信号を前記音源信号に分離するための前記分離情報を生成する分離情報計算部と、前記分離情報に基づいて、前記入力信号と前記音源信号との関係を表す前記再合成情報を生成する再合成情報変換部とを有することを特徴とする。

　また、本発明の第６の実施例は、上記実施例において、前記再合成情報計算部は、前記入力信号を前記音源信号に分離するための前記分離情報を生成する分離情報計算部と、前記分離情報に基づいて、前記入力信号と前記音源信号との関係を表す前記再合成情報を生成する再合成情報変換部と、前記再合成情報を整形する再合成情報整形部とを有することを特徴とする。

　また、本発明の第７の実施例は、上記実施例において、前記分離信号と前記再合成情報を符号化することにより符号化情報を生成する符号化部を有し、前記符号化情報を送出することを特徴とする。

　また、本発明の第８の実施例は、上記実施例において、前記符号化部は、前記分離信号からダウンミックス信号を生成するダウンミックス部と、前記入力信号から前記入力信号と前記ダウンミックス信号の関係を表す分析情報を生成する信号分析部と、前記ダウンミックス信号と前記分析情報と前記再合成情報を符号化することにより符号化情報を生成する第二の符号化部とを有することを特徴とする。

　本発明の第９の実施例は、音源信号が混合された入力信号を、前記音源信号に分離するための分離情報を生成する分離情報計算部と、前記分離情報に基づいて、前記入力信号を前記音源信号に分離することにより分離信号を生成する信号分離部と、前記分離信号を符号化する符号化部とを有することを特徴とする信号分析装置である。

　また、本発明の第１０の実施例は、上記実施例において、前記符号化部は、前記分離信号からダウンミックス信号を生成するダウンミックス部と、前記入力信号から前記入力信号と前記ダウンミックス信号との関係を表す分析情報を生成する信号分析部と、前記ダウンミックス信号と前記分析情報とを符号化する第二の符号化部とを有することを特徴とする。

　本発明の第１１の実施例は、音源信号が混合された混合信号と、前記混合信号を前記音源信号に分離するための分離情報と、特定の音源信号を制御する出力信号情報とを受信する信号制御装置であって、前記出力信号情報と前記分離情報とから、前記音源信号を制御するための分離再合成情報を生成する分離再合成情報生成部と、前記分離再合成情報に基づいて、前記混合信号を修正する信号再合成部とを有することを特徴とする信号制御装置である。

　また、本発明の第１２の実施例は、上記実施例において、前記分離再合成情報生成部は、前記混合信号と前記音源信号との関係を表す再合成情報を、前記分離情報から生成する再合成情報変換部と、前記出力信号情報と前記再合成情報とを統合することにより統合再合成情報を生成する再合成情報統合部と、前記統合再合成情報と前記分離情報とを合成することにより前記分離再合成情報を生成する合成部とを有することを特徴とする。

　本発明の第１３の実施例は、音源信号が混合された混合信号をダウンミックスしたダウンミックス信号と、前記ダウンミックス信号と前記混合信号との関係を表す分析情報と、前記混合信号を前記音源信号に分離するための分離情報と、特定の音源信号を制御する出力信号情報とを受信する信号制御装置であって、前記出力信号情報と前記分析情報と前記分離情報とから、前記音源信号を制御するための修正分離再合成情報を生成する分離再合成情報生成部と、前記修正分離再合成情報に基づいて、前記ダウンミックス信号を修正する信号再合成部とを有することを特徴とする信号制御装置である。

　また、本発明の第１４の実施例は、上記実施例において、前記分離再合成情報生成部は、前記混合信号と前記音源信号との関係を表す再合成情報を、前記分離情報から生成する再合成情報変換部と、前記出力信号情報と前記再合成情報とを統合することにより統合再合成情報を生成する再合成情報統合部と、前記統合再合成情報と前記分離情報とを合成することにより分離再合成情報を生成する合成部と、前記分離再合成情報を前記分析情報に基づいて修正することにより前記修正分離再合成情報を生成する修正部とを有することを特徴とする。

　本発明の第１５の実施例は、音源信号が混合された混合信号を分離した分離信号と、前記混合信号と前記分離信号との関係を表す再合成情報と、特定の音源信号を制御する出力信号情報とを受信する信号制御装置であって、前記出力信号情報と前記再合成情報とから、前記音源信号を制御するための統合再合成情報を生成する再合成情報統合部と、前記修正分離再合成情報に基づいて、前記分離信号を修正する信号再合成部とを有することを特徴とする信号制御装置である。

　本発明の第１６の実施例は、音源信号が混合された混合信号を分離した分離信号をダウンミックスしたダウンミックス信号と、前記ダウンミックス信号と前記分離信号との関係を表す分析情報と、前記混合信号と前記分離信号との関係を表す再合成情報と、特定の音源信号を制御する出力信号情報とを受信する信号制御装置であって、前記出力信号情報と前記分析情報と前記再合成情報とから、前記音源信号を制御するための修正再合成情報を生成する再合成情報修正部と、前記修正再合成情報に基づいて、前記ダウンミックス信号を修正する信号再合成部とを有することを特徴とする信号制御装置である。

　また、本発明の第１７の実施例は、上記実施例において、前記再合成情報修正部は、前記出力信号情報と前記再合成情報とを統合することにより統合再合成情報を生成する再合成情報統合部と、前記統合再合成情報を前記分析情報に基づいて修正することにより前記修正再合成情報を生成する修正部とを有することを特徴とする。

　本発明の第１８の実施例は、音源信号が混合された混合信号を分離した分離信号と、特定の音源信号を制御する出力信号情報とを受信する信号制御装置であって、前記出力信号情報に基づいて前記分離信号を修正する信号再合成部を有することを特徴とする信号制御装置である。

　本発明の第１９の実施例は、音源信号が混合された混合信号を分離した分離信号をダウンミックスしたダウンミックス信号と、前記ダウンミックス信号と前記分離信号との関係を表す分析情報と、特定の音源信号を制御する出力信号情報とを受信する信号制御装置であって、前記出力信号情報と前記分析情報とから、前記音源信号を制御するための修正再合成情報を生成する再合成情報修正部と、前記修正再合成情報に基づいて、前記ダウンミックス信号を修正する信号再合成部とを有することを特徴とする信号制御装置である。

　本発明の第２０の実施例は、音源信号が混合された混合信号と、特定の音源信号を制御する出力信号情報と受信する信号制御装置であって、前記混合信号を前記音源信号に分離するための分離情報を生成する分離情報計算部と、前記出力信号情報と前記分離情報とから、前記音源信号を制御するための分離再合成情報を生成する分離再合成情報生成部と、前記分離再合成情報に基づいて、前記混合信号を修正する信号再合成部とを有することを特徴とする信号制御装置である。

　また、本発明の第２１の実施例は、上記実施例において、前記分離再合成情報生成部は、前記混合信号と前記音源信号との関係を表す再合成情報を、前記分離情報とから生成する再合成情報変換部と、前記出力信号情報と前記再合成情報とを統合することにより統合再合成情報を生成する再合成情報統合部と、前記統合再合成情報と前記分離情報とを合成することにより前記分離再合成情報を生成する合成部とを有することを特徴とする。

　また、本発明の第２２の実施例は、上記実施例において、前記統合再合成情報を前記再合成情報のみを用いて生成することを特徴とする。

　本発明の第２３の実施例は、音源信号が混合された入力信号を、前記音源信号に分離するための分離情報を生成し、前記入力信号と前記分離情報とを送出することを特徴とする信号分析方法である。

　また、本発明の第２４の実施例は、上記実施例において、前記入力信号と前記分離情報とを符号化することにより符号化情報を生成し、前記符号化情報を送出することを特徴とする。

　また、本発明の第２５の実施例は、上記実施例において、前記符号化は、前記入力信号からダウンミックス信号を生成し、前記入力信号と前記ダウンミックス信号との関係を表す分析情報を生成し、前記ダウンミックス信号と前記分析情報と前記分離情報を符号化することにより符号化情報を生成することを特徴とする。

　本発明の第２６の実施例は、音源信号が混合された入力信号を、前記音源信号に分離するための分離情報と、前記入力信号と前記音源信号との関係を表す再合成情報とを生成し、前記分離情報に基づいて、前記入力信号を前記音源信号に分離することにより分離信号を生成し、前記分離信号と前記再合成情報とを送出することを特徴とする信号分析方法である。

　また、本発明の第２７の実施例は、上記実施例において、前記入力信号を前記音源信号に分離するための前記分離情報を生成し、前記分離情報に基づいて、前記再合成情報を生成することを特徴とする。

　また、本発明の第２８の実施例は、上記実施例において、前記入力信号を前記音源信号に分離するための前記分離情報を生成し、前記分離情報に基づいて、前記再合成情報を生成し、前記再合成情報を整形することを特徴とする。

　また、本発明の第２９の実施例は、上記実施例において、前記分離信号と前記再合成情報を符号化することにより符号化情報を生成し、前記符号化情報を送出することを特徴とする。

　また、本発明の第３０の実施例は、上記実施例において、前記分離信号からダウンミックス信号を生成し、前記入力信号から前記入力信号と前記ダウンミックス信号の関係を表す分析情報を生成し、前記ダウンミックス信号と前記分析情報と前記再合成情報を符号化することにより前記符号化情報を生成することを特徴とする。

　本発明の第３０の実施例は、音源信号が混合された入力信号を、前記音源信号に分離するための分離情報を生成し、前記分離情報に基づいて、前記入力信号を前記音源信号に分離することにより分離信号を生成し、前記分離信号を符号化することを特徴とする信号分析方法である。

　また、本発明の第３２の実施例は、上記実施例において、前記分離信号からダウンミックス信号を生成し、前記入力信号から前記入力信号と前記ダウンミックス信号との関係を表す分析情報を生成し、前記ダウンミックス信号と前記分析情報とを符号化することを特徴とする。

　本発明の第３３の実施例は、音源信号が混合された混合信号と、前記混合信号を前記音源信号に分離するための分離情報と、特定の音源信号を制御する出力信号情報とを受信し、前記出力信号情報と前記分離情報とから、前記音源信号を制御するための分離再合成情報を生成し、前記分離再合成情報に基づいて、前記混合信号を修正することを特徴とする信号制御方法である。

　また、本発明の第３４の実施例は、上記実施例において、前記混合信号と前記音源信号との関係を表す再合成情報を、前記分離情報から生成し、前記出力信号情報と前記再合成情報とを統合することにより統合再合成情報を生成し、前記統合再合成情報と前記分離情報とを合成することにより前記分離再合成情報を生成することを特徴とする。

　本発明の第３５の実施例は、音源信号が混合された混合信号をダウンミックスしたダウンミックス信号と、前記ダウンミックス信号と前記混合信号との関係を表す分析情報と、前記混合信号を前記音源信号に分離するための分離情報と、特定の音源信号を制御する出力信号情報とを受信し、前記出力信号情報と前記分析情報と前記分離情報とから、前記音源信号を制御するための修正分離再合成情報を生成し、前記修正分離再合成情報に基づいて、前記ダウンミックス信号を修正することを特徴とする信号制御方法である。

　また、本発明の第３６の実施例は、上記実施例において、前記混合信号と前記音源信号との関係を表す再合成情報を、前記分離情報から生成し、前記出力信号情報と前記再合成情報とを統合することにより統合再合成情報を生成し、前記統合再合成情報と前記分離情報とを合成することにより分離再合成情報を生成し、前記分離再合成情報を前記分析情報に基づいて修正することにより前記修正分離再合成情報を生成することを特徴とする。

　また、本発明の第３７の実施例は、音源信号が混合された混合信号を分離した分離信号と、前記混合信号と前記分離信号との関係を表す再合成情報と、特定の音源信号を制御する出力信号情報とを受信し、前記出力信号情報と前記再合成情報とから、前記音源信号を制御するための統合再合成情報を生成し、前記修正分離再合成情報に基づいて、前記分離信号を修正することを特徴とする信号制御方法である。

　また、本発明の第３８の実施例は、音源信号が混合された混合信号を分離した分離信号をダウンミックスしたダウンミックス信号と、前記ダウンミックス信号と前記分離信号との関係を表す分析情報と、前記混合信号と前記分離信号との関係を表す再合成情報と、特定の音源信号を制御する出力信号情報と受信し、前記出力信号情報と前記分析情報と前記再合成情報とから、前記音源信号を制御するための修正再合成情報を生成し、前記修正再合成情報に基づいて、前記ダウンミックス信号を修正することを特徴とする信号制御方法である。

　また、本発明の第３９の実施例は、上記実施例において、前記出力信号情報と前記再合成情報とを統合することにより統合再合成情報を生成し、前記統合再合成情報を前記分析情報に基づいて修正することにより前記修正再合成情報を生成することを特徴とする。

　本発明の第４０の実施例は、音源信号が混合された混合信号を分離した分離信号と、特定の音源信号を制御する出力信号情報とを受信し、前記出力信号情報に基づいて前記分離信号を修正することを特徴とする信号制御方法である。

　本発明の第４１の実施例は、音源信号が混合された混合信号を分離した分離信号をダウンミックスしたダウンミックス信号と、前記ダウンミックス信号と前記分離信号との関係を表す分析情報と、特定の音源信号を制御する出力信号情報とを受信し、前記出力信号情報と前記分析情報とから、前記音源信号を制御するための修正再合成情報を生成し、前記修正再合成情報に基づいて、前記ダウンミックス信号を修正することを特徴とする信号制御方法である。

　本発明の第４２の実施例は、音源信号が混合された混合信号と、特定の音源信号を制御する出力信号情報とを受信し、前記混合信号を前記音源信号に分離するための分離情報を生成し、前記出力信号情報と前記分離情報とから、前記音源信号を制御するための分離再合成情報を生成し、前記分離再合成情報に基づいて、前記混合信号を修正することを特徴とする信号制御方法である。

　また、本発明の第４３の実施例は、上記実施例において、前記混合信号と前記音源信号との関係を表す再合成情報を、前記分離情報から生成し、前記出力信号情報と前記再合成情報とを統合することにより統合再合成情報を生成し、前記統合再合成情報と前記分離情報とを合成することにより前記分離再合成情報を生成することを特徴とする。

　また、本発明の第４４の実施例は、上記実施例において、前記統合再合成情報を前記再合成情報のみを用いて生成することを特徴とする。

　本発明の第４５の実施例は、音源信号が混合された入力信号を、前記音源信号に分離するための分離情報を生成する分離情報計算処理を情報処理装置に実行させるプログラムである。

　本発明の第４６の実施例は、音源信号が混合された入力信号を、前記音源信号に分離するための分離情報と、前記入力信号と前記音源信号との関係を表す再合成情報とを生成する再合成情報計算処理と、前記分離情報に基づいて、前記入力信号を前記音源信号に分離することにより分離信号を生成する信号分離処理とを情報処理装置に実行させるプログラムである。

　本発明の第４７の実施例は、音源信号が混合された入力信号を、前記音源信号に分離するための分離情報を生成する分離情報計算処理と、前記分離情報に基づいて、前記入力信号を前記音源信号に分離することにより分離信号を生成する信号分離処理と、前記分離信号を符号化する符号化処理とを情報処理装置に実行させるプログラムである。

　本発明の第４８の実施例は、音源信号が混合された混合信号と、前記混合信号を前記音源信号に分離するための分離情報と、特定の音源信号を制御する出力信号情報とが入力され、前記出力信号情報と前記分離情報とから、前記音源信号を制御するための分離再合成情報を生成する分離再合成情報生成処理と、前記分離再合成情報に基づいて、前記混合信号を修正する信号再合成処理とを情報処理装置に実行させるプログラムである。

　本発明の第４９の実施例は、音源信号が混合された混合信号をダウンミックスしたダウンミックス信号と、前記ダウンミックス信号と前記混合信号との関係を表す分析情報と、前記混合信号を前記音源信号に分離するための分離情報と、特定の音源信号を制御する出力信号情報とが入力され、前記出力信号情報と前記分析情報と前記分離情報とから、前記音源信号を制御するための修正分離再合成情報を生成する分離再合成情報生成処理と、前記修正分離再合成情報に基づいて、前記ダウンミックス信号を修正する信号再合成処理とを情報処理装置に実行させるプログラムである。

　本発明の第５０の実施例は、音源信号が混合された混合信号を分離した分離信号と、前記混合信号と前記分離信号との関係を表す再合成情報と、特定の音源信号を制御する出力信号情報とが入力され、前記出力信号情報と前記再合成情報とから、前記音源信号を制御するための統合再合成情報を生成する再合成情報統合処理と、前記修正分離再合成情報に基づいて、前記分離信号を修正する信号再合成処理とを情報処理装置に実行させるプログラムである。

　本発明の第５１の実施例は、音源信号が混合された混合信号を分離した分離信号をダウンミックスしたダウンミックス信号と、前記ダウンミックス信号と前記分離信号との関係を表す分析情報と、前記混合信号と前記分離信号との関係を表す再合成情報と、特定の音源信号を制御する出力信号情報とが入力され、前記出力信号情報と前記分析情報と前記再合成情報とから、前記音源信号を制御するための修正再合成情報を生成する再合成情報修正処理と、前記修正再合成情報に基づいて、前記ダウンミックス信号を修正する信号再合成処理とを情報処理装置に実行させるプログラムである。

　本発明の第５２の実施例は、音源信号が混合された混合信号を分離した分離信号と、特定の音源信号を制御する出力信号情報とが入力され、前記出力信号情報に基づいて前記分離信号を修正する信号再合成処理を情報処理装置に実行させるプログラムである。

　本発明の第５３の実施例は、音源信号が混合された混合信号を分離した分離信号をダウンミックスしたダウンミックス信号と、前記ダウンミックス信号と前記分離信号との関係を表す分析情報と、特定の音源信号を制御する出力信号情報とが入力され、前記出力信号情報と前記分析情報とから、前記音源信号を制御するための修正再合成情報を生成する再合成情報修正処理と、前記修正再合成情報に基づいて、前記ダウンミックス信号を修正する信号再合成処理とを情報処理装置に実行させるプログラムである。

　本発明の第５４の実施例は、音源信号が混合された混合信号と、特定の音源信号を制御する出力信号情報とが入力され、前記混合信号を前記音源信号に分離するための分離情報を生成する分離情報計算処理と、前記出力信号情報と前記分離情報とから、前記音源信号を制御するための分離再合成情報を生成する分離再合成情報生成処理と、前記分離再合成情報に基づいて、前記混合信号を修正する信号再合成処理とを情報処理装置に実行させるプログラムである。

　以上、実施の形態及び実施例をあげて本発明を説明したが、本発明は必ずしも上記実施の形態及び実施例に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。

　本出願は、２００８年７月１１日に出願された日本出願特願２００８－１８１２４２号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

　本発明によれば、信号分析又は制御を行う装置、信号分析又は制御をコンピュータに実現するためのプログラムといった用途に適用できる。

10, 20, 30, 40, 50, 60, 70　送信部
11, 21, 31, 41, 51, 61, 71　受信部
101　信号分離部
102　分離情報計算部
110, 212, 300, 401, 510, 900　符号化部
120, 310, 520, 910　復号部
130, 330, 430, 530, 630, 920　信号再合成部
210, 400, 600　低ビットレー符号化部
211　ダウンミックス部

213　信号分析部
220, 410, 610　低ビットレート復号部
240, 421, 621　修正部
320, 420　分離再合成情報生成部
321　再合成情報変換部
322　再合成情報統合部
323　合成部
500　再合成情報計算部
501　再合成情報整形部
620　再合成情報修正部
1300, 1301　コンピュータ

Claims

　音源信号が混合された入力信号を、前記音源信号に分離するための分離情報を生成する分離情報計算部を有し、
　前記入力信号と前記分離情報とを送出する
ことを特徴とする信号分析装置。
　前記入力信号と前記分離情報とを符号化することにより符号化情報を生成する符号化部を有し、
　前記符号化情報を送出する
ことを特徴とする請求項１に記載の信号分析装置。
　前記符号化部は、
　前記入力信号からダウンミックス信号を生成するダウンミックス部と、
　前記入力信号と前記ダウンミックス信号との関係を表す分析情報を生成する信号分析部と、
　前記ダウンミックス信号と前記分析情報と前記分離情報を符号化することにより符号化情報を生成する第二の符号化部と
を有することを特徴とする請求項２に記載の信号分析装置。
　音源信号が混合された入力信号を、前記音源信号に分離するための分離情報と、前記入力信号と前記音源信号との関係を表す再合成情報とを生成する再合成情報計算部と、
　前記分離情報に基づいて、前記入力信号を前記音源信号に分離することにより分離信号を生成する信号分離部とを有し、
　前記分離信号と前記再合成情報とを送出する
ことを特徴とする信号分析装置。
　前記再合成情報計算部は、
　前記入力信号を前記音源信号に分離するための前記分離情報を生成する分離情報計算部と、
　前記分離情報に基づいて、前記入力信号と前記音源信号との関係を表す前記再合成情報を生成する再合成情報変換部と
を有することを特徴とする請求項４に記載の信号分析装置。
　前記再合成情報計算部は、
　前記入力信号を前記音源信号に分離するための前記分離情報を生成する分離情報計算部と、
　前記分離情報に基づいて、前記入力信号と前記音源信号との関係を表す前記再合成情報を生成する再合成情報変換部と、
　前記再合成情報を整形する再合成情報整形部と
を有することを特徴とする請求項４に記載の信号分析装置。
　前記分離信号と前記再合成情報を符号化することにより符号化情報を生成する符号化部を有し、
　前記符号化情報を送出する
ことを特徴とする請求項４から請求項６のいずれかに記載の信号分析装置。
　前記符号化部は、
　前記分離信号からダウンミックス信号を生成するダウンミックス部と、
　前記入力信号から前記入力信号と前記ダウンミックス信号の関係を表す分析情報を生成する信号分析部と、
　前記ダウンミックス信号と前記分析情報と前記再合成情報を符号化することにより符号化情報を生成する第二の符号化部と
を有することを特徴とする請求項７に記載の信号分析装置。
　音源信号が混合された入力信号を、前記音源信号に分離するための分離情報を生成する分離情報計算部と、
　前記分離情報に基づいて、前記入力信号を前記音源信号に分離することにより分離信号を生成する信号分離部と、
　前記分離信号を符号化する符号化部と
を有することを特徴とする信号分析装置。
　前記符号化部は、
　前記分離信号からダウンミックス信号を生成するダウンミックス部と、
　前記入力信号から前記入力信号と前記ダウンミックス信号との関係を表す分析情報を生成する信号分析部と、
　前記ダウンミックス信号と前記分析情報とを符号化する第二の符号化部と
を有することを特徴とする請求項９に記載の信号分析装置。
　音源信号が混合された混合信号と、前記混合信号を前記音源信号に分離するための分離情報と、特定の音源信号を制御する出力信号情報とを受信する信号制御装置であって、
　前記出力信号情報と前記分離情報とから、前記音源信号を制御するための分離再合成情報を生成する分離再合成情報生成部と、
　前記分離再合成情報に基づいて、前記混合信号を修正する信号再合成部と
を有することを特徴とする信号制御装置。
　前記分離再合成情報生成部は、
　前記混合信号と前記音源信号との関係を表す再合成情報を、前記分離情報から生成する再合成情報変換部と、
　前記出力信号情報と前記再合成情報とを統合することにより統合再合成情報を生成する再合成情報統合部と、
　前記統合再合成情報と前記分離情報とを合成することにより前記分離再合成情報を生成する合成部と
を有することを特徴とする請求項１１に記載に信号制御装置。
　音源信号が混合された混合信号をダウンミックスしたダウンミックス信号と、前記ダウンミックス信号と前記混合信号との関係を表す分析情報と、前記混合信号を前記音源信号に分離するための分離情報と、特定の音源信号を制御する出力信号情報とを受信する信号制御装置であって、
　前記出力信号情報と前記分析情報と前記分離情報とから、前記音源信号を制御するための修正分離再合成情報を生成する分離再合成情報生成部と、
　前記修正分離再合成情報に基づいて、前記ダウンミックス信号を修正する信号再合成部と
を有することを特徴とする信号制御装置。
　前記分離再合成情報生成部は、
　前記混合信号と前記音源信号との関係を表す再合成情報を、前記分離情報から生成する再合成情報変換部と、
　前記出力信号情報と前記再合成情報とを統合することにより統合再合成情報を生成する再合成情報統合部と、
　前記統合再合成情報と前記分離情報とを合成することにより分離再合成情報を生成する合成部と、
　前記分離再合成情報を前記分析情報に基づいて修正することにより前記修正分離再合成情報を生成する修正部と
を有することを特徴とする請求項１３に記載に信号制御装置。
　音源信号が混合された混合信号を分離した分離信号と、前記混合信号と前記分離信号との関係を表す再合成情報と、特定の音源信号を制御する出力信号情報とを受信する信号制御装置であって、
　前記出力信号情報と前記再合成情報とから、前記音源信号を制御するための統合再合成情報を生成する再合成情報統合部と、
　前記修正分離再合成情報に基づいて、前記分離信号を修正する信号再合成部と
を有することを特徴とする信号制御装置。
　音源信号が混合された混合信号を分離した分離信号をダウンミックスしたダウンミックス信号と、前記ダウンミックス信号と前記分離信号との関係を表す分析情報と、前記混合信号と前記分離信号との関係を表す再合成情報と、特定の音源信号を制御する出力信号情報とを受信する信号制御装置であって、
　前記出力信号情報と前記分析情報と前記再合成情報とから、前記音源信号を制御するための修正再合成情報を生成する再合成情報修正部と、
　前記修正再合成情報に基づいて、前記ダウンミックス信号を修正する信号再合成部と
を有することを特徴とする信号制御装置。
　前記再合成情報修正部は、
　前記出力信号情報と前記再合成情報とを統合することにより統合再合成情報を生成する再合成情報統合部と、
　前記統合再合成情報を前記分析情報に基づいて修正することにより前記修正再合成情報を生成する修正部と
を有することを特徴とする請求項１６に記載の信号制御装置。
　音源信号が混合された混合信号を分離した分離信号と、特定の音源信号を制御する出力信号情報とを受信する信号制御装置であって、
　前記出力信号情報に基づいて前記分離信号を修正する信号再合成部を有することを特徴とする信号制御装置。
　音源信号が混合された混合信号を分離した分離信号をダウンミックスしたダウンミックス信号と、前記ダウンミックス信号と前記分離信号との関係を表す分析情報と、特定の音源信号を制御する出力信号情報とを受信する信号制御装置であって、
　前記出力信号情報と前記分析情報とから、前記音源信号を制御するための修正再合成情報を生成する再合成情報修正部と、
　前記修正再合成情報に基づいて、前記ダウンミックス信号を修正する信号再合成部と
を有することを特徴とする信号制御装置。
　音源信号が混合された混合信号と、特定の音源信号を制御する出力信号情報と受信する信号制御装置であって、
　前記混合信号を前記音源信号に分離するための分離情報を生成する分離情報計算部と、
　前記出力信号情報と前記分離情報とから、前記音源信号を制御するための分離再合成情報を生成する分離再合成情報生成部と、
　前記分離再合成情報に基づいて、前記混合信号を修正する信号再合成部と
を有することを特徴とする信号制御装置。
　前記分離再合成情報生成部は、
　前記混合信号と前記音源信号との関係を表す再合成情報を、前記分離情報とから生成する再合成情報変換部と、
　前記出力信号情報と前記再合成情報とを統合することにより統合再合成情報を生成する再合成情報統合部と、
　前記統合再合成情報と前記分離情報とを合成することにより前記分離再合成情報を生成する合成部と
を有することを特徴とする請求項２０に記載に信号制御装置。
　前記統合再合成情報を前記再合成情報のみを用いて生成することを特徴とする請求項１２、は請求項１４、請求項１５、請求項１７、又は請求項２１のいずれかに記載の信号制御装置。
　音源信号が混合された入力信号を、前記音源信号に分離するための分離情報を生成し、
　前記入力信号と前記分離情報とを送出する
ことを特徴とする信号分析方法。
　前記入力信号と前記分離情報とを符号化することにより符号化情報を生成し、
前記符号化情報を送出する
ことを特徴とする請求項２３に記載の信号分析方法。
　前記符号化は、
　前記入力信号からダウンミックス信号を生成し、
　前記入力信号と前記ダウンミックス信号との関係を表す分析情報を生成し、
前記ダウンミックス信号と前記分析情報と前記分離情報を符号化することにより符号化情報を生成する
ことを特徴とする請求項２４に記載の信号分析方法。
　音源信号が混合された入力信号を、前記音源信号に分離するための分離情報と、前記入力信号と前記音源信号との関係を表す再合成情報とを生成し、
　前記分離情報に基づいて、前記入力信号を前記音源信号に分離することにより分離信号を生成し、
　前記分離信号と前記再合成情報とを送出する
ことを特徴とする信号分析方法。
　前記入力信号を前記音源信号に分離するための前記分離情報を生成し、
　前記分離情報に基づいて、前記再合成情報を生成する
ことを特徴とする請求項２６に記載の信号分析方法。
　前記入力信号を前記音源信号に分離するための前記分離情報を生成し、
　前記分離情報に基づいて、前記再合成情報を生成し、
　前記再合成情報を整形する
ことを特徴とする請求項２６に記載の信号分析方法。
　前記分離信号と前記再合成情報を符号化することにより符号化情報を生成し、
　前記符号化情報を送出する
ことを特徴とする請求項２６から請求項２８のいずれかに記載の信号分析方法。
　前記分離信号からダウンミックス信号を生成し、
　前記入力信号から前記入力信号と前記ダウンミックス信号の関係を表す分析情報を生成し、
　前記ダウンミックス信号と前記分析情報と前記再合成情報を符号化することにより前記符号化情報を生成する
ことを特徴とする請求項２９に記載の信号分析方法。
　音源信号が混合された入力信号を、前記音源信号に分離するための分離情報を生成し、
　前記分離情報に基づいて、前記入力信号を前記音源信号に分離することにより分離信号を生成し、
　前記分離信号を符号化する
ことを特徴とする信号分析方法。
　前記分離信号からダウンミックス信号を生成し、
　前記入力信号から前記入力信号と前記ダウンミックス信号との関係を表す分析情報を生成し、
　前記ダウンミックス信号と前記分析情報とを符号化する
ことを特徴とする請求項３１に記載の信号分析方法。
　音源信号が混合された混合信号と、前記混合信号を前記音源信号に分離するための分離情報と、特定の音源信号を制御する出力信号情報とを受信し、
　前記出力信号情報と前記分離情報とから、前記音源信号を制御するための分離再合成情報を生成し、
　前記分離再合成情報に基づいて、前記混合信号を修正する
ことを特徴とする信号制御方法。
　前記混合信号と前記音源信号との関係を表す再合成情報を、前記分離情報から生成し、
　前記出力信号情報と前記再合成情報とを統合することにより統合再合成情報を生成し、
　前記統合再合成情報と前記分離情報とを合成することにより前記分離再合成情報を生成する
ことを特徴とする請求項３３に記載に信号制御方法。
　音源信号が混合された混合信号をダウンミックスしたダウンミックス信号と、前記ダウンミックス信号と前記混合信号との関係を表す分析情報と、前記混合信号を前記音源信号に分離するための分離情報と、特定の音源信号を制御する出力信号情報とを受信し、
　前記出力信号情報と前記分析情報と前記分離情報とから、前記音源信号を制御するための修正分離再合成情報を生成し、
　前記修正分離再合成情報に基づいて、前記ダウンミックス信号を修正する
ことを特徴とする信号制御方法。
　前記混合信号と前記音源信号との関係を表す再合成情報を、前記分離情報から生成し、
　前記出力信号情報と前記再合成情報とを統合することにより統合再合成情報を生成し、
　前記統合再合成情報と前記分離情報とを合成することにより分離再合成情報を生成し、
　前記分離再合成情報を前記分析情報に基づいて修正することにより前記修正分離再合成情報を生成する
ことを特徴とする請求項３５に記載に信号制御方法。
　音源信号が混合された混合信号を分離した分離信号と、前記混合信号と前記分離信号との関係を表す再合成情報と、特定の音源信号を制御する出力信号情報とを受信し、
　前記出力信号情報と前記再合成情報とから、前記音源信号を制御するための統合再合成情報を生成し、
　前記修正分離再合成情報に基づいて、前記分離信号を修正する
ことを特徴とする信号制御方法。
　音源信号が混合された混合信号を分離した分離信号をダウンミックスしたダウンミックス信号と、前記ダウンミックス信号と前記分離信号との関係を表す分析情報と、前記混合信号と前記分離信号との関係を表す再合成情報と、特定の音源信号を制御する出力信号情報と受信し、
　前記出力信号情報と前記分析情報と前記再合成情報とから、前記音源信号を制御するための修正再合成情報を生成し、
　前記修正再合成情報に基づいて、前記ダウンミックス信号を修正する
ことを特徴とする信号制御方法。
　前記出力信号情報と前記再合成情報とを統合することにより統合再合成情報を生成し、
　前記統合再合成情報を前記分析情報に基づいて修正することにより前記修正再合成情報を生成する
ことを特徴とする請求項３８に記載の信号制御方法。
　音源信号が混合された混合信号を分離した分離信号と、特定の音源信号を制御する出力信号情報とを受信し、
　前記出力信号情報に基づいて前記分離信号を修正することを特徴とする信号制御方法。
　音源信号が混合された混合信号を分離した分離信号をダウンミックスしたダウンミックス信号と、前記ダウンミックス信号と前記分離信号との関係を表す分析情報と、特定の音源信号を制御する出力信号情報とを受信し、
　前記出力信号情報と前記分析情報とから、前記音源信号を制御するための修正再合成情報を生成し、
　前記修正再合成情報に基づいて、前記ダウンミックス信号を修正する
ことを特徴とする信号制御方法。
　音源信号が混合された混合信号と、特定の音源信号を制御する出力信号情報とを受信し、
　前記混合信号を前記音源信号に分離するための分離情報を生成し、
　前記出力信号情報と前記分離情報とから、前記音源信号を制御するための分離再合成情報を生成し、
　前記分離再合成情報に基づいて、前記混合信号を修正する
ことを特徴とする信号制御方法。
　前記混合信号と前記音源信号との関係を表す再合成情報を、前記分離情報から生成し、
　前記出力信号情報と前記再合成情報とを統合することにより統合再合成情報を生成し、
　前記統合再合成情報と前記分離情報とを合成することにより前記分離再合成情報を生成する
ことを特徴とする請求項４２に記載に信号制御方法。
　前記統合再合成情報を前記再合成情報のみを用いて生成することを特徴とする請求項３４、は請求項３６、請求項３７、請求項３９、又は請求項４３のいずれかに記載の信号制御方法。
　音源信号が混合された入力信号を、前記音源信号に分離するための分離情報を生成する分離情報計算処理を情報処理装置に実行させるプログラム。
　音源信号が混合された入力信号を、前記音源信号に分離するための分離情報と、前記入力信号と前記音源信号との関係を表す再合成情報とを生成する再合成情報計算処理と、
　前記分離情報に基づいて、前記入力信号を前記音源信号に分離することにより分離信号を生成する信号分離処理と
を情報処理装置に実行させるプログラム。
　音源信号が混合された入力信号を、前記音源信号に分離するための分離情報を生成する分離情報計算処理と、
　前記分離情報に基づいて、前記入力信号を前記音源信号に分離することにより分離信号を生成する信号分離処理と、
　前記分離信号を符号化する符号化処理と
を情報処理装置に実行させるプログラム。
　音源信号が混合された混合信号と、前記混合信号を前記音源信号に分離するための分離情報と、特定の音源信号を制御する出力信号情報とが入力され、
　前記出力信号情報と前記分離情報とから、前記音源信号を制御するための分離再合成情報を生成する分離再合成情報生成処理と、
　前記分離再合成情報に基づいて、前記混合信号を修正する信号再合成処理と
を情報処理装置に実行させるプログラム。
　音源信号が混合された混合信号をダウンミックスしたダウンミックス信号と、前記ダウンミックス信号と前記混合信号との関係を表す分析情報と、前記混合信号を前記音源信号に分離するための分離情報と、特定の音源信号を制御する出力信号情報とが入力され、
　前記出力信号情報と前記分析情報と前記分離情報とから、前記音源信号を制御するための修正分離再合成情報を生成する分離再合成情報生成処理と、
　前記修正分離再合成情報に基づいて、前記ダウンミックス信号を修正する信号再合成処理と
を情報処理装置に実行させるプログラム。
　音源信号が混合された混合信号を分離した分離信号と、前記混合信号と前記分離信号との関係を表す再合成情報と、特定の音源信号を制御する出力信号情報とが入力され、
　前記出力信号情報と前記再合成情報とから、前記音源信号を制御するための統合再合成情報を生成する再合成情報統合処理と、
　前記修正分離再合成情報に基づいて、前記分離信号を修正する信号再合成処理と
を情報処理装置に実行させるプログラム。
　音源信号が混合された混合信号を分離した分離信号をダウンミックスしたダウンミックス信号と、前記ダウンミックス信号と前記分離信号との関係を表す分析情報と、前記混合信号と前記分離信号との関係を表す再合成情報と、特定の音源信号を制御する出力信号情報とが入力され、
　前記出力信号情報と前記分析情報と前記再合成情報とから、前記音源信号を制御するための修正再合成情報を生成する再合成情報修正処理と、
　前記修正再合成情報に基づいて、前記ダウンミックス信号を修正する信号再合成処理と
を情報処理装置に実行させるプログラム。
　音源信号が混合された混合信号を分離した分離信号と、特定の音源信号を制御する出力信号情報とが入力され、
　前記出力信号情報に基づいて前記分離信号を修正する信号再合成処理を情報処理装置に実行させるプログラム。
　音源信号が混合された混合信号を分離した分離信号をダウンミックスしたダウンミックス信号と、前記ダウンミックス信号と前記分離信号との関係を表す分析情報と、特定の音源信号を制御する出力信号情報とが入力され、
　前記出力信号情報と前記分析情報とから、前記音源信号を制御するための修正再合成情報を生成する再合成情報修正処理と、
　前記修正再合成情報に基づいて、前記ダウンミックス信号を修正する信号再合成処理と
を情報処理装置に実行させるプログラム。
　音源信号が混合された混合信号と、特定の音源信号を制御する出力信号情報とが入力され、
　前記混合信号を前記音源信号に分離するための分離情報を生成する分離情報計算処理と、
　前記出力信号情報と前記分離情報とから、前記音源信号を制御するための分離再合成情報を生成する分離再合成情報生成処理と、
　前記分離再合成情報に基づいて、前記混合信号を修正する信号再合成処理と
を情報処理装置に実行させるプログラム。