実施の形態に係る信号処理装置は、例えば、図1で示されるような信号処理装置100のように構成されると良い。
図1の信号処理装置100は、撮像装置131、伝送装置132、記録装置133、記録媒体134、蓄積装置135などから、処理対象となる信号を第1入力101として取得する。また、同様に参照される信号を第2入力102として取得する。ここで、これらの信号は、画像信号であるものとして話を進めるが、音声信号などの他の信号であっても構わない。以下、画像信号処理として超解像処理を主に説明するが、画像符号化処理であってもよい。
信号処理装置100は、取得した第1入力101の信号に対して、どのような信号成分に対して、どのような順序で実施の形態に係る信号処理装置100における信号の再構成処理をするかを、所定の管理情報に基づいて動作を制御できるように構成することが望ましい。また、参照側の信号である、第2入力102の信号を、どのようなタイミングで切り替えるかを制御できるようにすると更に良い構成となる。
実施の形態に係る信号処理装置100で利用される管理情報には、少なくとも、信号から処理対象としている信号成分情報を抽出するためのアルゴリズムを特定するための情報(抽出アルゴリズム判別情報)、特定された抽出アルゴリズムが信号から抽出対象となる信号成分を特定するための補助情報(抽出補助情報)、抽出された信号(抽出成分情報)に対して再構成処理によって得られる再構成処理後の抽出成分情報に対して、信号の周波数帯域成分を抑制するためのアルゴリズムを特定するための情報(帯域抑制アルゴリズム判別情報)、特定された帯域抑制アルゴリズムが、どのような信号の周波数帯域成分まで抑制すべきかを特定するための補助情報(帯域抑制補助情報)を含むようにすると良い。
これらの管理情報は、所定の管理情報として、あらかじめ信号処理装置100に格納されているようにしても構わない。また、図示されていない外部からの入力手段によって供給され、更新できるように構成しても構わない。更に、これらの管理情報の少なくとも1つを、図示されていない外部への出力手段に対して出力し、保存できるように構成すると、更に良い構成となる。
信号処理装置100は、処理対象の信号である取得した第1入力101の信号に対し、管理情報に基づいて、信号成分情報を抽出するためのアルゴリズムと、抽出対象となる信号成分とを特定する。信号処理装置100は、特定したアルゴリズムを用いて、抽出対象となる信号成分から処理対象となる抽出成分情報を生成するとともに、抽出成分情報以外の成分を、抽出外成分情報として生成する。同様に、信号処理装置100は、参照となる信号である取得した第2入力102の信号に対し、管理情報に基づいて、参照対象となる抽出成分情報を少なくとも生成する。
そして、抽出成分情報を抽出する際に特定された周波数帯域を利用して、現在処理対象となっている領域とは異なる領域に含まれている信号から、抽出された抽出成分情報に相当する新たな信号成分情報を生成し、元の抽出成分情報と置き換える。置き換えた抽出成分情報を新たな抽出成分情報とし、これを抽出成分情報の再構成処理をする際の基準信号とする。ここで、現在の処理対象となっている領域とは異なる領域は、所定の方法により特定される。この異なる領域の特定に関する詳細に関しては後述する。
その後、信号処理装置100は、抽出成分情報の再構成処理をする。まず、所定の処理単位で、処理対象となっている抽出成分情報に最も類似した信号成分が、参照側の抽出成分情報のどの部分に対応するかを特定する。
次に、信号処理装置100は、特定された参照側の抽出成分情報を、処理対象となっている抽出成分情報のサンプリング間隔以上の細かさ(サンプリング間隔が等しいが、もしくは短い状態)で信号成分の位置合わせをする。位置合わせの結果、信号処理装置100は、対応付けられた処理対象側の抽出成分情報と、参照側の抽出成分情報とを合成し、合成された抽出成分情報(以後、「合成抽出成分情報」という。)を生成する。ここで、合成抽出成分情報のサンプリング間隔は、処理対象となっていた抽出成分情報のサンプリング間隔以上の細かさとなるように構成すると良い。
その後、信号処理装置100は、信号の周波数帯域成分を抑制するためのアルゴリズムを特定し、どのような信号の周波数帯域成分まで抑制すべきかを特定する。さらに信号処理装置100は、合成抽出成分情報に対して、信号の周波数帯域抑制をすることで、帯域制限された合成抽出成分情報を生成する。以上の処理が、抽出成分情報の再構成処理となる。ここで、管理情報に基づいて特定される周波数帯域制限は、第1入力101もしくは第2入力102から抽出成分情報を生成する際に抽出し得る周波数成分の帯域に制限するように構成することが望ましいが、必ずしもこのように帯域を制限する必要はない。たとえば、単純に元の第1入力101の信号のサンプリング間隔と同等となるように、所定の帯域制限フィルタを用いた上でリサンプリング処理をするようにしても良い。また、この帯域制限フィルタは、エイリアジングを除去するように設計されたものを利用するようにしても良いし、あえてエイリアジングを含むように設計されたものを利用するようにしても構わない。更に、リサンプリング処理において、サンプルのデシメーションをして、第1入力101の信号のサンプリング間隔と同等もしくはそれより細かくなるように構成しても良いし、デシメーションは最後の処理で行い、それ以外ではサンプリング間隔が細かい状態のまま、処理を継続するように構成することも可能である。
信号処理装置100は、このような信号の再構成処理を、管理情報に基づいて所定の繰り返し条件を満たすまで、合成抽出成分情報を、新たな処理対象として順次更新しながら、抽出成分情報の再構成処理を繰り返すことで確定した帯域制限後の合成抽出成分情報を得る。ここで、必要であれば、サンプルのデシメーションをして、第1入力101の信号のサンプリング間隔と同等もしくはそれより細かくなるようにする。
その後、信号処理装置100は、確定した帯域制限後の合成抽出成分情報と、抽出外成分情報とを合成することで、一連の処理対象となる信号の再構成処理を完了させ、再構成信号を得る。ここで信号処理装置100は、管理情報に基づいて、再構成信号を、新たな処理対象として順次更新しながら、再構成信号の再構成処理を繰り返すかを判定する。処理を繰り返す必要があると判定された場合には、必要であれば、信号処理装置100は管理情報に基づいて参照される信号である第2入力102の信号を更新し、管理情報に基づいて信号成分情報を抽出するためのアルゴリズムと抽出対象となる信号成分を再度特定して、処理を繰り返し、再構成信号を得る。ここで信号処理装置100は、再構成信号の再構成処理を繰り返す際に行われる抽出成分情報の再構成処理の繰り返しにおいて、新たに生成された再構成信号を新たな処理対象の信号とし、この信号から新たな抽出成分情報を生成する際に、抽出成分情報に含まれる所定の周波数通過帯域を必要に応じて切り替えながら抽出成分情報を生成し、これを抽出成分情報の再構成処理における初期信号として、抽出成分情報の再構成処理を繰り返すように構成するとよい。
また、抽出成分情報の置き換えによって生成され、抽出成分情報の再構成処理で利用される初期の基準信号は、必ずしも再構成信号の再構成処理を繰り返すたびに、必ずしも信号成分の置き換えをする必要はない。例えば、初回のみ、抽出成分情報の置き換えにより初期の基準信号を生成し、次回以降は、再構成信号から抽出した抽出成分情報を利用するように制御する構成としても良い。
管理情報に基づいて、処理を繰り返す必要がないと判定されると、得られた再構成信号は、出力として、伝送装置141、記録装置142、記録媒体143、蓄積装置144、表示・再生装置145などに対して供給される。これにより、信号処理装置100は、伝送や蓄積、そして表示・再生されることで、ノイズや劣化を伴った信号を、より本来あるべき画像の特徴をもつ信号に近い、高品質な信号となるように処理し、供給することができる。
以下に、本発明の詳細な実施の形態を示す。
(実施の形態1)
図1は、本発明の実施の形態1である、信号処理装置100の構成例を示すための概念ブロック図である。図1は、各部との間の基本的な接続関係を示している。図1は、実施の形態に係る信号処理装置100を実現するための機能構成を示しており、その他の構成は省略している。図1において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、CPU(Central Processing Unit)、メインメモリ、その他のLSI(Large Scale Integration)で構成することができ、ソフトウェア的には、メインメモリにロードされた信号処理プログラム等によって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
図1において、実施の形態1の信号処理装置100は、少なくとも、第1成分抽出部105、第2成分抽出部106、第1制御部107、類似成分特定部109、位置合わせ合成部110、帯域抑制部111、合成部113、第2制御部114、統合制御部116を有している。また、各部との接続を制御するためのスイッチ103、104、108、112、115を更に有すると良い。
第1成分抽出部105は、スイッチ103を経由して、第1入力101である処理対象の信号を取得する。第1成分抽出部105はまた、第1制御部107から、信号から処理対象としている信号成分情報を抽出するためのアルゴリズムを特定するための情報である抽出アルゴリズム判別情報、および、特定された抽出アルゴリズムが信号から抽出対象となる信号成分を特定するための補助情報である抽出補助情報を取得する。第1成分抽出部105はさらに、合成部113からスイッチ115を経由して再構成信号を取得する。また、第1成分抽出部105は、処理対象の信号である取得した第1入力101の信号に対し、管理情報である抽出アルゴリズム判別情報および抽出補助情報に基づいて、所定の信号を選択的に抽出することで信号成分情報を抽出するための成分抽出処理と、抽出対象となる信号成分とを特定し、処理対象となる抽出成分情報を生成するとともに、抽出成分情報以外の成分を、抽出外成分情報として生成する。ここで、抽出外成分情報の生成方法は、第1入力101である処理対象となる信号から、生成された処理対象となる抽出成分情報を減算して抽出外成分情報を生成する方法であるものとして話を進めるが、この方法に特に限定されない。例えば、抽出成分情報を生成する際に、所定の変換方法に基づいて、信号成分を時間領域(画像であれば、通常の画像表現)から周波数領域に変換し、周波数領域において抽出成分情報を生成し、周波数領域における第1入力101である処理対象の信号から減算して、周波数領域における抽出外成分情報を生成する。その後、周波数領域における生成した抽出外成分情報に所定の変換方法と対となる逆変換方法を用いて、周波数領域から時間領域に逆変換することで、時間領域の抽出外成分情報を生成するようにしても構わない。また、同様の処理は、時間領域において、あらかじめ設計された周波数帯域通過フィルタもしくは周波数帯域選択フィルタを用いて畳み込み演算をすることで抽出成分情報を生成し、第1入力101である処理対象となる信号から減算して求めるようにしても構わない。第1成分抽出部105は、生成された抽出成分情報を、スイッチ108を経由して類似成分特定部109、位置合わせ合成部110に供給するとともに、第2制御部114に供給する。第1成分抽出部105は、生成された抽出外成分情報を合成部113に供給する。
第2成分抽出部106は、スイッチ104を経由して、第2入力102である参照対象となる信号を取得する。第2成分抽出部106はまた、第1制御部107から、第1成分抽出部105と同様に、管理情報である抽出アルゴリズム判別情報および抽出補助情報を取得する。第2成分抽出部106は、参照される信号である取得した第2入力102の信号に対し、管理情報である抽出アルゴリズム判別情報および抽出補助情報に基づいて、信号成分情報を抽出するためのアルゴリズムと、抽出対象となる信号成分を特定する。第2成分抽出部106は、特定したアルゴリズムと信号成分とをもとに、処理対象となる抽出成分情報を生成する。ここで、抽出アルゴリズム判別情報および抽出補助情報は、第1成分抽出部105と同じものが供給されるように構成しても良いし、異なる抽出アルゴリズムによって異なる抽出成分情報を生成するために、別の抽出アルゴリズム判別情報および抽出補助情報が供給されるように構成しても構わない。ここでは説明を簡単にするため、同じものが供給されるものとして話を進める。第2成分抽出部106は、生成された抽出成分情報を、類似成分特定部109、位置合わせ合成部110に供給する。また、第2成分抽出部106は、第1成分抽出部105と同様に、抽出外成分情報を生成しても良い。
第1成分抽出部105および第2成分抽出部106における成分抽出処理については、後述する。
第1制御部107は、統合制御部116の制御に応じて、各部の状態を取得するとともに、各部の初期化処理に必要な管理情報を供給し、各部の動作を制御するために各部の接続状態を制御する。第1制御部107は、第1入力101および第2入力102として入来する信号を制御するために、スイッチ103、104の接続を制御する。また、第1制御部107は、信号の再構成処理を継続するか、生成された再構成信号を出力するかを制御するために、スイッチ115の接続を制御する。第1制御部107は、管理情報として、第1成分抽出部105および第2成分抽出部106のそれぞれに、抽出アルゴリズム判別情報および抽出補助情報を供給する。また、第1制御部107は、管理情報として、類似成分特定部109に、どのような基準信号を利用するかを特定するための情報を供給しても良い。また、第1制御部107は、管理情報として、帯域抑制部111に、信号の周波数帯域成分を抑制するためのアルゴリズムを特定するための情報である帯域抑制アルゴリズム判別情報と、特定された帯域抑制アルゴリズムが、どのような信号の周波数帯域成分まで抑制すべきかを特定するための補助情報である帯域抑制補助情報とを供給する。ここで、本実施の形態に係る信号処理装置100では、各部の処理を分担させる構成としているが、第1制御部107の機能を、統合制御部116が代行するように構成しても構わない。
類似成分特定部109は、スイッチ108を介して、処理対象となる抽出成分情報を取得する。また、類似成分特定部109は、必要に応じて、スイッチ108を介して、第1成分抽出部105から、抽出外成分情報を取得しても良い。また、類似成分特定部109は、第2成分抽出部106から、参照対象となる抽出成分情報を取得しても良い。類似成分特定部109内の第1の探索部は、取得した処理対象となる抽出成分情報と参照対象となる抽出成分情報とを用いて、所定の処理単位で、所定の類似成分特定処理をすることで、処理対象となっている抽出成分情報に最も類似した信号成分が、参照側の抽出成分情報のどの部分に対応するかを特定し、対応関係を表す位置情報を生成する。類似成分特定部109は、生成した位置情報を、位置合わせ合成部110に供給する。また、類似成分特定部109は、現在処理対象となっている抽出成分情報における、現在処理対象となっている領域に含まれる信号成分を、現在処理対象となっている領域とは異なる領域に含まれる信号から生成して、処理対象側の抽出成分情報と置き換えて初期の基準信号を生成し、所定の類似成分特定処理に利用する。また、類似成分特定部109は、置き換えた抽出成分情報と抽出外成分情報を合成し、初期の基準信号を生成すると、更に良い構成となる。また、類似成分特定部109は、類似成分特定処理をする際に利用する基準信号として、制御に応じて、置き換えた抽出成分情報、置き換えた抽出成分情報と抽出外成分情報を合成した後の情報、置き換える前の抽出成分情報とを、切り替えて利用すると良い構成となる。
類似成分特定部109における類似成分特定処理については、後述する。
位置合わせ合成部110は、スイッチ108を介して、処理対象となる抽出成分情報と、類似成分特定部109から生成された位置情報と、第2成分抽出部106から参照対象となる抽出成分情報とを取得する。位置合わせ合成部110内の第2の探索部は、取得した処理対象および参照対象となる抽出成分情報と、位置情報を利用して、所定の位置合わせをすることで処理対象側の抽出成分情報と参照側の抽出成分情報とを対応づける。位置合わせ合成部110は、対応付けられた処理対象側の抽出成分情報と、参照側の抽出成分情報とを合成し、合成された抽出成分情報(以後、「合成抽出成分情報」、または、単に「合成成分情報」という。)を生成する。また、合成抽出成分情報のサンプリング間隔は、処理対象となっていた抽出成分情報のサンプリング間隔以上に細かくできるように構成すると良い。位置合わせ合成部110における位置合わせ合成処理については、後述する。更に、位置合わせ合成部110は、生成された合成抽出成分情報を、帯域抑制部111に供給する。
帯域抑制部111は、第1制御部107から、管理情報として、帯域抑制アルゴリズム判別情報、帯域抑制補助情報を取得する。また、帯域抑制部111は、位置合わせ合成部110から、合成成分情報を取得する。帯域抑制部111は、取得した帯域抑制アルゴリズム判別情報に基づいて、帯域抑制処理を特定する。帯域抑制部111はさらに、帯域抑制補助情報に基づいて特定された帯域抑制処理をすることで、合成抽出成分情報に対して、信号の周波数帯域抑制をし、帯域制限された合成抽出成分情報を生成する。また、帯域抑制部111は、生成された帯域制限された合成抽出成分情報を、スイッチ112を介して合成部113に供給、もしくはスイッチ112、108を介して類似成分特定部109に供給するとともに、第2制御部114に供給する。ここで、管理情報に基づいて特定される帯域抑制処理は、第1入力101もしくは第2入力102から抽出成分情報を生成する際に抽出し得る周波数成分の帯域に制限するように構成することが望ましいが、必ずしもこのように帯域を制限する必要はない。たとえば、単純に元の第1入力101の信号のサンプリング間隔と同等となるように、所定の帯域制限フィルタを用いた上でリサンプリング処理をしても良い。また、この帯域制限フィルタは、エイリアジングを除去するように設計されたものを利用するようにしても良いし、あえてエイリアジングを含むように設計されたものを利用するようにしても構わない。更に、リサンプリング処理において、サンプルのデシメーションをして、第1入力101の信号のサンプリング間隔と同等もしくはそれ以下の細かさとなるように構成しても良いし、デシメーションは最後の処理のみで行い、それ以外ではサンプリング間隔が細かい状態のまま、処理を継続するように構成することも可能である。ここでは話を簡単にするため、特定された帯域抑制処理では、単純に元の第1入力101の信号のサンプリング間隔と同等となるように、所定の帯域制限フィルタを用いた上でリサンプリング処理をするものとする。
合成部113は、第1成分抽出部105から、処理対象となる抽出成分情報以外の成分である抽出外成分情報と、帯域抑制部111からスイッチ112を介して合成抽出成分情報とを取得する。合成部113は、確定した帯域制限後の合成抽出成分情報と、抽出外成分情報とを所定の合成処理により合成することで再構成信号を生成し、スイッチ115を介して第1成分抽出部105もしくは出力117として例えば外部の伝送装置141、記録装置142、記録媒体143、蓄積装置144、表示・再生装置145等に供給する。合成部113における所定の合成処理は、第1成分抽出部105における抽出成分情報および抽出外成分情報の生成方法に対応した合成処理となるように構成する。例えば、第1成分抽出部105における抽出外成分情報の生成方法が、第1入力101である処理対象となる信号から、生成された処理対象となる抽出成分情報を減算して抽出外成分情報を生成する方法である場合は、確定した帯域制限後の合成抽出成分情報と、抽出外成分情報とを加算することで合成処理をするように構成すると良い。また、第1成分抽出部105における抽出外成分情報の生成方法が、所定の変換方法による周波数領域への変換処理を伴っている場合には、合成部113は、確定した帯域制限後の合成抽出成分情報を同様の周波数領域への変換処理をした後に抽出外成分情報に加算し、再度所定の逆変換方法により時間領域への逆変換処理をすることで合成処理をするように構成すると良い。更に、管理情報には合成部113において合成処理を特定するための合成処理特定情報を含むようにし、第1制御部107は合成部113に管理情報として合成処理特定情報を供給し、合成部113は、この管理情報に基づいて合成処理を特定すると更に良い構成となる。
第2制御部114は、統合制御部116の制御に基づき、各部の状態を取得するとともに、各部の動作や、必要な管理情報を供給する。第2制御部114は、各部の動作の制御に必要な情報として、少なくとも第1成分抽出部105から抽出成分情報を取得するとともに、帯域抑制部111から合成抽出成分情報を取得する。第2制御部114は、少なくとも、取得した抽出成分情報、合成抽出成分情報、および管理情報に基づいて、所定の繰り返し条件を満たすまで、合成抽出成分情報の再構成処理を繰り返すか、結果を各部に供給するかを判定する。第2制御部114は、判定結果に基づいて各部の接続を制御するために、スイッチ108、112を制御する。ここで、本実施の形態に係る信号処理装置100では各部の処理を分担させるような構成としているが、第2制御部114の機能を、統合制御部116が代行するように構成しても構わない。
統合制御部116は、本実施の形態に係る信号処理装置100を構成する各部の状態を取得し、各部に対して制御信号に基づいて動作の制御をして、処理対象となる信号、参照対象となる信号を入力信号として取得する。統合制御部116はさらに、上述の信号処理をして、処理結果である再構成信号を、出力して供給するように各部を制御する。また、統合制御部116は、ユーザによる開始操作や、所定の設定時刻等などの所定の開始条件によって生じる信号処理開始要求信号を検知し、各部に処理開始指令を供給する。本実施の形態においては、話を簡単にするため、第1制御部107および第2制御部114の動作を制御することで、全体の動作を制御できるように構成しているが、統合制御部116が第1制御部107および第2制御部114の各機能を代行し、本実施の形態に係る信号処理装置100の各部全体を制御するように構成しても構わない。また、統合制御部116は、各部への各情報の入出力の順序や、各部の動作順序や各情報の生成順序、各部に供給する管理情報の種類や供給順序を制御するために、所定の統合管理情報を持ち、この情報に基づいて、本発明の信号処理装置100の全体動作を制御すると更に良い構成となる。ここで、統合管理情報には、上述の処理が取りうる全状態が記述された状態遷移情報と、現在の処理が全体の処理のどの過程にあるかを特定するための内部状態情報や、各処理の初期条件および終了判定条件に関する情報である条件情報を含むようにすると良い。例えば、条件情報に、各処理の繰り返し回数もしくは繰り返し終了判定条件に関する情報が含まれるようにしても構わない。また、この所定の統合管理情報は、あらかじめ統合制御部116に設定されていても構わないし、外部から統合管理情報を取得する機能を統合制御部116に含めることで、取得した統合管理情報に基づいて、異なる処理動作をすることができるように構成しても構わない。ここでは話を簡単にするため、所定の統合管理情報があらかじめ設定されているものとするが、特に限定されるものではない。
この統合制御部116において、各制御情報を適切に管理し、各部に対して動作の制御を指示することによって、処理対象となっている領域に含まれる信号成分に対し、参照側から、単に信号成分間の誤差が最も少ないものを特定するのではなく、本来の画像に近づけるための、より確からしい信号成分を含む領域の位置を探索により特定する。統合制御部116は、信号を再構成して得られた結果を利用して、再度探索や、信号の再構成をするというように、信号の再構成対象を更新しながら、信号の再構成を繰り返していくことで超解像処理を実現するように動作を制御することが可能となる。例えば、統合制御部116は、後述される図3から図7で示されているような周波数帯域を、再構成処理の繰り返しの過程において、必要に応じて切り替えながら適用し、その周波数帯域に含まれる信号成分情報を抽出する。これにより、統合制御部116は、入力される画像信号もしくは再構成信号から抽出成分情報を生成し、抽出成分情報に対する再構成処理の繰り返し制御や、その後生成される再構成信号に対する再構成処理の繰り返し制御することで、最終的な出力となる再構成信号全体の画質を改善させることができる。
また、統合制御部116は、例えば、抽出成分情報の再構成処理をする際に、まず、入力された処理対象となる画像信号から、特定された周波数帯域に含まれる信号成分情報を、抽出成分情報として抽出する。統合制御部116は、現在処理対象となっている領域とは異なる領域を特定する所定の特定方法に基づいて異なる領域を特定する。統合制御部116は、この異なる領域に含まれる信号から新たな抽出成分情報を生成して、処理対象側の抽出成分情報と置き換え、抽出成分情報の再構成処理をする際の、初期の基準信号を生成するように、各部に対して動作を制御するように構成してもよい。更に、例えば、この異なる領域は、参照側から特定されるようにし、所定の探索方法に基づいて、参照側から探索し、初期の基準信号としてふさわしい信号成分を含む領域を特定するように、各部に対して動作を制御するように構成してもよい。
統合制御部116がこのような制御をすることで、例えば、次のような問題を解決することができる。現在処理対象となっている領域の信号に含まれるノイズ成分が広い周波数帯域にわたって多く分布しているような場合、特定された周波数帯域から抽出された抽出成分情報が、初期の基準信号として十分な信号品質でないことがある。このような場合、統合制御部116が抽出成分情報の再構成処理を繰り返す過程で、より確からしい領域の位置から外れて、本来の画像信号を示す領域から外れた異なる領域の位置に収束してしまうという問題が生じる。統合制御部116は、現在処理対象となっている領域とは異なる領域を特定する所定の特定方法に基づいて現在処理対象となっている領域とは異なる領域を特定し、この異なる領域に含まれる信号から新たな抽出成分情報を生成して、処理対象側の抽出成分情報と置き換えた上で、抽出成分情報の再構成処理を繰り返すことにより、より確からしい領域の位置から大きく外れてしまうことを回避することが可能となる。
また、統合制御部116は、例えば、置き換えられた抽出成分情報と、抽出外成分情報とを合成して合成抽出成分情報を生成し、これを初期の基準信号として、抽出成分情報の再構成処理と同様の処理を行うように、各部に対して動作を制御するように構成してもよい。ここで、統合制御部116は、この合成抽出成分情報を利用して、抽出成分情報の再構成処理と同様の処理(合成抽出成分情報の再構成処理)をする際に、参照側の抽出成分情報の代わりに、参照対象となる入力信号を取得し、合成抽出成分情報に最も類似した信号成分が、この参照対象となる入力信号のどの部分に対応するかを特定し、対応関係を表す位置情報を生成するように、各部に対して動作を制御するように構成してもよい。
このような制御をするように構成することで、実施の形態に係る信号処理装置100は、例えば、次のような問題を解決することができる。例えば、現在処理対象となっている領域の信号において、ある一部の周波数帯域に含まれる信号成分がノイズ等により劣化しているとする。このことにより、現在処理対象となっている領域の信号を利用して、実施の形態に係る信号処理装置100が超解像処理をした場合に、繰り返しの過程において、本来の画像に近づけるための、より確からしい信号成分を含む領域の位置から現在処理対象となっている領域が外れていき、異なる領域の位置に収束することがある。これにより、最終的に得られる再構成信号の画像品質が向上せず、本来あるべき画像の特徴に近い画像を生成することができないという問題が生じる。この問題を回避するために、実施の形態に係る信号処理装置100は、現在処理対象となっている領域とは異なる領域を特定する所定の特定方法に基づいて特定し、この異なる領域に含まれる信号から新たな抽出成分情報を生成する。そして、繰り返しの過程で、異なる領域の位置に収束してしまう要因となる信号成分を、この新たな抽出成分情報に置き換えるとともに、抽出外成分情報と合成することで、問題のある信号成分が置き換えられた、現在処理対象となっている領域の信号である、合成抽出成分情報を生成することができる。そして、例えば、これを初期の基準信号として、抽出成分情報の再構成処理と同様の処理をするように制御するような構成にすることで、実施の形態に係る信号処理装置100は、現在処理対象となっている領域が、本来の位置から外れずに、より確からしい信号成分を含む領域の位置を特定しながら処理することができ、本来あるべき画像の特徴に近い画像を生成することができるようになる。
更に、統合制御部116は、例えば、上述のような置き換え後の抽出成分情報の再構成処理、もしくは合成抽出成分情報の再構成処理を伴い、所定の超解像処理を繰り返して最終的な再構成信号を生成するように、各部に対して動作を制御するように構成してもよい。ここで、統合制御部116は、これらの処理を繰り返す際に、後述される図3から図7で示されているような周波数帯域を、再構成処理の繰り返しの過程において、必要に応じて切り替えながら適用し、その周波数帯域に含まれる信号成分情報の抽出することにより、入力される画像信号もしくは再構成信号から抽出成分情報を生成し、抽出成分情報に対する再構成処理の繰り返し制御や、その後生成される再構成信号に対する再構成処理の繰り返し制御をするように、各部に対して動作を制御するように構成してもよい。
統合制御部116がこのような制御をするように構成することで、例えば、次のような問題を解決することができる。例えば、現在処理対象となっている領域の信号に含まれるノイズ成分が広い周波数帯域にわたって多く分布しているような場合、特定された周波数帯域から抽出された抽出成分情報が、初期の基準信号として十分な信号品質でないことがある。また、仮に他の周波数帯域から別の抽出成分情報を抽出したとしても、必ずしも初期の基準信号として十分な信号品質ではなく、特定された周波数帯域による抽出成分情報が、最も信号劣化が少ない場合もある。このような場合において、統合制御部116がそのまま抽出成分情報を初期の基準信号として、抽出成分情報の再構成処理を繰り返すと、抽出成分情報の再構成処理を繰り返す過程で、現在処理対象となっている領域がより確からしい領域の位置から外れて、本来の画像信号を示す領域から外れた異なる領域の位置に収束してしまうという問題が生じる。統合制御部116は、現在処理対象となっている領域とは異なる領域を特定する所定の特定方法に基づいて異なる領域を特定し、この異なる領域に含まれる信号から新たな抽出成分情報を生成して、処理対象側の抽出成分情報と置き換えた上で、抽出成分情報の再構成処理を繰り返すことにより、現在処理対象となっている領域がより確からしい領域の位置から大きく外れてしまうことを回避することが可能となる。統合制御部116は、この収束した、より確からしい領域の位置を、次の抽出成分情報や再構成信号の再構成処理において、探索時における予測位置として利用する。統合制御部116また、後述される図3から図7で示されているような周波数帯域を、再構成処理の繰り返しの過程において、必要に応じて切り替えながら適用し、その周波数帯域に含まれる信号成分情報を抽出することにより、入力される画像信号もしくは再構成信号から抽出成分情報を生成し、抽出成分情報に対する再構成処理の繰り返しや、その後生成される再構成信号に対する再構成処理を繰り返すことで、入力信号に広く分布していた劣化成分を、特定された周波数帯域ごとに、少しずつ本来あるべき画像の特徴に近い信号成分に近づけていくことができる。そして、最終的に、本来あるべき画像の特徴に近い画像を生成することができるようになる。
更に、統合制御部116は、例えば、置き換えられた抽出成分情報を初期の基準信号とし、抽出成分情報の再構成処理をする際に、第2成分抽出部106により参照対象となる入力信号から信号成分が抽出された、参照側の抽出成分情報を取得し、類似成分特定部109内の第1の探索部、および所定の超解像処理に利用することで処理対象となった抽出成分情報の再構成後の抽出成分情報を生成し、その後、処理対象側の抽出外成分情報と合成することで、信号を再構成し、再構成信号を得るように、各部に対して動作を制御するように構成してもよい。
統合制御部116がこのような制御をするように構成することで、例えば、次のような問題を解決することができる。例えば、参照対象となる信号において、所定の信号を選択的に抽出せずに、そのままの信号を探索時の参照側として利用すると、参照対象となる信号の一部の領域や、信号成分があまり良い品質ではない場合に、探索方法によっては、意図しない領域の位置を特定してしまうという問題が生じる。これは、例えば、探索方法として一般的なブロックマッチング法で、SADによる評価に基づいて探索するような場合には、含まれる誤差の状態によって、本来特定したい位置とは異なる位置における、探索時の評価結果の方が、良い結果になることがあり得るためである。このような問題を回避するために、統合制御部116は、参照対象となる信号に対して、所定の信号を選択的に抽出することで参照側の抽出成分情報を生成し、これを探索時の参照側として利用することで、信号の劣化成分を抑制するとともに、処理対象側の抽出成分情報に含まれる信号成分に近い信号成分を持つようにする。これにより、探索時の評価において、より正確な評価が行えるようになる。また、抽出成分情報の再構成処理の繰り返しにおいて、より確からしい領域の位置を特定しながら処理を繰り返すことが可能となり、最終的に、本来あるべき画像の特徴に近い画像を生成することができるようになる。
次に、第1成分抽出部105および第2成分抽出部106における成分抽出処理の詳細を以下に説明する。図3から図7は、実施の形態に係る成分抽出処理において、抽出される周波数成分情報の例を表した概念図である。
例えば、第1入力101である処理対象の信号が、図3で示されるように、領域301内、つまり最大周波数fmax以下の周波数成分情報を含むような信号であるものとする。ここで、管理情報として取得される抽出アルゴリズム判別情報に基づいて特定された成分抽出処理は、図3(b)で示されるように、信号の分離および合成において、信号の完全再構成が可能となるように設計されたQMF(Quadrature Mirror Filter)フィルタによる帯域分割処理がされるものとして話を進める。抽出アルゴリズム判別情報に基づいて特定される成分抽出処理は、少なくとも1つ以上の、異なる帯域分割処理に基づいた成分抽出処理の中から特定されるものである。例えば、所定の低域通過特性を持つローパスフィルタもしくはその代替となりうるフィルタ、つまり、一般的なガウシアンフィルタ、Lanczosフィルタ、ウェーヴレットフィルタ等による帯域分割処理であれば、本実施の形態に係る成分抽出処理に利用することができる。また、例えば、抽出成分情報を生成する際に、フーリエ変換、サイン/コサイン変換、アダマール変換、ウェーヴレット変換等の、所定の周波数変換方法に基づいて、信号成分を時間領域(画像であれば、通常の画像表現)から周波数領域に変換し、周波数領域において抽出成分情報を生成する。生成した抽出外成分情報を周波数領域における第1入力101である処理対象の信号から減算して、周波数領域における抽出外成分情報を生成した後に、所定の変換方法と対となる逆変換方法に基づいて、周波数領域から時間領域に逆変換することで、時間領域の抽出外成分情報を生成する処理を、本実施の形態に係る成分抽出処理に利用することもできる。更に、図3の例では、管理情報として取得される抽出補助情報から、周波数f0からf1までに含まれる周波数成分情報を抽出することを特定したものとして話を進める。
図3(b)は、f1=fmax/2であるものとして、カットオフ周波数f1cとなるように設計されたQMFフィルタを利用して周波数成分の帯域分割処理をした様子を示す。ここで、低域通過帯域特性321は、QMFフィルタにおける低域通過フィルタの周波数帯域特性であり、高域通過帯域特性322は、対応する高域通過フィルタの周波数帯域特性である。このようなフィルタに基づいてフィルタリング処理をすることで入力信号を周波数帯域分割し、図3(c)のような低域信号と、図3(d)のような高域信号とに分離する。
ここで、f1=fmax/2であり、QMFフィルタによる帯域分割対象となる周波数がfmax/2であるものとした。もし、QMFフィルタによる帯域分割対象となる周波数と、入力信号に対して帯域分割したい周波数とが異なる場合には、入力信号に対してインターポレーション処理やデシメーション処理、もしくはこれらを組み合わせた処理をすることで、分割対象となる周波数と分割したい周波数が等しくなるように、入力信号のサンプル数を変化させ、仮の入力信号を生成する。ここで、このような入力信号に対してサンプル数を変化させることによる周波数シフトをする際に、利用できるインターポレーション処理やデシメーション処理で表現できるサンプル数に制約がある場合には、分割対象となる周波数に最も近くなるように入力信号のサンプル数を変化させるようにすると良い。この仮の入力信号に対して周波数帯域分割し、その後、仮の入力信号を生成した際とは逆のインターポレーション処理やデシメーション処理、もしくはこれらを組み合わせた処理をすることで、元の入力信号に対して帯域分割処理をした後の低域信号、高域信号を得るようにすると良い。このような入力信号に対するインターポレーション処理やデシメーション処理、もしくはこれらを組み合わせた処理をすることで、帯域分割対象となる周波数をシフトさせることは、他の帯域通過フィルタにおいても有用である。
このような処理をすることで、周波数f0からf1までに含まれる周波数成分情報331を抽出して本実施の形態における抽出成分情報とする。また、f1からfmaxまでに含まれる周波数成分情報332を抽出して、本発明における抽出外成分情報とする。
ここで、抽出成分情報と抽出外成分情報を生成する際に、一般には図3(b)の領域312の周波数領域のようなエイリアジング成分の影響を考慮するために高域通過帯域特性322の高域通過フィルタを利用することが望ましい。しかし、ここでは話を簡単にするため、帯域分割に利用するフィルタの周波数減衰特性は非常に急峻であり、エイリアジング成分の影響がほとんどないものとして話を進める。よって、実施の形態に係る抽出外成分情報は、図3(c)の領域331のような周波数領域の成分を含むような抽出成分情報を生成した後に、入力信号から減算することで、抽出外成分情報を生成するものとして話を進める。
図3においては、入力信号に対して周波数帯域分割しようとしている周波数がf1=fmax/2であるものとしていたが、抽出補助情報に基づいて、図4のような周波数帯域に分割し、抽出成分情報を取得するようにしても良い。例えば、図4(b)のように、低域通過フィルタの周波数帯域特性421によってf0からf1までに含まれる周波数成分情報を生成することができるようなフィルタに基づいてフィルタリング処理をすることで入力信号を周波数帯域分割し、図4(e)の領域431のような周波数成分情報を含む低域信号と、図4(h)の領域441のような周波数成分情報を含む高域信号に分離し、それぞれ抽出成分情報、抽出外成分情報を取得するようにしても良い。同様に、帯域分割する周波数がf2であると特定された場合には、f0からf2までの低域通過帯域特性423を持つフィルタによるフィルタリング処理により、図4(f)および図4(i)のように分離し、帯域分割する周波数がf3であると特定された場合には、低域通過帯域特性425の特性をもつフィルタにより、図4(g)および図4(j)のように分離することで、それぞれ抽出成分情報、抽出外成分情報を取得するようにしても良い。
また、図5のように、帯域分割を繰り返し、必要な周波数帯域の信号成分情報を抽出するようにしても構わない。例えば、図5(a)の領域511は、図4(f)を求めた後、図4(b)の帯域分割により図4(e)に含まれる周波数成分情報を除くことで抽出成分情報を取得し、それ以外の周波数成分情報を含むものを抽出外成分情報として取得するようにしても良い。同様に、図5(b)と(e)、図5(c)と(f)、図6(a)と(d)、図6(b)と(e)、図6(c)と(f)、等のような周波数成分情報を含む抽出成分情報および抽出外成分情報を取得するようにしても構わない。
更に、図7で示されるように、複数の周波数帯域の周波数成分情報を含むように信号成分情報を抽出するようにしても良い。例えば、図7(a)の領域711は、図4(e)と同様の方法で抽出し、領域712は、図5(b)と同様の方法で抽出し、それぞれを加えた周波数成分情報を含むものを抽出成分情報として取得し、それ以外のものを抽出外成分情報として取得するようにしても良い。同様に、図7(b)と(g)、図7(c)と(h)、図7(d)と(i)、図7(e)と(j)、等のような周波数成分情報を含む抽出成分情報および抽出外成分情報を取得するようにしても構わない。
図3から図7で示されているような信号成分情報を抽出することで、抽出成分情報および抽出外成分情報を生成することで、その後の類似成分特定処理や、位置合わせ合成処理において、参照側の信号から、本来の画像に近づけるための、より確からしい信号成分を含む領域の位置を探索により特定しやすくする効果が得られる。
例えば、処理対象となる入力画像に含まれる信号成分の特徴として、低周波数帯域側に含まれる信号成分には、若干の誤差があるものの、本来の画像に含まれる信号成分に類似したものが多く、高周波数帯域側に含まれる信号成分には、ノイズ等により大きく劣化した信号成分が多く含まれる場合を考える。このような場合、周波数全体の信号成分を含む画像を利用して類似成分を特定するための探索をすると、周波数全体の信号成分を含む画像は、劣化した信号成分の影響から、本来の画像の特徴とは異なった画像となる。このため、探索の結果、参照側から、この特徴の異なった画像に含まれる信号成分に最も近いものを含む、別の位置の領域を特定してしまう。このような探索による異なる領域の特定を回避するために、この例では、図3の領域331と領域332とのように、それぞれの周波数帯域に含まれる信号に分離し、領域331に含まれる信号成分を抽出成分情報とし、参照側も同様に領域331に含まれる信号成分として探索することで、探索時に大きな影響を与えていた領域332に含まれる信号成分を除外して探索することが可能となる。これにより、参照側から、単に信号成分間の誤差が最も少ないものを特定するのではなく、本来の画像に近づけるための、より確からしい信号成分を含む領域の位置を探索により特定することが可能となる。
また、この例では、低周波数帯域側には若干の誤差が含まれていると仮定したが、抽出成分情報の再構成処理、つまり類似成分特定処理、位置合わせ合成処理、帯域抑制処理を経て帯域制限された合成成分情報を生成し、これを新たな抽出成分情報として、この再構成処理を繰り返すことで、回を重ねるごとに抽出成分情報の品質を向上させることができる。これは、抽出成分情報の品質が向上することで探索結果の精度が高まり、より確からしい信号成分を特定することが可能となり、結果として、さらに抽出成分情報の品質を向上させることができるようになるためである。これを所定の条件を満たすまで繰り返すことで、この処理ループの出力結果である、低周波数成分において画像品質が向上した合成成分情報が得られる。ここで、最終的に収束した位置情報を再利用できるように予測位置情報として格納しておくように構成すると更によい。
更に、例えば、この画像品質が向上した合成成分情報と、処理対象側の領域332の周波数帯域に含まれる信号成分からなる抽出外成分情報を合成することで、再構成信号を生成し、この再構成信号を新たな初期の入力信号として、再構成信号の再構成処理を繰り返すことを考える。このような例では、新たな初期の入力信号である再構成信号は、図3の領域331の周波数帯域に含まれる信号成分の品質が向上しているため、探索の際に、より確からしい信号成分を特定しやすくなる。さらに、前回の抽出成分情報の再構成処理の繰り返しにより、最終的に収束した位置情報である予測位置情報を利用することが可能になる。
よって、例えば、この予測位置情報を起点として、探索時の探索範囲を狭めに設定することで、仮に、図3の領域331の周波数帯域を少し高周波数成分側に広げて、再構成信号から抽出される抽出成分情報に、画質劣化を与える信号成分を取り込んだとしても、比較的確からしい信号成分で収束させた予測位置情報を起点として探索することにより、本来必要とする位置から全く異なる位置を検出することなく、参照側から必要とする領域を特定することができる。そして、この再構成処理を繰り返すことで、取り込んだ画質劣化を与える信号成分を、本来の信号成分に近づけながら、抽出成分情報の品質を向上させることができる。
更に、例えば、再構成信号の再構成処理を繰り返す際に、再構成信号から抽出成分情報を抽出する際に、回を重ねるごとに、図3の領域331の周波数帯域を少しずつ高周波数成分側に広げて抽出成分情報を生成するように構成することで、高周波数成分側から少しずつ画質劣化を与える信号成分を取り込みながら、画質を改善させることができる。
つまり、再構成信号の再構成処理を繰り返す際に、例えば、図4で示されるように、初めは図4(b)のように周波数帯域を分割し、図4の領域431に含まれる信号成分を抽出成分情報として、必要に応じて予測位置情報を利用しながら、抽出成分情報の再構成処理をして、再構成信号を生成する。次の繰り返しでは、図4の領域432に含まれる信号成分を抽出成分情報として、必要に応じて予測位置情報を利用しながら、抽出成分情報の再構成処理をして、再構成信号を生成する。更に、その次の繰り返しでは、図4の領域433を利用するといった具合に、所定の周波数帯域を適応的に切り替えながら抽出成分情報を生成し、再構成信号を生成するように構成することで、繰り返し回数を抑制しながら、画質を改善させることができる。
ここでは、領域431、領域432、領域433の順に適用して、周波数帯域に含まれる信号成分を抽出して抽出成分情報を生成しているが、特にこの適用順に限定されるわけではない。例えば、図4において、f1からf2の間の周波数帯域に含まれる信号成分が比較的大きく劣化を伴っており、また、f2からf3の間の周波数帯域に含まれる信号成分は比較的劣化が少なく、本来の画像としての特徴を表す信号成分を多く含むような場合には、領域431を適用後、先に領域433を適用し、その後、必要であれば領域432を適用するように構成することで、異なる位置からの信号成分の利用を抑制し、より確からしい位置からの再構成処理を維持することが可能となる。この結果、再構成信号全体の画質を改善させることができる。
また、図5に示されるように、例えば、再構成信号の再構成処理を繰り返す際に、画質改善された周波数帯域の信号成分とは異なる信号成分を再構成信号から抽出して抽出成分情報を生成し、必要に応じて予測位置情報を利用しながら、抽出成分情報の再構成処理をして、再構成信号を生成する。これにより、画質劣化を与える信号成分に対する再構成処理を繰り返す際に、既に画質改善された周波数帯域の信号成分に悪影響を与えることを抑制しつつ、再構成信号全体の画像品質を向上させることができる。
つまり、例えば、図5のように、初回の再構成信号が生成された後、領域511の周波数帯域に含まれる信号成分を抽出して抽出成分情報を生成し、必要に応じて予測位置情報を利用しながら、抽出成分情報の再構成処理をして、再構成信号を生成する。次の繰り返しにおいて、512の周波数帯域に含まれる信号成分を抽出して抽出成分情報を生成し、必要に応じて予測位置情報を利用しながら、抽出成分情報の再構成処理をして、再構成信号を生成する。さらに次の繰り返しにおいて、領域513の周波数帯域に含まれる信号成分を抽出して抽出成分情報を生成し、必要に応じて予測位置情報を利用しながら、抽出成分情報の再構成処理をして、再構成信号を生成する。これにより、既に画質改善された信号成分に悪影響を与えることを抑制しながら再構成信号全体の画像品質を向上させることができる。
ここでは、領域511、領域512、領域513の順に適用して、周波数帯域に含まれる信号成分を抽出して抽出成分情報を生成しているが、特にこの適用順に限定されるわけではない。例えば、領域511の周波数帯域に含まれる信号成分が比較的大きく劣化を伴っている場合には、領域512、領域513を適用した後に領域511を適用するようにしても構わない。
また、例えば、図6に示されている周波数帯域に含まれる信号成分において、f0からf1までが一番元の画像の特徴を示す信号成分を多く含み、次にf1からf2、f3からfmax、最も劣化を伴っている信号成分を多く含むものがf2からf3であったとする。例えば、まずf0からf1までの周波数帯域に含まれる信号成分から抽出して抽出成分情報を生成し、抽出成分情報の再構成処理を繰り返した後に、再構成信号を生成する。その後、領域611、領域612を適用して同様に再構成信号を生成した後に、領域613を適用するようにしても構わない。このようにすることで、最も劣化を伴っているf2からf3の周波数帯域に含まれる信号成分の画質を改善する際に、f1からf2までに含まれる信号成分を伴って再構成処理をした場合と、f3からfmaxまでに含まれる信号成分を伴って再構成処理をした場合とは、探索時に特定される位置が異なることから、これらを組み合わせて再構成処理を繰り返すことにより、それぞれ特徴のある異なった画質の改善がみられるようになる。これにより、劣化を伴った信号成分の画質改善において、より良い効果が得られるようになる。
更に、例えば、図7に示されるように、複数の周波数帯域に含まれる信号成分を抽出して抽出成分情報を生成し、再構成処理をするように構成することもできる。このようにすることで、探索時に、より確からしい位置を特定しやすくなるような元の画像の特徴を多く含む信号成分を抽出成分情報に取り込むことで、より早く予測位置情報を収束させることができる。さらに、劣化が比較的少ない信号成分を、より確からしい位置から再構成処理をすることにより、より良く画質を改善することが可能となる。
また、例えば、再構成信号の再構成処理を繰り返す際に、繰り返すごとに選択する複数の周波数帯域を変更し、この複数の周波数帯域に含まれる信号成分を再構成信号から抽出して抽出成分情報を生成し、必要に応じて予測位置情報を利用しながら、抽出成分情報の再構成処理をして、新たな再構成信号を生成する。これにより、劣化の少ない信号成分を確定しつつ、劣化を含む信号成分を抽出成分情報に取り込みながら画質改善することが可能となる。さらに、より確からしい位置の信号成分を利用して、劣化を含む信号成分の再構成処理をすることにより、再構成信号全体に対して、より良く画質を改善することが可能となる。
例えば、図7の領域711と領域712、領域713と領域714、領域715と領域716、領域717と領域718、領域719と領域720といった複数の周波数帯域に含まれる信号成分を順に適用して、再構成信号から複数の周波数帯域に含まれる信号成分を抽出して抽出成分情報を生成し、抽出成分情報の再構成処理を行い、再構成信号を生成することを繰り返すように構成しても構わない。また、ここではこの適用順を特に限定するわけではない。
第1成分抽出部105および第2成分抽出部106に対して管理情報として供給される、抽出アルゴリズム判別情報、抽出補助情報は、例えば、図8に示されるようなデータ構造であっても構わない。例えば、抽出アルゴリズム判別情報には、テーブル801のように固有の識別番号が与えられることでデータ構造を識別し、その後のIndex情報に基づいて抽出アルゴリズムを特定できるようなデータ構造であると良い。Index情報と実際の抽出アルゴリズムとの関連付けは、テーブル802のようなテーブルによって定義されていると良い。また、抽出補助情報は、抽出アルゴリズム判別情報で特定されたアルゴリズムのTypeに応じて、異なるデータ構造をとることができるようにすると良い構成となる。例えば、テーブル801のIndexが1であるとすると、アルゴリズムのTypeはA1である。このような場合に対となる抽出補助情報は、テーブル811のように固有の識別番号が与えられることでデータ構造を識別し、その後のIndex情報に基づいて抽出対象となる周波数帯域を特定できるようなデータ構造であると良い。Index情報と実際の周波数帯域に関する情報との関連付けは、テーブル812のようにテーブルによって定義されていると良い。また、テーブル801のIndexが33であるとすると、アルゴリズムのTypeはB1である。このような場合に対となる抽出補助情報は、テーブル821のような構造であると良い。このテーブル821の構造は、抽出対象となる周波数帯域に含まれる周波数帯域の数に関する情報と、それぞれの周波数帯域の下限値および上限値に関する情報が、含まれる周波数帯域の数の分だけ含まれるようにすると良い。
抽出補助情報に格納される情報において、図8で示されたデータ構造はあくまで一例であり、抽出アルゴリズム判別情報によって特定されたアルゴリズムが抽出すべき周波数成分情報や周波数帯域を特定することができる情報であれば特に限定されるものではない。例えば、一般的なガウシアンフィルタやLanczosフィルタを利用するようなアルゴリズムであれば、周波数窓を制御するためのパラメータや、フィルタの位相を制御するためのパラメータを更に含むようなデータ構造であると良い。また、ウェーヴレットフィルタを利用するようなアルゴリズムであれば、周波数成分に対するオクターブ分割もしくはサブバンド分割の階数や、処理対象となるサブバンドを特定するための情報を更に含むようなデータ構造であると良い。
また、抽出アルゴリズム判別情報や抽出補助情報の表現形式は、図8のような固定長符号等を利用しているが、これらは特に限定されるものではなく、他の可変長符号で表現するようにしても構わない。また、データ構造の識別方法に関しても、別の異なる識別方法を採用しても構わない。
次に、類似成分特定部109における類似成分特定処理の詳細を以下に説明する。図9は、類似成分特定部109内の第1の探索部が、現在処理対象となっている信号中の、現在処理対象となっている領域に含まれる信号に最も類似した信号成分が、現在参照対象となっている信号において、どの部分に対応するかを探索によって特定し、対応関係を表す位置情報を生成する様子の一例を示す概念図である。
図9(a)において、領域901は、現在処理対象となっている信号であり、領域902は、その信号中で、現在処理対象となっている領域を表している。ここで、領域902は、矩形で表現されているが、所定の形状の領域であれば良い。例えば、あらかじめ矩形領域901の信号に対して所定のセグメンテーション手段や分割手段によって領域分割され、それぞれの領域に対して所定の順序で現在処理対象となる領域を特定するようにしても構わない。ここでは、領域901の信号を隙間無く所定の矩形形状で分割し、図9(a)の矢印のように、左上からラスタ順で現在処理対象となる領域を順番に特定するものとして話を進める。
図9(b)において、領域903は、現在参照対象となっている信号であり、領域904は、領域903の面内空間において、領域902と同じ面内空間位置にある領域を表している。この位置を、探索の基準位置とする。また、この基準位置に基づいて領域905のような所定の探索領域を設定する。
類似成分特定部109における類似成分特定処理は、例えば、図9(c)の概念図で示されるような処理をするようにすると良い。参照対象となっている信号903の探索領域905内で、領域906のように順番に参照領域の位置を変化させながら、領域906に含まれる信号成分と、処理対象となっている領域902に含まれる信号成分とを順次比較し、最も類似している信号成分を含む位置の領域を特定する。ここでは、907の位置の参照領域に含まれる信号成分が最も類似しているものしている。このように特定された領域907と、基準位置904との間の面内空間位置の距離を求めて、領域902と領域907との対応関係を表す位置情報とすることで、類似成分を特定すると良い。
ここで、類似成分特定処理における信号成分の類似度の判定には、信号間の距離を測定する方法による結果を利用すれば良く、例えば、信号間の差分の絶対値和(SAD)、信号間の差分の二乗和(SSD)、周波数変換後の信号間の差分の絶対値和(SATD)、平均平方誤差(MSE)、平均平方二乗誤差(RMSE)、等の方法を利用すると良い。このような方法により、参照側の領域に含まれる信号成分と処理対象側の領域に含まれる信号成分との間の誤差を、参照側の領域の位置を変えながらそれぞれ測定し、誤差が最も小さくなる領域の位置を特定する。
また、類似成分特定処理における、このような探索をする際の位置精度は、ここでは1画素精度での探索として図示しているが、特に限定されるものではなく、1/2、1/4、1/8などの1画素精度以下で探索するように構成しても構わない。また、処理量を軽減するため、大まかな探索をした後に、細かい精度で特定された領域の周辺を再度探索するような、階層的な探索をするように構成しても構わない。
また、類似成分特定処理において、探索の際に基準信号となる、現在処理対象となっている領域に含まれる信号成分を、現在処理対象となっている領域とは異なる領域に含まれる信号から生成し、置き換えることができるように構成すると良い。
更に、別の一例として、類似成分特定処理における類似領域までの距離および信号成分の類似度の判定には、例えば、オプティカルフロー検出、またその代表的な手法である勾配法によって特定されるように構成することもできる。例えば、勾配法に代表される方法として、Lucas-Kanade Methodを利用して、対象領域周辺の信号成分情報の変化量の状態(勾配分布)を検出し、この勾配分布に最も類似する位置を探索によって特定するように構成しても構わない。
このような勾配法による位置の探索は、一般に、探索対象となる信号が、連続性のある、比較的滑らかな信号である場合に、より有効である。したがって、本実施の形態においてこのような勾配法による位置の探索を採用した構成とすることで、抽出成分情報を生成する際に、連続性のある比較的滑らかな信号成分を含むように、所定の周波数帯域を設定する。これにより、精度の高い位置特定が可能となり、再構成信号全体に対して、より良く画質を改善することが可能となる。
ここでは一例としてLucas-Kanade Methodを挙げたが、この方法に特に限定されるわけではなく、対象領域周辺の信号成分情報の変化量を利用した、他の探索方法を採用した構成としても構わない。
次に、位置合わせ合成部110における位置合わせ合成処理の詳細を以下に説明する。図12は、位置合わせ処理の一例を説明するための概念図である。
図12において、領域902は、現在処理対象となっている信号901の、現在処理対象となっている領域であり、領域907は、実施の形態に係る類似成分特定処理によって特定された位置情報に基づいて、領域902との面内空間位置の位置関係から特定された、領域902に含まれる信号成分に最も類似した信号成分を含む領域であるものとする。
このような領域907に含まれる信号を、領域902およびその周辺の領域内の最も適した位置に信号成分を貼り付けるにあたって、貼り付けた位置の周辺の信号成分と、最も適合する位置を、位置合わせ合成部110内の第2の探索部が、高精度な貼り付け位置の探索をすることで特定し、このような信号の位置合わせを伴って信号成分の貼り付けをすると良い。ここで、図12の領域1201のように、高精度な貼り付け位置の探索をする際の探索範囲を設定できるようにすると良い。その後、貼り付けられた信号成分と、領域902およびその周辺領域に含まれる信号成分から、信号成分に対する所定の位置合わせ合成処理を行い、元の信号のサンプリング間隔以上の細かさで表現された合成成分情報を生成するように構成すると良い。
本実施の形態に係る位置合わせ合成処理における、高精度な貼り付けをする際の位置精度は、例えば、図13で示されるように、信号のサンプル間隔を、元の信号のサンプリング間隔以上の細かさで表現されたグリッドを仮想的に定義し(以後、仮想的に定義されたグリッドを「仮想グリッド」という。)、この仮想グリッドの間隔をより細かくすることで、より高い位置精度を実現できるようにすると良い。図13(a)は、サンプリング間隔が1の場合の例を示したものである。ここで、サンプリング間隔が1であるとは、サンプリング間隔の基準となる信号のサンプリング間隔を1としたものと等しい間隔であることを意味し、図13の例では、信号のサンプリング1301の間隔と同じ間隔であることを意味する。サンプリング1301は、領域902に含まれる信号成分の各サンプルであり、この各サンプルの間隔は1であるものとすると、サンプリング1301の各サンプルは、サンプル間隔が1である仮想グリッド1302上に対して、サンプリング1303のように配置される。また、他の例としては、図13(b)のように、サンプリング間隔が1/4となるように仮想グリッド1304を設定すると、サンプリング1301の各サンプルは、仮想グリッド1304上に対して、サンプリング1305のように配置される。ここでは、サンプリング1305のような仮想グリッドおよび配置として話を進めるが、サンプリング間隔を1/8、1/16などのより細かな間隔の仮想グリッドを設定することで、より高精度の位置合わせ処理が可能となる。
図14は、参照側の信号を処理対象となっている信号の位置合わせをして、合成成分情報を生成する過程を表す概念図である。サンプリング1401は、参照側の特定された領域907に含まれる信号成分の各サンプルである。また、サンプリング1305は、現在処理対象となっている領域902に含まれる信号成分の各サンプルを1/4のサンプリング間隔とした仮想グリッド上に配置した、参照側で特定された領域907に含まれる信号成分の各サンプルである。
サンプリング1401のサンプル間の間隔は、処理対象となっている信号のサンプル間の間隔と等しいため、サンプリング1305のようなサンプル間の間隔と同様の間隔をもつ信号であるとし、サンプリング1305上の仮想グリッド上で、位置合わせ合成部110内の第2の探索部が、高精度な貼り付け位置の探索をすることで、サンプリング1402のように参照側の信号のサンプリング1401を仮想グリッド上に貼り付ける。
ここで、位置合わせ合成部110内の第2の探索部による高精度な貼り付け位置の探索処理は、例えば、以下のようにすると良い。まず、サンプリング1305のように、配置されたサンプルとサンプルとの間の信号成分を、所定の補間処理によって補間信号成分をあらかじめ生成しておく。この所定の補間処理は、一般的な低域通過フィルタを利用する信号の補間処理であれば良く、例えば、sinc関数やLanczos関数に基づいたフィルタによる補間処理であっても良い。また、他の補間処理、例えば、周波数応答が全帯域にわたって平坦かつ急峻な遮断周波数特性を持つように設計されたFIRおよびIIRフィルタを用いても良い。また、Nearest-neighbor法、Bilinear法、Bicubic法、Spline法、などに基づいたフィルタを用いて処理を軽減させても構わない。このようにあらかじめ仮想グリッド上に処理対象側の信号から生成された補間信号成分を配置しておき、位置合わせ合成部110内の第2の探索部が、参照側の信号成分と最も類似した信号成分のある位置を特定し、サンプリング1401を貼り付けるようにすると良い。
その後、サンプリング1402のような不等間隔の信号成分に対して、所定の点広がり関数(PSF)に基づく、各サンプル間の影響を考慮しながら、所定の信号成分のリサンプリング処理をして、例えば、合成成分情報1403のようなサンプリング間隔の信号を合成する。ここでは、サンプリング間隔を1/2として信号を合成しているが、サンプリング間隔は1以下であれば良く、このような信号を、合成成分情報1403としている。
ここで、参照側の信号成分の貼り付け位置の特定は、貼り付け位置として本来の信号としてふさわしい位置が特定できればよく、上述の例に特に限定されない。例えば、貼り付け位置の特定をより高精度にするために、領域902に含まれる信号成分および領域907に含まれる信号成分に対してフーリエ変換などの周波数変換をすることで、周波数スペクトル情報と位相情報を求める。参照側の信号の位相を、処理対象側の信号の位相に合せた後、仮想グリッド上の配置したい位置の信号成分となるように参照側の信号成分の位相を変更して逆フーリエ変換などの逆周波数変換をする。配置したい位置の信号成分のサンプルを所定の信号成分の補間処理、およびリサンプリング処理によって生成し、配置するようにしても構わない。また、必要であれば、これらの処理を選択できる構成として、処理ごとに切り替えられるようにしても良い。
図15は、より細かいサンプリング間隔で表現された信号に対して、帯域抑制部111により、信号の周波数帯域抑制をして、帯域制限された合成抽出成分情報を生成する様子を表す概念図である。
帯域抑制部111は、合成成分情報1403に対して、所定のローパスフィルタを利用してフィルタリング処理をすることにより、帯域制限された信号1501を生成する。ここで、利用するフィルタは、例えば、sinc関数やLanczos関数に基づいたフィルタ、周波数応答が全帯域にわたって平坦かつ急峻な遮断周波数特性を持つように設計されたFIRおよびIIRフィルタを用いると良い。また、Nearest-neighbor法、Bilinear法、Bicubic法、Spline法、などに基づいたフィルタを用いて処理を軽減させても構わない。
このような帯域抑制された合成成分情報1501を生成し、この合成成分情報を含む信号を、新たな処理対象となる信号とする。同様の処理を、合成成分情報の信号成分の変動が所定の範囲内となるまで繰り返すことで超解像処理をして、信号を再構成する。
本実施の形態における、このような超解像処理における各処理は、他の超解像処理で行われる同様の処理に置き換えても構わない。他の超解像処理においては、一般に、超解像処理による画像の高解像度化は、単に位置ずれがある等といった、比較的画像間の相関が高い複数の低空間解像度画像から1枚の高空間解像度画像を推定することによって行われる。これらの技術は、近年数多くの研究で報告されている。
例えば、ML(Maximum-likelihood)法というものが提案されている。このML法では、高空間解像度画像から推定された低空間解像度画像の画素値と実際に観測された画素値の二乗誤差を評価関数とし、評価関数を最小化するような高空間解像度画像を推定画像としている。この方法は、最尤推定の原理に基づいて超解像処理をする方法である。
また、MAP(Maximum A Posterior)法というものが提案されている。MAP法では、二乗誤差に高空間解像度画像の確率情報を付加した評価関数を最小化するような高空間解像度画像を推定する。この方法は、高空間解像度画像に対する何らかの先見情報を利用して、事後確率を最大化する最適化問題として高空間解像度画像を推定する超解像処理方法である。
さらに、POCS(Projection Onto Convex Sets)法というものが提案されている。このPOCS法では、高空間解像度画像と低空間解像度画像の画素値に関して連立方程式を作成し、その方程式を逐次的に解くことにより、高空間解像度画像を得る超解像処理方法である。以上のような超解像処理を本発明に適用することで、更に良い構成とすることが可能となる。
次に、図1に示す本実施の形態1の信号処理装置100の基本動作を、図2のフローチャートを参照しながら説明する。
まず、統合制御部116は、ユーザ等から信号処理開始要求信号を受けると、各部に対して信号処理開始指令を送る。
第1制御部107は、統合制御部116からの指令に従い、スイッチ103、104を接続し、スイッチ115を切断する(ステップS101)ことで、入力信号および出力信号を制御する。その後、並列処理として第1処理および第2処理に分岐する。ここでは、処理を並列処理によって行うものとして説明しているが、例えば、第1処理の後に第2処理、または第2処理の後に第1処理、もしくは第1処理と第2処理の各ステップを交互に実行するなどといった、順次処理となるように動作させることも可能である。
第1処理は、ステップS102からステップS106までの処理をする。まず、第1制御部107は、第1成分抽出部105に対して周波数成分の抽出を制御するための情報である抽出アルゴリズム判別情報および抽出補助情報を供給し、格納されている情報を更新する(ステップS102)。
次に、第1成分抽出部105は、処理対象となる入力信号の取得もしくは更新をするため、スイッチ103が接続されている場合には、スイッチ103を介して第1入力101である処理対象となる入力信号を取得する。スイッチ103が切断され、スイッチ115が接続されている場合には、スイッチ115を介して合成部113から再構成信号を取得し、次の処理対象となる入力信号として更新する(ステップS103)。
次に、第1成分抽出部105は、取得した抽出アルゴリズム判別情報に基づいて成分抽出処理を特定する。第1成分抽出部105は、抽出補助情報に基づいて抽出対象となる信号成分を特定した後に、取得した処理対象となる入力信号に対して、特定された成分抽出処理をする(ステップS104)。この処理によって処理対象となる入力信号の抽出成分情報を生成するとともに、この抽出成分情報以外の成分を、抽出外成分情報として生成することで、信号成分を分離する(ステップS105)。
処理対象となる入力信号に対する成分抽出処理が完了すると、第1制御部107は、スイッチ103を切断する(ステップS106)。その後、第1処理および第2処理が完了するまで待機する。
第2処理は、ステップS107からステップS111までを処理する。まず、第1制御部107は、第2成分抽出部106に対して周波数成分の抽出を制御するための情報である抽出アルゴリズム判別情報および抽出補助情報を供給し、格納されている情報を更新する(ステップS107)。
次に、第2成分抽出部106は、参照対象となる入力信号の取得もしくは更新をするため、スイッチ104が接続されている場合には、スイッチ104を介して第2入力102である参照対象となる入力信号を取得もしくは更新する(ステップS108)。
次に、第2成分抽出部106は、取得した抽出アルゴリズム判別情報に基づいて成分抽出処理を特定し、抽出補助情報に基づいて抽出対象となる信号成分を特定する。その後、取得した参照対象となる入力信号に対して、特定された成分抽出処理をする(ステップS109)。この処理によって、第2成分抽出部106は参照対象となる入力信号の抽出成分情報を生成するとともに、この抽出成分情報以外の成分を、抽出外成分情報として生成することで、信号成分を分離する(ステップS110)。
参照対象となる入力信号に対する成分抽出処理が完了すると、第1制御部107は、スイッチ104を切断する(ステップS111)。その後、第1制御部107は第1処理および第2処理が完了するまで待機する。
第1処理および第2処理が完了すると、第1制御部107は、帯域抑制部111に対して、帯域抑制アルゴリズム判別情報と帯域抑制補助情報とを供給し、帯域抑制情報を更新する(ステップS112)。
その後、統合制御部116は、第2制御部114に処理開始指令を送る。
第2制御部114は、統合制御部116からの指令に応じて、スイッチ108を端子aに接続する(ステップS113)。
次に、類似成分特定部109は、スイッチ108を介して第1成分抽出部105から処理対象となる抽出成分情報を取得するとともに、第2成分抽出部106から参照対象となる抽出成分情報を取得する(ステップS114)。
類似成分特定部109に各抽出成分情報が供給されると、第2制御部114は、スイッチ108を端子b、スイッチ112を端子aに接続する(ステップS115)。
次に、類似成分特定部109は、処理対象となる抽出成分情報を更新する(ステップS116)。この処理対象となる抽出成分情報の更新において、必要に応じて、統合制御部116は、抽出成分情報の置き換え処理をするための制御をするために各部に対して指令を行う。この指令により、類似成分特定部109は、第1制御部107の制御に従って、所定の処理単位で、所定の類似成分特定処理をする前に、現在処理対象となっている領域とは異なる領域を特定する所定の特定方法に基づいて異なる領域を特定する。類似成分特定部109は、この異なる領域に含まれる信号から新たな抽出成分情報を生成して、制御に応じて、処理対象側の抽出成分情報と置き換え、抽出成分情報の再構成処理をする際の、初期の基準信号を生成することで、処理対象となる抽出成分情報を更新する。
このような処理をすることにより、帯域抑制部111の処理が完了し、新たに帯域制限された合成抽出成分情報が生成されている場合には、端子aに接続されたスイッチ112および端子bに接続されたスイッチ108を介して取得し、これを処理対象となる抽出成分情報として更新する。新たに帯域制限された合成抽出成分情報が生成されていない場合には、端子aに接続されたスイッチ108から取得した抽出成分情報を処理対象となる抽出成分情報として更新する。
その後、類似成分特定部109は、第2成分抽出部106から、参照対象となる抽出成分情報を取得し、所定の処理単位で、所定の類似成分特定処理をする(ステップS117)ことで、処理対象となっている抽出成分情報に最も類似した信号成分が、参照側の抽出成分情報のどの部分に対応するかを特定し、対応関係を表す位置情報を生成する。類似成分特定部109はまた、生成された対応関係を表す位置情報を、再利用できるように予測位置情報として格納しておくとよい。
その後、位置合わせ合成部110は、スイッチ108を介して処理対象となる抽出成分情報を取得し、第2成分抽出部106から参照対象となる抽出成分情報を取得する。また、位置合わせ合成部110は、類似成分特定部109から各抽出成分情報間の対応関係を表す位置情報を取得する。取得した処理対象および参照対象となる抽出成分情報と、位置情報を利用して、位置合わせ合成部110は、所定の位置合わせ合成処理をする(ステップS118)ことで、対応付けられた処理対象側の抽出成分情報と、参照側の抽出成分情報とを合成し、合成抽出成分情報を生成する。
次に、帯域抑制部111は、位置合わせ合成部110から生成された合成抽出成分情報を取得する。そして、取得した帯域抑制アルゴリズム判別情報に基づいて、帯域抑制処理を特定するとともに、帯域抑制補助情報に基づいて特定された帯域抑制処理をする(ステップS119)ことで、合成抽出成分情報に対して、信号の周波数帯域抑制をして、帯域制限された合成抽出成分情報を生成する。
その後、第2制御部114は、帯域抑制部111から帯域制限された合成抽出成分情報を取得するとともに、第1成分抽出部105から処理対象となっている抽出成分情報を取得する。そして、少なくとも、取得した抽出成分情報、合成抽出成分情報、および管理情報に基づいて、第2制御部114は、繰り返し処理が完了したかを判定する(ステップS120)ことで、所定の繰り返し条件を満たすまで、合成抽出成分情報の再構成処理を繰り返すか、結果を各部に供給するかを判定する。
繰り返し処理が完了したと判定された場合(ステップS120でYES)、第2制御部114は、スイッチ112を端子bに接続する(ステップS121)。繰り返し処理が完了していないと判定された場合(ステップS120でNO)、ステップS116に戻る。
ステップS120で繰り返し処理が完了したと判定され、ステップS121でスイッチが切り替えられると、合成部113は、端子bに接続されたスイッチ112を介して帯域抑制部111から合成抽出成分情報を取得し、処理後の抽出成分情報とするとともに、第1成分抽出部105から、抽出外成分情報を取得する。そして、取得した抽出成分情報と抽出外成分情報とを所定の合成処理により合成する(ステップS122)ことで、再構成信号を生成する。
その後、統合制御部116は、統合管理情報に基づいて、本実施の形態の再構成処理が完了したかを判定する(ステップS123)。
再構成処理が完了したと判定された場合(ステップS123でYES)、ステップS124に進む。再構成処理が完了していないと判定された場合(ステップS123でNO)、ステップ101の後に行われる並列処理である第1処理および第2処理に戻る。
再構成処理が完了したと判定された後、統合制御部116は、統合管理情報に基づいて、異なる参照信号を利用するかを判定する(ステップS124)。
異なる参照信号を利用すると判定された場合(ステップS124でYES)、統合制御部116は、第1制御部107に指令を送り、第1制御部107は、スイッチ104を接続し(ステップS125)、ステップ101の後に行われる並列処理である第1処理および第2処理に戻る。異なる参照信号を利用しないと判定された場合(ステップS124でNO)、統合制御部116は、第1制御部107に指令を送り、スイッチ115を端子bに接続し、結果を出力する(ステップS126)。
以上のようなステップを経ることで、本実施の形態の一連の基本動作が終了する。
このように、所定の超解像処理を開始する際の、初期の基準信号を、現在処理対象となっている領域に含まれる信号、ここでは抽出成分情報に対し、現在処理対象となっている領域とは異なる領域に含まれる信号から生成し、置き換えることで新たな初期の基準信号とし、所定の超解像処理をして信号を再構成するようにしたことで、参照側からより有効な貼り付け対象となる信号を所定の探索部が特定することを可能とし、より高精度な位置合わせ合成処理をすることで、他の信号成分が含まれることによる、意図しない位置からの信号成分の混入を抑制し、信号成分ごとに、本来あるべき画像の特徴に近い画像を生成することができる。
また、所定の超解像処理をすることで処理対象となった抽出成分情報の再構成後の抽出成分情報を生成し、その後、処理対象側の抽出外成分情報と合成し、これを新たな処理対象となる信号として本実施の形態の処理を繰り返すようにしたことにより、繰り返し回数を重ねるごとに、より確からしい信号成分が増加することにより、所定の探索や位置合わせ合成処理において、更に意図しない位置からの信号成分の混入を抑制し、本来あるべき画像の特徴に近い画像を生成することができる。
更に、所定の超解像処理を開始する際の、初期の基準信号を、現在処理対象となっている領域に含まれる信号、ここでは抽出成分情報に対し、現在処理対象となっている領域とは異なる領域に含まれる信号から生成し、置き換えるとともに、抽出外成分情報と合成することで新たな初期の基準信号とし、所定の超解像処理をして信号を再構成するようにしたことで、参照側からより有効な貼り付け対象となる信号を所定の探索部が特定することを可能とし、より高精度な位置合わせ合成処理をすることで、他の信号成分が含まれることによる、意図しない位置からの信号成分の混入を抑制し、信号成分ごとに、本来あるべき画像の特徴に近い画像を生成することができる。
また、初期の基準信号として、置き換えられた抽出成分情報を利用し、参照対象となる信号に対して、所定の信号を選択的に抽出する第2の成分抽出部が抽出成分情報を生成し、類似成分特定部109内の第1の探索部、および所定の超解像処理に利用することで処理対象となった抽出成分情報の再構成後の抽出成分情報を生成し、その後、処理対象側の抽出外成分情報と合成して信号を再構成するようにしたことで、信号品質を改善したい信号成分に対して重点的に繰り返し処理をして、信号成分を確定させることができることから、信号成分ごとに、本来あるべき画像の特徴に近い画像を生成することができる。
(実施の形態2)
本発明の実施の形態1において、第1制御部107、第2制御部114、および統合制御部116の各部の制御方法を変更することで、主に類似成分特定部109、位置合わせ合成部113の各部の動作を変更するとともに、合成部113を機能させないようにすることで、実施の形態2とすることができる。
第1制御部107、第2制御部114、および統合制御部116の制御に基づいて、類似成分特定部109内の第1の探索部は、処理対象となる信号の抽出成分情報と、参照側の抽出成分情報とから、対応関係を表す位置情報を求める。位置合わせ合成部110では、あらかじめスイッチ103を介して処理対象となる信号を取得するとともに、スイッチ104を介して参照対象となる信号を取得しておき、類似成分特定部109から生成された位置情報を取得する。この位置情報に基づいて、位置合わせ合成部110内の第2の探索部は、現在処理対象となっている、元の処理対象となる信号の領域と、元の参照対象となる信号の領域との対応関係を特定する。位置合わせ合成部110は、第2の探索部が特定した元の参照対象となる信号の領域に含まれる信号成分を所定の位置合わせ合成処理によって元の処理対象となる信号成分と合成し、帯域抑制部111によって帯域抑制された合成抽出成分情報を生成することで、信号を再構成する。これを新たな処理対象となる信号として本実施の形態に係る処理を繰り返すことで、最終的な出力信号を生成する。
このように、処理対象および参照対象となる信号に対して、成分抽出処理をして抽出成分情報を生成し、初期の基準信号として、置き換えられた抽出成分情報を制御に応じて利用しながら、類似成分特定部109内の第1の探索部によって処理対象側の抽出成分情報に対応する参照側の抽出成分情報の領域を特定し、位置合わせ合成部110内の第2の探索部によって、処理対象となる信号における、特定された参照側の信号の高精度な貼り付け位置を特定し、特定された貼り付け位置に対して、特定された参照側の領域に含まれる元の信号を利用して信号を再構成する。このようにしたことで、抽出成分情報によって特定されたより正しい位置情報に基づいて特定された、参照対象となる信号の領域に含まれる信号成分を、より確からしい位置に貼り付けることが可能になり、意図しない位置からの信号成分の混入を抑制し、本来あるべき画像の特徴に近い画像を生成することができるようになる。
(実施の形態3)
本発明の実施の形態1において、第1制御部107、第2制御部114、および統合制御部116の各部の制御方法を変更することで、主に類似成分特定部109、位置合わせ合成部110の各部の動作を変更するとともに、合成部113を機能させないようにすることで、実施の形態3とすることができる。実施の形態2とは、位置情報を、再構成後の抽出成分情報に基づいて特定する点で異なっている。
まず、処理対象となっている信号を、抽出成分情報と、抽出外成分情報に分離し、参照対象となっている信号から抽出成分情報を抽出する。次に、類似成分特定部109は、処理対象となる信号の抽出成分情報と、参照側の抽出成分情報から、初期の基準信号として、置き換えられた抽出成分情報を制御に応じて利用しながら、類似成分特定部109内の第1の探索部が、対応関係を表す位置情報を求める。その後、位置合わせ合成部110は、位置情報を取得し、この位置情報に基づいて、現在処理対象となっている、処理対象側の抽出成分情報の領域と、参照側の抽出成分情報の領域との対応関係を特定し、特定された参照側の抽出成分情報の領域に含まれる信号成分を、所定の位置合わせ合成処理によって、処理対象側の抽出成分情報の信号成分と合成し、帯域抑制部111によって帯域抑制された合成抽出成分情報を生成することで、処理対象側の抽出成分情報の再構成をする。ここまでの処理対象側の抽出成分情報の再構成をする処理を所定の条件を満たすまで繰り返すことで、再構成後の処理対象側の抽出成分情報を生成し、再度、参照側の抽出成分情報との間で所定の類似成分特定部109内の第1の探索部が、位置情報を特定する。
位置合わせ合成部110では、あらかじめスイッチ103を介して処理対象となる信号を取得するとともに、スイッチ104を介して参照対象となる信号を取得しておき、類似成分特定部109によって、再構成された処理対象側の抽出成分情報に基づいて生成された位置情報を取得する。位置合わせ合成部110は、この位置情報に基づいて、現在処理対象となっている、元の処理対象となる信号の領域と、元の参照対象となる信号の領域との対応関係を特定し、特定された元の参照対象となる信号の領域に含まれる信号成分を、所定の位置合わせ合成処理によって、元の処理対象となる信号成分と合成し、帯域抑制部111によって帯域抑制された合成抽出成分情報を生成することで、信号の再構成をする。これを新たな処理対象となる信号として本実地の形態に係る処理を繰り返すとで、最終的な出力信号を生成する。
このように、処理対象および参照対象となる信号に対して、成分抽出処理をして抽出成分情報を生成し、初期の基準信号として、置き換えられた抽出成分情報を利用して、所定の超解像処理をすることで処理対象となった抽出成分情報の再構成後の抽出成分情報を生成し、類似成分特定部109内の第1の探索部が、処理対象側の再構成後の抽出成分情報に対応する参照側の抽出成分情報の領域を特定し、位置合わせ合成部110内の第2の探索部が、処理対象となる信号における、特定された参照側の信号の高精度な貼り付け位置を特定し、特定された貼り付け位置に対して、特定された参照側の領域に含まれる元の信号を利用して信号を再構成するようにしたことで、再構成された処理対象側の抽出成分情報によって、より正しい位置情報を特定することが可能になるとともに、このより確からしい位置情報に基づいて特定される、参照対象となる信号の領域に含まれる信号成分を、より確からしい位置に貼り付けることが可能になり、意図しない位置からの信号成分の混入を抑制し、本来あるべき画像の特徴に近い画像を生成することができるようになる。
(実施の形態4)
また、実施の形態4として、実施の形態に係る信号処理装置100において生成される新たな基準信号と、元の基準信号を所定の処理単位で切り替えながら信号の再構成をするように制御する機能を、第1制御部107、第2制御部114、または統合制御部116のいずれかに備えるように構成することもできる。
このように、新たな基準信号と、元の基準信号を所定の処理単位で切り替えながら信号の再構成をすることで、基準信号の品質を制御し、参照側からより有効な貼り付け対象となる信号を所定の探索部が特定することができるようになる。よって、切り替えながら信号の再構成を行わない場合よりも、意図しない位置からの信号成分の混入を抑制し、信号成分ごとに、本来あるべき画像の特徴に近い画像を生成することができるようになる。
(実施の形態5)
また、実施の形態5として、実施の形態に係る信号処理装置100における類似成分特定部109は、類似成分特定部109内の第1の探索部が利用する前に、新たな初期の基準信号を生成する際に利用する、現在処理対象となっている領域とは異なる領域を特定するための、第3の探索部を更に有するように構成することもできる。
この類似成分特定部109内の第3の探索部は、例えば、図9で示されるような探索により、処理対象となっている領域に含まれる信号成分に最も類似した信号成分を特定し、この信号成分で置き換えることで、新たな初期の基準信号を生成するようにしても構わない。
このように、類似成分特定部109内の第3の探索部を有するように構成することで、処理対象となる信号における、現在処理対象となっている領域に含まれる信号成分の品質が十分ではない場合に、この類似成分特定部109内の第3の探索部により、より品質の良い信号成分を含む領域を特定し、特定された領域に含まれる信号成分で置き換えることで、新たな初期の基準信号とする。このような新たな基準信号を利用して、信号の再構成処理をすることで、意図しない位置からの信号成分の混入を抑制し、信号成分ごとに、本来あるべき画像の特徴に近い画像を生成することができるようになる。
(実施の形態6)
また、実施の形態6として、本発明の実施の形態における、所定の第1、第2、第3のいずれか、または全ての探索部は、現在処理対象となっている領域の一部もしくは全てを少なくとも含む領域を、テンプレートとして探索に利用するように構成しても構わない。
例えば、図9で示されるように、類似成分特定部109内の第1の探索部は、探索対象となる領域を902とし、この領域をテンプレートとして、参照側の信号から、このテンプレート内に含まれる信号成分にもっとも類似している信号成分を含む領域を特定するようにすると良い。
このように、現在処理対象となっている領域の一部もしくは全てを少なくとも含む領域を、テンプレートとして探索に利用することで、処理対象となる領域に含まれる信号成分を信頼できる基準として、忠実に探索処理をし、参照側から最も類似した信号成分を含む領域を特定することができるようになる。
また、類似成分特定部109内の第3の探索部に適用することにより、より品質の良い信号成分を含む領域を特定し、特定された領域に含まれる信号成分で置き換えることで、新たな初期の基準信号とすることができる。このような新たな基準信号を利用して、信号の再構成処理をすることで、意図しない位置からの信号成分の混入を抑制し、信号成分ごとに、本来あるべき画像の特徴に近い画像を生成することができるようになる。
(実施の形態7)
また、実施の形態7として、他の実施の形態とは異なり、所定の第1、第2、第3のいずれか、または全ての探索部は、現在処理対象となっている領域を含まず、現在処理対象となっている領域に隣接、もしくは所定の領域だけ離れた領域を、テンプレートとして探索に利用するように構成しても構わない。
例えば、図10に示されるように、現在処理対象となっている領域902の周囲の領域1001をテンプレートとし、テンプレートと対象領域との面内位置の関係は、容易に特定できる関係となっている。この例では、テンプレート1001の内部に探索対象となる領域902が含まれており、テンプレート1001の位置が決まると、その内部の領域も同時に求まる。このようなテンプレートに含まれる信号成分に最も類似している、参照側のテンプレートに対応する領域を特定する。探索中のテンプレート領域は、1002であり、最も類似した信号成分を含むテンプレート領域は、図10では、1003の領域であったとすると、テンプレートと探索対象となる領域との面内位置の関係から、実際に特定される処理対象側の領域902に対応する領域は、907となり、領域902と領域907との面内空間位置の関係から、位置情報908を生成することができる。
テンプレートの領域の形状は、例えば、図11に示されるような形状、および配置のテンプレート領域であっても構わない。また、図11において、テンプレート領域を複数持つもの、例えば、図11(e)のように、探索対象となる領域902の上下左右の4つの領域の全てをテンプレートとして利用するようにしても良いし、その一部を利用するようにテンプレートを構成しても良い。また、テンプレートの各領域は、探索対象と隣接するようにしても良いし、所定の領域だけ離れた領域をテンプレートとしても良い。
このように、探索部がテンプレートを利用し、このテンプレート領域に対応する領域を参照側から特定し、その後、テンプレートとの位置関係から、実際に求めたい処理対象側の領域と、参照側の領域との対応関係を特定するための位置情報を求めることができるように構成することで、探索対象となる領域内の信号成分の品質が十分ではない場合であっても、テンプレート領域内の信号成分によって、テンプレート領域同士の対応関係から、実際に求めたい処理対象側と参照側の領域との対応関係を特定することができるようになる。
また、類似成分特定部109内の第3の探索部に適用することにより、より品質の良い信号成分を含む領域を特定し、特定された領域に含まれる信号成分で置き換えることで、新たな初期の基準信号とすることができる。このような新たな基準信号を利用して、信号の再構成処理をすることで、意図しない位置からの信号成分の混入を抑制し、信号成分ごとに、本来あるべき画像の特徴に近い画像を生成することができるようになる。
(実施の形態8)
また、実施の形態8として、他の実施の形態とは異なり、所定の第1、第2、第3のいずれか、または全ての探索部は、現在処理対象となっている領域の一部もしくは全てを少なくとも含む領域と、周辺領域との間の所定の特徴量を、探索に利用するように構成しても構わない。
ここで、所定の特徴量は、例えば、図11(j)において、処理対象となっている領域902と、その周辺領域である、上下左右、および左上、右上、右下、左下の8つの領域1110において、所定の周波数変換をそれぞれの領域に対して行うことで、各領域の周波数的な特徴と、現在処理対象となっている領域と、その周辺の領域との間の、周波数的な特徴の分布の関係を求め、この周波数的な分布の位置関係に最も類似している位置を、参照側から特定することで位置情報を生成できるようにすると良い。ここで、探索する際に、同様の所定の周波数変換をしながら、対応する位置関係を特定する機能を備えるように構成すると良い。
また、所定の特徴量は、各領域に対してそれぞれエッジ検出を行い、エッジ成分の分布を定量化し、このエッジ成分の位置関係に最も類似している位置を、参照側から特定することで位置情報を生成できるようにしても良い。ここで、探索をする際に、同様のエッジ検出をしながら、対応する位置関係を特定する機能を備えるように構成すると良い。
更に、所定の特徴量は、各領域に対してそれぞれエッジの方向を特定し、このエッジ方向を定量化し、このエッジ方向の位置関係に最も類似している位置を、参照側から特定することで位置情報を生成できるようにしても良い。ここで、探索をする際に、同様のエッジ方向を特定する処理を行いながら、対応する位置関係を特定する機能を備えるように構成すると良い。エッジ方向を特定する処理としては、例えば、各領域に対してハフ変換をすることで、各領域の信号成分に含まれる直線を検出し、代表的な直線の方向を定量化することでエッジ方向を特定できるようにすると良い。ここでは一例としてハフ変換による方向検出による方法を説明したが、他の異なる方法により含まれる直線の方向を定量化するように構成しても構わない。
また、所定の特徴量は、各領域の信号のヒストグラム、もしくはその代表信号や代表色を求め、この分布の位置関係に最も類似している位置を、参照側から特定することで位置情報を生成できるようにしても良い。ここで、探索する際に、同様のヒストグラム、もしくはその代表信号や代表色を求める処理を行いながら、対応する位置関係を特定する機能を備えるように構成すると良い。
このように、所定の第1、第2、第3のいずれか、または全ての探索部は、現在処理対象となっている領域の一部もしくは全てを少なくとも含む領域と、周辺領域との間の所定の特徴量を、探索に利用するように構成することで、現在処理対象となっている領域や、その周辺領域のいずれかの領域の信号成分の品質が十分ではない場合であっても、それ以外の領域内の特徴量との間の関係から、実際に求めたい処理対象側と参照側の領域との対応関係を特定することができるようになる。
また、類似成分特定部109内の第3の探索部に適用することにより、より品質の良い信号成分を含む領域を特定し、特定された領域に含まれる信号成分で置き換えることで、新たな初期の基準信号とすることができる。このような新たな基準信号を利用して、信号の再構成処理を行うことで、意図しない位置からの信号成分の混入を抑制し、信号成分ごとに、本来あるべき画像の特徴に近い画像を生成することができるようになる。
(実施の形態9)
また、実施の形態9として、他の実施の形態とは異なり、所定の第1、第2、第3のいずれか、または全ての探索部は、現在処理対象となっている領域の一部もしくは全てを少なくとも含む領域と、周辺領域との間の所定の特徴量を求め、処理対象側の領域と、周辺領域との間で、求めた特徴量の変化量を更に求めた上で、探索に利用するように構成しても構わない。
例えば、図11(j)のような領域の位置関係において、周波数成分の直流成分を求め、現在処理対象となっている領域の直流成分と周囲の領域の直流成分との変化量を求め、この変化量の位置関係に最も類似している位置を、参照側から特定することで位置情報を生成できるようにしても良い。ここで、探索をする際に、同様の変化量を検出しながら、対応する位置関係を特定する機能を備えるように構成すると良い。
また、ここでは一例として、各領域の周波数成分の直流成分同士の変化量を探索に利用する構成を示したが、前述の実施の形態で述べたような他の特徴量の変化量を定量化し、探索に利用するように構成しても構わない。
このように、所定の特徴量の変化量を求めて所定の探索を行うようにすることで、周辺領域との間の大域的な変化を利用して探索することができるようになる。
また、類似成分特定部109内の第3の探索部に適用することにより、より品質の良い信号成分を含む領域を特定し、特定された領域に含まれる信号成分で置き換えることで、新たな初期の基準信号とすることができる。このような新たな基準信号を利用して、信号の再構成処理をすることで、意図しない位置からの信号成分の混入を抑制し、信号成分ごとに、本来あるべき画像の特徴に近い画像を生成することができるようになる。
(実施の形態10)
更に、実施の形態10として、上述のような所定の第1、第2、第3のいずれか、または全ての探索部を、所定の管理情報に基づいて、処理対象となる領域ごとに切り替えながら利用するように構成することも可能である。
このように構成することで、例えば、処理対象となる領域の信号成分の品質がまだ十分ではない、初めの数回の繰り返し動作においては、求めた特徴量の変化量による探索や、テンプレートによる探索を利用し、その後は、他の探索を利用することで、少しずつ正しい信号成分を確定しながら、最終的に処理対象となる領域の信号成分の品質を向上させるとともに、実際に求めたい処理対象側と参照側の領域との対応関係を特定し、更に処理対象となる領域の信号成分の品質を向上させることができるようになる。
また、類似成分特定部109内の第3の探索部に適用することにより、より品質の良い信号成分を含む領域を特定し、特定された領域に含まれる信号成分で置き換えることで、新たな初期の基準信号とすることができる。このような新たな基準信号を利用して、信号の再構成処理をすることで、意図しない位置からの信号成分の混入を抑制し、信号成分ごとに、本来あるべき画像の特徴に近い画像を生成することができるようになる。
(実施の形態11)
また、実施の形態11として、所定の特徴量の変化量に基づく探索をする、所定の第1、第2、第3のいずれか、または全ての探索部を備えるようにし、また、第1成分抽出部105および第2成分抽出部106に供給する管理情報である、抽出アルゴリズム判別情報、およびその補助情報である抽出補助情報を、信号の再構成処理を繰り返すごとに異なる情報が供給されるようにし、より確からしい信号成分から順番に信号の再構成していくように信号成分を抽出する際の周波数通過帯域を制御するように、管理情報を設定することで、意図しない位置からの画像信号成分を超解像処理に利用することを抑制し、本来あるべき画像の特徴に近い画像を生成することができる。
例えば、周波数通過帯域が、初めのうちは図3(c)のような低い周波数成分を通過させるような帯域となるような補助情報が供給され、低い周波数成分を含む抽出成分情報が生成されるようにする。その後、探索においては、特徴量として領域に含まれる信号の周波数成分の直流成分を求め、更に処理対象となる領域と、周辺領域との間での変化量を求め、この変化量に基づいて探索処理をすることで、位置情報を生成する。その後、位置合わせ合成処理および帯域抑制処理をすることで信号の再構成処理を行い、これらの一連の処理を繰り返すことで、より本来の信号に含まれる信号成分に近づいた、再構成後の低い周波数成分を含む抽出成分情報を確定させる。そして、順次、周波数通過帯域を、より高い周波数成分を通過させるような帯域となるような補助情報が供給されるようにし、同様の処理を繰り返すことで、抽出成分情報を少しずつ確定させていき、最終的に本来あるべき画像の特徴に近い画像に近づけていくように処理を制御していくように構成すると良い。
ここでは、一例として、低い周波数成分から順番に信号を確定させていくような動作となるように制御できるような構成について述べたが、他の異なる周波数通過帯域で順次、抽出成分情報を確定させていき、最終的に本来あるべき画像の特徴に近い画像に近づけていくように処理を制御していくように構成しても構わない。
また、初回の基準信号を、例えば類似成分特定部109内の第3の探索部が、現在処理対象となっている信号を、現在処理対象となっている領域とは異なる領域に含まれる信号から生成して置き換え、初期の基準信号を生成するように構成することで、仮に最初に抽出された抽出成分情報の品質が十分でないような場合であっても、意図しない位置からの信号成分の混入を抑制し、その後の再構成に与える影響を軽減することで、本来あるべき画像の特徴に近い画像を生成することができるようになる。
(実施の形態12)
なお、上記実施の形態1〜11では、信号処理装置100をブロック図により図示してハードウェアにより構成したものとして説明したが、これらに限らず、コンピュータである情報処理装置を構成するようにしても良い。例えば、CPU(Central Processing Unit)に代表される中央処理制御装置と、記録媒体や通信装置を介して、例えばメモリに代表される一時記憶装置や、例えばHDD(Hard Disc Drive)に代表される外部記憶装置に格納された信号処理プログラムにより、上記実施の形態1〜9の機能をソフトウェア処理により達成するようにしても勿論よい。また、実施の形態に係る信号処理装置100および信号処理方法の適用される範囲は、信号を取得、および供給する際において、信号を再構成するような装置、方法、プログラム、システム等であれば、特に限定されるものではない。例えば、TVに代表される放送装置のプリ処理およびポスト処理、携帯電話、テレビ会議装置、監視装置における、画像の高画質化処理、DVD(Digital Versatile Disc)−R/RWやBD(Blu-ray Disc;登録商標)−R/RW、HDD、SD、ホログラフィックメモリなどの追記および書き換え可能な記録媒体を利用した録画再生装置、およびディジタルカメラやカムコーダといった撮像記録再生装置、オーサリングなどの記録編集装置、動画像の配信装置などにおける記録、再生時の高画質化処理に適用することができる。また、画像や動画像、音楽等の符号化および復号をする際の、プリ処理およびポスト処理や、符号化処理および復号処理における、局部復号後の信号や、参照信号、および予測信号を生成する際の信号の改善処理、復元処理に適用することができる。更に、画像や動画像、音楽等の蓄積装置、配信装置、受信装置および転送装置における、通信時のエラー耐性処理等にも適用することが可能である。
実施の形態に係る信号処理装置100、信号処理方法および信号処理プログラムは、例えば、画像や音声を記録・再生・表示・伝送する、TV等のモニタ、ディジタルカメラ、カムコーダ、レコーダ、監視装置、編集装置、動画像配信サーバ、などに利用することができる。
以上の画像処理は、ハードウェアを用いた蓄積、受信装置として実現することができるのは勿論のこと、ROM(リード・オンリ・メモリ)やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。