JP4870120B2 - 動画像階層符号化装置、動画像階層符号化方法、動画像階層符号化プログラム、動画像階層復号化装置、動画像階層復号化方法、および動画像階層復号化プログラム - Google Patents
動画像階層符号化装置、動画像階層符号化方法、動画像階層符号化プログラム、動画像階層復号化装置、動画像階層復号化方法、および動画像階層復号化プログラム Download PDFInfo
- Publication number
- JP4870120B2 JP4870120B2 JP2008129269A JP2008129269A JP4870120B2 JP 4870120 B2 JP4870120 B2 JP 4870120B2 JP 2008129269 A JP2008129269 A JP 2008129269A JP 2008129269 A JP2008129269 A JP 2008129269A JP 4870120 B2 JP4870120 B2 JP 4870120B2
- Authority
- JP
- Japan
- Prior art keywords
- resolution
- signal
- amplitude
- image signal
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
本発明は、入力動画像信号を解像度の異なる複数の階層毎に符号化し、少なくとも低解像度画像信号と高解像度画像信号の異なる解像度の画像信号を複数生成する動画像階層符号化装置、動画像階層符号化方法、動画像階層符号化プログラムと、少なくとも低解像度符号化データと高解像度符号化データとが多重化された多重化ビットストリームから少なくとも前記低解像度符号化データと前記高解像度符号化データとを復号して少なくとも低解像度画像信号と高解像度画像信号とを生成する動画像階層復号化装置、動画像階層復号化方法、および動画像階層復号化プログラムに関する。
映像の空間解像度スケーラビリティを実現する動画像階層符号化装置及び動画像階層復号装置として、例えば、ベースレイヤ（基底レイヤもしくは注目している基準レイヤ）のとエンハンスメントレイヤ（拡張レイヤ）の２層の階層符号化装置において、ベースレイヤの復号信号を空間的にインターポレーション（補間）してエンハンスメントレイヤの空間解像度にした信号と、エンハンスメントレイヤの映像信号との間で相関を利用した予測を行い、その予測誤差信号を符号化して符号化ビットストリームを復号装置へ伝送し、復号装置ではその符号化ビットストリームを復号するものがある（例えば、特許文献１参照。）。
特開平７−１６２８７０号公報
ところで、ベースレイヤローカルデコード（局所復号）信号に対してインターポレーション（空間的拡大）を行い、その結果をエンハンスメントレイヤ符号化の予測信号に用いる場合、拡張レイヤに入力される映像の原信号と、基準レイヤの信号との間の相関性を利用するため、基準レイヤの局所復号信号と、拡張レイヤに入力される映像の原信号との相関をより高くすることができれば、符号化効率を向上させることが可能となる。
しかし、上記特許文献1の従来技術では、単純な空間的拡大によって基準レイヤの局所復号から予測信号を生成するため、対象となるレイヤの原信号に近づけるような予測信号が必ずしも十分得られない、という問題があった。
そこで、本発明は、階層符号化における階層間の予測効率の向上を図ることができる動画像階層符号化装置、動画像階層符号化方法、動画像階層符号化プログラムを提供すること、およびかかる符号化装置、符号化方法および符号化プログラムにより符号化された映像信号を正しく復号することができる動画像階層復号化装置、動画像階層復号化方法、および動画像階層復号化プログラムを提供することを目的とする。
そこで、上記課題を解決するために本発明は、以下の装置、方法、プログラムを提供するものである。
（１）入力動画像信号を解像度の異なる複数の階層毎に符号化し、少なくとも低解像度画像信号と高解像度画像信号の異なる解像度の画像信号を生成する動画像階層符号化装置であって、
前記入力動画像信号に対して空間的縮小処理を行い、前記入力動画像信号より解像度の低い低解像度画像信号を出力する、空間デシメーション部と、
前記低解像度画像信号を符号化して低解像度符号化データを出力する、低解像度符号化部と、
前記低解像度符号化データを復号した低解像度復号信号を生成する、低解像度復号化部と、
前記低解像度復号信号を空間的に拡大し、前記高解像度画像信号と同じ解像度の拡大復号画像信号を生成する、第１の空間インターポレーション部と、
前記復号信号に対し前記空間デシメーション部における空間的縮小処理により消失した高周波成分の推定拡大処理を行い、空間高周波成分推定拡大信号を生成する、空間高周波成分推定拡大部と、
前記拡大復号画像信号に前記空間高周波成分推定拡大信号を加算した信号を予測画像信号として使用して、前記高解像度画像信号を予測符号化し、高解像度符号化データを出力する、高解像度符号化部と、
を有し、
前記空間高周波成分推定拡大部は、
前記低解像度復号化部からの前記低解像度復号信号に対しハイパスフィルタリング処理を施し、低解像度高周波数成分ピクチャを出力する第１のハイパスフィルタリング部と、
前記低解像度高周波数成分ピクチャを空間的に拡大し、前記高解像度画像信号と同じ解像度の拡大復号画像信号を生成する、第２の空間インターポレーション部と、
前記拡大復号画像信号に対し閾値処理を行い、信号振幅が抑制された拡大ラプラシアン成分ピクチャを生成すると共に、信号振幅が抑制された拡大ラプラシアン成分ピクチャに対し信号振幅の定数倍処理を行って、信号振幅が定数倍された拡大ラプラシアン成分ピクチャを生成する、振幅制限・定数倍処理部と
前記拡大ラプラシアン成分ピクチャに対しハイパスフィルタリング処理を施し、高解像度高周波数成分ピクチャをレイヤ間予測ピクチャとして前記高解像度符号化部に送る第２のハイパスフィルタリング部と、
を有し、
前記振幅制限・定数倍処理部は、
外部からの分割合成制御指令に基づいて、前記第２の空間インターポレーション部からの前記拡大復号画像信号を所定の分割方法および分割数に基づいて分割処理を行うための分割制御情報と、所定の分割方法および分割数によって分割処理された拡大ラプラシアン成分ピクチャに対し、所定の合成方法および合成数に基づいて合成処理を行うための合成制御情報とを特定するラプラシアン成分分離合成制御器と、
前記分割制御情報に基づいて、前記第２の空間インターポレーション部からの前記拡大復号画像信号を分割するラプラシアン成分分離器と、
前記ラプラシアン成分分離器によって分割された前記拡大復号画像信号それぞれに対し、信号振幅を抑制するための閾値である所定のパラメータに基づいてそれぞれ振幅制限を行い、各パラメータによって信号振幅が抑制された拡大ラプラシアン成分ピクチャを生成する複数の振幅制御器と、
前記複数の振幅制御器によって信号振幅が抑制された拡大ラプラシアン成分ピクチャそれぞれに対し、定数倍処理により信号振幅の拡大・縮小を行うための閾値である所定のパラメータに基づいてそれぞれ信号振幅の定数倍処理により信号振幅の拡大・縮小を行い、信号振幅が定数倍された拡大ラプラシアン成分ピクチャを生成する複数の定数倍器と、
を有する動画像階層符号化装置。
（２）入力動画像信号を解像度の異なる複数の階層毎に符号化し、少なくとも低解像度画像信号と高解像度画像信号の異なる解像度の画像信号を生成する動画像階層符号化方法であって、
前記入力動画像信号に対して空間的縮小処理を行い、前記入力動画像信号より解像度の低い低解像度画像信号を出力する空間デシメーションステップと、
前記低解像度画像信号を符号化して低解像度符号化データを出力するステップと、
前記低解像度符号化データを復号した低解像度復号信号を生成する低解像度復号化ステップと、
前記低解像度復号信号を空間的に拡大し、前記高解像度画像信号と同じ解像度の拡大復号画像信号を生成する第１の空間インターポレーションステップと、
前記復号信号に対し前記空間デシメーションステップにおける空間的縮小処理により消失した高周波成分の推定拡大処理を行い、空間高周波成分推定拡大信号を生成する空間高周波成分推定拡大ステップと、
前記拡大復号画像信号に前記空間高周波成分推定拡大信号を加算した信号を予測画像信号として使用して、前記高解像度画像信号を予測符号化し、高解像度符号化データを出力する高解像度符号化ステップと、
を含み、
前記空間高周波成分推定拡大ステップは、
前記低解像度復号化ステップからの前記低解像度復号信号に対しハイパスフィルタリング処理を施し、低解像度高周波数成分ピクチャを出力する第１のハイパスフィルタリングステップと、
前記低解像度高周波数成分ピクチャを空間的に拡大し、前記高解像度画像信号と同じ解像度の拡大復号画像信号を生成する、第２の空間インターポレーションステップと、
前記拡大復号画像信号に対し閾値処理を行い、信号振幅が抑制された拡大ラプラシアン成分ピクチャを生成すると共に、信号振幅が抑制された拡大ラプラシアン成分ピクチャに対し信号振幅の定数倍処理を行って、信号振幅が定数倍された拡大ラプラシアン成分ピクチャを生成する、振幅制限・定数倍処理ステップと、
前記拡大ラプラシアン成分ピクチャに対しハイパスフィルタリング処理を施し、高解像度高周波数成分ピクチャをレイヤ間予測ピクチャとして前記高解像度符号化ステップに送る第２のハイパスフィルタリングステップと、
を含み、
前記振幅制限・定数倍処理ステップは、
外部からの分割合成制御指令に基づいて、前記第２の空間インターポレーションステップからの前記拡大復号画像信号を所定の分割方法および分割数に基づいて分割処理を行うための分割制御情報と、所定の分割方法および分割数によって分割処理された拡大ラプラシアン成分ピクチャに対し、所定の合成方法および合成数に基づいて合成処理を行うための合成制御情報とを特定するステップと、
前記分割制御情報に基づいて、前記第２の空間インターポレーションステップからの前記拡大復号画像信号を分割するラプラシアン成分分離ステップと、
前記ラプラシアン成分分離ステップによって分割された前記拡大復号画像信号それぞれに対し、信号振幅を抑制するための閾値である所定のパラメータに基づいてそれぞれ振幅制限を行い、各パラメータによって信号振幅が抑制された拡大ラプラシアン成分ピクチャを生成する振幅制御ステップと、
前記振幅制御ステップによって信号振幅が抑制された拡大ラプラシアン成分ピクチャそれぞれに対し、定数倍処理により信号振幅の拡大・縮小を行うための閾値である所定のパラメータに基づいてそれぞれ信号振幅の定数倍処理により信号振幅の拡大・縮小を行い、信号振幅が定数倍された拡大ラプラシアン成分ピクチャを生成するステップと、
を含む動画像階層符号化方法。
（３）コンピュータに、入力動画像信号を解像度の異なる複数の階層毎に符号化し、少なくとも低解像度画像信号と高解像度画像信号の異なる解像度の画像信号を生成する機能を実現させる動画像階層符号化プログラムであって、
前記入力動画像信号に対して空間的縮小処理を行い、前記入力動画像信号より解像度の低い低解像度画像信号を出力する空間デシメーション機能と、
前記低解像度画像信号を符号化して低解像度符号化データを出力する機能と、
前記低解像度符号化データを復号した低解像度復号信号を生成する低解像度復号化機能と、
前記低解像度復号信号を空間的に拡大し、前記高解像度画像信号と同じ解像度の拡大復号画像信号を生成する第１の空間インターポレーション機能と、
前記復号信号に対し前記空間デシメーション機能における空間的縮小処理により消失した高周波成分の推定拡大処理を行い、空間高周波成分推定拡大信号を生成する空間高周波成分推定拡大機能と、
前記拡大復号画像信号に前記空間高周波成分推定拡大信号を加算した信号を予測画像信号として使用して、前記高解像度画像信号を予測符号化し、高解像度符号化データを出力する高解像度符号化機能と、
をコンピュータに実現させ、
前記空間高周波成分推定拡大機能は、
前記低解像度復号化機能からの前記低解像度復号信号に対しハイパスフィルタリング処理を施し、低解像度高周波数成分ピクチャを出力する第１のハイパスフィルタリング機能と、
前記低解像度高周波数成分ピクチャを空間的に拡大し、前記高解像度画像信号と同じ解像度の拡大復号画像信号を生成する第２の空間インターポレーション機能と、
前記拡大復号画像信号に対し閾値処理を行い、信号振幅が抑制された拡大ラプラシアン成分ピクチャを生成すると共に、信号振幅が抑制された拡大ラプラシアン成分ピクチャに対し信号振幅の定数倍処理を行って、信号振幅が定数倍された拡大ラプラシアン成分ピクチャを生成する、振幅制限・定数倍処理機能と
前記拡大ラプラシアン成分ピクチャに対しハイパスフィルタリング処理を施し、高解像度高周波数成分ピクチャをレイヤ間予測ピクチャとして前記高解像度符号化機能に送る第２のハイパスフィルタリング機能と、
を含み、
前記振幅制限・定数倍処理機能は、
外部からの分割合成制御指令に基づいて、前記第２の空間インターポレーション機能からの前記拡大復号画像信号を所定の分割方法および分割数に基づいて分割処理を行うための分割制御情報と、所定の分割方法および分割数によって分割処理された拡大ラプラシアン成分ピクチャに対し、所定の合成方法および合成数に基づいて合成処理を行うための合成制御情報とを特定する機能と、
前記分割制御情報に基づいて、前記第２の空間インターポレーション機能からの前記拡大復号画像信号を分割するラプラシアン成分分離機能と、
前記ラプラシアン成分分離機能によって分割された前記拡大復号画像信号それぞれに対し、信号振幅を抑制するための閾値である所定のパラメータに基づいてそれぞれ振幅制限を行い、各パラメータによって信号振幅が抑制された拡大ラプラシアン成分ピクチャを生成する振幅制御機能と、
前記振幅制御機能によって信号振幅が抑制された拡大ラプラシアン成分ピクチャそれぞれに対し、定数倍処理により信号振幅の拡大・縮小を行うための閾値である所定のパラメータに基づいてそれぞれ信号振幅の定数倍処理により信号振幅の拡大・縮小を行い、信号振幅が定数倍された拡大ラプラシアン成分ピクチャを生成する機能と、
を含む動画像階層符号化プログラム。
（４）少なくとも低解像度符号化データと高解像度符号化データとが多重化された多重化ビットストリームから少なくとも前記低解像度符号化データと前記高解像度符号化データとを復号して少なくとも低解像度画像信号と高解像度画像信号とを生成する動画像階層復号化装置であって、
前記多重化ビットストリームより少なくとも前記低解像度符号化データと前記高解像度符号化データとを分離する、多重分離部と、
分離された前記低解像度符号化データを復号し、前記低解像度復号画像信号を生成する、低解像度復号化部と、
前記低解像度復号画像信号を空間的に拡大し、拡大復号画像信号を生成する、第１の空間インターポレーション部と、
前記低解像度復号画像信号に対し、高周波成分の推定拡大処理を行い、空間高周波成分推定拡大信号を生成する、空間高周波成分推定拡大部と、
前記拡大復号画像信号に前記空間高周波成分推定拡大信号を加算した信号を予測画像信号として使用して前記高解像度画像信号に加算し、前記予測画像信を加算した前記高解像度画像信号を復号して、高解像度化映像信号を出力する、高解像度復号化部と、
を有し、
前記空間高周波成分推定拡大部は、
前記低解像度復号化部からの前記低解像度復号信号に対しハイパスフィルタリング処理を施し、低解像度高周波数成分ピクチャを出力する第１のハイパスフィルタリング部と、
前記低解像度高周波数成分ピクチャを空間的に拡大し、前記高解像度画像信号と同じ解像度の拡大復号画像信号を生成する、第２の空間インターポレーション部と、
前記拡大復号画像信号に対し閾値処理を行い、信号振幅が抑制された拡大ラプラシアン成分ピクチャを生成すると共に、信号振幅が抑制された拡大ラプラシアン成分ピクチャに対し信号振幅の定数倍処理を行って、信号振幅が定数倍された拡大ラプラシアン成分ピクチャを生成する、振幅制限・定数倍処理部と、
前記拡大ラプラシアン成分ピクチャに対しハイパスフィルタリング処理を施し、高解像度高周波数成分ピクチャをレイヤ間予測ピクチャとして前記高解像度符号化部に送る第２のハイパスフィルタリング部と、
を有し、
前記振幅制限・定数倍処理部は、
外部からの分割合成制御指令に基づいて、前記第２の空間インターポレーション部からの前記拡大復号画像信号を所定の分割方法および分割数に基づいて分割処理を行うための分割制御情報と、所定の分割方法および分割数によって分割処理された拡大ラプラシアン成分ピクチャに対し、所定の合成方法および合成数に基づいて合成処理を行うための合成制御情報とを特定するラプラシアン成分分離合成制御器と、
前記分割制御情報に基づいて、前記第２の空間インターポレーション部からの前記拡大復号画像信号を分割するラプラシアン成分分離器と、
前記ラプラシアン成分分離器によって分割された前記拡大復号画像信号それぞれに対し、信号振幅を抑制するための閾値である所定のパラメータに基づいてそれぞれ振幅制限を行い、各パラメータによって信号振幅が抑制された拡大ラプラシアン成分ピクチャを生成する複数の振幅制御器と、
前記複数の振幅制御器によって信号振幅が抑制された拡大ラプラシアン成分ピクチャそれぞれに対し、定数倍処理により信号振幅の拡大・縮小を行うための閾値である所定のパラメータに基づいてそれぞれ信号振幅の定数倍処理により信号振幅の拡大・縮小を行い、信号振幅が定数倍された拡大ラプラシアン成分ピクチャを生成する複数の定数倍器と、
を有する動画像階層復号化装置。
（５）少なくとも低解像度符号化データと高解像度符号化データとが多重化された多重化ビットストリームから少なくとも前記低解像度符号化データと前記高解像度符号化データとを復号して少なくとも低解像度画像信号と高解像度画像信号とを生成する動画像階層復号化方法であって、
前記多重化ビットストリームより少なくとも前記低解像度符号化データと前記高解像度符号化データとを分離するステップと、
分離された前記低解像度符号化データを復号し、前記低解像度復号画像信号を生成する低解像度復号化ステップと、
前記低解像度復号画像信号を空間的に拡大し、拡大復号画像信号を生成する第１の空間インターポレーションステップと、
前記低解像度復号画像信号に対し、高周波成分の推定拡大処理を行い、空間高周波成分推定拡大信号を生成する空間高周波成分推定拡大ステップと、
前記拡大復号画像信号に前記空間高周波成分推定拡大信号を加算した信号を予測画像信号として使用して前記高解像度画像信号に加算し、前記予測画像信を加算した前記高解像度画像信号を復号して、高解像度化映像信号を出力する高解像度復号化ステップと、
を含み、
前記空間高周波成分推定拡大ステップは、
前記低解像度復号化ステップからの前記低解像度復号信号に対しハイパスフィルタリング処理を施し、低解像度高周波数成分ピクチャを出力する第１のハイパスフィルタリングステップと、
前記低解像度高周波数成分ピクチャを空間的に拡大し、前記高解像度画像信号と同じ解像度の拡大復号画像信号を生成する、第２の空間インターポレーションステップと、
前記拡大復号画像信号に対し閾値処理を行い、信号振幅が抑制された拡大ラプラシアン成分ピクチャを生成すると共に、信号振幅が抑制された拡大ラプラシアン成分ピクチャに対し信号振幅の定数倍処理を行って、信号振幅が定数倍された拡大ラプラシアン成分ピクチャを生成する、振幅制限・定数倍処理ステップと
前記拡大ラプラシアン成分ピクチャに対しハイパスフィルタリング処理を施し、高解像度高周波数成分ピクチャをレイヤ間予測ピクチャとして前記高解像度符号化ステップに送る第２のハイパスフィルタリングステップと、
を含み、
前記振幅制限・定数倍処理ステップは、
外部からの分割合成制御指令に基づいて、前記第２の空間インターポレーションステップからの前記拡大復号画像信号を所定の分割方法および分割数に基づいて分割処理を行うための分割制御情報と、所定の分割方法および分割数によって分割処理された拡大ラプラシアン成分ピクチャに対し、所定の合成方法および合成数に基づいて合成処理を行うための合成制御情報とを特定するステップと、
前記分割制御情報に基づいて、前記第２の空間インターポレーション部からの前記拡大復号画像信号を分割するラプラシアン成分分離ステップと、
前記ラプラシアン成分分離ステップによって分割された前記拡大復号画像信号それぞれに対し、信号振幅を抑制するための閾値である所定のパラメータに基づいてそれぞれ振幅制限を行い、各パラメータによって信号振幅が抑制された拡大ラプラシアン成分ピクチャを生成する振幅制御ステップと、
前記振幅制御ステップによって信号振幅が抑制された拡大ラプラシアン成分ピクチャそれぞれに対し、定数倍処理により信号振幅の拡大・縮小を行うための閾値である所定のパラメータに基づいてそれぞれ信号振幅の定数倍処理により信号振幅の拡大・縮小を行い、信号振幅が定数倍された拡大ラプラシアン成分ピクチャを生成するステップと、
を含む動画像階層復号化方法。
（６）コンピュータに、少なくとも低解像度符号化データと高解像度符号化データとが多重化された多重化ビットストリームから少なくとも前記低解像度符号化データと前記高解像度符号化データとを復号して低解像度画像信号と高解像度画像信号とを生成する機能を実現させる動画像階層復号化プログラムであって、
前記多重化ビットストリームより少なくとも前記低解像度符号化データと前記高解像度符号化データとを分離する機能と、
分離された前記低解像度符号化データを復号し、前記低解像度復号画像信号を生成する低解像度復号化機能と、
前記低解像度復号画像信号を空間的に拡大し、拡大復号画像信号を生成する第１の空間インターポレーション機能と、
前記低解像度復号画像信号に対し、高周波成分の推定拡大処理を行い、空間高周波成分推定拡大信号を生成する空間高周波成分推定拡大機能と、
前記拡大復号画像信号に前記空間高周波成分推定拡大信号を加算した信号を予測画像信号として使用して前記高解像度画像信号に加算し、前記予測画像信を加算した前記高解像度画像信号を復号して、高解像度化映像信号を出力する高解像度復号化機能と、
をコンピュータに実現させ、
前記空間高周波成分推定拡大機能は、
前記低解像度復号化機能からの前記低解像度復号信号に対しハイパスフィルタリング処理を施し、低解像度高周波数成分ピクチャを出力する第１のハイパスフィルタリング機能と、
前記低解像度高周波数成分ピクチャを空間的に拡大し、前記高解像度画像信号と同じ解像度の拡大復号画像信号を生成する第２の空間インターポレーション機能と、
前記拡大復号画像信号に対し閾値処理を行い、信号振幅が抑制された拡大ラプラシアン成分ピクチャを生成すると共に、信号振幅が抑制された拡大ラプラシアン成分ピクチャに対し信号振幅の定数倍処理を行って、信号振幅が定数倍された拡大ラプラシアン成分ピクチャを生成する、振幅制限・定数倍処理機能と
前記拡大ラプラシアン成分ピクチャに対しハイパスフィルタリング処理を施し、高解像度高周波数成分ピクチャをレイヤ間予測ピクチャとして前記高解像度符号化機能に送る第２のハイパスフィルタリング機能と、
を含み、
前記振幅制限・定数倍処理機能は、
外部からの分割合成制御指令に基づいて、前記第２の空間インターポレーション機能からの前記拡大復号画像信号を所定の分割方法および分割数に基づいて分割処理を行うための分割制御情報と、所定の分割方法および分割数によって分割処理された拡大ラプラシアン成分ピクチャに対し、所定の合成方法および合成数に基づいて合成処理を行うための合成制御情報とを特定する機能と、
前記分割制御情報に基づいて、前記第２の空間インターポレーション部からの前記拡大復号画像信号を分割するラプラシアン成分分離機能と、
前記ラプラシアン成分分離機能によって分割された前記拡大復号画像信号それぞれに対し、信号振幅を抑制するための閾値である所定のパラメータに基づいてそれぞれ振幅制限を行い、各パラメータによって信号振幅が抑制された拡大ラプラシアン成分ピクチャを生成する振幅制御機能と、
前記振幅制御機能によって信号振幅が抑制された拡大ラプラシアン成分ピクチャそれぞれに対し、定数倍処理により信号振幅の拡大・縮小を行うための閾値である所定のパラメータに基づいてそれぞれ信号振幅の定数倍処理により信号振幅の拡大・縮小を行い、信号振幅が定数倍された拡大ラプラシアン成分ピクチャを生成する機能と、
を含む動画像階層復号化プログラム。
（１）入力動画像信号を解像度の異なる複数の階層毎に符号化し、少なくとも低解像度画像信号と高解像度画像信号の異なる解像度の画像信号を生成する動画像階層符号化装置であって、
前記入力動画像信号に対して空間的縮小処理を行い、前記入力動画像信号より解像度の低い低解像度画像信号を出力する、空間デシメーション部と、
前記低解像度画像信号を符号化して低解像度符号化データを出力する、低解像度符号化部と、
前記低解像度符号化データを復号した低解像度復号信号を生成する、低解像度復号化部と、
前記低解像度復号信号を空間的に拡大し、前記高解像度画像信号と同じ解像度の拡大復号画像信号を生成する、第１の空間インターポレーション部と、
前記復号信号に対し前記空間デシメーション部における空間的縮小処理により消失した高周波成分の推定拡大処理を行い、空間高周波成分推定拡大信号を生成する、空間高周波成分推定拡大部と、
前記拡大復号画像信号に前記空間高周波成分推定拡大信号を加算した信号を予測画像信号として使用して、前記高解像度画像信号を予測符号化し、高解像度符号化データを出力する、高解像度符号化部と、
を有し、
前記空間高周波成分推定拡大部は、
前記低解像度復号化部からの前記低解像度復号信号に対しハイパスフィルタリング処理を施し、低解像度高周波数成分ピクチャを出力する第１のハイパスフィルタリング部と、
前記低解像度高周波数成分ピクチャを空間的に拡大し、前記高解像度画像信号と同じ解像度の拡大復号画像信号を生成する、第２の空間インターポレーション部と、
前記拡大復号画像信号に対し閾値処理を行い、信号振幅が抑制された拡大ラプラシアン成分ピクチャを生成すると共に、信号振幅が抑制された拡大ラプラシアン成分ピクチャに対し信号振幅の定数倍処理を行って、信号振幅が定数倍された拡大ラプラシアン成分ピクチャを生成する、振幅制限・定数倍処理部と
前記拡大ラプラシアン成分ピクチャに対しハイパスフィルタリング処理を施し、高解像度高周波数成分ピクチャをレイヤ間予測ピクチャとして前記高解像度符号化部に送る第２のハイパスフィルタリング部と、
を有し、
前記振幅制限・定数倍処理部は、
外部からの分割合成制御指令に基づいて、前記第２の空間インターポレーション部からの前記拡大復号画像信号を所定の分割方法および分割数に基づいて分割処理を行うための分割制御情報と、所定の分割方法および分割数によって分割処理された拡大ラプラシアン成分ピクチャに対し、所定の合成方法および合成数に基づいて合成処理を行うための合成制御情報とを特定するラプラシアン成分分離合成制御器と、
前記分割制御情報に基づいて、前記第２の空間インターポレーション部からの前記拡大復号画像信号を分割するラプラシアン成分分離器と、
前記ラプラシアン成分分離器によって分割された前記拡大復号画像信号それぞれに対し、信号振幅を抑制するための閾値である所定のパラメータに基づいてそれぞれ振幅制限を行い、各パラメータによって信号振幅が抑制された拡大ラプラシアン成分ピクチャを生成する複数の振幅制御器と、
前記複数の振幅制御器によって信号振幅が抑制された拡大ラプラシアン成分ピクチャそれぞれに対し、定数倍処理により信号振幅の拡大・縮小を行うための閾値である所定のパラメータに基づいてそれぞれ信号振幅の定数倍処理により信号振幅の拡大・縮小を行い、信号振幅が定数倍された拡大ラプラシアン成分ピクチャを生成する複数の定数倍器と、
を有する動画像階層符号化装置。
（２）入力動画像信号を解像度の異なる複数の階層毎に符号化し、少なくとも低解像度画像信号と高解像度画像信号の異なる解像度の画像信号を生成する動画像階層符号化方法であって、
前記入力動画像信号に対して空間的縮小処理を行い、前記入力動画像信号より解像度の低い低解像度画像信号を出力する空間デシメーションステップと、
前記低解像度画像信号を符号化して低解像度符号化データを出力するステップと、
前記低解像度符号化データを復号した低解像度復号信号を生成する低解像度復号化ステップと、
前記低解像度復号信号を空間的に拡大し、前記高解像度画像信号と同じ解像度の拡大復号画像信号を生成する第１の空間インターポレーションステップと、
前記復号信号に対し前記空間デシメーションステップにおける空間的縮小処理により消失した高周波成分の推定拡大処理を行い、空間高周波成分推定拡大信号を生成する空間高周波成分推定拡大ステップと、
前記拡大復号画像信号に前記空間高周波成分推定拡大信号を加算した信号を予測画像信号として使用して、前記高解像度画像信号を予測符号化し、高解像度符号化データを出力する高解像度符号化ステップと、
を含み、
前記空間高周波成分推定拡大ステップは、
前記低解像度復号化ステップからの前記低解像度復号信号に対しハイパスフィルタリング処理を施し、低解像度高周波数成分ピクチャを出力する第１のハイパスフィルタリングステップと、
前記低解像度高周波数成分ピクチャを空間的に拡大し、前記高解像度画像信号と同じ解像度の拡大復号画像信号を生成する、第２の空間インターポレーションステップと、
前記拡大復号画像信号に対し閾値処理を行い、信号振幅が抑制された拡大ラプラシアン成分ピクチャを生成すると共に、信号振幅が抑制された拡大ラプラシアン成分ピクチャに対し信号振幅の定数倍処理を行って、信号振幅が定数倍された拡大ラプラシアン成分ピクチャを生成する、振幅制限・定数倍処理ステップと、
前記拡大ラプラシアン成分ピクチャに対しハイパスフィルタリング処理を施し、高解像度高周波数成分ピクチャをレイヤ間予測ピクチャとして前記高解像度符号化ステップに送る第２のハイパスフィルタリングステップと、
を含み、
前記振幅制限・定数倍処理ステップは、
外部からの分割合成制御指令に基づいて、前記第２の空間インターポレーションステップからの前記拡大復号画像信号を所定の分割方法および分割数に基づいて分割処理を行うための分割制御情報と、所定の分割方法および分割数によって分割処理された拡大ラプラシアン成分ピクチャに対し、所定の合成方法および合成数に基づいて合成処理を行うための合成制御情報とを特定するステップと、
前記分割制御情報に基づいて、前記第２の空間インターポレーションステップからの前記拡大復号画像信号を分割するラプラシアン成分分離ステップと、
前記ラプラシアン成分分離ステップによって分割された前記拡大復号画像信号それぞれに対し、信号振幅を抑制するための閾値である所定のパラメータに基づいてそれぞれ振幅制限を行い、各パラメータによって信号振幅が抑制された拡大ラプラシアン成分ピクチャを生成する振幅制御ステップと、
前記振幅制御ステップによって信号振幅が抑制された拡大ラプラシアン成分ピクチャそれぞれに対し、定数倍処理により信号振幅の拡大・縮小を行うための閾値である所定のパラメータに基づいてそれぞれ信号振幅の定数倍処理により信号振幅の拡大・縮小を行い、信号振幅が定数倍された拡大ラプラシアン成分ピクチャを生成するステップと、
を含む動画像階層符号化方法。
（３）コンピュータに、入力動画像信号を解像度の異なる複数の階層毎に符号化し、少なくとも低解像度画像信号と高解像度画像信号の異なる解像度の画像信号を生成する機能を実現させる動画像階層符号化プログラムであって、
前記入力動画像信号に対して空間的縮小処理を行い、前記入力動画像信号より解像度の低い低解像度画像信号を出力する空間デシメーション機能と、
前記低解像度画像信号を符号化して低解像度符号化データを出力する機能と、
前記低解像度符号化データを復号した低解像度復号信号を生成する低解像度復号化機能と、
前記低解像度復号信号を空間的に拡大し、前記高解像度画像信号と同じ解像度の拡大復号画像信号を生成する第１の空間インターポレーション機能と、
前記復号信号に対し前記空間デシメーション機能における空間的縮小処理により消失した高周波成分の推定拡大処理を行い、空間高周波成分推定拡大信号を生成する空間高周波成分推定拡大機能と、
前記拡大復号画像信号に前記空間高周波成分推定拡大信号を加算した信号を予測画像信号として使用して、前記高解像度画像信号を予測符号化し、高解像度符号化データを出力する高解像度符号化機能と、
をコンピュータに実現させ、
前記空間高周波成分推定拡大機能は、
前記低解像度復号化機能からの前記低解像度復号信号に対しハイパスフィルタリング処理を施し、低解像度高周波数成分ピクチャを出力する第１のハイパスフィルタリング機能と、
前記低解像度高周波数成分ピクチャを空間的に拡大し、前記高解像度画像信号と同じ解像度の拡大復号画像信号を生成する第２の空間インターポレーション機能と、
前記拡大復号画像信号に対し閾値処理を行い、信号振幅が抑制された拡大ラプラシアン成分ピクチャを生成すると共に、信号振幅が抑制された拡大ラプラシアン成分ピクチャに対し信号振幅の定数倍処理を行って、信号振幅が定数倍された拡大ラプラシアン成分ピクチャを生成する、振幅制限・定数倍処理機能と
前記拡大ラプラシアン成分ピクチャに対しハイパスフィルタリング処理を施し、高解像度高周波数成分ピクチャをレイヤ間予測ピクチャとして前記高解像度符号化機能に送る第２のハイパスフィルタリング機能と、
を含み、
前記振幅制限・定数倍処理機能は、
外部からの分割合成制御指令に基づいて、前記第２の空間インターポレーション機能からの前記拡大復号画像信号を所定の分割方法および分割数に基づいて分割処理を行うための分割制御情報と、所定の分割方法および分割数によって分割処理された拡大ラプラシアン成分ピクチャに対し、所定の合成方法および合成数に基づいて合成処理を行うための合成制御情報とを特定する機能と、
前記分割制御情報に基づいて、前記第２の空間インターポレーション機能からの前記拡大復号画像信号を分割するラプラシアン成分分離機能と、
前記ラプラシアン成分分離機能によって分割された前記拡大復号画像信号それぞれに対し、信号振幅を抑制するための閾値である所定のパラメータに基づいてそれぞれ振幅制限を行い、各パラメータによって信号振幅が抑制された拡大ラプラシアン成分ピクチャを生成する振幅制御機能と、
前記振幅制御機能によって信号振幅が抑制された拡大ラプラシアン成分ピクチャそれぞれに対し、定数倍処理により信号振幅の拡大・縮小を行うための閾値である所定のパラメータに基づいてそれぞれ信号振幅の定数倍処理により信号振幅の拡大・縮小を行い、信号振幅が定数倍された拡大ラプラシアン成分ピクチャを生成する機能と、
を含む動画像階層符号化プログラム。
（４）少なくとも低解像度符号化データと高解像度符号化データとが多重化された多重化ビットストリームから少なくとも前記低解像度符号化データと前記高解像度符号化データとを復号して少なくとも低解像度画像信号と高解像度画像信号とを生成する動画像階層復号化装置であって、
前記多重化ビットストリームより少なくとも前記低解像度符号化データと前記高解像度符号化データとを分離する、多重分離部と、
分離された前記低解像度符号化データを復号し、前記低解像度復号画像信号を生成する、低解像度復号化部と、
前記低解像度復号画像信号を空間的に拡大し、拡大復号画像信号を生成する、第１の空間インターポレーション部と、
前記低解像度復号画像信号に対し、高周波成分の推定拡大処理を行い、空間高周波成分推定拡大信号を生成する、空間高周波成分推定拡大部と、
前記拡大復号画像信号に前記空間高周波成分推定拡大信号を加算した信号を予測画像信号として使用して前記高解像度画像信号に加算し、前記予測画像信を加算した前記高解像度画像信号を復号して、高解像度化映像信号を出力する、高解像度復号化部と、
を有し、
前記空間高周波成分推定拡大部は、
前記低解像度復号化部からの前記低解像度復号信号に対しハイパスフィルタリング処理を施し、低解像度高周波数成分ピクチャを出力する第１のハイパスフィルタリング部と、
前記低解像度高周波数成分ピクチャを空間的に拡大し、前記高解像度画像信号と同じ解像度の拡大復号画像信号を生成する、第２の空間インターポレーション部と、
前記拡大復号画像信号に対し閾値処理を行い、信号振幅が抑制された拡大ラプラシアン成分ピクチャを生成すると共に、信号振幅が抑制された拡大ラプラシアン成分ピクチャに対し信号振幅の定数倍処理を行って、信号振幅が定数倍された拡大ラプラシアン成分ピクチャを生成する、振幅制限・定数倍処理部と、
前記拡大ラプラシアン成分ピクチャに対しハイパスフィルタリング処理を施し、高解像度高周波数成分ピクチャをレイヤ間予測ピクチャとして前記高解像度符号化部に送る第２のハイパスフィルタリング部と、
を有し、
前記振幅制限・定数倍処理部は、
外部からの分割合成制御指令に基づいて、前記第２の空間インターポレーション部からの前記拡大復号画像信号を所定の分割方法および分割数に基づいて分割処理を行うための分割制御情報と、所定の分割方法および分割数によって分割処理された拡大ラプラシアン成分ピクチャに対し、所定の合成方法および合成数に基づいて合成処理を行うための合成制御情報とを特定するラプラシアン成分分離合成制御器と、
前記分割制御情報に基づいて、前記第２の空間インターポレーション部からの前記拡大復号画像信号を分割するラプラシアン成分分離器と、
前記ラプラシアン成分分離器によって分割された前記拡大復号画像信号それぞれに対し、信号振幅を抑制するための閾値である所定のパラメータに基づいてそれぞれ振幅制限を行い、各パラメータによって信号振幅が抑制された拡大ラプラシアン成分ピクチャを生成する複数の振幅制御器と、
前記複数の振幅制御器によって信号振幅が抑制された拡大ラプラシアン成分ピクチャそれぞれに対し、定数倍処理により信号振幅の拡大・縮小を行うための閾値である所定のパラメータに基づいてそれぞれ信号振幅の定数倍処理により信号振幅の拡大・縮小を行い、信号振幅が定数倍された拡大ラプラシアン成分ピクチャを生成する複数の定数倍器と、
を有する動画像階層復号化装置。
（５）少なくとも低解像度符号化データと高解像度符号化データとが多重化された多重化ビットストリームから少なくとも前記低解像度符号化データと前記高解像度符号化データとを復号して少なくとも低解像度画像信号と高解像度画像信号とを生成する動画像階層復号化方法であって、
前記多重化ビットストリームより少なくとも前記低解像度符号化データと前記高解像度符号化データとを分離するステップと、
分離された前記低解像度符号化データを復号し、前記低解像度復号画像信号を生成する低解像度復号化ステップと、
前記低解像度復号画像信号を空間的に拡大し、拡大復号画像信号を生成する第１の空間インターポレーションステップと、
前記低解像度復号画像信号に対し、高周波成分の推定拡大処理を行い、空間高周波成分推定拡大信号を生成する空間高周波成分推定拡大ステップと、
前記拡大復号画像信号に前記空間高周波成分推定拡大信号を加算した信号を予測画像信号として使用して前記高解像度画像信号に加算し、前記予測画像信を加算した前記高解像度画像信号を復号して、高解像度化映像信号を出力する高解像度復号化ステップと、
を含み、
前記空間高周波成分推定拡大ステップは、
前記低解像度復号化ステップからの前記低解像度復号信号に対しハイパスフィルタリング処理を施し、低解像度高周波数成分ピクチャを出力する第１のハイパスフィルタリングステップと、
前記低解像度高周波数成分ピクチャを空間的に拡大し、前記高解像度画像信号と同じ解像度の拡大復号画像信号を生成する、第２の空間インターポレーションステップと、
前記拡大復号画像信号に対し閾値処理を行い、信号振幅が抑制された拡大ラプラシアン成分ピクチャを生成すると共に、信号振幅が抑制された拡大ラプラシアン成分ピクチャに対し信号振幅の定数倍処理を行って、信号振幅が定数倍された拡大ラプラシアン成分ピクチャを生成する、振幅制限・定数倍処理ステップと
前記拡大ラプラシアン成分ピクチャに対しハイパスフィルタリング処理を施し、高解像度高周波数成分ピクチャをレイヤ間予測ピクチャとして前記高解像度符号化ステップに送る第２のハイパスフィルタリングステップと、
を含み、
前記振幅制限・定数倍処理ステップは、
外部からの分割合成制御指令に基づいて、前記第２の空間インターポレーションステップからの前記拡大復号画像信号を所定の分割方法および分割数に基づいて分割処理を行うための分割制御情報と、所定の分割方法および分割数によって分割処理された拡大ラプラシアン成分ピクチャに対し、所定の合成方法および合成数に基づいて合成処理を行うための合成制御情報とを特定するステップと、
前記分割制御情報に基づいて、前記第２の空間インターポレーション部からの前記拡大復号画像信号を分割するラプラシアン成分分離ステップと、
前記ラプラシアン成分分離ステップによって分割された前記拡大復号画像信号それぞれに対し、信号振幅を抑制するための閾値である所定のパラメータに基づいてそれぞれ振幅制限を行い、各パラメータによって信号振幅が抑制された拡大ラプラシアン成分ピクチャを生成する振幅制御ステップと、
前記振幅制御ステップによって信号振幅が抑制された拡大ラプラシアン成分ピクチャそれぞれに対し、定数倍処理により信号振幅の拡大・縮小を行うための閾値である所定のパラメータに基づいてそれぞれ信号振幅の定数倍処理により信号振幅の拡大・縮小を行い、信号振幅が定数倍された拡大ラプラシアン成分ピクチャを生成するステップと、
を含む動画像階層復号化方法。
（６）コンピュータに、少なくとも低解像度符号化データと高解像度符号化データとが多重化された多重化ビットストリームから少なくとも前記低解像度符号化データと前記高解像度符号化データとを復号して低解像度画像信号と高解像度画像信号とを生成する機能を実現させる動画像階層復号化プログラムであって、
前記多重化ビットストリームより少なくとも前記低解像度符号化データと前記高解像度符号化データとを分離する機能と、
分離された前記低解像度符号化データを復号し、前記低解像度復号画像信号を生成する低解像度復号化機能と、
前記低解像度復号画像信号を空間的に拡大し、拡大復号画像信号を生成する第１の空間インターポレーション機能と、
前記低解像度復号画像信号に対し、高周波成分の推定拡大処理を行い、空間高周波成分推定拡大信号を生成する空間高周波成分推定拡大機能と、
前記拡大復号画像信号に前記空間高周波成分推定拡大信号を加算した信号を予測画像信号として使用して前記高解像度画像信号に加算し、前記予測画像信を加算した前記高解像度画像信号を復号して、高解像度化映像信号を出力する高解像度復号化機能と、
をコンピュータに実現させ、
前記空間高周波成分推定拡大機能は、
前記低解像度復号化機能からの前記低解像度復号信号に対しハイパスフィルタリング処理を施し、低解像度高周波数成分ピクチャを出力する第１のハイパスフィルタリング機能と、
前記低解像度高周波数成分ピクチャを空間的に拡大し、前記高解像度画像信号と同じ解像度の拡大復号画像信号を生成する第２の空間インターポレーション機能と、
前記拡大復号画像信号に対し閾値処理を行い、信号振幅が抑制された拡大ラプラシアン成分ピクチャを生成すると共に、信号振幅が抑制された拡大ラプラシアン成分ピクチャに対し信号振幅の定数倍処理を行って、信号振幅が定数倍された拡大ラプラシアン成分ピクチャを生成する、振幅制限・定数倍処理機能と
前記拡大ラプラシアン成分ピクチャに対しハイパスフィルタリング処理を施し、高解像度高周波数成分ピクチャをレイヤ間予測ピクチャとして前記高解像度符号化機能に送る第２のハイパスフィルタリング機能と、
を含み、
前記振幅制限・定数倍処理機能は、
外部からの分割合成制御指令に基づいて、前記第２の空間インターポレーション機能からの前記拡大復号画像信号を所定の分割方法および分割数に基づいて分割処理を行うための分割制御情報と、所定の分割方法および分割数によって分割処理された拡大ラプラシアン成分ピクチャに対し、所定の合成方法および合成数に基づいて合成処理を行うための合成制御情報とを特定する機能と、
前記分割制御情報に基づいて、前記第２の空間インターポレーション部からの前記拡大復号画像信号を分割するラプラシアン成分分離機能と、
前記ラプラシアン成分分離機能によって分割された前記拡大復号画像信号それぞれに対し、信号振幅を抑制するための閾値である所定のパラメータに基づいてそれぞれ振幅制限を行い、各パラメータによって信号振幅が抑制された拡大ラプラシアン成分ピクチャを生成する振幅制御機能と、
前記振幅制御機能によって信号振幅が抑制された拡大ラプラシアン成分ピクチャそれぞれに対し、定数倍処理により信号振幅の拡大・縮小を行うための閾値である所定のパラメータに基づいてそれぞれ信号振幅の定数倍処理により信号振幅の拡大・縮小を行い、信号振幅が定数倍された拡大ラプラシアン成分ピクチャを生成する機能と、
を含む動画像階層復号化プログラム。
本発明では、空間的縮小処理および空間的拡大処理の際に用いられるアップサンプル処理、ＬＰＦ処理、ダウンサンプル処理を通じて任意解像度変換が行われる場合であっても、振幅制御器および定数倍制御器を導入することにより、解像度変換の状態に応じてより正しい閾値処理に関するパラメータや、定数倍処理に関するパラメータを設定し、本来必要とするエンハンスメントレイヤの原信号が持つ高解像度ラプラシアン成分に、より近い推定ラプラシアン成分ピクチャを生成することができる。したがって、生成されるレイヤ間予測ピクチャと上位階層のエンハンスメントレイヤで符号化対象となっている原信号との相関性が高まり、高解像度レイヤにおける符号化効率を向上させることができると共に、かかる高解像度レイヤにおける符号化効率を向上させた符号化ストリームでも正しく復号することができる。
特に、本発明では、ラプラシアン成分ピクチャを所定の分割方法により分離することにより、各分割ラプラシアン成分に対して、パラメータを用いて個別に閾値を制御することを可能とし、符号化劣化などの影響により混入した各種のノイズ成分に対し、後段の定数倍処理において不要な成分に対する信号振幅の拡大・縮小を回避するとともに、より重要なラプラシアン成分に対してより正しいラプラシアン成分の傾きに近づけるための前処理を行うことができる。
また、本発明では、ラプラシアン成分ピクチャを所定の分割方法により分離することにより、各分割ラプラシアン成分に対して、パラメータを用いて個別に信号振幅の拡大・縮小を制御することを可能とし、符号化劣化などの影響により混入した各種のノイズ成分に対し、後段の定数倍処理において不要な成分に対する信号振幅の拡大・縮小を抑制し、より重要なラプラシアン成分に対してより正しいラプラシアン成分の傾きに近づけることができる。
特に、本発明では、ラプラシアン成分ピクチャを所定の分割方法により分離することにより、各分割ラプラシアン成分に対して、パラメータを用いて個別に閾値を制御することを可能とし、符号化劣化などの影響により混入した各種のノイズ成分に対し、後段の定数倍処理において不要な成分に対する信号振幅の拡大・縮小を回避するとともに、より重要なラプラシアン成分に対してより正しいラプラシアン成分の傾きに近づけるための前処理を行うことができる。
また、本発明では、ラプラシアン成分ピクチャを所定の分割方法により分離することにより、各分割ラプラシアン成分に対して、パラメータを用いて個別に信号振幅の拡大・縮小を制御することを可能とし、符号化劣化などの影響により混入した各種のノイズ成分に対し、後段の定数倍処理において不要な成分に対する信号振幅の拡大・縮小を抑制し、より重要なラプラシアン成分に対してより正しいラプラシアン成分の傾きに近づけることができる。
実施形態１．
図１に、本発明に係る動画像階層符号化装置と、動画像階層復号化装置の構成例を示す。ここでは、説明を簡単にするために、基本解像度または低解像度であるベースレイヤと、拡張解像度または高解像度であるエンハンスメントレイヤの２つの解像度のレイヤからなる動画像階層符号化装置と、動画像階層復号化装置について説明するが、本発明は、これに限らず、中解像度等の３層以上の複数のレイヤからなる動画像階層符号化装置と、動画像階層復号化装置についても同様の手段を多段に構成することで容易に拡張できることに注意する。
図１に、本発明に係る動画像階層符号化装置と、動画像階層復号化装置の構成例を示す。ここでは、説明を簡単にするために、基本解像度または低解像度であるベースレイヤと、拡張解像度または高解像度であるエンハンスメントレイヤの２つの解像度のレイヤからなる動画像階層符号化装置と、動画像階層復号化装置について説明するが、本発明は、これに限らず、中解像度等の３層以上の複数のレイヤからなる動画像階層符号化装置と、動画像階層復号化装置についても同様の手段を多段に構成することで容易に拡張できることに注意する。
図１において、本実施の形態の動画像階層符号化装置１０１は、空間デシメーション器１０４、ベースレイヤエンコード器１０５、ベースレイヤデコード器１０６、空間インターポレーション器１０７、空間高周波数成分推定拡大器１０８、エンハンスメントレイヤエンコード器１０９、多重化器１１０、加算器１１１を有している。
また、図１において、本発明の動画像階層復号化装置１０３の一実施の形態である動画像階層復号化装置１０３は、ベースレイヤデコード器１１２、空間インターポレーション器１１３、空間高周波数成分推定拡大器１１４およびエンハンスメントレイヤデコード器１１５、エクストラクト器１１６、加算器１１７を有している。
次に動作を説明する。
動画像階層符号化装置１０１には、映像の原信号である高解像度ピクチャの映像信号が入力され、動画像階層符号化装置１０１によって所定の構文構造に基づいて生成された符号化ビットストリームが、通信回線または記録媒体など１０２を介して動画像階層復号化装置１０３に伝送される。動画像階層復号化装置１０３では、供給された符号化ビットストリームから所定の構文構造に基づいて必要な情報を取り出し、表示装置等の性能に合った空間解像度をもつ映像の復号信号である復号ピクチャを出力する。
ところで、動画像階層符号化装置１０１では、空間デシメーション器１０４は、映像の原信号である高解像度ピクチャを入力し、入力した高解像度ピクチャに対して、所定の空間解像度に空間デシメーション、すなわち空間解像度を低くする空間的縮小処理を行い、所定の空間解像度をもつ低解像度ピクチャを生成する。空間的縮小処理には様々な方法が存在するが、本発明および本実施形態では、ラプラシアンピラミッドと同様の関係を利用できるように、後述する空間インターポレーション器１０７および空間高周波数成分推定拡大器１０８で用いる空間的拡大処理で用いるフィルタ処理に対応した方法を用いる。この空間的縮小処理および空間的拡大処理は、任意縮小率、任意拡大率にも対応しており、空間デシメーション器１０４が有する空間的縮小処理の縮小率は、一般に所定の縮小率が設定される。この空間的縮小処理の縮小率は、符号化処理を開始する際に、符号化器の外部からの指示、例えば符号化処理の初期化情報などからの指示に応じて新たな縮小率を設定される。空間デシメーション器１０４は、所定の空間解像度に空間的縮小処理された低解像度ピクチャを、ベースレイヤエンコード器１０５に送る。
ベースレイヤエンコード器１０５は、空間デシメーション器１０４から低解像度ピクチャを入力し、入力した低解像度ピクチャに対して、所定の符号化を行いベースレイヤ符号化ビット列を生成し、生成したベースレイヤ符号化ビット列をベースレイヤデコード器１０６および多重化器１１０へ送る。ここで、符号化の方法は、例えば、ＭＰＥＧ−１，ＭＰＥＧ−２，ＭＰＥＧ−４およびＭＰＥＧ−４ ＡＶＣ（Ｈ．２６４）などの符号化器であることが望ましい。時間方向のスケーラビリティやＳＮＲスケーラビリティなどの機能を実現できるような符号化器であると更に良い。
ベースレイヤデコード器１０６は、ベースレイヤエンコード器１０５からベースレイヤ符号化ビット列を取得し、ベースレイヤ符号化ビット列を復号し、低解像度復号信号を生成する。ここで、ベースレイヤデコード器１０６は、ベースレイヤエンコード器１０５の局所復号を行う機能として包含されるような構成であっても構わない。ただし、ベースレイヤエンコード器１０５と後述するエンハンスメントレイヤエンコード器１０９で採用される符号化器の符号化方法が異なる場合には、図１に示すようにベースレイヤエンコード器１０５によって符号化を行い生成した符号化ビット列をベースレイヤデコード器１０６が入力し、正しく復号することで低解像度復号信号を出力するような構成であることが望ましい。ベースレイヤデコード器１０６は、生成した低解像度復号信号を空間インターポレーション器１０７および空間高周波数成分推定拡大器１０８に送る。
空間インターポレーション器１０７は、ベースレイヤデコード器１０６から低解像度復号信号を入力し、入力した低解像度復号信号に対して、所定の空間解像度に空間インターポレーション、すなわち空間解像度を高くする空間的拡大処理を行い、所定の空間解像度を持つ高解像度復号ピクチャを生成して、加算器１１１へ出力する。空間的拡大処理には様々な方法が存在するが、本発明および本実施形態では、ラプラシアンピラミッドと同様の関係を利用できるように、前述した空間デシメーション器１０４で用いる空間的縮小処理で用いるフィルタ処理に対応した方法を用いる。この空間的縮小処理および空間的拡大処理は、任意縮小率、任意拡大率にも対応している。空間インターポレーション器１０７が有する空間的拡大処理の拡大率は、一般に対応する空間デシメーション器１０４で設定されている所定の縮小率の逆数が設定されている。この空間的拡大処理の拡大率は、符号化処理を開始する際に、符号化器の外部からの指示、例えば符号化処理の初期化情報などからの指示に応じて、新たな縮小率に対応した拡大率を設定されている。空間インターポレーション器１０７は、生成した高解像度復号ピクチャを後述するエンハンスメントレイヤエンコード器１０９に送る。
一方、空間高周波数成分推定拡大器１０８は、ベースレイヤデコード器１０６から低解像度復号信号を入力し、入力した低解像度復号信号に対し所定の空間方向に対する高周波数成分推定・拡大処理を行い、この空間方向に対する高周波数成分推定・拡大処理に基づいて、空間デシメーション器１０４で空間的縮小処理を行う前の元の空間解像度をもつピクチャに対応する推定された高周波数成分信号を含むピクチャである高周波数成分ピクチャ（推定ラプラシアン成分ピクチャ）を生成するとともに、加算器１１１へ出力する。
加算器１１１は、空間インターポレーション器１０７からの高解像度復号ピクチャに対し、空間高周波数成分推定拡大器１０８が生成する推定ラプラシアン成分ピクチャを付加してベースレイヤからのレイヤ間予測ピクチャとして、エンハンスメントレイヤエンコード器１０９へ出力する。
エンハンスメントレイヤエンコード器１０９は、原信号であるエンハンスメントレイヤ用の高解像度ピクチャを入力すると共に、加算器１１１から空間インターポレーション器１０７からの高解像度復号ピクチャと、空間高周波数成分推定拡大器１０８からの推定ラプラシアン成分ピクチャとを加算したベースレイヤからのレイヤ間予測ピクチャとを入力し、入力したエンハンスメント用の高解像度ピクチャと、ベースレイヤからのレイヤ間予測ピクチャとの相関を利用したエンハンスメントレイヤとしての符号化を行い、エンハンスメントレイヤの符号化結果である符号化ビット列を生成し、多重化器１１０に送る。
ここで、エンハンスメントレイヤの符号化は、空間方向および時間方向もしくはフレーム方向、そしてレイヤ間の相関を利用した符号化方式であれば特に限定されるものではない。つまり、エンハンスメントレイヤの符号化において、ＭＰＥＧ−１，ＭＰＥＧ−２，ＭＰＥＧ−４，およびＭＰＥＧ−４ ＡＶＣ（Ｈ．２６４）といったＭＰＥＧ方式に代表されるような動き推定や動き補償、直交変換や量子化、逆直交変換や逆量子化、エントロピー符号化を行うための手段を実現する各部をエンハンスメントエンコード器１０９内に少なくとも備えるように構成し、ピクチャの空間方向および時間方向、そしてレイヤ間の相関を利用してエンハンスメントレイヤの符号化を行っても構わない。つまり、ベースレイヤ側から入力したレイヤ間予測ピクチャを参照フレームとしてエンハンスメントレイヤの動き推定、動き補償に利用できるように構成することで、より効果的な符号化装置を構成することができる。また、時間方向のスケーラビリティやＳＮＲスケーラビリティなどの機能を実現できるような符号化器であると更に良い構成となる。
多重化器１１０は、ベースレイヤエンコード器１０５およびエンハンスメントレイヤエンコード器１０９からそれぞれの符号化ビット列を入力し、入力した各符号化ビット列に対して所定の構文構造に基づいて多重化処理を行い、エンベデッド構成をもつ多重化ビットストリームを生成し、生成した多重化ビットストリームを通信回線または記録媒体など１０２に出力する。
動画像階層復号化装置１０３では、通信回線または記録媒体など１０２を介し、動画像階層符号化装置１０１からの多重化ビットストリームを入力し、エクストラクト器１１６がその多重化ビットストリームを受信する。
そして、エクストラクト器１１６は、受信した多重化ビットストリームを所定の構文構造に基づいて解析し、動画像階層復号化装置１０３または表示装置等の性能にあわせて多重化ビットストリーム全体から復号に必要なものを切り出し、少なくともベースレイヤデコード器１１２、空間高周波数成分推定拡大器１１４、エンハンスメントレイヤデコード器１１５に送る。
ベースレイヤデコード器１１２は、エクストラクト器１１６によって抽出されたベースレイヤ符号化ビット列を入力し、入力した符号化ビット列を所定の復号化を行い低解像度復号信号を生成し、空間インターポレーション器１１３および空間高周波数成分推定拡大器１１４に送る。また、必要に応じて生成した低解像度復号信号を表示装置などに対して出力する。ここで、復号化の方法は、動画像階層符号化装置１０１における符号化方式に応じて、例えば、ＭＰＥＧ−１，ＭＰＥＧ−２，ＭＰＥＧ−４およびＭＰＥＧ−４ ＡＶＣ（Ｈ．２６４）等により復号化を行う。時間方向のスケーラビリティやＳＮＲスケーラビリティなどの機能を実現できるような復号化器であると更に良い構成となる。
空間インターポレーション器１１３および空間高周波数成分推定拡大器１１４は、動画像階層符号化装置１０１中の空間インターポレーション器１０７および空間高周波数成分推定拡大器１０８が備える機能と同様である。また、空間インターポレーション器１１３、空間高周波数成分推定拡大器１１４および加算器１１７によって生成されたベースレイヤのレイヤ間予測ピクチャは、後述するエンハンスメントレイヤデコード器１１５に送られる。
エンハンスメントレイヤデコード器１１５は、エクストラクト器１１６からのエンハンスメントレイヤ符号化ビット列を取得すると共に、下位のレイヤであるベースレイヤのレイヤ間予測ピクチャを入力し、入力した符号化ビット列およびレイヤ間予測ピクチャを利用して所定の復号化を行い、高解像度復号ピクチャを生成する。また、必要に応じて生成した高解像度復号ピクチャを表示装置などに出力する。
図２に、図１に示した動画像階層符号化装置１０１の構成例を用いて映像信号を空間スケーラブル符号化する手順を示す。
まず、空間デシメーション器１０４は、原信号である高解像度ピクチャに対して所定の空間的縮小処理により空間デシメーションを行い（ステップＳ１０１）、空間的縮小処理によって生成された低解像度ピクチャをベースレイヤエンコード器１０５に送る。
ベースレイヤエンコード器１０５は、入力した低解像度ピクチャに対して所定の符号化によってベースレイヤのエンコードを行い（ステップＳ１０２）、生成したベースレイヤ符号化ビット列をベースレイヤデコード器１０６および多重化器１１０に送る。
ベースレイヤデコード器１０６は、送ったベースレイヤ符号化ビット列を所定の復号化によってベースレイヤのデコードを行い（ステップＳ１０３）、生成した低解像度復号信号を空間インターポレーション器１０７および空間高周波数成分推定拡大器１０８に送る。
空間インターポレーション器１０７は、復号された低解像度復号信号が入力すると、この復号結果に対して空間インターポレーションを行う（ステップＳ１０４）。これにより、高解像度復号ピクチャを生成する。
また、空間高周波数成分推定拡大器１０８は、復号された低解像度復号信号が入力すると、この復号結果に対して上述した空間高周波数成分の推定・拡大を行う（ステップＳ１０５）。これにより、推定ラプラシアン成分ピクチャが生成される。
加算器１１１は、高解像度復号ピクチャに対して推定ラプラシアン成分ピクチャを付加することでベースレイヤのレイヤ間予測ピクチャを生成し（ステップＳ１０６）、エンハンスメントレイヤエンコード器１０９に送る。
エンハンスメントレイヤエンコード器１０９では、原信号である高解像度ピクチャと、ベースレイヤからのレイヤ間予測ピクチャとを入力して所定の符号化によってエンハンスメントレイヤのエンコードを行う（ステップＳ１０７）。これにより、エンハンスメントレイヤの符号化ビット列が生成され、多重化器１１０に送られる。
最後に、多重化器１１０では、ベースレイヤエンコード器１０５およびエンハンスメントレイヤエンコード器１０９からの各階層の各符号化ビット列に対して所定の構文構造に基づいて多重化を行う（ステップＳ１０８）。これにより、多重化ビットストリームが生成され、所定の通信回線または記録媒体など１０２に出力されることで一連の符号化処理を完了する。
図３に、図1に示した動画像階層復号化装置１０３の構成例を用いて、動画像階層符号化装置１０１から所定の通信回線または記録媒体など１０２によって伝送される多重化ビットストリームに対し、所定の復号化を行う動画像階層復号化装置１０３の処理手順を示す。
一方、動画像階層復号化装置１０３では、エクストラクト器１１６は、通信回線や記録媒体など１０２を介し、多重化ビットストリームを受信し、受信した多重化ビットストリームに対し、所定の構文構造に基づいて多重化ビットストリームの解析を行う（ステップＳ２０１）。これにより、動画像階層復号化装置１０３および表示装置などの性能に合わせて必要な符号化ビット列を抽出する。ここでは、ベースレイヤの復号ピクチャを構成するための符号化ビット列と、エンハンスメントレイヤの復号ピクチャを構成するための符号化ビット列、および復号に必要な各種パラメータを抽出し、ベースレイヤデコード器１１２およびエンハンスメントレイヤデコード器１１５に送る。
ベースレイヤデコード器１１２は、エクストラクト器１１６で抽出されたベースレイヤ用の符号化ビット列を取得すると、所定の復号化によりベースレイヤのデコードを行う（ステップＳ２０２）。これにより、低解像度復号信号が生成され、空間インターポレーション器１１３および空間高周波数成分推定拡大器１１４に送られる。
空間インターポレーション器１１３では、ベースレイヤデコード器１１２から送られる低解像度復号信号に対して所定の空間インターポレーションを行う（ステップＳ２０３）。これにより、高解像度復号ピクチャが生成される。
また、空間高周波数成分推定拡大器１１４では、復号された低解像度復号信号に対して空間高周波数成分の推定・拡大を行う（ステップＳ２０４）。これにより、推定ラプラシアン成分ピクチャが生成される。
そして、加算器１１７にて、空間インターポレーション器１１３にて生成された高解像度復号ピクチャに対し、空間高周波数成分推定拡大器１１４にて生成された推定ラプラシアン成分ピクチャが付加されることにより、ベースレイヤからのレイヤ間予測ピクチャが生成され（ステップＳ２０５）、その後エンハンスメントレイヤデコード器１１５に送られる。
エンハンスメントレイヤデコード器１１５では、エクストラクト器１１６から送られるエンハンスメントレイヤの復号に必要な符号化ビット列と、下位のレイヤから送られるレイヤ間予測ピクチャから、所定の復号化によってエンハンスメントレイヤのデコードを行う（ステップＳ２０６）。これにより、高解像度復号ピクチャが生成されるとともに、必要に応じて表示装置などに出力される。
次に、図４を用いて、本発明の動画像階層符号化装置と、動画像階層復号化装置における、空間インターポレーション器１０７，１１３および空間高周波数成分推定拡大器１０８，１１４の詳細な構成例について説明する。
図４は、空間インターポレーション器１０７，１１３および空間高周波数成分推定拡大器１０８，１１４の詳細な構成例を示す機能ブロック図である。
図４において、空間インターポレーション器１０７，１１３は、第１レート変換制御器４０２、第１アップサンプル器４０３、第１ＬＰＦ器４０４、第１ダウンサンプル器４０５を少なくとも有している。第１レート変換制御器４０２を備えることで、任意解像度にも対応できるような構成となっている。
第１アップサンプル器４０３は、ベースレイヤもしくは基準レイヤから得られる局所復号信号、つまり低解像度復号信号を取得する。第１アップサンプル器４０３は、入力した低解像度復号信号に対して所定のアップサンプル処理を行いオーバーサンプルピクチャを生成し、第１ＬＰＦ器４０４に送る。
以下にアップサンプル処理の一例を示す。アップサンプル処理では、横方向、縦方向のそれぞれに対してアップサンプル処理を行う。仮に、低解像度復号信号の横方向の画素数がＭ画素、縦方向の画素数がＮ画素であり、最終目標とする空間的拡大処理後の高解像度ピクチャの横方向の画素数がＰ画素、縦方向の画素数がＱ画素であるものとする。アップサンプル処理後に生成されるオーバーサンプルピクチャの横方向の画素数を決定するためには、以下の式（１）によってＭとＰとの最小公倍数ｌｃｍ（Ｍ，Ｐ）を求めると良い。
ｌｃｍ（Ｍ，Ｐ）＝ Ｍ＊Ｐ ／ ＧＣＤ（Ｍ，Ｐ）
・・・式（１）
・・・式（１）
ここで、＊は乗算、／は除算、ＧＣＤ（Ｍ，Ｐ）は、ＭとＰの最大公約数を意味する。最大公約数は、例えばユークリッドの互除法などを利用することで容易に計算することができる。
次に、低解像度復号信号の横方向の各画素を、オーバーサンプルピクチャの横方向の画素列中のどの位置に再配置するかを特定するために、以下の式（２）によって求めると良い。
ｌｃｍ（Ｍ，Ｐ）／Ｍ ＊ （ｎ＋ｃ） （ｎ＝０，１，２，・・・，Ｍ−１）
・・・式（２）
・・・式（２）
ここで、ｃは低解像度復号信号の空間解像度の画素間隔を基準とした、各画素の位相を合わせるための位相補正情報である。
このようにして求めた位置に基づいて、低解像度復号信号の横方向の各画素を再配置することで、横方向のアップサンプル処理が完了する。縦方向のアップサンプル処理に関しても横方向の場合と同様であるため、ここでは説明を省略する。以上のようなアップサンプル処理によって生成されたオーバーサンプルピクチャが、第１ＬＰＦ器４０４に送られる。
第１ＬＰＦ器４０４は、第１アップサンプル器４０３によって生成されたオーバーサンプルピクチャを入力し、所定のＬＰＦ（低域通過フィルタリング）によるフィルタリング処理を行った後に、ＬＰＦ後のオーバーサンプルピクチャを第１ダウンサンプル器４０５に送る。
第１ダウンサンプル器４０５は、第１ＬＰＦ器４０４によって生成されたＬＰＦ後のオーバーサンプルピクチャを入力し、所定のダウンサンプル処理を行い、エンハンスメントレイヤの解像度の高解像度ピクチャを生成し、信号合成器４０９に送る。
以下に、ダウンサンプル処理の一例を示す。ダウンサンプル処理では、横方向、縦方向のそれぞれに対してダウンサンプル処理を行うと良い。仮に、入力ピクチャであるオーバーサンプルピクチャの横方向の画素数がｌｃｍ（Ｍ，Ｐ）画素、縦方向の画素数がｌｃｍ（Ｎ，Ｑ）画素であり、目標とする空間的拡大処理後の高解像度ピクチャの横方向の画素数がＰ画素、縦方向の画素数がＱ画素であるものとする。
オーバーサンプルピクチャの横方向の画素列中のどの位置の画素を抽出するかを特定するために、以下の式（３）によって求めると良い。
ｌｃｍ（Ｍ，Ｐ）／Ｐ ＊ ｍ ＋ ｌｃｍ（Ｍ，Ｐ）／Ｍ ＊ ｃ
（ｍ＝０，１，２，・・・，Ｐ−１） ・・・式（３）
（ｍ＝０，１，２，・・・，Ｐ−１） ・・・式（３）
また、変換後の高解像度ピクチャにおける位相補正情報は、ｃ＊Ｐ／Ｍ とすると良い。
このようなダウンサンプル処理において、抽出位置が整数でない場合には、周囲の最も近い位置の画素を対象画素としたり、周囲の画素からの線形補間などといった簡易な方法によって抽出位置の画素値としたりすることが一般に行われる。また、周囲の画素を利用して所定のフィルタリングを行い、画素の補間を行い抽出位置の画素値を新たに求めながらダウンサンプル処理を行うようにすると、更に良い構成となる。
第１レート変換制御器４０２は、第１アップサンプル器４０３、第１ＬＰＦ器４０４、第１ダウンサンプル器４０５の動作を制御するために、各種パラメータを送る。ここで送られる各種パラメータは、第１アップサンプル器４０３に入力される低解像度復号信号の縦方向および横方向の画素数、低解像度復号信号の位相補正情報、空間的拡大処理を行った後の高解像度ピクチャの縦方向および横方向の画素数に関する情報を少なくとも含むパラメータであることが望ましい。
図４において、図１における空間高周波数成分推定拡大器１０８，１１４は、第１のハイパスフィルタリング部１４０２、第２のインターポレーション部１４０３、振幅制限・定数倍処理部１４０４、第２のハイパスフィルタリング部１４０５を少なくとも有している。
ここで、空間高周波数成分推定拡大器１０８，１１４における高周波数成分推定拡大処理の基本的な考えは、例えば、「高周波数成分推定を伴う任意倍率可能な画像拡大法』（高橋靖正,田口亮著,信学論(A),vol.J84-A,no.9,pp.1192-1201,Sep.2001.参照）や「PARAMETERSTIMATIONS FOR SUPER RESOLUTION BASED ON THE LAPLACIAN PYRAMID REPRESENTATION」(Shuai Yuan, Yasumasa Takahashi*, Akira Taguchi著)等に掲載されている。これは、階層符号化におけるラプラシアンピラミッドの考え方を応用したもので、以下に説明する。高周波数成分推定拡大処理は、階層間のラプラシアン成分の相関が強いことを利用して、注目する階層の信号のみから空間解像度が一つ高い階層のラプラシアン成分の推定を成し遂げる方法である。
第１のハイパスフィルタリング部１４０２は、ベースレイヤのローカルデコード（局所復号画像）信号に含まれる高周波数成分において、次の上位階層の符号化対象であるエンハンスメントレイヤの画像フレーム信号に含まれる高周波数成分と相関が高く、推定に適した高周波数成分を抽出する。ここでは、推定に適した高周波数成分を表現するための情報として、拡大対象であるベースレイヤのローカルデコード（局所復号画像）信号のラプラシアン成分を抽出する。
ここで、入力信号のラプラシアン成分の抽出は、例えば、次のように行う。説明を簡単にするために、１次元の信号モデルを例にして、入力信号をＧ0(ｘ)、入力信号から抽出されるラプラシアン成分をＬ0(ｘ)とすると、ラプラシアン成分Ｌ0(ｘ)は、次の（４）式及び（５）式で演算される。なお、（５）式中のρは、ガウシアンフィルタの帯域を調整するためのパラメータで、ハーフバンドフィルタとなる値に設定されている。
ここで、第１のハイパスフィルタリング部１４０２は、入力信号から抽出した推定に適した高周波数成分を表現するための情報を第２の空間インターポレーション部１４０３へ出力する。ここでは、推定に適した高周波数成分を表現するための情報として、抽出したラプラシアン成分Ｌ0(ｘ)の信号を第２の空間インターポレーション部１４０３へ出力する。
ここで、上記式（４）、（５）では、ガウシアン関数を用いて高周波数成分を抽出しているが、これを他の方法に置き換えても良い。ただし、ここで用いるフィルタや補間関数等と、図１における空間デシメーション部１０４、空間インターポレーション部１０７、１１３と、図４の第２の空間インターポレーション部１４０３、第２のハイパスフィルタリング部１４０５に用いるフィルタや補間関数等の関係は、ピラミッド構成を満たすものとなっていることが望ましい。例えば、空間デシメーション部にsinc関数を用いた場合、第２の空間インターポレーション部１４０３、第２のハイパスフィルタリング部１４０５にもsinc関数を用いることでsinc関数によるピラミッド構成の関係が構築できる。
第２の空間インターポレーション部１４０３は、第１のハイパスフィルタリング部１４０２より出力される推定に適した高周波数成分を表現するための情報を取得すると、その信号をエンハンスメントレイヤの空間解像度となるように、（エンハンスメントレイヤの空間解像度／ベースレイヤの空間解像度）の倍率rにインターポレーションを行う（ステップＳ５０２）。ここでは、ラプラシアン成分Ｌ0(ｘ)の信号を入力として受け、その入力信号がエンハンスメントレイヤの空間解像度となるように、（エンハンスメントレイヤの空間解像度／ベースレイヤの空間解像度）の倍率rのインターポレーションを行う。
ここで、（エンハンスメントレイヤの空間解像度／ベースレイヤの空間解像度）の倍率rへのインターポレーションは、次のように行うことが望ましいが、必ずしもこの方法に限定するわけではない。
つまり、（エンハンスメントレイヤの空間解像度／ベースレイヤの空間解像度）の倍率rにインターポレーションした補間信号(ＥＸＰＡＮＤ)rＬ0(ｘ)は、入力ラプラシアン成分をＬ0(ｘ)とすると、次の（６）式、（７）式及び（８）式により演算算出される。
ここで、int()は整数部分を取り出す操作を示す。
第２の空間インターポレーション部１４０３は、このようにして生成したインターポレーションされた補間信号(ＥＸＰＡＮＤ)rＬ0(ｘ)を振幅制限・定数倍処理部４０３へ出力する。
振幅制限・定数倍処理部４０３は、第２の空間インターポレーション部１４０３から出力される補間信号(ＥＸＰＡＮＤ)rＬ0(ｘ)を取得し、その取得した補間信号(ＥＸＰＡＮＤ)rＬ0(ｘ)から未知の高周波数成分を推定するための低解像度工程を実施する（ステップＳ５０３）。この未知の高周波数成分を推定する低解像度工程の処理は、入力される補間信号(ＥＸＰＡＮＤ)rＬ0(ｘ)に対して、次の（９）式で示すような振幅制限および定数倍処理を行うことにより実現する。
すなわち、振幅制限・定数倍処理部４０３は、入力信号(ＥＸＰＡＮＤ)rＬ0(ｘ)の振幅が、振幅制限のためのパラメータＴと−Ｔとの間にあるときには、入力信号(ＥＸＰＡＮＤ)rＬ0(ｘ)を定数倍処理のためのパラメータαr倍した信号を出力し、入力信号(ＥＸＰＡＮＤ)rＬ0(ｘ)の振幅がＴ以上であるときには、αr・Ｔのレベルの信号を出力し、入力信号(ＥＸＰＡＮＤ)rＬ0(ｘ)の振幅が−Ｔ以下であるときには、αr・（−Ｔ）のレベルの信号を出力する。ここで、振幅制限のためのパラメータＴ及び定数倍処理のためのパラメータαrは、例えば前記非特許文献１中で実験的に求められているような値を利用するようにしても構わない。なお、パラメータαrは、拡大率に応じて可変である。
振幅制限・定数倍処理部４０３により、上記のように振幅制限・定数倍処理された信号は、第２のハイパスフィルタリング部１４０５に供給される。
第２のハイパスフィルタリング部１４０５は、未知の高周波数成分を推定するための高解像度工程を実施する（ステップＳ５０４）。この第２のハイパスフィルタリング部１４０５による高解像度工程の処理は、振幅制限・定数倍処理部４０３から取得した信号、すなわち、未知の高周波数成分を推定するための低解像度工程が実施された信号から、不必要な低域成分を取り除き、本来求めようとしている高周波数成分のみを得るためのものである。これは、入力される信号に対してハイパスフィルタリングを行うことにより実現する。
第２のハイパスフィルタリング部１４０５によるハイパスフィルタリングが行われて、第２のハイパスフィルタリング部１４０５から出力される、推定した未知の高周波数成分は、次の（７）式で表されることが望ましい。推定された未知の高周波成分Ｌγ（ハット＾）（ｘ）は、入力される信号をＬγ（アッパーバー￣）(ｘ)とすると、
で与えられる。ここで、Ｗ(i)は式(５)に示すものである。
このような高周波数成分推定拡大処理を達成するため、空間高周波数成分推定拡大器１０８，１１４は、次のように構成されている。
図４において、第１のハイパスフィルタリング部１４０２は、第２ＬＰＦ器４０６、信号合成器４０７によって構成される。
第２ＬＰＦ器４０６は、ベースレイヤもしくは基準レイヤから得られる局所復号信号、つまり低解像度復号信号を入力し、入力した低解像度復号信号に対して所定のＬＰＦによるフィルタリング処理を行った後に、ＬＰＦ後の低解像度復号信号を信号合成器４０７に送る。
信号合成器４０７は、ベースレイヤもしくは基準レイヤから得られる局所復号信号、つまり低解像度復号信号を取得するとともに、第２ＬＰＦ器４０６からＬＰＦ後の低解像度復号信号を取得する。信号合成器４０７は、入力した低解像度復号信号から、ＬＰＦ後の低解像度復号信号の各画素値を減算することで信号を合成し、得られる低解像度高周波数成分ピクチャ（ラプラシアン成分ピクチャ）を、第２アップサンプル器４１２に送る。
図４において、第２のインターポレーション部１４０３は、第２アップサンプル器４１２、第３ＬＰＦ器４１３、第２ダウンサンプル器４１４、第２レート変換制御器４１１によって少なくとも構成される。第２レート変換制御器４１１を備えることで、任意解像度にも対応できるような構成となっている。
第２アップサンプル器４１２は、信号合成器４０７からラプラシアン成分ピクチャを入力ピクチャとして取得する。基本的なアップサンプル処理の機能については、第１アップサンプル器４０３と同様であるため説明を省略する。入力したラプラシアン成分ピクチャに対して、所定のアップサンプル処理を行いオーバーサンプルラプラシアン成分ピクチャを生成し、第３ＬＰＦ器４１３に送る。
第３ＬＰＦ器４１３は、第２アップサンプル器４１２からオーバーサンプルラプラシアン成分ピクチャを入力し、所定のＬＰＦによるフィルタリング処理を行った後に、ＬＰＦ後のオーバーサンプルラプラシアン成分ピクチャを第２ダウンサンプル器４１４に送る。
第２ダウンサンプル器４１４は、第３ＬＰＦ器４１３から生成されたＬＰＦ後のオーバーサンプルラプラシアン成分ピクチャを入力し、所定のダウンサンプル処理を行い、必要とする空間的拡大処理後の空間解像度をもつ、拡大ラプラシアン成分ピクチャを生成し、第１振幅制限器４１５に送る。ここで、基本的なダウンサンプル処理の機能については、第１ダウンサンプル器４０５と同様であるため、説明を省略する。
図４において、振幅制限・定数倍処理部１４０４は、第１振幅制限器４１５、第１定数倍器４１６、振幅制御器４１７、定数倍制御器４１８を有している。
第１振幅制限器４１５は、第２ダウンサンプル器４１４から生成された拡大ラプラシアン成分ピクチャを入力し、入力した拡大ラプラシアン成分ピクチャに対して、信号振幅を抑制するための閾値である所定のパラメータＴに基づいて閾値処理を行い、信号振幅が抑制された拡大ラプラシアン成分ピクチャを生成し、第１定数倍器４１６に送る。また、後述する振幅制御器４１７から閾値処理で利用するパラメータＴを随時取得すると更に良い構成となる。
第１定数倍器４１６は、第１振幅制限器４１５によって信号振幅が抑制された拡大ラプラシアン成分ピクチャを入力し、信号振幅を拡大・縮小するための所定のパラメータＳに基づいて信号振幅の定数倍処理を行う。第１定数倍器４１６は、信号振幅が定数倍された拡大ラプラシアン成分ピクチャを信号合成器４０９および第４ＬＰＦ器４０８に送る。また、後述する定数倍制御器４１８から定数倍処理で利用するパラメータＳを随時取得すると更に良い構成となる。
振幅制御器４１７は、第１振幅制限器４１５における閾値処理を制御するとともに、所定のパラメータＴを必要に応じて送る。また、通知したパラメータＴを、所定のエントロピー符号化を行った後に、所定の構文構造に基づいて多重化を行うために多重化器１１０に送ることが望ましい。
定数倍制御器４１８は、第１定数倍器４１６における信号振幅の定数倍処理を制御するとともに、所定のパラメータＳを必要に応じて送る。また、通知したパラメータＳを、所定のエントロピー符号化を行った後に、所定の構文構造に基づいて多重化を行うために多重化器１１０に送ることが望ましい。
図４において、第２のハイパスフィルタリング部１４０５は、第４ＬＰＦ器４０８、信号合成器４０９を有している。
第４ＬＰＦ器４０８は、第１定数倍器４１６によって生成された信号振幅が定数倍された拡大ラプラシアン成分ピクチャを入力し、所定のＬＰＦによるフィルタリング処理を行った後に、ＬＰＦ後の信号振幅が定数倍された拡大ラプラシアン成分ピクチャを信号合成器４０９に送る。
信号合成器４０９（１４０７）は、第１定数倍器４１６から信号振幅が定数倍された拡大ラプラシアン成分ピクチャから、ＬＰＦ後の信号振幅が定数倍された拡大ラプラシアン成分ピクチャを減算し、本来含まれるべき高周波数成分のみを通過させることで最終的な推定ラプラシアン成分ピクチャを生成し、加算器１１１へ出力する。加算器１１１では、この生成された推定ラプラシアン成分ピクチャに対し、第１ダウンサンプル器４０５からの高解像度ピクチャに加算することで、最終的な高解像度ピクチャ、つまりレイヤ間予測ピクチャを生成して、エンハンスメントレイヤエンコード部１０９へ出力することになる。
次に、図５のフローチャートを用いて、本実施の形態１における、空間インターポレーション器１０７，１１３および空間高周波数成分推定拡大器１０８，１１４の詳細な構成例である図４の構成例の動作手順について説明する。
まず、第１のハイパスフィルタリング部１４０２は、ベースレイヤもしくは基準レイヤから得られる局所復号信号、つまり低解像度復号信号を取得すると（ステップＳ３０１）、第１アップサンプル器４０３、第２ＬＰＦ器４０６、信号合成器４０７に送る。
第１レート変換制御器４０２は、入力されるピクチャに対して空間的拡大処理を行うための準備として、第１アップサンプル器４０３、第１ＬＰＦ器４０４、第１ダウンサンプル器４０５が正しく動作するために必要な各種パラメータを送る。
第１アップサンプル器４０３では、第１レート変換制御器４０２からの空間的拡大処理に必要なパラメータに基づいて、ベースレイヤデコード部１０６からの低解像度復号信号に対して所定の第１のアップサンプル処理を行う（ステップＳ３０２）。これにより、オーバーサンプルピクチャを生成し、第１ＬＰＦ器４０４に送る。
第１ＬＰＦ器４０４では、第１アップサンプル器４０３によって生成されたオーバーサンプルピクチャを入力し、第１レート変換制御器４０２からの空間的拡大処理に必要なパラメータに基づいて、所定の第１のＬＰＦ処理を行い（ステップＳ３０３）、ＬＰＦ後のオーバーサンプルピクチャを第１ダウンサンプル器４０５に送る。
第１ダウンサンプル器４０５では、第１ＬＰＦ器４０４によって生成されたＬＰＦ後のオーバーサンプルピクチャを入力し、第１レート変換制御器４０２からの空間的拡大処理に必要なパラメータに基づいて、所定の第１のダウンサンプル処理を行う（ステップＳ３０４）。これにより、エンハンスメントレイヤの解像度の高解像度ピクチャを生成し、信号合成器４０９に送る。
また、第１のハイパスフィルタリング部１４０２では、第２ＬＰＦ器４０６が、第１アップサンプル器４０３と同様に、ベースレイヤデコード部１０６から得られる局所復号信号、つまり低解像度復号信号を入力し、入力した低解像度復号信号に対して所定の第２のＬＰＦ処理を行い（ステップＳ３０５）、ＬＰＦ後の低解像度復号信号を信号合成器４０７に送る。
信号合成器４０７では、ベースレイヤデコード部１０６から得られる低解像度復号信号から、第２のＬＰＦ後の低解像度復号信号の各画素値を減算する（ステップＳ３０６）。これにより、信号を合成し、得られるラプラシアン成分ピクチャを第２の空間インターポレーション部１４０３の第２アップサンプル器４１２に送る。
第２の空間インターポレーション部１４０３では、第２レート変換制御器４１１が入力されるラプラシアン成分ピクチャに対して空間的拡大処理を行うための準備として、第２アップサンプル器４１２、第３ＬＰＦ器４１３、第２ダウンサンプル器４１４が正しく動作するために必要な各種パラメータを送る。
第２アップサンプル器４１２は、信号合成器４０７からラプラシアン成分ピクチャを入力し、第２レート変換制御器４１１からの空間的拡大処理に必要なパラメータに基づいて、所定の第２のアップサンプル処理を行う（ステップＳ３０７）。これにより、オーバーサンプルラプラシアン成分ピクチャを生成し、第３ＬＰＦ器４１３に送る。
第３ＬＰＦ器４１３は、第２アップサンプル器４１２からオーバーサンプルラプラシアン成分ピクチャを入力し、第２レート変換制御器４１１からの空間的拡大処理に必要なパラメータに基づいて、所定の第３のＬＰＦ処理を行い（ステップＳ３０８）、第３のＬＰＦ後のオーバーサンプルラプラシアン成分ピクチャを第２ダウンサンプル器４１４に送る。
第２ダウンサンプル器４１４は、第３ＬＰＦ器４１３から生成されたＬＰＦ後のオーバーサンプルラプラシアン成分ピクチャを入力し、第２レート変換制御器４１１からの空間的拡大処理に必要なパラメータに基づいて、所定の第２のダウンサンプル処理を行う（ステップＳ３０９）。これにより、必要とする空間的拡大処理後の空間解像度をもつ拡大ラプラシアン成分ピクチャを生成し、振幅制限・定数倍処理部１４０４の第１振幅制限器４１５に送る。
振幅制限・定数倍処理部１４０４では、振幅制御器４１７は、第１振幅制限器４１５に対して振幅制限を行う際の閾値である所定のパラメータＴを送ることで必要に応じて振幅制限の動作を制御する。
第１振幅制限器４１５は、第２ダウンサンプル器４１４からの拡大ラプラシアン成分ピクチャを入力し、入力した拡大ラプラシアン成分ピクチャに対して、信号振幅を抑制するための閾値である所定のパラメータＴに基づいて第１の振幅制限を行う（ステップＳ３１０）。これにより、閾値処理を行い、信号振幅が抑制された拡大ラプラシアン成分ピクチャを生成し、第１定数倍器４１６に送る。また、閾値処理で利用したパラメータＴに対して所定のエントロピー符号化を行い、多重化器１１０に出力する。
定数倍制御器４１８は、第１定数倍器４１６に対して信号振幅の拡大・縮小を行う際に利用するパラメータＳを送ることで必要に応じて定数倍処理の動作を制御する。
第１定数倍器４１６は、第１振幅制限器４１５によって信号振幅が抑制された拡大ラプラシアン成分ピクチャを入力し、所定のパラメータＳに基づいて第１の定数倍処理により信号振幅の拡大・縮小を行い（ステップＳ３１１）、信号振幅が定数倍された拡大ラプラシアン成分ピクチャを信号合成器４０９および第４ＬＰＦ器４０８に送る。また、定数倍処理で利用したパラメータＳに対して所定のエントロピー符号化を行い、多重化器１１０に出力する。
第４ＬＰＦ器４０８は、第１定数倍器４１６によって生成された信号振幅が定数倍された拡大ラプラシアン成分ピクチャを入力し、所定の第４のＬＰＦ処理を行い（ステップＳ３１２）、第４のＬＰＦ後の信号振幅が定数倍された拡大ラプラシアン成分ピクチャを信号合成器４０９に送る。
信号合成器４０９は、第１定数倍器４１６からの信号振幅が定数倍された拡大ラプラシアン成分ピクチャから、第４ＬＰＦ器４０８にてＬＰＦ後の信号振幅が定数倍された拡大ラプラシアン成分ピクチャを減算し、本来含まれるべき高周波数成分のみを通過させることで最終的な推定ラプラシアン成分ピクチャを生成する。
加算器１１１では、空間高周波数成分推定拡大器１０８にて生成された推定ラプラシアン成分ピクチャに対し、空間インターポレーション分１０７の第１ダウンサンプル器４０５からの高解像度ピクチャに加算することで、最終的な高解像度ピクチャ、つまりレイヤ間予測ピクチャを生成し（ステップＳ３１２）、上位のレイヤに対して生成したレイヤ間予測ピクチャを送ることで、一連の処理が完了する。
従って、本実施の形態１の階層符号化装置によれば、空間的デシメーション（縮小）処理および空間的インターポレーション（拡大）処理にアップサンプル処理、ＬＰＦ処理、ダウンサンプル処理等を用いて任意解像度変換を行う際、振幅制御器４１５および定数倍制御器４１７等によって、解像度変換の状態に応じてより正しい閾値処理に関するパラメータや、定数倍処理に関するパラメータを設定するようにしたので、本来必要とするエンハンスメントレイヤの原信号が持つ高解像度ラプラシアン成分により近い推定ラプラシアン成分ピクチャを生成することができる。
その結果、生成されるレイヤ間予測ピクチャと上位階層のエンハンスメントレイヤとの間で、符号化対象となっている原信号との相関性が高まり、エンハンスメントレイヤにおける符号化効率を向上させることができる。
実施の形態２．
次に実施の形態２について説明する。本実施の形態２では、図１に示す空間インターポレーション器１０７，１１３および空間高周波数成分推定拡大器１０８，１１４を、新たな構成例にしたものである。
次に実施の形態２について説明する。本実施の形態２では、図１に示す空間インターポレーション器１０７，１１３および空間高周波数成分推定拡大器１０８，１１４を、新たな構成例にしたものである。
図６は、本実施の形態２の動画像階層符号化装置と、動画像階層復号化装置における、空間インターポレーション器１０７，１１３および空間高周波数成分推定拡大器１０８，１１４の構成例を示すブロック図である。
図６に示す本実施の形態２の動画像階層符号化装置と、動画像階層復号化装置では、図４に示す実施の形態１の第１振幅制限器４１５および第１定数倍器４１６の代わりに、新たにラプラシアン成分分離合成制御器５０１、ラプラシアン成分分離器５０２、ラプラシアン成分合成器５０３、第１〜第Ｎの振幅制限器５０７１〜５０７Ｎ、および第１〜第Ｎの定数倍器５０８１〜５０８Ｎ、振幅制御器５１３、定数倍制御器５１４を有している。なお、図６において、図４と同一の番号が振られている各手段が備える同一の機能に関しては、重複を避けるため説明を省略する。
図６の構成において、第２ダウンサンプル器４１４は、図４の構成で第１振幅制限器４１５に送っていた、必要とする空間的拡大処理後の空間解像度をもつ拡大ラプラシアン成分ピクチャを、ラプラシアン成分分離器５０２に送る。
また、図６の構成において、第４ＬＰＦ器４０８および信号合成器４０９は、生成された合成ラプラシアン成分ピクチャを、ラプラシアン成分合成器５０３から取得する。
ラプラシアン成分分離合成制御器５０１は、ラプラシアン成分を所定の分割方法および分割数に基づいて分割処理を行うための分割制御情報、および所定の分割方法および分割数によって分割処理されたラプラシアン成分に対して、所定の合成方法および合成数に基づいて合成処理を行うための合成制御情報を、少なくとも特定することができる分割合成制御指令５０４を、外部の初期化パラメータなどから取得する。符号化時には、更にラプラシアン成分分離合成制御器５０１によって生成された分割合成制御指令を、所定のエントロピー符号化を行った後に、図１の多重化器１１０に送る。
ラプラシアン成分分離合成制御器５０１は、ラプラシアン成分分離器５０２の動作を制御するために、ラプラシアン成分に対して行われる所定の分割方法および分割数を特定するための分割制御情報をラプラシアン成分分離器５０２に送る一方、ラプラシアン成分合成器５０３の動作を制御するために、分割されたラプラシアン成分に対して行われる所定の合成数および合成方法を特定するための合成制御情報をラプラシアン成分合成器５０３に送る
ここで、ラプラシアン成分分離器５０２において行われるラプラシアン成分に対して行われる所定の分割方法は、所定のフィルタ処理を伴う帯域分割であることが望ましい。
例えば、一般的な８タップや１６タップのＱＭＦフィルタを複数用意して必要に応じて切り替えながら、ラプラシアン成分をサブバンド分割により必要な分割数になるまで、再帰的に低周波数成分と高周波数成分に分離することで２のべき乗数の分割ラプラシアン成分ピクチャを生成し、合成するようにラプラシアン成分分離器５０２およびラプラシアン成分合成器５０３を制御するように構成しても構わない。また、必要であれば複数のウェーヴレット変換フィルタを用意して、ラプラシアン成分をオクターブ分割により必要な分割数になるまで、再帰的に分割することで２のべき乗数の分割ラプラシアン成分ピクチャを生成し、合成するようにラプラシアン成分分離器５０２およびラプラシアン成分合成器５０３を制御するように構成しても構わない。ここでは、処理の共通化を考慮して、本発明の構成手段であるＬＰＦ手段と、信号合成手段を利用して、ラプラシアン成分を更に低域と高域に分離するような構成をとるものとする。
ラプラシアン成分分離器５０２は、第２ダウンサンプル器４１４から必要とする空間的拡大処理後の空間解像度をもつ拡大ラプラシアン成分ピクチャを取得するとともに、ラプラシアン成分分離合成制御器５０１から分割制御情報を入力し、入力した分割制御情報から、拡大ラプラシアン成分ピクチャに対して行う所定の分割方法および分割数を少なくとも特定する。次に、ラプラシアン成分分離器５０２は、特定した分割方法および分割数Ｎにしたがって、入力した拡大ラプラシアン成分ピクチャに対して所定の分割処理を行い、第１分割ラプラシアン成分ピクチャ〜第Ｎ分割ラプラシアン成分ピクチャを生成し、後段の第１振幅制限器５０７１〜第Ｎ振幅制限器５０７Ｎに送る。
第１振幅制限器５０７１〜第Ｎ振幅制限器５０７Ｎは、ラプラシアン成分分離器５０２から対応する第１分割ラプラシアン成分ピクチャ〜第Ｎ分割ラプラシアン成分ピクチャをそれぞれ入力し、入力した各分割ラプラシアン成分ピクチャに対して、第１振幅制限器５０７１〜第Ｎ振幅制限器５０７Ｎのそれぞれに設定される、信号振幅を抑制するための閾値である所定のパラメータＴ１〜ＴＮに基づいてそれぞれ振幅制限を行い、各パラメータＴ１〜ＴＮによって信号振幅が抑制された第１分割ラプラシアン成分ピクチャ〜第Ｎ分割ラプラシアン成分ピクチャを生成する。ここで、これらの閾値処理で利用するパラメータＴ１〜ＴＮを、後述する振幅制御器５１３から随時取得すると更に良い構成となる。生成した振幅制限後の第１分割ラプラシアン成分ピクチャ〜第Ｎ分割ラプラシアン成分ピクチャを、対応する第１定数倍器５０８１〜第Ｎ定数倍器５０８Ｎに送る。
このように、第１振幅制限器５０７１〜第Ｎ振幅制限器５０７Ｎは、各分割ラプラシアン成分に対して、パラメータＴ１〜ＴＮを用いて個別に閾値を制御することにより、符号化劣化などの影響により混入した各種のノイズ成分に対し、後段の定数倍処理において不要な成分に対する信号振幅の拡大・縮小を回避するとともに、より重要なラプラシアン成分に対してより正しいラプラシアン成分の傾きに近づけるための前処理を行うことができる。
第１定数倍器５０８１〜第Ｎ定数倍器５０８Ｎは、第１振幅制限器５０７１〜第Ｎ振幅制限器５０７Ｎのそれぞれから、対応する振幅制限後の第１分割ラプラシアン成分ピクチャ〜第Ｎ分割ラプラシアン成分ピクチャを入力し、入力した振幅制限後の第１分割ラプラシアン成分ピクチャ〜第Ｎ分割ラプラシアン成分ピクチャに対して、第１定数倍器５０８１〜第Ｎ定数倍器５０８Ｎのそれぞれに設定される、所定のパラメータＳ１〜ＳＮに基づいてそれぞれ信号振幅の定数倍処理により信号振幅の拡大・縮小を行い、信号振幅が定数倍された第１分割ラプラシアン成分ピクチャ〜第Ｎ分割ラプラシアン成分ピクチャを生成する。ここで、これらの定数倍処理で利用するパラメータＳ１〜ＳＮを、後述する振幅制御器５１４から随時取得すると更に良い構成となる。生成した定数倍後の第１分割ラプラシアン成分ピクチャ〜第Ｎ分割ラプラシアン成分ピクチャを、後述するラプラシアン成分合成器５０３に送る。
このように、第１定数倍器５０８１〜第Ｎ定数倍器５０８Ｎは、各分割ラプラシアン成分に対して、パラメータＳ１〜ＳＮを用いて個別に信号振幅の拡大・縮小を制御することにより、符号化劣化などの影響により混入した各種のノイズ成分に対し、後段の定数倍処理において不要な成分に対する信号振幅の拡大・縮小を回避するとともに、より重要なラプラシアン成分に対してより正しいラプラシアン成分の傾きに近づけることができる。
振幅制御器５１３は、第１振幅制限器５０７１〜第Ｎ振幅制限器５０７Ｎにおける閾値処理を制御するとともに、対応する振幅制限器に対して、所定のパラメータＴ１〜ＴＮを必要に応じて送る。また、通知したパラメータＴ１〜ＴＮを、所定のエントロピー符号化を行った後に、所定の構文構造に基づいて多重化を行うために多重化器１１０に送る。
定数倍制御器５１４は、第１定数倍器５０８１〜第Ｎ定数倍器５０８Ｎにおける信号振幅の定数倍処理を制御するとともに、対応する定数倍器に対して、所定のパラメータＳ１〜ＳＮを必要に応じて送り、そのパラメータＳ１〜ＳＮを、所定のエントロピー符号化を行った後に、所定の構文構造に基づいて多重化を行うために多重化器１１０に送る。
ラプラシアン成分合成器５０３は、第１定数倍器５０８１〜第Ｎ定数倍器５０８Ｎのそれぞれから生成された定数倍後の第１分割ラプラシアン成分ピクチャ〜第Ｎ分割ラプラシアン成分ピクチャを取得するとともに、ラプラシアン成分分離合成制御器５０１から合成制御情報を取得する。そして、入力した合成制御情報から、入力した定数倍後の第１分割ラプラシアン成分ピクチャ〜第Ｎ分割ラプラシアン成分ピクチャに対して行う所定の合成数および合成方法を少なくとも特定する。特定した合成数Ｎおよび合成方法にしたがって、入力した定数倍後の第１分割ラプラシアン成分ピクチャ〜第Ｎ分割ラプラシアン成分ピクチャに対して所定の合成処理を行い、合成ラプラシアン成分ピクチャを生成し、第４ＬＰＦ器４０８および信号合成器４０９に送る。
次に、図７のフローチャートを用いて、図６に示す実施の形態２の構成例の動作手順について説明する。
まず、第１のハイパスフィルタリング部１４０２では、ベースレイヤデコード部１０６から得られる局所復号信号、つまり低解像度復号信号を取得すると（ステップＳ４０１）、入力した低解像度復号信号を、第１アップサンプル器４０３、第２ＬＰＦ器４０６、信号合成器４０７に送る。
第１レート変換制御器４０２は、入力されるピクチャに対して空間的拡大処理を行うための準備として、第１アップサンプル器４０３、第１ＬＰＦ器４０４、第１ダウンサンプル器４０５が正しく動作するために必要な各種パラメータを送る。
第１アップサンプル器４０３では、第１レート変換制御器４０２から送った空間的拡大処理に必要なパラメータに基づいて、入力した低解像度復号信号に対して所定の第１のアップサンプル処理を行う（ステップＳ４０２）。これにより、オーバーサンプルピクチャを生成し、第１ＬＰＦ器４０４に送る。
第１ＬＰＦ器４０４は、第１アップサンプル器４０３によって生成されたオーバーサンプルピクチャを入力し、第１レート変換制御器４０２から送った空間的拡大処理に必要なパラメータに基づいて、所定の第１のＬＰＦ処理を行い（ステップＳ４０３）、ＬＰＦ後のオーバーサンプルピクチャを第１ダウンサンプル器４０５に送る。
第１ダウンサンプル器４０５は、第１ＬＰＦ器４０４によって生成されたＬＰＦ後のオーバーサンプルピクチャを入力し、第１レート変換制御器４０２から送った空間的拡大処理に必要なパラメータに基づいて、所定の第１のダウンサンプル処理を行う（ステップＳ４０４）。これにより、エンハンスメントレイヤの解像度の高解像度ピクチャを生成し、加算器１１１へ送る。
また、第２ＬＰＦ器４０６においては、第１アップサンプル器４０３と同様にベースレイヤデコード部１０６から得られる局所復号信号、つまり低解像度復号信号を取得する。その後、入力した低解像度復号信号に対して所定の第２のＬＰＦ処理を行い（ステップＳ４０５）、ＬＰＦ後の低解像度復号信号を信号合成器４０７に送る。
信号合成器４０７では、ベースレイヤデコード部１０６から得られる局所復号信号を取得するとともに、第２ＬＰＦ器４０６からＬＰＦ後の低解像度復号信号を入力し、局所復号信号から、第２のＬＰＦ後の低解像度復号信号の各画素値を減算する（ステップＳ４０６）。これにより、信号合成器４０７は、信号を合成し、得られる低解像度高周波数成分ピクチャ（ラプラシアン成分ピクチャ）を第２アップサンプル器４１２に送る。
第２アップサンプル器４１２は、信号合成器４０７からラプラシアン成分ピクチャを入力し、第２レート変換制御器４１１からの空間的拡大処理に必要なパラメータに基づいて、所定の第２のアップサンプル処理を行う（ステップＳ４０７）。これにより、オーバーサンプルラプラシアン成分ピクチャが生成され、第３ＬＰＦ器４１３に送られる。
第３ＬＰＦ器４１３は、第２アップサンプル器４１２からオーバーサンプルラプラシアン成分ピクチャを入力し、第２レート変換制御器４１１からの空間的拡大処理に必要なパラメータに基づいて、所定の第３のＬＰＦ処理を行い（ステップＳ４０８）、第３のＬＰＦ後のオーバーサンプルラプラシアン成分ピクチャを第２ダウンサンプル器４１４に送る。
第２ダウンサンプル器４１４は、第３ＬＰＦ器４１３からＬＰＦ後のオーバーサンプルラプラシアン成分ピクチャを入力し、第２レート変換制御器４１１からの空間的拡大処理に必要なパラメータに基づいて、所定の第２のダウンサンプル処理を行う（ステップＳ４０９）。これにより、必要とする空間的拡大処理後の空間解像度をもつ拡大ラプラシアン成分ピクチャを生成し、ラプラシアン成分分離器５０２に送る。
ラプラシアン成分分離合成制御器５０１は、分割合成制御指令５０４を外部の初期化パラメータなどから取得し、分割制御情報および合成制御情報を生成し、それぞれラプラシアン成分分離器５０２およびラプラシアン成分合成器５０３に送ると共に、その生成した分割合成制御指令５０４を、所定のエントロピー符号化を行った後に、多重化器１１０（図１参照）に送る。
ラプラシアン成分分離器５０２は、第２ダウンサンプル器４１４から必要とする空間的拡大処理後の空間解像度をもつ拡大ラプラシアン成分ピクチャを取得するとともに、ラプラシアン成分分離合成制御器５０１から分割制御情報を入力して、入力した分割制御情報から、入力した拡大ラプラシアン成分ピクチャに対して行う所定の分割方法および分割数を少なくとも特定し、特定した分割方法および分割数Ｎにしたがって、入力した拡大ラプラシアン成分ピクチャに対して所定の分割処理を行い、第１分割ラプラシアン成分ピクチャ〜第Ｎ分割ラプラシアン成分ピクチャを生成することでラプラシアン成分の分離を行う（ステップＳ４１０）。生成された第１分割ラプラシアン成分ピクチャ〜第Ｎ分割ラプラシアン成分ピクチャは、それぞれ後段の第１振幅制限器５０７１〜第Ｎ振幅制限器５０７Ｎに送られる。
振幅制御器５１３は、第１振幅制限器５０７１〜第Ｎ振幅制限器５０７Ｎに対して振幅制限を行う際の閾値である所定のパラメータＴ１〜ＴＮを送ることで必要に応じて振幅制限の動作を制御する。
第１振幅制限器５０７１〜第Ｎ振幅制限器５０７Ｎは、ラプラシアン成分分離器５０２から対応する第１分割ラプラシアン成分ピクチャ〜第Ｎ分割ラプラシアン成分ピクチャをそれぞれ入力し、入力した各分割ラプラシアン成分ピクチャに対して、第１振幅制限器５０７１〜第Ｎ振幅制限器５０７Ｎのそれぞれに設定された、信号振幅を抑制するための閾値である所定のパラメータＴ１〜ＴＮに基づいてそれぞれ振幅制限を行う（ステップＳ４１１）。これにより、各パラメータＴ１〜ＴＮによって信号振幅が抑制された第１分割ラプラシアン成分ピクチャ〜第Ｎ分割ラプラシアン成分ピクチャを生成する。生成された振幅制限後の第１分割ラプラシアン成分ピクチャ〜第Ｎ分割ラプラシアン成分ピクチャは、対応する第１定数倍器５０８１〜第Ｎ定数倍器５０８Ｎに送られる。
一方、定数倍制御器５１４は、第１定数倍器５０８１〜第Ｎ定数倍器５０８Ｎに対して信号振幅の拡大・縮小を行う際の所定のパラメータＳ１〜ＳＮを送ることで、必要に応じて定数倍処理の動作を制御する。
第１定数倍器５０８１〜第Ｎ定数倍器５０８Ｎは、第１振幅制限器５０７１〜第Ｎ振幅制限器５０７Ｎのそれぞれから、対応する振幅制限後の第１分割ラプラシアン成分ピクチャ〜第Ｎ分割ラプラシアン成分ピクチャを入力し、第１定数倍器５０８１〜第Ｎ定数倍器５０８Ｎのそれぞれに設定された、所定のパラメータＳ１〜ＳＮに基づいてそれぞれ信号振幅の定数倍処理により信号振幅の拡大・縮小を行う（ステップＳ４１２）。これにより、信号振幅が定数倍された第１分割ラプラシアン成分ピクチャ〜第Ｎ分割ラプラシアン成分ピクチャを生成する。生成された定数倍後の第１分割ラプラシアン成分ピクチャ〜第Ｎ分割ラプラシアン成分ピクチャは、後述するラプラシアン成分合成器５０３に送られる。
ラプラシアン成分合成器５０３は、第１定数倍器５０８１〜第Ｎ定数倍器５０８Ｎのそれぞれから、生成された定数倍後の第１分割ラプラシアン成分ピクチャ〜第Ｎ分割ラプラシアン成分ピクチャを入力すると共に、ラプラシアン成分分離合成制御器５０１から合成制御情報を入力し、合成制御情報から定数倍後の第１分割ラプラシアン成分ピクチャ〜第Ｎ分割ラプラシアン成分ピクチャに対して行う所定の合成数および合成方法を少なくとも特定する。そしてラプラシアン成分合成器５０３は、特定した合成数Ｎおよび合成方法にしたがって、入力した定数倍後の第１分割ラプラシアン成分ピクチャ〜第Ｎ分割ラプラシアン成分ピクチャに対して所定の合成処理を行う（ステップＳ４１３）。これにより、ラプラシアン成分合成器５０３は、合成ラプラシアン成分ピクチャを生成し、生成した合成ラプラシアン成分ピクチャを、第４ＬＰＦ器４０８および信号合成器４０９に送る。
第４ＬＰＦ器４０８は、ラプラシアン成分合成器５０３から生成された合成ラプラシアン成分ピクチャを入力し、所定の第４のＬＰＦ処理を行い（ステップＳ４１４）、第４のＬＰＦ後の合成ラプラシアン成分ピクチャを信号合成器４０９に送る。
信号合成器４０９は、第１ダウンサンプル器４０５からエンハンスメントレイヤの解像度の高解像度ピクチャを入力し、またラプラシアン成分合成器５０３から生成された合成ラプラシアン成分ピクチャを入力し、第４ＬＰＦ器４０８からＬＰＦ後の合成ラプラシアン成分ピクチャを取得する。信号合成器４０９は、入力した合成ラプラシアン成分ピクチャから、ＬＰＦ後の合成ラプラシアン成分ピクチャを減算し、本来含まれるべき高周波数成分のみを通過させることで最終的な推定ラプラシアン成分ピクチャを生成し、生成した推定ラプラシアン成分ピクチャを、第１ダウンサンプル器４０５から入力した高解像度ピクチャに加算することで、最終的な高解像度ピクチャ、つまりレイヤ間予測ピクチャを生成し（ステップＳ４１５）、上位のレイヤに対して生成したレイヤ間予測ピクチャを送ることで、一連の処理が完了する。
従って、本実施の形態２の階層符号化装置によれば、上記実施の形態１の階層符号化装置と同様に、空間的デシメーション（縮小）処理および空間的インターポレーション（拡大）処理にアップサンプル処理、ＬＰＦ処理、ダウンサンプル処理等を用いて任意解像度変換を行う際、振幅制御器４１５および定数倍制御器４１７等によって、解像度変換の状態に応じてより正しい閾値処理に関するパラメータや、定数倍処理に関するパラメータを設定するようにしたので、本来必要とするエンハンスメントレイヤの原信号が持つ高解像度ラプラシアン成分により近い推定ラプラシアン成分ピクチャを生成することができ、その結果、生成されるレイヤ間予測ピクチャと上位階層のエンハンスメントレイヤとの間で、符号化対象となっている原信号との相関性が高まり、エンハンスメントレイヤにおける符号化効率を向上させることができる。
特に、本実施形態２では、ラプラシアン成分ピクチャを所定の分割方法により分離することで、各分割ラプラシアン成分に対して、パラメータＴ１〜ＴＮを用いて個別に振幅セ期限の閾値を制御するようにしたので、符号化劣化などの影響により混入した各種のノイズ成分に対し、後段の定数倍処理において不要な成分に対する信号振幅の拡大・縮小を回避するとともに、より重要なラプラシアン成分に対してより正しいラプラシアン成分の傾きに近づけるための前処理を行うことができる。
また、本実施形態２では、ラプラシアン成分ピクチャを所定の分割方法により分離することで、各分割ラプラシアン成分に対して、パラメータＳ１〜ＳＮを用いて個別に定数倍処理の際の信号振幅の拡大・縮小を制御するようにしたので、符号化劣化などの影響により混入した各種のノイズ成分に対し、定数倍処理において不要な成分に対する信号振幅の拡大・縮小を抑制し、より重要なラプラシアン成分に対してより正しいラプラシアン成分の傾きに近づけることができる。
その結果、本実施形態２によれば、ベースレイヤもしくはエンハンスメントレイヤから推定することができる高周波数成分である推定ラプラシアン成分を、上述のような所定の帯域分割および適切な閾値処理を行うためのパラメータおよび適切な信号振幅の拡大・縮小を行うためのパラメータに基づいて生成することで、レイヤ間の差分を求めた際のレイヤ間差分情報の信号振幅を抑制し、レイヤ間差分情報の信号振幅が抑制されることで周囲のレイヤ間差分情報との相関が高まり、結果としてエントロピーを抑制するようにしたため、符号化を行う際により少ないビット数で符号化対象を表現することができ、さらに効率良く符号化を行うことができる。
なお、上記実施の形態１，２では、上述したように、本発明に係る動画像階層符号化装置および動画像階層復号化装置を、ブロック図によりハードウエア的に構成して説明したが、本発明では、これに限らず、ＣＰＵがＣＤやネックワークを介しダウンロードしたプログラムを実行することにより、上記実施の形態１，２の動画像階層符号化装置および動画像階層復号化装置をソフトウエア的に達成するようにしても勿論よい。
また、上記実施の形態１，２では、ベースレイヤ及びエンハンスメントレイヤの動画像符号化構成としてＭＰＥＧ２符号化方式を用いたが、ＭＰＥＧ１やＭＰＥＧ４−ＡＶＣ等の他の動画像符号化規格をベースに用いた場合においても、勿論適用可能である。
１０１ 符号化器
１０２ 通信回線または記録媒体
１０３ 復号化器
１０４ 空間デシメーション器
１０５ ベースレイヤエンコード器（低解像度符号化部）
１０６ ベースレイヤデコード器
１０７ 空間インターポレーション器
１０８ 空間高周波数成分推定拡大器
１０９ エンハンスメントレイヤエンコード器（高解像度符号化部）
１１０ 多重化器
１１１ エクストラクト器
１１２ ベースレイヤデコード器（低解像度復号化部）
１１３ 空間インターポレーション器
１１４ 空間高周波数成分推定拡大器
１１５ エンハンスメントレイヤデコード器（高解像度復号化部）
４０２ 第１レート変換制御器
４０３ 第１アップサンプル器
４０４ 第１ＬＰＦ器
４０５ 第１ダウンサンプル器
４０６ 第２ＬＰＦ器
４０７ 信号合成器
４０８ 第４ＬＰＦ器
４０９ 信号合成器
４１１ 第２レート変換制御器
４１２ 第２アップサンプル器
４１３ 第３ＬＰＦ器
４１４ 第２ダウンサンプル器
４１５ 第１振幅制御器
４１６ 第１定数倍器
４１７ 振幅制御器
４１８ 定数倍制御器
５０１ ラプラシアン成分分離合成制御器
５０２ ラプラシアン成分分離器
５０３ ラプラシアン成分合成器
５０７ 第１振幅制限器
５０８ 第１定数倍器
５０９ 第２振幅制限器
５１０ 第２定数倍器
５１３ 振幅制御器
５１４ 定数倍制御器
５０７１〜５０７Ｎ 第１〜第Ｎの振幅制御器
５０８１〜５０８Ｎ 第１〜第Ｎの定数倍器
１０２ 通信回線または記録媒体
１０３ 復号化器
１０４ 空間デシメーション器
１０５ ベースレイヤエンコード器（低解像度符号化部）
１０６ ベースレイヤデコード器
１０７ 空間インターポレーション器
１０８ 空間高周波数成分推定拡大器
１０９ エンハンスメントレイヤエンコード器（高解像度符号化部）
１１０ 多重化器
１１１ エクストラクト器
１１２ ベースレイヤデコード器（低解像度復号化部）
１１３ 空間インターポレーション器
１１４ 空間高周波数成分推定拡大器
１１５ エンハンスメントレイヤデコード器（高解像度復号化部）
４０２ 第１レート変換制御器
４０３ 第１アップサンプル器
４０４ 第１ＬＰＦ器
４０５ 第１ダウンサンプル器
４０６ 第２ＬＰＦ器
４０７ 信号合成器
４０８ 第４ＬＰＦ器
４０９ 信号合成器
４１１ 第２レート変換制御器
４１２ 第２アップサンプル器
４１３ 第３ＬＰＦ器
４１４ 第２ダウンサンプル器
４１５ 第１振幅制御器
４１６ 第１定数倍器
４１７ 振幅制御器
４１８ 定数倍制御器
５０１ ラプラシアン成分分離合成制御器
５０２ ラプラシアン成分分離器
５０３ ラプラシアン成分合成器
５０７ 第１振幅制限器
５０８ 第１定数倍器
５０９ 第２振幅制限器
５１０ 第２定数倍器
５１３ 振幅制御器
５１４ 定数倍制御器
５０７１〜５０７Ｎ 第１〜第Ｎの振幅制御器
５０８１〜５０８Ｎ 第１〜第Ｎの定数倍器
Claims (6)
- 入力動画像信号を解像度の異なる複数の階層毎に符号化し、少なくとも低解像度画像信号と高解像度画像信号の異なる解像度の画像信号を生成する動画像階層符号化装置であって、
前記入力動画像信号に対して空間的縮小処理を行い、前記入力動画像信号より解像度の低い低解像度画像信号を出力する、空間デシメーション部と、
前記低解像度画像信号を符号化して低解像度符号化データを出力する、低解像度符号化部と、
前記低解像度符号化データを復号した低解像度復号信号を生成する、低解像度復号化部と、
前記低解像度復号信号を空間的に拡大し、前記高解像度画像信号と同じ解像度の拡大復号画像信号を生成する、第１の空間インターポレーション部と、
前記復号信号に対し前記空間デシメーション部における空間的縮小処理により消失した高周波成分の推定拡大処理を行い、空間高周波成分推定拡大信号を生成する、空間高周波成分推定拡大部と、
前記拡大復号画像信号に前記空間高周波成分推定拡大信号を加算した信号を予測画像信号として使用して、前記高解像度画像信号を予測符号化し、高解像度符号化データを出力する、高解像度符号化部と、
を有し、
前記空間高周波成分推定拡大部は、
前記低解像度復号化部からの前記低解像度復号信号に対しハイパスフィルタリング処理を施し、低解像度高周波数成分ピクチャを出力する第１のハイパスフィルタリング部と、
前記低解像度高周波数成分ピクチャを空間的に拡大し、前記高解像度画像信号と同じ解像度の拡大復号画像信号を生成する、第２の空間インターポレーション部と、
前記拡大復号画像信号に対し閾値処理を行い、信号振幅が抑制された拡大ラプラシアン成分ピクチャを生成すると共に、信号振幅が抑制された拡大ラプラシアン成分ピクチャに対し信号振幅の定数倍処理を行って、信号振幅が定数倍された拡大ラプラシアン成分ピクチャを生成する、振幅制限・定数倍処理部と
前記拡大ラプラシアン成分ピクチャに対しハイパスフィルタリング処理を施し、高解像度高周波数成分ピクチャをレイヤ間予測ピクチャとして前記高解像度符号化部に送る第２のハイパスフィルタリング部と、
を有し、
前記振幅制限・定数倍処理部は、
外部からの分割合成制御指令に基づいて、前記第２の空間インターポレーション部からの前記拡大復号画像信号を所定の分割方法および分割数に基づいて分割処理を行うための分割制御情報と、所定の分割方法および分割数によって分割処理された拡大ラプラシアン成分ピクチャに対し、所定の合成方法および合成数に基づいて合成処理を行うための合成制御情報とを特定するラプラシアン成分分離合成制御器と、
前記分割制御情報に基づいて、前記第２の空間インターポレーション部からの前記拡大復号画像信号を分割するラプラシアン成分分離器と、
前記ラプラシアン成分分離器によって分割された前記拡大復号画像信号それぞれに対し、信号振幅を抑制するための閾値である所定のパラメータに基づいてそれぞれ振幅制限を行い、各パラメータによって信号振幅が抑制された拡大ラプラシアン成分ピクチャを生成する複数の振幅制御器と、
前記複数の振幅制御器によって信号振幅が抑制された拡大ラプラシアン成分ピクチャそれぞれに対し、定数倍処理により信号振幅の拡大・縮小を行うための閾値である所定のパラメータに基づいてそれぞれ信号振幅の定数倍処理により信号振幅の拡大・縮小を行い、信号振幅が定数倍された拡大ラプラシアン成分ピクチャを生成する複数の定数倍器と、
を有する動画像階層符号化装置。 - 入力動画像信号を解像度の異なる複数の階層毎に符号化し、少なくとも低解像度画像信号と高解像度画像信号の異なる解像度の画像信号を生成する動画像階層符号化方法であって、
前記入力動画像信号に対して空間的縮小処理を行い、前記入力動画像信号より解像度の低い低解像度画像信号を出力する空間デシメーションステップと、
前記低解像度画像信号を符号化して低解像度符号化データを出力するステップと、
前記低解像度符号化データを復号した低解像度復号信号を生成する低解像度復号化ステップと、
前記低解像度復号信号を空間的に拡大し、前記高解像度画像信号と同じ解像度の拡大復号画像信号を生成する第１の空間インターポレーションステップと、
前記復号信号に対し前記空間デシメーションステップにおける空間的縮小処理により消失した高周波成分の推定拡大処理を行い、空間高周波成分推定拡大信号を生成する空間高周波成分推定拡大ステップと、
前記拡大復号画像信号に前記空間高周波成分推定拡大信号を加算した信号を予測画像信号として使用して、前記高解像度画像信号を予測符号化し、高解像度符号化データを出力する高解像度符号化ステップと、
を含み、
前記空間高周波成分推定拡大ステップは、
前記低解像度復号化ステップからの前記低解像度復号信号に対しハイパスフィルタリング処理を施し、低解像度高周波数成分ピクチャを出力する第１のハイパスフィルタリングステップと、
前記低解像度高周波数成分ピクチャを空間的に拡大し、前記高解像度画像信号と同じ解像度の拡大復号画像信号を生成する、第２の空間インターポレーションステップと、
前記拡大復号画像信号に対し閾値処理を行い、信号振幅が抑制された拡大ラプラシアン成分ピクチャを生成すると共に、信号振幅が抑制された拡大ラプラシアン成分ピクチャに対し信号振幅の定数倍処理を行って、信号振幅が定数倍された拡大ラプラシアン成分ピクチャを生成する、振幅制限・定数倍処理ステップと、
前記拡大ラプラシアン成分ピクチャに対しハイパスフィルタリング処理を施し、高解像度高周波数成分ピクチャをレイヤ間予測ピクチャとして前記高解像度符号化ステップに送る第２のハイパスフィルタリングステップと、
を含み、
前記振幅制限・定数倍処理ステップは、
外部からの分割合成制御指令に基づいて、前記第２の空間インターポレーションステップからの前記拡大復号画像信号を所定の分割方法および分割数に基づいて分割処理を行うための分割制御情報と、所定の分割方法および分割数によって分割処理された拡大ラプラシアン成分ピクチャに対し、所定の合成方法および合成数に基づいて合成処理を行うための合成制御情報とを特定するステップと、
前記分割制御情報に基づいて、前記第２の空間インターポレーションステップからの前記拡大復号画像信号を分割するラプラシアン成分分離ステップと、
前記ラプラシアン成分分離ステップによって分割された前記拡大復号画像信号それぞれに対し、信号振幅を抑制するための閾値である所定のパラメータに基づいてそれぞれ振幅制限を行い、各パラメータによって信号振幅が抑制された拡大ラプラシアン成分ピクチャを生成する振幅制御ステップと、
前記振幅制御ステップによって信号振幅が抑制された拡大ラプラシアン成分ピクチャそれぞれに対し、定数倍処理により信号振幅の拡大・縮小を行うための閾値である所定のパラメータに基づいてそれぞれ信号振幅の定数倍処理により信号振幅の拡大・縮小を行い、信号振幅が定数倍された拡大ラプラシアン成分ピクチャを生成するステップと、
を含む動画像階層符号化方法。
- コンピュータに、入力動画像信号を解像度の異なる複数の階層毎に符号化し、少なくとも低解像度画像信号と高解像度画像信号の異なる解像度の画像信号を生成する機能を実現させる動画像階層符号化プログラムであって、
前記入力動画像信号に対して空間的縮小処理を行い、前記入力動画像信号より解像度の低い低解像度画像信号を出力する空間デシメーション機能と、
前記低解像度画像信号を符号化して低解像度符号化データを出力する機能と、
前記低解像度符号化データを復号した低解像度復号信号を生成する低解像度復号化機能と、
前記低解像度復号信号を空間的に拡大し、前記高解像度画像信号と同じ解像度の拡大復号画像信号を生成する第１の空間インターポレーション機能と、
前記復号信号に対し前記空間デシメーション機能における空間的縮小処理により消失した高周波成分の推定拡大処理を行い、空間高周波成分推定拡大信号を生成する空間高周波成分推定拡大機能と、
前記拡大復号画像信号に前記空間高周波成分推定拡大信号を加算した信号を予測画像信号として使用して、前記高解像度画像信号を予測符号化し、高解像度符号化データを出力する高解像度符号化機能と、
をコンピュータに実現させ、
前記空間高周波成分推定拡大機能は、
前記低解像度復号化機能からの前記低解像度復号信号に対しハイパスフィルタリング処理を施し、低解像度高周波数成分ピクチャを出力する第１のハイパスフィルタリング機能と、
前記低解像度高周波数成分ピクチャを空間的に拡大し、前記高解像度画像信号と同じ解像度の拡大復号画像信号を生成する第２の空間インターポレーション機能と、
前記拡大復号画像信号に対し閾値処理を行い、信号振幅が抑制された拡大ラプラシアン成分ピクチャを生成すると共に、信号振幅が抑制された拡大ラプラシアン成分ピクチャに対し信号振幅の定数倍処理を行って、信号振幅が定数倍された拡大ラプラシアン成分ピクチャを生成する、振幅制限・定数倍処理機能と
前記拡大ラプラシアン成分ピクチャに対しハイパスフィルタリング処理を施し、高解像度高周波数成分ピクチャをレイヤ間予測ピクチャとして前記高解像度符号化機能に送る第２のハイパスフィルタリング機能と、
を含み、
前記振幅制限・定数倍処理機能は、
外部からの分割合成制御指令に基づいて、前記第２の空間インターポレーション機能からの前記拡大復号画像信号を所定の分割方法および分割数に基づいて分割処理を行うための分割制御情報と、所定の分割方法および分割数によって分割処理された拡大ラプラシアン成分ピクチャに対し、所定の合成方法および合成数に基づいて合成処理を行うための合成制御情報とを特定する機能と、
前記分割制御情報に基づいて、前記第２の空間インターポレーション機能からの前記拡大復号画像信号を分割するラプラシアン成分分離機能と、
前記ラプラシアン成分分離機能によって分割された前記拡大復号画像信号それぞれに対し、信号振幅を抑制するための閾値である所定のパラメータに基づいてそれぞれ振幅制限を行い、各パラメータによって信号振幅が抑制された拡大ラプラシアン成分ピクチャを生成する振幅制御機能と、
前記振幅制御機能によって信号振幅が抑制された拡大ラプラシアン成分ピクチャそれぞれに対し、定数倍処理により信号振幅の拡大・縮小を行うための閾値である所定のパラメータに基づいてそれぞれ信号振幅の定数倍処理により信号振幅の拡大・縮小を行い、信号振幅が定数倍された拡大ラプラシアン成分ピクチャを生成する機能と、
を含む動画像階層符号化プログラム。 - 少なくとも低解像度符号化データと高解像度符号化データとが多重化された多重化ビットストリームから少なくとも前記低解像度符号化データと前記高解像度符号化データとを復号して少なくとも低解像度画像信号と高解像度画像信号とを生成する動画像階層復号化装置であって、
前記多重化ビットストリームより少なくとも前記低解像度符号化データと前記高解像度符号化データとを分離する、多重分離部と、
分離された前記低解像度符号化データを復号し、前記低解像度復号画像信号を生成する、低解像度復号化部と、
前記低解像度復号画像信号を空間的に拡大し、拡大復号画像信号を生成する、第１の空間インターポレーション部と、
前記低解像度復号画像信号に対し、高周波成分の推定拡大処理を行い、空間高周波成分推定拡大信号を生成する、空間高周波成分推定拡大部と、
前記拡大復号画像信号に前記空間高周波成分推定拡大信号を加算した信号を予測画像信号として使用して前記高解像度画像信号に加算し、前記予測画像信を加算した前記高解像度画像信号を復号して、高解像度化映像信号を出力する、高解像度復号化部と、
を有し、
前記空間高周波成分推定拡大部は、
前記低解像度復号化部からの前記低解像度復号信号に対しハイパスフィルタリング処理を施し、低解像度高周波数成分ピクチャを出力する第１のハイパスフィルタリング部と、
前記低解像度高周波数成分ピクチャを空間的に拡大し、前記高解像度画像信号と同じ解像度の拡大復号画像信号を生成する、第２の空間インターポレーション部と、
前記拡大復号画像信号に対し閾値処理を行い、信号振幅が抑制された拡大ラプラシアン成分ピクチャを生成すると共に、信号振幅が抑制された拡大ラプラシアン成分ピクチャに対し信号振幅の定数倍処理を行って、信号振幅が定数倍された拡大ラプラシアン成分ピクチャを生成する、振幅制限・定数倍処理部と、
前記拡大ラプラシアン成分ピクチャに対しハイパスフィルタリング処理を施し、高解像度高周波数成分ピクチャをレイヤ間予測ピクチャとして前記高解像度符号化部に送る第２のハイパスフィルタリング部と、
を有し、
前記振幅制限・定数倍処理部は、
外部からの分割合成制御指令に基づいて、前記第２の空間インターポレーション部からの前記拡大復号画像信号を所定の分割方法および分割数に基づいて分割処理を行うための分割制御情報と、所定の分割方法および分割数によって分割処理された拡大ラプラシアン成分ピクチャに対し、所定の合成方法および合成数に基づいて合成処理を行うための合成制御情報とを特定するラプラシアン成分分離合成制御器と、
前記分割制御情報に基づいて、前記第２の空間インターポレーション部からの前記拡大復号画像信号を分割するラプラシアン成分分離器と、
前記ラプラシアン成分分離器によって分割された前記拡大復号画像信号それぞれに対し、信号振幅を抑制するための閾値である所定のパラメータに基づいてそれぞれ振幅制限を行い、各パラメータによって信号振幅が抑制された拡大ラプラシアン成分ピクチャを生成する複数の振幅制御器と、
前記複数の振幅制御器によって信号振幅が抑制された拡大ラプラシアン成分ピクチャそれぞれに対し、定数倍処理により信号振幅の拡大・縮小を行うための閾値である所定のパラメータに基づいてそれぞれ信号振幅の定数倍処理により信号振幅の拡大・縮小を行い、信号振幅が定数倍された拡大ラプラシアン成分ピクチャを生成する複数の定数倍器と、
を有する動画像階層復号化装置。 - 少なくとも低解像度符号化データと高解像度符号化データとが多重化された多重化ビットストリームから少なくとも前記低解像度符号化データと前記高解像度符号化データとを復号して少なくとも低解像度画像信号と高解像度画像信号とを生成する動画像階層復号化方法であって、
前記多重化ビットストリームより少なくとも前記低解像度符号化データと前記高解像度符号化データとを分離するステップと、
分離された前記低解像度符号化データを復号し、前記低解像度復号画像信号を生成する低解像度復号化ステップと、
前記低解像度復号画像信号を空間的に拡大し、拡大復号画像信号を生成する第１の空間インターポレーションステップと、
前記低解像度復号画像信号に対し、高周波成分の推定拡大処理を行い、空間高周波成分推定拡大信号を生成する空間高周波成分推定拡大ステップと、
前記拡大復号画像信号に前記空間高周波成分推定拡大信号を加算した信号を予測画像信号として使用して前記高解像度画像信号に加算し、前記予測画像信を加算した前記高解像度画像信号を復号して、高解像度化映像信号を出力する高解像度復号化ステップと、
を含み、
前記空間高周波成分推定拡大ステップは、
前記低解像度復号化ステップからの前記低解像度復号信号に対しハイパスフィルタリング処理を施し、低解像度高周波数成分ピクチャを出力する第１のハイパスフィルタリングステップと、
前記低解像度高周波数成分ピクチャを空間的に拡大し、前記高解像度画像信号と同じ解像度の拡大復号画像信号を生成する、第２の空間インターポレーションステップと、
前記拡大復号画像信号に対し閾値処理を行い、信号振幅が抑制された拡大ラプラシアン成分ピクチャを生成すると共に、信号振幅が抑制された拡大ラプラシアン成分ピクチャに対し信号振幅の定数倍処理を行って、信号振幅が定数倍された拡大ラプラシアン成分ピクチャを生成する、振幅制限・定数倍処理ステップと
前記拡大ラプラシアン成分ピクチャに対しハイパスフィルタリング処理を施し、高解像度高周波数成分ピクチャをレイヤ間予測ピクチャとして前記高解像度符号化ステップに送る第２のハイパスフィルタリングステップと、
を含み、
前記振幅制限・定数倍処理ステップは、
外部からの分割合成制御指令に基づいて、前記第２の空間インターポレーションステップからの前記拡大復号画像信号を所定の分割方法および分割数に基づいて分割処理を行うための分割制御情報と、所定の分割方法および分割数によって分割処理された拡大ラプラシアン成分ピクチャに対し、所定の合成方法および合成数に基づいて合成処理を行うための合成制御情報とを特定するステップと、
前記分割制御情報に基づいて、前記第２の空間インターポレーション部からの前記拡大復号画像信号を分割するラプラシアン成分分離ステップと、
前記ラプラシアン成分分離ステップによって分割された前記拡大復号画像信号それぞれに対し、信号振幅を抑制するための閾値である所定のパラメータに基づいてそれぞれ振幅制限を行い、各パラメータによって信号振幅が抑制された拡大ラプラシアン成分ピクチャを生成する振幅制御ステップと、
前記振幅制御ステップによって信号振幅が抑制された拡大ラプラシアン成分ピクチャそれぞれに対し、定数倍処理により信号振幅の拡大・縮小を行うための閾値である所定のパラメータに基づいてそれぞれ信号振幅の定数倍処理により信号振幅の拡大・縮小を行い、信号振幅が定数倍された拡大ラプラシアン成分ピクチャを生成するステップと、
を含む動画像階層復号化方法。 - コンピュータに、少なくとも低解像度符号化データと高解像度符号化データとが多重化された多重化ビットストリームから少なくとも前記低解像度符号化データと前記高解像度符号化データとを復号して低解像度画像信号と高解像度画像信号とを生成する機能を実現させる動画像階層復号化プログラムであって、
前記多重化ビットストリームより少なくとも前記低解像度符号化データと前記高解像度符号化データとを分離する機能と、
分離された前記低解像度符号化データを復号し、前記低解像度復号画像信号を生成する機能と、
前記低解像度復号画像信号を空間的に拡大し、拡大復号画像信号を生成する第１の空間インターポレーション機能と、
前記低解像度復号画像信号に対し、高周波成分の推定拡大処理を行い、空間高周波成分推定拡大信号を生成する空間高周波成分推定拡大機能と、
前記拡大復号画像信号に前記空間高周波成分推定拡大信号を加算した信号を予測画像信号として使用して前記高解像度画像信号に加算し、前記予測画像信を加算した前記高解像度画像信号を復号して、高解像度化映像信号を出力する高解像度復号化機能と、
をコンピュータに実現させ、
前記空間高周波成分推定拡大機能は、
前記低解像度復号化機能からの前記低解像度復号信号に対しハイパスフィルタリング処理を施し、低解像度高周波数成分ピクチャを出力する第１のハイパスフィルタリング機能と、
前記低解像度高周波数成分ピクチャを空間的に拡大し、前記高解像度画像信号と同じ解像度の拡大復号画像信号を生成する第２の空間インターポレーション機能と、
前記拡大復号画像信号に対し閾値処理を行い、信号振幅が抑制された拡大ラプラシアン成分ピクチャを生成すると共に、信号振幅が抑制された拡大ラプラシアン成分ピクチャに対し信号振幅の定数倍処理を行って、信号振幅が定数倍された拡大ラプラシアン成分ピクチャを生成する、振幅制限・定数倍処理機能と
前記拡大ラプラシアン成分ピクチャに対しハイパスフィルタリング処理を施し、高解像度高周波数成分ピクチャをレイヤ間予測ピクチャとして前記高解像度符号化機能に送る第２のハイパスフィルタリング機能と、
を含み、
前記振幅制限・定数倍処理機能は、
外部からの分割合成制御指令に基づいて、前記第２の空間インターポレーション機能からの前記拡大復号画像信号を所定の分割方法および分割数に基づいて分割処理を行うための分割制御情報と、所定の分割方法および分割数によって分割処理された拡大ラプラシアン成分ピクチャに対し、所定の合成方法および合成数に基づいて合成処理を行うための合成制御情報とを特定する機能と、
前記分割制御情報に基づいて、前記第２の空間インターポレーション部からの前記拡大復号画像信号を分割するラプラシアン成分分離機能と、
前記ラプラシアン成分分離機能によって分割された前記拡大復号画像信号それぞれに対し、信号振幅を抑制するための閾値である所定のパラメータに基づいてそれぞれ振幅制限を行い、各パラメータによって信号振幅が抑制された拡大ラプラシアン成分ピクチャを生成する振幅制御機能と、
前記振幅制御機能によって信号振幅が抑制された拡大ラプラシアン成分ピクチャそれぞれに対し、定数倍処理により信号振幅の拡大・縮小を行うための閾値である所定のパラメータに基づいてそれぞれ信号振幅の定数倍処理により信号振幅の拡大・縮小を行い、信号振幅が定数倍された拡大ラプラシアン成分ピクチャを生成する機能と、
を含む動画像階層復号化プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008129269A JP4870120B2 (ja) | 2008-05-16 | 2008-05-16 | 動画像階層符号化装置、動画像階層符号化方法、動画像階層符号化プログラム、動画像階層復号化装置、動画像階層復号化方法、および動画像階層復号化プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008129269A JP4870120B2 (ja) | 2008-05-16 | 2008-05-16 | 動画像階層符号化装置、動画像階層符号化方法、動画像階層符号化プログラム、動画像階層復号化装置、動画像階層復号化方法、および動画像階層復号化プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009278495A JP2009278495A (ja) | 2009-11-26 |
| JP4870120B2 true JP4870120B2 (ja) | 2012-02-08 |
Family
ID=41443482
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008129269A Expired - Fee Related JP4870120B2 (ja) | 2008-05-16 | 2008-05-16 | 動画像階層符号化装置、動画像階層符号化方法、動画像階層符号化プログラム、動画像階層復号化装置、動画像階層復号化方法、および動画像階層復号化プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4870120B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2011234163B2 (en) | 2010-03-31 | 2015-10-29 | Interdigital Ce Patent Holdings | 3D disparity maps |
| US8547389B2 (en) | 2010-04-05 | 2013-10-01 | Microsoft Corporation | Capturing image structure detail from a first image and color from a second image |
| US8340415B2 (en) * | 2010-04-05 | 2012-12-25 | Microsoft Corporation | Generation of multi-resolution image pyramids |
| KR101810845B1 (ko) * | 2011-05-26 | 2017-12-22 | 톰슨 라이센싱 | 스케일-독립적인 맵 |
| KR101554447B1 (ko) | 2012-09-28 | 2015-09-30 | 소니 주식회사 | 화상 처리 장치 및 방법 |
| US20160005155A1 (en) * | 2013-03-19 | 2016-01-07 | Sony Corporation | Image processing device and image processing method |
| WO2014166965A1 (en) * | 2013-04-08 | 2014-10-16 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Inter-component prediction |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2127151A1 (en) * | 1993-09-21 | 1995-03-22 | Atul Puri | Spatially scalable video encoding and decoding |
| JPH10164468A (ja) * | 1996-11-29 | 1998-06-19 | Sony Corp | 画像解像度変換装置、画像解像度変換方法およびビデオプリンター |
| KR100519776B1 (ko) * | 2003-11-24 | 2005-10-07 | 삼성전자주식회사 | 영상 신호의 해상도 변환 방법 및 장치 |
| JP4844456B2 (ja) * | 2006-06-15 | 2011-12-28 | 日本ビクター株式会社 | 映像信号階層符号化装置、映像信号階層符号化方法、及び映像信号階層符号化プログラム |
-
2008
- 2008-05-16 JP JP2008129269A patent/JP4870120B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2009278495A (ja) | 2009-11-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2007174634A (ja) | 階層符号化装置、階層復号化装置、階層符号化方法、階層復号方法、階層符号化プログラム及び階層復号プログラム | |
| JP4870120B2 (ja) | 動画像階層符号化装置、動画像階層符号化方法、動画像階層符号化プログラム、動画像階層復号化装置、動画像階層復号化方法、および動画像階層復号化プログラム | |
| JP5369893B2 (ja) | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、動画像復号プログラム、動画像再符号化装置、動画像再符号化方法、動画像再符号化プログラム | |
| JP4565392B2 (ja) | 映像信号階層復号化装置、映像信号階層復号化方法、及び映像信号階層復号化プログラム | |
| JP4844741B2 (ja) | 動画像符号化装置及び動画像復号装置と、その方法及びプログラム | |
| KR20190087391A (ko) | 복수의 보간 필터링 방법 및 이를 적용한 부호화 장치 | |
| JP2013110518A (ja) | 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム | |
| JP4888919B2 (ja) | 動画像符号化装置および動画像復号装置 | |
| JP4844455B2 (ja) | 映像信号階層復号化装置、映像信号階層復号化方法、及び映像信号階層復号化プログラム | |
| KR102345770B1 (ko) | 비디오 부호화 및 복호화 방법, 그를 이용한 장치 | |
| JP4626608B2 (ja) | 動画像階層符号化装置、動画像階層符号化プログラム、動画像階層復号化装置及び動画像階層復号化プログラム | |
| JP4844456B2 (ja) | 映像信号階層符号化装置、映像信号階層符号化方法、及び映像信号階層符号化プログラム | |
| KR20050084396A (ko) | 공간 스케일 능력를 갖는 디지털 필터 | |
| JP4565393B2 (ja) | 映像信号階層符号化装置、映像信号階層符号化方法、及び映像信号階層符号化プログラム | |
| JP4620695B2 (ja) | スケーラブル動画像符号化方法，装置，そのプログラムおよびその記録媒体 | |
| JP2006101440A (ja) | 情報処理装置及び情報処理方法 | |
| JP4780139B2 (ja) | 映像階層符号化装置、映像階層符号化方法、映像階層符号化プログラム、映像階層復号装置、映像階層復号方法、および映像階層復号プログラム | |
| JP6265414B2 (ja) | 映像符号化装置及び映像復号装置 | |
| JP2011004343A (ja) | 時空間ダウンサンプリング処理装置、時空間アップサンプリング処理装置、符号化装置、復号装置及びプログラム | |
| KR100897640B1 (ko) | 동화상 부호화 장치 및 동화상 복호 장치와, 그 방법 및 프로그램이 기록된 컴퓨터 판독가능한 기록 매체 | |
| JP2008136037A (ja) | 映像信号階層符号化装置、映像信号階層符号化方法、及び映像信号階層符号化プログラム | |
| JP2008011009A (ja) | 映像信号符号化装置、映像信号復号化装置、映像信号符号化プログラム及び映像信号復号化プログラム | |
| JP2008136038A (ja) | 映像信号階層復号化装置、映像信号階層復号化方法、及び映像信号階層復号化プログラム | |
| JP2009267573A (ja) | 動画像階層符号化装置、動画像階層復号化装置、動画像階層符号化方法、動画像階層復号方法、動画像階層符号化プログラム及び階層復号プログラム | |
| JP2010028218A (ja) | 画像符号化装置、画像復号装置、画像帯域分割装置及び画像帯域合成装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100624 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100909 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110523 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110531 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110728 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110823 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110928 |
|
| TRDD | Decision of grant or rejection written | ||
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20111012 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111108 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111116 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4870120 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141125 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |