JP2009267573A - 動画像階層符号化装置、動画像階層復号化装置、動画像階層符号化方法、動画像階層復号方法、動画像階層符号化プログラム及び階層復号プログラム - Google Patents
動画像階層符号化装置、動画像階層復号化装置、動画像階層符号化方法、動画像階層復号方法、動画像階層符号化プログラム及び階層復号プログラム Download PDFInfo
- Publication number
- JP2009267573A JP2009267573A JP2008112313A JP2008112313A JP2009267573A JP 2009267573 A JP2009267573 A JP 2009267573A JP 2008112313 A JP2008112313 A JP 2008112313A JP 2008112313 A JP2008112313 A JP 2008112313A JP 2009267573 A JP2009267573 A JP 2009267573A
- Authority
- JP
- Japan
- Prior art keywords
- frequency component
- resolution
- image signal
- unit
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】符号化レイヤ間の画像信号の予測誤差信号を符号化する場合に、予測誤差信号の情報量を削減し、符号量を削減して効率良く符号化を行う。
【解決手段】動画像階層符号化装置101では、空間インターポレーション部106はベースレイヤエンコード部105からのベースレイヤローカルデコード信号をエンハンスメントレイヤの解像度に拡大し、高周波成分除去部118は高周波成分推定拡大部117からのベースレイヤローカルデコード信号に基づき推定された高周波成分推定信号を入力画像信号から除去し、エンハンスメントレイヤエンコード部107は、高周波成分除去部118からの高周波成分除去信号と、空間インターポレーション部106からのエンハンスメントレイヤの解像度に拡大されたインターポレーション信号との差分をとってエンハンスメントレイヤにて符号化する。
【選択図】図1
【解決手段】動画像階層符号化装置101では、空間インターポレーション部106はベースレイヤエンコード部105からのベースレイヤローカルデコード信号をエンハンスメントレイヤの解像度に拡大し、高周波成分除去部118は高周波成分推定拡大部117からのベースレイヤローカルデコード信号に基づき推定された高周波成分推定信号を入力画像信号から除去し、エンハンスメントレイヤエンコード部107は、高周波成分除去部118からの高周波成分除去信号と、空間インターポレーション部106からのエンハンスメントレイヤの解像度に拡大されたインターポレーション信号との差分をとってエンハンスメントレイヤにて符号化する。
【選択図】図1
Description
本発明は、空間解像度が互いに異なる、2階層や3階層、4階層などの複数階層の符号化レイヤにより動画像信号を符号化する動画像の階層符号化装置、階層符号化方法、階層符号化プログラム、及び空間解像度が互いに異なる複数の符号化レイヤにより動画像信号が階層符号化された符号化ビットストリームを復号する動画像の階層復号化装置、階層復号方法及び階層復号プログラムに関する。
従来、映像符号化において空間解像度、時間解像度及びSNR(信号対雑音比)それぞれのスケーラビリティを実現する符号化方式が数多く提案されており、様々な分野でこれらの実用化がなされている。なかでも、空間解像度のスケーラビリティに関しては、静止画像の符号化を含め、その適用範囲が広く、映像の空間解像度スケーラビリティを実現する階層符号化装置及び復号装置として、例えば、ベースレイヤとエンハンスメントレイヤの2層の階層符号化装置において、ベースレイヤの復号信号を空間的にインターポレーション(補間)してエンハンスメントレイヤの空間解像度にした信号と、エンハンスメントレイヤの映像信号との間で相関を利用した予測を行い、その予測誤差信号を符号化して符号化ビットストリームを復号装置へ伝送し、復号装置ではその符号化ビットストリームを復号するものがある(例えば、特許文献1参照。)。
特開平7−162870号公報
しかし、ベースレイヤの符号化対象として用意する画像フレームにおいては、エンハンスメントレイヤで扱う画像フレームに含まれるような高い周波数成分は、ベースレイヤの空間解像度に縮小(デジメーション)する際、周波数帯域制限によって除去される。また、ベースレイヤにおける符号化の結果、あまり重要でないと判断された高い周波数成分は、量子化などの符号化処理の過程で除去される。
そのため、上記特許文献1に記載の従来技術のように、このようなベースレイヤの符号化信号を復号し、さらにインターポレーション(補間)してエンハンスメントレイヤの空間解像度にした信号との相関を利用してエンハンスメントレイヤの動画像信号を符号化する場合、ベースレイヤの信号とエンハンスメントレイヤの信号との間で予測処理を行った予測誤差信号には、低周波数成分を多く含む領域に対しては正しい予測処理が行われている可能性が高いが、比較的大きな高周波数成分が連続した領域、例えばエッジ部などを含む領域においては、ベースレイヤから得られる信号では高周波成分が除去されているため、十分な予測処理を行うことができず、予測誤差信号の情報量が増大し、符号量が増大する、という問題が生じる。
そこで、本発明は、符号化レイヤ間の画像信号の予測誤差信号を符号化する場合に、予測誤差信号の情報量を削減し、符号量を削減して効率良く符号化を行うことができる動画像の階層符号化装置、階層符号化方法、階層符号化プログラム、およびかかる符号化により符号化された符号化ビットストリームを復号することができる動画像の階層復号化装置、階層復号方法及び階層復号プログラムを提供することにある。
上記課題を解決するため本発明の動画像階層符号化装置は、入力動画像信号から少なくとも低解像度画像信号と高解像度画像信号とを生成して符号化する動画像階層符号化装置であって、前記入力動画像信号に対して空間的縮小処理を行い、前記入力動画像信号より解像度の低い低解像度画像信号を得る、空間デシメーション部と、前記入力動画像信号を高解像度画像信号として蓄積する、高解像度信号保持部と、前記低解像度画像信号を符号化して低解像度符号化データを得ると共に、前記符号化の際の局部復号化処理により低解像度符号化データの局部復号信号を生成する、低解像度符号化部と、前記局部復号化処理で得られた前記局部復号信号を空間的に拡大し、拡大復号画像信号を生成する、空間インターポレーション部と、前記局部復号信号に対し前記空間デシメーション部における空間的縮小処理により消失した高周波成分の推定処理を行い、高周波成分推定信号を生成する、高周波成分推定部と、前記高解像度画像信号より、前記高周波成分推定信号を減算した高周波成分除去画像信号を生成する、高周波成分除去部と、前記高周波成分除去画像信号を、前記空間インターポレーション部により生成された前記拡大復号画像信号を用いて符号化し、高解像度符号化データを得る、高解像度符号化部と、少なくとも前記低解像度符号化データと前記高解像度符号化データの多重化処理を行う、多重化部と、を有する。
ここで、前記高周波成分推定部は、前記低解像度符号化部からの前記局部復号信号を基に前記高解像度画像信号と相関が高い高周波数成分を抽出する、第1のハイパスフィルタリング部と、抽出された前記高周波数成分を前記高解像度画像信号の解像度に空間的に拡大する、空間インターポレーション部と、空間的に拡大された前記高周波数成分に対し振幅制限および定数倍処理をする振幅制限・定数倍処理部と、振幅制限および定数倍処理された前記高周波成分から低域成分を除去して前記高周波成分除去部へ出力する、第2のハイパスフィルタリング部と、を有するようにしても良いし。また、前記高周波成分推定部は、さらに、前記入力画像信号と、前記第2のハイパスフィルタリング部からの低域成分が除去された前記高周波成分とに基づいて前記振幅制限・定数倍処理部が前記振幅制限および定数倍処理をする際の強度パラメータを指定範囲内で推定し、その推定強度パラメータを前記振幅制限および定数倍処理部へ出力して、前記振幅制限・定数倍処理部に前記指定範囲内の前記推定強度パラメータに基づいて前記高周波数成分に対し振幅制限および定数倍処理を行わせると共に、前記指定範囲内で推定した全ての前記推定強度パラメータにて生成された前記高周波成分信号と前記入力画像信号の高域成分とのレベル差が最小となる最適推定強度パラメータを出力する推定度判断部と、前記推定度判断部からの前記最適推定強度パラメータをエントロピー符号化するエントロピー符号化部と、を有し、前記第2のハイパスフィルタリング部は、前記振幅制限・定数倍処理部が前記最適推定強度パラメータに基づいて振幅制限および定数倍処理を行った前記高周波数成分から低域成分を除去して前記高周波成分除去部へ出力し、前記多重化部は、さらに、エントロピー符号化された前記最適推定強度パラメータを多重化する、ようにしても良い。
また、本発明の動画像階層符号化方法は、入力動画像信号から少なくとも低解像度画像信号と高解像度画像信号とを生成して符号化する動画像階層符号化方法であって、前記入力動画像信号に対して空間的縮小処理を行い、前記入力動画像信号より解像度の低い低解像度画像信号を得るステップと、前記入力動画像信号を高解像度画像信号として蓄積するステップと、前記低解像度画像信号を符号化して低解像度符号化データを得ると共に、前記符号化の際の局部復号化処理により低解像度符号化データの局部復号信号を生成するステップと、前記局部復号化処理で得られた前記局部復号信号を空間的に拡大し、拡大復号画像信号を生成するステップと、前記局部復号信号に対し前記空間デシメーション部における空間的縮小処理により消失した高周波成分の推定処理を行い、高周波成分推定信号を生成するステップと、前記高解像度画像信号より、前記高周波成分推定信号を減算した高周波成分除去画像信号を生成するステップと、前記高周波成分除去画像信号を、前記空間インターポレーション部により生成された前記拡大復号画像信号を用いて符号化し、高解像度符号化データを得るステップと、少なくとも前記低解像度符号化データと前記高解像度符号化データの多重化処理を行うステップと、を有する。
また、本発明の動画像階層符号化プログラムは、入力動画像信号から少なくとも低解像度画像信号と高解像度画像信号とを生成して符号化する動作を、コンピュータに実行させるための動画像階層符号化プログラムであって、上記動画像階層符号化方法の各ステップをコンピュータに実行させるプログラムである。
また、本発明の動画像階層復号化装置は、少なくとも低解像度符号化データと高解像度符号化データとが多重化された多重化ビットストリームから少なくとも前記低解像度符号化データと前記高解像度符号化データとを復号して低解像度画像信号と高解像度画像信号とを生成する動画像階層復号化装置であって、前記多重化ビットストリームより少なくとも前記低解像度符号化データと前記高解像度符号化データとを分離する、多重分離部と、分離された前記低解像度符号化データを復号し、前記低解像度復号画像信号を生成する、低解像度復号化部と、前記低解像度復号画像信号を空間的に拡大し、拡大復号画像信号を生成する、空間インターポレーション部と、前記空間インターポレーション部により生成された前記拡大復号画像信号を用いて、前記高解像度符号化データを復号し、前記高解像度復号画像信号を生成する、高解像度復号化部と、前記低解像度復号画像信号に対し前記空間デシメーション部における空間的縮小処理により消失した高周波成分の推定処理を行い、高周波成分推定信号を生成する、高周波成分推定部と、前記高解像度画像信号に対して、前記高周波成分推定信号を加算することにより、高周波成分を復元した前記高解像度画像信号を生成する高周波成分復元部と、を有する。
ここで、前記高周波成分推定部は、前記低解像度符号化部からの前記局部復号信号を基に前記高解像度画像信号と相関が高い高周波数成分を抽出する、第1のハイパスフィルタリング部と、抽出された前記高周波数成分を前記高解像度画像信号の解像度に空間的に拡大する、空間インターポレーション部と、空間的に拡大された前記高周波数成分に対し振幅制限および定数倍処理をする振幅制限・定数倍処理部と、振幅制限および定数倍処理された前記高周波成分から低域成分を除去して前記高周波成分除去部へ出力する、第2のハイパスフィルタリング部と、を有するようにしても良い。また、前記多重分離部は、前記多重化ビットストリームより、前記低解像度符号化データと、前記高解像度符号化データと、さらに前記高解像度符号化データを符号化した際に用いられエントロピー符号化された最適推定強度パラメータを分離し、前記高周波成分推定部は、さらに、エントロピー符号化された前記最適推定強度パラメータをエントロピー復号化するエントロピー復号化部、を有し、前記振幅制限・定数倍処理部は、エントロピー復号化された前記最適推定強度パラメータに基づいて空間的に拡大された前記高周波数成分に対し振幅制限および定数倍処理をする、ようにしても良い。
また、本発明の動画像階層復号化方法は、少なくとも低解像度符号化データと高解像度符号化データとが多重化された多重化ビットストリームから少なくとも前記低解像度符号化データと前記高解像度符号化データとを復号して低解像度画像信号と高解像度画像信号とを生成する動画像階層復号化方法であって、前記多重化ビットストリームより少なくとも前記低解像度符号化データと前記高解像度符号化データとを分離するステップと、分離された前記低解像度符号化データを復号し、前記低解像度復号画像信号を生成するステップと、前記低解像度復号画像信号を空間的に拡大し、拡大復号画像信号を生成するステップと、前記空間インターポレーション部により生成された前記拡大復号画像信号を用いて、前記高解像度符号化データを復号し、前記高解像度復号画像信号を生成するステップと、前記低解像度復号画像信号に対し前記空間デシメーション部における空間的縮小処理により消失した高周波成分の推定処理を行い、前記高周波成分推定信号を生成するステップと、前記高解像度画像信号に対して、前記高周波成分推定信号を加算することにより、高周波成分を復元した前記高解像度画像信号を生成するステップと、を有する。
また、本発明の動画像階層復号化プログラムは、少なくとも低解像度符号化データと高解像度符号化データとが多重化された多重化ビットストリームから少なくとも前記低解像度符号化データと前記高解像度符号化データとを復号して低解像度画像信号と高解像度画像信号とを生成する動作をコンピュータに実行させるための動画像階層復号化プログラムであって、前記動画像階層復号化方法の各ステップを実行するプログラムである。
ここで、前記高周波成分推定部は、前記低解像度符号化部からの前記局部復号信号を基に前記高解像度画像信号と相関が高い高周波数成分を抽出する、第1のハイパスフィルタリング部と、抽出された前記高周波数成分を前記高解像度画像信号の解像度に空間的に拡大する、空間インターポレーション部と、空間的に拡大された前記高周波数成分に対し振幅制限および定数倍処理をする振幅制限・定数倍処理部と、振幅制限および定数倍処理された前記高周波成分から低域成分を除去して前記高周波成分除去部へ出力する、第2のハイパスフィルタリング部と、を有するようにしても良いし。また、前記高周波成分推定部は、さらに、前記入力画像信号と、前記第2のハイパスフィルタリング部からの低域成分が除去された前記高周波成分とに基づいて前記振幅制限・定数倍処理部が前記振幅制限および定数倍処理をする際の強度パラメータを指定範囲内で推定し、その推定強度パラメータを前記振幅制限および定数倍処理部へ出力して、前記振幅制限・定数倍処理部に前記指定範囲内の前記推定強度パラメータに基づいて前記高周波数成分に対し振幅制限および定数倍処理を行わせると共に、前記指定範囲内で推定した全ての前記推定強度パラメータにて生成された前記高周波成分信号と前記入力画像信号の高域成分とのレベル差が最小となる最適推定強度パラメータを出力する推定度判断部と、前記推定度判断部からの前記最適推定強度パラメータをエントロピー符号化するエントロピー符号化部と、を有し、前記第2のハイパスフィルタリング部は、前記振幅制限・定数倍処理部が前記最適推定強度パラメータに基づいて振幅制限および定数倍処理を行った前記高周波数成分から低域成分を除去して前記高周波成分除去部へ出力し、前記多重化部は、さらに、エントロピー符号化された前記最適推定強度パラメータを多重化する、ようにしても良い。
また、本発明の動画像階層符号化方法は、入力動画像信号から少なくとも低解像度画像信号と高解像度画像信号とを生成して符号化する動画像階層符号化方法であって、前記入力動画像信号に対して空間的縮小処理を行い、前記入力動画像信号より解像度の低い低解像度画像信号を得るステップと、前記入力動画像信号を高解像度画像信号として蓄積するステップと、前記低解像度画像信号を符号化して低解像度符号化データを得ると共に、前記符号化の際の局部復号化処理により低解像度符号化データの局部復号信号を生成するステップと、前記局部復号化処理で得られた前記局部復号信号を空間的に拡大し、拡大復号画像信号を生成するステップと、前記局部復号信号に対し前記空間デシメーション部における空間的縮小処理により消失した高周波成分の推定処理を行い、高周波成分推定信号を生成するステップと、前記高解像度画像信号より、前記高周波成分推定信号を減算した高周波成分除去画像信号を生成するステップと、前記高周波成分除去画像信号を、前記空間インターポレーション部により生成された前記拡大復号画像信号を用いて符号化し、高解像度符号化データを得るステップと、少なくとも前記低解像度符号化データと前記高解像度符号化データの多重化処理を行うステップと、を有する。
また、本発明の動画像階層符号化プログラムは、入力動画像信号から少なくとも低解像度画像信号と高解像度画像信号とを生成して符号化する動作を、コンピュータに実行させるための動画像階層符号化プログラムであって、上記動画像階層符号化方法の各ステップをコンピュータに実行させるプログラムである。
また、本発明の動画像階層復号化装置は、少なくとも低解像度符号化データと高解像度符号化データとが多重化された多重化ビットストリームから少なくとも前記低解像度符号化データと前記高解像度符号化データとを復号して低解像度画像信号と高解像度画像信号とを生成する動画像階層復号化装置であって、前記多重化ビットストリームより少なくとも前記低解像度符号化データと前記高解像度符号化データとを分離する、多重分離部と、分離された前記低解像度符号化データを復号し、前記低解像度復号画像信号を生成する、低解像度復号化部と、前記低解像度復号画像信号を空間的に拡大し、拡大復号画像信号を生成する、空間インターポレーション部と、前記空間インターポレーション部により生成された前記拡大復号画像信号を用いて、前記高解像度符号化データを復号し、前記高解像度復号画像信号を生成する、高解像度復号化部と、前記低解像度復号画像信号に対し前記空間デシメーション部における空間的縮小処理により消失した高周波成分の推定処理を行い、高周波成分推定信号を生成する、高周波成分推定部と、前記高解像度画像信号に対して、前記高周波成分推定信号を加算することにより、高周波成分を復元した前記高解像度画像信号を生成する高周波成分復元部と、を有する。
ここで、前記高周波成分推定部は、前記低解像度符号化部からの前記局部復号信号を基に前記高解像度画像信号と相関が高い高周波数成分を抽出する、第1のハイパスフィルタリング部と、抽出された前記高周波数成分を前記高解像度画像信号の解像度に空間的に拡大する、空間インターポレーション部と、空間的に拡大された前記高周波数成分に対し振幅制限および定数倍処理をする振幅制限・定数倍処理部と、振幅制限および定数倍処理された前記高周波成分から低域成分を除去して前記高周波成分除去部へ出力する、第2のハイパスフィルタリング部と、を有するようにしても良い。また、前記多重分離部は、前記多重化ビットストリームより、前記低解像度符号化データと、前記高解像度符号化データと、さらに前記高解像度符号化データを符号化した際に用いられエントロピー符号化された最適推定強度パラメータを分離し、前記高周波成分推定部は、さらに、エントロピー符号化された前記最適推定強度パラメータをエントロピー復号化するエントロピー復号化部、を有し、前記振幅制限・定数倍処理部は、エントロピー復号化された前記最適推定強度パラメータに基づいて空間的に拡大された前記高周波数成分に対し振幅制限および定数倍処理をする、ようにしても良い。
また、本発明の動画像階層復号化方法は、少なくとも低解像度符号化データと高解像度符号化データとが多重化された多重化ビットストリームから少なくとも前記低解像度符号化データと前記高解像度符号化データとを復号して低解像度画像信号と高解像度画像信号とを生成する動画像階層復号化方法であって、前記多重化ビットストリームより少なくとも前記低解像度符号化データと前記高解像度符号化データとを分離するステップと、分離された前記低解像度符号化データを復号し、前記低解像度復号画像信号を生成するステップと、前記低解像度復号画像信号を空間的に拡大し、拡大復号画像信号を生成するステップと、前記空間インターポレーション部により生成された前記拡大復号画像信号を用いて、前記高解像度符号化データを復号し、前記高解像度復号画像信号を生成するステップと、前記低解像度復号画像信号に対し前記空間デシメーション部における空間的縮小処理により消失した高周波成分の推定処理を行い、前記高周波成分推定信号を生成するステップと、前記高解像度画像信号に対して、前記高周波成分推定信号を加算することにより、高周波成分を復元した前記高解像度画像信号を生成するステップと、を有する。
また、本発明の動画像階層復号化プログラムは、少なくとも低解像度符号化データと高解像度符号化データとが多重化された多重化ビットストリームから少なくとも前記低解像度符号化データと前記高解像度符号化データとを復号して低解像度画像信号と高解像度画像信号とを生成する動作をコンピュータに実行させるための動画像階層復号化プログラムであって、前記動画像階層復号化方法の各ステップを実行するプログラムである。
本発明の動画像階層符号化装置、符号化方法、符号化プログラムでは、階層符号化における高解像度符号化処理の前段に、低解像度符号化処理の際の局部復号(ローカルデコード)信号より高周波数成分を推定し、推定した高周波成分を除去する高周波数成分除去処理を追加したため、高解像度符号化処理が行われる入力映像信号は高域成分が取り除かれた信号となり、従来技術の階層間予測であれば予測が困難であった高域成分が存在しなくなるので、予測誤差を小さくすることができる。また、高解像度符号化処理において動き補償予測を行う場合でも、予測対象の高域成分が存在しないため、動きによる変形や解像度変化による動き補償予測誤差の高周波成分増大を防ぐことが可能となる。両方の効果により、高解像度符号化処理の符号化効率が向上する。
また、高周波数成分を推定する際、局部復号(ローカルデコード)信号の劣化状態と、入力画像の高域成分の特性を判断し、その判断結果を用いて推定強度を変化させて最適な推定強度を求め、最適な推定強度により推定高周波成分信号を生成した場合、更なる高解像度エンハンスメントレイヤの符号化効率向上をもたらし、効率的でより高品位な動画像信号の階層符号化・復号化を実現することが可能となる。
また、本発明の動画像階層復号化装置、復号化方法、復号化プログラムでは、低解像復号信号より高周波数成分を推定し、推定した高周波数成分を高解像度復号信号に加える高周波数成分復元処理を追加したので、符号化側で、階層符号化の高解像度符号化処理の前段に、低解像度符号化処理の際の局部復号信号より高周波数成分を推定し、推定した高周波成分を除去する高周波数成分除去処理を追加していても、正しく高解像度復号信号を復元することができ、互換性が確保される。また、符号化側でかかる高周波数成分除去処理を追加していない場合には、高域成分が復元された、符号化側より良好な特性の動画像信号を再生できる。
次に本発明の実施の形態について説明する。
本発明の動画像階層符号化装置は、従来の符号化処理に対して、入力画像信号を解像度の異なる階層に分解して得た、入力画像信号よりも解像度の低い画像信号を符号化する過程で得られる局部復号化信号を用いて、入力画像信号の持つ高域成分を推定し、推定成分を予め除去した信号を解像度の高い映像信号を符号化する処理に入力する処理が追加したものである。また、本発明の階層復号装置は、入力画像信号よりも解像度の低い画像信号の符号化データを復号した画像信号を用いて、入力画像信号の持つ高域成分を推定し、前記推定成分を予め除去した信号の符号化データの復号画像信号に加算する処理を追加したものである。
これらを実現するための動画像階層符号化装置の構成、方法及びプログラムの実施例を以下に示す。なお、以下に示す実施例は、説明を簡単にするために2つの空間解像度階層を持つ階層符号化・復号化を例に挙げているが、これを3層以上の多階層で実現することも可能である。
実施の形態1.
図1は、実施の形態1の動画像階層符号化装置及び階層復号化装置の構成例を示す図である。
図1は、実施の形態1の動画像階層符号化装置及び階層復号化装置の構成例を示す図である。
図1に示されるように、実施の形態1の動画像階層符号化装置101と、動画像階層復号化装置103とは、通信回線102を介して接続されている。なお、通信回線102ではなく、DVD等の記録媒体を介して接続されるようにしても勿論よい。
本実施の形態の動画像階層符号化装置101は、図1に示すように、空間デシメーション(空間的縮小)部104、ベースレイヤエンコード部117、空間インターポレーション(空間的拡大)部106、エンハンスメントレイヤエンコード部107、多重化部108、入力画像蓄積部116、高周波数成分推定拡大部117、高周波成分除去部118、高周波数成分推定拡大部119、高周波成分復元部120を追加した構成を有している。
また、本発明の動画像階層復号化装置の一実施の形態である動画像階層復号化装置103は、図1に示すように、エクストラクト部109、ベースレイヤデコード部110、空間インターポレーション部111、エンハンスメントレイヤデコード部112、高周波数成分推定拡大部119、および高周波成分復元部120を有している。
次に、本実施の形態1の動画像階層符号化装置101に含まれる各部の動作について、図2のフローチャートを用いて説明する。
図2は、図1に示す動画像階層符号化装置101による画像信号を空間スケーラブル符号化の手順を示すフローチャートである。
オリジナルの画像信号がこの動画像階層符号化装置101に入力すると、まず、空間デシメーション部104は、空間解像度のデシメーション、すなわち空間的縮小処理を行い、ベースレイヤエンコード部117へ出力する(ステップS201)。
ベースレイヤエンコード部117は、空間解像度がデシメーションされた信号をベースレイヤにて符号化し、ビットストリームを生成する(ステップS202)。生成したベースレイヤの符号化ビットストリームを多重化部108へ送る一方、符号化過程で得られるベースレイヤのローカルデコード信号を空間インターポレーション部106及び高周波数成分推定拡大部117へ送る。
空間インターポレーション部106は、ベースレイヤエンコード部117からのベースレイヤのローカルデコード信号を、空間解像度に空間インターポレーションを行う(ステップS203)。そして、空間インターポレーションした信号をエンハンスメントレイヤエンコード部107に送る。
一方、高周波数成分推定拡大部117は、ベースレイヤエンコード部117からのベースレイヤのローカルデコード信号からオリジナルの画像信号の高周波数成分を推定して、高周波成分除去部118へ出力する(ステップS204)。詳細については後述する。
高周波成分除去部118は、入力画像蓄積部116より出力されたオリジナルの入力画像信号から、高周波数成分推定拡大部117より出力された推定高域成分信号を減算し、高周波成分が除去された高解像度映像信号を生成して、エンハンスメントレイヤエンコード部107へ出力する(ステップS205)。
エンハンスメントレイヤエンコード部107は、高周波成分除去部118からの高解像度映像信号と、空間インターポレーション部106からの出力信号とを用いて、空間解像度間および時間の相関を利用した予測を行い、それに伴って生じる予測誤差信号をエンハンスメントレイヤにて符号化し、その符号化ビットストリームを多重化部108へ送る(ステップS206)。
そして、多重化部108は、ベースレイヤエンコード部117からのベースレイヤの符号化ビットストリームと、エンハンスメントレイヤエンコード部107からのエンハンスメントレイヤの符号化ビットストリームと多重化して、ひとつの多重化ビットストリームを生成して、通信回線102を介し動画像階層復号化装置103へ送信する(ステップS207)。
図3は、図1に示す動画像階層符号化装置101により空間スケーラブル符号化および多重化された多重化ストリームを分離して復号する図1に示す動画像階層復号化装置103の手順を示すフローチャートである。
図1に示す動画像階層復号化装置103では、図1に示す動画像階層符号化装置101により空間スケーラブル符号化および多重化された多重化ストリームを、通信回線やメディア等102を介し送信されてくると、まず、エクストラクト部109が受信する。エクストラクト部109は、多重化ビットストリームを受信すると解析して、動画像階層復号化装置103およびディスプレイ等の性能に応じて必要な符号データを抽出し、ベースレイヤデコード部110、エンハンスメントレイヤデコード部112それぞれに対応したデータに分割して出力する(ステップS301)。
ベースレイヤデコード部110は、エクストラクト部109で分割されたベースレイヤの符号化ストリームをベースレイヤにて復号し(ステップS302)、復号したベースレイヤデコード画像信号を空間インターポレーション部111と、高周波数成分推定拡大部119とに出力する。ここで、必要があれば、ベースレイヤデコード部110は、ディスプレイ等に出力する。
空間インターポレーション部111は、ベースレイヤデコード部110から得られるベースレイヤのデコード画像信号を入力して、空間解像度のインターポレーションを行い(ステップS303)、空間インターポレーションした信号をエンハンスメントレイヤデコード部112に送る。
エンハンスメントレイヤデコード部112は、エクストラクト部109で分離されたエンハンスメントレイヤに対応する符号化ビットストリームと、空間インターポレーション部111にてベースレイヤのデコード画像信号を空間インターポレーションした空間インターポレーション信号とを復号し(ステップS304)、復号したデコード画像信号を、高周波成分復元部120に出力する。
その一方、高周波数成分推定拡大部119は、ベースレイヤデコード部110から得られるベースレイヤのデコード画像信号を入力して、ベースレイヤデコード信号を元に、エンハンスメントレイヤにおいて復号された画像信号が符号化時に推定・除去された高周波成分と同じ成分を生成する(ステップS505)。
高周波成分復元部120は、高周波数成分推定拡大部119から出力された高周波成分推定信号と、復号したエンハンスメントレイヤのデコード画像信号と加算し、高周波成分を復元した高解像度デコード画像信号を生成し(ステップS306)、生成した高解像度デコード映像信号をディスプレイ等へ出力する。
図4は、実施の形態1による高周波数成分推定拡大部117、119の詳細な構成例を示している。
図4において、高周波数成分推定拡大部117、119は、第1のハイパスフィルタリング部401、空間インターポレーション部402、振幅制限・定数倍処理部403、第2のハイパスフィルタリング部404を有する。
次に、本実施の形態1の動画像階層符号化装置101の高周波数成分推定拡大部117、及び動画像階層復号化装置103の高周波数成分推定拡大部119のより詳細な構成及び動作について説明する。
なお、高周波数成分推定拡大処理の基本的な考えは、例えば、「高周波数成分推定を伴う任意倍率可能な画像拡大法』(高橋靖正,田口亮著,信学論(A),vol.J84-A,no.9,pp.1192-1201,Sep.2001.参照)や「PARAMETERSTIMATIONS FOR SUPER RESOLUTION BASED ON THE LAPLACIAN PYRAMID REPRESENTATION」(Shuai Yuan, YasumasaTakahashi*, Akira Taguchi著)等に掲載されている。これは、階層符号化におけるラプラシアンピラミッドの考え方を応用したものである。階層間のラプラシアン成分の相関が強いことを利用して、注目する階層の信号のみから空間解像度が一つ高い階層のラプラシアン成分の推定を成し遂げる方法である。
図4は、高周波数成分推定拡大部117,119の一実施の形態のブロック図を示す。同図に示すように、高周波数成分推定拡大部117は、少なくとも第1のハイパスフィルタリング部401、空間インターポレーション部402、振幅制限・定数倍処理部403、及び第2のハイパスフィルタリング部404を有している。ただし、ここでは、動画像階層符号化装置101に含まれる高周波数成分推定拡大部117と、動画像階層復号化装置103に含まれる高周波数成分推定拡大部119の構成及び動作は、同一であるため、以下、高周波数成分推定拡大部117について代表して説明する。
次に、本発明の動画像階層符号化装置101に含まれる高周波数成分推定拡大部117、及び動画像階層復号化装置200に含まれる高周波数成分推定拡大部119の動作について、図4に示す高周波数成分推定拡大部117を代表として図5のフローチャートを用いて説明する。
第1のハイパスフィルタリング部401は、ベースレイヤのローカルデコード(復号画像)信号に含まれる高周波数成分において、次の上位階層の符号化対象であるエンハンスメントレイヤの画像フレーム信号に含まれる高周波数成分と相関が高く、推定に適した高周波数成分を抽出する(ステップS501)。ここでは、推定に適した高周波数成分を表現するための情報として、拡大対象であるベースレイヤのローカルデコード(復号画像)信号のラプラシアン成分を抽出する機能を有することが望ましい。
ここで、入力信号のラプラシアン成分の抽出は、例えば、次のように行う。説明を簡単にするために、1次元の信号モデルを例にして、入力信号をG0(x)、入力信号から抽出されるラプラシアン成分をL0(x)とすると、ラプラシアン成分L0(x)は、次の(1)式及び(2)式で演算される。なお、(2)式中のρは、ガウシアンフィルタの帯域を調整するためのパラメータで、ハーフバンドフィルタとなる値に設定されている。
ここで、第1のハイパスフィルタリング部401は、入力信号から抽出した推定に適した高周波数成分を表現するための情報を空間インターポレーション部402へ出力する。ここでは、推定に適した高周波数成分を表現するための情報として、抽出したラプラシアン成分L0(x)の信号を空間インターポレーション部402へ出力する。
ここで、上記式(1)、(2)では、ガウシアン関数を用いて高周波数成分を抽出しているが、これを他の方法に置き換えても良い。ただし、ここで用いるフィルタや補間関数等と、図1における空間デシメーション部104、空間インターポレーション部106、111と、図4の空間インターポレーション部402、第2のハイパスフィルタリング部404に用いるフィルタや補間関数等の関係は、ピラミッド構成を満たすものとなっていることが望ましい。例えば、空間デシメーション部にsinc関数を用いた場合、空間インターポレーション部402、第2のハイパスフィルタリング部404にもsinc関数を用いることでsinc関数によるピラミッド構成の関係が構築できる。
空間インターポレーション部402は、第1のハイパスフィルタリング部401より出力される推定に適した高周波数成分を表現するための情報を取得すると、その信号をエンハンスメントレイヤの空間解像度となるように、(エンハンスメントレイヤの空間解像度/ベースレイヤの空間解像度)の倍率rにインターポレーションを行う(ステップS502)。ここでは、ラプラシアン成分L0(x)の信号を入力として受け、その入力信号がエンハンスメントレイヤの空間解像度となるように、(エンハンスメントレイヤの空間解像度/ベースレイヤの空間解像度)の倍率rのインターポレーションを行う。
ここで、(エンハンスメントレイヤの空間解像度/ベースレイヤの空間解像度)の倍率rへのインターポレーションは、次のように行うことが望ましいが、必ずしもこの方法に限定するわけではない。
つまり、(エンハンスメントレイヤの空間解像度/ベースレイヤの空間解像度)の倍率rにインターポレーションした補間信号(EXPAND)rL0(x)は、入力ラプラシアン成分をL0(x)とすると、次の(3)式、(4)式及び(5)式により演算算出される。
・・・式(3)
ここで、int()は整数部分を取り出す操作を示す。
空間インターポレーション部402は、このようにして生成したインターポレーションされた補間信号(EXPAND)rL0(x)を振幅制限・定数倍処理部403へ出力する。
振幅制限・定数倍処理部403は、空間インターポレーション部402から出力される補間信号(EXPAND)rL0(x)を取得し、その取得した補間信号(EXPAND)rL0(x)から未知の高周波数成分を推定するための低解像度工程を実施する(ステップS503)。この未知の高周波数成分を推定する低解像度工程の処理は、入力される補間信号(EXPAND)rL0(x)に対して、次の(6)式で示すような振幅制限および定数倍処理を行うことにより実現する。
すなわち、振幅制限・定数倍処理部403は、入力信号(EXPAND)rL0(x)の振幅が、振幅制限のためのパラメータTと−Tとの間にあるときには、入力信号(EXPAND)rL0(x)を定数倍処理のためのパラメータαr倍した信号を出力し、入力信号(EXPAND)rL0(x)の振幅がT以上であるときには、αr・Tのレベルの信号を出力し、入力信号(EXPAND)rL0(x)の振幅が−T以下であるときには、αr・(−T)のレベルの信号を出力する。ここで、振幅制限のためのパラメータT及び定数倍処理のためのパラメータαrは、例えば前記非特許文献1中で実験的に求められているような値を利用するようにしても構わない。なお、パラメータαrは、拡大率に応じて可変である。
振幅制限・定数倍処理部403により、上記のように振幅制限・定数倍処理された信号は、第2のハイパスフィルタリング部404に供給される。
第2のハイパスフィルタリング部404は、未知の高周波数成分を推定するための高解像度工程を実施する(ステップS504)。この第2のハイパスフィルタリング部404による高解像度工程の処理は、振幅制限・定数倍処理部403から取得した信号、すなわち、未知の高周波数成分を推定するための低解像度工程が実施された信号から、不必要な低域成分を取り除き、本来求めようとしている高周波数成分のみを得るためのものである。これは、入力される信号に対してハイパスフィルタリングを行うことにより実現する。
第2のハイパスフィルタリング部404によるハイパスフィルタリングが行われて、第2のハイパスフィルタリング部404から出力される、推定した未知の高周波数成分は、次の(7)式で表されることが望ましい。推定された未知の高周波成分Lγ(ハット^)(x)は、入力される信号をLγ(アッパーバー ̄)(x)とすると、
・・・式(7)
で与えられる。ここで、W(i)は式(2)に示すものである。
そして、第2のハイパスフィルタリング部404は、推定した推定高周波数成分信号を、図1に示すように高周波成分除去部118へ出力する。
なお、階層復号装置103の高周波成分推定拡大部119であれば、推定した推定高周波数成分信号を、図1に示すように高周波成分復元部120へ出力する。
すると、上述したように、動画像階層符号化装置101では、エンハンスメントレイヤエンコード部107が高周波成分除去部118からの高解像度映像信号と、空間インターポレーション部106からの出力信号とを用いて、空間解像度間および時間の相関を利用した予測を行い、それに伴って生じる予測誤差信号をエンハンスメントレイヤにて符号化し、多重化部108がベースレイヤエンコード部117からのベースレイヤの符号化ビットストリームと、エンハンスメントレイヤエンコード部107からのエンハンスメントレイヤの符号化ビットストリームとを多重化して通信回線102を介し動画像階層復号化装置103へ送信する。
その一方、動画像階層復号化装置103では、動画像階層復号化装置103からの多重化ビットストリームを受信して、高解像度画像信号と低解像度画像信号とを得る。
このように、従来の動画像階層符号化装置及び階層復号装置ではブロック単位で符号化・復号処理が行われていたため、ブロック単位でラプラシアン成分の強調処理を行うと、ブロック境界に対しては十分な解析や強調処理を行うことが難しかったが、本実施の形態1によれば、以上説明したように、ベースレイヤのローカルデコード(復号画像)信号を求め、このローカルデコード(復号画像)信号をエンハンスメントレイヤの画像サイズまで空間インターポレーションを行った後に、ラプラシアン成分の強調処理を行うための解析を行い高周波数成分を推定するようにしたため、符号化レイヤ間の予測誤差信号の信号振幅を抑制することができる。その結果、これにより周囲の符号化レイヤ間の予測誤差信号との相関が高まり、結果としてエントロピーを抑制し、符号化を行う際により少ないビット数で符号化対象を表現することができるため、符号化効率が向上するという効果を生じる。
また、周囲の符号化レイヤ間の予測誤差信号との相関が高まり、その結果、予測誤差信号を符号化した際には、エントロピーが抑制され、エントロピー符号化を行う際により少ないビット数で符号化対象を表現することができる。
また、符号化対象となる符号化レイヤ間の予測誤差信号の信号振幅が、従来の階層符号化における符号化レイヤ間の予測誤差信号と比較して抑制されるため、量子化時に生じる量子化誤差に起因する復号時の影響も抑えることができる。
従って、本実施の形態1の動画像階層符号化装置101によれば、空間インターポレーション部106はベースレイヤエンコード部105からのベースレイヤローカルデコード信号をエンハンスメントレイヤの解像度に拡大し、高周波成分除去部118は高周波成分推定拡大部117からのベースレイヤローカルデコード信号に基づき推定された高周波成分推定信号を入力画像信号から除去し、エンハンスメントレイヤエンコード部107は、高周波成分除去部118からの高周波成分除去信号と、空間インターポレーション部106からのエンハンスメントレイヤの解像度に拡大されたインターポレーション信号との差分をとってエンハンスメントレイヤにて符号化するようにしたので、エンハンスメントレイヤの符号化における階層間予測誤差及び動き補償予測誤差の高周波成分を減少させることでき、エンハンスメントレイヤの符号化効率を向上させることができる。
つまり、従来技術の階層間予測であれば予測が困難であった高域成分が存在しなくなるので、予測誤差を小さくすることができると共に、エンハンスメントレイヤの符号化処理において動き補償予測を行う場合でも、予測対象の高域成分が存在しないため、動きによる変形や解像度変化による動き補償予測誤差の高周波成分増大を防ぐことでき、これら両方の効果により、高解像度符号化処理の符号化効率が向上する。また、復号側でかかる高周波数成分除去処理を追加していない場合においても、高域成分が抑制された特性の動画像信号を再生できる。
また、本実施の形態1の動画像階層復号化装置103によれば、高周波成分推定拡大部117と同様の高周波成分推定拡大部119と、高周波成分除去部118とは逆に高周波成分推定拡大部119からの高周波成分推定信号により高周波成分を復元する高周波成分復元部120とを有するので、本実施の形態1の動画像階層符号化装置101によって符号化された符号化ビットストリームを正しく復号することができる。また、符号化側でかかる高周波数成分除去処理を追加していない場合には、高域成分が復元された、符号化側より良好な特性の動画像信号を再生できる。
実施の形態2.
次に、本発明の実施の形態2の動画像階層符号化装置及び動画像階層復号化装置の構成例について説明する。
次に、本発明の実施の形態2の動画像階層符号化装置及び動画像階層復号化装置の構成例について説明する。
図6は、実施の形態2の動画像階層符号化装置及び動画像階層復号化装置の構成例を示すブロック図である。
図6において、実施の形態2の動画像階層符号化装置601及び動画像階層復号化装置603は、図1に示す実施の形態1の動画像階層符号化装置101及び動画像階層復号化装置103に対し、動画像階層符号化装置601では、空間デシメーション部604、高周波数成分推定拡大部617、多重化部608の処理が異なる一方、動画像階層復号化装置603では、エクストラクト部609、高周波数成分推定拡大部619で行なわれる処理が異なる。以下、実施の形態1と異なる処理を中心に説明する。
つまり、本実施の形態2の動画像階層符号化装置601の空間デシメーション部604では、オリジナルの画像信号を入力して、その入力信号を所望、すなわちこの場合、実施の形態1と同様にエンハンスメントレイヤとベースレイヤとの2階層で説明しているので、ベースレイヤの空間解像度に空間デシメーションすると共に、入力信号もしくは入力信号の高周波数成分を生成し、高周波数成分推定拡大部617に出力する。ここで、高周波数成分は、所望の空間解像度に空間デシメーションした信号を、空間インターポレーションした信号と、オリジナルの画像信号との差分情報より算出することが可能であるが、処理の構成に関しては、他の高周波数成分生成方法を用いる事も出来る。
本実施の形態2の高周波数成分推定拡大部617は、ベースレイヤエンコード部605から出力されるローカルデコード信号に加えて、空間デシメーション部604から出力される入力信号もしくは入力された信号の高周波数成分を入力として受け付け、ローカルデコード信号を元にエンハンスメントレイヤにおいて符号化される画像信号の高周波成分を推定強度の設定と共に、最適な高周波成分推定を施す。詳細については後述する。また、高周波数成分推定拡大部617は、高周波成分推定信号を高周波成分除去部618に出力すると共に、推定強度を示す制御パラメータを多重化部608に出力する機能を有する。
多重化部608は、ベースレイヤエンコード部605およびエンハンスメントレイヤエンコード部607より出力されるそれぞれの符号化ビットストリームを入力として受け付けると共に、高周波数成分推定拡大部617より出力された推定強度を示す制御パラメータを入力し、多重化してひとつの多重化ビットストリームとして階層符号化部601の外部、例えば通信回線やメディアなど602へ出力する機能を有する。
エクストラクト部609は、本実施の形態2の動画像階層符号化装置601が送信した多重化ビットストリームを入力して、復号に必要な情報として、ベースレイヤ及びエンハンスメントレイヤの符号化ビットストリームと共に、推定強度を示す制御パラメータを切り出し、分割してそれぞれをベースレイヤデコード部610、エンハンスメントレイヤデコード部612、及び高周波数成分推定拡大部619に出力する。
高周波数成分推定拡大部119は、ベースレイヤデコード部110から出力されるベースレイヤデコード信号と共に、エクストラクト部609から出力される推定強度を示す制御パラメータを入力として受け付け、ベースレイヤデコード信号と推定強度を示す制御パラメータを元に、エンハンスメントレイヤにおいて復号された画像信号が符号化時に除去された高周波成分を推定する。また、高周波数成分推定拡大部119は、高周波成分推定信号を高周波成分復元部120に出力する。
図7は、図6に示す実施の形態2の階層符号化部601の画像信号を空間スケーラブル符号化の手順を示すフローチャートである。
まず、空間デシメーション部604は、オリジナルの画像信号を入力してベースレイヤの空間解像度にデシメーションを行い、ベースレイヤ信号をベースレイヤエンコード部605へ出力する(ステップS701)。
ベースレイヤエンコード部605では、ベースレイヤの空間解像度にデシメーションされた信号をベースレイヤにて符号化し、ベースレイヤの符号化ビットストリームとして多重化部608へ送ると共に、符号化過程で得られるベースレイヤのローカルデコード信号を空間インターポレーション部606及び高周波数成分推定拡大部617へ送る(ステップS702)。
空間インターポレーション部606は、ベースレイヤエンコード部605より得られるベースレイヤのローカルデコード信号を、エンハンスメントレイヤの空間解像度に空間インターポレーションを行い、空間インターポレーションした信号をエンハンスメントレイヤエンコード部607に送る(ステップS703)。
続いて、高周波数成分推定拡大部617は、ベースレイヤエンコード部605より得られるベースレイヤのローカルデコード信号と、空間デシメーション部604から出力される入力画像信号もしくは入力された信号の高周波数成分とを用いて、オリジナルの画像信号の高周波数成分を推定し、推定強度を示す制御パラメータと高周波成分推定信号を生成し、推定強度を示す制御パラメータを多重化部608に送る一方、高周波成分推定信号は高周波成分除去部618へ送る(ステップS704)。詳細については後述する。
高周波成分除去部618は、入力画像蓄積部616からのオリジナルの入力画像信号から、高周波数成分推定拡大部617からの推定高域成分信号を減算し、高周波成分が除去された高解像度映像信号を生成して、エンハンスメントレイヤエンコード部607へ出力する(ステップS705)。
エンハンスメントレイヤエンコード部607では、高周波成分除去部618で生成された高周波成分除去信号と、空間インターポレーション部606からの空間インターポレーション信号とを入力して、空間解像度間および時間の相関を利用した予測を行い、それに伴って生じる予測誤差信号を符号化し、符号化により生成されたビットストリームを、多重化部608へ送る(ステップS706)。
多重化部608は、ベースレイヤエンコード部605およびエンハンスメントレイヤエンコード部607からのそれぞれのレイヤのビットストリーム及と、高周波成分推定拡大部617からの推定強度を示す制御パラメータとを入力して多重化を行い、ひとつの多重化ビットストリームを生成し、通信回線やメディア等602へ出力する(ステップS707)。
次に復号側の動作を説明する。
図8は、図6に示す動画像階層復号化装置603の構成例による空間スケーラブル符号化された多重化ビットストリームを復号してデコード映像信号を得る手順を示すフローチャートである。
図6に示す実施の形態2の動画像階層復号化装置603では、動画像階層符号化装置601からの多重化ビットストリームを、通信回線やメディア等602を介しエクストラクト部609が受信する。
エクストラクト部609は、層符号化装置601からの多重化ビットストリームを通信回線やメディア等602を介し受信すると、受信した多重化ビットストリームを解析して多重分離する。すなわち、エクストラクト部609は、動画像階層復号化装置603やこれに接続されているディスプレイ等の性能に応じて復号する符号化レイヤ(ここでは、ベースレイヤとエンハンスメントレイヤの2階層の符号化レイヤとする。)を決定し、多重化ビットストリームからベースレイヤの符号化ビットストリームと、エンハンスメントレイヤの符号化ビットストリームと、エンハンスメントレイヤの復号に使用する推定強度を示す制御パラメータを抽出し、ベースレイヤデコード部610にはベースレイヤの符号化ストリーム、エンハンスメントレイヤデコード部612にはエンハンスメントレイヤの符号化ストリーム、高周波数成分推定拡大部619には推定強度を示す制御パラメータをそれぞれ出力する(ステップS801)。
ベースレイヤデコード部610では、エクストラクト部609で分離されたベースレイヤ符号化ビットストリームをベースレイヤで復号し、復号したベースレイヤデコード画像信号を空間インターポレーション部611および周波数成分推定拡大部619に出力し、必要あればディスプレイ等にも出力する(ステップS802)。
空間インターポレーション部611は、ベースレイヤデコード部610より得られるベースレイヤのデコード画像信号を、エンハンスメントレイヤの空間解像度に空間インターポレーションを行い、空間インターポレーションした信号をエンハンスメントレイヤデコード部612に送る(ステップS803)。
そして、エンハンスメントレイヤデコード部612は、エクストラクト部609で分離されたエンハンスメントレイヤに対応する符号化ビットストリームと、空間インターポレーション部611でエンハンスメントレイヤの空間解像度に空間インターポレーションされた空間インターポレーション信号とを加算して復号し、復号したデコード画像信号を高周波成分復元部620に出力する(ステップS804)。
一方、高周波数成分推定拡大部619は、ベースレイヤデコード部610にて復号されたベースレイヤデコード画像信号と、エクストラクト部609にて分離された推定強度を示す制御パラメータとを基に、高周波数成分推定拡大部617が推定し高周波成分除去部618にて入力画像から除去された高周波成分を推定し、高周波成分復元部620へ出力する(ステップS805)。
高周波成分復元部620は、高周波数成分推定拡大部619から出力された高周波成分推定信号と、エンハンスメントレイヤデコード部612にて復号されたエンハンスメントレイヤのデコード画像信号とを加算し、高周波成分を復元した高解像度デコード画像信号を生成し、高解像度デコード映像信号としてディスプレイ等へ出力する(ステップS806)。
続いて、実施の形態2の動画像階層符号化装置601の高周波数成分推定拡大部617の詳細な構成例を説明する。
図9は、実施の形態2の動画像階層符号化装置601の高周波数成分推定拡大部617の詳細な構成例を示すブロック図である。なお、動画像復号化装置603の高周波数成分推定拡大部619も同様に構成されている。
図9において実施の形態2の高周波数成分推定拡大部617は、第1のハイパスフィルタリング部901、空間インターポレーション部902、振幅制限・定数倍処理部903、第2のハイパスフィルタリング部904、推定度判断部905、及びエントロピー符号化部906を有する。なお、図4に示す実施の形態1の高周波数成分推定拡大部117対し追加された部分を中心に説明し、説明を省略した部分については実施の形態1と同様の働きを行う。
つまり、本実施の形態2の振幅制限・定数倍処理部903は、推定度判断部905からの推定強度を示す制御パラメータと、空間インターポレーション部902からの空間インターポレーション信号を入力して、未知の高周波数成分を推定するための第1工程を実施する機能を有する。本実施例では、最適なパラメータ算出のための試行が可能となるように、振幅制限・定数倍処理部903に対して、制御パラメータを外部から与える構造を有している。
推定度判断部905は、第2のハイパスフィルタリング部904から出力される信号と、図6に示す空間デシメーション部604からの入力画像信号もしくは入力画像信号の高周波数成分とを入力して、最終的に最適な推定強度を求める機能を有する。ここで、第2のハイパスフィルタリング部904から出力される信号は、振幅制限・定数倍処理部903において、ある推定強度を持つパラメータを用いたときの高周波成分の推定信号である。推定度判断部905は、この信号と空間デシメーション部604から出力される信号との間の相関がどの程度であるかを定量化し、それを記録する機能を有する。
ここで、2つの信号の相関を定量化する方法としては、例えば空間デシメーション部604より入力画像信号が出力される場合には、入力画像信号より高周波成分の推定信号を減算した信号のエントロピーを算出することにより可能となる。また、空間デシメーション部604が入力された信号の高周波数成分である場合には、前記高周波数成分と高周波成分推定信号の双方のエネルギーを算出し、その値の類似度により定量化することも可能である。
推定度判定部905が設置されている目的は、エンハンスメントレイヤエンコーダ部に入力される画像信号の情報量が少なくなる、パラメータαrとT(またはαrのみ)を求めることであるため、任意の範囲内のパラメータを逐次更新して振幅制限・定数倍処理部903へ出力する機能も持つ。そして、逐次記録した相関定量化値から、もっとも情報量が少なくなるケースを判断し、そのときのパラメータをエントロピー符号化部906へ出力し、そのときの高周波成分推定信号を図6における高周波成分除去部618に出力する。
エントロピー符号化部906は、推定度判断部905より出力されるパラメータを入力として受け付ける機能を有する。また、入力されたパラメータをエントロピー符号化してビットストリームを生成し、図6における多重化部608に出力する。
図9に示す高周波数成分推定拡大部617の構成例を用いて、高周波成分推定信号を生成する手順を図10に示す。
図10において、まず、第1のハイパスフィルタリング部901は、ベースレイヤエンコード部605からのローカルデコード信号から高周波数成分信号を抽出する(ステップS1001)。
空間インターポレーション部902は、第1のハイパスフィルタリング部901にて抽出された高周波数成分信号をインターポレーションする(ステップS1002)。
振幅制限・定数倍処理部903は、空間インターポレーション部902にてインターポレーションされた信号に対して、推定強度パラメータに基づき振幅制限及び定数倍処理を行う(ステップS1003)。ここで、振幅制限及び定数倍処理に伴う推定強度パラメータは、推定度判断部905から与えられたものを用いる。
第2のハイパスフィルタリング部904は、振幅制限・定数倍処理部903にて推定強度パラメータに基づいて振幅制限及び定数倍処理された信号から推定した高周波成分を抽出して、推定度判断部905へ出力する(ステップS1004)。
推定度判断部905は、第2のハイパスフィルタリング部904からの高周波成分推定信号を記録すると共に、空間デシメーション部604から出力される入力画像信号または入力画像信号の高域成分信号と、高周波成分推定信号との間の相関を検出し、推定強度パラメータと関連付けて記録する(ステップS1005)。
そして、推定度判断部905は、高周波成分推定信号がオリジナルの入力画像信号の高域成分に最も近づく最適推定強度パラメータを試行によって求めるために、ステップS1003〜ステップS1005の手順を、推定強度パラメータを更新しながら、ユーザが予め指定しておいた指定範囲内の推定強度パラメータに対して繰り返し行う(ステップS1006)。
そして、推定度判断部905は、ステップS1003〜ステップS1005の処理を、指定範囲内の推定強度パラメータに対して完了した場合(ステップS1006“YES”)、指定範囲内の全ての推定強度パラメータで生成した、それぞれの高周波成分推定信号と、オリジナルの入力画像信号の高域成分とのレベル差が最も小さくなる最適な推定強度パラメータを選択し、振幅制限・定数倍処理部903と、エントロピー符号化部906とへ出力する(ステップS1007)。
すると、振幅制限・定数倍処理部903は、空間インターポレーション部902からのインターポレーションされた信号に対して、その最適な推定強度パラメータに基づき振幅制限及び定数倍処理を行い、第2のハイパスフィルタリング部904は、その最適な推定強度パラメータに基づいて振幅制限及び定数倍処理された信号から推定した高周波成分を抽出して、高周波成分推定信号として推定度判断部905へ出力する(ステップS1008)。
また、エントロピー符号化部906は、推定度判断部905からの最適な高周波成分推定信号をエントロピー符号化して多重化部608へ出力する(ステップS1009)。なお、推定強度パラメータは、ブロックごとに符号化しても良いし、例えば1GOPでのパラメータの平均値を採用し、そのGOP内でパラメータを一律として高解像度推定信号を生成し、1GOPで符号化するパラメータをひとつだけにしても良い。符号化するパラメータの数やタイミング等の制限はしない。
次に、本発明の実施の形態2による階層復号化における高周波数成分推定拡大部619の詳細な構成例を図11に示し説明する。
図11において、高周波数成分推定拡大部619は、第1のハイパスフィルタリング部1101、空間インターポレーション部1102、振幅制限・定数倍処理部1103、第2のハイパスフィルタリング部1104及びエントロピー復号化部1105で構成される。
以下、図4に示す実施の形態1による高周波数成分推定拡大部から追加された部分を説明する。説明がされていない部分に関しては、実施の形態1と同様の働きを行う。
つまり、エントロピー復号化部1105は、図6におけるエクストラクト部609より出力されるビットストリームのうち、パラメータに相当するものを入力として受け付け、復号する機能を有する。また、復号したパラメータを振幅制限・定数倍処理部1103へ出力する機能を有する。
振幅制限・定数倍処理部1103は、エントロピー復号化部1105に復号された推定強度パラメータ、及び空間インターポレーション部1102より出力される信号を入力として受け付け、未知の高周波数成分を推定するための第1工程を実施する機能を有する。結果として、符号化時に設定した推定強度を示す制御パラメータを元に、高周波成分が推定される事になる。
図11に示す高周波数成分推定拡大部619の構成例を用いて、高周波成分推定信号を生成する手順を図12に示す。
図12において、まず、高周波数成分推定拡大部619のエントロピー復号化部1105は、エクストラクト部609(図6参照)より得られるビットストリーム中に含まれる最適推定強度パラメータ等の符号化パラメータを復号化し、振幅制限・定数倍処理部1103へ出力する(ステップS1201)。
一方、第1のハイパスフィルタリング部1101は、ベースレイヤデコード部110から得られるベースレイヤのデコード信号から高周波成分信号を抽出する(ステップS1202)。
空間インターポレーション部1102は、第1のハイパスフィルタリング部1101にて抽出された高周波成分信号をエンハンスメントレイヤの解像度にインターポレーションする(ステップS1203)。
振幅制限・定数倍処理部1103は、空間インターポレーション部1102にてインターポレーションされた信号と、エントロピー復号化部1105にて復号された最適推定強度パラメータとに基づいて、振幅制限・定数倍処理を行う(ステップS1204)。
第2のハイパスフィルタリング部1104は、振幅制限・定数倍処理部1103からの振幅制限定数倍処理された信号に対してハイパスフィルタリング処理を行い、符号化側にて推定された高周波成分推定信号に戻し、図6における高周波成分除去部618に出力する(ステップS1205)。
従って、本実施の形態2の動画像階層符号化装置601によれば、上記実施の形態1と同様に、空間インターポレーション部606はベースレイヤエンコード部605からのベースレイヤローカルデコード信号をエンハンスメントレイヤの解像度に拡大し、高周波成分除去部618は入力画像信号から高周波成分推定拡大部617からのベースレイヤローカルデコード信号に基づき推定された高周波成分推定信号を除去し、エンハンスメントレイヤエンコード部607は、高周波成分除去部618からの高周波成分除去信号と、空間インターポレーション部606からのエンハンスメントレイヤの解像度に拡大されたインターポレーション信号との差分をとってエンハンスメントレイヤにて符号化するようにしたので、エンハンスメントレイヤの符号化における階層間予測誤差及び動き補償予測誤差の高周波成分を減少させることでき、エンハンスメントレイヤの符号化効率を向上させることができる。
特に、本実施の形態2の動画像階層符号化装置601では、推定高周波成分生成部617が空間デシメーション部604からの入力画像信号もしくはその高域成分を入力して、高周波成分推定信号とオリジナルの入力画像信号の高域成分とのレベル差が最も小さくなる最適な推定強度パラメータを選択し、幅制限・定数倍処理部903が空間インターポレーション部902からのインターポレーションされた信号に対してその最適な推定強度パラメータに基づき振幅制限及び定数倍処理を行うようにしたので、実施の形態1の場合より、さらに最適な高周波成分推定信号を高周波成分除去部618へ出力することができる。
つまり、高周波数成分を推定する際、局部復号(ローカルデコード)信号の劣化状態と、入力画像の高域成分の特性を判断し、その判断結果を用いて推定強度を変化させて最適な推定強度を求め、最適な推定強度により推定攻守は成分信号を生成した場合、更なる高解像度エンハンスメントレイヤの符号化効率向上をもたらし、効率的でより高品位な動画像信号の階層符号化・復号化を実現することが可能となる。
また、本実施の形態2の動画像階層復号化装置603によれば、上記実施の形態1と同様に、高周波成分推定拡大部617と同様の高周波成分推定拡大部619と、高周波成分除去部618とは逆に高周波成分推定拡大部619からの高周波成分推定信号により高周波成分を復元する高周波成分復元部620とを有するので、本実施の形態2の動画像階層符号化装置101によって符号化された符号化ビットストリームを正しく復号することができる。また、符号化側でかかる高周波数成分除去処理を追加していない場合には、高域成分が復元された、符号化側より良好な特性の動画像信号を再生できる。
なお、上記実施の形態1,2では、上述したように、本発明に係る動画像階層符号化装置および動画像階層復号化装置を、ブロック図によりハードウエア的に構成して説明したが、本発明では、これに限らず、CPUがCDやネックワークを介しダウンロードしたプログラムを実行することにより、上記実施の形態1,2の動画像階層符号化装置および動画像階層復号化装置をソフトウエア的に達成するようにしても勿論よい。
また、上記実施の形態1,2では、ベースレイヤ及びエンハンスメントレイヤの動画像符号化構成としてMPEG2符号化方式を用いたが、MPEG1やMPEG4−AVC等の他の動画像符号化規格をベースに用いた場合においても、勿論適用可能である。
101,601 動画像階層符号化装置
102,602 通信回線またはメディア
103,603 動画像階層復号化装置
104,604 空間デシメーション部
105,605 ベースレイヤエンコード部(低解像度符号化部)
106,606 空間インターポレーション部
107,607 エンハンスメントレイヤエンコード部(高解像度符号化部)
108,608 多重化部
109,609 エクストラクト部(多重分離部)
110,610 ベースレイヤデコード部(低解像度復号化部)
111,611 空間インターポレーション部
112,612 エンハンスメントレイヤデコード部(高解像度復号化部)
117,617 高周波数成分推定拡大部
118,618 高周波成分除去部
119,619 高周波数成分推定拡大部
120,620 高周波成分復元部
401,901 第1のハイパスフィルタリング部
402,902 空間インターポレーション部
403,903 振幅制限・定数倍処理部
404,904 第2のハイパスフィルタリング部
905 推定度判断部
906 エントロピー符号化部
102,602 通信回線またはメディア
103,603 動画像階層復号化装置
104,604 空間デシメーション部
105,605 ベースレイヤエンコード部(低解像度符号化部)
106,606 空間インターポレーション部
107,607 エンハンスメントレイヤエンコード部(高解像度符号化部)
108,608 多重化部
109,609 エクストラクト部(多重分離部)
110,610 ベースレイヤデコード部(低解像度復号化部)
111,611 空間インターポレーション部
112,612 エンハンスメントレイヤデコード部(高解像度復号化部)
117,617 高周波数成分推定拡大部
118,618 高周波成分除去部
119,619 高周波数成分推定拡大部
120,620 高周波成分復元部
401,901 第1のハイパスフィルタリング部
402,902 空間インターポレーション部
403,903 振幅制限・定数倍処理部
404,904 第2のハイパスフィルタリング部
905 推定度判断部
906 エントロピー符号化部
Claims (10)
- 入力動画像信号から少なくとも低解像度画像信号と高解像度画像信号とを生成して符号化する動画像階層符号化装置であって、
前記入力動画像信号に対して空間的縮小処理を行い、前記入力動画像信号より解像度の低い低解像度画像信号を得る、空間デシメーション部と、
前記入力動画像信号を高解像度画像信号として蓄積する、高解像度信号保持部と、
前記低解像度画像信号を符号化して低解像度符号化データを得ると共に、前記符号化の際の局部復号化処理により低解像度符号化データの局部復号信号を生成する、低解像度符号化部と、
前記局部復号化処理で得られた前記局部復号信号を空間的に拡大し、拡大復号画像信号を生成する、空間インターポレーション部と、
前記局部復号信号に対し前記空間デシメーション部における空間的縮小処理により消失した高周波成分の推定処理を行い、高周波成分推定信号を生成する、高周波成分推定部と、
前記高解像度画像信号より、前記高周波成分推定信号を減算した高周波成分除去画像信号を生成する、高周波成分除去部と、
前記高周波成分除去画像信号を、前記空間インターポレーション部により生成された前記拡大復号画像信号を用いて符号化し、高解像度符号化データを得る、高解像度符号化部と、
少なくとも前記低解像度符号化データと前記高解像度符号化データの多重化処理を行う、多重化部と、
を有する、動画像階層符号化装置。 - 前記高周波成分推定部は、
前記低解像度符号化部からの前記局部復号信号を基に前記高解像度画像信号と相関が高い高周波数成分を抽出する、第1のハイパスフィルタリング部と、
抽出された前記高周波数成分を前記高解像度画像信号の解像度に空間的に拡大する、空間インターポレーション部と、
空間的に拡大された前記高周波数成分に対し振幅制限および定数倍処理をする振幅制限・定数倍処理部と、
振幅制限および定数倍処理された前記高周波成分から低域成分を除去して前記高周波成分除去部へ出力する、第2のハイパスフィルタリング部と、
を有する、請求項1に記載の動画像階層符号化装置。 - 前記高周波成分推定部は、さらに、
前記入力画像信号と、前記第2のハイパスフィルタリング部からの低域成分が除去された前記高周波成分とに基づいて前記振幅制限・定数倍処理部が前記振幅制限および定数倍処理をする際の強度パラメータを指定範囲内で推定し、その推定強度パラメータを前記振幅制限および定数倍処理部へ出力して、前記振幅制限・定数倍処理部に前記指定範囲内の前記推定強度パラメータに基づいて前記高周波数成分に対し振幅制限および定数倍処理を行わせると共に、前記指定範囲内で推定した全ての前記推定強度パラメータにて生成された前記高周波成分信号と前記入力画像信号の高域成分とのレベル差が最小となる最適推定強度パラメータを出力する推定度判断部と、
前記推定度判断部からの前記最適推定強度パラメータをエントロピー符号化するエントロピー符号化部と、を有し、
前記第2のハイパスフィルタリング部は、
前記振幅制限・定数倍処理部が前記最適推定強度パラメータに基づいて振幅制限および定数倍処理を行った前記高周波数成分から低域成分を除去して前記高周波成分除去部へ出力し、
前記多重化部は、
さらに、エントロピー符号化された前記最適推定強度パラメータを多重化する、請求項2に記載の動画像階層符号化装置。 - 入力動画像信号から少なくとも低解像度画像信号と高解像度画像信号とを生成して符号化する動画像階層符号化方法であって、
前記入力動画像信号に対して空間的縮小処理を行い、前記入力動画像信号より解像度の低い低解像度画像信号を得るステップと、
前記入力動画像信号を高解像度画像信号として蓄積するステップと、
前記低解像度画像信号を符号化して低解像度符号化データを得ると共に、前記符号化の際の局部復号化処理により低解像度符号化データの局部復号信号を生成するステップと、
前記局部復号化処理で得られた前記局部復号信号を空間的に拡大し、拡大復号画像信号を生成するステップと、
前記局部復号信号に対し前記空間デシメーション部における空間的縮小処理により消失した高周波成分の推定処理を行い、高周波成分推定信号を生成するステップと、
前記高解像度画像信号より、前記高周波成分推定信号を減算した高周波成分除去画像信号を生成するステップと、
前記高周波成分除去画像信号を、前記空間インターポレーション部により生成された前記拡大復号画像信号を用いて符号化し、高解像度符号化データを得るステップと、
少なくとも前記低解像度符号化データと前記高解像度符号化データの多重化処理を行うステップと、
を有する、動画像階層符号化方法。 - 入力動画像信号から少なくとも低解像度画像信号と高解像度画像信号とを生成して符号化する動作を、コンピュータに実行させるための動画像階層符号化プログラムであって、
前記入力動画像信号に対して空間的縮小処理を行い、前記入力動画像信号より解像度の低い低解像度画像信号を得るステップと、
前記入力動画像信号を高解像度画像信号として蓄積するステップと、
前記低解像度画像信号を符号化して低解像度符号化データを得ると共に、前記符号化の際の局部復号化処理により低解像度符号化データの局部復号信号を生成するステップと、
前記局部復号化処理で得られた前記局部復号信号を空間的に拡大し、拡大復号画像信号を生成するステップと、
前記局部復号信号に対し前記空間デシメーション部における空間的縮小処理により消失した高周波成分の推定処理を行い、高周波成分推定信号を生成するステップと、
前記高解像度画像信号より、前記高周波成分推定信号を減算した高周波成分除去画像信号を生成するステップと、
前記高周波成分除去画像信号を、前記空間インターポレーション部により生成された前記拡大復号画像信号を用いて符号化し、高解像度符号化データを得るステップと、
少なくとも前記低解像度符号化データと前記高解像度符号化データの多重化処理を行うステップと、
をコンピュータに実行させるための動画像階層符号化プログラム。 - 少なくとも低解像度符号化データと高解像度符号化データとが多重化された多重化ビットストリームから少なくとも前記低解像度符号化データと前記高解像度符号化データとを復号して低解像度画像信号と高解像度画像信号とを生成する動画像階層復号化装置であって、
前記多重化ビットストリームより少なくとも前記低解像度符号化データと前記高解像度符号化データとを分離する、多重分離部と、
分離された前記低解像度符号化データを復号し、前記低解像度復号画像信号を生成する、低解像度復号化部と、
前記低解像度復号画像信号を空間的に拡大し、拡大復号画像信号を生成する、空間インターポレーション部と、
前記空間インターポレーション部により生成された前記拡大復号画像信号を用いて、前記高解像度符号化データを復号し、前記高解像度復号画像信号を生成する、高解像度復号化部と、
前記低解像度復号画像信号に対し前記空間デシメーション部における空間的縮小処理により消失した高周波成分の推定処理を行い、高周波成分推定信号を生成する、高周波成分推定部と、
前記高解像度画像信号に対して、前記高周波成分推定信号を加算することにより、高周波成分を復元した前記高解像度画像信号を生成する高周波成分復元部と、
を有する、動画像階層復号化装置。 - 前記高周波成分推定部は、
前記低解像度符号化部からの前記局部復号信号を基に前記高解像度画像信号と相関が高い高周波数成分を抽出する、第1のハイパスフィルタリング部と、
抽出された前記高周波数成分を前記高解像度画像信号の解像度に空間的に拡大する、空間インターポレーション部と、
空間的に拡大された前記高周波数成分に対し振幅制限および定数倍処理をする振幅制限・定数倍処理部と、
振幅制限および定数倍処理された前記高周波成分から低域成分を除去して前記高周波成分除去部へ出力する、第2のハイパスフィルタリング部と、
を有する、請求項6に記載の動画像階層復号化装置。 - 前記多重分離部は、
前記多重化ビットストリームより、前記低解像度符号化データと、前記高解像度符号化データと、さらに前記高解像度符号化データを符号化した際に用いられエントロピー符号化された最適推定強度パラメータを分離し、
前記高周波成分推定部は、さらに、
エントロピー符号化された前記最適推定強度パラメータをエントロピー復号化するエントロピー復号化部、を有し、
前記振幅制限・定数倍処理部は、エントロピー復号化された前記最適推定強度パラメータに基づいて空間的に拡大された前記高周波数成分に対し振幅制限および定数倍処理をする、請求項7に記載の動画像階層復号化装置。 - 少なくとも低解像度符号化データと高解像度符号化データとが多重化された多重化ビットストリームから少なくとも前記低解像度符号化データと前記高解像度符号化データとを復号して低解像度画像信号と高解像度画像信号とを生成する動画像階層復号化方法であって、
前記多重化ビットストリームより少なくとも前記低解像度符号化データと前記高解像度符号化データとを分離するステップと、
分離された前記低解像度符号化データを復号し、前記低解像度復号画像信号を生成するステップと、
前記低解像度復号画像信号を空間的に拡大し、拡大復号画像信号を生成するステップと、
前記空間インターポレーション部により生成された前記拡大復号画像信号を用いて、前記高解像度符号化データを復号し、前記高解像度復号画像信号を生成するステップと、
前記低解像度復号画像信号に対し前記空間デシメーション部における空間的縮小処理により消失した高周波成分の推定処理を行い、前記高周波成分推定信号を生成するステップと、
前記高解像度画像信号に対して、前記高周波成分推定信号を加算することにより、高周波成分を復元した前記高解像度画像信号を生成するステップと、
を有する、動画像階層復号化方法。 - 少なくとも低解像度符号化データと高解像度符号化データとが多重化された多重化ビットストリームから少なくとも前記低解像度符号化データと前記高解像度符号化データとを復号して低解像度画像信号と高解像度画像信号とを生成する動作をコンピュータに実行させるための動画像階層復号化プログラムであって、
前記多重化ビットストリームより少なくとも前記低解像度符号化データと前記高解像度符号化データとを分離するステップと、
分離された前記低解像度符号化データを復号し、前記低解像度復号画像信号を生成するステップと、
前記低解像度復号画像信号を空間的に拡大し、拡大復号画像信号を生成するステップと、
前記空間インターポレーション部により生成された前記拡大復号画像信号を用いて、前記高解像度符号化データを復号し、前記高解像度復号画像信号を生成するステップと、
前記低解像度復号画像信号に対し前記空間デシメーション部における空間的縮小処理により消失した高周波成分の推定処理を行い、前記高周波成分推定信号を生成するステップと、
前記高解像度画像信号に対して、前記高周波成分推定信号を加算することにより、高周波成分を復元した前記高解像度画像信号を生成するステップと、
をコンピュータを実行させる動画像階層復号化プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008112313A JP2009267573A (ja) | 2008-04-23 | 2008-04-23 | 動画像階層符号化装置、動画像階層復号化装置、動画像階層符号化方法、動画像階層復号方法、動画像階層符号化プログラム及び階層復号プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008112313A JP2009267573A (ja) | 2008-04-23 | 2008-04-23 | 動画像階層符号化装置、動画像階層復号化装置、動画像階層符号化方法、動画像階層復号方法、動画像階層符号化プログラム及び階層復号プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009267573A true JP2009267573A (ja) | 2009-11-12 |
Family
ID=41392901
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008112313A Pending JP2009267573A (ja) | 2008-04-23 | 2008-04-23 | 動画像階層符号化装置、動画像階層復号化装置、動画像階層符号化方法、動画像階層復号方法、動画像階層符号化プログラム及び階層復号プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009267573A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012068898A1 (zh) * | 2010-11-24 | 2012-05-31 | 中兴通讯股份有限公司 | 移动多媒体广播中分级业务同步的方法、设备和*** |
-
2008
- 2008-04-23 JP JP2008112313A patent/JP2009267573A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012068898A1 (zh) * | 2010-11-24 | 2012-05-31 | 中兴通讯股份有限公司 | 移动多媒体广播中分级业务同步的方法、设备和*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2007174634A (ja) | 階層符号化装置、階層復号化装置、階層符号化方法、階層復号方法、階層符号化プログラム及び階層復号プログラム | |
RU2479939C2 (ru) | Способ кодирования и декодирования видеосигнала с использованием взвешенного предсказания и устройство для его осуществления | |
JP4565392B2 (ja) | 映像信号階層復号化装置、映像信号階層復号化方法、及び映像信号階層復号化プログラム | |
CN101682752B (zh) | 使用残差块的修改对图像编码和解码的方法和设备 | |
US20070133687A1 (en) | Motion compensation method | |
JP2014521276A (ja) | 層状の信号品質階層のおける信号処理およびインヘリタンスの方法、プログラム、及び、コンピュータシステム | |
JP2007150432A (ja) | 動画像符号化/復号化方法および装置 | |
JP4870120B2 (ja) | 動画像階層符号化装置、動画像階層符号化方法、動画像階層符号化プログラム、動画像階層復号化装置、動画像階層復号化方法、および動画像階層復号化プログラム | |
JP4888919B2 (ja) | 動画像符号化装置および動画像復号装置 | |
JP4844455B2 (ja) | 映像信号階層復号化装置、映像信号階層復号化方法、及び映像信号階層復号化プログラム | |
JP4889403B2 (ja) | Tv法を用いた画像符号化装置及び復号化装置 | |
KR20060063608A (ko) | 영상신호의 엔코딩/디코딩시에 영상블록에 대한 레지듀얼예측을 수행하는 방법 및 장치 | |
JP4844456B2 (ja) | 映像信号階層符号化装置、映像信号階層符号化方法、及び映像信号階層符号化プログラム | |
JP4835855B2 (ja) | 動画像符号化の装置、方法及びプログラムと、動画像復号の装置方法及びプログラム | |
JP6594966B2 (ja) | 向上した予測フィルタを用いてビデオ信号をエンコーディング、デコーディングする方法及び装置 | |
JP2009267573A (ja) | 動画像階層符号化装置、動画像階層復号化装置、動画像階層符号化方法、動画像階層復号方法、動画像階層符号化プログラム及び階層復号プログラム | |
JP4565393B2 (ja) | 映像信号階層符号化装置、映像信号階層符号化方法、及び映像信号階層符号化プログラム | |
JP4559811B2 (ja) | 情報処理装置及び情報処理方法 | |
JP4780139B2 (ja) | 映像階層符号化装置、映像階層符号化方法、映像階層符号化プログラム、映像階層復号装置、映像階層復号方法、および映像階層復号プログラム | |
KR100733966B1 (ko) | 움직임 벡터 예측 장치 및 방법 | |
JP4373384B2 (ja) | 時間解像度の拡大方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体 | |
JPH11191886A (ja) | 画像データ処理方法および画像データ処理装置 | |
JP2010287917A (ja) | 画像符号化/画像復号化装置及び方法 | |
JP2007074306A (ja) | 補足画素生成装置及び復号化システム及び復号化方法及び画像符号化通信システム及び復号化プログラム及びコンピュータ読み取り可能な記録媒体 | |
JP2008136037A (ja) | 映像信号階層符号化装置、映像信号階層符号化方法、及び映像信号階層符号化プログラム |