JP2010287917A - 画像符号化／画像復号化装置及び方法 - Google Patents

Abstract

【課題】エッジ成分に代表される空間的な画素値変化に基づく特徴を含む符号化対象領域の再現性を高めた予測画像を生成し、予測残差を低減可能な動画像符号化装置を提供する。
【解決手段】原画像から第１エッジ成分画像を抽出する抽出部１２１と；参照画像を、第２エッジ成分画像とエッジ除去画像とに分離する分離部１３０と；前記第２エッジ成分画像から前記第１エッジ成分画像を予測するための補助情報を生成する補助情報生成部１２２と；前記補助情報を用いて前記第２エッジ成分画像から第３エッジ成分画像を予測する予測部１４１と；前記エッジ除去画像と前記第３エッジ成分画像とを合成して予測画像を生成する予測画像生成部１４２と；を具備する。
【選択図】図２

Description

本発明は、画像の符号化及び復号化に関する。

従来、動画像符号化方式としてＭＰＥＧ−２やＨ．２６４／ＭＰＥＧ４ ＡＶＣ（以下、単にＨ．２６４と称する）が知られている。これらの動画像符号化方式では、原画像を所定の大きさのブロックに分割し、このブロック単位で動き推定及び動き補償によるフレーム間予測を行って予測画像を生成する。更に、上記動画像符号化方式では、この予測画像と原画像との間の予測残差に離散コサイン変換（以下、単にＤＣＴと称する）、量子化及びエントロピー符号化を行って、符号化データを生成する。

また、Ｈ．２６４における動き推定では、多数のブロックサイズ（１６×１６画素、１６×８画素、８×１６画素、８×８画素、８×４画素、４×８画素、４×４画素）から物体の形状や動きの複雑さに応じて適切なブロックサイズを選択するため、ＭＰＥＧ−２などに比べて予測効率が高い。しかしながら、このようなブロックサイズの選択を伴う動き推定は、剛体が画面内を平行移動する場合のフレーム間予測には適しているものの、例えばフレーム間で物体の変形が生じる場合には予測に失敗し、予測残差が発生する。特に、エッジ及びテクスチャなどの空間的な画素値変化の激しい箇所では予測残差が発生しやすく、この予測残差は復号画像においてモスキート雑音などの視認されやすい画質劣化を引き起こす。

上記予測残差は、動き推定においてより小さなブロックサイズを選択することにより低減させることができるものの、小さなブロックサイズを選択すれば動きベクトルを含むヘッダ情報の符号量が増大する。更に、エッジやテクスチャなどの空間的な画素値変化の激しい箇所は、例えばＤＣＴなどの直交変換後の変換係数が高周波成分に散在しやすく、この変換係数の量子化誤差によって復号画像においてエッジ鮮鋭度の劣化やテクスチャ情報の欠落が起こる。また、局所復号画像に含まれる予測残差が以降のフレーム間予測において参照される際に伝搬してしまう。

特許文献１では、原画像からエッジ成分を予め抽出して、エッジ成分が除去された画像をＭＰＥＧ−２やＨ．２６４などの既存のブロックベース符号化により符号化するとともに、エッジ成分のみの画像を別途正確に（予測残差が発生しないように）符号化する。このように、視覚上重要なエッジ成分を単独で正確に符号化することにより、従来の動画像符号化方式に比べてエッジ周辺における符号化歪を低減させることができるので、復号画像におけるモスキート雑音の発生を抑えられる。従って、特に高圧縮な再生画像における主観的な画質改善が期待できる。

特許文献２では、動き補償を行う際に、物体の平行移動、回転及び伸縮などを考慮した射影変換を行っており、この射影変換パラメータを決定するために、原画像から抽出した上記物体の輪郭情報が補助情報として用いられる。従って、フレーム間で物体の変形が生じる場合でも、上記輪郭情報に基づいて参照画像に幾何学的な変形を加えた予測画像を生成できるので、予測残差を低減できる。また、原画像から抽出した輪郭情報を符号化するのでなく、上記輪郭情報と既に符号化済みの参照画像から抽出した輪郭情報との残差を符号化するため、符号量を抑えられる。
特開平７−２４０９２５号公報 特許第３２３３１８５号公報

特許文献１では、エッジ成分のみの画像を単独で正確に符号化するため、画像全体をまとめて符号化する場合に比べて発生符号量が増大する。また、エッジ成分のみの画像の符号化はエッジ成分を除いた画像に対する符号化とは別に行われるため、両方の符号化データの符号量及び画質のバランスを考慮した制御が困難である。例えば、エッジ成分のみの画像による発生符号量が増大した場合、全体の符号量を保つためにはエッジ成分以外の画像の画質が劣化し、全体の画質を保つためにはエッジ成分以外の画像による発生符号量が増大する。

また、特許文献２では、射影変換パラメータを決定するための補助情報として輪郭情報を用いているが、輪郭情報にはエッジの形状情報は反映されるものの、被写体の動きによる輪郭のぼけや量子化誤差によって生じるエッジ鮮鋭度の劣化は反映されない。従って、輪郭情報を用いて射影変換パラメータを決定したとしても、エッジ鮮鋭度の再現性は向上させられない。

従って、本発明は、エッジ成分に代表される空間的な画素値変化に基づく特徴を含む符号化対象領域の再現性を高めた予測画像を生成し、予測残差を低減可能な動画像符号化／復号化装置を提供することを目的とする。

本発明の一態様に係る画像符号化装置は、原画像から第１エッジ成分画像を抽出する抽出部と；参照画像を、第２エッジ成分画像とエッジ除去画像とに分離する分離部と；前記第２エッジ成分画像から前記第１エッジ成分画像を予測するための補助情報を生成する補助情報生成部と；前記補助情報を用いて前記第２エッジ成分画像から第３エッジ成分画像を予測する予測部と；前記エッジ除去画像と前記第３エッジ成分画像とを合成して予測画像を生成する予測画像生成部と；前記原画像と前記予測画像との間の予測残差を求める予測残差計算部と；前記予測残差及び前記補助情報を符号化する符号化部と；を具備する。

本発明の他の態様に係る画像復号化装置は、入力された符号化データを復号化して、対象画像の予測残差および前記対象画像の第１エッジ成分画像を予測するための補助情報を求める復号化部と；既に復号化された参照画像を当該参照画像の第２エッジ成分画像と、当該参照画像から第２エッジ成分を除去したエッジ除去画像とに分離する分離部と；前記補助情報を用いて前記第２エッジ成分画像から前記第１エッジ成分画像を予測する予測部と；前記エッジ除去画像と前記第２エッジ成分画像とを合成して、予測画像を生成する合成部と；前記予測残差と前記予測画像とを用いて、前記対象画像の復号画像を生成する復号画像生成部と；を具備する。

本発明によれば、エッジ成分に代表される空間的な画素値変化に基づく特徴を含む符号化対象領域の再現性を高めた予測画像を生成し、予測残差を低減可能な動画像符号化／復号化装置を提供できる。

以下、図面を参照して、本発明の実施形態について説明する。
（第１の実施形態）
図１に示すように、本発明の第１の実施形態に係る画像符号化装置は符号化部１００及び符号化制御部１５０を有し、符号化部１００は減算器１０１、変換・量子化部１０２、逆変換・逆量子化部１０３、エントロピー符号化器１０４、加算器１０５、フレームメモリ１０６、動き推定・動き補償部１０７及び予測部１１０を含む。

符号化部１００は、符号化制御部１５０によって制御され、入力された動画像の原画像信号１０に対して、ハイブリッド符号化と呼ばれる動画像符号化処理を行って符号化データ１４を出力する。即ち、符号化部１００は、既に符号化済みの参照画像信号から予測した予測画像信号と原画像信号１０との間の予測残差信号を変換・量子化して、量子化された変換係数をエントロピー符号化して符号化データ１４を出力する。以下、符号化部１００において、原画像信号１０は図示しないブロックスキャン変換器によって所定の大きさのブロックに分割され、当該ブロック単位で処理が行われるものとして説明するが、フレームまたはフィールド単位で処理が行われてもよい。

減算器１０１は、原画像信号１０より、後述する予測部１１０からの第２予測画像信号１９を減算して予測残差信号１１を算出し、変換・量子化部１０２に渡す。

変換・量子化部１０２は減算器１０１からの予測残差信号１１に例えばＤＣＴなどの変換を行って、符号化制御部１５０によって設定される量子化パラメータに基づいて量子化し、量子化された変換係数１２を逆変換・逆量子化部１０３及びエントロピー符号化器１０４に渡す。尚、変換・量子化部１０２が予測残差信号１１に行う変換はＤＣＴに限らず、例えばウェーブレット変換または独立成分分析でもよいし、その他の直交変換であってもよい。

逆変換・逆量子化部１０３は、量子化された変換係数１２を上記量子化パラメータに基づいて逆量子化し、例えばＩＤＣＴなどの逆変換を行って、復号予測残差信号１３を加算器１０５に渡す。尚、逆変換・逆量子化部１０３が量子化された変換係数１２に行う逆変換はＩＤＣＴに限らないが、変換・量子化部１０２で予測残差信号１１に行われた変換の逆変換であるものとする。

エントロピー符号化器１０４は、変換・量子化部１０２からの量子化された変換係数１２、後述する動き推定・動き補償部１０７からの動きベクトル１８及び予測部１１０からの補助情報２０に、例えばハフマン符号化または算術符号化などのエントロピー符号化を行い、符号化データ１４として出力する。また、エントロピー符号化器１０４は、量子化パラメータや予測モード情報についても同様に符号化する。

加算器１０５は、逆変換・逆量子化部１０３からの復号予測残差信号１３と、後述する予測部１１０からの第２予測画像信号１９とを加算し、局所復号画像信号１５としてフレームメモリ１０６に渡す。

フレームメモリ１０６は、加算器１０５からの局所復号画像信号１５を参照画像信号１６として一時的に保存する。この参照画像信号１６は、後述する動き推定・動き補償部１０７によって参照される。尚、フレームメモリ１０６の前段にデブロッキングフィルタを設け、局所復号画像信号１５からブロック歪を除去しておいてもよい。

動き推定・動き補償部１０７は、原画像信号１０と、フレームメモリ１０６に保存されている参照画像信号１６とを用いて、動き推定・動き補償処理を行って第１予測画像信号１７を生成すると共に、動きベクトル１８を生成する。第１予測画像信号１７は予測部１１０に入力され、動きベクトル１８はエントロピー符号化器１０４に入力される。

動き推定・動き補償部１０７が行う動き推定・動き補償処理は、例えば所定の大きさのブロック単位で行うものであり、原画像信号１０の符号化対象ブロックと参照画像信号１６との間でブロックマッチングを行う。上記ブロックマッチングの結果、符号化コストが最小となる参照画像信号１６のブロックが第１予測画像信号１７として出力され、当該第予測画像信号１７の参照画像信号１６における位置を示す動きベクトル１８が生成される。尚、上記符号化コストは、例えば原画像信号１０と第１予測画像信号１７との差分の絶対値和（ＳＡＤ）を用いる。

また、参照画像信号１６は既に符号化済みであるから、時間的に未来のフレームまたは複数のフレームに基づいて予測を行ってもよく、次に示す数式に基づいて符号化コストを求めてもよい。

ここで、Ｋは符号化コスト、ＳＡＤは差分の絶対値和、λは量子化幅や量子化パラメータの値に基づいて決められる定数、ＯＨは動きベクトル及び参照するフレームを示すインデックスなどのヘッダ情報を夫々示す。また、符号化コストＫとしてヘッダ情報ＯＨのみを用いてもよいし差分をアダマール変換または近似してもよい。その他、原画像信号１０のアクティビティを用いてコスト関数を作成してもよい。

予測部１１０は、動き推定・動き補償部１０７からの第１予測画像信号１７を取得し、例えばエッジなどの画像内の空間的な画素値変化に基づく特徴成分の再現性を高めた第２予測画像信号１９を生成し、当該第２予測画像信号１９を減算器１０１及び加算器１０５に渡す。また、予測部１１０は第１予測画像信号１７から第２予測画像信号１９を予測するための補助情報２０をエントロピー符号化器１０４に渡す。尚、以下の説明では特徴成分の一例としてエッジについて説明するが、本実施形態に係る符号化器が適用可能な特徴成分はエッジに限らず、例えばテクスチャ、コントラスト及びノイズであってもよい。

図２に示すように、予測部１１０は、特徴抽出部１２１、補助情報生成部１２２、特徴分離部１３０、特徴予測部１４１及び信号合成部１４２を含む。

特徴分離部１３０は、動き推定・動き補償部１０７からの第１予測画像信号１７から特徴成分を抽出して第１特徴信号２１を生成すると共に、第１予測画像信号１７から第１特徴信号２１を除去した特徴除去信号２２を生成する。即ち、特徴分離部１３０は、第１予測画像信号１７を第１特徴信号２１と特徴除去信号２２とに分離する。第１特徴信号２１は補助情報生成部１２２及び特徴予測部１４１に入力され、特徴除去信号２２は信号合成部１４２に入力される。図２に示すように、特徴分離部１３０の一例は、特徴抽出部１３１及び減算器１３２を含む。

特徴抽出部１３１は、動き推定・動き補償部１０７からの第１予測画像信号１７に対して例えばエッジ抽出処理やフィルタリング処理を行ってエッジ成分を抽出し、第１特徴信号２１を生成して、減算器１３２、特徴予測部１４１及び信号合成部１４２に渡す。特徴抽出部１３１は、画像処理において一般的な微分オペレータによるエッジ検出手法を用いてよく、例えば１次微分であるＳｏｂｅｌオペレータまたは２次微分であるラプラシアンオペレータなどを用いてもよい。

減算器１３２は、動き推定・動き補償部１０７からの第１予測画像信号１７より、特徴抽出部１３１からの第１特徴信号２１を減算し、特徴除去信号２２を信号合成部１４２に渡す。

尚、特徴分離部１３０は図２に示す構成に限らず、例えば図３Ａまたは図３Ｂに示す構成であってもよい。
図３Ａに示すように、特徴分離部１３０の一変形例は平滑化フィルタ１３３及び減算器１３４を含む。

平滑化フィルタ１３３は、例えば移動平均フィルタ、加重平均フィルタ、メディアンフィルタまたはガウシアンフィルタなどの画像処理で一般的に用いられる平滑化フィルタである。平滑化フィルタ１３３は、動き推定・動き補償部１０７からの第１予測画像信号１７より高周波成分を除去する。一般に、画像を周波数変換するとエッジは主に高周波成分に含まれるので、第１予測画像信号１７から高周波成分を除去することにより、特徴除去信号２２が生成される。平滑化フィルタ１３３は、特徴除去信号２２を減算器１３４及び信号合成部１４２に渡す。

減算器１３４は、動き推定・動き補償部１０７からの第１予測画像信号１７より、平滑化フィルタ１３３からの特徴除去信号２２を減算して第１特徴信号２１を生成し、補助情報生成部１２２及び特徴予測部１４１に渡す。

図３Ｂに示すように、特徴分離部１３０の他の変形例は帯域分割部１３５を含む。帯域分割部１３５は、動き推定・動き補償部１０７からの第１予測画像信号１７に、例えばウェーブレット変換、離散コサイン変換または独立成分分析などの周波数変換を用いた周波数帯域分割を行って、高周波成分と低周波成分に分割する。前述したように、画像を周波数変換するとエッジは主に高周波成分に含まれるので、帯域分割部１３５は第１予測画像信号１７の高周波成分を第１特徴信号２１、低周波成分を特徴除去信号２２として夫々出力する。第１特徴信号２１は補助情報生成部１２２及び特徴予測部１４１に入力され、特徴除去信号２２は信号合成部１４２に入力される。

また、特徴分離部１３０において、エッジを関数によって表現したエッジモデルを用いて、当該エッジモデルと相関が高い部分をエッジ成分として抽出してもよい。その他、特徴分離部１３０における特徴成分の抽出は、復号化装置において同様に実施可能であれば多様な方法を用いることができる。

特徴抽出部１２１は、原画像信号１０から特徴成分を抽出して第２特徴信号２３を生成し、補助情報生成部１２２に渡す。特徴抽出部１２１は、前述した特徴分離部１３０と同様に、フィルタリング処理や周波数帯域分割処理など様々な手法によって特徴成分を抽出してよい。

補助情報生成部１２２は、特徴分離部１３０からの第１特徴信号２１及び特徴抽出部１２１からの第２特徴信号２３を取得し、上記第１特徴信号２１から第２特徴信号２３を予測するためのパラメータとして用いられる補助情報２０を生成する。補助情報２０は、特徴予測部１４１及びエントロピー符号化器１０４に入力される。尚、補助情報２０の詳細な説明は後述する。

特徴予測部１４１は、補助情報生成部１２２からの補助情報２０を用いて、特徴分離部１３０からの第１特徴信号２３より上記第２特徴信号２１を予測して特徴予測信号２４を生成し、信号合成部１４２に渡す。

信号合成部１４２は、特徴分離部１３０からの特徴除去信号２２と、特徴予測部１４１からの特徴予測信号２４とを合成して第２予測画像信号１９を生成し、減算器１０１及び加算器１０５に渡す。

尚、原画像信号１０または第１予測画像信号１７から抽出して予測または合成する特徴信号は１つに限らず、複数の特徴信号を抽出して夫々予測し、全ての特徴信号を一括して合成してもよい。また、第１予測画像信号１７から複数の第１特徴信号２１を抽出した場合、抽出した全ての第１特徴信号２１に関して補助情報２０を生成する必要はない。即ち、一部の第１特徴信号２１については補助情報２０を生成せずに、抽出した第１特徴信号２１を特徴予測信号２４として特徴除去信号２２に合成してもよい。

符号化制御部１５０は、発生符号量のフィードバック制御、量子化特性制御、動き推定精度の制御及び特徴予測精度の制御を含む符号化部１００全体の制御を行う。

次に、図４及び図５Ａ乃至Ｊを用いて予測部１１０の動作例について説明する。ここでは、図５Ａに示す原画像信号１０及びこれに対応する図５Ｃに示す第１予測画像信号１７から図５Ｊに示す第２予測画像信号１９を生成するまでの処理の流れについて説明する。

まず、特徴分離部１３０は、図５Ｃの第１予測画像信号１７を動き推定・動き補償部１０７より取得する（ステップＳ２０１）。次に、特徴分離部１３０は、ステップＳ２０１において取得した図５Ｃの第１予測画像信号１７から図５Ｄに示す第１特徴信号２１を抽出する（ステップＳ２０２）。次に、特徴分離部１３０は、ステップＳ２０１において取得した図５Ｃの第１予測画像信号１７より、ステップＳ２０２において取得した図５Ｄの第１特徴信号２１を除去し、図５Ｅに示す特徴除去信号２２を生成する（ステップＳ２０３）。ここで、ステップＳ２０２及びステップＳ２０３の行われる順序は上記に限らない。例えば、図３Ａに示す特徴分離部１３０であればステップＳ２０２及びステップＳ２０３の行われる順序を入れ替えてもよいし、図３Ｂに示す特徴分離部１３０であればステップＳ２０２及びステップＳ２０３が同時に行われてもよい。

一方、特徴抽出部１２１は、図５Ａの原画像信号１０を取得する（ステップＳ２０４）。次に、特徴抽出部１２１は、図５Ａの原画像信号１０から図５Ｂに示す第２特徴信号２３を抽出する（ステップＳ２０５）。ここで、ステップＳ２０１乃至ステップＳ２０３と、ステップＳ２０４及びステップＳ２０５とが行われる順序は上記に限らず、順序を入れ替えてもよいし、同時に行われてもよい。

次に、補助情報生成部１２２は、ステップＳ２０２において抽出した図５Ｄの第１特徴信号２１及びステップＳ２０５において抽出した図５Ｅの第２特徴信号２３から補助情報２０を生成する（ステップＳ２０６）。以下、補助情報２０について詳しく述べる。本実施形態では、エッジが形状、強度及び広がりの３つの情報で表現されるものとしており、補助情報２０は、第１特徴信号２１及び第２特徴信号２３の間における上記３つの情報の少なくとも１つの差分を示す。

まず、形状に関する補助情報２０の生成について説明する。補助情報生成部１２２は、形状に関する補助情報２０を生成するために、第１特徴信号２１及び第２特徴信号２３に対して細線化処理を行ってエッジ中心線を検出する。尚、補助情報生成部１２２が、第１特徴信号２１及び第２特徴信号２３に対して行う細線化処理は、画像処理で一般に用いられる手法でよい。補助情報生成部１２２が図５Ｄの第１特徴信号２１及び図５Ｂの第２特徴信号２３に対して細線化処理を行うことにより、図５Ｆに示すエッジ中心線が得られる。図５Ｆにおいて、図５Ｄの第１特徴信号２１から得られるエッジ中心線を実線、図５Ｂの第２特徴信号２３から得られるエッジ中心線を破線で夫々示している。補助情報生成部１２２は、両エッジ中心線の形状誤差を形状に関する補助情報２０として生成する。尚、形状誤差は例えばチェインコードやＢスプライン曲線などの高次のパラメトリック曲線を用いて表すことができる。

次に、強度及び広がりに関する補助情報２０の生成について説明する。図５Ｇに示すように、補助情報生成部１２２は、強度及び広がりに関する補助情報２０を生成するために、エッジに対して垂直方向に隣接する２点を始点及び終点とする複数の垂線を引いて当該垂線上でのエッジの強度分布を夫々求め、当該複数の強度分布を平均化して１つの強度分布を求める。補助情報生成部１２２が図５Ｄの第１特徴信号２１及び図５Ｂの第２特徴信号２３に対して上記強度分布を求めると、図５Ｈに示す強度分布が得られる。図５Ｈにおいて、横軸が上記垂線上での相対位置を示し、縦軸が当該垂線上の位置におけるエッジ強度を示し、図５Ｄの第１特徴信号２１から得られる強度分布が実線、図５Ｂの第２特徴信号２３から得られる強度分布が破線で夫々表されている。図５Ｈにおいて、各位置におけるエッジ強度は、当該位置における画素値と上記始点及び終点における画素値との差分の絶対値で表されている。

補助情報生成部１２２は、両強度分布の差分を強度及び広がりに関する補助情報２０として生成する。補助情報生成部１２２は、強度分布を何らかの関数を用いて近似して扱う。例えば図５Ｈに示す強度分布であれば、横軸で表される垂線上の位置をｘ、当該位置におけるエッジ強度をｆ（ｘ）とすると、次の式で表すことができる。

ここで、Ｅはエッジの強度、σはエッジの広がり（分散）、ａはエッジの中心座標を夫々表す。補助情報生成部１２２は、第１特徴信号２１から得られる強度分布及び第２特徴信号２３から得られる強度分布の夫々について、数式（２）で表される分布との誤差が最も小さくなる強度Ｅ及び広がりσを求め、これらの差分値を強度及び広がりに関する補助情報２０として生成する。尚、強度分布を近似するための関数は、数式（２）に限られず例えば上記始点及び終点の間を描くＢスプライン曲線などのパラメトリック曲線で近似してもよいし、その他の関数で近似してもよい。また、固定の関数で近似するのではなく、複数の関数から近似に適した関数を選択するようにしてもよい。

また、補助情報生成部１２２は、第１特徴信号２１及び第２特徴信号２３を用いて動き推定・動き補償処理を行い、補助情報２０として動きベクトルを生成してもよい。

次に、特徴予測部１４１は、ステップＳ２０６において生成した補助情報２０及びステップＳ２０２において抽出した図５Ｄの第１特徴信号２１を用いて図５Ｉに示す特徴予測信号２４を生成する（ステップＳ２０７）。

次に、信号合成部１４２は、ステップＳ２０３において生成した図５Ｅの特徴除去信号２２及びステップＳ２０７において生成した図５Ｉの特徴予測信号２４を合成して、図５Ｊに示す第２予測画像信号１９を生成する（ステップＳ２０８）。

以上説明したように、本実施形態に係る動画像符号化装置では、第１予測画像信号から抽出した第１特徴信号及び補助情報を用いて、原画像信号の第２特徴信号を予測して特徴予測信号を生成し、第１予測画像信号から第１特徴信号を除去した特徴除去信号に特徴予測信号を合成して第２予測画像信号を生成し、原画像信号との間の予測残差信号を補助情報と共に符号化している。従って、本実施形態に係る動画像符号化装置によれば、第１予測画像信号と原画像信号との間の予測残差を符号化する場合に比べて、特徴信号の再現性を高め、予測残差を低減させられる。

また、本実施形態に係る動画像符号化装置では、第２特徴信号をそのまま符号化するのではなく、第１予測画像信号から抽出した第１特徴信号及び補助情報を用いて上記第２特徴信号を予測するようにしているため、符号量を削減することができる。また、特徴信号の再現性の高低は上記補助情報の内容で決まるが、補助情報による発生符号量は符号化制御部が設定する量子化パラメータなどによって制御することができるので、特徴信号の再現性と発生符号量のバランスを容易に制御できる。

尚、本実施形態に係る動画像符号化装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。即ち、減算器１０１、変換・量子化部１０２、逆変換・逆量子化部１０３、エントロピー符号化器１０４、加算器１０５、動き推定・動き補償部１０７、予測部１１０及び符号化制御部１５０は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、本実施形態に係る動画像符号化装置は、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、フレームメモリ１０６は、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現することができる。

また、本実施形態に係る動画像符号化装置は動画像の符号化に限らず、既に符号化済みの画像から予測画像信号を生成し、入力画像信号と予測画像信号との間の予測残差信号を符号化する符号化方式であれば、静止画像の符号化に対しても適用できる。

なお、本実施形態を変形して、動き推定・動き補償部１０７と予測部１１０とを統合しても構わない。この変形例では、フレームメモリ１０６から参照画像をフレーム単位で予測部１１０に入力する。予測部１１０で特徴毎に分離する。分離した成分を用いて補助情報生成部１２２で動き推定・動き補償を行う。そして、補助情報２０として動きベクトル１８を送信する。

（第２の実施形態）
図６に示すように、本発明の第２の実施形態に係る復号化装置は、復号化部３００及び復号化制御部３２０を有し、復号化部３００はエントロピー復号化器３０１、逆変換・逆量子化部３０２、加算器３０３、フレームメモリ３０４、動き補償部３０５及び予測部３１０を含む。

復号化部３００は、復号化制御部３２０によって制御され、入力された符号化データ３０をエントロピー復号化し、逆量子化・逆直交変換を行って予測残差信号を復号し、この復号予測残差信号に既に復号化済みの参照画像信号を用いて予測した予測画像信号を加算して復号画像信号３５を生成する。

エントロピー復号化器３０１は、所定のデータ構造に従って符号化データ３０を復号化し、量子化された変換係数３１、補助情報３２、動きベクトル３３、量子化パラメータ及び予測モード情報などを復元する。エントロピー復号化器３０１は、量子化された変換係数３１を逆変換・逆量子化部３０２に渡し、補助情報３２を予測部３１０に渡し、動きベクトル３３を動き補償部３０５に渡す。

逆変換・逆量子化部３０２は、エントロピー復号化器３０１からの量子化された変換係数３１を復元された量子化パラメータに従って逆量子化し、例えばＩＤＣＴなどの逆変換を行って、復号予測残差信号３４を加算器３０３に渡す。尚、逆変換・逆量子化部３０２が量子化された変換係数３１に行う逆変換はＩＤＣＴに限らず、例えば逆ウェーブレット変換やその他の逆直交変換であってもよいが、符号化側で予測残差信号に対して行われた変換の逆変換であるものとする。

加算器３０３は、逆変換・逆量子化部３０２からの復号予測残差信号３４と、後述する予測部３１０からの第２予測画像信号３８とを加算し、復号画像信号３５を生成する。生成された復号画像信号３５は出力されると共に、フレームメモリ３０４に渡される。

フレームメモリ３０４は、加算器３０３からの復号画像信号３５を参照画像信号３６として一時的に保存する。この参照画像信号３６は、後述する動き補償部３０５によって参照される。尚、フレームメモリ３０４の前段にデブロッキングフィルタを設け、復号画像信号３５からブロック歪を除去してもよい。

動き補償部３０５は、フレームメモリ３０４に保存されている参照画像信号３６を取得し、エントロピー復号化器３０１からの動きベクトル３３によって示される参照画像信号３６の領域を第１予測画像信号３７として予測部３１０に渡す。

予測部３１０は、動き補償部３０５のから第１予測画像信号３７及びエントロピー符号化器３０１からの補助情報３２を取得し、例えばエッジなどの画像内の空間的な画素値変化に基づく特徴成分の再現性を高めた第２予測画像信号３８を生成し、当該第２予測画像信号３８を加算器３０３に渡す。尚、以下の説明では特徴成分の一例としてエッジについて説明するが、本実施形態に係る符号化器が適用可能な特徴成分はエッジに限らず、例えばテクスチャ、コントラスト及びノイズであってもよい。図７に示すように、予測部３１０は、特徴分離部３１１、特徴予測部３１２及び信号合成部３１３を含む。

特徴分離部３１１は、特徴分離部１３０と同様、動き補償部３０５からの第１予測画像信号３７から特徴成分を抽出して第１特徴信号３９を生成すると共に、第１予測画像信号３７から第１特徴信号３９を除去した特徴除去信号４０を生成する。第１特徴信号３９は特徴予測部３１２に入力され、特徴除去信号４０は信号合成部３１３に入力される。尚、特徴分離部３１１は、図２、図３Ａまたは図３Ｂのいずれかに示す特徴分離部１３０と同じ構成であってもよいし、その他の構成であってもよい。

特徴予測部３１２は、エントロピー復号化器３０１からの補助情報３２を用いて、特徴分離部３１１からの第１特徴信号３９より特徴予測信号４１を生成し、信号合成部３１３に渡す。

信号合成部３１３は、特徴分離部３１１からの特徴除去信号４０と、特徴予測部３１２からの特徴予測信号４１とを合成して第２予測画像信号３８を生成し、加算器３０３に渡す。

復号化制御部３２０は、復号化タイミングの制御を含む復号化部３００全体の制御を行う。
次に、図８を用いて予測部３１０の動作について説明する。
まず、特徴分離部３１１は、第１予測画像信号３７を動き補償部３０５より取得する（ステップＳ４０１）。次に、特徴分離部３１１は、ステップＳ４０１において取得した第１予測画像信号３７から第１特徴信号３９を抽出する（ステップＳ４０２）。次に、特徴分離部３１１は、ステップＳ４０１において取得した第１予測画像信号３７より、ステップＳ４０２において取得した第１特徴信号３９を除去し、特徴除去信号４０を生成する（ステップＳ４０３）。ここで、ステップＳ４０２及びステップＳ４０３の行われる順序は上記に限らない。例えば、図３Ａに示す特徴分離部１３０と同様の特徴分離部３１１であればステップＳ４０２及びステップＳ４０３の行われる順序を入れ替えてもよいし、図３Ｂに示す特徴分離部１３０と同様の特徴分離部３１１であればステップＳ４０２及びステップＳ４０３が同時に行われてもよい。

次に、特徴予測部３１２は、エントロピー復号化器３０１からの補助情報３２を取得する（ステップＳ４０４）。次に、特徴予測部３１２はステップＳ４０４において取得した補助情報３２及びステップＳ４０２において抽出した第１特徴信号３９を用いて特徴予測信号４１を生成する（ステップＳ４０５）。

次に、信号合成部３１３は、ステップＳ４０３において生成した特徴除去信号４０及びステップＳ４０５において生成した特徴予測信号４１を合成して、第２予測画像信号３８を生成する（ステップＳ４０６）。

以上説明したように、本実施形態に係る動画像復号化装置では、第１予測画像信号から抽出した第１特徴信号及び符号化データから復元した補助情報を用いて、原画像信号の第２特徴信号を予測して特徴予測信号を生成し、第１予測画像信号から第１特徴信号を除去した特徴除去信号に特徴予測信号を合成して第２予測画像信号を生成し、符号化データから復元した予測残差信号と第２予測画像信号とを加算して復号画像信号を生成している。従って、本実施形態に係る動画像復号化装置によれば、第１予測画像信号と予測残差信号とを加算して復号画像信号を生成する場合に比べて、特徴信号の再現性を高め、予測残差を低減させられる。

尚、本実施形態に係る動画像復号化装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。即ち、エントロピー復号化器３０１、逆変換・逆量子化部３０２、加算器３０３、動き補償部３０５、予測部３１０及び復号化制御部３２０は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、本実施形態に係る動画像復号化装置は、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、フレームメモリ３０４は、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現することができる。

尚、本発明は上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また上記各実施形態に開示されている複数の構成要素を適宜組み合わせることによって種々の発明を形成できる。また例えば、各実施形態に示される全構成要素からいくつかの構成要素を削除した構成も考えられる。さらに、異なる実施形態に記載した構成要素を適宜組み合わせてもよい。

その他、本発明の要旨を逸脱しない範囲で種々の変形を施しても同様に実施可能であることはいうまでもない。

第１の実施形態に係る動画像符号化装置を示すブロック図。 図１の予測部を示すブロック図。 図２の特徴分離部の一変形例を示すブロック図。 図２の特徴分離部の他の変形例を示すブロック図。 図２の予測部の動作を示すフローチャート。 原画像信号の一例を示す図。 図５Ａの原画像信号から抽出される第２特徴信号の一例を示す図。 図５Ａの原画像信号に動き推定・動き補償を行った第１予測画像信号の一例を示す図。 図５Ｃの第１予測画像信号から抽出される第１特徴信号の一例を示す図。 図５Ｃの第１予測画像信号から図５Ｄの第１特徴信号を除去した特徴除去信号の一例を示す図。 図５Ｄの第１特徴信号と図５Ｂの第２特徴信号のエッジ中心線を示す図。 エッジの強度分布の求め方の一例を示す図。 図５Ｄの第１特徴信号と図５Ｂの第２特徴信号の強度分布を示すグラフ図。 図５Ｄの第１特徴信号と補助情報を用いて生成した特徴予測信号の一例を示す図。 図５Ｅの特徴除去信号と図５Ｉの特徴予測信号を合成した第２予測画像信号の一例を示す図。 第２の実施形態に係る動画像復号化装置を示すブロック図。 図６の予測部を示すブロック図。 図７の予測部の動作を示すフローチャート。

符号の説明

１０・・・原画像信号
１１・・・予測残差信号
１２・・・量子化された変換係数
１３・・・復号予測残差信号
１４・・・符号化データ
１５・・・局所復号画像信号
１６・・・参照画像信号
１７・・・第１予測画像信号
１８・・・動きベクトル
１９・・・第２予測画像信号
２０・・・補助情報
２１・・・第１特徴信号
２２・・・特徴除去信号
２３・・・第２特徴信号
２４・・・特徴予測信号
３０・・・符号化データ
３１・・・量子化された変換係数
３２・・・補助情報
３３・・・動きベクトル
３４・・・復号予測残差信号
３５・・・復号画像信号
３６・・・参照画像信号
３７・・・第１予測画像信号
３８・・・第２予測画像信号
３９・・・第１特徴信号
４０・・・特徴除去信号
４１・・・特徴予測信号
１００・・・符号化部
１０１・・・減算器
１０２・・・変換・量子化部
１０３・・・逆変換・逆量子化部
１０４・・・エントロピー符号化器
１０５・・・加算器
１０６・・・フレームメモリ
１０７・・・動き推定・動き補償部
１１０・・・予測部
１２１・・・特徴抽出部
１２２・・・補助情報生成部
１３０・・・特徴分離部
１３１・・・特徴抽出部
１３２・・・減算器
１３３・・・平滑化フィルタ
１３４・・・減算器
１３５・・・帯域分割部
１４１・・・特徴予測部
１４２・・・信号合成部
１５０・・・符号化制御部
３００・・・復号化部
３０１・・・エントロピー復号化器
３０２・・・逆変換・逆量子化部
３０３・・・加算器
３０４・・・フレームメモリ
３０５・・・動き補償部
３１０・・・予測部
３１１・・・特徴分離部
３１２・・・特徴予測部
３１３・・・信号合成部
３２０・・・復号化制御部

Claims (11)

1. 原画像から第１エッジ成分画像を抽出する抽出部と、
   参照画像を、第２エッジ成分画像とエッジ除去画像とに分離する分離部と、
   前記第２エッジ成分画像から前記第１エッジ成分画像を予測するための補助情報を生成する補助情報生成部と、
   前記補助情報を用いて前記第２エッジ成分画像から第３エッジ成分画像を予測する予測部と、
   前記エッジ除去画像と前記第３エッジ成分画像とを合成して予測画像を生成する予測画像生成部と、
   前記原画像と前記予測画像との間の予測残差を求める予測残差計算部と、
   前記予測残差及び前記補助情報を符号化する符号化部と、
   を具備することを特徴とする画像符号化装置。
2. 前記補助情報は、前記第１エッジ成分画像に含まれる第１エッジと前記第２エッジ成分画像に含まれる第２エッジとの間の形状、強度及び広がりのうち少なくとも１つの差分を示す情報を含むことを特徴とする請求項１記載の画像符号化装置。
3. 前記分離部は、
   前記参照画像から前記第２エッジ成分画像を抽出する第２の抽出部と、
   前記参照画像から前記第２エッジ成分画像を減算して、前記エッジ除去画像を生成する減算器と
   を含むことを特徴とする請求項１記載の画像符号化装置。
4. 前記分離部は、
   前記参照画像から前記エッジ除去画像を抽出する平滑化フィルタと、
   前記参照画像から前記エッジ除去画像を減算して、前記第２エッジ成分を生成する減算器と
   を含むことを特徴とする請求項１記載の画像符号化装置。
5. 前記分離部は、前記参照画像を高周波成分と低周波成分とに分割し、前記高周波成分を前記第２エッジ成分画像として出力し、前記低周波成分を前記エッジ除去画像として出力することを特徴とする請求項１記載の画像符号化装置。
6. 入力された符号化データを復号化して、対象画像の予測残差および前記対象画像の第１エッジ成分画像を予測するための補助情報を求める復号化部と、
   既に復号化された参照画像を当該参照画像の第２エッジ成分画像と、当該参照画像から第２エッジ成分を除去したエッジ除去画像とに分離する分離部と、
   前記補助情報を用いて前記第２エッジ成分画像から前記第１エッジ成分画像を予測する予測部と、
   前記エッジ除去画像と前記第２エッジ成分画像とを合成して、予測画像を生成する合成部と、
   前記予測残差と前記予測画像とを用いて、前記対象画像の復号画像を生成する復号画像生成部と、
   を具備することを特徴とする画像復号化装置。
7. 前記補助情報は、前記第１エッジ成分画像に含まれる第１エッジと前記第２エッジ成分画像に含まれる第２エッジとの間の形状、強度及び広がりのうち少なくとも１つの差分を示す情報を含むことを特徴とする請求項６記載の画像復号化装置。
8. 原画像から第１エッジ成分画像を抽出し、
   参照画像を、第２エッジ成分画像とエッジ除去画像とに分離し、
   前記第２エッジ成分画像から前記第１エッジ成分画像を予測するための補助情報を生成し、
   前記補助情報を用いて前記第２エッジ成分画像から第３エッジ成分画像を予測し、
   前記エッジ除去画像と前記第３エッジ成分画像とを合成して予測画像を生成し、
   前記原画像と前記予測画像との間の予測残差を求め、
   前記予測残差及び前記補助情報を符号化する
   ことを特徴とする画像符号化方法。
9. 前記補助情報は、前記第１エッジ成分画像に含まれる第１エッジと前記第２エッジ成分画像に含まれる第２エッジとの間の形状、強度及び広がりのうち少なくとも１つの差分を示す情報を含むことを特徴とする請求項８記載の画像符号化方法。
10. 入力された符号化データを復号化して、対象画像の予測残差および前記対象画像の第１エッジ成分画像を予測するための補助情報を求め、
    既に復号化された参照画像を当該参照画像の第２エッジ成分画像と、当該参照画像から第２エッジ成分を除去したエッジ除去画像とに分離し、
    前記補助情報を用いて前記第２エッジ成分画像から前記第１エッジ成分画像を予測し、
    前記エッジ除去画像と前記第２エッジ成分画像とを合成して、予測画像を生成し、
    前記予測残差と前記予測画像とを用いて、前記対象画像の復号画像を生成する復号画像生成する
    ことを特徴とする画像復号化方法。
11. 前記補助情報は、前記第１エッジ成分画像に含まれる第１エッジと前記第２エッジ成分に含まれる第２エッジとの間の形状、強度及び広がりのうち少なくとも１つの差分を示す情報を含むことを特徴とする請求項１０記載の画像復号化方法。

Images