JP2012089905A - 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法 - Google Patents

Abstract

【課題】エッジのような画像特徴部分に対して好適にブロックを分割することで、高画質で符号化効率の良い符号化技術及び復号化技術を提供する。
【解決手段】画像符号化装置１００は、入力画像を第１のブロックに分割する第１のブロック分割部１０１と、第１のブロックを更に複数の第２のブロックに分割する第２のブロック分割部１１１と、第１のブロックまたは第２のブロックに対し、画面内予測または画面間予測により予測画像を生成する予測画像生成部１１２，１１３を備える。第２のブロック分割部１１１は、第１のブロックと同一画面内で隣接する符号化済みのブロックのエッジ情報に基づき第２のブロックのブロック形状を決定する。
【選択図】図１

Description

本発明は、高画質で符号化効率の良い符号化技術及び復号化技術に関する。

ＴＶ信号などの動画像データを高能率に符号化して記録あるいは伝送する手法としてＭＰＥＧ（Moving Picture Experts Group）方式等の符号化方式が策定され、ＭＰＥＧ−１規格、ＭＰＥＧ−２規格、ＭＰＥＧ−４規格等として国際標準の符号化方式となっている。また、さらに圧縮率を向上させる方式として、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）規格等が定められている。ＭＰＥＧ符号化方式では１画面（１フレーム）をマクロブロック（１６画素×１６ライン）単位に分割して、それぞれのブロックについて画面内または画面間の相関を利用した予測符号化を行う。Ｈ．２６４／ＡＶＣ方式では、マクロブロックをさらに１６×８、８×１６、８×８、８×４、４×８、４×４の小ブロックに分割するモードを有しており、ＭＰＥＧ−１、ＭＰＥＧ−２と比べて符号化を行う際のブロックについて分割種別を増やすことにより予測精度を向上し、高い圧縮率を実現している。

ブロック分割の技術に関し、例えば特許文献１には、入力画像をＭ×Ｎサイズの第１のブロックに分割し、さらに第１のブロックをｍ×ｎサイズの第２のブロックに分割し、第２のブロックの画像から抽出した特徴情報に基づいて第１のブロックの分割形状を決定することが記載されている。

特開２００８−１７３０５号公報

符号化対象の画像内にエッジなどの特徴的部分が存在すると、それを含むブロックの符号量が増大することになる。特許文献１に記載される技術によれば、例えば第２のブロックの特徴情報としてエッジの有無を検出し、エッジが存在すれば第２のブロックの形状に分割し、エッジが存在しなければ分割せず第１のブロックの形状のままとするものである。すなわちエッジの存在しない領域を大きなサイズのブロックとして扱うことで、符号量の削減を行うことができる。しかしながら、特許文献１に記載された技術ではブロックの分割方法が矩形形状に限定されているため、例えば斜め方向のエッジを含む画像においては必ずしも精度よく予測を行うことができず、復号化後の画質が低くなる、あるいは符号量が多くなるという課題がある。これは、従来の各ＭＰＥＧ方式に共通する課題でもある。

本発明は上記課題を鑑みてなされたものであり、その目的は、エッジのような画像特徴部分に対して好適にブロックを分割することで、高画質で符号化効率の良い符号化技術及び復号化技術を提供することにある。

本発明は、入力画像に対し、複数の符号化モードを用いて生成された予測画像との差分画像を符号化する画像符号化装置において、入力画像を所定サイズの第１のブロックに分割する第１のブロック分割部と、前記第１のブロックを更に複数の第２のブロックに分割する第２のブロック分割部と、前記第１のブロックまたは前記第２のブロックに対し、前記複数の符号化モードの中から１つの符号化モードを選択し、画面内予測または画面間予測により予測画像を生成する予測画像生成部と、前記予測画像と前記入力画像の差分画像を算出する減算部と、前記差分画像に対して周波数変換処理と量子化処理と可変長符号化処理を行い符号化ストリームを生成する符号化ストリーム生成部とを備え、前記第２のブロック分割部は、前記第１のブロックと同一画面内で隣接する符号化済みのブロックのエッジ情報に基づき前記第２のブロックのブロック形状を決定する。

本発明は、入力画像に対し、複数の符号化モードを用いて生成された予測画像との差分画像を符号化する画像符号化方法において、入力画像を所定サイズの第１のブロックに分割する第１のブロック分割ステップと、前記第１のブロックを、更に複数の第２のブロックに分割する第２のブロック分割ステップと、前記第１のブロックまたは第２のブロックに対し、前記複数の符号化モードの中から１つの符号化モードを選択し、画面内予測または画面間予測により予測画像を生成する予測画像生成ステップと、前記予測画像と前記入力画像の差分画像を算出する減算ステップと、前記差分画像に対して周波数変換処理と量子化処理と可変長符号化処理を行い符号化ストリームを生成する符号化ストリーム生成ステップとを備え、前記第２のブロック分割ステップは、前記第１のブロックと同一画面内で隣接する符号化済みのブロックのエッジ情報に基づき前記第２のブロックのブロック形状を決定する。

本発明は、符号化ストリームを復号化して復号画像を生成する画像復号化装置において、前記符号化ストリームに対して可変長復号化処理と逆量子化処理と逆周波数変換処理を行い差分画像を生成する差分画像復号化部と、前記符号化ストリームに含まれる符号化モード情報に従い復号化するブロックに分割し、画面内予測または画面間予測により予測画像を生成する予測画像生成部と、前記予測画像と前記差分画像を加算して復号画像を生成する加算部とを備え、前記予測画像生成部は、復号化対象ブロックと同一画面内で隣接する復号化済みのブロックのエッジ情報に基づき前記復号化対象ブロックのブロック形状を決定する。

本発明は、符号化ストリームを復号化して復号画像を生成する画像復号化方法において、前記符号化ストリームに対して可変長復号化処理と逆量子化処理と逆周波数変換処理を行い差分画像を生成する差分画像復号化ステップと、前記符号化ストリームに含まれる符号化モード情報に従い復号化するブロックに分割し、画面内予測または画面間予測により予測画像を生成する予測画像生成ステップと、前記予測画像と前記差分画像を加算して復号画像を生成する加算ステップとを備え、前記予測画像生成ステップは、復号化対象ブロックと同一画面内で隣接する復号化済みのブロックのエッジ情報に基づき前記復号化対象ブロックのブロック形状を決定する。

本発明によれば、高画質で符号化効率の良い画像符号化装置、画像復号化装置及びその方法を提供できる。

本発明の画像符号化装置の一実施例を示す構成ブロック図（実施例１）。 エッジ情報取得部１１０の動作例を説明する図。 エッジ強度を計算するために用いるフィルタ係数の例。 エッジ強度を算出するために参照する画素値。 第２のブロック分割部１１１によるブロック分割のモードを示す図。 画面間予測の動作例を示す図。 画面間予測符号化におけるエッジ分割モードの効果を説明する図。 画面間予測符号化におけるエッジ分割モードの効果を説明する図。 従来の画面内予測の動作を示す図。 従来の画面内予測の動作を示す図。 エッジ分割モードによる画面内予測の動作を示す図。 画面内予測符号化におけるエッジ分割モードの効果を説明する図。 画面内予測符号化におけるエッジ分割モードの効果を説明する図。 エッジ情報取得部１１０の他の動作例を説明する図（実施例２）。 本発明による画像復号化装置の一実施例を示す構成ブロック図（実施例３）。 実施例３の復号化処理手順を示すフローチャート。 図１６における画面内予測処理の手順を示すフローチャート。 図１６における画面間予測処理の手順を示すフローチャート。

以下、本発明の実施例を画像符号化装置と画像復号化装置に分けて説明する。

図１は、本発明の画像符号化装置の一実施例（実施例１）を示す構成ブロック図である。
画像符号化装置１００において、第１のブロック分割部１０１は、入力画像１５０を１６×１６画素で構成される第１の入力画像ブロック１５１に分割する。減算器１０２は、第１の入力画像ブロック１５１と、後述の符号化モード選択部１１４から出力される予測画像ブロック１５５との減算処理を行い、差分画像信号１５２を生成する。周波数変換部１０３は差分画像信号１５２に対して、画像ブロック毎に離散コサイン変換（Discrete Cosine Transform＝ＤＣＴ変換）等の周波数変換を行い、周波数変換データを出力する。量子化部１０４はこのデータを量子化して、量子化データ１５３を出力する。可変長符号化部１０５は、量子化データ１５３を可変長符号化した符号化データに、符号化モード選択部１１４より出力する符号化モード情報や動きベクトル等の情報１５７を多重して符号化ストリーム１５４を生成し、出力する。

逆量子化部１０６は、量子化部１０４から出力される量子化データ１５３を逆量子化し、逆周波数変換部１０７はこれを逆周波数変換して、差分ブロックデータを出力する。加算器１０８は、差分ブロックデータと、符号化モード選択部１１４から出力される予測画像ブロック１５５を加算して復号画像１５６を生成する。フレームメモリ１０９は復号画像１５６を格納する。

エッジ情報取得部１１０は、フレームメモリ１０９から読み出した画像についてエッジ情報を取得する。第２のブロック分割部１１１は、取得されたエッジ情報に基づいて、第１のブロック分割部１０１から出力される入力画像ブロック１５１を更に細かく分割し、第２の入力画像ブロック１６０を出力する。エッジ情報取得部１１０と第２のブロック分割部１１１の詳細動作は後述する。

画面内予測部１１２は、フレームメモリ１０９から読み出した参照画像１５９から画面内予測画像を生成する。画面間予測部１１３は、フレームメモリ１０９から読み出した参照画像１５９から画面間予測画像を生成する。

符号化モード選択部１１４は、画面内予測部１１２で生成した予測画像と画面間予測部１１３で生成した予測画像のいずれか一方を選択し、選択した予測画像１５５を減算器１０２および加算器１０８に出力する。また、符号化モード選択部１１４で選択された符号化モードとブロック分割の情報１５７を可変長符号化部１０５に出力する。

本実施例では、エッジ情報取得部１１０と第２のブロック分割部１１１を設けることで、入力画像ブロック１５１を更に細かい第２の入力画像ブロック１６０に分割し、画面内予測および画面間予測を行い、最適な予測画像１５５を作成することに特徴がある。

以下、エッジ情報取得部１１０と第２のブロック分割部１１１の動作について詳細に説明する。
図２は、エッジ情報取得部１１０の動作例を説明する図である。図２において画面２１０は符号化対象画面であり、第１のブロック分割部１０１により所定サイズ（１６×１６画素）の第１のブロックに分割されている。画面中の矢印２１０ａは符号化を行うブロックの順序を示し、次に符号化を行う符号化対象ブロック２０１、およびエッジ情報取得のために参照する隣接ブロック２０２〜２０５を拡大して示す。ここで取り上げた隣接ブロック２０２〜２０５は、符号化対象ブロック２０１と同一画面内で隣接し符号化順序２１０ａに従い既に符号化が完了しているブロックであり、フレームメモリ１０９から読み出した復号画像である。

エッジ情報取得部１１０は、図２の隣接ブロック２０２〜２０５内の符号化対象ブロック２０１に近接するエッジ情報算出対象画素Ｐ_edge_cal（ｉ）（ｉ＝０〜４７）を選択する。そしてこれらの画素について、水平エッジ強度ｆ_ｈ、垂直エッジ強度ｆ_ｖを取得し、〔数式１〕によりエッジ強度ｆを算出する。水平エッジ強度ｆ_ｈ、垂直エッジ強度ｆ_ｖの算出方法は後述する。

次に、画素Ｐ_edge_cal（ｉ）（ｉ＝０〜４７）の中から〔数式１〕で算出したエッジ強度が最大となる時の画素Ｐ_edge_cal（ｉ０）を求める。そして、画素Ｐ_edge_cal（ｉ０）におけるエッジ角度ｇを〔数式２〕により算出する。

〔数式２〕で算出したエッジ角度ｇから、画素Ｐ_edge_cal（ｉ０）におけるエッジ直線を〔数式３〕により算出する。なお、ｘ_ｉ、ｙ_ｉは、画面左上端を原点とした時の画素Ｐ_edge_cal（ｉ０）の水平、垂直座標とする。

次に、求めたエッジ直線の有効／無効の判定を行う。〔数式３〕で算出したエッジ直線が、図２の直線２２０のように符号化対象ブロック２０１と交差する場合は、この時の画素ｉの座標（ｘ_ｉ、ｙ_ｉ）とエッジ角度ｇ（ｉ）を有効とし、これらのエッジ情報を第２のブロック分割部１１１に出力する。

一方、〔数式３〕で算出したエッジ直線が、図２の直線２３０のように符号化対象ブロック２０１と交差しなかった場合は、この時の画素ｉの座標とエッジ角度を無効とする。そして、画素Ｐ_edge_cal（ｉ）（ｉ＝０〜４７）の中から上記の画素を除いた中でエッジ強度ｆが最大となる画素を再度算出し、〔数式２〕によりエッジ角度を算出する。そして、再度求めたエッジ直線が符号化対象ブロック２０１と交差すれば有効とし、この時のエッジ情報を第２のブロック分割部１１１に出力する。このようにして、求めたエッジ直線が符号化対象ブロック２０１と交差するエッジ情報が見つかるまで、上記の処理を繰り返す。

ここで、前記〔数式１〕におけるエッジ強度ｆ_ｈ、ｆ_ｖを計算する具体的方法を示す。
図３は、エッジ強度を計算するために用いるフィルタ係数の例で、（ａ）はソーベルフィルタ、（ｂ）はプレウィットフィルタである。垂直方向フィルタは、垂直エッジ強度ｆ_ｖを算出するために水平方向の画素値の差分を求める係数である。水平方向フィルタは、水平エッジ強度ｆ_ｈを算出するために垂直方向の画素値の差分を求める係数である。

また図４は、エッジ強度を算出するために参照する画素値を示す。Ａは画素値で、ｉ，ｊは画面左上端を原点とした時の水平、垂直座標を表す。画素Ａ（ｉ，ｊ）が中心画素で、これに隣接する８個の画素を用いる。
例えば、（ａ）のソーベルフィルタを用いた時の画素Ａ（ｉ，ｊ）における垂直エッジ強度ｆ_ｖと水平エッジ強度ｆ_ｈは、〔数式４〕と〔数式５〕を用いて算出する。

フィルタ係数として、（ｂ）のプレウィットフィルタを用いる時も同様に算出する。

以下、本実施例の動作を、画面間予測符号化と画面内予測符号化の場合に分けて説明する。
＜画面間予測符号化＞
画面間予測符号化を行う時の第２のブロック分割部１１１および画面間予測部１１３の動作について説明する。まず、第２のブロック分割部１１１の動作から説明する。

図５は、第２のブロック分割部１１１によるブロック分割のモードを示す図である。Ｈ．２６４／ＡＶＣにおいて画面間予測を行う場合、図５（１）〜（７）に示すように、１６×１６画素のモード、１６×８モード、８×１６モード、８×８モードの４通りの分割、および８×８に分割した場合の計４ブロックについて、それぞれ独立に８×８モード、８×４モード、４×８モード、４×４モードの４通りに分割が可能であり、合計７通りの分割モードが設けられている。このうち（１）の１６×１６モードでは、図１における第１の入力画像ブロック１５１がそのままのサイズ（１６×１６）で画面間予測部１１３に出力される。それ以外のモード、例えば（２）の１６×８モードでは、第２のブロック分割部１１１にて第１の入力画像ブロック１５１を１６×８サイズの２つのブロックに分割して画面間予測部１１３に出力する。以下では、第２のブロック分割部１１１で分割された後のブロックをサブブロックと呼ぶ。

本実施例では、第２のブロック分割部１１１は上記７通りのブロック分割モードに加え、エッジ情報取得部１１０で取得したエッジ情報に基づき、第１の入力画像ブロック１５１を分割する新たなモードを設ける。以下、このモードを「エッジ分割モード（edge_base division）」と呼ぶ。例えば、エッジ情報が図２の直線２２０で示される場合は、図５（８）に示すエッジ分割モードを設けるものである。すなわち、新しいエッジ分割モードでは、エッジ情報に対応する分割線２２０ａに沿って、符号化対象ブロックを２つのサブブロック０，１に分割する。分割線２２０ａはエッジ情報に従い決まるものであるから、ブロック内の任意の位置で、任意の傾きをとりえる。すなわち、２つのサブブロックの形状は矩形だけでなく台形や三角形などを含み、互いに異なる形状となることを許容する。また、符号化対象ブロック２０１内のすべての画素は、サブブロック０またはサブブロック１のいずれか一方のみに属し、両方のサブブロックに属する画素、またはいずれのサブブロックにも属さない画素はないこととする。

次に、画面間予測部１１３の動作について説明する。
画面間予測符号化とは、すでに符号化済みの参照画面内の参照画像ブロックを参照し、符号化対象画像との差分を符号化する手法である。Ｈ．２６４／ＡＶＣでは、符号化モードを切り替える単位としてＩスライス、Ｐスライス、Ｂスライスの３種類のスライスを用いており、このうちＰスライスおよびＢスライスにおいては画面間予測符号化を行うことが可能である。Ｐスライスでは、符号化済みである時間軸上で過去の画面から参照画像ブロック１つを参照して動き補償画面間予測符号化を行う。またＢスライスでは、左記に加えて同様にすでに符号化済みである時間軸上の過去の画面または未来の画面の中から任意の組み合わせで２つの参照画像ブロックを参照して動き補償画面間予測符号化を行う。

図６は、画面間予測の動作例を示す図であり、（ａ）はブロック分割モードが１６×８モードの場合、（ｂ）はエッジ分割モードの場合である。
図６（ａ）はブロック分割モード＝１６×８モードの場合であって、画面６００は符号化対象画面を、画面６１０は符号化対象画面６００に対して時間軸上で過去の参照画面を、画面６２０は符号化対象画面６００に対して時間軸上で未来の参照画面を示す。符号化対象画面６００における符号化対象ブロック６０１は、１６×８サイズ（矩形）の２つのサブブロック６０２、６０３で構成される。

符号化対象画面６００がＰスライスの時、時間軸上で過去の参照画面６１０の中からサブブロック６０２、６０３と類似した領域（１６×８サイズ）を探索して予測画像とする。画像間の類似度計算には、例えば二乗誤差和や差分誤差和を用いる。ここでは、サブブロック６０２、６０３の予測画像として、ブロック６１２、６１３を選んでいる。一方符号化対象画面６００がＢスライスの時は、サブブロック６０２、６０３の予測画像として、上記ブロック６１２、６１３に加えて、時間軸上で未来の参照画面６２０の中からブロック６２２、６２３を選んでいる。そして、過去と未来の２つのブロックを参照して、その平均値となる画像を予測画像とすることが可能である。

図６（ｂ）は、本実施例により追加するエッジ分割モードの場合である。画面６５０は符号化対象画面を、画面６６０は符号化対象画面６５０に対して時間軸上で過去の参照画面を、画面６７０は符号化対象画面６５０に対して時間軸上で未来の参照画面を示す。符号化対象画面６５０における符号化対象ブロック６５１は、エッジ分割による例えば台形状の２つのサブブロック６５２、６５３で構成される。

符号化対象画面６５０がＰスライスの時、サブブロック６５２、６５３は時間軸上で過去の参照画面６６０の中から参照画像としてブロック６６２、６６３を選ぶ。これらのブロック６６２、６６３は、サブブロック６５２、６５３のそれぞれの分割形状（ここでは台形）と同一形状を有する領域である。一方符号化対象画面６５０がＢスライスの時、サブブロック６５２、６５３は上記ブロック６６２、６６３に加えて、時間軸上で未来の参照画面６７０の中から参照画像としてブロック６７２、６７３を選んでいる。これらのブロック６７２、６７３も、サブブロック６５２、６５３のそれぞれの分割形状と同一形状の領域である。そして、過去と未来の２つのブロックを参照して、その平均値となる画像を参照画像とすることが可能である。
以上のように、本実施例で追加したエッジ分割モードの場合の画面間予測は、サブブロックの形状が異なるものの、従来の矩形形状のブロック分割モードの場合と同様に行うことができる。

画面間予測部１１３は、図５（１）〜（８）による各ブロック分割モードによる画面間予測の中から最も符号化効率の高くなるブロック分割モードを選択する。ブロック分割モードを選択する際の評価方法としては、例えば、符号化による画質歪みと符号量の関係から最適なモードを選択するＲＤ−Optimization方式を利用する。ＲＤ−Optimizationの詳細については次の参考文献１に記載されている。
〔参考文献１〕G. Sullivan and T. Wiegand:”Rate-Distortion Optimization for Video Compression”, IEEE Signal Processing Magazine, vol.15 no.6, pp.74-90, 1998.

図７と図８は、画面間予測符号化におけるエッジ分割モードの効果を具体的に説明する図である。
図７（ｂ）に示す画面７００は符号化対象画面であり、ここではＰスライスとする。図７（ａ）に示す画面７１０は符号化対象画面７００に対して時間軸上で過去の参照画面である。符号化対象画面７００において、ブロック７０１は符号化対象ブロックを、ブロック７０２〜７０５は符号化対象ブロック７０１に隣接する符号化済みのブロックを示す。図８は、図７（ｂ）におけるブロック７０１〜７０５を拡大して示したものである。これらの画面では、静止する建物７５１と移動する自動車７５２（７５２’）を含む画像を例とする。

図７（ｂ）の符号化対象ブロック７０１は、背景の建物７５１と移動する自動車７５２の双方の一部分が混在する画像であり、建物と自動車の境界（エッジ）は斜め方向となっている。ブロック７０１と（ａ）の参照画像７１０との相関を考える。ブロック７０１内の建物の部分は静止画像であるため、参照画像７１０の建物７５１内の同一空間位置のブロック７１１と最も良く一致する。一方、自動車の部分は動画像であり、参照画像７１０の自動車７５２’内の対応する位置のブロック７１２（すなわち２つの画面で自動車の動き量だけずらした位置の画像７１２）と最も良く一致する。ここで、建物と自動車の境界は斜め方向となっているため、従来のＨ．２６４／ＡＶＣにおける画面間予測時のどのブロック分割方法（図５（１）〜（７））を選択しても、サブブロック内に建物と自動車が混在してしまい、符号化対象画像と予測画像の差分、即ち予測誤差を十分に小さくすることができなかった。

これに対し本実施例によるエッジ分割モードを用いた場合、図２で示した方法により符号化済みの隣接ブロック（ここではブロック７０２）から背景の建物と前景の自動車との境界（エッジ直線）８００を抽出する。このエッジ直線８００に沿って、符号化対象ブロック７０１を台形の形状をした２つのサブブロック８０１、８０２に分割する。すなわち建物はサブブロック８０１に、自動車はサブブロック８０２に含まれるように分割することで、建物と自動車の両方が混在するサブブロックはなくなる。そして、サブブロック８０１は参照画面７１０におけるブロック７１１を参照して予測画像を生成する。サブブロック８０２はブロック７１２を参照して予測画像を生成する。本実施例によれば、建物と自動車の両方が混在するサブブロックが存在しないので、従来のＨ．２６４／ＡＶＣにおける画面間予測よりも予測誤差を削減することが可能となる。

＜画面内予測符号化＞
次に、画面内予測符号化を行う時の第２のブロック分割部１１１および画面内予測部１１２の動作について説明する。

図９は、Ｈ．２６４／ＡＶＣにおける従来の画面内予測の動作を示したものである。ここでは、画面内予測符号化を行う際のブロックサイズが４×４画素単位の場合を示す。Ｈ．２６４／ＡＶＣにおける画面内予測では、符号化対象ブロックの左、左上、上、右上に隣接する符号化済みの４個のブロックにおける合計１３個の復号化画素を用いて予測を行う。予測には、図９（１）、（２）、（４）〜（９）に示すように、上記１３個の復号画素を矢印の方向に伸ばして予測画像を生成するモードと、図９（３）に示すように、隣接する復号画素の平均値から予測画像を生成するモードが存在する。これら合計９種類の予測モード（モード０〜モード８）の中からいずれか１つのモードを選択する。なお、画面内予測符号化を行う際のブロックサイズは、上記以外に８×８画素単位の場合と１６×１６画素単位の場合が設けられている。８×８画素単位の場合の予測モードは図９と同じく９通りであり、図９の符号化対象ブロックを４×４から８×８に拡張した動作に相当する。

一方図１０は、１６×１６画素単位で画面内予測符号化を行う場合の動作を示したものである。１６×１６画素単位の場合も４×４画素単位と同様、符号化対象ブロックに隣接する復号画素を矢印の方向に伸ばして予測画像を生成するものであり、図１０に示す４種類のモード（モード０〜モード３）からいずれか１つのモードを選択する。

従来のＨ．２６４／ＡＶＣに対応する動作として、第２のブロック分割部１１１は画面内予測時に、第１の入力画像ブロック１５１を３通りのサイズ（１６×１６画素サイズ、８×８画素サイズ、４×４画素サイズ）のいずれかのサブブロックに分割する処理を行う。また、画面内予測部１１２は、図９に示す９種類のモード、または図１０に示す４種類のモードの中からいずれか１つのモードを選択する処理を行う。

本実施例において第２のブロック分割部１１１は、上記３通りのブロック分割モード（１６×１６画素サイズ、８×８画素サイズ、４×４画素サイズ）に加え、エッジ情報取得部１１０で算出したエッジ情報によって第１の入力画像ブロック１５１を分割するモード（エッジ分割モード）を新たに設ける。エッジ分割モードに関しては、前記画面間予測符号化時の場合と同様であり、ここでは説明を省略する。

次に、エッジ分割モードにより分割したサブブロックに対する画面内予測符号化の動作について説明する。
図１１は、エッジ分割モードによる画面内予測の動作を示したものである。
図１１（ａ）は、エッジ情報取得部１１０で算出したエッジ情報に基づき、第２のブロック分割部１１１により、第１の入力画像ブロック１５１（符号化対象ブロック）をサブブロック１１０１とサブブロック１１０２に分割した例を示す。そして画面内予測部１１２により、分割したサブブロックそれぞれに対して画面内予測を行う。予測モードとして、図１０に示した予測モード０と予測モード１のいずれかのモードを適用する。

図１１（ｂ）（ｃ）は、サブブロック１１０１に対する画面内予測動作を示す。サブブロック１１０１は、上および左に符号化済みのブロックと隣接しているため、符号化済みの上ブロックからの予測（予測モード０）と、符号化済みの左ブロックからの予測（予測モード１）のいずれかを選択する。（ｂ）はサブブロック１１０１に対して予測モード０を適用した場合である。これは前記図１０（１）と類似するが、図１０では符号化対象ブロック全体に対して予測を適用させているのに対して、図１１（ｂ）ではサブブロック１１０１に対してのみ予測を適用させる点が異なる。

図１１（ｃ）はサブブロック１１０１に対して予測モード１を適用した場合である。この場合も前記図１０（２）と類似するが、図１１（ｃ）ではサブブロック１１０１に対してのみ予測を適用させる点が異なる。ここで、図１１（ｃ）における画素群１１０４はサブブロック１１０１に接しておらず、画素群１１０４の位置に該当する復号画像をそのまま予測画像として用いた場合は予測誤差が大きくなることが予想される。これを避けるため、画素群１１０４およびサブブロック１１０１の両方に接する画素１１０３の値を画素群１１０４に複写した後に、予測画像として用いるのが有効である。

図１１（ｄ）はサブブロック１１０２に対して予測モード１を適用した場合である。サブブロック１１０２は符号化済みの上ブロックと隣接しておらず、左ブロックのみと隣接しているため、この例にて適用可能な予測モードは予測モード１のみとなる。

図１２と図１３は、画面内予測符号化におけるエッジ分割モードの効果を具体的に説明する図である。
図１２において画面１２００は符号化対象画面を、ブロック１２０１は符号化対象ブロックを、ブロック１２０２〜１２０５は符号化対象ブロック１２０１に隣接する符号化済みのブロックを示す。

また図１３は、ブロック１２０１〜１２０５を拡大して示したものである。符号化対象ブロック１２０１は建物１２５１と自動車１２５２の一部が混在するブロックであり、建物と自動車の境界が斜め方向となっているため、従来のＨ．２６４／ＡＶＣにおける画面内予測時のブロック分割モードおよび予測モード（図９（１）〜（９）、図１０（１）〜（４））では、予測誤差を十分に小さくすることができなかった。一方、本実施例におけるエッジ分割モードを用いた場合、符号化済みの隣接ブロック１２０２において建物と自動車とのエッジ直線１３００を図２で示した方法により算出する。そして、このエッジ直線１３００により符号化対象ブロック１２０１を台形状のサブブロック１３０１とサブブロック１３０２に分割することが可能である。サブブロック１３０１に対しては図１１（ｂ）または図１１（ｃ）に示す予測モードで、例えば隣接ブロック１２０３を参照して予測画像を生成する。サブブロック１３０２に対しては図１１（ｄ）に示す予測モードで、隣接ブロック１２０２を参照して予測画像を生成する。これより、従来のＨ．２６４／ＡＶＣにおける画面内予測よりも予測誤差を削減することが可能となる。
以上の結果、画面内予測部１１２で生成した画面内予測画像と画面間予測部１１３で生成した画面間予測画像が得られ、両者は符号化モード選択部１１４に入力する。

符号化モード選択部１１４は、入力した画面内予測画像と画面間予測画像から最適な予測画像を選択する。選択方法として、例えば前記参考文献１に記載のＲＤ−Optimization方式を用いる。符号化モード選択部１１４が画面内予測画像を選択した場合には、符号化モードの情報１５７として、ブロック分割方法（１６×１６画素ブロック、８×８画素ブロック、４×４画素ブロック、エッジ分割モード）の情報を可変長符号化部１０５に出力する。その際、ブロック分割方法が１６×１６画素ブロック、８×８画素ブロック、４×４画素ブロックのいずれかの時には、図９または図１０に記載の予測モードの情報を含める。一方、符号化モード選択部１１４で画面間予測画像を選択した場合には、符号化モードの情報１５７として、ブロック分割方法（図５（１）〜（８））および動きベクトル情報を可変長符号化部１０５に出力する。

このように、本実施例におけるサブブロックの分割方法は従来のＨ．２６４／ＡＶＣにおけるブロック分割方法と比較して、分割形状の種類（台形や三角形）とサイズの自由度が増すために符号化する画像のエッジに合わせて最適な分割が可能となり、予測誤差を削減する効果がある。また、本実施例ではブロック分割方法の追加に伴うモード数の増加は１つのみであり、符号量増加への影響を最低限にとどめることが可能である。本実施例で追加するエッジ分割モードの形状は固定パターンではなく、隣接ブロックのエッジの特徴により導き出すものである。これは、画像の空間方向への相関の強さ、すなわち画像の特徴が空間方向に類似する性質を応用してブロック分割方法を決定するものであり、予測誤差を削減することが可能となる。

以上のように実施例１の画像符号化装置では、入力画像を第１のブロックに分割し更に複数の第２のブロックに分割して符号化を行う符号化装置において、第１のブロックと同一画面内で隣接する符号化済みのブロックのエッジ情報に基づき第２のブロックのブロック形状を決定するものであり、これにより予測誤差を削減し、高画質で符号化効率の良い画像符号化を実現することが可能となる。上記実施例ではエッジ情報に基づきブロックを分割したが、符号量が大きくなる画像特徴部分を抽出しこれに基づきブロックを分割するようにしても同様の効果が得られる。

実施例２では、エッジ情報に基づきブロック分割する際、前記実施例１と異なる方法でエッジ情報を取得する場合を述べる。なお、実施例２の画像符号化装置は、実施例１（図１）の構成と同一のため、その説明は割愛する。実施例１では、図１のエッジ情報取得部１１０において、図２に示すように符号化対象ブロックと同一画面内で隣接する復号画像ブロックを用いてエッジ情報を算出する処理を行うものであった。これに対し実施例２では、エッジ情報取得部１１０は符号化対象ブロックに対して時間方向に隣接する符号化済み画面内で同一空間位置のブロックのエッジ情報を算出するものである。

図１４は、エッジ情報取得部１１０の動作例を説明する図である。図１４において画面１４００は符号化対象画面を、画面１４１０は符号化対象画面１４００より時間的に先行する符号化済みの画面で、これを復号化した復号画像画面である。また符号化対象画面１４００において、ブロック１４０１は符号化対象ブロックを示す。ブロック１４１１は復号画像画面１４１０において、ブロック１４０１と画面内の空間位置が同一となるブロックを示す。

エッジ情報取得部１１０は、図１４のブロック１４１１のうち、画素Ｐ_edge_cal2（ｉ）（ｉ＝０〜２２４）について水平エッジ強度ｆ_ｈ、垂直エッジ強度ｆ_ｖを取得し、実施例１における〔数式１〕によりエッジ強度ｆを算出する。次に、画素Ｐ_edge_cal2（ｉ）（ｉ＝０〜２２４）の中から〔数式１〕で算出したエッジ強度ｆが最大となる画素Ｐ_edge_cal2（ｉ１）を抽出し、実施例１における〔数式２〕により、その画素Ｐ_edge_cal2（ｉ１）におけるエッジ角度ｇを算出する。次に、〔数式２〕で算出したエッジ角度ｇから、実施例１における〔数式３〕により画素Ｐ_edge_cal2（ｉ１）におけるエッジ直線を算出する。〔数式３〕により算出したエッジ直線の情報を符号化対象ブロック１４０１に適用し、サブブロックに分割するものである。

本実施例におけるサブブロックの分割方法は、実施例１と同様、従来のＨ．２６４／ＡＶＣにおけるブロック分割方法と比較して分割形状の種類（台形や三角形）とサイズの自由度が増すために符号化する画像のエッジ（特徴）に合わせて最適な分割が可能となり、予測誤差を削減する効果がある。また、本実施例ではブロック分割方法の追加に伴うモード数の増加は１つのみであり、符号量増加への影響を最低限にとどめることが可能である。本実施例で追加するエッジ分割モードの形状は固定パターンではなく、時間的に隣接する画面の画像特徴により導き出すものである。これは、画像の時間方向への相関の強さ、すなわち画像の特徴が時間方向に類似する性質を応用してブロック分割方法を決定するものであり、予測誤差を削減することが可能となる。

以上のように、実施例２の画像符号化装置では、入力画像を第１のブロックに分割し更に複数の第２のブロックに分割して符号化を行う符号化装置において、第１のブロックに対して時間方向に隣接する符号化済み画面における同一空間位置のブロックのエッジ情報に基づき第２のブロックのブロック形状を決定するものであり、これにより予測画素を削減し、高画質で符号化効率の良い画像符号化を実現することが可能となる。上記実施例ではエッジ情報に基づきブロックを分割したが、符号量が大きくなる画像特徴部分を抽出しこれに基づきブロックを分割するようにしても同様の効果が得られる。

図１５は、本発明による画像復号化装置の一実施例（実施例３）を示す構成ブロック図である。
画像復号化装置１５００において、可変長復号化部１５０１は、入力した符号化ストリーム１５５０に対して可変長復号化を行い、予測差分の周波数変換成分である量子化データ１５５１と、ブロックサイズや動きベクトルなどの予測処理に必要な符号化モード情報１５５５を取得する。逆量子化部１５０２は、量子化データ１５５１を逆量子化し逆量子化データを出力する。逆周波数変換部１５０３は、逆量子化データを逆周波数変換して差分ブロックデータ１５５２を出力する。加算器１５０４は、差分ブロックデータ１５５２と後述する予測画像ブロック１５５６を加算し、復号画像１５５３を出力する。復号画像１５５３は画像復号化装置１５００から出力されるとともに、フレームメモリ１５０５に格納される。

エッジ情報取得部１５０６は、フレームメモリ１５０５から読み出した画像についてエッジ情報１５５７を出力する。画面内予測部１５０７は、可変長復号化部１５０１から取得した符号化モード情報１５５５が画面内予測符号化モードだった場合に、フレームメモリ１５０５から読み出した参照画像１５５４により画面内予測画像を生成し、予測画像ブロック１５５６として加算器１５０４に出力する。画面間予測部１５０８は、可変長復号化部１５０１から取得した符号化モード情報１５５５が画面間予測符号化モードだった場合に、フレームメモリ１５０５から読み出した参照画像１５５４により画面間予測画像を生成し、予測画像ブロック１５５６として加算器１５０４に出力する。

以下、エッジ情報取得部１５０６と画面内予測部１５０７及び画面間予測部１５０８の動作について詳細に説明する。
エッジ情報取得部１５０６は実施例１または実施例２における動作と同様である。なお、実施例１では図２の画面２１０を符号化対象画面、ブロック２０１を符号化対象ブロックとしていたが、本実施例における復号動作では、画面２１０を復号化対象画面、ブロック２０１を復号化対象ブロックに読み替える。なお、図２のブロック２０２〜２０５は実施例１における動作において復号画像を示しており、本実施例においてもそのまま適用することができる。これにより、復号化対象ブロック２０１に対するエッジ直線２２０を取得して、エッジ情報１５５７を出力する。また実施例２では図１４の画面１４００を符号化対象画面、ブロック１４０１を符号化対象ブロックとしていたが、本実施例における復号動作では、画面１４００を復号化対象画面、ブロック１４０１を復号化対象ブロックに読み替える。

次に、画面内予測部１５０７は、可変長復号化部１５０１から取得した符号化モード情報１５５５が画面内予測符号化モードだった場合に予測画像ブロック１５５６を生成する。画面内予測部１５０７は、符号化モード情報１５５５からブロック分割モードと予測モードの情報を取得する。ブロック分割モードは、１６×１６画素サイズ、８×８画素サイズ、４×４画素サイズ、エッジ分割モード、のいずれかである。ブロック分割モードが１６×１６画素サイズの場合は、次に符号化モード情報１５５５から予測モードを取得する。この場合の予測モードは図１０に示す予測モード０〜予測モード３のいずれかである。ブロック分割モードが８×８画素サイズまたは４×４画素サイズの場合も、符号化モード情報１５５５から予測モードを取得する。この場合の予測モードは図９に示す予測モード０〜予測モード８のいずれかである。

ブロック分割モードがエッジ分割モードの場合は、エッジ情報取得部１５０６で取得したエッジ情報１５５７に基づいて、復号対象ブロックの各サブブロックの形状を求める。次に符号化モード情報１５５５から各サブブロックの予測モードを取得する。予測モードは図１１に示す予測モード０〜予測モード１のいずれかである。画面内予測部１５０７は、フレームメモリ１５０５から読み出した参照画像１５５４により上記の予測モードに応じた画面内予測画像を生成し、予測画像ブロック１５５６として出力する。

一方画面間予測部１５０８は、可変長復号化部１５０１から取得した符号化モード情報１５５５が画面間予測符号化モードだった場合に予測画像ブロック１５５６を生成する。画面間予測部１５０８は、符号化モード情報１５５５からブロック分割モードと動きベクトルの情報を取得する。ブロック分割モードは図５（１）〜（８）のいずれかである。ブロック分割モードが図５（１）〜（７）の場合は、次に符号化モード情報１５５５から各サブブロックの動きベクトル情報を取得する。

ブロック分割モードが図５（８）のエッジ分割モードの場合は、エッジ情報取得部１５０６で取得したエッジ情報１５５７に基づいて復号対象ブロックの各サブブロックの形状を求める。次に符号化モード情報１５５５から各サブブロックの動きベクトル情報を取得する。画面間予測部１５０８は、フレームメモリ１５０５から読み出した参照画像１５５４により上記の予測モードに応じた画面間部予測画像を生成し、予測画像ブロック１５５６として出力する。

図１６は、本実施例における１フレームの復号化処理手順を示すフローチャートである。まず、１フレーム内のすべてのブロックに対して、以下の処理を行う（Ｓ１６０１）。すなわち、入力ストリームに対して可変長復号化処理（Ｓ１６０２）、逆量子化処理（Ｓ１６０３）、および逆周波数変換処理（Ｓ１６０４）を施して予測差分を復号化する。続いて、対象ブロックがどの方法（画面内、画面間）で予測符号化されているかを判定する（Ｓ１６０５）。判定の結果に従い、画面内予測処理（Ｓ１６０６）もしくは画面間予測処理（Ｓ１６０７）を実行して予測画像を生成する。生成した予測画像と逆周波数変換処理（Ｓ１６０４）で生成した予測差分から復号化画像生成処理（Ｓ１６０８）を行う。以上の処理をフレーム中のすべてのブロックに対して実施し（Ｓ１６０９）、画像１フレーム分の復号化が終了する。

図１７は、図１６に示す画面内予測処理（Ｓ１６０６）の手順を更に詳細に示すフローチャートである。まず、ブロック分割モードがエッジ分割モードかを判定する（Ｓ１７０１）。エッジ分割モードである場合（Ｓ１７０１がＹＥＳの時）には、エッジ情報に基づくブロック分割処理（Ｓ１７０２）を行い、図１６の可変長復号化処理（Ｓ１６０２）にて復号した符号化モード情報から画面内予測モードを取得する（Ｓ１７０３）。一方、ブロック分割モードがエッジ分割モードでない場合（Ｓ１７０１がＮＯの時）には、図１６の可変長復号化処理（Ｓ１６０２）にて復号した符号化モード情報からブロック分割モードを取得し（Ｓ１７０４）、さらに画面内予測モードを取得する（Ｓ１７０５）。次に、上記いずれかの方法により取得したブロック分割モードと画面内予測モードから画面内予測画像生成処理（Ｓ１７０６）を行い、画面内予測画像の生成処理が終了する。

図１８は、図１６に示す画面間予測処理（Ｓ１６０７）の手順を更に詳細に示すフローチャートである。まず、ブロック分割モードがエッジ分割モードかを判定する（Ｓ１８０１）。エッジ分割モードである場合（Ｓ１８０１がＹＥＳの時）には、エッジ情報に基づくブロック分割処理（Ｓ１８０２）を行い、図１６の可変長復号化処理（Ｓ１６０２）にて復号した符号化モード情報から動きベクトルを取得する（Ｓ１８０３）。一方、ブロック分割モードがエッジ分割モードでない場合（Ｓ１８０１がＮＯの時）には、図１６の可変長復号化処理（Ｓ１６０２）にて復号した符号化モード情報からブロック分割モードを取得し（Ｓ１８０４）、さらに動きベクトルを取得する（Ｓ１８０５）。次に、上記いずれかの方法により取得したブロック分割モードと動きベクトル情報から画面間予測画像生成処理（Ｓ１８０６）を行い、画面間予測画像の生成処理が終了する。

このように、復号対象ブロックのブロック分割モードが図５（８）に示すエッジ分割モードである場合は、エッジ情報取得部１５０６から出力されるエッジ情報１５５７に基づき、復号対象ブロックを台形や三角形の形状を含むサブブロックに分割し、各サブブロックに対応する予測画像を生成する。この場合、復号化時に取得するエッジ情報は符号化時に取得したエッジ情報と同一になるので、符号化時と同一形状のサブブロックを再度生成することができる。よって画像復号化装置は、復号対象ブロックのブロック分割方法がエッジ分割モードであることを知るだけで、原画像を忠実に復号化することができる。

以上のように、本実施例の画像復号化装置は、入力画像を第１のブロックに分割し更に複数の第２のブロックに分割して符号化された入力ストリームに対し、符号化時と同様に、第１のブロックと同一画面内で隣接する復号化済みのブロックのエッジ情報に基づき第２のブロックの分割形状を決定して復号化するものである。あるいは、符号化時と同様に、第１のブロックに対して時間方向に隣接する符号化済み画面における同一空間位置のブロックのエッジ情報に基づき第２のブロックの分割形状を決定して復号化するものである。よって、画像符号化装置での符号化処理に忠実に対応した復号化処理を行うことができ、高画質の復号画像を得ることが可能となる。上記実施例ではエッジ情報に基づきブロックを分割したが、符号量が大きくなる画像特徴部分を抽出しこれに基づきブロックを分割するようにしても同様の効果が得られる。

１００…画像符号化装置
１０１…第１のブロック分割部
１０２…減算器
１０３…周波数変換部
１０４…量子化部
１０５…可変長符号化部
１０６…逆量子化部
１０７…逆周波数変換部
１０８…加算器
１０９…フレームメモリ
１１０…エッジ情報取得部
１１１…第２のブロック分割部
１１２…画面内予測部
１１３…画面間予測部
１１４…符号化モード選択部
１５００…画像復号化装置
１５０１…可変長復号化部
１５０２…逆量子化部
１５０３…逆周波数変換部
１５０４…加算器
１５０５…フレームメモリ
１５０６…エッジ情報取得部
１５０７…画面内予測部
１５０８…画面間予測部。

Claims (16)

1. 入力画像に対し、複数の符号化モードを用いて生成された予測画像との差分画像を符号化する画像符号化装置において、
   入力画像を所定サイズの第１のブロックに分割する第１のブロック分割部と、
   前記第１のブロックを更に複数の第２のブロックに分割する第２のブロック分割部と、
   前記第１のブロックまたは前記第２のブロックに対し、前記複数の符号化モードの中から１つの符号化モードを選択し、画面内予測または画面間予測により予測画像を生成する予測画像生成部と、
   前記予測画像と前記入力画像の差分画像を算出する減算部と、
   前記差分画像に対して周波数変換処理と量子化処理と可変長符号化処理を行い符号化ストリームを生成する符号化ストリーム生成部とを備え、
   前記第２のブロック分割部は、前記第１のブロックと同一画面内で隣接する符号化済みのブロックのエッジ情報に基づき前記第２のブロックのブロック形状を決定することを特徴とする画像符号化装置。
2. 入力画像に対し、複数の符号化モードを用いて生成された予測画像との差分画像を符号化する画像符号化装置において、
   入力画像を所定サイズの第１のブロックに分割する第１のブロック分割部と、
   前記第１のブロックを更に複数の第２のブロックに分割する第２のブロック分割部と、
   前記第１のブロックまたは前記第２のブロックに対し、前記複数の符号化モードの中から１つの符号化モードを選択し、画面内予測または画面間予測により予測画像を生成する予測画像生成部と、
   前記予測画像と前記入力画像の差分画像を算出する減算部と、
   前記差分画像に対して周波数変換処理と量子化処理と可変長符号化処理を行い符号化ストリームを生成する符号化ストリーム生成部とを備え、
   前記第２のブロック分割部は、前記第１のブロックに対して時間方向に隣接する符号化済み画面内で同一空間位置のブロックのエッジ情報に基づき前記第２のブロックのブロック形状を決定することを特徴とする画像符号化装置。
3. 請求項１または２に記載の画像符号化装置において、
   前記エッジ情報として、エッジ情報取得対象画素について水平方向と垂直方向のエッジ強度を求め、エッジ強度が最大となる画素位置とエッジ角度の情報を取得するエッジ情報取得部を備えることを特徴とする画像符号化装置。
4. 請求項１または２に記載の画像符号化装置において、
   前記符号化ストリームには、前記第２のブロックの分割方法が前記エッジ情報に基づくものであることを示す符号化モード情報を含むことを特徴とする画像符号化装置。
5. 入力画像に対し、複数の符号化モードを用いて生成された予測画像との差分画像を符号化する画像符号化方法において、
   入力画像を所定サイズの第１のブロックに分割する第１のブロック分割ステップと、
   前記第１のブロックを、該第１のブロックに隣接する符号化済みのブロックのエッジ情報に基づき更に複数の第２のブロックに分割する第２のブロック分割ステップと、
   前記第１のブロックまたは前記第２のブロックに対し、前記複数の符号化モードの中から１つの符号化モードを選択し、画面内予測または画面間予測により予測画像を生成する予測画像生成ステップと、
   前記予測画像と前記入力画像の差分画像を算出する減算ステップと、
   前記差分画像に対して周波数変換処理と量子化処理と可変長符号化処理を行い符号化ストリームを生成する符号化ストリーム生成ステップとを備え、
   前記第２のブロック分割ステップは、前記第１のブロックと同一画面内で隣接する符号化済みのブロックのエッジ情報に基づき前記第２のブロックのブロック形状を決定することを特徴とする画像符号化方法。
6. 入力画像に対し、複数の符号化モードを用いて生成された予測画像との差分画像を符号化する画像符号化方法において、
   入力画像を所定サイズの第１のブロックに分割する第１のブロック分割ステップと、
   前記第１のブロックを更に複数の第２のブロックに分割する第２のブロック分割ステップと、
   前記第１のブロックまたは前記第２のブロックに対し、前記複数の符号化モードの中から１つの符号化モードを選択し、画面内予測または画面間予測により予測画像を生成する予測画像生成ステップと、
   前記予測画像と前記入力画像の差分画像を算出する減算ステップと、
   前記差分画像に対して周波数変換処理と量子化処理と可変長符号化処理を行い符号化ストリームを生成する符号化ストリーム生成ステップとを備え、
   前記第２のブロック分割ステップは、前記第１のブロックに対して時間方向に隣接する符号化済み画面内で同一空間位置のブロックのエッジ情報に基づき前記第２のブロックのブロック形状を決定することを特徴とする画像符号化方法。
7. 請求項５または６に記載の画像符号化方法において、
   前記エッジ情報として、エッジ情報取得対象画素について水平方向と垂直方向のエッジ強度を求め、エッジ強度が最大となる画素位置とエッジ角度の情報を取得するエッジ情報取得ステップを備えることを特徴とする画像符号化方法。
8. 請求項５または６に記載の画像符号化方法において、
   前記符号化ストリームには、前記第２のブロックの分割方法が前記エッジ情報に基づくものであることを示す符号化モード情報を含めることを特徴とする画像符号化方法。
9. 符号化ストリームを復号化して復号画像を生成する画像復号化装置において、
   前記符号化ストリームに対して可変長復号化処理と逆量子化処理と逆周波数変換処理を行い差分画像を生成する差分画像復号化部と、
   前記符号化ストリームに含まれる符号化モード情報に従い復号化するブロックに分割し、画面内予測または画面間予測により予測画像を生成する予測画像生成部と、
   前記予測画像と前記差分画像を加算して復号画像を生成する加算部とを備え、
   前記予測画像生成部は、復号化対象ブロックと同一画面内で隣接する復号化済みのブロックのエッジ情報に基づき前記復号化対象ブロックのブロック形状を決定することを特徴とする画像復号化装置。
10. 符号化ストリームを復号化して復号画像を生成する画像復号化装置において、
    前記符号化ストリームに対して可変長復号化処理と逆量子化処理と逆周波数変換処理を行い差分画像を生成する差分画像復号化部と、
    前記符号化ストリームに含まれる符号化モード情報に従い復号化するブロックに分割し、画面内予測または画面間予測により予測画像を生成する予測画像生成部と、
    前記予測画像と前記差分画像を加算して復号画像を算出する加算部とを備え、
    前記予測画像生成部は、復号化対象ブロックに対して時間方向に隣接する復号化済み画面内で同一空間位置のブロックのエッジ情報に基づき前記復号化対象ブロックのブロック形状を決定することを特徴とする画像復号化装置。
11. 請求項９または１０に記載の画像復号化装置において、
    前記エッジ情報として、エッジ情報取得対象画素について水平方向と垂直方向のエッジ強度を求め、エッジ強度が最大となる画素位置とエッジ角度の情報を取得するエッジ情報取得部を備えることを特徴とする画像復号化装置。
12. 請求項９または１０に記載の画像復号化装置において、
    前記予測画像生成部は、前記符号化ストリームに含まれる、符号化時のブロックの分割方法がエッジ情報に基づくものであることを示す符号化モード情報を利用することを特徴とする画像復号化装置。
13. 符号化ストリームを復号化して復号画像を生成する画像復号化方法において、
    前記符号化ストリームに対して可変長復号化処理と逆量子化処理と逆周波数変換処理を行い差分画像を生成する差分画像復号化ステップと、
    前記符号化ストリームに含まれる符号化モードに従い復号化するブロックに分割し、画面内予測または画面間予測により予測画像を生成する予測画像生成ステップと、
    前記予測画像と前記差分画像を加算して復号画像を生成する加算ステップとを備え、
    前記予測画像生成ステップは、復号化対象ブロックと同一画面内で隣接する復号化済みのブロックのエッジ情報に基づき前記復号化対象ブロックのブロック形状を決定することを特徴とする画像復号化方法。
14. 符号化ストリームを復号化して復号画像を生成する画像復号化方法において、
    前記符号化ストリームに対して可変長復号化処理と逆量子化処理と逆周波数変換処理を行い差分画像を生成する差分画像復号化ステップと、
    前記符号化ストリームに含まれる符号化モードに従い復号化するブロックに分割し、画面内予測または画面間予測により予測画像を生成する予測画像生成ステップと、
    前記予測画像と前記差分画像を加算して復号画像を算出する加算ステップとを備え、
    前記予測画像生成ステップは、復号化対象ブロックに対して時間方向に隣接する復号化済み画面内で同一空間位置のブロックのエッジ情報に基づき前記復号化対象ブロックのブロック形状を決定することを特徴とする画像復号化方法。
15. 請求項１３または１４に記載の画像復号化方法において、
    前記エッジ情報として、エッジ情報取得対象画素について水平方向と垂直方向のエッジ強度を求め、エッジ強度が最大となる画素位置とエッジ角度の情報を取得するエッジ情報取得ステップを備えることを特徴とする画像復号化方法。
16. 請求項１３または１４に記載の画像復号化方法において、
    前記予測画像生成ステップは、前記符号化ストリームに含まれる、符号化時のブロックの分割方法がエッジ情報に基づくものであることを示す符号化モード情報を利用することを特徴とする画像復号化方法。

Images