JP2009232324A - 画像符号化装置、画像符号化方法および画像符号化プログラム - Google Patents

Abstract

【課題】Ｈ．２６４方式の符号化において、スキップＭＢやダイレクトＭＢで符号化を行う際の主観画質の劣化を防止する画像符号化装置を提供する。
【解決手段】本発明に係る画像符号化装置は、動きベクトルの符号量と、符号化対象領域と動きベクトルが指し示す参照領域との画素差分データの符号量の和から算出した評価値を用いて画面間予測としての符号化タイプを決定する際に、評価値に占める動きベクトルの符号量の割合が異なる複数の計算式を保持し、符号化対象画像の画素情報および／または符号化済領域の符号化情報に応じて、計算式を複数の計算式の中から選択する評価値計算式決定手段と、評価値計算式決定手段で選択された計算式を用いて、各符号化モードにおける評価値を算出し、評価値の小さい符号化モードを、画面間予測の符号化モードとして選択する符号化タイプ選択手段とを備える。
【選択図】図２

Description

本発明は、画像符号化装置、画像符号化方法および画像符号化プログラムに関し、特に、予測符号化によって動画像を符号化する画像符号化装置、画像符号化方法および画像符号化プログラムに関する。

近年、ＡＶ（Ａｕｄｉｏ ａｎｄ Ｖｉｓｕａｌ）情報のデジタル化が進み、映像信号および音声信号をデジタル化して取り扱うことのできる機器が広く普及しつつある。なかでも映像信号は、膨大な情報量を有することから、記録容量および伝送効率を考慮して情報量を削減しつつ符号化する方法が一般的に取られている。

映像信号の圧縮符号化方式の一つとして、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式（以下、Ｈ．２６４方式と略す）が国際規格として定められている。

Ｈ．２６４方式においては、画面内予測を用いるＩピクチャ、１枚の画像から予測が可能なＰピクチャおよび２枚の画像から予測が可能なＢピクチャを用いて画像を符号化する。具体的に画像を符号化する場合、マクロブロック（以下、Ｍａｃｒｏｂｌｏｃｋ：ＭＢと略す）と呼ばれる１６×１６画素毎に符号化が行われるが、このＭＢの符号化モードには、イントラ符号化モードとインター符号化モードの２種類が存在する。イントラ符号化モードは画面間の予測は用いずに画面内の予測（イントラ予測）を用いて符号化し、インター符号化モードは画面間の予測（インター予測）を用いて符号化する。

インター符号化モードは、動画像の動きベクトル情報と画素差分情報を符号化するが、動画像は時間的な相関が大きいために、高効率の符号化を行うことができる。また、インター符号化モードには、通常の符号化モードの他に、スキップ符号化モードおよびダイレクト符号化モードという特殊な符号化モードが存在する。スキップ符号化モードおよびダイレクト符号化モードは、動きベクトル情報を送らずに、符号化対象ＭＢに隣接するＭＢ（以下、隣接ＭＢと称す）の動きベクトルから動きベクトルを決定する。具体的には、図４に示すように、スキップ符号化モードで符号化されたスキップＭＢおよびダイレクト符号化モードで符号化されたダイレクトＭＢの動きベクトルは、符号化対象ＭＢ（イ）の隣接ＭＢ（ロ）、隣接ＭＢ（ハ）および隣接ＭＢ（ニ）のそれぞれの動きベクトル、ｍｖＡ、ｍｖＢおよびｍｖＣの水平成分および垂直成分の中央値（メディアン）を計算し、その算出した中央値を動きベクトルとして決定する。この際、動きベクトルは参照方向毎に、すなわち前方（Ｌ０）および後方（Ｌ１）毎に計算され、最小値となった参照番号のピクチャを符号化対象ＭＢ（イ）の参照ピクチャとする。

また、ダイレクト符号化モードは、画素差分情報しか符号化しないために、インター符号化モードにおける通常の符号化モードよりも高い符号化効率を得ることができ、スキップ符号化モードは、動きベクトルを符号化しないだけでなく画素差分情報も符号化しないので、ダイレクト符号化モードよりもさらに高い符号化効率を得ることができる。

通常、Ｈ．２６４方式の符号化においては、イントラ予測およびインター予測の各々の予測について、画像の特性から符号量が最も小さい符号化モード、つまり最も符号化効率のよい符号化モードが選択される。特に、低レートで符号化する必要がある場合には、符号化効率を高めるために、ダイレクト符号化モードやスキップ符号化モードを積極的に選んで符号化することが求められる。しかしながら、符号化効率のよいダイレクト符号化モードおよびスキップ符号化モードは、動きベクトル情報を隣接ＭＢから作成するために、ダイレクト符号化モードやスキップ符号化モードを多用する場合は、動き探索を実施して動きベクトルを決定するインター符号化モードにおける通常の符号化モードを用いる場合に比べて、主観的な画質の劣化が発生する頻度が増加するという課題を有していた。

特許文献１には、このような課題を解決するための方法として、動き探索を行って得られた動きベクトルと、隣接ＭＢの動きベクトルから算出して決定されるスキップＭＢおよびダイレクトＭＢの動きベクトルの差分が、所定の基準を超えるか否かを判断し、基準を超えた場合は、スキップ符号化モードやダイレクト符号化モードを選択せず、動き探索を行って得られた動きベクトルを用いる通常の符号化モードで符号化する方法が開示されている。この方法によると、符号化効率の高いスキップ符号化モードやダイレクト符号化モードをそのまま選択して符号化する場合に比べ、高画質な符号化を実現することができる。
特開２００５−３４８０９３号公報

しかしながら、特許文献１に開示されている方法によると、動き探索を行って得られた動きベクトルと、隣接ＭＢの動きベクトルから算出して決定されるスキップＭＢやダイレクトＭＢの動きベクトルの差分値が、所定の基準を超えるか否かを判断して符号化モードの決定を行っているが、動き予測を用いて得られた動きベクトルと隣接ＭＢの動きベクトルから算出して決定されるスキップＭＢやダイレクトＭＢの動きベクトルとの差分値が所定の基準以下であったとしても、隣接ＭＢの動きベクトルから算出され、スキップＭＢやダイレクトＭＢの動きベクトルとして決定されて活用される動きベクトルが、誤った箇所を示していれば画質劣化をきたし、特に、画像の平坦部分、例えば、空や壁などのように明暗がなく同一色の画像部分においては、わずかな明暗などの誤差が主観的な画質の劣化として目立ってしまうことになる。

以上のように、特許文献１に開示されているような従来技術においては、符号化効率を高めるための符号化に際し、動きベクトルのみを判断材料にして符号化の決定を行っているために、的確に主観的な画質の劣化を防止することができないという課題を有していた。

本発明は係る課題を解決するためになされたものであり、スキップ符号化モードやダイレクト符号化モードを用いて符号化効率を高めることができるとともに、スキップ符号化モードやダイレクト符号化モードを用いることにより発生する主観的な画質の劣化を防止することができる画像符号化装置を提供することを目的とする。

上記目的を達成するために、本願の第１の発明の画像符号化装置は、画像を複数の領域に分割し、前記領域毎に、画面内で予測を行う画面内予測、または少なくとも動きベクトルを符号化しない第１の符号化モードの画面間予測、または動きベクトルと画素差分情報を符号化する第２の符号化モードの画面間予測のいずれかで、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式に基づいて符号化する画像符号化装置であって、前記第１の符号化モードおよび前記第２の符号化モードの画面間予測において、動きベクトルの符号量と、符号化対象領域と動きベクトルが指し示す参照領域との画素差分データの符号量との和を、符号化モード毎に所定の計算式に基づいて算出した値を評価値とし、符号化モード毎に算出された評価値を比較することにより、符号化対象領域を符号化するときの画面間予測としての符号化モードを決定する際に、評価値に占める前記動きベクトルの符号量の割合が異なるように設定された複数の前記所定の計算式を保持し、符号化対象画像の画素情報および／または符号化済領域の符号化情報に応じて、評価値を算出するための計算式を複数の前記所定の計算式の中から選択して決定する評価値計算式決定手段と前記評価値計算式決定手段において決定された評価値を算出するための計算式を用いて、前記第１の符号化モードおよび前記第２の符号化モードにおけるそれぞれの評価値を算出し、算出したそれぞれの評価値を比較して評価値の小さい方の符号化モードを、画面間予測の符号化モードとして選択する符号化タイプ選択手段と、を有することを特徴とするものである。

また、本願の第２発明の画像符号化装置は、本願の第１の発明の画像符号化装置において、前記評価値計算式決定手段は、符号化対象領域およびそれに隣接する隣接領域の画素の分散値または、前記隣接領域の隣接画素差分絶対値和が所定の閾値以下の場合に、所定の閾値よりも大きい場合の評価値に比べて、評価値に占める動きベクトルの符号量の割合が小さくなる計算式を、複数の前記所定の計算式の中から選択して決定することを特徴とするものである。

また、本願の第３発明の画像符号化装置は、本願の第１の発明または第２の発明の画像符号化装置において、前記評価値計算式決定手段は、符号化対象領域に隣接する符号化済み領域の動きベクトルと前記第１の符号化モードの動きベクトルとして用いられる動きベクトルとの差が所定の閾値以上の場合に、所定の閾値よりも小さい場合の評価値に比べて、評価値に占める動きベクトルの符号量の割合が小さくなる計算式を、複数の前記所定の計算式の中から選択して決定することを特徴とするものである。

また、本願の第４発明の画像符号化装置は、本願の第３の発明の画像符号化装置において、前記評価値計算式決定手段は、符号化対象領域に隣接する符号化済み領域の参照画像と前記第１の符号化モードの参照画像が異なる場合に、動きベクトルの大きさを同じ参照画像を用いた動きベクトルの大きさに変換した後に、符号化対象領域に隣接する符号化済み領域の動きベクトルと前記第１の符号化モードの動きベクトルとして用いられる動きベクトルとの差を算出し、算出した動きベクトルの差の値と所定の閾値との比較を行うことを特徴とするものである。

また、本願の第５発明の画像符号化方法は、画像を複数の領域に分割し、前記領域毎に、画面内で予測を行う画面内予測、または少なくとも動きベクトルを符号化しない第１の符号化モードの画面間予測、または動きベクトルと画素差分情報を符号化する第２の符号化モードの画面間予測のいずれかで、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式に基づいて符号化する画像符号化方法であって、前記第１の符号化モードおよび前記第２の符号化モードの画面間予測において、動きベクトルの符号量と、符号化対象領域と動きベクトルが指し示す参照領域との画素差分データの符号量との和を、符号化モード毎に所定の計算式に基づいて算出した値を評価値とし、符号化モード毎に算出された評価値を比較することにより、符号化対象領域を符号化するときの画面間予測としての符号化モードを決定する際に、評価値に占める前記動きベクトルの符号量の割合が異なるように設定された複数の前記所定の計算式を保持し、符号化対象画像の画素情報および／または符号化済領域の符号化情報に応じて、評価値を算出するための計算式を複数の前記所定の計算式の中から選択して決定する評価値計算式決定ステップと前記評価値計算式決定手段において決定された評価値を算出するための計算式を用いて、前記第１の符号化モードおよび前記第２の符号化モードにおけるそれぞれの評価値を算出し、算出したそれぞれの評価値を比較して評価値の小さい方の符号化モードを、画面間予測の符号化モードとして選択する符号化タイプ選択ステップと、を有することを特徴とするものである。

また、本願の第６発明の画像符号化プログラムは、画像を複数の領域に分割し、前記領域毎に、画面内で予測を行う画面内予測、または少なくとも動きベクトルを符号化しない第１の符号化モードの画面間予測、または動きベクトルと画素差分情報を符号化する第２の符号化モードの画面間予測のいずれかで、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式に基づいて符号化する画像符号化プログラムであって、前記第１の符号化モードおよび前記第２の符号化モードの画面間予測において、動きベクトルの符号量と、符号化対象領域と動きベクトルが指し示す参照領域との画素差分データの符号量との和を、符号化モード毎に所定の計算式に基づいて算出した値を評価値とし、符号化モード毎に算出された評価値を比較することにより、符号化対象領域を符号化するときの画面間予測としての符号化モードを決定する際に、評価値に占める前記動きベクトルの符号量の割合が異なるように設定された複数の前記所定の計算式を保持し、符号化対象画像の画素情報および／または符号化済領域の符号化情報に応じて、評価値を算出するための計算式を複数の前記所定の計算式の中から選択して決定する評価値計算式決定ステップと前記評価値計算式決定手段において決定された評価値を算出するための計算式を用いて、前記第１の符号化モードおよび前記第２の符号化モードにおけるそれぞれの評価値を算出し、算出したそれぞれの評価値を比較して評価値の小さい方の符号化モードを、画面間予測の符号化モードとして選択する符号化タイプ選択ステップと、を有することを特徴とするものである。

本発明によれば、符号化対象領域に隣接する領域の画素情報や符号化済領域の符号化情報などを用いてダイレクト符号化モードやスキップ符号化モードを選択的に符号化するので、符号化効率を高めることができるとともに、主観的に高画質な画像符号化が可能である。

以下に、本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る画像符号化装置の構成を示すブロック図である。

図１において、画像符号化装置１００に入力された入力画像データは、差分演算回路１０１に入力されるとともに、イントラ予測回路１１１およびインター予測回路１１２に入力される。イントラ予測回路１１１は、後述する方法によりイントラ予測（画面内予測）の中で最適な符号化モードを選択し、選択した符号化タイプで符号化された画面内予測画像データを選択回路１１３に送信する。インター予測回路１１２は、符号化対象領域とフレームメモリ１１０に記録されている参照画像、すなわちローカルデコード画像の動き探索を行い、インター予測（画面間予測）の中で最適な符号化モードを選択し、選択した符号化モードで符号化された画面間予測画像データを選択回路１１３に送信する。

なお、インター予測回路１１２において、インター予測の中から最適な符号化モードを選択する方法については、後ほど図２および図３などを用いて、もう少し詳しく説明する。

選択回路１１３は、イントラ予測回路１１１から受信した画面内予測画像データとインター予測回路１１２から受信した画面間予測画像データのうち、最適な符号化モードで符号化された予測画像データを後述する方法により選択し、選択した符号化モードで符号化された予測画像データを差分演算回路１０１および加算回路１０７に送信する。差分演算回路１０１は、入力画像データと選択回路１１３から受信した予測画像データの差分演算を行って両画像データの画素差分値を算出し、算出した画素差分データを直交変換回路１０２に送信する。

直交変換回路１０２は、差分演算回路１０１から受信した画素差分データに直交変換を施して周波数係数に変換し、変換した周波数係数を量子化回路１０３に送信する。量子化回路１０３は、直交変換回路１０２から受信した周波数係数を量子化し、量子化した値、すなわち量子化データを逆量子化回路１０５に送信するとともに可変長符号化回路１０４に送信する。可変長符号化回路１０４は、量子化回路１０３から受信した量子化データに、制御回路（図示せず）から受信した選択回路１１３において選択された符号化モードの予測情報や、イントラ予測回路１１１およびインター予測回路１１２からそれぞれ受信した動きベクトル、参照画像およびＭＢの符号化サイズなどの情報を含むイントラ予測情報およびインター予測情報などを加算した後、これらを可変長符号化する。

逆量子化回路１０５は、量子化回路１０３から受信した量子化データを逆量子化して周波数係数に復元し、復元した周波数係数を逆直交変換回路１０６に送信する。逆直交変換回路１０６は、逆量子化回路１０５から受信したに周波数係数を画素差分データに逆周波数変換し、逆周波数変換して得られた画素差分データを加算回路１０７に送信する。

加算回路１０７は、逆直交変換回路１０６から受信した画素差分データと、選択回路１１３から受信した予測画像データを加算して画像データを生成し、生成した画像データをスイッチ（ＳＷ）回路１０８に送信する。ＳＷ回路１０８は、制御回路（図示せず）からの制御に基づき、加算回路１０７から受信した画像データを画像毎またはＭＢ毎にデブロックフィルタ回路１０９に送信するか、デブロックフィルタ回路１０９をバイパスして直接フレームメモリ１１０に送信するかを切り替える。

デブロックフィルタ回路１０９は、ＳＷ回路１０８を経由して加算回路１０７から受信した画像データにデブロックフィルタをかけ、デブロックフィルタをかけた画像データをフレームメモリ１１０に送信する。フレームメモリ１１０は、デブロックフィルタ回路１０９においてデブロックフィルタをかけられて入力された画像データ、およびデブロックフィルタ回路１０９をバイパスして入力された画像データをローカルデコード画像データとして記録する。フレームメモリ１１０に記録されたローカルデコード画像データは、インター予測回路１１２においてインター予測の参照画像として利用される。

次に、図１におけるインター予測回路１１２において、最適な符号化モードを選択する方法について説明する。

インター予測回路１１２は、ダイレクト符号化モードまたはスキップ符号化モード（第１の符号化モード）と通常のインター符号化モード（第２の符号化モード）の評価値を比較し、評価値の小さい方を最適な符号化モードとして選択する。しかし、インター予測回路１１２においては、評価値を比較した結果、通常のインター符号化モード（第２の符号化モード）が選択されずダイレクト符号化モードまたはスキップ符号化モード（第１の符号化モード）が選択されたとしても、この時点ではダイレクト符号化モードになるかスキップ符号化モードになるかは決定されない。

ダイレクト符号化モードかスキップ符号化モードかは、制御回路（図示せず）により以下のようにして決定される。インター予測回路１１２においてダイレクト符号化モードまたはスキップ符号化モード（第１の符号化モード）が選択された場合、制御回路は、差分演算回路１０１から送信されたＭＢの画素差分データが直交変換回路１０２および量子化回路１０３において全て０（ゼロ）になったか否かを判断し、全て０になった場合はスキップ符号化モード、それ以外の場合はダイレクト符号化モードと決定し、決定した符号化モードに関する情報を可変長符号化回路１０４に送信する。可変長符号化回路１０４は、制御回路から受信した符号化モードに基づき、量子化回路１０３から入力される量子化データなどを符号化して出力する。

ここで、評価値の求め方について説明する。インター予測回路１１２における符号化モードの評価値は、インター予測の情報などを含むヘッダ部分の符号量と差分演算回路１０１の出力である画素差分データの符号量の差で表す。ここでは、評価値の計算式として下記の式（１）を用いるものとする。

ここで、ＰＭＶは予測動きベクトル、ＭＶは動きベクトルである。また、cost()は、ヘッダ部分の符号量の換算値であって、下記の式（２）に示すように符号化する動きベクトルの大きさを表す関数として表される。

また、ＳＡＤは、画素差分データの符号量の換算値であって、下記の式（３）に示すように画素の予測誤差（画素差分データ）の差分絶対値和で表される。

ここで、Refpixel(x,y)は予測画素値であり、OrgPixel(x,y)は符号化対象画素値である。

また、λはヘッダ部分の符号量の換算値と画素差分データの符号量の換算値の割合を表す係数であり、画像符号化装置において適当な値が設定される。

また、ＳＡＤの代わりに、下記の式（４）で表される差分平方自乗和であるＳＳＤや、下記の式（５）で表される直交変換後の絶対値和であるＳＡＴＤを用いてもよい。

なお、Ｈ．２６４方式におけるインター予測は、ＭＢを１６×１６、１６×８、８×１６および８×８等の領域に分割して予測することが可能であるが、ＭＢが分割された場合の評価値については、分割した領域ごとに評価値を求め、求めた各々の評価値を加算することにより得られる値をＭＢの評価値とする。

次に、図２および図３を用いて、本発明の実施の形態１に係る画像符号化装置１００において、インター予測回路１１２が制御回路（図示せず）と連携して処理するインター予測の特徴的な処理動作について説明する。なお、図２は、本発明の実施の形態１に係る画像符号化装置１００におけるインター予測回路が制御回路と連携して処理するインター予測処理の構成を示すブロック図であり、図３は、本発明の実施の形態１に係る画像符号化装置１００におけるインター予測回路が制御回路と連携して処理するインター予測処理の流れを示すフローチャートである。

まず、図２における画像データ符号化情報取得手段２０１は、インター予測回路１１２が制御回路（図示せず）と連携して、画像データをインター符号化する場合に必要な情報、すなわち、符号化対象画像の画素情報、符号化済領域の符号化情報、スキップＭＢまたはダイレクトＭＢの動きベクトルと画素差分データ、および通常のインターＭＢの動きベクトルと画素差分データなどを取得する手段である。

評価値計算式決定手段２０２は、画像データ符号化情報取得手段２０１から受け取った符号化対象画像の画素情報や符号化済領域の符号化情報などを用いて、符号化対象ＭＢの隣接ＭＢが平坦であるか否かを判定する。ここで符号化対象ＭＢの隣接ＭＢとは、すでに符号化が終わっている領域（符号化済領域）の符号化対象ＭＢに隣接する上ＭＢ、右上ＭＢおよび左ＭＢを意味する。これら全ての隣接ＭＢにおける原画の画素の分散値が所定の閾値以下である場合、これらの隣接ＭＢが平坦であると判断する（Ｓ３１）。

なお、ＭＢの分散値は下記の式（６）で表される。

また、ここでは隣接ＭＢが平坦であるか否かの判定に隣接ＭＢにおける原画の画素の分散値を用いたが、隣接ＭＢにおける原画の画素の分散値に替えて、隣接ＭＢにおける原画の隣接画素差分絶対値和を用いてもよいし、その他、一般に平坦検出が可能なＭＢの特徴量を示す値であればどのような値であってもかまわない。

また、ＭＢの隣接画素差分絶対値和は、水平方向と垂直方向の画素値の差分を用いて、下記の式（７）で表される。

次に、図２の評価値計算式決定手段２０２は、隣接ＭＢが平坦であると判断された場合と平坦でないと判断された場合に対応して、それぞれ以下に示すように評価値を算出する計算式を決定し、決定した計算式を符号化モード選択手段２０３に通知する。

まず、隣接ＭＢが平坦でないと判断された場合（ステップＳ３１においてＮｏの場合）は、式（１）で表される通常の計算式を用いて、スキップ符号化モードまたはダイレクト符号化モード（第１の符号化モード）でそれぞれ符号化されたスキップＭＢまたはダイレクトＭＢと、通常のインター符号化モード（第２の符号化モード）で符号化された通常のインターＭＢの評価値をそれぞれ計算するように決定する（Ｓ３５）。

一方、隣接ＭＢが平坦であると判断された場合（ステップＳ３１においてＹｅｓの場合）は、符号化対象ＭＢの隣接ＭＢである上ＭＢ、右上ＭＢおよび左ＭＢにおけるそれぞれの動きベクトルと、符号化対象ＭＢをスキップＭＢまたはダイレクトＭＢとしたときの動きベクトルとの差を比較し、その差の値が所定の閾値以上であるか否かを判定する（Ｓ３２）。

なお、隣接ＭＢの動きベクトルを（x１、ｙ１）とし、符号化対象ＭＢをスキップＭＢまたはダイレクトＭＢとしたときの動きベクトルを（ｘ２、ｙ２）とすると、動きベクトルの差は、下記の式（８）で表される。

符号化対象ＭＢをスキップＭＢまたはダイレクトＭＢとしたときの動きベクトルは、Ｈ．２６４方式の規格に定められた通り、参照方向（前方：Ｌ０、後方：Ｌ１）ごとに計算した隣接ＭＢである上ＭＢ、右上ＭＢおよび左ＭＢの動きベクトルの中央値である。ただし、符号化対象ＭＢのＬ１方向（一般には後方参照）のリファレンスインデックス０の参照画像で、符号化対象ＭＢと同じ位置にあるＭＢの動きベクトルがｘ軸、ｙ軸とも１画素以下の場合、動きベクトルは（０，０）である。

隣接ＭＢが平坦であると判断された場合において、符号化対象ＭＢをスキップＭＢまたはダイレクトＭＢとしたときの動きベクトルと、符号化対象ＭＢの隣接ＭＢの動きベクトルとの差が小さい場合、評価値は、通常の評価値を求める計算式（１）に比べて、評価値に占める動きベクトルの符号量の割合を小さくした下記の式（９）を計算式として算出するように決定する（Ｓ３３）。

また、隣接ＭＢが平坦であると判断された場合において、符号化対象ＭＢをスキップＭＢまたはダイレクトＭＢとしたときの動きベクトルと、符号化対象ＭＢの隣接ＭＢの動きベクトルとの差が大きい場合、評価値は、式（９）よりも評価値に占める動きベクトルの符号量の割合をさらに小さく（最も小さく）した下記の式（１０）を計算式として算出するように決定する（Ｓ３４）。

次に、図２の符号化モード選択手段２０３は、画像データ符号化情報取得手段２０１から受け取ったスキップＭＢまたはダイレクトＭＢの動きベクトルと画素差分データ、および通常のインターＭＢの動きベクトルと画素差分データを用いて、評価値計算式決定手段２０２から通知された計算式により、スキップまたはダイレクト予測（符号化）の場合の評価値と通常のインター予測（符号化）の場合の評価値をそれぞれ算出して比較し（Ｓ３６）、算出したそれぞれの評価値を比較した結果、スキップまたはダイレクト予測の評価値が通常のインター予測の評価値より小さい場合（ステップＳ３６においてＹｅｓの場合）、符号化対象ＭＢのインター予測としてスキップまたはダイレクト予測（スキップまたはダイレクト符号化モード）を選択し（Ｓ３７）、そうでない場合（ステップＳ３６においてＮｏの場合）、通常のインター予測（通常のインター符号化モード）を選択する（Ｓ３８）。

以上のように、図２の符号化モード選択手段２０３において選択されたインター予測（画面間予測）における符号化モードに関する情報は、図１における可変長符号化回路１０４に送信されて可変長符号化処理されるとともに、符号化モード選択手段２０３において選択されたインター符号化モードにより符号化されたインター予測画像データが、インター予測回路１１２から選択回路１１３に送信される。

次に、図１における選択回路１１３において、符号化対象ＭＢの符号化モードを決定する方法について説明する。

まず、イントラ予測回路１１１において、イントラ予測（画面内予測）の中で最適な符号化モードを選択する場合、上述したインター予測の場合と同様の計算式（ただし、当然のことながら動きベクトルは含まれない）により、イントラ予測における各符号化モードの評価値が求められ、求められた評価値を比較した結果、最も評価値が小さい符号化モードがイントラ予測における最適な符号化モードとして選択され、選択された符号化モードで符号化されたイントラ予測画像データが選択回路１１３に送信される。

選択回路１１３は、イントラ予測回路１１１およびインター予測回路１１２において、それぞれ最適な符号化モードとして選択された符号化モードにおける評価値を比較し、その結果、評価値の小さい方の符号化モードを符号化対象ＭＢの符号化モードと決定し、決定された符号化モードで符号化されたイントラ予測画像データまたはインター予測画像データを差分演算回路１０１に送信する。また、決定された符号化モードに関する情報は、例えば、選択回路１１３と連携して上記の処理を実行する制御回路（図示せず）から可変長符号化回路１０４に送信される。

なお、本発明の実施の形態１においては、隣接ＭＢである上ＭＢ、右上ＭＢおよび左ＭＢのそれぞれの動きベクトルと、符号化対象ＭＢをスキップＭＢまたはダイレクトＭＢとしたときの動きベクトルとを比較する場合、同じ参照画像を用いていることを前提に説明をしたが、参照画像が異なる場合は、図５を用いて以下に説明するように、動きベクトルを同じ参照画像を用いた動きベクトルに変換した後に動きベクトルの差を算出し、算出した動きベクトルの差の値と所定の閾値との比較を行うようにする。

図５は、本発明の実施の形態１における参照画像が異なる場合の動きベクトルの変換の一例を示す図である。

図５において、符号化対象ピクチャの符号化対象ＭＢの隣接ＭＢである上ＭＢの動きベクトルＭＶ＿Ａは、Ｌ０Ｒ１ピクチャを参照画像とし、符号化対象ＭＢをスキップＭＢまたはダイレクトＭＢとしたときの動きベクトルＭＶ＿Ｂは、Ｌ０Ｒ０ピクチャを参照しているものとする。また、符号化対象ピクチャと参照画像Ｌ０Ｒ０との時間間隔は、Ｔ＿Ｌ０Ｒ０、参照画像Ｌ０Ｒ１との時間間隔はＴ＿Ｌ０Ｒ１とする。

動きベクトルＭＶ＿Ａを、参照画像Ｌ０Ｒ０を参照した動きベクトルＭＶ＿Ａ’へ時間間隔を用いて下記の式（１１）により変換する。

式（１１）により変換された動きベクトルＭＶ＿Ａの変換後の動きベクトルＭＶ＿Ａ’と動きベクトルＭＶ＿Ｂの差を算出し、同じ参照画像を用いる場合と同様に図３のステップＳ３２において、算出した動きベクトルの差が所定の閾値以上であるか否かを判断するようにする。

なお、ここでは動きベクトルＭＶ＿Ａを変換したＭＶ＿Ａ’と、ＭＶ＿Ｂの差を計算したが、動きベクトルＭＶ＿Ｂを、参照画像Ｌ０Ｒ１を参照した動きベクトルに変換したＭＶ＿Ｂ’と、ＭＶ＿Ａの差を計算し閾値との比較を行ってもよい。

また、本発明の実施の形態１においては、隣接ＭＢの画素値および隣接ＭＢの動きベクトルを用いて評価値を算出する計算式を変更する例を示したが、隣接ＭＢの画素値および隣接ＭＢの動きベクトルのうち、どちらか一方の値を用いて評価値を算出する計算式を変更してもよい。

以上のように、本発明に係る画像符号化装置は、符号化対象領域およびその隣接領域の画素の分散値または隣接画素差分絶対値和が所定の閾値以下の場合、評価値に占める動きベクトルの符号量の割合を、通常の評価値に占める動きベクトルの符号量の割合よりも小さくし、また、符号化対象領域に隣接する符号化済み領域の動きベクトルと、ダイレクト符号化モードまたはスキップ符号化モード（第１の符号化モード）の動きベクトルとして用いられる動きベクトルとの差が所定の閾値以上の場合には、評価値に占める動きベクトルの符号量の割合をさらに小さくするなど、符号化対象領域に隣接する領域の画素情報や符号化済領域の符号化情報などを用いてダイレクト符号化モードやスキップ符号化モードを選択的に符号化するので、スキップ符号化モードやダイレクト符号化モードを用いて符号化効率を高めることができるとともに、スキップ符号化モードやダイレクト符号化モードを用いることにより発生する主観的な画質の劣化を防止することができる。

なお、本発明は、本発明の実施の形態１に示したような画像符号化装置として実現することができるばかりでなく、画像符号化装置としての機能を実現する集積回路や、画像符号化方法およびその方法をコンピュータに実行させる画像符号化プログラム、並びにその画像符号化プログラムを記録した記録媒体として実現することも可能であることは言うまでもない。

本発明に係る画像符号化装置および画像符号化方法は、Ｈ．２６４方式を用いる画像符合化装置および画像符号化方法であって、ダイレクト符号化モードやスキップ符号化モードを用いて符号化効率を高めることができるとともに、ダイレクト符号化モードやスキップ符号化モードを用いることにより発生する主観的な画質の劣化を防止することができるので、特に、通信機能を備えるパーソナルコンピュータ、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、携帯電話機およびデジタル放送の放送局等に適用できる。

本発明の実施の形態１に係る画像符号化装置の構成を示すブロック図 本発明の実施の形態１に係る画像符号化装置におけるインター予測回路が制御回路と連携して処理するインター予測処理の構成を示すブロック図 本発明の実施の形態１に係る画像符号化装置におけるインター予測回路が制御回路と連携して処理するインター予測処理の流れを示すフローチャート Ｈ．２６４方式におけるダイレクトＭＢまたはスキップＭＢの動きベクトルの一例を示す図 本発明の実施の形態１における参照画像が異なる場合の動きベクトルの変換の一例を示す図

符号の説明

１００ 画像符号化装置
１０１ 差分演算回路
１０２ 直交変換回路
１０３ 量子化回路
１０４ 可変長符号化回路
１０５ 逆量子化回路
１０６ 逆直交変換回路
１０７ 加算回路
１０８ スイッチ（ＳＷ）回路
１０９ デブロックフィルタ回路
１１０ フレームメモリ
１１１ イントラ予測回路
１１２ インター予測回路
１１３ 選択回路
２０１ 画像データ符号化情報取得手段
２０２ 評価値計算式決定手段
２０３ 符号化モード選択手段

Claims (6)

1. 画像を複数の領域に分割し、前記領域毎に、画面内で予測を行う画面内予測、または少なくとも動きベクトルを符号化しない第１の符号化モードの画面間予測、または動きベクトルと画素差分情報を符号化する第２の符号化モードの画面間予測のいずれかで、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式に基づいて符号化する画像符号化装置であって、
   前記第１の符号化モードおよび前記第２の符号化モードの画面間予測において、動きベクトルの符号量と、符号化対象領域と動きベクトルが指し示す参照領域との画素差分データの符号量との和を、符号化モード毎に所定の計算式に基づいて算出した値を評価値とし、符号化モード毎に算出された評価値を比較することにより、符号化対象領域を符号化するときの画面間予測としての符号化モードを決定する際に、
   評価値に占める前記動きベクトルの符号量の割合が異なるように設定された複数の前記所定の計算式を保持し、符号化対象画像の画素情報および／または符号化済領域の符号化情報に応じて、評価値を算出するための計算式を複数の前記所定の計算式の中から選択して決定する評価値計算式決定手段と
   前記評価値計算式決定手段において決定された評価値を算出するための計算式を用いて、前記第１の符号化モードおよび前記第２の符号化モードにおけるそれぞれの評価値を算出し、算出したそれぞれの評価値を比較して評価値の小さい方の符号化モードを、画面間予測の符号化モードとして選択する符号化タイプ選択手段と、
   を有することを特徴とする画像符号化装置。
2. 前記評価値計算式決定手段は、符号化対象領域およびそれに隣接する隣接領域の画素の分散値または、前記隣接領域の隣接画素差分絶対値和が所定の閾値以下の場合に、所定の閾値よりも大きい場合の評価値に比べて、評価値に占める動きベクトルの符号量の割合が小さくなる計算式を、複数の前記所定の計算式の中から選択して決定することを特徴とする請求項１記載の画像符号化装置。
3. 前記評価値計算式決定手段は、符号化対象領域に隣接する符号化済み領域の動きベクトルと前記第１の符号化モードの動きベクトルとして用いられる動きベクトルとの差が所定の閾値以上の場合に、所定の閾値よりも小さい場合の評価値に比べて、評価値に占める動きベクトルの符号量の割合が小さくなる計算式を、複数の前記所定の計算式の中から選択して決定することを特徴とする請求項１または２記載の画像符号化装置。
4. 前記評価値計算式決定手段は、符号化対象領域に隣接する符号化済み領域の参照画像と前記第１の符号化モードの参照画像が異なる場合に、動きベクトルの大きさを同じ参照画像を用いた動きベクトルの大きさに変換した後に、符号化対象領域に隣接する符号化済み領域の動きベクトルと前記第１の符号化モードの動きベクトルとして用いられる動きベクトルとの差を算出し、算出した動きベクトルの差の値と所定の閾値との比較を行うことを特徴とする請求項３記載の画像符号化装置。
5. 画像を複数の領域に分割し、前記領域毎に、画面内で予測を行う画面内予測、または少なくとも動きベクトルを符号化しない第１の符号化モードの画面間予測、または動きベクトルと画素差分情報を符号化する第２の符号化モードの画面間予測のいずれかで、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式に基づいて符号化する画像符号化方法であって、
   前記第１の符号化モードおよび前記第２の符号化モードの画面間予測において、動きベクトルの符号量と、符号化対象領域と動きベクトルが指し示す参照領域との画素差分データの符号量との和を、符号化モード毎に所定の計算式に基づいて算出した値を評価値とし、符号化モード毎に算出された評価値を比較することにより、符号化対象領域を符号化するときの画面間予測としての符号化モードを決定する際に、
   評価値に占める前記動きベクトルの符号量の割合が異なるように設定された複数の前記所定の計算式を保持し、符号化対象画像の画素情報および／または符号化済領域の符号化情報に応じて、評価値を算出するための計算式を複数の前記所定の計算式の中から選択して決定する評価値計算式決定ステップと
   前記評価値計算式決定手段において決定された評価値を算出するための計算式を用いて、前記第１の符号化モードおよび前記第２の符号化モードにおけるそれぞれの評価値を算出し、算出したそれぞれの評価値を比較して評価値の小さい方の符号化モードを、画面間予測の符号化モードとして選択する符号化タイプ選択ステップと、
   を有することを特徴とする画像符号化方法。
6. 画像を複数の領域に分割し、前記領域毎に、画面内で予測を行う画面内予測、または少なくとも動きベクトルを符号化しない第１の符号化モードの画面間予測、または動きベクトルと画素差分情報を符号化する第２の符号化モードの画面間予測のいずれかで、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４方式に基づいて符号化する画像符号化プログラムであって、
   前記第１の符号化モードおよび前記第２の符号化モードの画面間予測において、動きベクトルの符号量と、符号化対象領域と動きベクトルが指し示す参照領域との画素差分データの符号量との和を、符号化モード毎に所定の計算式に基づいて算出した値を評価値とし、符号化モード毎に算出された評価値を比較することにより、符号化対象領域を符号化するときの画面間予測としての符号化モードを決定する際に、
   評価値に占める前記動きベクトルの符号量の割合が異なるように設定された複数の前記所定の計算式を保持し、符号化対象画像の画素情報および／または符号化済領域の符号化情報に応じて、評価値を算出するための計算式を複数の前記所定の計算式の中から選択して決定する評価値計算式決定ステップと
   前記評価値計算式決定手段において決定された評価値を算出するための計算式を用いて、前記第１の符号化モードおよび前記第２の符号化モードにおけるそれぞれの評価値を算出し、算出したそれぞれの評価値を比較して評価値の小さい方の符号化モードを、画面間予測の符号化モードとして選択する符号化タイプ選択ステップと、
   を有することを特徴とする画像符号化プログラム。

Images