JP6073404B2 - 映像復号化方法及び装置 - Google Patents

Description

本発明は、動きベクトル符号化方法及び装置に係り、さらに詳細には、現在ブロックの動きベクトルを予測して符号化／復号化する方法及び装置に関する。

ＭＰＥＧ−４ Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）のようなコーデックでは、現在ブロックの動きベクトルを予測するために、現在ブロックに隣接している、以前に符号化されたブロックの動きベクトルを用いる。現在ブロックの左側上部及び右側上部に隣接している、以前に符号化されたブロックの動きベクトルの中央値（ｍｅｄｉａｎ）を、現在ブロックの予測動きベクトルとして用いる。

本発明の実施形態は、動きベクトルを符号化／復号化する方法及び装置を提供し、前記方法を行うためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。

本発明の一実施形態による動きベクトルの符号化方法は、少なくとも一つの予測動きベクトルのうち一つの予測動きベクトルを指示する情報を符号化する第１モード、及び現在ブロックに隣接している、以前に符号化された領域に含まれたピクセルに基づいて予測動きベクトルの生成を指示する情報を符号化する第２モードのうち一つを選択する段階と、前記選択されたモードによって現在ブロックの予測動きベクトルを定め、前記現在ブロックの予測動きベクトルについての情報を符号化する段階と、前記現在ブロックの動きベクトルと前記現在ブロックの予測動きベクトルとの間の差ベクトルを符号化する段階と、を含み、前記第２モードは、前記少なくとも一つの予測動きベクトルに基づいて予測動きベクトルを検索する範囲を設定し、設定された検索範囲を、前記以前に符号化された領域に含まれたピクセルを用いて検索し、前記予測動きベクトルの生成を指示する情報を符号化するモードであることを特徴とする。

本発明の他の実施形態によれば、前記第１モード及び第２モードのうち一つを選択する段階は、現在ピクチャーまたは現在スライスの最大符号化単位のサイズから現在ブロックのサイズに段階的に縮小した程度を示す深度に基づいて、前記第１モード及び前記第２モードのうち一つを選択する段階を含む。

本発明のさらに他の実施形態によれば、前記第１モード及び第２モードのうち一つを選択する段階は、前記現在ブロックを含む現在ピクチャーまたは現在スライス単位で、前記第１モード及び前記第２モードのうち一つを選択する段階を含む。

本発明のさらに他の実施形態によれば、前記第１モード及び第２モードのうち一つを選択する段階は、現在ブロックがスキップモードで符号化するかどうかに基づいて、前記第１モード及び前記第２モードのうち一つを選択する段階を含む。

本発明のさらに他の実施形態によれば、前記少なくとも一つの予測動きベクトルは、現在ブロックの左側に隣接しているブロックの第１動きベクトル、上部に隣接しているブロックの第２動きベクトル、及び右側上部に隣接しているブロックの第３動きベクトルを含む。

本発明のさらに他の実施形態によれば、前記少なくとも一つの予測動きベクトルは、前記第１動きベクトル、前記第２動きベクトル及び前記第３動きベクトルの中央値をさらに含む。

本発明のさらに他の実施形態によれば、前記少なくとも一つの予測動きベクトルは、参照ピクチャーの前記現在ブロックと同じ位置（ｃｏｌｏｃａｔｅｄ）のブロックの動きベクトル、及び前記参照ピクチャーと前記現在ピクチャーとの間の時間的距離に基づいて生成された予測動きベクトルをさらに含む。

本発明のさらに他の実施形態によれば、前記予測動きベクトルについての情報を符号化する段階は、前記同じ位置のブロックが前記現在ピクチャーより時間的に先行するピクチャーのブロックであるか、または後行するピクチャーのブロックであるかを指示する情報を符号化する段階をさらに含むことを特徴とする。

本発明のさらに他の実施形態によれば、前記同じ位置のブロックが、前記現在ピクチャーより時間的に先行するピクチャーのブロックであるか、または後行するピクチャーのブロックであるかを指示する情報は、前記現在ブロックが含まれたスライスのヘッダーに挿入される情報であることを特徴とする。

前記技術的課題を解決するための本発明の一実施形態による動きベクトルの符号化装置は、少なくとも一つの予測動きベクトルのうち一つの予測動きベクトルを指示する情報を符号化する第１モード、及び現在ブロックに隣接している、以前に符号化された領域に含まれたピクセルに基づいて予測動きベクトルの生成を指示する情報を符号化する第２モードのうち一つを選択し、前記選択されたモードに基づいて現在ブロックの予測動きベクトルを定める予測部と、前記選択されたモードに基づいて、前記定められた現在ブロックの予測動きベクトルについての情報を符号化する第１符号化部と、現在ブロックの動きベクトルと前記現在ブロックの予測動きベクトルとの間の差ベクトルを符号化する第２符号化部と、を備え、前記第２モードは、前記少なくとも一つの予測動きベクトルに基づいて予測動きベクトルを検索する範囲を設定し、設定された検索範囲を前記以前に符号化された領域に含まれたピクセルを用いて検索し、前記予測動きベクトルの生成を指示する情報を符号化するモードであることを特徴とする。

前記技術的課題を解決するための本発明の一実施形態による動きベクトルの復号化方法は、第１モード及び第２モードのうち選択された一つのモードによって符号化された、現在ブロックの予測動きベクトルについての情報を復号化する段階と、現在ブロックの動きベクトルと前記現在ブロックの予測動きベクトルとの間の差ベクトルを復号化する段階と、前記復号化された現在ブロックの予測動きベクトルについての情報に基づいて、現在ブロックの予測動きベクトルを生成する段階と、前記予測動きベクトル及び前記差ベクトルに基づいて現在ブロックの動きベクトルを復元する段階と、を含み、前記第１モードは、少なくとも一つの予測動きベクトルのうち一つの予測動きベクトルを指示する情報を符号化するモードであり、前記第２モードは、前記少なくとも一つの予測動きベクトルに基づいて予測動きベクトルを検索する範囲を設定し、設定された検索範囲を、前記現在ブロックに隣接している、以前に復号化された領域に含まれたピクセルを用いて検索し、前記予測動きベクトルの生成を指示する情報を符号化するモードであることを特徴とする。

前記技術的課題を解決するための本発明の一実施形態による動きベクトルの復号化装置は、第１モード及び第２モードのうち選択された一つのモードによって符号化された現在ブロックの予測動きベクトルについての情報を復号化する第１復号化部と、現在ブロックの動きベクトルと前記現在ブロックの予測動きベクトルとの間の差ベクトルを復号化する第２復号化部と、前記復号化された現在ブロックの予測動きベクトルについての情報に基づいて現在ブロックの予測動きベクトルを生成する予測部と、前記予測動きベクトル及び前記差ベクトルに基づいて現在ブロックの動きベクトルを復元する動きベクトル復元部と、を備え、前記第１モードは、少なくとも一つの予測動きベクトルのうち、現在ブロックの予測動きベクトルに用いられた一つの予測動きベクトルを指示する情報を符号化するモードであり、前記第２モードは、前記少なくとも一つの予測動きベクトルに基づいて予測動きベクトルを検索する範囲を設定し、設定された検索範囲を、前記現在ブロックに隣接している以前に復号化された領域に含まれたピクセルを用いて検索し、前記予測動きベクトルの生成を指示する情報を符号化するモードであることを特徴とする。

前記技術的課題を解決するために本発明の一実施形態は、前記動きベクトル符号化／復号化方法を行うためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。

本発明によれば、現在ブロックの動きベクトルをさらに正確に予測して符号化できる。

本発明の一実施形態による映像符号化装置を示す図面である。 本発明の一実施形態による映像復号化装置を示す図面である。 本発明の一実施形態による階層的符号化単位を示す図面である。 本発明の一実施形態による符号化単位に基づいた映像符号化部を示す図面である。 本発明の一実施形態による符号化単位に基づいた映像復号化部を示す図面である。 本発明の一実施形態による最大符号化単位、サブ符号化単位及び予測単位を示す図面である。 本発明の一実施形態による符号化単位及び変換単位を示す図面である。 本発明の一実施形態による符号化単位、予測単位及び周波数変換単位の分割形態を示す図面である。 本発明の一実施形態による符号化単位、予測単位及び周波数変換単位の分割形態を示す図面である。 本発明の一実施形態による符号化単位、予測単位及び周波数変換単位の分割形態を示す図面である。 本発明の一実施形態による符号化単位、予測単位及び周波数変換単位の分割形態を示す図面である。 本発明の一実施形態による動きベクトルを符号化する装置を示す図面である。 本発明の一実施形態による明示モードの予測動きベクトル候補を示す図面である。 本発明の一実施形態による明示モードの予測動きベクトル候補を示す図面である。 本発明の一実施形態による現在ブロックに隣接している多様なサイズのブロックを示す図面である。 本発明の一実施形態による現在ブロックに隣接している多様なサイズのブロックを示す図面である。 本発明の一実施形態による現在ブロックに隣接している多様なサイズのブロックを示す図面である。 本発明のさらに他の実施形態による明示モードの予測動きベクトル候補を示す図面である。 本発明のさらに他の実施形態による明示モードの予測動きベクトル候補を示す図面である。 本発明のさらに他の実施形態による明示モードの予測動きベクトル候補を示す図面である。 本発明の一実施形態による暗示モードの予測動きベクトルを生成する方法を示す図面である。 本発明の一実施形態による暗示モードの予測動きベクトルを検索する方法を示す図面である。 本発明の一実施形態による予測動きベクトルを生成するために用いられるテンプレートを示す図面である。 本発明の一実施形態による予測動きベクトルを生成するために用いられるテンプレートを示す図面である。 本発明の一実施形態による動きベクトルを復号化する装置を示す図面である。 本発明の一実施形態による動きベクトルを符号化する方法を説明するためのフローチャートである。 本発明の一実施形態による動きベクトルを復号化する方法を説明するためのフローチャートである。

以下、図面を参照して本発明の望ましい実施形態を詳細に説明する。構成要素リストに先行する“少なくとも一つ”などの表現は、構成要素リスト全体を変更できるものであり、リスト上の構成要素を個別的に変更するものではない。本明細書で“映像（ｉｍａｇｅ）”は、ビデオの静止画または動画、すなわち、ビデオそのものを意味する。

以下の説明で、互いに異なる図面であっても同じ図面参照番号が同じ構成要素に用いられうる。明細書に説明される具体的な構造や構成要素が、例示的な実施形態を幅広く理解するために提供される。しかし、例示的な実施形態は、具体的に定義されたところに限定されずに具現されうる。

図１は、本発明の一実施形態による映像符号化装置を示す図面である。図１を参照すれば、本発明の一実施形態による映像符号化装置１００は、最大符号化単位分割部１１０、符号化深度決定部１２０、映像データ符号化部１３０及び符号化情報符号化部１４０を備える。

最大符号化単位分割部１１０は、最大サイズの符号化単位である最大符号化単位に基づいて現在ピクチャーまたは現在スライスを分割できる。現在ピクチャーまたは現在スライスを、少なくとも一つの最大符号化単位に分割できる。

本発明の一実施形態によれば、最大符号化単位及び深度を用いて符号化単位が表現される。前述したように、最大符号化単位は、現在ピクチャーの符号化単位のうちサイズの最も大きい符号化単位を示し、深度は、符号化単位が階層的に縮小したサブ符号化単位のサイズを示す。深度が大きくなりつつ、符号化単位は、最大符号化単位から最小符号化単位まで縮小し、最大符号化単位の深度は最小深度と定義され、最小符号化単位の深度は最大深度と定義される。最大符号化単位は、深度が大きくなるにつれて深度別符号化単位のサイズは減少するので、ｋ深度のサブ符号化単位は、（ｋ＋ｎ）深度の複数のサブ符号化単位を含む（ｋ、ｎは、１以上の定数）。

符号化されるピクチャーのサイズが大きくなるにつれて、さらに大きい単位で映像を符号化すれば、さらに高い映像圧縮率で映像を符号化できる。しかし、符号化単位を大きくし、そのサイズを固定させれば、変り続ける映像の特性を反映して効率的に映像を符号化することが困難である。

例えば、海または空などの平坦な領域を符号化する時には、符号化単位を大きくするほど圧縮率が向上するが、人間またはビルなどの複雑な領域を符号化する時には、符号化単位を小さくするほど圧縮率が向上する。

このために、本発明の一実施形態は、ピクチャーまたはスライス毎に異なる最大映像符号化単位を設定し、最大深度を設定する。最大深度は、符号化単位が縮小されうる最大回数を意味するので、最大深度によって、最大映像符号化単位に含まれた最小符号化単位サイズを可変的に設定可能になる。

符号化深度決定部１２０は、最大深度を定める。最大深度は、Ｒ−Ｄコスト（Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ Ｃｏｓｔ）計算に基づいて定められる。最大深度は、ピクチャーまたはスライス毎に異なって定められるか、またはそれぞれの最大符号化単位ごとに異なって定められる。定められた最大深度は、符号化情報符号化部１４０に出力され、最大符号化単位別映像データは、映像データ符号化部１３０に出力される。

最大深度は、最大符号化単位に含まれうる最も小さなサイズの符号化単位、すなわち、最小符号化単位を意味する。言い換えれば、最大符号化単位は、互いに異なる深度によって互いに異なるサイズのサブ符号化単位に分割される。図８Ａ及び図８Ｂを参照して詳細に後述する。また、最大符号化単位に含まれた互いに異なるサイズのサブ符号化単位は、互いに異なるサイズの処理単位に基づいて予測または周波数変換される。言い換えれば、映像符号化装置１００は、映像符号化のための複数の処理段階を、多様なサイズ及び多様な形態の処理単位に基づいて行える。映像データの符号化のためには、予測、周波数変換、エントロピー符号化などの処理段階を経るが、すべての段階にわたって同じサイズの処理単位が用いられてもよく、段階別に異なるサイズの処理単位を用いられる。

例えば、映像符号化装置１００は、符号化単位を予測するために符号化単位と異なる処理単位を選択する。

符号化単位のサイズが２Ｎ×２Ｎ（ただし、Ｎは、正の定数）である場合、予測のための処理単位は、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎなどである。言い換えれば、符号化単位の高さまたは幅のうち少なくとも一つを半分する形態の処理単位に基づいて動き予測が行われてもよい。以下、予測の基礎になるデータ単位は‘予測単位’という。

予測モードは、イントラモード、インタモード及びスキップモードのうち少なくとも一つであり、特定予測モードは、特定サイズまたは特定形態の予測単位に対してのみ行われる。例えば、イントラモードは、正方形の２Ｎ×２Ｎ、Ｎ×Ｎサイズの予測単位に対してのみ行われる。また、スキップモードは、２Ｎ×２Ｎサイズの予測単位に対してのみ行われる。符号化単位の内部に複数の予測単位があれば、それぞれの予測単位に対して予測を行って符号化誤差の最も小さな予測モードが選択される。

また、映像符号化装置１００は、符号化単位と異なるサイズの処理単位に基づいて映像データを周波数変換できる。符号化単位の周波数変換のために、符号化単位より小さいかまたは同じサイズのデータ単位に基づいて周波数変換が行われる。以下、周波数変換の基礎になる処理単位を‘変換単位’という。周波数変換は、離散コサイン変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：ＤＣＴ）またはＫａｒｈｕｎｅｎ−Ｌｏｅｖｅ変換（ＫＬＴ）になる。

符号化深度決定部１２０は、ラグランジュ乗数基盤の率−歪曲最適化技法（Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ Ｏｐｔｉｍｉｚａｔｉｏｎ）を用いて、最大符号化単位に含まれたサブ符号化単位を定められる。言い換えれば、最大符号化単位がいかなる形態の複数のサブ符号化単位に分割されるかを定められるが、ここで複数のサブ符号化単位は、深度によってそのサイズが異なる。次いで、映像データ符号化部１３０は、符号化深度決定部１２０で定められた分割形態に基づいて、最大符号化単位を符号化してビットストリームを出力する。

符号化情報符号化部１４０は、符号化深度決定部１２０で最大符号化単位の符号化モードについての情報を符号化する。最大符号化単位の分割形態についての情報、最大深度についての情報及び深度別サブ符号化単位の符号化モードについての情報を符号化して、ビットストリームを出力する。サブ符号化単位の符号化モードに関する情報は、サブ符号化単位の予測単位についての情報、予測単位別予測モード情報、サブ符号化単位の変換単位についての情報などを含む。

最大符号化単位の分割形態についての情報は、各符号化単位が分割されたかどうかを示すフラッグ情報でありうる。例えば、最大符号化単位が分割されて符号化された場合、最大符号化単位の分割如何を示す情報が符号化される。また、最大符号化単位からのサブ符号化単位が分割されて符号化された場合、サブ符号化単位の分割如何を示す情報が符号化される。

最大符号化単位ごとに異なるサイズのサブ符号化単位が存在し、それぞれのサブ符号化単位ごとに符号化モードに関する情報が定められねばならないので、一つの最大符号化単位に対しては、少なくとも一つの符号化モードに関する情報が定められる。

映像符号化装置１００は、深度が大きくなるにつれて、最大符号化単位の高さ及び幅を半分してサブ符号化単位を生成する。すなわち、ｋ深度の符号化単位のサイズが２Ｎ×２Ｎならば、ｋ＋１深度の符号化単位のサイズはＮ×Ｎである。

したがって、一実施形態による映像復号化装置１００は、映像の特性を考慮した最大符号化単位のサイズ及び最大深度に基づいて、それぞれの最大符号化単位ごとに最適の分割形態を定められる。映像特性を考慮して可変的に最大符号化単位のサイズを調節し、互いに異なる深度のサブ符号化単位に最大符号化単位を分割して映像を符号化することで、多様な解像度の映像をさらに効率的に符号化できる。

図２は、本発明の一実施形態による映像復号化装置を示す図面である。図２を参照すれば、本発明の一実施形態による映像復号化装置２００は、映像データ獲得部２１０、符号化情報抽出部２２０及び映像データ復号化部２３０を備える。

映像関連データ獲得部２１０は、映像復号化装置２００が受信したビットストリームをパージングして、最大符号化単位別に映像データを獲得して映像データ復号化部２３０に出力する。映像データ獲得部２１０は、現在ピクチャーまたはスライスに対するヘッダーから、現在ピクチャーまたはスライスの最大符号化単位についての情報を抽出する。言い換えれば、ビットストリームを最大符号化単位で分割して、映像データ復号化部２３０をして最大符号化単位ごとに映像データを復号化させる。

符号化情報抽出部２２０は、映像復号化装置２００が受信したビット列をパージングして、現在ピクチャーに対するヘッダーから、最大符号化単位、最大深度、最大符号化単位の分割形態、サブ符号化単位の符号化モードに関する情報を抽出する。分割形態及び符号化モードに関する情報は、映像データ復号化部２３０に出力される。

最大符号化単位の分割形態についての情報は、最大符号化単位に含まれた深度によって異なるサイズのサブ符号化単位についての情報を含み、符号化モードに関する情報は、サブ符号化単位別予測単位についての情報、予測モードについての情報及び変換単位についての情報などを含む。

映像データ復号化部２３０は、符号化情報抽出部２２０で抽出された情報に基づいて、それぞれの最大符号化単位の映像データを復号化して現在ピクチャーを復元する。最大符号化単位の分割形態についての情報に基づいて、映像データ復号化部２３０は、最大符号化単位に含まれたサブ符号化単位を復号化できる。復号化過程は、イントラ予測及び動き補償を含む動き予測過程、及び周波数逆変換過程を含む。

映像データ復号化部２３０は、サブ符号化単位の予測のために、サブ符号化単位別予測単位についての情報及び予測モードについての情報に基づいて、イントラ予測またはインター予測を行える。また、映像データ復号化部２３０は、サブ符号化単位の変換単位についての情報に基づいて、サブ符号化単位ごとに周波数逆変換を行える。

図３は、本発明の一実施形態による階層的符号化単位を示す図面である。図３を参照すれば、本発明による階層的符号化単位は、幅×高さが６４×６４である符号化単位から、３２×３２、１６×１６、８×８、４×４を含む。正方形の符号化単位以外にも、幅×高さが６４×３２、３２×６４、３２×１６、１６×３２、１６×８、８×１６、８×４、４×８である符号化単位が存在する。

図３を参照すれば、解像度が１９２０×１０８０である映像データ３１０に対して、最大符号化単位のサイズは６４×６４、最大深度は２に設定されている。

さらに他の解像度が１９２０×１０８０である映像データ３２０に対して、最大符号化単位のサイズは６４×６４、最大深度は３に設定されている。解像度が３５２×２８８であるビデオデータ３３０に対して、最大符号化単位のサイズは１６×１６、最大深度が１に設定されている。

解像度が高いか、またはデータ量が多い場合、圧縮率向上だけではなく映像特性を正確に反映するために、符号化サイズの最大サイズが相対的に大きいことが望ましい。したがって、映像データ３３０に比べて解像度の高い映像データ３１０及び３２０は、最大符号化単位のサイズが６４×６４に選択されてもよい。

最大深度は、階層的符号化単位で総階層数を示す。映像データ３１０の最大深度は２であるので、映像データ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、深度の増大につれて長軸サイズが３２、１６であるサブ符号化単位まで含む。

一方、映像データ３３０の最大深度は１であるので、映像データ３３０の符号化単位３３５は、長軸サイズが１６である最大符号化単位と、深度の増加につれて長軸サイズが８である符号化単位とを含む。

映像データ３２０の最大深度は３であるので、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から、深度の増加につれて長軸サイズが３２、１６、８、４であるサブ符号化単位まで含む。深度が増加するほどさらに小さなサブ符号化単位に基づいて映像を符号化するので、さらに細密な場面を含めている映像の符号化に好適になる。

図４は、本発明の一実施形態による符号化単位に基づいた映像符号化部を示す図面である。イントラ予測部４１０は、現在フレーム４０５のうちイントラモードの予測単位に対してイントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インタモードの予測単位に対して現在フレーム４０５及び参照フレーム４９５を用い、インター予測及び動き補償を行う。

イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力された予測単位に基づいてレジデュアル値が生成され、生成されたレジデュアル値は、変換部４３０及び量子化部４４０を経て量子化された変換係数に出力される。

量子化された変換係数は、逆量子化部４６０、逆変換部４７０を通じて再びレジデュアル値に復元され、復元されたレジデュアル値は、デブロッキング部４８０及びループフィルタリング部４９０を経て後処理されて参照フレーム４９５に出力される。量子化された変換係数は、エントロピー符号化部４５０を経てビットストリーム４５５に出力される。

本発明の一実施形態による映像符号化方法によって符号化するために、映像符号化部４００の構成要素であるイントラ予測部４１０、動き推定部４２０、動き補償部４２５、変換部４３０、量子化部４４０、エントロピー符号化部４５０、逆量子化部４６０、逆変換部４７０、デブロッキング部４８０及びループフィルタリング部４９０は、いずれも最大符号化単位、深度によるサブ符号化単位、予測単位及び変換単位に基づいて映像符号化過程を処理する。

図５は、本発明の一実施形態による符号化単位に基づいた映像復号化部を示す図面である。ビットストリーム５０５がパージング部５１０を経て、復号化対象である符号化された映像データ及び復号化のために必要な符号化情報がパージングされる。符号化された映像データは、エントロピー復号化部５２０及び逆量子化部５３０を経て逆量子化されたデータに出力され、逆変換部５４０を経てレジデュアル値に復元される。レジデュアル値は、イントラ予測部５５０のイントラ予測の結果または動き補償部５６０の動き補償結果と加算されて、符号化単位別に復元される。復元された符号化単位は、デブロッキング部５７０及びループフィルタリング部５８０を経て、次の符号化単位または次のピクチャーの予測に用いられる。

本発明の一実施形態による映像復号化方法によって復号化するために映像復号化部４００の構成要素であるパージング部５１０、エントロピー復号化部５２０、逆量子化部５３０、逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びループフィルタリング部５８０は、いずれも最大符号化単位、深度によるサブ符号化単位、予測単位及び変換単位に基づいて映像復号化過程を処理する。

特に、イントラ予測部５５０、動き補償部５６０は、最大符号化単位及び深度を考慮してサブ符号化単位内の予測単位及び予測モードを定め、逆変換部５４０は、変換単位のサイズを考慮して周波数逆変換を行う。

図６は、本発明の一実施形態による最大符号化単位、サブ符号化単位及び予測単位を示す図面である。

本発明の一実施形態による映像符号化装置１００及び映像復号化装置２００は、映像特性を考慮して符号化／復号化を行うために、階層的な符号化単位を用いる。最大符号化単位及び最大深度は、映像の特性によって適応的に設定されるか、またはユーザのニーズによって多様に設定される。

本発明の一実施形態による符号化単位の階層構造６００は、最大符号化単位６１０の高さ及び幅が６４であり、最大深度が４である場合を示す図面である。符号化単位の階層構造６００の縦軸に沿って深度が増加し、深度の増加によってサブ符号化単位６２０ないし６５０の高さ及び幅が縮小する。また、符号化単位の階層構造６００の横軸に沿って、最大符号化単位６１０及びサブ符号化単位６２０ないし６５０の予測単位が図示されている。

最大符号化単位６１０は深度が０であり、符号化単位のサイズ、すなわち、高さ及び幅が６４×６４である。縦軸に沿って深度が増加し、サイズ３２×３２である深度１のサブ符号化単位６２０、サイズ１６×１６である深度２のサブ符号化単位６３０、サイズ８×８である深度３のサブ符号化単位６４０、サイズ４×４である深度４のサブ符号化単位６５０が存在する。サイズ４×４である深度４のサブ符号化単位６５０は、最小符号化単位である。

図６を参照すれば、それぞれの深度別に横軸に沿って予測単位の例示が図示されている。すなわち、深度０の最大符号化単位６１０の予測単位は、サイズ６４×６４の符号化単位６１０と同じか、または小さなサイズであるサイズ６４×６４の予測単位６１０、サイズ６４×３２の予測単位６１２、サイズ３２×６４の予測単位６１４、サイズ３２×３２の予測単位６１６である。

深度１のサイズ３２×３２の符号化単位６２０の予測単位は、サイズ３２×３２の符号化単位６２０と同じか、または小さなサイズであるサイズ３２×３２の予測単位６２０、サイズ３２×１６の予測単位６２２、サイズ１６×３２の予測単位６２４、サイズ１６×１６の予測単位６２６である。

深度２のサイズ１６×１６の符号化単位６３０の予測単位は、サイズ１６×１６の符号化単位６３０と同じか、または小さなサイズであるサイズ１６×１６の予測単位６３０、サイズ１６×８の予測単位６３２、サイズ８×１６の予測単位６３４、サイズ８×８の予測単位６３６である。

深度３のサイズ８×８の符号化単位６４０の予測単位は、サイズ８×８の符号化単位６４０と同じか、または小さなサイズであるサイズ８×８の予測単位６４０、サイズ８×４の予測単位６４２、サイズ４×８の予測単位６４４、サイズ４×４の予測単位６４６である。

最後に、深度４のサイズ４×４の符号化単位６５０は、最小符号化単位であり、かつ最大深度の符号化単位であり、予測単位は、サイズ４×４の予測単位６５０である。

図７は、本発明の一実施形態による符号化単位及び変換単位を示す図面である。本発明の一実施形態による映像符号化装置１００及び映像復号化装置２００は、最大符号化単位そのまま符号化するとか、最大符号化単位より小さいか、同じであるサブ符号化単位に最大符号化単位を分割して符号化する。符号化過程中に周波数変換のための変換単位のサイズは、それぞれの符号化単位より大きくない変換単位と選択される。例えば、現在符号化単位７１０が６４×６４サイズである時、３２×３２サイズの変換単位７２０を用いて周波数変換が行われる。

図８Ａないし図８Ｄは、本発明の一実施形態による符号化単位８１０、予測単位９６０及び周波数変換単位８７０の分割形態を示す図面である。

図８Ａ及び図８Ｂは、本発明の一実施形態による符号化単位８１０、予測単位９６０を示す図面である。

図８Ａは、最大符号化単位８１０を符号化するために、本発明の一実施形態による映像符号化装置１００が選択した分割形態を示す図面である。映像符号化装置１００は、多様な形態に最大符号化単位８１０を分割して符号化した後、多様な分割形態の符号化結果をＲ−Ｄコストに基づいて比べて、最適の分割形態を選択する。最大符号化単位８１０をそのまま符号化することが最適である場合には、図８Ａないし図８Ｄのように、最大符号化単位８１０を分割せずに最大符号化単位８００を符号化してもよい。

図８Ａを参照すれば、深度０人最大符号化単位８１０を、深度１以上のサブ符号化単位に分割して符号化する。最大符号化単位８１０を、４つの深度１のサブ符号化単位に分割した後、全部または一部の深度１のサブ符号化単位を、再び深度２のサブ符号化単位８１４、８１６、８１８、８２８、８５０、８５２に分割する。

深度１のサブ符号化単位のうち右側上部に位置しているサブ符号化単位及び左側下部に位置しているサブ符号化単位が、深度２以上のサブ符号化単位に分割された。深度２以上のサブ符号化単位のうち一部は、再び深度３以上のサブ符号化単位８２０、８２２、８２４、８２６、８３０、８３２、８４０、８４２、８４４、８４６、８４８に分割される。

図８Ｂは、最大符号化単位８１０に対する予測単位８６０の分割形態を示す図面である。図８Ｂを参照すれば、最大符号化単位に対する予測単位８６０は、最大符号化単位８１０と異なって分割される。言い換えれば、サブ符号化単位それぞれに対する予測単位は、サブ符号化単位より小さい。

例えば、深度１のサブ符号化単位のうち右側下部に位置しているサブ符号化単位８５４に対する予測単位は、サブ符号化単位８５４より小さい。深度２のサブ符号化単位８１４、８１６、８１８、８２８、８５０、８５２のうち一部のサブ符号化単位８１５、８１６、８５０、８５２に対する予測単位は、サブ符号化単位より小さい。また、深度３のサブ符号化単位８２２、８３２、８４８に対する予測単位は、サブ符号化単位より小さい。予測単位は、それぞれのサブ符号化単位を高さまたは幅方向に半分した形態であっても、高さ及び幅方向に４分した形態であってもよい。

図８Ｃ及び図８Ｄは、本発明の一実施形態による予測単位及び変換単位を示す図面である。

図８Ｃは、図８Ｂに示した最大符号化単位８１０に対する予測単位８６０の分割形態を図示し、図８Ｄは、最大符号化単位８１０の変換単位８７０の分割形態を図示する。

図８Ｄを参照すれば、変換単位８７０の分割形態は、予測単位８６０と異なって設定される。

例えば、深度１の符号化単位８５４に対する予測単位が高さを半分にした形態に選択されても、変換単位は、深度１の符号化単位８５４のサイズと同じサイズに選択されうる。同様に、深度２の符号化単位８１４、８５０に対する予測単位が深度２の符号化単位８１４、８５０の高さを半分にした形態に選択されても、変換単位は、深度２の符号化単位８１４、８５０の元のサイズと同じサイズに選択されうる。

予測単位よりさらに小さなサイズに変換単位が選択されてもよい。例えば、深度２の符号化単位８５２に対する予測単位が幅を半分にした形態に選択された場合に、変換単位は、予測単位よりさらに小さなサイズである高さ及び幅を半分にした形態に選択されうる。

図９は、本発明の一実施形態による動きベクトルを符号化する装置を示す図面である。

図１に関して前述した映像符号化装置１００、または図４に関して前述した映像符号化部４００に含まれて動きベクトルを符号化する装置を詳細に図示する。図９を参照すれば、本発明の一実施形態による動きベクトル符号化装置９００は、予測部９１０、第１符号化部９２０及び第２符号化部９３０を備える。

インター予測、すなわち、ピクチャー間予測を用いて符号化されたブロックを復号化するためには、現在ブロックと参照ピクチャー内の類似したブロックとの位置差を示す動きベクトルについての情報が必要である。したがって、映像符号化時に動きベクトルについての情報を符号化してビットストリームに挿入するが、動きベクトルについての情報をそのまま符号化して挿入すれば、動きベクトルについての情報を符号化するためのオーバーヘッドが増加して、映像データの圧縮率が低くなる。

したがって、映像符号化では現在ブロックの動きベクトルを予測し、予測の結果で生成された予測動きベクトルと原本動きベクトルとの差分ベクトルのみを符号化してビットストリームに挿入することで、動きベクトルについての情報も圧縮する。図９は、かかる予測動きベクトルを用いた動きベクトルを符号化する装置を示す図面である。

図９を参照すれば、予測部９１０は、現在ブロックの予測動きベクトルが明示モード（ｅｘｐｌｉｃｉｔ ｍｏｄｅ）及び暗示モード（ｉｍｐｌｉｃｉｔ ｍｏｄｅ）のうちいかなるモードに基づいて予測符号化されるかを定める。

前述したように、ＭＰＥＧ−４ Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）のようなコーデックでは、現在ブロックの動きベクトルを予測するために現在ブロックに隣接している、以前に符号化されたブロックの動きベクトルを用いる。現在ブロックの左側上部及び右側上部に隣接している、以前に符号化されたブロックの動きベクトルの中央値（ｍｅｄｉａｎ）を、現在ブロックの予測動きベクトルとして用いる。インター予測を用いて符号化されたすべてのブロックの動きベクトルが、同じ方法を用いて予測されるため、予測動きベクトルについての情報は別途に符号化する必要がない。しかし、本発明による映像符号化装置１００または映像符号化部４００は、動きベクトルをさらに正確に予測するために、前述した予測動きベクトルについての情報を別途に符号化しないモード、及び予測動きベクトルについての情報を符号化するモードをいずれも用いるところ、これについて詳細に後述する。

（１）明示モード
予測部９１０が選択できる予測動きベクトルを符号化する方法のうち一つとして、現在ブロックの予測動きベクトルについての情報を明示的に符号化するモードがありうる。明示モードは、少なくとも一つの予測動きベクトル候補のうちいかなる予測動きベクトルを用いて現在ブロックの動きベクトルを予測するかを指示する情報を別途に符号化するモードである。図１０Ａ及び図１０Ｂ、図１１Ａないし図１１Ｃを参照して本発明の予測動きベクトル候補を説明する。

図１０Ａ及び図１０Ｂは、本発明の一実施形態による明示モードの予測動きベクトル候補を示す図面である。

図１０Ａを参照すれば、本発明の一実施形態による動きベクトル予測方法は、現在ブロックに隣接している、以前に符号化されたブロックの動きベクトルのうち一つを現在ブロックの予測動きベクトルとして用いる。現在ブロックの上部に隣接しているブロックのうち最左側のａ０ブロック、左側に隣接している最上部のｂ０ブロック、右側上部に隣接しているｃブロック、左側上部に隣接しているｄブロック及び左側下部に隣接しているｅブロックを、いずれも現在ブロックの予測動きベクトルとして用いる。

本発明による映像符号化方法及び復号化方法は、深度によって区分される多様なサイズの符号化単位に基づいて映像符号化及び復号化を行うところ、左側下部に隣接しているｅブロックの動きベクトルも、現在ブロックの予測動きベクトルとして用いる。

図８Ａを参照して説明すれば、現在ブロックが符号化単位８２０ならば、現在ブロックの上部、左側上部、右側上部、左側及び左側下部の符号化単位８１４、８１６、８１８、８２２は、現在ブロック以前に符号化される。したがって、現在ブロックの左側下部に隣接しているブロックの動きベクトルも、現在ブロックの予測動きベクトルとして用いられる。

図１０Ｂを参照すれば、現在ブロックに隣接しているすべてのブロックの動きベクトルを、現在ブロックの予測動きベクトルとして用いる。言い換えれば、上部に隣接しているブロックのうち最左側のａ０ブロックだけでなく、上部に隣接しているすべてのブロックａ０ないしａＮの動きベクトルを、現在ブロックの予測動きベクトルとして用い、左側に隣接しているブルロックドルのうち最上部のｂ０ブロックだけでなく、左側に隣接しているすべてのブロックｂ０ないしｂＮの動きベクトルを、現在ブロックの予測動きベクトルとして用いる。

また、隣接しているブロックの動きベクトルの中央値を予測動きベクトルとして用いる。言い換えれば、ｍｅｄｉａｎ（ｍｖ＿ａ０、ｍｖ＿ｂ０、ｍｖ＿ｃ）を現在ブロックの予測動きベクトルとして用いる。ここで、ｍｖ＿ａ０は、ａ０ブロックの動きベクトルであり、ｍｖ＿ｂ０は、ｂ０ブロックの動きベクトルであり、ｍｖ＿ｃは、ｃブロックの動きベクトルである。

但し、現在ブロックのサイズ及び隣接しているブロックのサイズによって現在ブロックの予測動きベクトル候補を制限できるところ、図１０Ｃないし図１０Ｅを参照して詳細に説明する。

図１０Ｃないし図１０Ｅは、本発明の一実施形態による現在ブロックに隣接している多様なサイズのブロックを図示する。

前述したように、本発明による映像符号化方法及び復号化方法は、深度によって定められる多様なサイズの符号化単位及び予測単位を用いて映像を符号化する。したがって、現在ブロックに隣接しているブロックのサイズも多様なところ、現在ブロックのサイズと一部隣接しているブロックのサイズとが大きく異なれば、サイズの異なる一部隣接しているブロックの動きベクトルは、現在ブロックの予測動きベクトルとして用いない。

図１０Ｃを参照すれば、現在ブロック１０１０の上部に隣接しているブロック１０１４ないし１０１８は、現在ブロック１０１０のサイズより小さなブロックである。現在ブロック１０１０と同じサイズの隣接しているブロック１０１２の動きベクトルが、現在ブロック１０１０の動きベクトルと同一か、または類似している可能性が高いので、予測部９１０は、同じサイズの隣接しているブロック１０１２の動きベクトルのみを予測動きベクトルとして用いる。

サイズが同一でなくても、所定サイズ以上の隣接しているブロックの動きベクトルのみ予測動きベクトルとして用いられる。例えば、現在ブロック１０１０のサイズと比較して、１／４サイズ以上のブロック１０１２及び１０１８の動きベクトルのみを予測動きベクトルとして用いられる。

図１０Ｄを参照すれば、現在ブロック１０２０の左側に隣接しているブロック１０２２のサイズは、現在ブロックの１６倍であり、著しいサイズの差が存在する。著しいサイズの差によって、左側に隣接しているブロック１０２２の動きベクトルが現在ブロック１０２０の動きベクトルと同一か、または類似している可能性が低い。したがって、左側に隣接しているブロック１０２２の動きベクトルは、現在ブロック１０２０の予測動きベクトルとして用いず、上部に隣接しているブロック１０２４及び左側上部に隣接しているブロック１０２６の動きベクトルのみ用いる。

図１０Ｅを参照すれば、現在ブロック１０３０のサイズが、隣接しているすべてのブロック１０３１ないし１０３７のサイズより大きい。この時、隣接しているすべてのブロック１０３１ないし１０３７の動きベクトルを、いずれも現在ブロック１０３０の予測動きベクトルとして用いれば、現在ブロック１０３０の予測動きベクトル候補の数があまりにも多い。現在ブロック１０３０と隣接しているブロック１０３１ないし１０３７間のサイズ差が大きいほど、予測動きベクトル候補の数はさらに多くなる。したがって、本発明の一実施形態による予測部９１０は、隣接しているブロックのうち一部ブロックの動きベクトルを現在ブロック１０３０の予測動きベクトルとして用いない。

例えば、図１０Ｅに示した実施形態で、左側下部に隣接しているブロック１０３１及び右側上部に隣接しているブロック１０３７の動きベクトルは、現在ブロック１０３０の予測動きベクトルとして用いないこともある。

これをさらに一般化して、現在ブロック１０３０のサイズが所定サイズ以上ならば、隣接しているブロックのうち特定方向に隣接しているブロックの動きベクトルは、現在ブロック１０３０の予測動きベクトルとして用いない。

図１１Ａないし図１１Ｃは、本発明のさらに他の実施形態による明示モードの予測動きベクトル候補を示す図面である。

図１１Ａは、本発明の一実施形態によるＢピクチャー（Ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ Ｐｒｅｄｉｃｔｉｖｅ Ｐｉｃｔｕｒｅ）の予測動きベクトルを計算する方法を図示する。現在ブロックを含む現在ピクチャーが双方向予測を行うＢピクチャーである場合、時間的距離に基づいて生成された動きベクトルが予測動きベクトル候補でありうる。

現在ピクチャー１１１０の現在ブロック１１００の予測動きベクトルｍｖ＿ｔｅｍｐｏｒａｌは、時間的に先行するピクチャー１１１２の同じ位置のブロック１１２０の動きベクトルを用いて生成される。例えば、現在ブロック１１００と同じ位置のブロック１１２０の動きベクトルｍｖ＿ｃｏｌＡが、現在ピクチャー１１１０の時間的に後行するピクチャー１１１４の検索されたブロック１１２２に対して生成されれば、現在ブロック１１００の予測動きベクトル候補であるｍｖ＿Ｌ０Ａ及びｍｖ＿Ｌ１Ａは、以下のように生成される。

ｍｖ＿Ｌ１Ａ＝（ｔ１／ｔ２）＊ｍｖ＿ｃｏｌＡ
ｍｖ＿Ｌ０Ａ＝ｍｖ＿Ｌ１Ａ−ｍｖ＿ｃｏｌＡ
ここで、ｍｖ＿Ｌ０Ａは、時間的に先行するピクチャー１１１２に対する現在ブロック１１１０の予測動きベクトルを意味し、ｍｖ＿Ｌ１Ａは、時間的に後行するピクチャー１１１４に対する現在ブロック１１１０の予測動きベクトルを意味する。

図１１Ａに示した実施形態では、Ｂピクチャーである現在ピクチャー１１１０が、時間的に先行するピクチャー１１１２と時間的に後行するピクチャー１１１４との間に存在する。この時、同じ位置のブロック１１２０の動きベクトルｍｖ＿ｃｏｌＡが、現在ピクチャー１１１０の時間的に後行するピクチャー１１１４に対して生成されれば、ｍｖ＿Ｌ１Ａに基づいて現在ブロック１１００の動きベクトルをさらに正確に予測できる。言い換えれば、ｍｖ＿ｃｏｌＡが図１１Ａに示した方向と逆方向の動きベクトルである場合、すなわち、時間的に先行するピクチャー１１１２が以前の他のピクチャーに対して生成された場合より、ｍｖ＿ｃｏｌＡが図１１Ａに示した方向の動きベクトルである場合に、現在ブロック１１００の動きベクトルをさらに正確に予測できる。

したがって、現在ブロック１１１０から同じ位置のブロック１１２０への方向がＬｉｓｔ０方向ならば、同じ位置のブロック１１２０の動きベクトルｍｖ＿ｃｏｌＡはＬｉｓｔ１方向であって初めて、図１１Ａに示したように、現在ピクチャー１１１０が先行するピクチャー１１１２と後行するピクチャー１１１４との間に存在する可能性が高くなって、ｍｖ＿ｃｏｌＡに基づいて現在ブロック１１００の動きベクトルをさらに正確に予測できる。

また、図１１Ａに図示されたピクチャー１１１０ないし１１１４は、時間手順によって配列されているので、ＰＯＣ（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）に基づいて現在ブロックの予測動きベクトルｍｖ＿ｔｅｍｐｏｒａｌを生成できる。現在ブロックの参照するピクチャーが、図１１Ａにに図示されたピクチャー１１１２及び１１１４ではない他のピクチャーでありうるので、ＰＯＣに基づいて現在ブロックの予測動きベクトルを生成する。

例えば、現在ピクチャーのＰＯＣをＣｕｒｒＰＯＣとし、現在ピクチャーが参照するピクチャーのＰＯＣをＣｕｒｒＲｅｆＰＯＣとすれば、現在ブロックの予測動きベクトルは、次のように生成される。

Ｓｃａｌｅ＝（ＣｕｒｒＰＯＣ−ＣｕｒｒＲｅｆＰＯＣ）／（ＣｏｌＰＯＣ−ＣｏｌＲｅｆＰＯＣ）
ｍｖ＿ｔｅｍｐｏｒａｌ＝Ｓｃａｌｅ＊ｍｖ＿ｃｏｌＡ
ここでＣｏｌＰＯＣは、同じ位置のブロック１１２０が含まれている時間的に先行するピクチャー１１１２のＰＯＣであり、ＣｏｌＲｅｆＰＯＣは、同じ位置のブロック１１２０が参照するブロック１１２２が含まれている、時間的に後行するピクチャー１１１４のＰＯＣである。

図１１Ｂは、本発明のさらに他の実施形態によるＢピクチャーの予測動きベクトルを生成する方法を示す図面である。図１１Ａに図示された方法と比べれば、時間的に後行するピクチャー１１１４に現在ブロック１１００と同じ位置のブロックが存在するという点が異なる。

図１１Ｂを参照すれば、現在ピクチャー１１１０の現在ブロック１１００の予測動きベクトルは、時間的に後行するピクチャー１１１４の同じ位置のブロック１１３０の動きベクトルを用いて生成される。例えば、現在ブロック１１００と同じ位置のブロック１１３０の動きベクトルｍｖ＿ｃｏｌＢが、現在ピクチャー１１１０の時間的に先行するピクチャー１１１２の検索されたブロック１１３２に対して生成されれば、現在ブロック１１００の予測動きベクトル候補であるｍｖ＿Ｌ０Ｂ及びｍｖ＿Ｌ１Ｂは、以下のように生成される。

ｍｖ＿Ｌ０Ｂ＝（ｔ３／ｔ４）＊ｍｖ＿ｃｏｌＢ
ｍｖ＿Ｌ１Ｂ＝ｍｖ＿Ｌ０Ｂ−ｍｖ＿ｃｏｌＢ
ここで、ｍｖ＿Ｌ０Ｂは、時間的に先行するピクチャー１１１２に対する現在ブロック１１１０の予測動きベクトルを意味し、ｍｖ＿Ｌ１Ｂは、時間的に後行するピクチャー１１１４に対する現在ブロック１１００の予測動きベクトルを意味する。

図１１Ａと同じく、図１１Ｂに示した実施形態でも、Ｂピクチャーである現在ピクチャー１１１０が、時間的に先行するピクチャー１１１２と時間的に後行するピクチャー１１１４との間に存在する。したがって、同じ位置のブロック１１３０の動きベクトルｍｖ＿ｃｏｌＢが時間的に先行するピクチャー１１１２に対して生成されれば、ｍｖ＿Ｌ０Ｂに基づいて現在ブロック１１００の動きベクトルをさらに正確に予測できる。言い換えれば、＿ｃｏｌＢが、図１１Ｂに図示された方向と逆方向の動きベクトルである場合、すなわち、時間的に後行するピクチャー１１１４以後の他のピクチャーに対して生成された場合より、ｍｖ＿ｃｏｌＢが図１１Ｂに図示された方向の動きベクトルである場合に、現在ブロック１１００の動きベクトルをさらに正確に予測できる。

したがって、現在ブロック１１１０から同じ位置のブロック１１３０への方向がＬｉｓｔ１方向ならば、同じ位置のブロック１１３０の動きベクトルｍｖ＿ｃｏｌＢはＬｉｓｔ０方向であって初めて、図１１Ｂに示したように、現在ピクチャー１１１０が先行するピクチャー１１１２と後行するピクチャー１１１４との間に存在する可能性が高くなり、ｍｖ＿ｃｏｌＢに基づいて現在ブロック１１００の動きベクトルをさらに正確に予測できる。

また、現在ブロックの参照するピクチャーが、図１１Ｂに図示されたピクチャー１１１２及び１１１４ではない他のピクチャーでありうるので、ＰＯＣに基づいて現在ブロックの予測動きベクトルを生成する。

例えば、現在ピクチャーのＰＯＣをＣｕｒｒＰＯＣとし、現在ピクチャーが参照するピクチャーのＰＯＣをＣｕｒｒＲｅｆＰＯＣとすれば、現在ブロックの予測動きベクトルは次のように生成される。

Ｓｃａｌｅ＝（ＣｕｒｒＰＯＣ−ＣｕｒｒＲｅｆＰＯＣ）／（ＣｏｌＰＯＣ−ＣｏｌＲｅｆＰＯＣ）
ｍｖ＿ｔｅｍｐｏｒａｌ＝Ｓｃａｌｅ＊ｍｖ＿ｃｏｌＢ
ここでＣｏｌＰＯＣは、同じ位置のブロック１１３０が含まれている時間的に後行するピクチャー１１１４のＰＯＣであり、ＣｏｌＲｅｆＰＯＣは、同じ位置のブロック１１３０が参照するブロック１１３２が含まれている、時間的に先行するピクチャー１１１２のＰＯＣである。

予測部９１０がＢピクチャーの現在ブロック１１００の予測動きベクトルを生成するに当って、図１１Ａに図示された方法及び図１１Ｂに図示された方法のうち一つを用いられる。言い換えれば、現在ブロック１１００と同じ位置のブロック１１２０または１１３０の動きベクトル、及び時間的距離を用いて予測動きベクトルを生成するので、同じ位置のブロック１１２０及び１１３０の動きベクトルが必ず存在して初めて、図１１Ａ及び図１１Ｂに図示された方法を用いて予測動きベクトルを生成できる。したがって、本発明による予測部９１０は、同じ位置のブロック１１２０及び１１３０のうち該当ブロックに対する動きベクトルが存在するブロックのみを用いて、現在ブロック１１００の予測動きベクトルを生成する。

例えば、時間的に先行するピクチャー１１１２の同じ位置のブロック１１２０が、インター予測ではなくイントラ予測を用いて符号化された場合、該当ブロック１１２０の動きベクトルは存在しないので、図１１Ａに図示されたような予測動きベクトルを生成する方法を用いて現在ブロック１１００の予測動きベクトルを生成することはできない。

図１１Ａ及び図１１Ｂに示したように、予測部９１０がＢピクチャーの現在ブロック１１００の予測動きベクトルを生成する時、時間的に先行するピクチャー１１１２の同じ位置のブロック１１２０、及び時間的に後行するピクチャー１１１４の同じ位置のブロック１１３０をいずれも用いられる。したがって、動きベクトルを復号化する側では、動きベクトル符号化装置９００が複数の同じ位置のブロック１１２０及び１１３０のうちいかなるブロックを用いて予測動きベクトルｍｖ＿ｔｅｍｐｏｒａｌを生成したかが分かって初めて、予測動きベクトルを復号化できる。

このために、動きベクトル符号化装置９００は、複数の同じ位置のブロック１１２０及び１１３０のうちいかなるブロックを予測動きベクトルの生成に用いるかを特定するための情報を符号化して、ブロックヘッダーまたはスライスヘッダーに挿入できる。

図１１Ｃは、本発明の一実施形態によるＰピクチャー（Ｐｒｅｄｉｃｔｉｖｅ Ｐｉｃｔｕｒｅ）の予測動きベクトルを生成する方法を示す図面である。図１１Ｃを参照すれば、現在ピクチャー１１１０の現在ブロック１１００の予測動きベクトルは、時間的に先行するピクチャー１１１２の同じ位置のブロック１１４０の動きベクトルを用いて生成される。例えば、現在ブロック１１００と同じ位置のブロック１１４０の動きベクトルｍｖ＿ｃｏｌＣが、さらに他の時間的に先行するピクチャー１１１６の検索されたブロック１１４２に対して生成されれば、現在ブロック１１００の予測動きベクトル候補であるｍｖ＿Ｌ０Ｃは、次のように生成される。

ｍｖ＿Ｌ０Ｃ＝（ｔ６／ｔ５）＊ｍｖ＿ｃｏｌＣ
図１１Ａ及び図１１Ｂに関して前述したように、ＰＯＣに基づいてｍｖ＿Ｌ０Ｃを生成してもよい。現在ピクチャー１１１０のＰＯＣ、現在ピクチャー１１１０が参照するピクチャーのＰＯＣ、時間的に先行するピクチャー１１１２のＰＯＣ及びさらに他の時間的に先行するピクチャー１１１６のＰＯＣに基づいてｍｖ＿Ｌ０Ｃを生成できる。

現在ピクチャー１１１０がＰピクチャーであるので、現在ブロック１１００の予測動きベクトル候補は、図１１Ａ及び図１１Ｂと異なって一つのみ生成される。

総合すれば、図１０Ａ及び図１０Ｂ、図１１Ａないし図１１Ｃによって、予測動きベクトル候補の集合Ｃは、次のように生成される。

Ｃ＝｛ｍｅｄｉａｎ（ｍｖ＿ａ０，ｍｖ＿ｂ０，ｍｖ＿ｃ），ｍｖ＿ａ０，ｍｖ＿ａ１，…，ｍｖ＿ａＮ，ｍｖ＿ｂ０，ｍｖ＿ｂ１，…，ｍｖ＿ｂＮ，ｍｖ＿ｃ，ｍｖ＿ｄ，ｍｖ＿ｅ，ｍｖ＿ｔｅｍｐｏｒａｌ｝
または、予測動きベクトル候補の数を低減させて生成してもよい。

Ｃ＝｛ｍｅｄｉａｎ（ｍｖ＿ａ’，ｍｖ＿ｂ’，ｍｖ＿ｃ’），ｍｖ＿ａ’，ｍｖ＿ｂ’，ｍｖ＿ｃ’，ｍｖ＿ｔｅｍｐｏｒａｌ｝
ここで、ｍｖ＿ｘは、ｘブロックの動きベクトルを意味し、ｍｅｄｉａｎ（）は、中央値を意味し、ｍｖ＿ｔｅｍｐｏｒａｌは、図１１Ａないし図１１Ｃに関して前述した時間的距離を用いて生成された予測動きベクトル候補を意味する。

また、ｍｖ＿ａ’は、ｍｖ＿ａ０，ｍｖ＿ａ１，…，ｍｖ＿ａＮのうち有効な最初の動きベクトルを意味する。例えば、ａ０ブロックがイントラ予測を用いて符号化されたか、現在ブロックと異なるピクチャーを参照すれば、ａ０の動きベクトルであるｍｖ＿ａ０は有効でないので、ｍｖ＿ａ’＝ｍｖ＿ａ１になり、ａ１ブロックの動きベクトルも有効でない場合には、ｍｖ＿ａ’＝ｍｖ＿ａ２である。

同様に、ｍｖ＿ｂ’は、ｍｖ＿ｂ０，ｍｖ＿ｂ１，…，ｍｖ＿ｂＮのうち有効な最初の動きベクトルを意味し、ｍｖ＿ｃ’は、ｍｖ＿ｃ，ｍｖ＿ｄ，ｍｖ＿ｅのうち有効な最初の動きベクトルを意味する。

現在ブロックに隣接しているブロックの動きベクトルのうち、現在ブロックと異なるピクチャーを参照するブロックの動きベクトルは、現在ブロックの動きベクトルを効率的に予測できない。したがって、予測動きベクトル候補の集合Ｃから、現在ブロックと異なるピクチャーを参照するブロックの動きベクトルを除外できる。

明示モードは、前記Ｃ集合のうちいかなる動きベクトルを現在ブロックの予測動きベクトルとして用いたかを指示する情報を符号化するモードである。例えば、明示モードで動きベクトルを符号化する場合、Ｃ集合の元素、すなわち、予測動きベクトル候補にそれぞれに対応する二進数を割り当て、そのうち一つが現在ブロックの予測動きベクトルとして用いられる場合、対応する二進数を出力できる。

Ｃ集合の元素のうち一つを特定するために、それぞれの予測動きベクトル候補に対応する二進数を割り当てて二進数を出力するため、Ｃ集合の元素の数が少ないほどさらに少ないビートの二進数でＣ集合の元素を特定できる。

したがって、Ｃ集合で重複する予測動きベクトル候補があれば、重複する予測動きベクトル候補はＣ集合から除外して、二進数を割り当てる。例えば、Ｃ集合が、前述したように、Ｃ＝｛ｍｅｄｉａｎ（ｍｖ＿ａ’，ｍｖ＿ｂ’，ｍｖ＿ｃ’），ｍｖ＿ａ’，ｍｖ＿ｂ’，ｍｖ＿ｃ’，ｍｖ＿ｔｅｍｐｏｒａｌ｝である時、ｍｖ＿ａ’、ｍｖ＿ｂ’及びｍｖ＿ｃ’がいずれも同じならば、Ｃ集合を、Ｃ＝｛ｍｅｄｉａｎ（ｍｖ＿ａ’，ｍｖ＿ｂ’、ｍｖ＿ｃ’），ｍｖ＿ａ’，ｍｖ＿ｔｅｍｐｏｒａｌ｝のように３つの元素に定め、二進数を割り当てる。重複する予測動きベクトル候補を除外する前に、Ｃ集合の元素を３ビートを用いて特定できるならば、重複する予測動きベクトル候補を除いた後には、Ｃ集合の元素を、２ビートを用いて特定できる。

重複する予測動きベクトル候補を除外する代わりに、重複する予測動きベクトル候補が現在ブロックの予測動きベクトルとして定められる確率を高めるために、所定の加重値（ｗｅｉｇｈｔ）を加えてもよい。前述した例でｍｖ＿ａ’、ｍｖ＿ｂ’及びｍｖ＿ｃ’がいずれも同じく、ｍｖ＿ａ’のみＣ集合に含まれているので、ｍｖ＿ａ’に所定の加重値を加えて、ｍｖ＿ａ’が現在ブロックの予測動きベクトルとして定められる確率を高める。

また、予測動きベクトル候補が一つである場合には、明示モードにもかかわらず、予測動きベクトル候補のうち一つを特定するための二進数を符号化しなくてもよい。例えば、Ｃ集合がＣ＝｛ｍｅｄｉａｎ（ｍｖ＿ａ０，ｍｖ＿ｂ０，ｍｖ＿ｃ），ｍｖ＿ａ０，ｍｖ＿ａ１，…，ｍｖ＿ａＮ，ｍｖ＿ｂ０，ｍｖ＿ｂ１，…，ｍｖ＿ｂＮ，ｍｖ＿ｃ，ｍｖ＿ｄ，ｍｖ＿ｅ，ｍｖ＿ｔｅｍｐｏｒａｌ｝であるが、ａ０ないしａＮブロック、ｂ０ないしｂＮブロック、ｃブロック、ｄブロック、ｅブロックがいずれもイントラ予測されたブロックであれば、Ｃ集合はＣ＝｛ｍｖ＿ｔｅｍｐｏｒａｌ｝であるので、実質的に一つの元素しか含んでいない。したがって、この場合に動きベクトル符号化装置９００は、明示モードにもかかわらず予測動きベクトル候補のうち一つを特定するための二進数を符号化しなくてもよい。

明示モードに関して前述したすべての予測動きベクトル候補以外に、他の予測動きベクトル候補が用いられるということは、当業者ならば容易に理解できる。

（２）暗示モード
予測部９１０が選択できる予測動きベクトルを符号化する方法のうちさらに他の一つは、現在ブロックの予測動きベクトルが、現在ブロックに隣接している、以前に符号化された領域に含まれたブロックまたはピクセルに基づいて生成されることを指示する情報のみ符号化するモードである。このモードは、明示モードとは異なって予測動きベクトルを特定するための情報を符号化せず、暗示モードで予測動きベクトルの生成を指示する情報のみ符号化するモードである。

前述したように、ＭＰＥＧ−４ Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）などのコーデックでは、現在ブロックの動きベクトルを予測するために、現在ブロックに隣接している、以前に符号化されたブロックの動きベクトルを用いる。現在ブロックの左側上部及び右側上部に隣接している、以前に符号化されたブロックの動きベクトルの中央値を現在ブロックの予測動きベクトルとして用いるが、この場合、明示モードのように、予測動きベクトル候補のうち一つを選択するための情報を符号化しなくてもよい。

言い換えれば、映像符号化過程では、現在ブロックの予測動きベクトルが暗示モードで符号化されたことを指示する情報さえ符号化すれば、映像復号化過程では、現在ブロックの左側上部及び右側上部に隣接している、以前に復号化されたブロックの動きベクトルの中央値を現在ブロックの予測動きベクトルとして用いられる。

また、本発明による映像符号化方法は、現在ブロックに隣接している、以前に符号化されたピクセル値をテンプレートとして用いて、予測動きベクトルを生成する新たな暗示モードを提供する。図１２を参照して詳細に説明する。

図１２Ａは、本発明の一実施形態による暗示モードの予測動きベクトルを生成する方法を示す図面である。図１２Ａを参照すれば、現在ピクチャー１２１０の現在ブロック１２００の予測動きベクトルの生成に当って、現在ブロックに隣接している、以前に符号化された領域１２２０に含まれたピクセル１２２２を用いる。隣接しているピクセル１２２２を用いて参照ピクチャー１２１２を検索し、対応するピクセル１２２４を定める。ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を計算して対応するピクセル１２２４を定められる。対応するピクセル１２２４が定められれば、隣接しているピクセル１２２２の動きベクトルｍｖ＿ｔｅｍｐｌａｔｅが生成され、ｍｖ＿ｔｅｍｐｌａｔｅを現在ブロック１２００の予測動きベクトルとして用いられる。

ｍｖ＿ｔｅｍｐｌａｔｅを参照ピクチャー１２１２から検索する時、前述した予測動きベクトル候補の集合Ｃを用いられる。図１２Ｂを参照して詳細に説明する。

図１２Ｂは、本発明の一実施形態による暗示モードの予測動きベクトルを検索する方法を図示する。図１２Ｂを参照すれば、予測部９１０が、現在ブロック１２００に隣接しているピクセル１２２２を用いて参照ピクチャー１２１２を検索する時、所定の検索範囲１２２６を設定し、設定された検索範囲１２２６内のみで対応するピクセル１２２４を検索できる。

検索範囲１２２６は、前述した予測動きベクトル候補に基づいて設定する。予測動きベクトル候補によって検索範囲１２２６の中心を定め、定められた検索範囲１２２６の中心から所定のピクセル範囲内に含まれる領域を、検索範囲１２２６と設定する。予測動きベクトル候補は複数でありうるので、複数の検索範囲１２２６が設定され、互いに異なるピクチャーに検索範囲１２２６が設定される。

複数の検索範囲１２２６をいずれも検索して、ＳＡＤの最も小さな対応するピクセル１２２４を定め、その決定に基づいてｍｖ＿ｔｅｍｐｌａｔｅを生成する。現在ブロック１２００に隣接しているピクセル１２２２のサイズ及び形態は、実施形態によって多様であり、図１２Ｃを参照して詳細に説明する。

図１２Ｃは、本発明の一実施形態による予測動きベクトルを生成するために用いられるテンプレートを図示する。図１２Ｃを参照すれば、予測部９１０が現在ブロック１２００の予測動きベクトルを図１２Ａに示したように生成するために用いる、隣接しているピクセル１２２２は、多様なサイズ及び形態である。

現在ブロック１２００のサイズが４×４である場合を例として説明すれば、現在ブロック１２２０に隣接しているピクセル１２２２を、図１２Ｃのように９つのピクセルのみ含むように設定してもよく、さらに多いピクセルが含まれるように、隣接しているピクセル１２２８を設定してもよい。また、隣接しているピクセル１２２２の形態も、図１２Ａないし図１２Ｃに示したように、‘Г’の形態ではない他の形態に設定してもよい。

図１２Ｄは、本発明のさらに他の実施形態による予測動きベクトルを生成するために用いられるテンプレートを図示する。

ＳＡＤの計算に当って、現在ブロックに隣接しているピクセル１２２２をいずれも用いず、現在ブロックに隣接しているピクセル１２２２のうち一部のみ用いてもよい。例えば、４×４サイズの現在ブロック１２００に隣接している９個のピクセル１２２２のうち、３個または５個または７個のピクセルのみ用いてＳＡＤを計算できる。図１２Ｄは、現在ブロックの左側上部に隣接しているピクセル、上部に隣接しているピクセルのうち最右側に位置しているピクセル、及び左側に隣接しているピクセルのうち最下部に位置しているピクセルのみ用いてＳＡＤを計算するためのテンプレートを図示する。

図１２Ｂないし図１２Ｄに関して前述したテンプレートの多様なサイズ及び形態についての情報は、動きベクトルと別途に符号化されて、スライスパラメータとして符号化されてスライスヘッダーに挿入されても、シーケンスパラメータとして符号化されて、ビットストリームに挿入されてもよい。

隣接しているブロックの動きベクトルの中央値を予測動きベクトルとして用いるモードを、ｉｍｐｌｉｃｉｔ ｍｏｄｅ＿１とし、現在ブロックに隣接しているピクセル１２２２を用いて予測動きベクトルを生成するモードを、ｉｍｐｌｉｃｉｔ ｍｏｄｅ＿２とすれば、映像符号化過程では、この２つの暗示モードのうち一つのモードについての情報を符号化し、映像復号化過程では、モードについての情報を参照して、ｉｍｐｌｉｃｉｔ ｍｏｄｅ＿１及びｉｍｐｌｉｃｉｔ ｍｏｄｅ＿２のうち一つを用いて予測動きベクトルを生成できる。

（３）モードの選択
予測部９１０が前述した明示モード及び暗示モードのうち一つを選択する基準には、多様な基準がある。

明示モードは、複数の予測動きベクトル候補のうち一つを選択するものであるので、現在ブロックの動きベクトルとさらに類似した予測動きベクトルを選択できる。その代わりに、複数の予測動きベクトル候補のうち一つを指示する情報を符号化するため、暗示モードよりさらに大きいオーバーヘッドが発生しうる。したがって、大きい符号化単位である場合に、明示モードで動きベクトルを符号化することが妥当である。サイズの大きい符号化単位が、サイズの小さな符号化単位より動きベクトルを間違って予測する場合に発生する誤差が大きくなる確率が高く、サイズが大きいため、単位ピクチャーごとにオーバーヘッドが発生する回数が少ないからである。

例えば、ｍ個の６４×６４サイズの符号化単位で均一に分割されたピクチャーを明示モードで符号化する場合、オーバーヘッドの発生する回数はｍ回であるが、同じサイズのピクチャーが４ｍ個の３２×３２サイズの符号化単位で均一に分割されたピクチャーを明示モードで符号化する場合、オーバーヘッドの発生する回数は４ｍ回である。

したがって、本発明による予測部９１０が現在ブロックの動きベクトルを符号化するに当って、明示モード及び暗示モードのうち一つを、符号化単位のサイズに基づいて選択できる。

図１ないし図８に関して前述した本発明による映像符号化／復号化方法において、符号化単位のサイズは深度によって表現されるので、予測部９１０は、現在ブロックの深度に基づいて、現在ブロックの動きベクトルを明示モードで符号化するか、または暗示モードで符号化するかを選択する。例えば、深度０及び深度１の符号化単位をインター予測する場合には、符号化単位の動きベクトルを明示モードで符号化し、深度２以上の符号化単位をインター予測する場合には、暗示モードで符号化する。

本発明のさらに他の実施形態によれば、予測部９１０は、ピクチャーまたはスライス単位で明示モードまたは暗示モードを選択できる。ピクチャーまたはスライス単位ごとに映像特性が異なるので、これに鑑みて、ピクチャーまたはスライス単位で明示モードまたは暗示モードを選択できる。Ｒ−Ｄコストを考慮して明示モード及び暗示モードのうち最適のモードを選択して、現在ピクチャーまたはスライスに含まれた符号化単位の動きベクトルを予測符号化できる。

例えば、明示モードを用いなくてもピクチャーまたはスライスに含まれた符号化単位の動きベクトルを正確に予測できるならば、ピクチャーまたはスライスに含まれたすべての符号化単位の動きベクトルを、暗示モードで予測符号化できる。

また、本発明のさらに他の実施形態によれば、予測部９１０は、現在ブロックがスキップモードで符号化されたかどうかによって、明示モード及び暗示モードのうち一つを選択できる。スキップモードとは、現在ブロックがスキップモードで符号化されたことを指示するフラッグ情報のみ符号化し、ピクセル値は符号化しない符号化モードを意味する。

スキップモードは、予測動きベクトルを現在ブロックの動きベクトルとして用いて動き補償して生成された予測ブロックが、現在ブロックと非常に類似しているならば、現在ブロックのピクセル値を符号化しないモードである。したがって、予測動きベクトルを現在ブロックの動きベクトルと類似して生成するほど、スキップモードで現在ブロックを符号化する確率が高くなる。したがって、スキップモードで符号化されるブロックは、明示モードで符号化できる。

再び図９を参照すれば、予測部９１０で明示モード及び暗示モードのうち一つを選択し、選択されたモードによって予測動きベクトルを定めれば、第１符号化９２０及び第２符号化部９３０は、符号化モードについての情報及び動きベクトルを符号化する。

まず、第１符号化部９２０は、現在ブロックの予測動きベクトルについての情報を符号化する。予測部９１０で、明示モードで現在ブロックの動きベクトルを符号化することを選択すれば、明示モードで予測動きベクトルが生成されたことを指示する情報、及び複数の予測動きベクトル候補のうちいかなる予測動きベクトルが現在ブロックの予測動きベクトルとして用いられたかを指示する情報を符号化する。

また、複数の予測動きベクトル候補が、図１１Ａないし図１１Ｃに関して前述したｍｖ＿ｔｅｍｐｏｒａｌを含めば、ｍｖ＿ｔｅｍｐｏｒａｌ生成の基礎になる同じ位置のブロック１２００または１３００が、現在ピクチャーに時間的に先行するピクチャーのブロックであるか、または後行するピクチャーのブロックであるかを指示する情報も共に符号化する。

一方、予測部９１０で、暗示モードで現在ブロックの動きベクトルを符号化することを選択すれば、暗示モードで、現在ブロックの予測動きベクトルの生成を指示する情報を符号化する。言い換えれば、現在ブロックに隣接しているブロックまたはピクセルを用いて、現在ブロックの予測動きベクトルの生成を指示する情報を符号化する。２つ以上の暗示モードがある場合、いかなる暗示モードを用いて現在ブロックの予測動きベクトルを生成したかを指示する情報を符号化してもよい。

暗示モードは、現在ブロックの予測動きベクトル候補に基づいて検索範囲を設定し、図１２Ｃに示したような現在ブロックに隣接している、以前に符号化された領域のピクセルに基づいて設定された検索範囲を検索して予測動きベクトルを生成するモードである。

第２符号化部９３０は、予測部９１０で定められた予測動きベクトルに基づいて現在ブロックの動きベクトルを符号化する。動き補償結果で生成された現在ブロックの動きベクトルから、予測部９１０で生成された予測動きベクトルを減算して差ベクトルを生成する。次いで、差ベクトルについての情報を符号化する。

図１３は、本発明の一実施形態による動きベクトルを復号化する装置を図示する。

図２に関して前述した映像符号化装置２００、または図５に関して前述した映像符号化部５００に含まれて動きベクトルを復号化する装置を詳細に図示する。図１３を参照すれば、本発明の一実施形態による動きベクトル復号化装置１３００は、第１復号化部１３１０、第２復号化部１３２０、予測部１３３０及び動きベクトル復元部１３４０を備える。

第１復号化部１３１０は、ビットストリームに含まれている現在ブロックの予測動きベクトルについての情報を復号化する。現在ブロックの予測動きベクトルが明示モードまたは暗示モードのうちいかなるモードで符号化されたかを示す情報を復号化する。

明示モードで現在ブロックの予測動きベクトルが符号化された場合には、複数の予測動きベクトル候補のうち現在ブロックの予測動きベクトルとして用いた一つの予測動きベクトルを指示する情報も復号化する。

また、複数の予測動きベクトル候補が、図１１Ａないし図１１Ｃに関して前述したｍｖ＿ｔｅｍｐｏｒａｌを含めば、ｍｖ＿ｔｅｍｐｏｒａｌ生成の基礎になる同じ位置のブロック１２００または１３００が、現在ピクチャーに時間的に先行するピクチャーのブロックであるか、または後行するピクチャーのブロックであるかを指示する情報も共に復号化する。

暗示モードで現在ブロックの予測動きベクトルが符号化された場合には、複数の暗示モードのうちいかなる暗示モードで現在ブロックの予測動きベクトルが符号化されたかを指示する情報も復号化できる。

暗示モードは、現在ブロックの予測動きベクトル候補に基づいて検索範囲を設定し、図１２Ｃに示したような現在ブロックに隣接している、以前に符号化された領域のピクセルに基づいて設定された検索範囲を検索して、予測動きベクトルを生成するモードでありうる。

第２復号化部１３１０は、ビットストリームに含まれている現在ブロックの動きベクトルと予測動きベクトルとの間の差ベクトルを復号化する。

予測部１３３０は、第１復号化部１３１０で復号化された現在ブロックの予測動きベクトルについての情報に基づいて、現在ブロックの予測動きベクトルを生成する。

明示モードで符号化された現在ブロックの予測動きベクトルについての情報を復号化した場合には、図１０Ａ及び図１０Ｂ、図１１Ａないし図１１Ｃに関して前述した予測動きベクトル候補のうち一つの予測動きベクトルを生成して、現在ブロックの予測動きベクトルとして用いる。

暗示モードで符号化された現在ブロックの予測動きベクトルについての情報を復号化した場合には、現在ブロックに隣接している、以前に符号化された領域に含まれているブロックまたはピクセルを用いて現在ブロックの予測動きベクトルを生成する。現在ブロックに隣接しているブロックの動きベクトルの中央値を、現在ブロックの予測動きベクトルとして生成するか、または現在ブロックに隣接しているピクセルを用いて参照ピクチャーを検索して、現在ブロックの予測動きベクトルを生成する。

動きベクトル復元部１３４０は、予測部１３３０で生成された予測動きベクトル及び第２復号化部３２０で復号化された差ベクトルを加算して、現在ブロックの動きベクトルを復元する。復元された動きベクトルは、現在ブロックの動き補償に用いられる。

図１４は、本発明の一実施形態による動きベクトルを符号化する方法を説明するためのフローチャートである。図１４を参照すれば、本発明の一実施形態による動きベクトル符号化装置は、段階１４１０で、予測動きベクトルについての情報を符号化はモードとして、明示モード及び暗示モードのうち一つのモードを選択する。

明示モードは、予測動きベクトルについての情報として、少なくとも一つの予測動きベクトル候補のうち一つの予測動きベクトル候補を指示する情報を符号化するモードであり、暗示モードは、予測動きベクトルについての情報として、現在ブロックに隣接している、以前に符号化された領域に含まれたブロックまたはピクセルに基づいて、予測動きベクトルの生成を指示する情報を符号化するモードである。詳細な説明は、図１０Ａないし図１０Ｅ、図１１Ａないし図１１Ｃと図１２Ａないし図１２Ｃに関して前述した。

現在ブロックのサイズ、すなわち、現在ブロックの深度に基づいてモードを選択するか、または現在ブロックが含まれた現在ピクチャーまたは現在スライス単位でモードを選択できる。また、現在ブロックがスキップモードで符号化されたかどうかによってモードを選択してもよい。

段階１４２０で動きベクトル符号化装置は、段階１４１０で選択されたモードによって予測動きベクトルを定める。段階１４１０で選択された明示モードまたは暗示モードに基づいて、現在ブロックの予測動きベクトルを定める。明示モードによって、少なくとも一つの予測動きベクトル候補のうち一つの予測動きベクトル候補を現在ブロックの予測動きベクトルとして定めるか、または暗示モードによって、現在ブロックに隣接しているブロックまたはピクセルに基づいて、現在ブロックの予測動きベクトルを定める。

段階１４３０で動きベクトル符号化装置は、段階１４２０で定められた予測動きベクトルについての情報を符号化する。

明示モードの場合、少なくとも一つの予測動きベクトル候補のうち一つの予測動きベクトルを指示する情報、及び現在ブロックの予測動きベクトルについての情報が、明示モードによって符号化されることを指示する情報を符号化する。

また、複数の予測動きベクトル候補が、図１１Ａないし図１１Ｃに関して前述したｍｖ＿ｔｅｍｐｏｒａｌを含めば、ｍｖ＿ｔｅｍｐｏｒａｌ生成の基礎になる同じ位置のブロック１２００または１３００が、現在ピクチャーに時間的に先行するピクチャーのブロックであるか、または後行するピクチャーのブロックであるかを指示する情報も共に符号化する。

暗示モードの場合、現在ブロックの予測動きベクトルが現在ブロックに隣接している、以前に符号化された領域に含まれたブロックまたはピクセルに基づいて生成されることを指示する情報を符号化する。複数の暗示モードがある場合、このうち一つの暗示モードを指示する情報も符号化される。

暗示モードは、現在ブロックの予測動きベクトル候補に基づいて検索範囲を設定し、図１２Ｃに示したような現在ブロックに隣接している、以前に符号化された領域のピクセルに基づいて設定された検索範囲を検索して、予測動きベクトルを生成するモードでありうる。

段階１４４０で動きベクトル符号化装置は、段階１４２０で定められた予測動きベクトルを現在ブロックの動きベクトルから減算して生成された差ベクトルを符号化する。

図１５は、本発明の一実施形態による動きベクトルを復号化する方法を説明するためのフローチャートである。図１５を参照すれば、本発明の一実施形態による動きベクトル復号化装置は、段階１５１０で、ビットストリームに含まれた現在ブロックの予測動きベクトルについての情報を復号化する。明示モード及び暗示モードのうち、現在ブロックの予測動きベクトルの符号化に用いられたモードについての情報を復号化する。

明示モードの場合、現在ブロックの予測動きベクトルが明示モードによって符号化されたことを指示する情報、及び少なくとも一つの予測動きベクトル候補のうち一つの予測動きベクトル候補についての情報を復号化する。

また、複数の予測動きベクトル候補が、図１１Ａないし図１１Ｃに関して前述したｍｖ＿ｔｅｍｐｏｒａｌを含めば、ｍｖ＿ｔｅｍｐｏｒａｌ生成の基礎になる同じ位置のブロック１２００または１３００が、現在ピクチャーに時間的に先行するピクチャーのブロックであるか、または後行するピクチャーのブロックであるかを指示する情報も共に符号化する。

暗示モードの場合、現在ブロックの予測動きベクトルが、現在ブロックに隣接している、以前に復号化された領域に含まれたブロックまたはピクセルに基づいて生成されることを指示する情報を復号化する。複数の暗示モードがある場合、複数の暗示モードのうち一つの暗示モードを指示する情報も共に復号化される。

暗示モードは、現在ブロックの予測動きベクトル候補に基づいて検索範囲を設定し、図１２Ｃに示したような現在ブロックに隣接している、以前に符号化された領域のピクセルに基づいて設定された検索範囲を検索して、予測動きベクトルを生成するモードでありうる。

段階１５２０で動きベクトル復号化装置は、差ベクトルについての情報を復号化する。差ベクトルは、現在ブロックの予測動きベクトルと現在ブロックの動きベクトルとの差についてのベクトルである。

段階１５３０で動きベクトル復号化装置は、段階１５１０で復号化された予測動きベクトルについての情報に基づいて、現在ブロックの予測動きベクトルを生成する。明示モードまたは暗示モードによって現在ブロックの予測動きベクトルを生成する。少なくとも一つの予測動きベクトル候補のうち一つの予測動きベクトルを選択するか、または、現在ブロックに隣接している、以前に復号化された領域に含まれたブロックまたはピクセルを用いて現在ブロックの予測動きベクトルを生成する。

段階１５４０で動きベクトル符号化装置は、段階１５２０で復号化された差ベクトルと、段階１５３０で生成された予測動きベクトルとを加算して、現在ブロックの動きベクトルを復元する。

以上のように、本発明はたとえ限定された実施形態及び図面によって説明されたとしても、本発明が前記の実施形態に限定されるものではなく、当業者ならば、かかる記載から多様な修正及び変形が可能であろう。したがって、本発明の思想は、特許請求の範囲のみによって把握されねばならず、これと均等または等価的な変形はいずれも本発明の思想の範ちゅうに属するといえる。また、本発明によるシステムは、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして具現できる。

例えば、本発明の例示的な実施形態による映像符号化装置、映像復号化装置、映像符号化部、映像復号化部、動きベクトル符号化装置及び動きベクトル復号化装置は、図１、２、４、５、９及び１３に示したような装置のそれぞれのユニットにカップリングされたバス、前記バスに結合された少なくとも一つのプロセッサーを備える。また、命令、受信されたメッセージまたは生成されたメッセージを保存するために前記バスに結合されて、前述したような命令を行うための少なくても一つのプロセッサーにカップリングされたメモリを含む。

また、コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取られるデータが保存されるすべての記録装置を含む。記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがある。またコンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散されて、分散方式でコンピュータで読み取り可能なコードが保存されて行われる。

Claims (2)

1. ビットストリームから現在ブロックの時間的予測動きベクトル候補が含まれた時間的参照ピクチャが、現在ピクチャから先行する方向の参照ピクチャなのか、あるいは後行する方向の参照ピクチャなのかを示す指示情報を取得する段階と、
   前記ビットストリームから前記現在ブロックの予測モード情報を獲得する段階と、
   前記現在ブロックの予測モードがインター予測モードである場合、前記現在ブロックに隣接した周辺ブロックを用いて、前記現在ブロックの空間的予測動きベクトル候補を獲得する段階と、
   前記現在ブロックの予測モードがインター予測モードである場合、時間方向の時間的参照ピクチャに含まれ前記現在ブロックと同一位置のブロックを用いて、前記現在ブロックの時間的予測動きベクトル候補を獲得する段階と、
   前記現在ブロックに用いられた予測動きベクトルについての情報に基づいて、前記時間的及び空間的予測動きベクトル候補のうち前記現在ブロックの予測動きベクトルを獲得する段階と、
   前記ビットストリームから獲得された差ベクトルと、前記現在ブロックの予測動きベクトルに基づいて前記現在ブロックの動きベクトルを獲得する段階とを含み、
   前記現在ブロックの時間的予測動きベクトル候補を獲得する段階は、
   同一位置のブロックが参照する参照ピクチャのＰＯＣ(Picture Order Count)と前記同一位置のブロックが含まれた参照ピクチャのＰＯＣとの間の差値及び現在ピクチャのＰＯＣと前記現在ブロックが参照する参照ピクチャのＰＯＣとの間の差値に基づいて、前記現在ブロックと同一位置のブロックの動きベクトルをスケーリングして前記現在ブロックの予測動きベクトル候補を獲得し、
   映像が最大符号化単位サイズ情報によって複数の最大符号化単位で分割され、最大符号化単位は深度を有する一つ以上の符号化単位で階層的に分割され、現在深度の符号化単位は上位深度の符号化単位から分割された正方形のデータ単位のうち一つであり、前記現在深度の符号化単位が予測復号化のために少なくとも一つの予測単位で分割された場合、前記現在ブロックは前記現在深度の符号化単位を分割した少なくとも一つの予測単位であることを特徴とする映像復号化方法。
2. ビットストリームから現在ブロックの時間的予測動きベクトル候補が含まれた時間的参照ピクチャが現在ピクチャから先行する方向の参照ピクチャなのか、あるいは後行する方向の参照ピクチャなのかを示す指示情報及び前記現在ブロックの予測モード情報を獲得するエントロピー復号化部と、
   前記現在ブロックの予測モードがインター予測モードである場合、前記現在ブロックに隣接した周辺ブロックを用いて、前記現在ブロックの空間的予測動きベクトル候補を獲得し、前記現在ブロックの予測モードがインター予測モードである場合、時間方向の時間的参照ピクチャに含まれ前記現在ブロックと同一位置のブロックを用いて、前記現在ブロックの時間的予測動きベクトル候補を獲得し、前記現在ブロックに用いられた予測動きベクトルについての情報に基づいて、前記時間的及び空間的予測動きベクトル候補のうち前記現在ブロックの予測動きベクトルを獲得し、前記ビットストリームから獲得された差ベクトルと、前記現在ブロックの予測動きベクトルに基づいて前記現在ブロックの動きベクトルを獲得する動きベクトル復元部とを備え、
   前記動きベクトル復元部は、
   同一位置のブロックが参照する参照ピクチャのＰＯＣ(Picture Order Count)と前記同一位置のブロックが含まれた参照ピクチャのＰＯＣとの間の差値及び現在ピクチャのＰＯＣと前記現在ブロックが参照する参照ピクチャのＰＯＣとの間の差値に基づいて、前記現在ブロックと同一位置のブロックの動きベクトルをスケーリングして前記現在ブロックの予測動きベクトル候補を獲得し、
   映像が最大符号化単位サイズ情報によって複数の最大符号化単位で分割され、最大符号化単位は深度を有する一つ以上の符号化単位で階層的に分割され、現在深度の符号化単位は上位深度の符号化単位から分割された正方形のデータ単位のうち一つであり、前記現在深度の符号化単位が予測復号化のために少なくとも一つの予測単位で分割された場合、前記現在ブロックは前記現在深度の符号化単位を分割した少なくとも一つの予測単位であることを特徴とする映像復号化装置。

Images