JP5406222B2

JP5406222B2 - 連続的な動き推定を利用した映像符号化並びに復号化方法及び装置

Info

Publication number: JP5406222B2
Application number: JP2010549554A
Authority: JP
Inventors: ミン，ジョン−ヘ; リー，タミー; ハン，ウ−ジン; ジョン，ヘ−ギョン; キム，イル−グー
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2008-03-04
Filing date: 2008-11-25
Publication date: 2014-02-05
Anticipated expiration: 2028-11-25
Also published as: CN101960855B; EP2250816A1; US8315309B2; EP2250816A4; CN101960855A; WO2009110672A1; KR20090095012A; JP2011514773A; EP2250816B1; US20090225847A1

Description

本発明は、映像を符号化並びに復号化するための方法及び装置に係り、さらに詳細には、複数回の連続的な動き推定（motion estimation）を行って現在ブロックをさらに正確に予測し、予測結果に基づき、現在ブロックを符号化並びに復号化するための方法及び装置に関する。

ＭＰＥＧ（moving picture experts group）−１、ＭＰＥＧ−２、ＭＰＥＧ−４Ｈ．２６４／ＭＰＥＧ−４ＡＶＣ（advanced video coding）のような映像圧縮方式では、映像を符号化するために、１つのピクチャを所定の映像処理単位に分ける。その後、インター予測（inter prediction）またはイントラ予測（intra prediction）を利用し、それぞれの映像処理単位を符号化する。ここで、映像処理単位は、マクロブロックでありうる。データサイズ及び原本マクロブロックの歪曲程度を考慮して最適の符号化モードを選択し、選択された符号化モードによって、映像処理単位を符号化する。

インター予測を利用して映像を符号化する方法は、ピクチャ間の時間的な重複性（redundancy）を除去して映像を圧縮する方法であり、動き推定符号化方法の代表的な例である。

動き推定符号化は、少なくとも１つの参照ピクチャを利用して現在ブロックの動きを推定し、動き推定結果による動き補償（motion compensation）を行って映像を符号化する方法である。動き推定符号化では、所定の評価関数を利用し、現在ブロックと最も類似した参照ブロックを、参照ピクチャの決まった検索範囲から検索する。現在ブロックとのＳＡＤ（sum of absolute difference）が最も小さいブロックが参照ブロックとして検索される。参照ブロックは、現在ブロックのインター予測ブロックになり、現在ブロックから参照ブロックを減算した残差（residual）ブロックだけを符号化して伝送することによって、データの圧縮率を高める。ここで、現在ブロックは、１６Χ１６、８Χ１６、８Χ８、４Χ４のような多様なサイズのブロックが使われうる。図１を参照しつつ詳細に説明する。

図１は、従来技術によるインター予測方法を図示している。図１を参照するに、映像の符号化並びに復号化において、インター予測は、少なくとも一つ以上の参照ピクチャを利用して行われる。

現在ピクチャ１１０の現在符号化の対象になる現在ブロック１１２をインター予測するにおいて、映像の符号化装置は、参照ピクチャ１２０を検索し、現在ブロック１１２とのＳＡＤが最も小さい予測ブロック１２２を検索する。

予測ブロック１２２の検索が終われば、現在ブロック１１２から予測ブロック１２２を減算し、残差ブロックを生成する。その後、生成された残差ブロックを符号化し、ビットストリームを生成する。このとき、ピクチャ内部の現在ブロック１１２の位置と、予測ブロック１２２の相対的な位置との差である動きベクトル１３０も符号化し、ビットストリームに挿入する。映像符号化の圧縮率を高めるために、残差ブロックだけ伝送するので、予測ブロック１２２が、さらに現在ブロック１１２と類似しているほど、映像符号化の圧縮率は向上する。

しかし、参照ピクチャ１２０ではない現在ピクチャ１１０の以前に符号化された領域に、現在ブロックとのＳＡＤが最も小さい予測ブロックが存在する場合がありうる。現在ピクチャ１１０がテクスチャのような一定のパターンが反復される映像を含んでいる場合、特にそうである。かような場合に、現在ピクチャ１１０の以前に符号化された領域に含まれているブロックを利用し、予測符号化することが望ましい。

かようなピクチャ内部の重複性を除去するためのアルゴリズムが提案されたが、動きベクトルに対する予測が不正確であり、映像符号化の圧縮率が大きく向上していない。従って、現在ピクチャを含む複数のピクチャをさらに効率的に参照し、参照結果として生成されたさらに正確な予測ブロックに基づき、現在ブロックを符号化する方法及び装置が必要である。

本発明がなそうとする技術的課題は、現在ピクチャを含む複数のピクチャから現在ブロックをさらに正確に予測して符号化並びに復号化が可能な予測符号化並びに復号化方法及び装置を提供するところにあり、前記方法を実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供するところにある。

本発明の技術的課題を解決するための本発明による映像符号化方法は、連続的な動き推定を行って現在ブロックの予測ブロックを生成する段階と、前記生成された予測ブロックに基づいて、現在ブロックを符号化する段階と、を含む。

本発明の技術的課題を解決するための本発明による映像符号化方法は、現在ブロックを利用して第１参照ピクチャを検索し、第１予測ブロックを生成する段階と、前記生成された第１予測ブロックを利用して第２参照ピクチャを検索し、第２予測ブロックを生成する段階と、前記第１予測ブロック及び前記第２予測ブロックのうち少なくとも一つに基づいて、現在ブロックを符号化する段階と、を含む。

本発明の技術的課題を解決するための本発明による映像符号化方法は、現在ブロックを利用して第１参照ピクチャを検索し、第１予測ブロックを生成し、前記生成された第１予測ブロックを利用して現在ピクチャの以前に符号化された領域を検索し、第２予測ブロックを生成する段階と、前記現在ブロックを利用して前記現在ピクチャの以前に符号化された領域を検索し、第３予測ブロックを生成する段階と、前記第２予測ブロック及び前記第３予測ブロックに基づいて、前記現在ブロックを符号化する段階と、を含む。

本発明の技術的課題を解決するための本発明による映像復号化方法は、連続的な動き推定を利用して現在ブロックの予測ブロックを生成する段階と、前記生成された予測ブロックと現在ブロックの残差ブロックとを加算し、前記現在ブロックを復元する段階と、を含む。

本発明の技術的課題を解決するための本発明による映像復号化方法は、現在ブロックの動きベクトルを利用して第１参照ピクチャを検索し、第１予測ブロックを生成する段階と、前記生成された第１予測ブロックを利用して第２参照ピクチャを検索し、第２予測ブロックを生成する段階と、前記第１予測ブロック及び前記第２予測ブロックのうち少なくとも一つを、前記現在ブロックの残差ブロックに加算し、前記現在ブロックを復元する段階と、を含む。

本発明の技術的課題を解決するための本発明による映像復号化方法は、現在ブロックの動きベクトルを利用して第１参照ピクチャを検索し、第１予測ブロックを生成し、前記生成された第１予測ブロックを利用して現在ピクチャの以前に復号化された領域を検索し、第２予測ブロックを生成する段階と、前記第２予測ブロックに対する動きベクトルと第３予測ブロックに対する動きベクトル間の差ベクトルを利用して前記現在ピクチャの以前に復号化された領域を検索し、前記第３予測ブロックを生成する段階と、前記第３予測ブロックを、前記現在ブロックの残差ブロックに加算し、前記現在ブロックを復元する段階と、を含む。

本発明の技術的課題を解決するための本発明による映像符号化装置は、連続的な動き推定を行って現在ブロックの予測ブロックを生成する予測部と、前記生成された予測ブロックに基づいて、現在ブロックを符号化する符号化部と、を含む。

本発明の技術的課題を解決するための本発明による映像符号化装置は、現在ブロックを利用して第１参照ピクチャを検索し、第１予測ブロックを生成し、前記生成された第１予測ブロックを利用して第２参照ピクチャを検索し、第２予測ブロックを生成する予測部と、前記第１予測ブロック及び前記第２予測ブロックのうち少なくとも一つに基づいて、現在ブロックを符号化する符号化部と、を含む。

本発明の技術的課題を解決するための本発明による映像符号化装置は、現在ブロックを利用して第１参照ピクチャを検索し、第１予測ブロックを生成し、前記生成された第１予測ブロックを利用して現在ピクチャの以前に符号化された領域を検索し、第２予測ブロックを生成し、前記現在ブロックを利用して前記現在ピクチャの以前に符号化された領域を検索し、第３予測ブロックを生成する予測部と、前記第２予測ブロック及び前記第３予測ブロックに基づいて、前記現在ブロックを符号化する符号化部と、を含む。

本発明の技術的課題を解決するための本発明による映像復号化装置は、連続的な動き推定を利用して現在ブロックの予測ブロックを生成する予測部と、前記生成された予測ブロックと現在ブロックの残差ブロックとを加算し、前記現在ブロックを復元する復元部と、を含む。

本発明の技術的課題を解決するための本発明による映像復号化装置は、現在ブロックの動きベクトルを利用して第１参照ピクチャを検索し、第１予測ブロックを生成し、前記生成された第１予測ブロックを利用して第２参照ピクチャを検索し、第２予測ブロックを生成する予測部と、前記第１予測ブロック及び前記第２予測ブロックのうち少なくとも一つを、前記現在ブロックの残差ブロックに加算し、前記現在ブロックを復元する復元部と、を含む。

本発明の技術的課題を解決するための本発明による映像復号化装置は、現在ブロックの動きベクトルを利用して第１参照ピクチャを検索し、第１予測ブロックを生成し、前記生成された第１予測ブロックを利用して現在ピクチャの以前に復号化された領域を検索し、第２予測ブロックを生成し、前記第２予測ブロックに対する動きベクトルと、第３予測ブロックに対する動きベクトルとの差ベクトルを利用して前記現在ピクチャの以前に復号化された領域を検索し、前記第３予測ブロックを生成する予測部と、前記第３予測ブロックを、前記現在ブロックの残差ブロックに加算し、前記現在ブロックを復元する復元部と、を含む。

本発明の技術的課題を解決するために本発明は、前記の映像符号化並びに復号化方法及び装置を実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。

本発明によれば、さらなる情報を符号化せずに連続的な動き推定を行い、複数の参照ピクチャからさらに正確に現在ブロックを予測でき、結果的に、さらに正確な予測に基づいて現在ブロックを符号化でき、映像符号化の圧縮率が向上する。

従来技術によるインター予測方法を図示する図である。本発明の一実施形態による映像を符号化する装置を図示する図である。本発明の一実施形態による予測方法を図示する図である。本発明の他の実施形態による予測方法を図示する図である。本発明のさらに他の実施形態による予測方法を図示する図である。本発明の一実施形態による動きベクトル間の差ベクトルを図示する図である。本発明の一実施形態による映像を符号化する方法を図示するフローチャートである。本発明のさらに他の実施形態による映像を符号化する方法を図示するフローチャートである。本発明の一実施形態による映像を復号化する装置を図示する図である。本発明の一実施形態による映像を復号化する方法を図示するフローチャートである。本発明の他の実施形態による映像を復号化する方法を図示するフローチャートである。

以下、図面を参照しつつ、本発明の望ましい実施形態についてさらに詳細に説明する。

図２は、本発明の一実施形態による映像を符号化する装置を図示している。図２を参照するに、本発明による映像符号化装置２００は、予測部２１０、減算部２２０、符号化部２３０、復元部２４０及びフレームメモリ２５０を含む。

予測部２１０は、フレームメモリ２５０に保存されている少なくとも１つの参照ピクチャを参照し、複数回にわたった連続的な動き推定（motion estimation）を行って現在ブロックを予測する。従来技術と関連して説明した通り、現在ブロックをさらに正確に予測してこそ、予測符号化の圧縮率が向上する。このために、できるだけ多くの参照ピクチャを参照して現在ブロックを予測せねばならない。しかし、参照するピクチャの個数が多くなるほど、付加的に符号化しなければならない情報も多くなり、圧縮率が大きく向上しない。

例えば、２個の互いに異なるピクチャを参照してインター予測を行う場合、２個の互いに異なる動きベクトルを符号化せねばならない。本発明は、かような問題点を解決するために、動き推定を行って生成された予測ブロックを利用し、さらに動き推定を行う連続的な動き推定を利用して付加的な情報を最小化しつつ、複数の参照ピクチャを参照して現在ブロックを予測する。図３、図４、図５Ａ及び図５Ｂを参照しつつ詳細に説明する。

図３は、本発明の一実施形態による予測方法を図示している。図３は、連続的な動き推定を行い、現在ピクチャ３１０の現在ブロック３００を予測する方法を図示している。

予測部２１０は、現在ブロック３００を予測するために、第１参照ピクチャ３２０を検索し、第１予測ブロック３２２を生成する。現在ブロック３００を利用し、現在ブロック３００とのＳＡＤ（sum of absolute difference）が最小である第１予測ブロック３２２を、第１参照ピクチャ３２０から検索する。最初の動き推定の結果、第１動きベクトル３３０が生成される。

その次に、連続的な動き推定のために、予測部３２０は、第１予測ブロック３２２を利用して現在ピクチャ３１０の以前に符号化された領域３１２を検索し、第２予測ブロック３１６を生成する。２番目の動き推定結果、第２動きベクトル３４０が生成される。ただし、後述するように、第２動きベクトル３４０は、別途に符号化しないために、第１動きベクトル３３０を除いては、さらに符号化される情報がない。

従来技術と関連して説明した通り、現在ピクチャ３１０が、テクスチャのように同じパターンが反復される領域を含んでいる場合には、第１予測ブロック３２２より現在ピクチャの以前に符号化された領域に含まれている第２予測ブロック３１６が、現在ブロック３００とのＳＡＤがさらに小さくありうる。この場合、現在ブロック３００を直接利用して第２予測ブロック３１６を検索して符号化すれば、現在ブロック３００と第２予測ブロック３１６との相対的な位置差に係わる動きベクトルを別途に符号化せねばならない。ところで、かようなピクチャ内部のブロック間の位置差を示す動きベクトルは、予測するのが容易ではなく、符号化に多くのビットが消耗される。

一方、第１動きベクトル３３０は、従来技術による動き推定方法で、容易に予測できるので、符号化の圧縮率が高い。従って、予測部２１０は、従来技術による動き推定を行い、第１予測ブロック３２２及び第１動きベクトル３３０を生成し、第２予測ブロック３１６及び第２動きベクトル３４０は、第１予測ブロック３２２を利用して生成する。別途の付加的な動きベクトルなしに、第１予測ブロック３２２で第２予測ブロック３１６及び第２動きベクトル３４０を生成できる。

予測部２１０は、第１予測ブロック３２２及び第２予測ブロック３１６のうち少なくとも一つを利用し、現在ブロック３００の最終的な予測ブロックを生成する。第１予測ブロック３２２または第２予測ブロックが、そのまま最終的な予測ブロックになることもある。第１予測ブロック３２２及び第２予測ブロックを加重値計算し、最終的な予測ブロックを生成することもできる。

例えば、第１予測ブロック３２２をＰ１、第２予測ブロック３１６をＰ２とするならば、第１予測ブロック３２２の加重値がＷ１であり、第２予測ブロック３１６の加重値がＷ２である場合、最終的な予測ブロックＰＦ＝Ｗ１＊Ｐ１＋Ｗ２＊Ｐ２でありうる。Ｗ１及びＷ２は、Ｗ１＋Ｗ２＝１を満足する。

図４は、本発明の他の実施形態による予測方法を図示している。図４は、連続的な動き推定を行い、現在ピクチャ４１０の現在ブロック４００を予測する方法を図示している。

図４を参照するに、予測部２１０は、現在ブロック４００を予測するために、第１参照ピクチャ４２０を検索し、第１予測ブロック４２２を生成する。現在ブロック４００を利用し、現在ブロック４００とのＳＡＤが最小である第１予測ブロック４２２を、第１参照ピクチャ４２０から検索する。最初の動き推定結果、第１動きベクトル４４０が生成される。

その次に、連続的な動き推定のために、予測部２１０は、第１予測ブロック４２２を利用して第２参照ピクチャ４３０を検索し、第２予測ブロック４３２を生成する。２番目の動き推定の結果、第２動きベクトル４５０が生成される。図３に図示された実施形態と同様に、第２動きベクトル４５０は、別途に符号化しないために、第１動きベクトル４４０を除いては、さらに符号化される情報がない。ただし、図３に図示された実施形態と異なる点は、２番目の動き予測のために、現在ピクチャ４００の以前に符号化された領域を検索するのではなく、現在ピクチャではない第２参照ピクチャ４３０を検索するという点である。

第１予測ブロック４２２より、第２参照ピクチャ４３０に含まれている第２予測ブロック４３２が、現在ブロック４００とのＳＡＤがさらに小さいブロックでありうる。従って、連続的な動き推定を行い、第２予測ブロック４３２を、第２参照ピクチャ４３０で検索する。

予測部２１０は、図３の場合と同様に、第１予測ブロック４２２及び第２予測ブロック４３２のうち少なくとも一つに利用し、現在ブロック４００の最終的な予測ブロックを生成する。第１予測ブロック４２２または第２予測ブロック４３２が、そのまま最終的な予測ブロックになることもある。第１予測ブロック４２２及び第２予測ブロック４３２を加重値計算し、最終的な予測ブロックを生成することもできる。

図５Ａは、本発明のさらに他の実施形態による予測方法を図示している。図５Ａは、連続的な動き推定を行い、現在ピクチャ５１０の現在ブロック５００を予測する方法を図示している。

予測部２１０は、現在ブロック５００を予測するために。第１参照ピクチャ５２０を検索し、第１予測ブロック５２２を生成する。最初の動き推定の結果、第１動きベクトル５４０が生成される。

その次に、連続的な動き推定で、予測部２１０は、第１予測ブロック５２２を利用して現在ピクチャ５１０の以前に符号化された領域５１２を検索し、第２予測ブロック５３４を生成する。２番目の動き推定の結果、第２動きベクトル５５０が生成される。図３と関連して説明した通り、第２動きベクトル５５０は、別途に符号化しなくともよい。

しかし、図５Ａに図示された方法は、図３と異なり、現在ブロック５００を利用して直接現在ピクチャ５１０の以前に符号化された領域５１２を検索し、第３予測ブロック５３２も生成する。

従来技術によれば、現在ブロック５００を直接利用して第３予測ブロック５３２を検索し、現在ブロック５００と第３予測ブロック５３２との相対的な位置差に係わる動きベクトルを別途に符号化する場合、ピクチャ内部のブロック間の位置差を示す動きベクトルは、予測するのが容易ではなく、符号化の圧縮率が低くなるという短所があった。しかし、図５Ａに図示された予測方法は、第２予測ブロック５３４に係わる動きベクトル５６０を、第３予測ブロック５３２に係わる動きベクトル５７０の予測動きベクトルとして利用することによって、符号化の圧縮率を向上させる。

予測部２１０は、第１予測ブロック５２２、第２予測ブロック５３４及び第３予測ブロック５３２のうち少なくとも一つを利用し、現在ブロック５００の最終的な予測ブロックを生成する。第１予測ブロック５２２または第２予測ブロック５３４または第３予測ブロック５３２が、そのまま最終的な予測ブロックになりもする。第１予測ブロック５２２、第２予測ブロック５３４及び第３予測ブロック５３２を加重値計算し、最終的な予測ブロックを生成することもできる。望ましくは、第３予測ブロック５３２を現在ブロックの最終的な予測ブロックとして利用するのである。

再び図２を参照するに、減算部２２０は、予測部２１０で生成された現在ブロックの最終的な予測ブロックを、現在ブロックから減算し、残差ブロック（residual block）を生成する。現在ブロックから、図３、図４及び図５Ａと関連して説明した最終的な予測ブロックを減算し、残差ブロックを生成する。

符号化部２３０は、減算部２２０で生成された残差ブロックを符号化する。残差ブロックを離散コサイン変換（ＤＣＴ）して離散コサイン係数を生成し、生成された離散コサイン係数を量子化する。その後、量子化された離散コサイン係数をエントロピ符号化し、ビットストリームを生成する。

符号化部２３０は、現在ブロック３００，４００または５００の動き推定の結果、生成された動きベクトルも符号化する。

まず、予測部２１０が、図３に図示された予測方法を利用して現在ブロック３００を予測した場合には、第１動きベクトル３３０だけ符号化する。第１動きベクトル３００によって第１参照ピクチャ３２２の第１予測ブロック３２２が生成されれば、第２予測ブロック３１６は、第１予測ブロック３２２を利用して検索できるので、第１動きベクトル３００だけ符号化する。図４に図示された予測方法を利用して現在ブロック４００を予測した場合にも、第１動きベクトル４４０だけ符号化する。

次に、予測部２１０が、図５Ａに図示された予測方法を利用して現在ブロック５００を予測した場合には、第１動きベクトル５４０だけではなく、第２予測ブロックに係わる動きベクトル５６０と、第３予測ブロックに係わる動きベクトル５７０との差ベクトルも符号化する。第１動きベクトル５４０によって、第１予測ブロック５２２が生成されれば、第１予測ブロック５２２を利用して第２予測ブロック５３４を検索できる。従って、第２予測ブロック５３４に係わる動きベクトル５６０も計算できるので、第３予測ブロック５３２を検索するためには、図５Ｂに図示されたように、第２予測ブロック５３４に係わる動きベクトル５６０と、第３予測ブロック５３２に係わる動きベクトル５７０との差ベクトル５８０を符号化すればよい。

復元部２４０は、符号化部２３０で量子化された離散コサイン係数を逆量子化、逆離散コサイン変換し、残差ブロックを復元する。その後、復元された残差ブロックを、予測部２１０で生成された最終的な予測ブロックと加算し、現在ブロックを復元する。復元された現在ブロックは、フレームメモリ２５０に保存され、次のブロックまたは次のピクチャの予測に利用される。

図６は、本発明の一実施形態による映像を符号化する方法について説明するためのフローチャートである。図６は、図３及び４に図示された方法によって、現在ブロックを予測して符号化する方法を図示する。段階６１０及び段階６２０は、連続的な動き推定を行い、現在ブロックの予測ブロックを生成する過程である。

段階６１０で、本発明による映像符号化装置は、現在ブロックを利用して第１参照ピクチャを検索し、第１予測ブロックを生成する。従来技術による動き推定方法と同様に、現在ブロックとのＳＡＤが最も小さい第１予測ブロックを、第１参照ピクチャで検索する。

段階６２０で、映像符号化装置は、段階６１０で生成された第１予測ブロックを利用して第２参照ピクチャを検索し、第２予測ブロックを生成する。第１参照ピクチャの第１予測ブロックを利用してさらに動き推定を行い、第２予測ブロックを生成する。第２参照ピクチャは、現在ピクチャであるが、その場合、現在ピクチャの現在ブロック以前に符号化された領域を検索し、第２予測ブロックを生成する。第２参照ピクチャは、現在ピクチャではない他のピクチャでもある。

段階６３０で、映像符号化装置は、第１予測ブロック及び第２予測ブロックのうち少なくとも一つに基づいて、現在ブロックを符号化する。第１予測ブロックまたは第２予測ブロック、または第１予測ブロックと第２予測ブロックとを加重値計算して生成されたブロックが、現在ブロックの最終的な予測ブロックになる。

最終的な予測ブロックを、現在ブロックから減算して残差ブロックを生成し、生成された残差ブロックを、離散コサイン変換、量子化、エントロピ符号化し、ビットストリームを生成する。現在ブロックの連続的な動き推定のための動きベクトルも、共に符号化するが、第１予測ブロックに係わる動きベクトル、すなわち、第１動きベクトル３３０または４４０だけ符号化する。

図７は、本発明の他の実施形態による映像を符号化する方法について説明するためのフローチャートである。図７は、図５Ａに図示された方法によって、現在ブロックを予測して符号化する方法を図示している。段階７１０ないし段階７３０は、連続的な動き推定を行い、現在ブロックの予測ブロックを生成する過程である。

段階７１０で、本発明による映像符号化装置は、現在ブロックを利用して第１参照ピクチャを検索し、第１予測ブロックを生成する。段階６１０と同じ段階である。

段階７２０で、映像符号化装置は、段階７１０で生成された第１予測ブロックを利用して現在ピクチャの以前に符号化された領域を検索し、第２予測ブロックを生成する。第１予測ブロックとのＳＡＤが最小であるブロックは、現在ピクチャの以前に符号化された領域で検索する。段階６２０と同じ段階である。

段階７３０で、映像符号化装置は、現在ブロックを利用して現在ピクチャの以前に符号化された領域を検索し、第３予測ブロックを生成する。段階７２０では、第１予測ブロックを利用して現在ピクチャの以前に符号化された領域を検索したが、段階７３０では、現在ブロックを利用して現在ピクチャの以前に符号化された領域を検索する。現在ブロックを利用して検索した第３予測ブロックが、第２予測ブロックよりＳＡＤがさらに小さくありうる。しかし、第３予測ブロックに係わる動きベクトルを符号化するのに、多くのビットが消耗され、映像符号化の圧縮率を下げるという問題点があるが、本願発明は、第２予測ブロックに係わる動きベクトルを、第３予測ブロックに係わる動きベクトルの予測動きベクトルとして利用することによって、かような問題点を解決する。

段階７４０で、映像符号化装置は、第２予測ブロック及び第３予測ブロックに基づいて、現在ブロックを符号化する。第３予測ブロックを現在ブロックから減算し、残差ブロックを生成する。生成された残差ブロックを、離散コサイン変換、量子化及びエントロピ符号化し、ビットストリームを生成する。

現在ブロックの連続的な動き推定のための動きベクトルも、共に符号化するが、第１予測ブロックに係わる動きベクトル、すなわち、第１動きベクトル５４０を符号化する。第１動きベクトルだけではなく、第２動きベクトル５６０と第３動きベクトル５７０との差ベクトル５８０も符号化して復号化する側が、第３予測ブロック５３２を最終的な予測ブロックとして利用できる。

図８は、本発明の一実施形態による映像を復号化する装置を図示している。図８を参照するに、本発明による映像復号化装置８００は、復号化部８１０、予測部８２０、復元部８３０及びフレームメモリ８４０を含む。

復号化部８１０は、現在ブロックに係わるデータを含んでいるビットストリームを受信し、受信されたビットストリームから残差ブロックを復元する。現在ブロックに係わるデータをエントロピ復号化し、量子化された離散コサイン係数を復元する。量子化された離散コサイン係数を、逆量子化、逆離散コサイン変換し、残差ブロックを復元する。

復号化部８１０はまた、現在ブロックの動きベクトル、すなわち、現在ブロックの連続的な動き推定のための動きベクトルを復号化する。現在ブロックが、図３または図４に図示された予測方法によって、連続的な動き推定を行って予測符号化された場合には、第１動きベクトル３３０または４４０だけ復号化する。しかし、現在ブロックが、図５Ａに図示された方法によって、連続的な動き推定を行って予測符号化された場合には、第１動きベクトル５４０だけではなく、第２予測ブロックに係わる動きベクトル５６０と、第３予測ブロックに係わる動きベクトル５７０との差ベクトル５８０も復号化する。

予測部８２０は、復号化部８１０で復号化された現在ブロックの動きベクトルに基づき、連続的である動き予測を行って現在ブロックを予測する。

一実施形態で、予測部８２０は、図３または図４に図示されたように、復号化部８１０で復号化された第１動きベクトル３３０または４４０を利用して第１参照ピクチャの第１予測ブロックを生成し、生成された第１予測ブロックを利用して現在ピクチャの以前に復号化された領域または現在ピクチャではない他のピクチャを検索し、第２予測ブロックを生成できる。この場合、第１予測ブロックまたは第２予測ブロック、または第１予測ブロックと第２予測ブロックとを加重値計算して生成されたブロックが、現在ブロックの最終的な予測ブロックになりうる。

他の実施形態で、予測部８２０は、図５Ａに図示されたように、復号化部８１０で復号化された第１動きベクトル５４０に基いて第１予測ブロックを生成し、生成された第１予測ブロックを利用して現在ピクチャの以前に復号化された領域を検索し、第２予測ブロックを生成する。その後、差ベクトル５８０を利用して現在ピクチャの以前に復号化された領域で第３予測ブロックを検索できる。この場合、第３予測ブロックが、現在ブロックの最終的な予測ブロックになりうる。

復元部８３０は、予測部８２０で生成された最終的な予測ブロックに基いて、現在ブロックを復元する。予測部８２０で、連続的な動き推定を利用して生成された最終的な予測ブロックを、復号化部８１０で復元された残差ブロックに加算し、現在ブロックを復元する。復元された現在ブロックは、フレームメモリ８４０に保存され、次のブロックまたは次のピクチャの予測に利用される。

図９は、本発明の一実施形態による映像を復号化する方法について説明するためのフローチャートである。図９は、図３または図４に図示された連続的な動き推定を利用して現在ブロックを予測復号化する方法を図示している。

段階９１０及び段階９２０は、連続的である動き推定を利用して、現在ブロックの予測ブロックを生成する段階を図示している。

段階９１０で、本発明による映像復号化装置は、現在ブロックの動きベクトルを利用して第１参照ピクチャを検索し、第１予測ブロックを生成する。現在ブロックに係わるデータに含まれている現在ブロックの第１動きベクトル３３０または４４０を利用して、第１予測ブロックを生成する。

段階９２０で、映像復号化装置は、段階９１０で生成された第１予測ブロックを利用して、現在ピクチャの以前に符号化された領域または現在ピクチャではない他のピクチャを検索し、第２予測ブロックを生成する。現在ブロックが、図３に図示された予測方法によって符号化された場合には、現在ピクチャの以前に符号化された領域を検索し、図４に図示された予測方法によって、符号化された場合には、現在ピクチャではない他のピクチャを検索し、第２予測ブロックを生成する。

段階９３０で、映像復号化装置は、第１予測ブロック及び第２予測ブロックのうち少なくとも一つを残差ブロックに加算し、現在ブロックを復元する。第１予測ブロックまたは第２予測ブロック、または第１予測ブロックと第２予測ブロックとを加重値計算して生成されたブロックを、残差ブロックに加算し、現在ブロックを復元する。残差ブロックは、ビットストリームに含まれた現在ブロックに係わるデータを復号化して復元される。

図１０は、本発明の他の実施形態による映像を復号化する方法について説明するためのフローチャートである。図１０は、図５Ａに図示された連続的な動き推定を利用して、現在ブロックを予測復号化する方法を図示している。

段階１０１０ないし段階１０３０は、連続的である動き推定を利用して、現在ブロックの予測ブロックを生成する段階を図示している。

段階１０１０で、本発明による映像復号化装置は、現在ブロックの動きベクトルを利用して第１参照ピクチャを検索し、第１予測ブロックを生成する。現在ブロックに係わるデータに含まれている第１動きベクトル５４０を復号化し、復号化された第１動きベクトル５４０によって、第１予測ブロックを生成する。

段階１０２０で、映像復号化装置は、段階１０１０で生成された第１予測ブロックを利用して現在ピクチャの以前に復号化された領域を検索し、第２予測ブロックを生成する。第２予測ブロックに対する第２動きベクトルを生成するために、第２予測ブロックを現在ピクチャの以前に復号化された領域で検索する。

段階１０３０で、映像復号化装置は、第２予測ブロックに係わる動きベクトル５６０と、第３予測ブロックに係わる動きベクトル５７０との差ベクトル５８０を利用して、現在ピクチャの以前に復号化された領域を検索し、第３予測ブロックを生成する。段階１０２０で生成された第２予測ブロックに対する第２動きベクトル５６０との差ベクトルを加算すれば、第３予測ブロックに対する第３動きベクトル５７０が生成される。この第３動きベクトル５７０を利用して、第３予測ブロックを生成する。

段階１０４０で、映像復号化装置は、第２予測ブロック及び第３予測ブロックのうち少なくとも一つに基いて、現在ブロックを符号化する。

以上のように、本発明はたとえ限定された実施形態と図面とによって説明したとしても、本発明が、前記の実施形態に限定されるものではなく、それらは、本発明が属する分野で当業者であるならば、かような記載から多様な修正及び変形が可能であろう。従って、本発明の思想は、特許請求の範囲によってのみ把握されるものであり、それと均等であるか、または等価的な変形は、いずれも本発明の思想の範疇に属するのである。また、本発明によるシステムは、コンピュータで読み取り可能な記録媒体に、コンピュータで読み取り可能なコードとして具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータが保存されるあらゆる種類の記録装置を含む。記録媒体の例としては、ＲＯＭ（read-only memory）、ＲＡＭ（random-access memory）、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがあり、またキャリアウェーブ（例えば、インターネットを介した伝送）の形態で具現されるものも含む。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータで読み取り可能なコードが保存されて実行されうる。

Claims

映像符号化方法において、
現在ブロックを利用して第１参照ピクチャを検索し、前記第１参照ピクチャを検索した結果に基いて、第１予測ブロックを生成する段階と、
前記生成された第１予測ブロックを利用して第２参照ピクチャを検索し、前記第２参照ピクチャを検索した結果に基いて、第２予測ブロックを生成する段階と、
前記第１予測ブロック及び前記第２予測ブロックのうち少なくとも一つに基づいて、現在ブロックを符号化する段階と、を含むことを特徴とする映像符号化方法。
前記第２予測ブロックを生成する段階は、
前記生成された第１予測ブロックを利用して現在ピクチャの以前に符号化された領域を検索し、前記第２予測ブロックを生成する段階を含むことを特徴とする請求項１に記載の映像符号化方法。
前記第２予測ブロックを生成する段階は、
前記生成された第１予測ブロックを利用して現在ピクチャではない他のピクチャを検索し、前記第２予測ブロックを生成する段階を含むことを特徴とする請求項１に記載の映像符号化方法。
前記符号化する段階は、
前記第１予測ブロック及び前記第２予測ブロックのうち少なくとも一つを、前記現在ブロックから減算し、前記現在ブロックの残差ブロックを生成する段階と、
前記残差ブロックと、前記第１予測ブロックの動き推定に基いて生成された動きベクトルとを符号化する段階と、を含むことを特徴とする請求項１に記載の映像符号化方法。
前記残差ブロックを生成する段階は、
前記第１予測ブロックと前記第２予測ブロックとの加重値に基いて生成された第３予測ブロックを、前記現在ブロックから減算する段階を含むことを特徴とする請求項４に記載の映像符号化方法。
映像復号化方法において、
現在ブロックの動きベクトルを利用して第１参照ピクチャを検索し、前記第１参照ピクチャを検索した結果に基いて、第１予測ブロックを生成する段階と、
前記生成された第１予測ブロックを利用して第２参照ピクチャを検索し、前記第２参照ピクチャを検索した結果に基いて、第２予測ブロックを生成する段階と、
前記第１予測ブロック及び前記第２予測ブロックのうち少なくとも一つを、前記現在ブロックの残差ブロックに加算し、前記現在ブロックを復元する段階と、を含むことを特徴とする映像復号化方法。
前記第２予測ブロックを生成する段階は、
前記生成された第１予測ブロックを利用して現在ピクチャの以前に復号化された領域を検索し、前記第２予測ブロックを生成する段階を含むことを特徴とする請求項６に記載の映像復号化方法。
前記第２予測ブロックを生成する段階は、
前記生成された第１予測ブロックを利用して現在ピクチャではない他のピクチャを検索し、前記第２予測ブロックを生成する段階を含むことを特徴とする請求項６に記載の映像復号化方法。
前記復元する段階は、
前記第１予測ブロックと前記第２予測ブロックとの加重値に基いて生成された第３予測ブロックと、前記残差ブロックとを加算する段階を含むことを特徴とする請求項６に記載の映像復号化方法。
映像符号化方法において、
現在ブロックを利用して第１参照ピクチャを検索し、前記第１参照ピクチャを検索した結果に基いて、第１予測ブロックを生成する段階と、
前記生成された第１予測ブロックを利用して現在ピクチャの以前に符号化された領域を検索し、前記第１予測ブロックを利用して以前に符号化された領域を検索した結果に基いて、第２予測ブロックを生成する段階と、
前記現在ブロックを利用して前記現在ピクチャの以前に符号化された領域を検索し、前記現在ブロックを利用して以前に符号化された領域を検索した結果に基いて、第３予測ブロックを生成する段階と、
前記第２予測ブロック及び前記第３予測ブロックに基づいて、前記現在ブロックを符号化する段階と、を含むことを特徴とする映像符号化方法。
前記符号化する段階は、
前記第３予測ブロックを、前記現在ブロックから減算し、前記現在ブロックの残差ブロックを生成する段階と、
前記残差ブロック；前記第１予測ブロックの動き推定に基いて生成された動きベクトル；前記第２予測ブロックの動き推定に基いて生成された動きベクトルと、前記第３予測ブロックの動き推定に基いて生成された動きベクトルとの差ベクトルを符号化する段階と、を含むことを特徴とする請求項１０に記載の映像符号化方法。
映像復号化方法において、
現在ピクチャの現在ブロックの動きベクトルを利用して第１参照ピクチャを検索し、前記第１参照ピクチャを検索した結果に基いて、第１予測ブロックを生成する段階と、
前記生成された第１予測ブロックを利用して現在ピクチャの以前に復号化された領域を検索し、前記第１予測ブロックを利用して現在ピクチャの以前に復号化された領域を検索した結果に基いて、第２予測ブロックを生成する段階と、
前記第２予測ブロックの動き推定に基いて生成された動きベクトルと、第３予測ブロックの動き推定に基いて生成された動きベクトルとの差ベクトルを利用して、前記現在ピクチャの以前に復号化された領域を検索し、前記差ベクトルを利用して現在ピクチャの以前に復号化された領域を検索した結果に基いて、前記第３予測ブロックを生成する段階と、
前記第３予測ブロックを、前記現在ブロックの残差ブロックに加算し、前記現在ブロックを復元する段階と、を含むことを特徴とする映像復号化方法。
映像符号化装置において、
現在ピクチャの現在ブロックを利用して第１参照ピクチャを検索し、第１予測ブロックを生成し、前記生成された第１予測ブロックを利用して第２参照ピクチャを検索し、第２予測ブロックを生成する予測部と、
前記生成された第１予測ブロック及び前記生成された第２予測ブロックのうち少なくとも一つに基づいて、現在ブロックを符号化する符号化部と、を含むことを特徴とする映像符号化装置。
前記予測部は、
前記生成された第１予測ブロックを利用して現在ピクチャの以前に符号化された領域を検索し、前記第２予測ブロックを生成することを特徴とする請求項１３に記載の映像符号化装置。
前記予測部は、
前記生成された第１予測ブロックを利用して現在ピクチャではない他のピクチャを検索し、前記第２予測ブロックを生成する段階を含むことを特徴とする請求項１３に記載の映像符号化装置。
前記符号化部は、
前記第１予測ブロック及び前記第２予測ブロックのうち少なくとも一つを、前記現在ブロックから減算し、前記現在ブロックの生成された残差ブロックと、前記第１予測ブロックの動き推定に基いて生成された動きベクトルとを符号化することを特徴とする請求項１３に記載の映像符号化装置。
前記残差ブロックは、
前記第１予測ブロックと前記第２予測ブロックとの加重値に基いて生成された第３予測ブロックを、前記現在ブロックから減算して生成された残差ブロックであることを特徴とする請求項１６に記載の映像符号化装置。
映像復号化装置において、
現在ピクチャの現在ブロックの動きベクトルを利用して第１参照ピクチャを検索し、第１予測ブロックを生成し、前記生成された第１予測ブロックを利用して第２参照ピクチャを検索し、第２予測ブロックを生成する予測部と、
前記第１予測ブロック及び前記第２予測ブロックのうち少なくとも一つを、前記現在ブロックの残差ブロックに加算し、前記現在ブロックを復元する復元部と、を含むことを特徴とする映像復号化装置。
前記予測部は、
前記生成された第１予測ブロックを利用して現在ピクチャの以前に復号化された領域を検索し、前記第２予測ブロックを生成することを特徴とする請求項１８に記載の映像復号化装置。
前記予測部は、
前記生成された第１予測ブロックを利用して現在ピクチャではない他のピクチャを検索し、前記第２予測ブロックを生成することを特徴とする請求項１８に記載の映像復号化装置。
前記復元部は、
前記第１予測ブロックと前記第２予測ブロックとの加重値に基いて生成された第３予測ブロックと前記残差ブロックとを加算し、前記現在ブロックを復元することを特徴とする請求項１８に記載の映像復号化装置。
映像符号化装置において、
現在ピクチャの現在ブロックを利用して第１参照ピクチャを検索し、第１予測ブロックを生成し、前記生成された第１予測ブロックを利用して現在ピクチャの以前に符号化された領域を検索し、第２予測ブロックを生成し、前記現在ブロックを利用して前記現在ピクチャの以前に符号化された領域を検索し、第３予測ブロックを生成する予測部と、
前記第２予測ブロック及び前記第３予測ブロックに基づいて、前記現在ブロックを符号化する符号化部と、を含むことを特徴とする映像符号化装置。
前記符号化部は、
前記第３予測ブロックを、前記現在ブロックから減算して生成された前記現在ブロックの残差ブロック；前記第１予測ブロックの動き推定に基いて生成された動きベクトル；前記第２予測ブロックの動き推定に基いて生成された動きベクトルと、前記第３予測ブロックの動き推定に基いて生成された動きベクトルとの差ベクトルを符号化する段階を含むことを特徴とする請求項２２に記載の映像符号化装置。
映像復号化装置において、
現在ピクチャの現在ブロックの動きベクトルを利用して第１参照ピクチャを検索し、第１予測ブロックを生成し、前記生成された第１予測ブロックを利用して現在ピクチャの以前に復号化された領域を検索し、第２予測ブロックを生成し、前記第２予測ブロックの動き推定に基いて生成された動きベクトルと、第３予測ブロックの動き推定に基いて動きベクトルとの差ベクトルを利用して、前記現在ピクチャの以前に復号化された領域を検索し、前記第３予測ブロックを生成する予測部と、
前記第３予測ブロックを、前記現在ブロックの残差ブロックに加算し、前記現在ブロックを復元する復元部と、を含むことを特徴とする映像復号化装置。
現在ブロックを利用して第１参照ピクチャを検索し、前記第１参照ピクチャを検索した結果に基いて、第１予測ブロックを生成する段階と、
前記生成された第１予測ブロックを利用して第２参照ピクチャを検索し、前記第２参照ピクチャを検索した結果に基いて、第２予測ブロックを生成する段階と、
前記第１予測ブロック及び前記第２予測ブロックのうち少なくとも一つに基づいて、現在ブロックを符号化する段階と、を含む映像符号化方法をコンピュータで実行するためのプログラムを記録した記録媒体。
現在ブロックの動きベクトルを利用して第１参照ピクチャを検索し、前記第１参照ピクチャを検索した結果に基いて、第１予測ブロックを生成する段階と、
前記生成された第１予測ブロックを利用して第２参照ピクチャを検索し、前記第２参照ピクチャを検索した結果に基いて、第２予測ブロックを生成する段階と、
前記第１予測ブロック及び前記第２予測ブロックのうち少なくとも一つを、前記現在ブロックの残差ブロックに加算し、前記現在ブロックを復元する段階と、を含む映像復号化方法をコンピュータで実行するためのプログラムを記録した記録媒体。
現在ブロックを利用して第１参照ピクチャを検索し、前記第１参照ピクチャを検索した結果に基いて、第１予測ブロックを生成する段階と、
前記生成された第１予測ブロックを利用して現在ピクチャの以前に符号化された領域を検索し、前記第１予測ブロックを利用して以前に符号化された領域を検索した結果に基いて、第２予測ブロックを生成する段階と、
前記現在ブロックを利用して前記現在ピクチャの以前に符号化された領域を検索し、前記現在ブロックを利用して以前に符号化された領域を検索した結果に基いて、第３予測ブロックを生成する段階と、
前記第２予測ブロック及び前記第３予測ブロックに基づいて、前記現在ブロックを符号化する段階と、を含む映像符号化方法をコンピュータで実行するためのプログラムを記録した記録媒体。
現在ピクチャの現在ブロックの動きベクトルを利用して第１参照ピクチャを検索し、前記第１参照ピクチャを検索した結果に基いて、第１予測ブロックを生成する段階と、
前記生成された第１予測ブロックを利用して現在ピクチャの以前に復号化された領域を検索し、前記第１予測ブロックを利用して現在ピクチャの以前に復号化された領域を検索した結果に基いて、第２予測ブロックを生成する段階と、
前記第２予測ブロックの動き推定に基いて生成された動きベクトルと、第３予測ブロックの動き推定に基いて生成された動きベクトルとの差ベクトルを利用して前記現在ピクチャの以前に復号化された領域を検索し、前記差ベクトルを利用して現在ピクチャの以前に復号化された領域を検索した結果に基いて、前記第３予測ブロックを生成する段階と、
前記第３予測ブロックを、前記現在ブロックの残差ブロックに加算し、前記現在ブロックを復元する段階と、を含む映像復号化方法をコンピュータで実行するためのプログラムを記録した記録媒体。