JP5401071B2 - 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、動画像復号プログラム、動画像処理システムおよび動画像処理方法 - Google Patents

動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、動画像復号プログラム、動画像処理システムおよび動画像処理方法 Download PDF

Info

Publication number
JP5401071B2
JP5401071B2 JP2008263080A JP2008263080A JP5401071B2 JP 5401071 B2 JP5401071 B2 JP 5401071B2 JP 2008263080 A JP2008263080 A JP 2008263080A JP 2008263080 A JP2008263080 A JP 2008263080A JP 5401071 B2 JP5401071 B2 JP 5401071B2
Authority
JP
Japan
Prior art keywords
motion vector
prediction
region
target
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008263080A
Other languages
English (en)
Other versions
JP2010093646A (ja
Inventor
芳典 鈴木
チュンセン ブン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2008263080A priority Critical patent/JP5401071B2/ja
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to CN2009801400117A priority patent/CN102177716B/zh
Priority to EP20090819158 priority patent/EP2337358B1/en
Priority to PCT/JP2009/067334 priority patent/WO2010041624A1/ja
Priority to ES09819158.8T priority patent/ES2532017T3/es
Priority to TW098134129A priority patent/TWI508532B/zh
Publication of JP2010093646A publication Critical patent/JP2010093646A/ja
Priority to US13/082,132 priority patent/US9351014B2/en
Application granted granted Critical
Publication of JP5401071B2 publication Critical patent/JP5401071B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、動画像復号プログラム、動画像処理システムおよび動画像処理方法に関するもので、とりわけ、フレーム間予測に伴う動きベクトルの予測符号化に関するものである。
静止画像や動画像データの伝送や蓄積を効率よく行うために、圧縮符号化技術が用いられる。動画像の場合ではＭＰＥＧ−１〜４やＩＴＵ（International Telecommunication Union）Ｈ．２６１〜Ｈ．２６４の方式が広く用いられている。
これらの符号化方式では、符号化の対象となる画像を複数のブロックに分割した上で符号化・復号処理を行う。画面内の予測符号化では、対象ブロックと同じ画面内にある隣接する既再生の画像信号（圧縮された画像データが復元されたもの）を用いて予測信号を生成した上で、その予測信号を対象ブロックの信号から引き算した差分信号を符号化する。画面間の予測符号化では、対象ブロックと異なる画面内にある隣接する既再生の画像信号を参照し、動きの補正を行ない、予測信号を生成し、その予測信号を対象ブロックの信号から引き算した差分信号を符号化する。
例えば、Ｈ．２６４の画面内予測符号化では、符号化の対象となるブロックに隣接する既再生の画素値を所定の方向に外挿して予測信号を生成する方法を採用している。図３２は、ＩＴＵ Ｈ．２６４に用いられる画面内予測方法を説明するための模式図である。図３２（Ａ）において、対象ブロック１８０２は符号化の対象となるブロックであり、その対象ブロック１８０２の境界に隣接する画素Ａ〜Ｍからなる画素群１８０１は隣接領域であり、過去の処理において既に再生された画像信号である。
この場合、対象ブロック１８０２の真上にある隣接画素である画素群１８０１を下方に引き伸ばして予測信号を生成する。また図３２（Ｂ）では、対象ブロック１８０４の左にある既再生画素（Ｉ〜Ｌ）を右に引き伸ばして予測信号を生成する。予測信号を生成する具体的な方法はたとえば特許文献１に記載されている。このように図３２（Ａ）〜（Ｉ）に示す方法で生成された９つの予測信号のそれぞれを対象ブロックの画素信号との差分をとり、差分値が最も小さいものを最適の予測信号とする。
通常の画面間予測符号化では、符号化の対象となるブロックについて、その画素信号に類似する信号を既に再生済みの画面から探索するという方法で予測信号を生成する。そして、対象ブロックと探索した信号が構成する領域との間の空間的な変位量である動きベクトルと、対象ブロックの画素信号と予測信号との残差信号とを符号化する。このようにブロック毎に動きベクトルを探索する手法はブロックマッチングと呼ばれる。
図２は、ブロックマッチング処理を説明するための模式図である。ここでは、符号化対象の画面４００上の対象ブロック５０１を例に対象ブロックの予測信号生成手順を説明する。画面４０１は既に再生済みであり、領域５１１は対象ブロック５０１と空間的に同一位置の領域である。ブロックマッチングでは、領域５１１を囲む探索範囲８１１を設定し、この探索範囲の画素信号から対象ブロック５０１の画素信号との絶対値誤差和が最小となる領域７０１を検出する。この領域７０１の信号が予測信号となり、領域５１１から領域７０１への変位量が動きベクトル６０１として検出される。
Ｈ．２６４では、予測性能を高めるため、複数の再生済み画像を参照画像として画面間予測を実施する。この場合、上記の図２で説明したブロックマッチングを、画面４０１を含む複数の参照画像に対して実施し、符号化効率の高い予測信号を検出する。また、画像の局所的な特徴の変化に対応するため、動きベクトルを符号化するブロックサイズが異なる複数の予測タイプを用意している。Ｈ．２６４の予測タイプについては、例えば特許文献２に記載されている。
動画像データの圧縮符号化では、各画面（フレーム、フィールド）の符号化順序は任意でよい。そのため、再生済み画面を参照して予測信号を生成する画面間予測にも、符号化順序について３種類の手法がある。第１の手法は、再生順で過去の再生済み画面を参照して予測信号を生成する前方向予測であり、第２の手法は、再生順で未来の再生済み画面を参照して後方向予測であり、第３の手法は、前方向予測と後方向予測を共に行い、２つの予測信号を平均化する双方向予測である。画面間予測の種類については、例えば特許文献３に記載されている。
画面間予測にて検出された動きベクトルは予測符号化される。具体的には、隣接ブロックの動きベクトルから生成される予測動きベクトルと対象ブロックの動きベクトルとの間の差分ベクトルが符号化される。Ｈ．２６４では、対象ブロックの直上、直左、そして右上の符号化済みブロックの動きベクトルを候補として、それぞれ水平成分と垂直成分の中間値を求め予測動きベクトルとする。そして、差分動きベクトルと参照画像を指示する情報（参照フレーム番号と呼ぶ, reference index）を符号化する。
動きベクトル予測の候補とする符号化済みブロック（予測対象ブロック）に付随する参照フレーム番号と、符号化対象の動きベクトルに付随する参照フレーム番号は一致するとは限らない。異なる参照画像に対する動きベクトルはフレーム間隔が異なるため、その差分値は通常大きくなる。そこで、特許文献４では、対象ブロックの参照フレーム番号と予測対象ブロックの参照フレーム番号が一致しない場合、予測対象ブロックの動きベクトルを、対象ブロックの参照フレーム番号にて指示される参照画像上にスケーリングした後、スケーリングした動きベクトルを動きベクトル予測に用いている。
米国特許公報第６７６５９６４号 米国特許公報第７００３０３５号 米国特許公報第６２５９７３９号 日本公開特許２００４−３３６３６９
特許文献４を含む背景技術で示した動きベクトル予測では、予測対象ブロックの動きベクトル値が０であるとき、予測動きベクトルの値は０となる。また、予測対象ブロックの予測信号生成方法が動きベクトルを伴わない方法（例えば、画面内予測）の場合にも、予測動きベクトルの値は０となる。このように、動きベクトル予測の候補となるブロックの動きベクトルが有意な情報を持たない場合には、動きベクトル予測の効率を向上できないという課題がある。
また、特許文献４は、スケーリング処理はフレーム間の動きの速度が一定であることを前提としていため、フレーム間の実際の動きが等速でない場合、スケーリング処理により差分動きベクトル値が大きくなり、差分動きベクトルの符号化効率が低下する可能性が残る。
そこで、本発明は、上述の課題を解決するために、予測対象ブロックの予測動きベクトルが０などであっても、動きベクトル予測を効率的に行うことができる動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、動画像復号プログラム、動画像処理システムおよび動画像処理方法を提供することを目的とする。
本発明の動画像符号化装置は、入力画像を複数の領域に分割する領域分割手段と、複数の既再生画像を参照画像として格納するための格納手段と、前記複数の領域のうち処理対象である対象領域との相関が高い領域を前記格納手段に格納されている複数の参照画像から探索し、前記対象領域の動きベクトルを生成する動き推定手段と、前記動き推定手段により探索された参照画像を指示する参照フレーム番号と、前記対象領域と探索された領域との間の空間的な位置関係を示す動きベクトルとに基づいて、前記対象領域の予測信号を生成する予測信号生成手段と、１つ以上の符号化済みの動きベクトルから予測動きベクトルを生成し、前記動き推定手段により生成された動きベクトルと該予測動きベクトルとの差分動きベクトルを生成する動きベクトル予測手段と、前記対象領域の予測信号と前記対象領域の対象画素信号との残差信号を生成する残差信号生成手段と、前記残差信号と前記参照フレーム番号と前記動きベクトル予測手段にて生成された差分動きベクトルとを符号化する符号化手段と、前記符号化された残差信号を復元した上で前記予測信号に加算し、再生画像を生成し、前記格納手段に参照画像として記憶させる復元手段と、を備え、前記動きベクトル予測手段は、符号化済み領域から１つの領域を選択し、選択された領域が参照フレーム番号を持たない場合、または前記対象領域の参照フレーム番号と選択された領域の参照フレーム番号が異なる場合には、前記対象領域の周辺に位置する既再生の画素信号からなるテンプレート領域との相関が高い領域を、前記対象領域に付随する参照フレーム番号にて指示される参照画像から探索し、該探索した領域と前記テンプレート領域との間の空間的な位置関係に基づいて前記予測動きベクトルを生成するように構成されている。
また、本発明の動画像符号化装置は、前記テンプレート領域を対象領域に隣接する既再生の画素信号からなる対象隣接領域とすることが好ましい。
また、本発明の動画像符号化装置は、前記テンプレート領域を前記動きベクトル予測手段にて選択された領域に隣接する既再生の隣接画素信号からなる対象隣接領域とすることが好ましい。
本発明によれば、対象領域に隣接する既再生の予測対象ブロックの動きベクトルが０であった場合や、または動きベクトルを伴わない予測方法を用いられた場合であっても、対象領域における動きベクトルの予測を効率的に行い、また符号化効率を向上させることができる。
また、本発明の動画像符号化装置において、前記予測信号生成手段は、さらに前記対象領域に隣接する既再生の隣接画素信号からなる対象隣接領域との相関が高い予測隣接領域を複数の参照画像から１つ以上探索し、前記１つ以上の予測隣接領域に基づいて前記対象領域の予測信号を加工する予測信号合成手段を含んでおり、前記動きベクトル予測手段は、さらに、前記複数の参照画像について、前記予測信号合成手段により探索された予測隣接領域と対象隣接領域との空間的な位置関係を示す動きベクトルをそれぞれ１つ保存し、前記選択された領域の予測信号が前記予測信号合成手段により生成されている場合、前記保存された動きベクトルのうち対象領域の参照フレーム番号に対応する動きベクトルを前記予測動きベクトルとすることが好ましい。
本発明によれば、予測対象領域の予測信号がテンプレートマッチングにて生成された場合には、その際に検出される動きベクトルを用いることでテンプレートマッチング処理効率を向上させることができる。
また、本発明の動画像復号装置は、圧縮データの中から処理対象である対象領域の差分動きベクトルと参照フレーム番号と残差信号の符号化データとを復号するデータ復号手段と、複数の既再生画像を参照画像として格納するための格納手段と前記残差信号の符号化データから再生残差信号を復元する残差信号復元手段と、１つ以上の復元済みの動きベクトルから予測動きベクトルを生成し、前記データ復号手段にて復号した差分動きベクトルと該予測動きベクトルを加算して動きベクトルを復元する動きベクトル予測手段と、前記動きベクトル予測手段にて復元した動きベクトルと前記対象領域の参照フレーム番号に基づいて、前記対象領域の予測信号を生成する予測信号生成手段と、
前記予測信号と前記再生残差信号とを加算することによって、前記対象領域の画素信号を復元する画像復元手段と、を備え、前記動きベクトル予測手段は、復号済み領域から１つの領域を選択し、選択された領域が参照フレーム番号を持たない場合、または前記対象領域の参照フレーム番号と選択された領域の参照フレーム番号が異なる場合には、前記対象領域の周辺に位置する既再生の画素信号からなるテンプレート領域との相関が高い領域を前記対象領域に付随する参照フレーム番号にて指示される参照画像から探索し、該探索した領域と前記テンプレート領域との間の空間的な位置関係に基づいて前記予測動きベクトルを生成するように構成されている。
また、本発明の動画像復号装置は、前記テンプレート領域を対象領域に隣接する既再生の画素信号からなる対象隣接領域とすることが好ましい。
また、本発明の動画像復号装置は、前記テンプレート領域を前記動きベクトル予測手段にて選択された領域に隣接する既再生の隣接画素信号からなる対象隣接領域とすることが好ましい。
本発明によれば、対象領域に隣接する既再生の予測対象ブロックの動きベクトルが０であった場合や、または動きベクトルを伴わない予測方法を用いられた場合であっても、対象領域における動きベクトルの予測を効率的に行わせ、また符号化効率を向上させることができ、よってそのように符号化されたデータを復号することができる。
また、本発明の動画像復号装置において、前記予測信号生成手段は、さらに前記対象領域に隣接する既再生の隣接画素信号からなる対象隣接領域との相関が高い予測隣接領域を複数の参照画像から１つ以上探索し、前記１つ以上の予測隣接領域に基づいて前記対象領域の予測信号を加工する予測信号合成手段を含んでおり、前記動きベクトル予測手段は、さらに、前記複数の参照画像について、前記予測信号合成手段により探索された予測隣接領域と対象隣接領域との空間的な位置関係を示す動きベクトルをそれぞれ１つ保存し、前記選択された領域の予測信号が前記予測信号合成手段により生成されている場合、前記保存された動きベクトルのうち対象領域の参照フレーム番号に対応する動きベクトルを前記予測動きベクトルとすることが好ましい。
本発明によれば、予測対象領域の予測信号がテンプレートマッチングにて生成された場合には、その際に検出される動きベクトルを用いることでテンプレートマッチング処理効率を向上させることができる。
ところで、本発明は、上記のように動画像符号化装置または動画像復号装置の発明として記述できる他に、以下のように、動画像符号化方法、動画像復号方法、動画像符号化プログラム、動画像復号プログラムの発明としても記述することができる。これらはカテゴリーが異なるだけで、実質的に同一の発明であり、同様の作用・効果を奏する。
すなわち、本発明の動画像符号化方法は、入力画像を複数の領域に分割する領域分割ステップと、前記複数の領域のうち処理対象である対象領域との相関が高い領域を、格納手段に格納されている複数の参照画像から探索し、前記対象領域の動きベクトルを生成する動き推定ステップと、前記動き推定ステップにより探索された参照画像を指示する参照フレーム番号と、前記対象領域と探索された領域との間の空間的な位置関係を示す動きベクトルとに基づいて、前記対象領域の予測信号を生成する予測信号生成ステップと、１つ以上の符号化済みの動きベクトルから予測動きベクトルを生成し、前記動き推定ステップにおいて生成された動きベクトルと該予測動きベクトルとの差分動きベクトルを生成する動きベクトル予測ステップと、前記対象領域の予測信号と前記対象領域の対象画素信号との残差信号を生成する残差信号生成ステップと、前記残差信号と前記参照フレーム番号と前記動きベクトル予測ステップにて生成された差分動きベクトルとを符号化する符号化ステップと、前記符号化された残差信号を復元した上で前記予測信号に加算し、再生画像を生成し、前記格納手段に参照画像として記憶させる復元ステップと、を備え、前記動きベクトル予測ステップは、符号化済み領域から１つの領域を選択し、選択された領域が参照フレーム番号を持たない場合、または前記対象領域の参照フレーム番号と選択された領域の参照フレーム番号が異なる場合には、前記対象領域の周辺に位置する既再生の画素信号からなるテンプレート領域との相関が高い領域を、前記対象領域に付随する参照フレーム番号にて指示される参照画像から探索し、該探索した領域と前記テンプレート領域との間の空間的な位置関係に基づいて前記予測動きベクトルを生成する。
また、本発明の動画像符号化方法において、前記予測信号生成ステップは、さらに前記対象領域に隣接する既再生の隣接画素信号からなる対象隣接領域との相関が高い予測隣接領域を複数の参照画像から１つ以上探索し、前記１つ以上の予測隣接領域に基づいて前記対象領域の予測信号を加工する予測信号合成ステップを含んでおり、前記動きベクトル予測ステップは、さらに、前記複数の参照画像について、前記予測信号合成ステップにおいて探索された予測隣接領域と対象隣接領域との空間的な位置関係を示す動きベクトルをそれぞれ１つ保存し、前記選択された領域の予測信号が前記予測信号合成ステップにおいて生成されている場合、前記保存された動きベクトルのうち対象領域の参照フレーム番号に対応する動きベクトルを前記予測動きベクトルとすることが好ましい。
また、本発明の動画像復号方法は、圧縮データの中から処理対象である対象領域の差分動きベクトルと参照フレーム番号と残差信号の符号化データとを復号するデータ復号ステップと、複数の既再生画像を参照画像として格納するための格納ステップと、前記残差信号の符号化データから再生残差信号を復元する残差信号復元ステップと、１つ以上の復元済みの動きベクトルから予測動きベクトルを生成し、前記データ復号ステップにて復号した差分動きベクトルと該予測動きベクトルを加算して動きベクトルを復元する動きベクトル予測ステップと、前記動きベクトル予測ステップにて復元した動きベクトルと前記対象領域の参照フレーム番号に基づいて、前記対象領域の予測信号を生成する予測信号生成ステップと、前記予測信号と前記再生残差信号とを加算することによって、前記対象領域の画素信号を復元し、格納手段に参照画像として格納させる画像復元ステップと、を備え、前記動きベクトル予測ステップは、復号済み領域から１つの領域を選択し、選択された領域が参照フレーム番号を持たない場合、または前記対象領域の参照フレーム番号と選択された領域の参照フレーム番号が異なる場合には、前記対象領域の周辺に位置する既再生の画素信号からなるテンプレート領域との相関が高い領域を前記対象領域に付随する参照フレーム番号にて指示される参照画像から探索し、該探索した領域と前記テンプレート領域との間の空間的な位置関係に基づいて前記予測動きベクトルを生成する。
また、本発明の動画像復号方法において、前記予測信号生成ステップは、さらに前記対象領域に隣接する既再生の隣接画素信号からなる対象隣接領域との相関が高い予測隣接領域を複数の参照画像から１つ以上探索し、前記１つ以上の予測隣接領域に基づいて前記対象領域の予測信号を加工する予測信号合成ステップを含んでおり、前記動きベクトル予測ステップは、さらに、前記複数の参照画像について、前記予測信号合成ステップにおいて探索された予測隣接領域と対象隣接領域との空間的な位置関係を示す動きベクトルをそれぞれ１つ保存し、前記選択された領域の予測信号が前記予測信号合成ステップにおいて生成されている場合、前記保存された動きベクトルのうち対象領域の参照フレーム番号に対応する動きベクトルを前記予測動きベクトルとすることが好ましい。
また、本発明の動画像符号化プログラムは、入力画像を複数の領域に分割する領域分割モジュールと、前記複数の領域のうち処理対象である対象領域との相関が高い領域を、格納手段に格納されている複数の参照画像から探索し、前記対象領域の動きベクトルを生成する動き推定モジュールと、前記動き推定モジュールにより探索された参照画像を指示する参照フレーム番号と、前記対象領域と探索された領域との間の空間的な位置関係を示す動きベクトルとに基づいて、前記対象領域の予測信号を生成する予測信号生成モジュールと、１つ以上の符号化済みの動きベクトルから予測動きベクトルを生成し、前記動き推定モジュールにおいて生成された動きベクトルと該予測動きベクトルとの差分動きベクトルを生成する動きベクトル予測モジュールと、前記対象領域の予測信号と前記対象領域の対象画素信号との残差信号を生成する残差信号生成モジュールと、前記残差信号と前記参照フレーム番号と前記動きベクトル予測モジュールにて生成された差分動きベクトルとを符号化する符号化モジュールと、前記符号化された残差信号を復元した上で前記予測信号に加算し、再生画像を生成し、前記格納手段に参照画像として記憶させる復元モジュールと、を備え、前記動きベクトル予測モジュールは、符号化済み領域から１つの領域を選択し、選択された領域が参照フレーム番号を持たない場合、または前記対象領域の参照フレーム番号と選択された領域の参照フレーム番号が異なる場合には、前記対象領域の周辺に位置する既再生の画素信号からなるテンプレート領域との相関が高い領域を、前記対象領域に付随する参照フレーム番号にて指示される参照画像から探索し、該探索した領域と前記テンプレート領域との間の空間的な位置関係に基づいて前記予測動きベクトルを生成するように構成されている。
また、本発明の動画像符号化プログラムにおいて、前記予測信号生成モジュールは、さらに前記対象領域に隣接する既再生の隣接画素信号からなる対象隣接領域との相関が高い予測隣接領域を複数の参照画像から１つ以上探索し、前記１つ以上の予測隣接領域に基づいて前記対象領域の予測信号を加工する予測信号合成モジュールを含んでおり、前記動きベクトル予測モジュールは、さらに、前記複数の参照画像について、前記予測信号合成モジュールにより探索された予測隣接領域と対象隣接領域との空間的な位置関係を示す動きベクトルをそれぞれ１つ保存し、前記選択された領域の予測信号が前記予測信号合成モジュールにより生成されている場合、前記保存された動きベクトルのうち対象領域の参照フレーム番号に対応する動きベクトルを前記予測動きベクトルとすることが好ましい。
本発明の動画像復号プログラムは、圧縮データの中から処理対象である対象領域の差分動きベクトルと参照フレーム番号と残差信号の符号化データとを復号するデータ復号モジュールと、複数の既再生画像を参照画像として格納するための格納モジュールと、前記残差信号の符号化データから再生残差信号を復元する残差信号復元モジュールと、１つ以上の復元済みの動きベクトルから予測動きベクトルを生成し、前記データ復号モジュールにて復号した差分動きベクトルと該予測動きベクトルを加算して動きベクトルを復元する動きベクトル予測モジュールと、前記動きベクトル予測モジュールにて復元した動きベクトルと前記対象領域の参照フレーム番号に基づいて、前記対象領域の予測信号を生成する予測信号生成モジュールと、前記予測信号と前記再生残差信号とを加算することによって、前記対象領域の画素信号を復元し、格納手段に参照画像として格納させる画像復元モジュールと、を備え、前記動きベクトル予測モジュールは、復号済み領域から１つの領域を選択し、選択された領域が参照フレーム番号を持たない場合、または前記対象領域の参照フレーム番号と選択された領域の参照フレーム番号が異なる場合には、前記対象領域の周辺に位置する既再生の画素信号からなるテンプレート領域との相関が高い領域を前記対象領域に付随する参照フレーム番号にて指示される参照画像から探索し、該探索した領域と前記テンプレート領域との間の空間的な位置関係に基づいて前記予測動きベクトルを生成するように構成されている。
また、本発明の動画像復号プログラムにおいて、前記予測信号生成モジュールは、さらに前記対象領域に隣接する既再生の隣接画素信号からなる対象隣接領域との相関が高い予測隣接領域を複数の参照画像から１つ以上探索し、前記１つ以上の予測隣接領域に基づいて前記対象領域の予測信号を加工する予測信号合成モジュールを含んでおり、前記動きベクトル予測モジュールは、さらに、前記複数の参照画像について、前記予測信号合成モジュールにより探索された予測隣接領域と対象隣接領域との空間的な位置関係を示す動きベクトルをそれぞれ１つ保存し、前記選択された領域の予測信号が前記予測信号合成モジュールにより生成されている場合、前記保存された動きベクトルのうち対象領域の参照フレーム番号に対応する動きベクトルを前記予測動きベクトルとすることが好ましい。
また、本発明の画像処理システムは、上記動画像符号化装置と、上記動画像復号装置と、を備える画像処理システムであって、前記動画像符号化装置において符号化されたデータを、前記動画像復号装置が復号するように構成されている。
また、本発明の画像処理方法は、上記動画像符号化方法と、上記動画像復号方法と、を備える画像処理方法であって、前記動画像符号化方法において符号化されたデータを、前記動画像復号方法において復号する。
本発明によれば、対象領域の周辺の符号化済み信号からなる領域を用いて対象領域の動きベクトルを生成することができるため、対象領域に隣接する予測対象領域が有意な値の動きベクトルを持たない場合においても、値の小さい差分動きベクトルを生成することができる。また、フレーム間の動きが等速でない場合においても、対象領域の参照フレーム番号にて指示される参照画像上を探索することにより、値の小さい差分動きベクトルが生成できる。よって、符号化効率を高める予測動きベクトルを生成でき、符号化効率を向上させるという効果がある。
以下、添付図面を参照しながら本実施形態を詳細に説明する。なお、図面の説明において同一又は同等の要素には同一の符号を付し、重複する説明を省略する。
図１は、本実施形態の動きベクトル予測処理に係る動画像符号化装置１００を示すブロック図である。この動画像符号化装置１００は、入力端子１０１、ブロック分割器１０２（領域分割手段）、予測信号生成器１０３、フレームメモリ１０４（格納手段）、減算器１０５、変換器１０６、量子化器１０７、逆量子化器１０８、逆変換器１０９、加算器１１０、エントロピー符号化器１１１、出力端子１１２、予測信号推定器１１３（動き推定手段）及び動きベクトル予測器１１４（動きベクトル予測手段）を備えている。変換器１０６、量子化器１０７及びエントロピー符号化器は、符号化手段として機能する。また、逆量子化器１０８、逆変換器１０９、および加算器１１０は、復元手段として機能する。
入力端子１０１は、複数枚の画像からなる動画像の信号を入力する端子である。
ブロック分割器１０２は、入力端子１０１から入力された信号で表される、符号化の対象なる画像を複数の領域に分割する。本実施形態では、８ｘ８の画素からなるブロックに分割するが、それ以外のブロックの大きさ又は形に分割してもよい。
予測信号推定器１１３は、符号化処理の対象となる対象領域（対象ブロック）の予測信号を生成するために必要となる動きベクトルなどの付加情報を検出する。この予測信号推定器１１３の具体的な処理は後述する。
動きベクトル予測器１１４では、付加情報に含まれる動きベクトルから予測動きベクトルを減算し、差分動きベクトルを生成する。差分動きベクトルは付加情報として、エントロピー符号化器１１１に出力される。動きベクトル予測器１１４の具体的な処理については後述する。
予測信号生成器１０３は、ライン１１３を経由して入力された付加情報およびラインＬ１１４を経由して得られたフレームメモリ１０４に記憶されている参照画像に基づいて対象ブロックの予測信号を生成し、減算器１０５に出力する。
減算器１０５は、ラインＬ１０２を経由して入力されたブロック分割器１０２で分割されて得られた対象ブロックから、ラインＬ１０３を経由して入力された予測信号生成器１０３にて生成された予測信号を減算して、残差信号を生成する部分である。減算器１０５は、減算して得た残差信号を、ラインＬ１０５を経由して変換器１０６に出力する。
変換器１０６は、減算して得られた残差信号を離散コサイン変換する部分である。また、量子化器１０７は、変換器１０６により離散コサイン変換された変換係数を量子化する部分である。エントロピー符号化器１１１は、量子化器１０７により量子化された変換係数を符号化するとともに予測方法に関する付加情報を符号化し、符号化された情報をラインＬ１１１経由で出力する。出力端子１１２は、エントロピー符号化器１１１から入力した情報を外部に出力する。
逆量子化器１０８は、量子化された変換係数を逆量子化する。逆変換器１０９は、逆離散コサイン変換により残差信号を復元する。加算器１１０は、復元された残差信号とラインＬ１０３から送られた予測信号とを加算し、対象ブロックの信号を再生し、フレームメモリ１０４に格納する。本実施形態では、変換器１０６と逆変換器１０９とを用いているが、これらの変換器に代わる他の変換処理を用いてもよい。また、変換器１０６及び逆変換器１０９は必須ではない。このように、後続の対象ブロックに対する画面内予測もしくは画面間予測を行うために、圧縮された対象ブロックの画素信号は、復元されフレームメモリ１０４に参照画像として記憶される。
次に、予測信号推定器１１３と動きベクトル予測器１１４について説明する。
予測信号推定器１１３では、符号化処理の対象となる対象ブロックの画像信号に類似する予測信号を生成するための予測方法ならびに予測パラメータの決定処理を行なう。予測方法には大きく分けて画面内予測あるいは画面間予測があり、複数の予測方法にて対象ブロックの候補予測信号を生成し、符号化効率が最も高いと判断される予測信号を選択する。
画面内予測方法では、例えば、図３２（Ａ）に示すように、対象ブロック１８０２に隣接する画素Ａ〜Ｍからなる画素群１８０１のうち、対象ブロック１８０２の真上にある隣接画素である画素群１８０１を下方に引き伸ばして予測信号を生成する。画素群１８０１は過去の処理において既に再生された画像信号である。また図３２（Ｂ）では、対象ブロック１８０４の左にある既再生画素（Ｉ〜Ｌ）を右に引き伸ばして予測信号を生成する。予測信号を生成する具体的な方法はたとえば特許文献１に記載されている。このように図３２（Ａ）〜（Ｉ）に示す方法で生成された９つの候補予測信号が生成できる。
画面間予測方法では、フレームメモリ１０４に記憶されている既再生信号から符号化処理の対象となる対象ブロックに類似する候補予測信号を探索し、探索した候補予測信号を既再生信号から取得するために必要となる動き情報を抽出する。この手法はブロックマッチングと呼ばれる。
図２は、ブロックマッチング処理を説明するための模式図である。ここでは、符号化対象の画面４００上の対象ブロック５０１を例に対象ブロックの予測信号生成手順を説明する。画面４０１は既に再生済みであり、領域５１１は対象ブロック５０１と空間的に同一位置の領域である。ブロックマッチングでは、領域５１１を囲む探索範囲８１１を設定し、この探索範囲の画素信号から対象ブロック５０１の画素信号との絶対値誤差和が最小となる領域７０１を検出する。この領域７０１の信号が候補予測信号となり、領域５１１から領域７０１への変位量が動きベクトル６０１として検出される。さらに、予測性能を高めるため、複数の再生済み画像を参照画像として画面間予測を実施する。具体的には、上記の図２で説明したブロックマッチングを、画面４０１を含む複数の参照画像に対して実施し、最も符号化効率の高いと判断される予測信号を候補予測信号として検出する。
予測信号推定器１１３は、これらの候補予測信号のそれぞれと対象ブロックの画素信号との差分をとり、差分値が最も小さい候補予測信号を最適の予測信号と判断する。この際、予測信号の生成に用いる付加情報の符号化に要する符号量を計算し、上記の差分値に換算して加えても良い。付加情報には、候補予測信号を選択した予測モードに加えて、画面間予測の場合、動きベクトルと検出した参照画像を指示する参照フレーム番号が含まれる。これらの付加情報は、予信号生成器１０３と動きベクトル予測器１１４に送られる。
［動きベクトル予測器の説明］
図３に、本実施形態の動きベクトル予測処理を実施する動きベクトル予測器１１４のブロック図を示す。動きベクトル予測器１１４は、入力された付加情報を保存するメモリ２０１、予測対象ブロック選択器２０２、予測動きベクトル探索器２０３、差分器２０４及び分離器２０６を含む。
入力された付加情報、すなわち予測モード、動きベクトルおよび参照フレーム番号は、Ｌ１１３経由でメモリ２０１に格納されると共に、分離器２０６、予測対象ブロック選択器２０２および差分器２０４に送られる。
予測対象ブロック選択器２０２では、対象ブロックに隣接する既再生のブロックから動きベクトル予測に用いるブロック（予測対象ブロック）を選択する。図４を用いて、予測対象ブロック選択器２０２の処理を説明する。ここでは、対象ブロック５０１に隣接する符号化対象画像内の２つの隣接ブロック５０２と５０４から動きベクトル予測に用いる予測対象ブロックを選択する手法を考える。ブロック選択の方法としては、例えば、対象ブロックの動きベクトル（ＭＶ）と２つの隣接ブロックの動きベクトルの各成分について差分値を取り、その絶対値差分和が小さい方を選択する。選択したブロックを特定するための情報（例えば、対象ブロックとの位置関係を示す情報）は、予測ベクトル選択情報として付加情報に含めて符号化される。なお、２つの隣接ブロックの動きベクトルの参照フレーム番号が同じ場合には予測ベクトル選択情報を符号化する必要はない。ここでは、隣接ブロック５０２を予測対象ブロックとして選択したものと仮定する。
選択された隣接ブロックの付加情報は、Ｌ２０２経由で予測動きベクトル探索器２０３に入力される。同時に、分離器２０６では、対象ブロックの付加情報から参照フレーム番号が抽出され、Ｌ２０６経由で予測動きベクトル探索器２０３に入力される。予測動きベクトル探索器２０３では、対象ブロック５０１の参照フレーム番号と予測対象ブロック５０２の参照フレーム番号とを比較する。参照フレーム番号が同じ場合には、予測対象ブロック５０２の動きベクトル（ＭＶａ）を予測動きベクトルとして出力する。参照フレーム番号が異なる場合には、対象ブロック５０１の参照フレーム番号にて指示される参照画像をＬ１０４経由で取得する。そして、この参照画像を用いて、予測対象ブロック５０２の動きベクトル（ＭＶａ）を、スケーリング処理などで加工したのち、予測動きベクトルとして差分器２０３に出力する。動きベクトルの加工方法については後述する。
差分器２０４では、対象ブロック５０１の動きベクトルの各成分とＬ２０３経由で入力される予測動きベクトルの各成分との差分を取り、差分動きベクトルを算出する。そして、付加情報として、予測モード、参照フレーム番号（対象ブロック５０１の参照フレーム番号）、差分動きベクトルならびに予測動きベクトル選択情報をエントロピー符号化器１１１に出力する。
図５に予測動きベクトル探索器２０３の内部構成のブロック図を示す。予測動きベクトル探索器は、判定器２３１と切り替え器２３２とテンプレートマッチング器２３３を備えている。
まず、判定器２３１は、入力される対象ブロック５０１の参照フレーム番号および予測対象ブロック５０２の参照フレーム番号を、Ｌ２０６およびＬ２０２経由で入力し、それらを比較する。２つの参照フレーム番号が同じ場合には、Ｌ２３１経由で切り替え器２３２に制御信号を送り、Ｌ２０２経由で入力される予測モード、参照フレーム番号、動きベクトルならびに予測動きベクトル選択情報をＬ２０３経由で差分器２０４に出力する。一方、２つの参照フレーム番号の値が異なる場合には、Ｌ２３１経由で切り替え器２３２に制御信号を送り、Ｌ２０２経由で入力される予測モード、参照フレーム番号、動きベクトルならびに予測動きベクトル選択情報をＬ２３２経由でテンプレートマッチング器２３３に出力する。
テンプレートマッチング器２３３では、対象ブロックに隣接する再生済み画素信号から構成されるテンプレート領域（詳細は後述）に類似する信号領域を、対象ブロック５０１の参照フレーム番号で指示される参照画像からテンプレートマッチングを用いて探索する（Ｌ２０１経由）。そして、検出された信号領域とテンプレート領域との間の空間的な変位量を算出し、予測動きベクトルとする。
次に、図６〜８を用いて、テンプレートマッチング器２３３におけるテンプレートマッチング処理を説明する。
図６にテンプレートマッチング器２３３の内部構成のブロック図を示す。テンプレートマッチング器２３３は、探索領域設定器２４０、対象領域取得器２４１、予測隣接領域取得器２４２及び候補予測領域選択器２４３を備えている。
本実施形態におけるテンプレートマッチングでは、予測対象ブロックの動きベクトルに基づいてテンプレートマッチングの探索領域を設定した後（図７）、その探索領域内を探索して、テンプレート領域に類似する信号領域を検出する(図８)。
探索領域設定器２４０における探索領域の設定処理では、まず、予測対象ブロックの動きベクトルに時間方向のスケーリング処理を施すことにより、予測対象ブロックの動きベクトルを対象ブロック５０１の参照フレーム番号で指示される参照画像上にスケールする。そして、スケールした動きベクトルを探索中心として、その周囲に探索領域を設定する。より具体的に説明する。
探索領域設定器２４０には、予測対象ブロック５０２の予測モード、参照フレーム番号ならびに動きベクトルと、対象ブロック５０１の参照フレーム番号がそれぞれＬ２３２とＬ２０６経由で入力される。探索領域設定器２４０では、まず、予測対象ブロック５０２の動きベクトル６０２（ＭＶａ）を対象ブロックの参照フレーム番号が指示する参照画像上にスケーリングし、スケーリング動きベクトル６０２Ｓ（Ｓｃａｌｅｄ ＭＶａ）を算出する。そして、図８に示すように探索中心６０２Bと探索領域６０２Rとを設定する。具体的には、対象ブロック５０１の左上の頂点と空間的に同一位置にある画面４０１（対象ブロック５０１の参照フレーム番号で指示される参照画像）上の画素（ブロック５１１の左上の頂点）からスケーリング動きベクトル６０２Ｓの分だけ移動した位置６０２Ｂを探索中心とし、その周囲に探索領域６０２Ｒを設定する。探索領域の大きさ（探索範囲）は予め決めておいても良いし、シーケンス単位や画面単位で符号化しても良い。探索範囲の伝送は、探索に要するコストを低減する効果がある。スケーリング動きベクトル６０２Ｓの水平・垂直成分の値が１/２画素、１/４画素等の小数値でも良いし、整数値に丸めてもよい。設定した探索領域６０２Rに関する情報はL２４０経由で予測隣接領取得器４２４に出力される。
ここで、図７を用いて、動きベクトルのスケーリング方法の説明を加えておく。図７（Ａ）は、対象ブロック５０１の参照フレーム番号と予測対象ブロック５０２の参照フレーム番号とを、いずれも符号化対象の画面４００に対して時間的に過去の画面とする例である。この例では、符号化対象の画面４００の時刻をｔ、対象ブロック５０１の参照フレーム番号が指示する画面４０１の時刻をｔ−１、予測対象ブロック５０２の参照フレーム番号が指示する画面４０２の時刻をｔ−２と示すことにする。図７では、ブロック５０１の予測領域７０１と動きベクトル（ＭＶ）６０１が表されており、ブロック５０２の予測領域７０２と動きベクトル（ＭＶａ）６０２が表されている。画面４００と画面４０１との間の経過時間をｔ１、画面４００と画面４０２との間の経過時間をｔ２としたとき、動きベクトル６０２（ＭＶａ）を画面４０１上にスケーリングした動きベクトル６０２Ｓ（Ｓｃａｌｅｄ ＭＶa）は、Ｓｃａｌｅｄ ＭＶa＝（ｔ２ｘMVａｘ／ｔ１，ｔ２ｘMVａｙ／ｔ１）により計算できる。なおここで、ＭＶａ＝（ＭＶａｘ，ＭＶａｙ）とする。
図７（Ｂ）は、予測対象ブロック５０２の参照フレーム番号が、符号化対象の画面４００に対して時間的に未来の画面とする例である。この例では、予測対象ブロック５０２の参照フレーム番号が指示する画面４０４の時刻をｔ＋１と示し、画面４００と４０４間の経過時間をｔ４（ｔ１、ｔ２とは符号の正負が異なる）と示すことにする。動きベクトル６０２（ＭＶａ）を画面４０１上にスケーリングした動きベクトル６０２Ｓ（Ｓｃａｌｅｄ ＭＶa）は、Ｓｃａｌｅｄ ＭＶa＝（ｔ４ｘMVａｘ／ｔ１，ｔ４ｘMVａｙ／ｔ１）により計算できる。
先に説明したように、スケーリングした動きベクトル６０２Ｓに基づいて対象ブロック５０１の参照フレーム番号で指示される参照画像（４０１）上にテンプレートマッチングの探索領域６０２Ｒを設定する（図８）。
このように探索領域設定器２４０にて探索領域が設定されると、次に、対象隣接領域取得器２４１は、図８に示すように、Ｌ１０４経由で対象ブロック５０１に隣接する既再生の対象隣接領域５０１Ｔ（テンプレート領域）をフレームメモリ１０４から取得する。取得したテンプレート領域はＬ２４１経由で、予測隣接領域取得器２４２と候補予測領域選択器２４３とに出力される。なお、本実施形態では、対象ブロック５０１に隣接する既再生の画素群（逆Ｌ文字の領域）５０１Ｔを対象隣接領域としているが、この対象隣接領域は、対象ブロックの周囲の再生済み画素で構成されていれば良く、形と画素数は予め定めておけば任意でよい。なお、この場合、シーケンス単位や画面単位やブロック単位でテンプレートの形状とサイズ（画素数）を決定し、符号化してもよい。
さらに、予測隣接領域取得器２４２では、対象隣接領域５０１Ｔと同じ形状を有する探索領域内の画素群を、Ｌ１０４経由で、参照画面４０１上の探索領域６０２Ｒから順次取得する。取得した画素群はＬ２４２経由で候補予測領域選択器２４３に出力される。
加えて、候補予測領域選択器２４３では、Ｌ２４１経由で入力される対象隣接領域５０１Ｔと、Ｌ２４２経由で入力される対象隣接領域５０１Ｔと同じ形状の画素群との間で、誤差の絶対値和（ＳＡＤ）を順次求め、ＳＡＤが最も小さい領域５０１Ｍ（予測隣接領域）を検出する。最後に候補予測領域選択器２４３は、画面４０１上のブロック５１１（対象ブロック５０１と空間的に同一位置にある）と、探索された予測隣接領域５０１Ｍとの間の空間的な変位量６０２Ｐを予測動きベクトルとして算出し、Ｌ２０３経由で差分器２０４に出力する。なお、探索領域６０２Ｒ内の画素精度は整数画素単位でもよいし、１/２画素、１/４画素等の小数精度の画素を用意し、小数画素精度で探索を行なってもよい。
このように、予測対象ブロック５０２の動きベクトル６０２と対象ブロックに隣接する対象隣接領域５０１Tに基づいて対象ブロックの参照フレーム番号により指示される参照画像上を探索することにより、対象ブロック５０１の予測動きベクトル６０２Ｐを生成する。
［対象ブロックと予測対象ブロックの参照フレーム番号が同じ場合］
上記の例では、予測対象ブロック５０２の動きベクトル６０２を参照フレーム番号により指示される参照画像上にスケーリングすることにより、テンプレートマッチングの探索領域を設定しているが、探索領域の設定方法はこの手法には限定されない。例えば、動きベクトルのスケーリングを行なわず、動きベクトル６０２に基づいて探索中心を決めても良い。また、予測対象ブロックの動きベクトルを用いず、対象ブロック５０１の左上の頂点と空間的に同一位置（ブロック５１１の左上の頂点）の参照画像４０１上の画素を探索中心としてもよい。つまり、スケーリング処理は探索領域を小さくする効果があるが、本実施形態の効果を得るためには、必ずしも必要ではない。さらに、探索中心の設定方法を符号化器にて決定し、符号化により明示的に復号器に伝えてもよい。したがって、探索中心の設定方法と探索範囲を符号化することにより、予測動きベクトルの探索に要するコストを効率的に減らすことが可能である。
上記では、対象ブロック５０１と予測対象ブロック５０２の参照フレーム番号が異なる場合にテンプレートマッチング処理を行なっていたが、２つのブロックの参照フレーム番号が同じ場合でもテンプレートマッチング処理を行なう効果がある。つまり、差分動きベクトルの大きさを小さくし、差分動きベクトルの符号量を削減する効果がある。この場合、予測対象ブロック５０２の動きベクトルは、対象ブロック５０１の参照フレーム番号にて指示される参照画像に対する動きベクトルであるため、動きベクトルのスケーリング処理は不要である。
［動きベクトル予測；予測対象ブロックの予測モードが画面内予測の場合］
別例として、動きベクトル予測の対象予測ブロックがイントラブロック（画面内予測により予測信号を生成）の場合、つまり図３の予測対象ブロック選択器２０２にて図４のブロック５０４を動きベクトル予測の予測対象ブロックとして選択した場合について考える。ブロック５０４の予測信号は画面内予測にて生成されており、予測対象ブロック５０４の付加情報には動きベクトルと参照フレーム番号が含まれていない。図３の予測対象ブロック選択器２０２、図５の判定器２３１ならびに図６の探索領域設定器２４０は、この情報を、予測対象ブロック５０４の付加情報に含まれる予測モードから識別できる（予測対象ブロック５０４の予測モードが画面内予測であり、動きベクトルと参照フレーム番号を有していない）。図９と図１０にて、この別例における探索中心の設定方法を説明する。
図９では、予測対象ブロック５０４（図４参照）の動きベクトルの各成分を０と考える。この場合、動きベクトルをスケーリングしても値は変わらないため、対象ブロック５０１の左上の頂点と空間的に同一位置（ブロック５１１の左上の頂点）の参照画像４０１上の画素を探索中心６０４Ｐとする。
図１０では、予測対象ブロック５０４に隣接する符号化済みブロックの動きベクトルを利用してテンプレートマッチングの探索中心を決める方法を考える。ここでは、予測対象ブロック５０４に隣接するブロック５０５の参照フレーム番号が対象ブロック５０１と同じ参照フレーム番号と同じであると仮定する。この場合、探索領域設定器２４０は、予測対象ブロック５０４の予測モードをＬ２３２経由で取得すると共に、Ｌ２０１を経由してブロック５０５の予測モード、動きベクトルならびに参照フレーム番号を取得する（図３では、Ｌ２０１を経由してメモリ２０１から予測動きベクトル探索器２０３にブロック５０５の付加情報が入力される。続いて図５では、Ｌ２０１を経由してテンプレートマッチング器２３３にこれらの情報が入力される）。探索領域設定器２４０は、図１０に示すように、ブロック５０５の動きベクトル６０５に基づいて、探索中心６０５Bと探索領域６０４Rを設定する。具体的には、対象ブロック５０１の左上の頂点と空間的に同一位置にある画面４０１（対象ブロック５０１の参照フレーム番号で指示される参照画像）上の画素（ブロック５１１の左上の頂点）から動きベクトル６０５だけ移動した位置６０５Ｂを探索中心とし、その周囲に探索領域６０４Ｒを設定する。その後、図６で説明したテンプレートマッチング処理により、テンプレート領域である、対象隣接領域５０１Ｔに類似する予測隣接領域５０１Ｍを検出し、予測動きベクトル６０４Ｐを生成する。なお、この図１０の例では、説明を簡単にするため、ブロック５０５と対象ブロック５０１の参照フレーム番号を同じとしたが、異なっていても良い。その場合は、動きベクトル５０５に対してスケーリング処理を施し、スケーリングした動きベクトルに基づいてテンプレートマッチングの探索中心を決めても良い。
なお、この例は、予測対象ブロックの予測信号が動きベクトルを持たない予測方法にて生成されている場合には適用できる。例えば、予め決められた予測手順や自動生成される予測動きベクトルに基づいて対象ブロック内の予測信号を生成するスキップブロックと呼ばれる予測方法にも適用できる。
［動きベクトル予測；予測対象ブロックの隣接信号をテンプレート（対象隣接領域）とする場合］
これまでは、テンプレートマッチングにおけるテンプレート（対象隣接領域）を対象ブロック５０１の再生済み隣接信号により構成していたが、予測対象ブロックの隣接信号をテンプレートとしてもよい。図１１を例として説明する。図１１では、予測対象ブロック選択器２０２にてブロック５０２を動きベクトル予測の予測対象ブロックとして選択したものと仮定する。また、予測対象ブロックの予測信号は動きベクトルを有しない予測方法にて生成されていると考える。
この予測対象ブロック５０２に隣接するブロック５０５の参照フレーム番号が対象ブロック５０１と同じ参照フレーム番号であった場合、探索領域設定器２４０は、予測対象ブロック５０２の予測モードをＬ２３２経由で取得すると共に、Ｌ２０１を経由してブロック５０５の予測モード、動きベクトルならびに参照フレーム番号を取得する（図３では、Ｌ２０１を経由してメモリ２０１から予測動きベクトル探索器２０３にブロック５０５の付加情報が入力される。続いて図５では、Ｌ２０１を経由してテンプレートマッチング器２３３にこれらの情報が入力される）。探索領域設定器２４０は、図１１に示すようにブロック５０５の動きベクトル６０５に基づいて、探索中心６０５Bと探索領域６０２Rを設定する。具体的には、予測対象ブロック５０２の左上の頂点と空間的に同一位置にある画面４０１（対象ブロック５０１の参照フレーム番号で指示される参照画像）上の画素（ブロック５１２の左上の頂点）から動きベクトル６０５だけ移動した位置６０５Ｂを探索中心とし、その周囲に探索領域６０２Ｒを設定する。設定した探索領域６０２Rに関する情報はL２４０経由で予測隣接領取得器４２４に出力される。
その後、対象領域取得器２４１はＬ１０４を経由して予測対象ブロック５０２に隣接する既再生の対象隣接領域５０２Ｔ（テンプレート領域）をフレームメモリ１０４から予め決められた方法で取得する。取得したテンプレート領域の画素信号はＬ２４１を経由して、予測隣接領域取得器２４２と候補予測領域選択器２４３に出力される。
さらに、予測隣接領域取得器２４２では、対象隣接領域５０２Ｔと同じ形状を有する探索領域内の画素群を、L１０４経由で、参照画面４０１上の探索領域６０２Ｒから順次取得する。取得した画素群はＬ２４２経由で候補予測領域選択器２４３に出力される。加えて、候補予測領域選択器２４３では、Ｌ２４１経由で入力された対象隣接領域５０２Ｔと、Ｌ２４２経由で入力される対象隣接領域５０２Ｔと同じ形状の画素群との間で、対応する画素間の絶対誤差値の和（ＳＡＤ）を順次求め、ＳＡＤが最も小さい領域５０２Ｍを検出する。最後に、候補予測領域選択器２４３は、画面４０１上のブロック５１２（予測対象ブロック５０２と空間的に同一位置にある）と、探索された予測隣接領域５０２Ｍとの間の空間的な変位量６０２Ｐを予測動きベクトルとして算出し、Ｌ２０３経由で差分器２０４に出力する。
なお、この図１１の例では、説明を簡単にするため、ブロック５０５と対象ブロック５０１との参照フレーム番号を同じとしたが、異なっていても良い。その場合は、動きベクトル５０５にスケーリング処理を施し、スケーリングした動きベクトルに基づいてテンプレートマッチングの探索中心を決めても良い。また、ブロック５０２が動きベクトルと参照フレーム番号とを持つ場合には、ブロック５０５ではなく、ブロック５０２の動きベクトルと参照フレーム番号とを用いてテンプレートマッチングの探索領域を設定する。
［動きベクトル予測；予測対象ブロックの予測信号がテンプレートマッチングにて生成される場合］
次に、図１１で説明した動きベクトルの予測対象ブロックの隣接信号をテンプレート（対象隣接領域）とする場合の別例として、予測対象ブロックの予測信号がテンプレートマッチングにて生成されている場合を考える。テンプレートマッチングを用いた予測信号の生成方法としては、例えば特許文献５に記されている。
［特許文献５］特開２００７−３００３８０号公報
この場合、予測信号推定器１１３と予測信号生成器１０３における予測信号生成処理時に、すでに予測対象ブロックに対するテンプレートマッチングが全ての参照画像に対して実施されており、この探索結果を用いて予測動きベクトルが生成できる。図３０と図３１を用いて具体的に説明する
図２の予測信号推定器１１３にて選択された予測モードがテンプレートマッチングを伴う予測方法であった場合、予測信号生成器１０３では図３０に示す処理が実施される。この場合、この予測信号生成器１０３は、予測信号合成手段として機能する。
最初にステップ１５２にて、対象ブロック５０１に隣接する対象隣接領域５０１Ｔを用いたテンプレートマッチングにより複数の参照画像を探索する。続いて、ステップ１５３にて、対象隣接領域５０１ＴとのＳＡＤが最小となるＮ個の領域を検出する。これらＮ個の候補予測信号を平均化して、対象ブロック５０１の予測信号を生成する。ステップ１５４では、各参照画像の探索時に、対象隣接領域５０１ＴとのＳＡＤが最小となるとなる領域をそれぞれ抽出しておく。そして、対象領域５０１Ｔと検出した領域との空間的な変位量を各参照画像（各参照フレーム番号）に対応する動きベクトルとして図３のメモリ２０１に保存しておく。なお、この場合、図１にて予測信号生成器１０３から動きベクトル予測器１１４のメモリ２０１へのデータパスの追加が必要となる。
続いて予測動きベクトル探索器２０３にて、図３１に示す処理が実施される。
最初に、予測動きベクトル探索器２０３は、判定器２３１にて予測対象ブロックの予測モードをＬ２０２経由で入手し（ステップ２３２）、テンプレートマッチングを伴う予測モードであるかを判定する（ステップ２３３）。テンプレートマッチングを伴う予測モードでない場合には、予測対象ブロックの動きベクトルを予測動きベクトルとして選択する（ステップ２６１）。なお、ステップ２６１の代わりに後述するステップ２０５（図２０にて説明）、つまり図４〜図１１で説明したような「対象ブロックに隣接するブロックの動きベクトルに基づいたテンプレートマッチング」により予測動きベクトルを生成しても良い。
テンプレートマッチングを伴う予測モードの場合には、判定器２３１が、対象ブロックの参照フレーム番号を取得する（ステップ２３５）。続いて、テンプレートマッチング器２３３は、メモリ２０１よりＬ２０１経由で、予測対象ブロックの予測信号生成処理にて実施したテンプレートマッチング（図３０にて実施）の際に検出した動きベクトルを取得する（ステップ２６２）。最後に、取得した予測対象ブロックの動きベクトルから、ステップ２３５にて取得した対象ブロックの参照フレーム番号に対応する動きベクトルを検出し、対象ブロックの予測動きベクトルとする（ステップ２６３）。
このように、予測対象ブロックの予測信号がテンプレートマッチングにて生成されている場合には、その際に検出される動き情報を用いることで、テンプレートマッチング処理コストを削減できる。
［予測対象ブロック選択処理の別例］
・予測対象ブロックの種類
上記では、予測対象ブロックの候補となるブロックはブロック５０２とブロック５０４には限定されない。例えば、図１２に示すように画面４００内の対象ブロック５０１に隣接するブロック５０２、５０４、５０５、５０７を候補としても良いし、加えて画面４０１のブロックであり、対象ブロック５０１と空間的に同一位置であるブロック５１１を候補に含めても良い。さらにブロック５１１に隣接するブロック５１２、５１３、５１４、５１５、５１６、５１７、５１８、５１９まで候補に含めても良い。
・テンプレートマッチング処理の適用対象ブロック
ここまでは、予測対象ブロック選択器２０２にて予測対象ブロックを選択し、選択された予測対象ブロックの動きベクトルに基づいて、対象ブロックの予測動きベクトルをテンプレートマッチングにて生成する手法について説明してきた。別の方法として、対象ブロックに隣接する複数の符号化済みブロックの動きベクトルに、図４〜図１１で説明したようなテンプレートマッチング処理を施し、その後、対象ブロックの予測動きベクトルを選択してもよい。この場合、図３において、予測動きベクトル探索器２０３は、メモリ２０１と予測対象ブロック選択器２０２の間に構成される。この際、テンプレートマッチング処理に用いる対象隣接領域（テンプレート）が固定であれば、予測対象ブロックの選択は、結局、テンプレートマッチングの探索中心を選択する処理を行うことになる。
一方、予測モードや隣接ブロックの位置によって、テンプレートマッチング実施の可否を切り替えても良いし、テンプレートマッチング処理に用いる対象隣接領域（テンプレート）の形状や位置（対象ブロックの隣接信号、あるいは隣接ブロックの隣接信号）を切り替えても良い。それ以外に、隣接ブロックとその隣接信号間の相関によって、テンプレートの位置を切り替えてもよい。
・予測対象ブロックの選択方法
予測対象ブロックの選択方法についても、符号化装置で選択し、予測動きベクトル選択情報として復号装置に明示的に通知する方法には限定されない。対象ブロックに隣接する複数の隣接ブロックの動きベクトルあるいは隣接ブロックのスケーリング動きベクトルあるいは隣接ブロックの動きベクトルに基づいてテンプレートマッチングにより生成した動きベクトルを用いて、計算によって予測動きベクトルを生成してもよい。この場合、予測動きベクトル選択情報の符号化は不要である。
また、予め定めた手法により、複数の隣接ブロックの動きベクトルから予測対象ブロックを自動的に選択してもよい。例えば、ブロック５０２、５０４、５０７の動きベクトルの中央値を動きベクトルの成分毎に選択してもよい。
動きベクトルの自動選択と予測動きベクトル選択情報の符号化を組み合わせても良い。例えば、図１２に示した１３個の隣接ブロックについて、３個のブロックの組み合わせを複数設定し、中央値予測によりそれぞれ１個のブロックを選択する。そして、複数の組み合わせの中から１つを選択し、その選択情報を予測動きベクトル選択情報として符号化する。この場合、予測動きベクトル探索器２０３では、ここで選択した動きベクトルに基づいてテンプレートマッチングの探索領域を決定する。
それ以外にも、図１３に示すように、ブロック５０２、５０４、５０７の動きベクトルにより中央値予測にて生成される中央値動きベクトル６０１Ｈ（参照フレーム番号が参照画面４０１を示す）に基づいて動きベクトルを拡張しても良い。すなわち、動きベクトル６０１Ｈが指示する画面４０１上のブロック位置７０１の動きベクトル６０１Ｆを加算する方法も考えられる。この場合、６０１Ｈ＋６０１Ｆにより生成される動きベクトルに基づいてテンプレートマッチングの探索領域を決定する。また、中央値動きベクトル６０１Ｈに、ブロック５１１の動きベクトル６１１を加算し、６０１Ｈ＋６１１により生成される動きベクトルに基づいてテンプレートマッチングの探索領域を決定しても良い。
このように、本実施形態における動きベクトル予測器１１４によれば、テンプレートマッチングを用いることで予測動きベクトルを対象ブロックの参照フレーム番号が指示する参照画像に対する動きベクトルに修正できるため、差分動きベクトル値が小さくなり、差分動きベクトルの符号化効率が向上するという効果がある。
次に、本実施形態の動きベクトル予測処理に係る動画像復号装置３００について説明する。図１４は、本実施形態の動きベクトル予測処理に係る動画像復号装置３００を示すブロック図である。この動画像復号装置３００は、入力端子３０１、エントロピー復号器３０２、逆量子化器３０３、逆変換器３０４、加算器３０５、出力端子３０６、フレームメモリ１０４、予測信号生成器１０３及び動きベクトル予測器３０７を備えている。逆量子化器３０３及び逆変換器３０４による復号手段は、これらのもの以外を用いて行ってもよい。
入力端子３０１は、上述した動画像符号化装置で圧縮符号化された圧縮データを入力する。この圧縮データには、画像を複数のブロックに分割された対象ブロックを予測し符号化された残差信号情報及び付加情報が含まれている。ここで付加情報には、画面内・画面間予測などを識別する予測モード、差分動きベクトル、参照フレーム番号ならびに予測動きベクトル選択情報が含まれる。それ以外に、テンプレートマッチングにおける探索領域の大きさ、探索中心の設定方法、テンプレートの形状や位置の情報が含まれる場合がある。
エントロピー復号器３０２は、入力端子３０１に入力された圧縮データをエントロピー復号することにより、対象ブロックの残差信号情報、付加情報を抽出する。
逆量子化器３０３は、対象ブロックの残差信号情報をラインＬ３０２a経由で入力し、逆量子化する。逆変換器３０４は、逆量子化したデータを逆離散コサイン変換し、対象ブロックの残差信号を復元する。
動きベクトル予測器３０７は、エントロピー復号器３０２からラインＬ３０２ｂ経由で付加情報を入力する。動きベクトル予測器３０７では、付加情報に含まれる予測動きベクトル選択情報に基づいて予測動きベクトルを生成する。そして、差分動きベクトルに予測動きベクトルを加算し、対象ブロックの動きベクトルを再生する。再生された動きベクトルは、Ｌ３０７経由で、予測モード、参照フレーム番号と共に予測信号生成器１０３に入力される。動きベクトル予測器３０７の具体的な処理については後述する。
予測信号生成器１０３には、Ｌ３０７経由で予測モード、参照フレーム番号ならびに動きベクトルが入力される。予測信号生成器１０３は、これらの情報に基づいて、フレームメモリ１０４から参照画像を取得し、予測信号を生成する。予測信号生成器１０３は、生成した予測信号をラインＬ１０３経由で加算器３０５に出力する。
加算器３０５は、予測信号生成器１０３で生成された予測信号を、逆量子化器３０３および逆変換器３０４により復元された残差信号に加算して、対象ブロックの再生画素信号を生成し、ラインＬ３０５経由で出力端子３０６およびフレームメモリ１０４に出力する。出力端子３０６は、外部に（例えばディスプレイ）出力する。
フレームメモリ１０４は、つぎの復号処理のための参照用の再生画像として、加算器３０５から出力された再生画像を参照画像として記憶する。
図１５に、本実施形態の動きベクトル予測処理を実施する動きベクトル予測器３０７のブロック図を示す。動きベクトル予測器３０７は、入力された付加情報を保存するメモリ２０１、予測対象ブロック選択器２０２、予測動きベクトル探索器２０３、加算器３１２及び分離器２０６を含む。
動きベクトル予測器３０７の動作は、基本的に図３の動きベクトル予測器１１４と同じある。図３の動きベクトル予測器１１４との違いは入力される付加情報における動きベクトルが差分動きベクトルに置き変わっている点と、差分器２０４が加算器３１２に置き変わっている点である。
すなわち、入力された付加情報、すなわち予測モード、差分動きベクトルおよび参照フレーム番号は、Ｌ３０２ｂ経由でメモリ２０１に格納されると共に、分離器２０６、予測対象ブロック選択器２０２および加算器３１２に送られる。
分離器２０６では、対象ブロックの付加情報から参照フレーム番号が抽出され、Ｌ２０６経由で予測動きベクトル探索器２０３に入力される。
予測対象ブロック選択器２０２では、対象ブロックに隣接する既再生のブロックから動きベクトル予測に用いるブロック（予測対象ブロック）を選択する。
予測動きベクトル探索器２０３では、対象ブロック５０１の参照フレーム番号と予測対象ブロック５０２の参照フレーム番号とを比較する。参照フレーム番号が同じ場合には、予測対象ブロック５０２の動きベクトル（ＭＶａ）を予測動きベクトルとして出力する。参照フレーム番号が異なる場合には、対象ブロック５０１の参照フレーム番号にて指示される参照画像をＬ１０４経由で取得する。そして、この参照画像を用いて、予測対象ブロック５０２の動きベクトル（ＭＶａ）を、スケーリング処理などで加工したのち、予測動きベクトルとして加算器３１２に出力する。
加算器３１２では、Ｌ３０２ａ経由で入力される差分動きベクトルとＬ２０３経由で入力される予測動きベクトルとを加算し、対象ブロックの動きベクトルを再生する。再生された動きベクトルは、Ｌ３０７経由で、予測モード、参照フレーム番号と共に予測信号生成器１０３に出力される。さらに、再生された動きベクトルはＬ３１２経由でメモリ２０１に出力され、Ｌ３０２ｂ経由で入力された差分動きベクトルと置き換えられる。
メモリ２０１、予測対象ブロック選択器２０２、予測動きベクトル探索器２０３及び分離器２０６の動作は、上記の「動きベクトル予測器１１４の説明」で示した内容と同じであり、その概要は上述の通りであるため、詳細な説明を割愛する。「対象ブロックと予測対象ブロックの参照フレーム番号が同じ場合」、「動きベクトル予測；予測対象ブロックの予測モードが画面内予測の場合」、「動きベクトル予測；予測対象ブロックの隣接信号をテンプレート（対象隣接領域）とする場合」、「動きベクトル予測；対象予測ブロックの予測信号がテンプレートマッチングにて生成される場合」や「予測対象ブロック選択処理の別例」で示した変形も適用可能である。但し、対象予測ブロックの予測信号がテンプレートマッチングにて生成されている場合には、予測信号生成器１０３から動きベクトル予測器３０７のメモリ２０１へのデータパスが必要になる。
図１６は、本実施形態の動きベクトル予測処理に係る動画像符号化装置１００における動画像符号化方法の手順を示すフローチャートである。まず、予測信号推定器１１３が符号化処理の対象となる対象ブロックの予測信号を生成するために必要となる動きベクトルなどの付加情報を決定し、この付加情報に基づいて予測信号生成器１０３にて予測信号を生成する（ステップ１０２）。付加情報には、画面内予測（図３２）や画面間予測（図２）などを指示する予測モード、動きベクトル、参照フレーム番号が含まれる。
動きベクトル予測器１１４は、付加情報に含まれる動きベクトルから予測動きベクトルを減算し、差分動きベクトルを生成する。差分動きベクトルは付加情報の一部としてエントロピー符号化器１１１にて符号化される（ステップ１０３）。ステップ１０３の詳細は後述する。
減算器１０５は、対象ブロックの画素信号から予測信号を減算し、残差信号を生成する。生成された残差信号は変換器１０６と量子化器１０７にて量子化変換係数に圧縮され、エントロピー符号化器１１１にて符号化される（ステップ１０４）。そして、符号化された残差信号及び付加情報が出力端子１１２を介して出力される（ステップ１０５）。
これら処理の後に又はこれらの処理と並行して、符号化された残差信号（量子化変換係数）が逆量子化器１０８及び逆変換器１０９により復号される。そして、加算器１１０により、復号された残差信号に予測信号が加算され、対象ブロックの信号が再生され、フレームメモリ１０４に参照画面として記憶される（ステップ１０６）。そして、すべての対象ブロックの処理が完了していない場合にはステップ１０２に戻り、次の対象ブロックに対する処理が行わる。すべての対象ブロックの処理が完了している場合には、処理を終了する（ステップ１０７とステップ１０８）。
図１７は、動きベクトル予測器１１４にて実施されるステップ１０３における予測動きベクトルの生成ならびに付加情報符号化方法の詳細手順を示すフローチャートである。
メモリ２０１は、入力された付加情報、すなわち予測モード、動きベクトルおよび参照フレーム番号を格納する（ステップ２０２）。
次に、予測候補ブロック選択器２０２は、対象ブロックの予測モードから動きベクトルの符号化が必要か否かを判定する。動きベクトルの符号化が不要の場合（画面内予測、スキップ予測あるいはテンプレートマッチングによる予測）はステップ２０７に進み、動きベクトルの符号化が必要の場合はステップ２０４に進む（ステップ２０３）。続いて予測候補ブロック選択器２０２は、動きベクトル予測に用いる予測対象ブロックを選択する（ステップ２０４）。予測対象ブロックの選択方法については、図３と図４にて説明済みのため、ここでは割愛するが、選択したブロックの情報は予測ベクトル選択情報として付加情報に追加される。
予測動きベクトル探索器２０３では、予測対象ブロックの動きベクトルを加工し、予測動きベクトルを生成する（ステップ２０５）。動きベクトルの加工方法については、後述する。
差分器２０４は、対象ブロックの動きベクトルと予測動きベクトルの各成分の差分を取り、差分動きベクトルを算出する（ステップ２０６）。
生成された付加情報（予測モード、参照フレーム番号、差分動きベクトルならびに予測動きベクトル選択情報）はエントロピー符号化器１１１にて符号化される（ステップ２０７）。
図１８は、分離器２０６と予測動きベクトル探索器２０３にて実施されるステップ２０５における動きベクトル加工方法（予測動きベクトル探索方法）の詳細手順を示すフローチャートである。
まず、予測動きベクトル探索器２０３は、予測対象ブロックの予測モードを取得する（ステップ２３２）。そして、予測モードから予測対象ブロックが動きベクトルを持つか否かを判定する（ステップ２３３）。
予測対象ブロックが動きベクトルを持たない場合には、分離器２０６にて対象ブロックの参照フレーム番号を取得すると共に、予測動きベクトル探索器２０３がメモリ２０１から予測対象ブロックに隣接するブロックから動きベクトルを含む付加情報を取得し、ステップ２３７に進む（ステップ２３５）。
予測対象ブロックが動きベクトルを持つ場合には、判定器２３１が対象ブロックと予測対象ブロックの参照フレーム番号を取得し（ステップ２３４）、さらにそれらが一致するか否かを判定する（ステップ２３６）。切り替え器２３２は、２つの参照フレーム番号が一致する場合は、予測対象ブロックの動きベクトルを予測動きベクトルとして処理を終了し（ステップ２３８）、一致しない場合はステップ２３７に進むように制御される。
予測動きベクトル探索器２０３は、ステップ２３４あるいはステップ２３５にて得られた情報に基づいてテンプレートマッチングを実施する（ステップ２３７）。
図１９は、テンプレートマッチング器２３３にて実施されるステップ２３７におけるテンプレートマッチング方法の詳細手順を示すフローチャートである。
探索領域設定器２４０では、まず、予測対象ブロックあるいは予測対象ブロックに隣接するブロックの動きベクトルを対象ブロックの参照フレーム番号にて指示される参照画面上に対してスケーリングし、探索中心と探索領域を決定する。動きベクトルのスケーリング方法については、図７にて説明済みのため、ここでは説明を割愛する。
対象隣接領域取得器２４１では、対象ブロックあるいは予測対象ブロックに隣接する対象隣接領域（テンプレート領域）をフレームメモリ１０４から取得する。
予測隣接領域２４２と候補予測領域選択器２４３は探索領域から対象隣接領域との相関の高い領域を検索する。そして、検出された信号領域とテンプレート領域との間の空間的な変位量を予測動きベクトルとする。テンプレートマッチングの探索領域を設定方法とテンプレート領域に類似する信号領域を検出方法の詳細については、図８〜図１１を用いて説明済みであるため、ここでは説明を割愛する。また、図３０と図３１で説明した「対象予測ブロックの予測信号がテンプレートマッチングにて生成される場合」の別例も適用可能である。さらに、図３１のステップ２６１をＳ２０５に置き換えれば、ステップ２０５に「対象予測ブロックの予測信号がテンプレートマッチングにて生成されるケース」にも対応できる。なお、図１２と図１３を用いて説明した「予測対象ブロック選択処理の別例」も動画像符号化方法に適用可能である。
このように、本実施形態の動きベクトル予測方法によれば、テンプレートマッチングを用いることで予測動きベクトルを対象ブロックの参照フレーム番号が指示する参照画像に対する動きベクトルに修正できるため、差分動きベクトル値が小さくなり、差分動きベクトルの符号化効率が向上するという効果がある。
次に、図２０を用いて、本実施形態の動きベクトル予測処理に係る動画像復号装置３００における動画像復号方法を説明する。まず、入力端子３０１を介して、圧縮された圧縮データが入力される（ステップ３０２）。そして、エントロピー復号器３０２において、圧縮データに対しエントロピー復号が行われ、量子化された変換係数、付加情報が抽出される（ステップ３０３）。
動きベクトル予測器３０７は予測動きベクトルを生成し、付加情報に含まれる差分動きベクトルと加算して動きベクトルを復号する（ステップ３０４）。ステップ３０４の詳細は後述する。
再生された動きベクトルと付加情報（予測モード、参照フレーム番号）に基づいて、予測信号生成器１０３にて予測信号が生成される（ステップ３０５）。
一方、量子化された変換係数は、逆量子化器３０３において量子化パラメータを用いて逆量子化され、逆変換器３０４において逆変換が行われ、再生残差信号が生成される（ステップ３０６）。そして、生成された予測信号と再生残差信号とが加算されることで再生信号が生成され、この再生信号が次の対象ブロックを再生するためにフレームメモリ１０４に格納される（ステップ３０７）。次の圧縮データがある場合には、再度このプロセスを繰り返し（ステップ３０８）、全てデータが処理された時点で終了となる（ステップＳ３０９）。なお、必要に応じてステップＳ３０２に戻り、圧縮データを取り込むようにしてもよい。
図２１は、動きベクトル予測器３０７にて実施されるステップ３０４における予測動きベクトルの生成ならびに動きベクトルの復号方法の詳細手順を示すフローチャートである。
メモリ２０１は、入力された付加情報、すなわち予測モード、差分動きベクトル、参照フレーム番号および予測動きベクトル選択情報を格納する（ステップ２０２）。
次に、予測候補ブロック選択器２０２は、対象ブロックの予測モードから動きベクトルの再生が必要か否かを判定する。動きベクトルの再生が不要の場合（画面内予測、スキップモードあるいはテンプレートマッチングによる予測）はステップ３１６に進み、動きベクトルの再生が必要の場合はステップ３１４に進む（ステップ３１３）。続いて予測候補ブロック選択器２０２は、再生した予測動きベクトル選択情報に基づいて動きベクトル予測に用いる予測対象ブロックを選択する（ステップ３１４）。予測対象ブロックの選択方法については、図３と図４にて説明済みのため、ここでは割愛するが、選択したブロックの情報は予測ベクトル選択情報として付加情報に追加される。
予測動きベクトル探索器２０３では、予測対象ブロックの動きベクトルを加工し、予測動きベクトルを生成する（ステップ２０５）。動きベクトルの加工方法については、図１８と図１９ならびに図８〜図１１を用いて説明済みのため、ここでは説明を割愛する。なお、図３０と図３１にて説明した「対象予測ブロックの予測信号がテンプレートマッチングにて生成される場合」や図１２と図１３を用いて説明した「予測対象ブロック選択処理の別例」も動画像復号方法に適用可能である。
加算器２０４は、対象ブロックの差分ベクトルと予測動きベクトルの各成分の差分を取り、動きベクトルを再生する（ステップ３１５）。
再生された動きベクトルは他の付加情報（予測モード、参照フレーム番号）と共にメモリ２０１に保存される（ステップ３１７）。
本実施形態に係る動画像符号化方法及び動画像復号方法を、プログラムとして記録媒体に格納されて提供することもできる。記録媒体としては、フロッピーディスク（登録商標）、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはＲＯＭ等の記録媒体、あるいは半導体メモリ等が例示される。
図２２は、動画像符号化方法を実行することができるプログラムのモジュールを示すブロック図である。動画像符号化プログラムＰ１００は、ブロック分割モジュールＰ１０１、予測信号推定モジュールＰ１０２、予測信号生成モジュールＰ１０３、動きベクトル予測モジュールＰ１０４、記憶モジュールＰ１０５、減算モジュールＰ１０６、変換モジュールＰ１０７、量子化モジュールＰ１０８、逆量子化モジュールＰ１０９、逆変換モジュールＰ１１０、加算モジュールＰ１１１及びエントロピー符号化モジュールＰ１１２を備えている。動きベクトル予測モジュールＰ１０４は、図２３に示すように、予測候補ブロック選択モジュールＰ２０１、予測動きベクトル探索モジュールＰ２０２、差分モジュールＰ２０３及び動きベクトル記憶モジュールＰ２０４を備えている。さらに図２４に示すように予測動きベクトル探索モジュールＰ２０２は、判定モジュールＰ２３１、切り替えモジュール２３２、テンプレートマッチングモジュールＰ２３３を備えており、図２５に示すようにテンプレートマッチングモジュールＰ２３３は、探索領域設定モジュールＰ２４１、予測領域取得モジュール２４３及び候補予測領域選択モジュールを備えている。
上記各モジュールが実行されることにより実現される機能は、上述した動画像符号化装置１００の機能と同じである。すなわち、動画像符号化プログラムＰ１００の各モジュールの機能は、ブロック分割器１０２、予測信号推定装置１１３、予測信号生成器１０３、動きベクトル予測器１１４、フレームメモリ１０４、減算器１０５、変換器１０６、量子化器１０７、逆量子化器１０８、逆変換器１０９、加算器１１０、エントロピー符号化器１１１、予測候補ブロック選択器２０２、予測動きベクトル探索器２０３、差分器２０４、メモリ２１０、判定器２３１、切り替え器２３２、テンプレートマッチング器２３３、探索領域設定器２４０、対象隣接領域取得器２４１、予測隣接領域取得器２４２、及び候補予測領域選択器候補２４３の機能と同様である。
また、図２６は、動画像復号方法を実行することができるプログラムのモジュールを示すブロック図である。画像復号プログラムＰ３００は、エントロピー復号モジュールＰ３０２、逆量子化モジュールＰ３０３、逆変換モジュールＰ３０４、加算モジュールＰ３０５、予測信号生成モジュール１０３、動きベクトル予測モジュールＰ３０６及び記憶モジュールＰ１０５を備えている。さらに図２７に示すように動きベクトル予測モジュールＰ３０６は、予測候補ブロック選択モジュールＰ２０１、予測動きベクトル探索モジュールＰ２０２、加算モジュールＰ３１１及び動きベクトル記憶モジュールＰ２０４を備えている。
上記各モジュールが実行されることにより実現される機能は、上述した動画像復号装置３００の各構成要素と同じである。すなわち、動画像復号プログラムＰ３００の各モジュールの機能は、エントロピー復号器３０２、逆量子化器３０３、逆変換器３０４、加算器３０５、予測信号生成器１０３、動きベクトル予測器３０７、フレームメモリ１０４、予測候補ブロック選択器２０２、予測動きベクトル探索器２０３、加算３１２及びメモリ２０１の機能と同様である。
このように構成された動画像符号化プログラムＰ１００または動画像復号プログラムＰ３００は、記録媒体１０に記憶され、後述するコンピュータで実行される。
図２８は、記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図であり、図２９は、記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。なお、記録媒体に記憶されたプログラムを実行するものはコンピュータに限定されず、ＣＰＵを具備しソフトウエアによる処理や制御を行なうＤＶＤプレーヤ、セットトップボックス、携帯電話などでもよい。
図２８に示すように、コンピュータ３０は、フロッピーディスクドライブ装置、ＣＤ−ＲＯＭドライブ装置、ＤＶＤドライブ装置等の読取装置１２と、オペレーティングシステムを常駐させた作業用メモリ（ＲＡＭ）１４と、記録媒体１０に記憶されたプログラムを記憶するメモリ１６と、ディスプレイといった表示装置１８と、入力装置であるマウス２０及びキーボード２２と、データ等の送受を行うための通信装置２４と、プログラムの実行を制御するＣＰＵ２６とを備えている。コンピュータ３０は、記録媒体１０が読取装置１２に挿入されると、読取装置１２から記録媒体１０に格納された動画像符号化・復号プログラムにアクセス可能になり、当該動画像符号化・復号プログラムによって、本実施形態に係る動画像符号化装置または動画像復号装置として動作することが可能になる。
図２９に示すように、動画像符号化プログラム及び動画像復号プログラムは、搬送波に重畳されたコンピュータデータ信号４０としてネットワークを介して提供されるものであってもよい。この場合、コンピュータ３０は、通信装置２４によって受信した動画像符号化プログラムもしくは動画像復号プログラをメモリ１６に格納し、当該動画像符号化プログラムもしくは動画像復号プログラムを実行することができる。
つぎに、本実施形態の動画像符号化装置１００および動画像復号装置３００の作用効果について説明する。
本実施形態における動画像符号化装置１００において、フレームメモリ１０４は、符号化済みの画像である、複数の既再生画像を参照画像として格納しておき、ブロック分割器１０２が入力画像を複数の領域に分割し、予測信号推定器１１３が、分割された複数の領域のうち処理対象である対象領域との相関が高い領域をフレームメモリ１０４に格納されている複数の参照画像から探索し、動きベクトルを生成する。
予測信号生成器１０３は、予測信号推定器１１３により探索された参照画像を指示する参照フレーム番号と、処理対象である対象領域と予測信号推定器１１３により探索された領域との間の空間的な位置関係を示す動きベクトルとに基づいて、対象領域の予測信号を生成する。
そして、動きベクトル予測器１１４は、１つ以上の符号化済みの動きベクトルから予測動きベクトルを生成し、予測信号推定器１１３により生成された動きベクトルと該予測動きベクトルとの差分動きベクトルを生成する。
減算器１０５は、対象領域の予測信号と対象領域の対象画素信号との残差信号を生成し、変換器１０６、量子化器１０７、エントロピー符号化器１１１からなる符号化処理部は、残差信号と参照フレーム番号と動きベクトル予測器１１４にて生成された差分動きベクトルとを符号化する。
一方、逆量子化器１０８、逆変換器１０９からなる復元処理部は、符号化処理部にて符号化された残差信号を復元した上で、予測信号生成器１０３において生成された予測信号に加算し、再生画像を生成し、フレームメモリ１０４に参照画像として記憶させる。
さらに動きベクトル予測器１１４について、図８を参照してその動作を説明すると、以下の通りとなる。すなわち、上述動きベクトル予測器１１４は、符号化済み領域から１つの領域（例えば、図４の予測対象ブロック５０２）を選択し、選択された領域が参照フレーム番号を持たない場合、あるいは対象領域の参照フレーム番号と選択された領域の参照フレーム番号とが異なる場合には、対象領域（対象ブロック５０１）の周辺に位置する既再生の画素信号からなるテンプレート領域（例えば対象ブロック５０１に隣接する対象隣接領域５０１Ｔ）との相関が高い領域を、対象領域に付随する参照フレーム番号にて指示される参照画像から探索し、当該探索した領域（予測隣接領域５０１Ｍ）とテンプレート領域（対象隣接領域５０１Ｔ）との間の空間的な位置関係に基づいて予測動きベクトル（動きベクトル６０２Ｐ）を生成する。
なお、テンプレート領域を対象領域に隣接する既再生の画素信号からなる対象隣接領域５０１Ｔとすることのほか、図１１に示されるように、テンプレート領域を動きベクトル予測器１１４にて選択された領域（予測対象ブロック５０２）に隣接する既再生の隣接画素信号からなる対象隣接領域５０２Ｔとするようにしてもよい。
この発明によれば、対象領域の周辺に位置する既再生の画素信号からなるテンプレート領域との相関が高い領域を、対象領域に付随する参照フレーム番号にて指示される参照画像から探索し、当該探索した領域とテンプレート領域との間の空間的な位置関係に基づいて予測動きベクトルを生成することができる。よって、対象領域に隣接する既再生の予測対象ブロックの動きベクトルが０であった場合や、または動きベクトルを伴わない予測方法を用いられた場合であっても、対象領域における動きベクトルの予測を効率的に行い、また符号化効率を向上させることができる。
また、本実施形態の動画像符号化装置１００において、予測信号生成器１０３は、予測信号合成手段として機能しており、この予測信号生成器１０３は、対象領域（対象ブロック５０１）に隣接する既再生の隣接画素信号からなる対象隣接領域（対象隣接領域５０１Ｔ）との相関が高い予測隣接領域（予測隣接領域５０１Ｍ）を複数の参照画像から１つ以上探索し、１つ以上の予測隣接領域に基づいて前記対象領域の予測信号を加工する。例えば、Ｎ個の予測隣接領域を検出し、Ｎ個の候補予測信号を平均化することにより予測信号を加工する。
そして、予測動きベクトル予測器１１４は、さらに、複数の参照画像について、予測信号生成器１０３により探索された予測隣接領域（予測隣接領域５０１Ｍ）と対象隣接領域（予測隣接領域５０１Ｔ）との空間的な位置関係を示す動きベクトルをそれぞれ１つ保存する。選択された領域の予測信号が予測信号生成器１０３により生成されている場合、保存された動きベクトルのうち対象領域の参照フレーム番号に対応する動きベクトルを予測動きベクトルとする。
この発明によれば、予測対象領域の予測信号がテンプレートマッチングにて生成された場合には、その際に検出される動きベクトルを用いることでテンプレートマッチング処理効率を向上させることができる。
また、本実施形態の動画像復号装置３００は、エントロピー復号器３０２が、入力端子３０１を介して入力された圧縮データの中から処理対象である対象領域の差分動きベクトルと参照フレーム番号と残差信号の符号化データとを復号する。
そして、逆量子化器３０３、および逆変換器３０４は、前記残差信号の符号化データから再生残差信号を復元し、加算器３０５は、予測信号生成器１０３において生成された予測信号と復元された再生残差信号とを加算することによって、対象領域の画素信号を復元し、フレームメモリ１０４に格納させる。フレームメモリ１０４は、複数の既再生画像を参照画像として格納することになる。
一方、動きベクトル予測器３０７は、１つ以上の復元済みの動きベクトルから予測動きベクトルを生成し、エントロピー復号器３０２にて復号した差分動きベクトルと該予測動きベクトルを加算して動きベクトルを復元する。そして、予測信号生成器１０３は、動きベクトル予測器３０７にて復元した動きベクトルと対象領域の参照フレーム番号に基づいて、対象領域の予測信号を生成する。
さらに、詳細には、動きベクトル予測器３０７は、符号化済み領域から１つの領域（例えば、図４の予測対象ブロック５０２）を選択し、選択された領域が参照フレーム番号を持たない場合、あるいは対象領域の参照フレーム番号と選択された領域の参照フレーム番号とが異なる場合には、対象領域（対象ブロック５０１）の周辺に位置する既再生の画素信号からなるテンプレート領域（例えば対象ブロック５０１に隣接する対象隣接領域５０１Ｔ）との相関が高い領域を、対象領域に付随する参照フレーム番号にて指示される参照画像から探索し、当該探索した領域（予測隣接領域５０１Ｍ）とテンプレート領域（対象隣接領域５０１Ｔ）との間の空間的な位置関係に基づいて予測動きベクトル（動きベクトル６０２Ｐ）を生成する。
この発明によれば、対象領域の周辺に位置する既再生の画素信号からなるテンプレート領域との相関が高い領域を、対象領域に付随する参照フレーム番号にて指示される参照画像から探索し、当該探索した領域とテンプレート領域との間の空間的な位置関係に基づいて予測動きベクトルを生成することができる。よって、対象領域に隣接する既再生の予測対象ブロックの動きベクトルが０である場合や、または動きベクトルを伴わない予測方法を用いられた場合であっても、対象領域における動きベクトルの予測を効率的に行わせ、また符号化効率を向上させることができ、よってそのように符号化されたデータを復号することができる。
なお、テンプレート領域を対象領域に隣接する既再生の画素信号からなる対象隣接領域５０１Ｔとすることのほか、図１１に示されるように、テンプレート領域を動きベクトル予測器１１４にて選択された領域（予測対象ブロック５０２）に隣接する既再生の隣接画素信号からなる対象隣接領域５０２Ｔとするようにしてもよい。
また、本実施形態の動画像復号装置３００において、予測信号生成器１０３は、予測信号合成手段として機能しており、この予測信号生成器１０３は、対象領域（対象ブロック５０１）に隣接する既再生の隣接画素信号からなる対象隣接領域（対象隣接領域５０１Ｔ）との相関が高い予測隣接領域（予測隣接領域５０１Ｍ）を複数の参照画像から１つ以上探索し、前記１つ以上の予測隣接領域に基づいて前記対象領域の予測信号を加工する。例えば、Ｎ個の予測隣接領域を検出し、Ｎ個の候補予測信号を平均化することにより予測信号を加工する。
そして、予測動きベクトル予測器３０７は、さらに、複数の参照画像について、予測信号生成器１０３により探索された予測隣接領域（予測隣接領域５０１Ｍ）と対象隣接領域（予測隣接領域５０１Ｔ）との空間的な位置関係を示す動きベクトルをそれぞれ１つ保存する。
選択された領域の予測信号が予測信号生成器１０３により生成されている場合、保存された動きベクトルのうち対象領域の参照フレーム番号に対応する動きベクトルを予測動きベクトルとする。
この発明によれば、予測対象領域の予測信号がテンプレートマッチングにて生成された場合には、その際に検出される動きベクトルを用いることでテンプレートマッチング処理効率を向上させることができる。
また、本実施形態の動画像符号化装置１００と動画像復号装置３００とを備えた画像処理システムを構成することができる。この場合、動画像符号化装置１００が符号化したデータを動画像復号装置３００が復号することができるように構成されている。この動画像符号化装置１００と動画像復号装置３００とは、ネットワークを介して接続された画像処理システムとして構成しても良いし、一つの装置(例えばコンピュータ、携帯端末など)に動画像符号化装置１００と動画像復号装置３００とを備えたものとしてもよい。
本実施形態に係る動画像符号化装置１００を示すブロック図である。 ブロックマッチング処理を説明するための模式図であり、（Ａ）は参照画面を示し、（Ｂ）は符号化対象の画面を示す。 図１における動きベクトル予測器を示すブロック図である。 対象ブロックと予測対象ブロックの関係を説明するための模式図である。 図３における予測動きベクトル探索器を示すブロック図である。 図５におけるテンプレートマッチング器を説明するためのブロック図である。 動きベクトルのスケーリング処理を説明するためのブロック図である。 予測動きベクトル生成処理におけるテンプレートマッチング処理に関する模式図の第１例であり、（Ａ）は参照画面を示し、（Ｂ）は符号化対象の画面を示す。 予測動きベクトル生成処理におけるテンプレートマッチング処理に関する模式図の第２例であり、（Ａ）は参照画面を示し、（Ｂ）は符号化対象の画面を示す。 予測動きベクトル生成処理におけるテンプレートマッチング処理に関する模式図の第３例であり、（Ａ）は参照画面を示し、（Ｂ）は符号化対象の画面を示す。 予測動きベクトル生成処理におけるテンプレートマッチング処理に関する模式図の第４例であり、（Ａ）は参照画面を示し、（Ｂ）は符号化対象の画面を示す。 対象ブロックと予測対象ブロックの関係を説明するための模式図の別例である。 予測動きベクトル生成処理における時間方向への動きベクトル拡張処理を説明するための模式図である。 本実施形態に係る動画像復号装置３００を示すブロック図である。 図１４における動きベクトル予測器を示すブロック図である。 本実施形態に係る動画像符号化方法の手順を示すフローチャートである。 図１６の動画像符号化方法に含まれる動きベクトル予測方法の手順を説明するためのフローチャートである。 テンプレートマッチングを伴う動きベクトル探索処理の手順を説明するためのフローチャートである。 テンプレートマッチング処理の手順を説明するためのフローチャートである。 本実施形態に係る動画像復号方法の手順を示すフローチャートである。 図２０の動画像復号方法に含まれる動きベクトル予測方法の手順を説明するためのフローチャートである。 本実施形態に係る動画像符号化方法を実行することができるプログラムのモジュールを示すブロック図である。 図２２のモジュールに含まれる動きベクトル予測モジュールを示すブロック図である。 図２３のモジュールに含まれる予測動きベクトル探索モジュールを示すブロック図である。 図２４のモジュールに含まれるテンプレートマッチングモジュールを説明するためのブロック図である。 本実施形態に係る動画像復号方法を実行することができるプログラムのモジュールを示すブロック図である。 図２６のモジュールに含まれる動きベクトル予測モジュールを示すブロック図である。 記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図である。 記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。 予測信号生成器にて実施されるテンプレートマッチング処理手順を説明するためのフローチャートである。 予測動きベクトル探索器におけるテンプレートマッチングを伴わない予測動きベクトル決定処理を説明するためのフローチャートである。 従来の画面内予測方法を説明するための模式図である。
符号の説明
１０…記録媒体、１２…読み取り装置、１４…作業用メモリ、１６…メモリ、１８…ディスプレイ、２０…マウス、２２…キーボード、２４…通信装置、３０…コンピュータ、４０…コンピュータデータ信号、１００…動画像符号化装置、１０１…入力端子、１０２…ブロック分割器、１０３…予測信号生成器、１０４…フレームメモリ、１０５…減算器、１０６…変換器、１０７…量子化器、１０８…逆量子化器、１０９…逆変換器、１１０…加算器、１１１…エントロピー符号化器、１１２…出力端子、１１３…予測信号推定器、１１４…動きベクトル予測器、２０１…メモリ、２０２…予測対象ブロック選択器、２０３…予測動きベクトル探索器、２０４…差分器、２３１…判定器、２３２…切り替え器、２３４…テンプレートマッチング器、２４０…探索領域設定器、２４１…対象隣接領域取得器、２４２…予測隣接領域取得器、２４３…候補予測領域選択器、３０１…入力端子、３０２…エントロピー復号器、３０３…逆量子化器、３０４…逆変換器、３０５…加算器、３０６…出力端子、３０７…動きベクトル予測器、３１２…加算器。

Claims (18)

  1. 入力画像を複数の領域に分割する領域分割手段と、複数の既再生画像を参照画像として格納するための格納手段と、
    前記複数の領域のうち処理対象である対象領域との相関が高い領域を前記格納手段に格納されている複数の参照画像から探索し、前記対象領域の動きベクトルを生成する動き推定手段と、
    前記動き推定手段により探索された参照画像を指示する参照フレーム番号と、前記対象領域と探索された領域との間の空間的な位置関係を示す動きベクトルとに基づいて、前記対象領域の予測信号を生成する予測信号生成手段と、
    １つ以上の符号化済みの動きベクトルから予測動きベクトルを生成し、前記動き推定手段により生成された動きベクトルと該予測動きベクトルとの差分動きベクトルを生成する動きベクトル予測手段と、
    前記対象領域の予測信号と前記対象領域の対象画素信号との残差信号を生成する残差信号生成手段と、
    前記残差信号と前記参照フレーム番号と前記動きベクトル予測手段にて生成された差分動きベクトルとを符号化する符号化手段と、
    前記符号化された残差信号を復元した上で前記予測信号に加算し、再生画像を生成し、前記格納手段に参照画像として記憶させる復元手段と、を備え、
    前記動きベクトル予測手段は、
    符号化済み領域から１つの領域を選択し、選択された領域が参照フレーム番号を持たない場合、または前記対象領域の参照フレーム番号と選択された領域の参照フレーム番号が異なる場合には、前記対象領域の周辺に位置する既再生の画素信号からなるテンプレート領域との相関が高い領域を、前記対象領域に付随する参照フレーム番号にて指示される参照画像から探索し、該探索した領域と前記テンプレート領域との間の空間的な位置関係に基づいて前記予測動きベクトルを生成することを特徴とする動画像符号化装置。
  2. 前記テンプレート領域を対象領域に隣接する既再生の画素信号からなる対象隣接領域とすることを特徴とする請求項１に記載の動画像符号化装置。
  3. 前記テンプレート領域を前記動きベクトル予測手段にて選択された領域に隣接する既再生の隣接画素信号からなる対象隣接領域とすることを特徴とする請求項１に記載の動画像符号化装置。
  4. 前記予測信号生成手段は、さらに前記対象領域に隣接する既再生の隣接画素信号からなる対象隣接領域との相関が高い予測隣接領域を複数の参照画像から１つ以上探索し、前記１つ以上の予測隣接領域に基づいて前記対象領域の予測信号を加工する予測信号合成手段を含んでおり、
    前記動きベクトル予測手段は、さらに、前記複数の参照画像について、前記予測信号合成手段により探索された予測隣接領域と対象隣接領域との空間的な位置関係を示す動きベクトルをそれぞれ１つ保存し、
    前記選択された領域の予測信号が前記予測信号合成手段により生成されている場合、前記保存された動きベクトルのうち対象領域の参照フレーム番号に対応する動きベクトルを前記予測動きベクトルとすることを特徴とする請求項１から請求項３のいずれか一項に記載の動画像符号化装置。
  5. 圧縮データの中から処理対象である対象領域の差分動きベクトルと参照フレーム番号と残差信号の符号化データとを復号するデータ復号手段と、
    複数の既再生画像を参照画像として格納するための格納手段と
    前記残差信号の符号化データから再生残差信号を復元する残差信号復元手段と、
    １つ以上の復元済みの動きベクトルから予測動きベクトルを生成し、前記データ復号手段にて復号した差分動きベクトルと該予測動きベクトルを加算して動きベクトルを復元する動きベクトル予測手段と、
    前記動きベクトル予測手段にて復元した動きベクトルと前記対象領域の参照フレーム番号に基づいて、前記対象領域の予測信号を生成する予測信号生成手段と、
    前記予測信号と前記再生残差信号とを加算することによって、前記対象領域の画素信号を復元する画像復元手段と、を備え、
    前記動きベクトル予測手段は、
    復号済み領域から１つの領域を選択し、選択された領域が参照フレーム番号を持たない場合、または前記対象領域の参照フレーム番号と選択された領域の参照フレーム番号が異なる場合には、前記対象領域の周辺に位置する既再生の画素信号からなるテンプレート領域との相関が高い領域を前記対象領域に付随する参照フレーム番号にて指示される参照画像から探索し、該探索した領域と前記テンプレート領域との間の空間的な位置関係に基づいて前記予測動きベクトルを生成することを特徴とする動画像復号装置。
  6. 前記テンプレート領域を対象領域に隣接する既再生の画素信号からなる対象隣接領域とすることを特徴とする請求項５に記載の動画像復号装置。
  7. 前記テンプレート領域を前記動きベクトル予測手段にて選択された領域に隣接する既再生の隣接画素信号からなる対象隣接領域とすることを特徴とする請求項５に記載の動画像復号装置。
  8. 前記予測信号生成手段は、さらに前記対象領域に隣接する既再生の隣接画素信号からなる対象隣接領域との相関が高い予測隣接領域を複数の参照画像から１つ以上探索し、前記１つ以上の予測隣接領域に基づいて前記対象領域の予測信号を加工する予測信号合成手段を含んでおり、
    前記動きベクトル予測手段は、さらに、前記複数の参照画像について、前記予測信号合成手段により探索された予測隣接領域と対象隣接領域との空間的な位置関係を示す動きベクトルをそれぞれ１つ保存し、
    前記選択された領域の予測信号が前記予測信号合成手段により生成されている場合、前記保存された動きベクトルのうち対象領域の参照フレーム番号に対応する動きベクトルを前記予測動きベクトルとすることを特徴とする請求項５から請求項７のいずれか一項に記載の動画像復号装置。
  9. 入力画像を複数の領域に分割する領域分割ステップと、
    前記複数の領域のうち処理対象である対象領域との相関が高い領域を、格納手段に格納されている複数の参照画像から探索し、前記対象領域の動きベクトルを生成する動き推定ステップと、
    前記動き推定ステップにより探索された参照画像を指示する参照フレーム番号と、前記対象領域と探索された領域との間の空間的な位置関係を示す動きベクトルとに基づいて、前記対象領域の予測信号を生成する予測信号生成ステップと、
    １つ以上の符号化済みの動きベクトルから予測動きベクトルを生成し、前記動き推定ステップにおいて生成された動きベクトルと該予測動きベクトルとの差分動きベクトルを生成する動きベクトル予測ステップと、
    前記対象領域の予測信号と前記対象領域の対象画素信号との残差信号を生成する残差信号生成ステップと、
    前記残差信号と前記参照フレーム番号と前記動きベクトル予測ステップにて生成された差分動きベクトルとを符号化する符号化ステップと、
    前記符号化された残差信号を復元した上で前記予測信号に加算し、再生画像を生成し、前記格納手段に参照画像として記憶させる復元ステップと、を備え、
    前記動きベクトル予測ステップは、
    符号化済み領域から１つの領域を選択し、選択された領域が参照フレーム番号を持たない場合、または前記対象領域の参照フレーム番号と選択された領域の参照フレーム番号が異なる場合には、前記対象領域の周辺に位置する既再生の画素信号からなるテンプレート領域との相関が高い領域を、前記対象領域に付随する参照フレーム番号にて指示される参照画像から探索し、該探索した領域と前記テンプレート領域との間の空間的な位置関係に基づいて前記予測動きベクトルを生成することを特徴とする動画像符号化方法。
  10. 前記予測信号生成ステップは、さらに前記対象領域に隣接する既再生の隣接画素信号からなる対象隣接領域との相関が高い予測隣接領域を複数の参照画像から１つ以上探索し、前記１つ以上の予測隣接領域に基づいて前記対象領域の予測信号を加工する予測信号合成ステップを含んでおり、
    前記動きベクトル予測ステップは、さらに、前記複数の参照画像について、前記予測信号合成ステップにおいて探索された予測隣接領域と対象隣接領域との空間的な位置関係を示す動きベクトルをそれぞれ１つ保存し、
    前記選択された領域の予測信号が前記予測信号合成ステップにおいて生成されている場合、前記保存された動きベクトルのうち対象領域の参照フレーム番号に対応する動きベクトルを前記予測動きベクトルとすることを特徴とする請求項９に記載の動画像符号化方法。
  11. 圧縮データの中から処理対象である対象領域の差分動きベクトルと参照フレーム番号と残差信号の符号化データとを復号するデータ復号ステップと、
    複数の既再生画像を参照画像として格納するための格納ステップと
    前記残差信号の符号化データから再生残差信号を復元する残差信号復元ステップと、
    １つ以上の復元済みの動きベクトルから予測動きベクトルを生成し、前記データ復号ステップにて復号した差分動きベクトルと該予測動きベクトルを加算して動きベクトルを復元する動きベクトル予測ステップと、
    前記動きベクトル予測ステップにて復元した動きベクトルと前記対象領域の参照フレーム番号に基づいて、前記対象領域の予測信号を生成する予測信号生成ステップと、
    前記予測信号と前記再生残差信号とを加算することによって、前記対象領域の画素信号を復元し、格納手段に参照画像として格納させる画像復元ステップと、を備え、
    前記動きベクトル予測ステップは、
    復号済み領域から１つの領域を選択し、選択された領域が参照フレーム番号を持たない場合、または前記対象領域の参照フレーム番号と選択された領域の参照フレーム番号が異なる場合には、前記対象領域の周辺に位置する既再生の画素信号からなるテンプレート領域との相関が高い領域を前記対象領域に付随する参照フレーム番号にて指示される参照画像から探索し、該探索した領域と前記テンプレート領域との間の空間的な位置関係に基づいて前記予測動きベクトルを生成することを特徴とする動画像復号方法。
  12. 前記予測信号生成ステップは、さらに前記対象領域に隣接する既再生の隣接画素信号からなる対象隣接領域との相関が高い予測隣接領域を複数の参照画像から１つ以上探索し、前記１つ以上の予測隣接領域に基づいて前記対象領域の予測信号を加工する予測信号合成ステップを含んでおり、
    前記動きベクトル予測ステップは、さらに、前記複数の参照画像について、前記予測信号合成ステップにおいて探索された予測隣接領域と対象隣接領域との空間的な位置関係を示す動きベクトルをそれぞれ１つ保存し、
    前記選択された領域の予測信号が前記予測信号合成ステップにおいて生成されている場合、前記保存された動きベクトルのうち対象領域の参照フレーム番号に対応する動きベクトルを前記予測動きベクトルとすることを特徴とする請求項１１に記載の動画像復号方法。
  13. 入力画像を複数の領域に分割する領域分割モジュールと、
    前記複数の領域のうち処理対象である対象領域との相関が高い領域を、格納手段に格納されている複数の参照画像から探索し、前記対象領域の動きベクトルを生成する動き推定モジュールと、
    前記動き推定モジュールにより探索された参照画像を指示する参照フレーム番号と、前記対象領域と探索された領域との間の空間的な位置関係を示す動きベクトルとに基づいて、前記対象領域の予測信号を生成する予測信号生成モジュールと、
    １つ以上の符号化済みの動きベクトルから予測動きベクトルを生成し、前記動き推定モジュールにおいて生成された動きベクトルと該予測動きベクトルとの差分動きベクトルを生成する動きベクトル予測モジュールと、
    前記対象領域の予測信号と前記対象領域の対象画素信号との残差信号を生成する残差信号生成モジュールと、
    前記残差信号と前記参照フレーム番号と前記動きベクトル予測モジュールにて生成された差分動きベクトルとを符号化する符号化モジュールと、
    前記符号化された残差信号を復元した上で前記予測信号に加算し、再生画像を生成し、前記格納手段に参照画像として記憶させる復元モジュールと、を備え、
    前記動きベクトル予測モジュールは、
    符号化済み領域から１つの領域を選択し、選択された領域が参照フレーム番号を持たない場合、または前記対象領域の参照フレーム番号と選択された領域の参照フレーム番号が異なる場合には、前記対象領域の周辺に位置する既再生の画素信号からなるテンプレート領域との相関が高い領域を、前記対象領域に付随する参照フレーム番号にて指示される参照画像から探索し、該探索した領域と前記テンプレート領域との間の空間的な位置関係に基づいて前記予測動きベクトルを生成することを特徴とする動画像符号化プログラム。
  14. 前記予測信号生成モジュールは、さらに前記対象領域に隣接する既再生の隣接画素信号からなる対象隣接領域との相関が高い予測隣接領域を複数の参照画像から１つ以上探索し、前記１つ以上の予測隣接領域に基づいて前記対象領域の予測信号を加工する予測信号合成モジュールを含んでおり、
    前記動きベクトル予測モジュールは、さらに、前記複数の参照画像について、前記予測信号合成モジュールにより探索された予測隣接領域と対象隣接領域との空間的な位置関係を示す動きベクトルをそれぞれ１つ保存し、
    前記選択された領域の予測信号が前記予測信号合成モジュールにより生成されている場合、前記保存された動きベクトルのうち対象領域の参照フレーム番号に対応する動きベクトルを前記予測動きベクトルとすることを特徴とする請求項１３に記載の動画像符号化プログラム。
  15. 圧縮データの中から処理対象である対象領域の差分動きベクトルと参照フレーム番号と残差信号の符号化データとを復号するデータ復号モジュールと、
    複数の既再生画像を参照画像として格納するための格納モジュールと
    前記残差信号の符号化データから再生残差信号を復元する残差信号復元モジュールと、
    １つ以上の復元済みの動きベクトルから予測動きベクトルを生成し、前記データ復号モジュールにて復号した差分動きベクトルと該予測動きベクトルを加算して動きベクトルを復元する動きベクトル予測モジュールと、
    前記動きベクトル予測モジュールにて復元した動きベクトルと前記対象領域の参照フレーム番号に基づいて、前記対象領域の予測信号を生成する予測信号生成モジュールと、
    前記予測信号と前記再生残差信号とを加算することによって、前記対象領域の画素信号を復元し、格納手段に参照画像として格納させる画像復元モジュールと、を備え、
    前記動きベクトル予測モジュールは、
    復号済み領域から１つの領域を選択し、選択された領域が参照フレーム番号を持たない場合、または前記対象領域の参照フレーム番号と選択された領域の参照フレーム番号が異なる場合には、前記対象領域の周辺に位置する既再生の画素信号からなるテンプレート領域との相関が高い領域を前記対象領域に付随する参照フレーム番号にて指示される参照画像から探索し、該探索した領域と前記テンプレート領域との間の空間的な位置関係に基づいて前記予測動きベクトルを生成することを特徴とする動画像復号プログラム。
  16. 前記予測信号生成モジュールは、さらに前記対象領域に隣接する既再生の隣接画素信号からなる対象隣接領域との相関が高い予測隣接領域を複数の参照画像から１つ以上探索し、前記１つ以上の予測隣接領域に基づいて前記対象領域の予測信号を加工する予測信号合成モジュールを含んでおり、
    前記動きベクトル予測モジュールは、さらに、前記複数の参照画像について、前記予測信号合成モジュールにより探索された予測隣接領域と対象隣接領域との空間的な位置関係を示す動きベクトルをそれぞれ１つ保存し、
    前記選択された領域の予測信号が前記予測信号合成モジュールにより生成されている場合、前記保存された動きベクトルのうち対象領域の参照フレーム番号に対応する動きベクトルを前記予測動きベクトルとすることを特徴とする請求項１５に記載の動画像復号プログラム。
  17. 請求項１〜４のいずれか一項に記載の動画像符号化装置と、請求項５〜８のいずれか一項に記載の動画像復号装置と、を備える動画像処理システムであって、
    前記動画像符号化装置において符号化されたデータを、前記動画像復号装置が復号することを特徴とする動画像処理システム。
  18. 請求項９に記載の動画像符号化方法と、請求項１１に記載の動画像復号方法と、を備える動画像処理方法であって、
    前記動画像符号化方法において符号化されたデータを、前記動画像復号方法において復号することを特徴とする動画像処理方法。
JP2008263080A 2008-10-09 2008-10-09 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、動画像復号プログラム、動画像処理システムおよび動画像処理方法 Active JP5401071B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2008263080A JP5401071B2 (ja) 2008-10-09 2008-10-09 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、動画像復号プログラム、動画像処理システムおよび動画像処理方法
EP20090819158 EP2337358B1 (en) 2008-10-09 2009-10-05 Method, device and computer program for improving motion vector prediction
PCT/JP2009/067334 WO2010041624A1 (ja) 2008-10-09 2009-10-05 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、動画像復号プログラム、動画像処理システムおよび動画像処理方法
ES09819158.8T ES2532017T3 (es) 2008-10-09 2009-10-05 Método, dispositivo y programa de ordenador para mejorar la predicción de vectores de movimiento
CN2009801400117A CN102177716B (zh) 2008-10-09 2009-10-05 动态图像编码装置、动态图像解码装置、动态图像编码方法、动态图像解码方法、动态图像处理***以及动态图像处理方法
TW098134129A TWI508532B (zh) 2008-10-09 2009-10-08 Animation encoding apparatus, animation decoding apparatus, animation encoding method, animation decoding method, animation coding program, animation decoding program, animation processing system and animation processing method
US13/082,132 US9351014B2 (en) 2008-10-09 2011-04-07 Moving image encoding and decoding system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008263080A JP5401071B2 (ja) 2008-10-09 2008-10-09 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、動画像復号プログラム、動画像処理システムおよび動画像処理方法

Publications (2)

Publication Number Publication Date
JP2010093646A JP2010093646A (ja) 2010-04-22
JP5401071B2 true JP5401071B2 (ja) 2014-01-29

Family

ID=42100574

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008263080A Active JP5401071B2 (ja) 2008-10-09 2008-10-09 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、動画像復号プログラム、動画像処理システムおよび動画像処理方法

Country Status (7)

Country Link
US (1) US9351014B2 (ja)
EP (1) EP2337358B1 (ja)
JP (1) JP5401071B2 (ja)
CN (1) CN102177716B (ja)
ES (1) ES2532017T3 (ja)
TW (1) TWI508532B (ja)
WO (1) WO2010041624A1 (ja)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101522850B1 (ko) 2010-01-14 2015-05-26 삼성전자주식회사 움직임 벡터를 부호화, 복호화하는 방법 및 장치
US8879632B2 (en) * 2010-02-18 2014-11-04 Qualcomm Incorporated Fixed point implementation for geometric motion partitioning
JP2011259204A (ja) * 2010-06-09 2011-12-22 Sony Corp 画像復号化装置と画像符号装置およびその方法とプログラム
EP2583457A4 (en) * 2010-06-21 2015-07-29 Thomson Licensing METHOD AND APPARATUS FOR ENCODING / DECODING IMAGE DATA
KR101836981B1 (ko) * 2010-07-09 2018-03-09 한국전자통신연구원 템플릿 매칭을 이용한 영상 부호화 방법 및 장치, 그리고 복호화 방법 및 장치
RU2580942C2 (ru) * 2010-10-06 2016-04-10 Нтт Докомо, Инк. Устройство прогнозирующего кодирования изображений, способ прогнозирующего кодирования изображений, программа прогнозирующего кодирования изображений, устройство прогнозирующего декодирования изображений, способ прогнозирующего декодирования изображений и программа прогнозирующего декодирования изображений
US8787459B2 (en) * 2010-11-09 2014-07-22 Sony Computer Entertainment Inc. Video coding methods and apparatus
RU2649770C1 (ru) * 2011-01-07 2018-04-04 Нтт Докомо, Инк. Способ прогнозирующего кодирования, устройство прогнозирующего кодирования и программа прогнозирующего кодирования вектора движения и способ прогнозирующего декодирования, устройство прогнозирующего декодирования и программа прогнозирующего декодирования вектора движения
GB2487200A (en) 2011-01-12 2012-07-18 Canon Kk Video encoding and decoding with improved error resilience
JP2012151796A (ja) * 2011-01-21 2012-08-09 Sony Corp 画像処理装置と画像処理方法およびプログラム
JP2012209705A (ja) * 2011-03-29 2012-10-25 Jvc Kenwood Corp 画像符号化装置、画像符号化方法及び画像符号化プログラム
JP2012209706A (ja) * 2011-03-29 2012-10-25 Jvc Kenwood Corp 画像復号装置、画像復号方法及び画像復号プログラム
GB2491589B (en) 2011-06-06 2015-12-16 Canon Kk Method and device for encoding a sequence of images and method and device for decoding a sequence of image
TWI628950B (zh) * 2011-06-27 2018-07-01 三星電子股份有限公司 影像解碼裝置
JP5729817B2 (ja) 2011-06-29 2015-06-03 日本電信電話株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム及び動画像復号プログラム
EP3419290B1 (en) * 2011-06-30 2020-12-23 JVC KENWOOD Corporation Image coding device, image coding method, image coding program, image decoding device, image decoding method, and image decoding program
TWI552577B (zh) * 2011-10-31 2016-10-01 Jvc Kenwood Corp Motion picture decoding device, dynamic image decoding method, and dynamic image decoding program product
US9571833B2 (en) 2011-11-04 2017-02-14 Nokia Technologies Oy Method for coding and an apparatus
KR20130050403A (ko) * 2011-11-07 2013-05-16 오수미 인터 모드에서의 복원 블록 생성 방법
JP5485969B2 (ja) * 2011-11-07 2014-05-07 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム
HUE053940T2 (hu) * 2011-12-16 2021-08-30 Jvc Kenwood Corp Dinamikus képkódoló készülék, dinamikus képkódoló eljárás, dinamikus képkódoló program, dinamikus képdekódoló készülék, dinamikus képdekódoló eljárás és dinamikus képdekódoló program
JP5849681B2 (ja) * 2011-12-16 2016-02-03 富士通株式会社 符号化装置、復号装置、符号化方法、復号方法、符号化プログラム、及び復号プログラム
US9762904B2 (en) 2011-12-22 2017-09-12 Qualcomm Incorporated Performing motion vector prediction for video coding
WO2013099285A1 (ja) * 2011-12-28 2013-07-04 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム、並びに動画像復号装置、動画像復号方法及び動画像復号プログラム
WO2013108689A1 (ja) * 2012-01-19 2013-07-25 ソニー株式会社 画像処理装置および方法
US20130343459A1 (en) * 2012-06-22 2013-12-26 Nokia Corporation Method and apparatus for video coding
CN104363451B (zh) 2014-10-27 2019-01-25 华为技术有限公司 图像预测方法及相关装置
CN111556323B (zh) * 2016-02-06 2022-05-13 华为技术有限公司 图像编解码方法及装置
EP3239929B1 (en) * 2016-04-27 2019-06-12 Canon Kabushiki Kaisha Image processing apparatus, image processing method and program
US11240526B2 (en) 2017-01-02 2022-02-01 Industry-University Cooperation Foundation Hanyang University Method and apparatus for decoding image using interpicture prediction
CN111201795B (zh) * 2017-10-09 2022-07-26 华为技术有限公司 存储访问窗口和用于运动矢量修正的填充
WO2019187096A1 (ja) * 2018-03-30 2019-10-03 株式会社ソシオネクスト 復号方法、復号装置、符号化装置及びプログラム
CN110662033B (zh) * 2018-06-28 2021-11-23 杭州海康威视数字技术股份有限公司 一种解码、编码方法及其设备
JP2023086507A (ja) * 2021-12-10 2023-06-22 キオクシア株式会社 情報処理装置および方法
CN115529459B (zh) * 2022-10-10 2024-02-02 格兰菲智能科技有限公司 中心点搜索方法、装置、计算机设备、存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1155259C (zh) 1996-11-26 2004-06-23 松下电器产业株式会社 运动图象可变比特率编码装置和编码方法
US6289052B1 (en) * 1999-06-07 2001-09-11 Lucent Technologies Inc. Methods and apparatus for motion estimation using causal templates
US6765964B1 (en) 2000-12-06 2004-07-20 Realnetworks, Inc. System and method for intracoding video data
CN102025991B (zh) * 2001-09-14 2017-12-29 株式会社Ntt都科摩 编码方法、译码方法、编码装置、译码装置和图像处理***
US7003035B2 (en) 2002-01-25 2006-02-21 Microsoft Corporation Video coding methods and apparatuses
JP4130783B2 (ja) * 2002-04-23 2008-08-06 松下電器産業株式会社 動きベクトル符号化方法および動きベクトル復号化方法
JP4373702B2 (ja) * 2003-05-07 2009-11-25 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム
JP4213646B2 (ja) * 2003-12-26 2009-01-21 株式会社エヌ・ティ・ティ・ドコモ 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法、及び画像復号プログラム。
JP4879558B2 (ja) * 2005-11-02 2012-02-22 パナソニック株式会社 動きベクトル検出装置
JP4994767B2 (ja) * 2006-10-03 2012-08-08 株式会社エヌ・ティ・ティ・ドコモ 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラム
CA2656123A1 (en) * 2006-04-28 2007-11-08 Ntt Docomo, Inc. Image predictive coding device, image predictive coding method, image predictive coding program, image predictive decoding device, image predictive decoding method and image predictive decoding program
JP2007300380A (ja) 2006-04-28 2007-11-15 Ntt Docomo Inc 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラム
WO2008056934A1 (en) * 2006-11-07 2008-05-15 Samsung Electronics Co., Ltd. Method of and apparatus for video encoding and decoding based on motion estimation

Also Published As

Publication number Publication date
US20110228853A1 (en) 2011-09-22
ES2532017T3 (es) 2015-03-23
CN102177716B (zh) 2013-08-14
EP2337358B1 (en) 2014-12-10
JP2010093646A (ja) 2010-04-22
WO2010041624A1 (ja) 2010-04-15
US9351014B2 (en) 2016-05-24
TWI508532B (zh) 2015-11-11
EP2337358A4 (en) 2013-05-29
EP2337358A1 (en) 2011-06-22
TW201036451A (en) 2010-10-01
CN102177716A (zh) 2011-09-07

Similar Documents

Publication Publication Date Title
JP5401071B2 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、動画像復号プログラム、動画像処理システムおよび動画像処理方法
JP6559309B2 (ja) 画像予測復号方法
JP5485969B2 (ja) 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム
KR20100119562A (ko) 화상 예측 부호화 장치, 화상 예측 부호화 방법, 화상 예측 부호화 프로그램, 화상 예측 복호 장치, 화상 예측 복호 방법 및 화상 예측 복호 프로그램
JP5922281B2 (ja) 動画像予測符号化装置、動画像予測符号化方法、動画像予測復号装置及び動画像予測復号方法
JP6134418B2 (ja) 動画像予測復号装置及び動画像予測復号方法
JP5736083B2 (ja) 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム
JP5668169B2 (ja) 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム
JP5642305B2 (ja) 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110913

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130402

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130527

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131008

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131028

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5401071

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250