JP4523023B2

JP4523023B2 - 画像符号化装置および方法

Info

Publication number: JP4523023B2
Application number: JP2007205864A
Authority: JP
Inventors: 秀之大古瀬
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2007-08-07
Filing date: 2007-08-07
Publication date: 2010-08-11
Anticipated expiration: 2027-08-07
Also published as: JP2009044350A; US20090041124A1; US8548058B2

Description

本発明は、画像符号化装置およびその方法に関し、特に、第１の符号化方式で符号化された画像を第２の符号化方式で再符号化する画像符号化装置および方法に関する。

近年、アナログテレビ放送等の標準品位テレビ（ＳＤＴＶ：ＳｔａｎｄａｒｄＤｅｆｉｎｉｔｉｏｎＴｅｌｅＶｉｓｉｏｎ）のストリームをデジタル化し、さらに圧縮符号化してハードディスク（ＨＤＤ：ＨａｒｄＤｉｓｋＤｒｉｖｅ）やＤＶＤ−ＲＡＭ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｋＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）等の光ディスクに記録するデジタルビデオレコーダが普及している。さらに、衛星放送や地上波のデジタルハイビジョンテレビ放送等の高品位テレビ（ＨＤＴＶ：ＨｉｇｈＤｅｆｉｎｉｔｉｏｎＴｅｌｅＶｉｓｉｏｎ、以下、ＨＤＴＶと記載。）のストリームを記録可能なデジタルビデオレコーダが商品化されはじめている。

ＨＤＴＶ放送ではＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ）−２規格で符号化されたストリームが送信されている。ＨＤＴＶ放送を記録するときには、ＭＰＥＧ−２ストリームのままで記録する。あるいは、ＭＰＥＧ−２規格で符号化され復号化されたストリームの画像をＤＶＤ規格で規定された画像サイズに変換し、ＭＰＥＧ−２規格で再符号化して記録する方法が一般的である。また、ＭＰＥＧ−２規格で符号化され復号化されたストリームの画像をＭＰＥＧ−２規格よりも符号化効率が高いＨ．２６４規格で再符号化して記録する方法もある。Ｈ．２６４規格で再符号化した場合、ビットレートを下げて記録したとしてもＨＤＴＶの画像サイズのままで画質劣化を抑えて記録できる。

しかし、Ｈ．２６４規格で符号化する場合、ＭＰＥＧ−２規格で符号化する場合に比べて動き補償の自由度が高く参照可能な画像が多いため処理量が膨大なものになる。

また、ＨＤＴＶ放送のようにＨＤ（ＨｉｇｈＤｅｆｉｎｉｔｉｏｎ；高解像度）画像を符号化する場合には、動き検出を行う探索範囲を広くする必要があり、動き検出を行う探索範囲を広げるとＳＤＴＶ放送を記録するときと比べるとさらに処理量が増大する。

ＨＤＴＶ放送の画像サイズは、ＳＤＴＶ放送の画像サイズの約６倍である。そのため、ＭＰＥＧ−２規格でＨＤＴＶ放送を記録する場合でも、ＳＤＴＶ放送を記録する場合と同程度の動きベクトル検出性能を実現するためにはＳＤＴＶ放送を記録するときと比べて約６倍の探索範囲が必要となる。

さらに、Ｈ．２６４規格でＨＤＴＶ放送を記録（符号化）する場合、ＭＰＥＧ−２規格でＨＤＴＶ放送を記録（符号化）する場合と比べると、符号化単位であるマクロブロック（ＭＢ：ＭＡＣＲＯＢＬＯＣＫ）数は６倍であることから、３６倍の処理量が必要となる。

また、ＭＰＥＧ−２規格では最大２フレーム（４フィールド）が参照できるのに対して、Ｈ．２６４規格では、動き補償を行うときに、最大１６ピクチャを参照することが許されている。そのため、Ｈ．２６４規格ではＭＰＥＧ−２規格に比べてより精度の高い動きベクトルを検出することが可能となる。しかし、Ｈ．２６４規格において、全ての参照ピクチャに対して動きベクトル検出を行うと、ＭＰＥＧ−２規格に対してさらに８倍の処理量が必要となる。以上のように、ＭＰＥＧ−２規格よりも符号化効率が高いＨ．２６４規格で再符号化する場合、ＭＰＥＧ−２規格で再符号化する場合と比べると処理量が膨大になってしまうという課題がある。

そこで、動き検出を行う探索範囲を狭めても精度の良い動きベクトルを検出して符号化する方法が提案されている（例えば、特許文献１）。

上記特許文献１の「デジタル画像符号化装置とこれに用いる動きベクトル検出装置」では、符号化時に既に符号化した画像の動きベクトル情報を用いることで動き検出を行う探索範囲を決定している。
特開平１１−３０８６１７号公報

しかしながら、上記特許文献１では、過去に符号化した結果のみを用いて動き検出を行う探索範囲を狭めると、動きの方向が急に逆向きになる場合や動きに加速度を伴う場合に、画面全体の動きに追従できず、動きベクトルの検出精度が低下する。さらにまた、検出精度が低下した動きベクトルを用いて動き検出を行う探索範囲にフィードバックされるため、間違った情報を基に探索範囲を狭めることになり、さらに動き検出精度が低下することになる。そのため、探索範囲を充分に狭めることができない。

そこで、本発明は上記の事情に鑑みてなされたものであり、処理量を削減しつつ、精度の高い動きベクトルを検出して符号化することができる画像符号化装置および方法を提供することを目的とする。

上記目的を達成するために、本発明に係る画像符号化装置は、第１符号化方式で符号化された第１の符号化データを第２符号化方式で符号化された第２の符号化データに変換する画像符号化装置であって前記第１の符号化データを復号化し、動きベクトルを含む復号化情報と復号画像とを生成する復号化手段と、前記復号化手段が生成した復号画像を前記第２符号化方式で符号化し、動きベクトルを含む符号化情報と符号化画像とを含む第２の符号化データを生成する符号化手段と、前記復号化手段が生成した復号化情報を保持する復号化情報保持手段と、前記符号化手段が生成した符号化情報を保持する符号化情報保持手段と、前記復号化情報保持手段に保持された復号化情報に含まれる動きベクトルと前記符号化情報保持手段に保持された符号化情報に含まれる動きベクトルとから前記復号画像の動きを示す基本動き情報を生成する基本動き情報生成手段とを備え、前記符号化手段は、前記基本動き情報生成手段が生成した基本動き情報の示す動きによって指し示される範囲を探索範囲として決定し、決定した探索範囲内で前記復号画像の動きベクトルを検出し、検出した動きベクトルを含む符号化情報と符号化画像とを含む第２の符号化データを生成する。

この構成により、動きベクトルを検出する際に、入力ストリームの第１の符号化データの復号化情報あるいは再符号化したときの符号化情報が選択されて、動きベクトルを検出するのに利用可能な情報である基本動き情報として用いられることにより、動きベクトル検出を行う探索範囲を効果的に決定できる。すなわち、動きベクトル検出を行う探索範囲が基本動き情報を基に絞っても精度よく動きベクトルが検出できる。それ故、動きベクトル検出を行う探索範囲を狭めて処理量を削減しても、精度の高い動きベクトルを検出することが可能となる。それにより、処理量を削減しつつ、精度の高い動きベクトルを検出して符号化することができる画像符号化装置および方法を実現することができる。

また、前記基本動き情報生成手段は、前記復号化情報保持手段に保持された復号化情報に含まれる複数の動きベクトルと前記符号化情報保持手段に保持された符号化情報に含まれる複数の動きベクトルとから動きベクトルのばらつきの小さい方を選択して基本動き情報を生成してもよい。

この構成により、より精度の高い探索範囲を指し示す基本動き情報を生成することができる。

また、前記基本動き情報生成手段は、前記復号化情報に含まれる複数の動きベクトルを代表する第１の代表ベクトルと前記符号化情報に含まれる複数の動きベクトルを代表する第２の代表ベクトルとを生成する生成部と、前記第１あるいは前記第２の代表ベクトルを基本動き情報として選択することにより前記基本動き情報を生成する選択部とを備えてもよい。

この構成により、前記復号化情報に含まれる動きベクトルを代表するベクトルあるいは前記符号化情報に含まれる動きベクトルを代表するベクトルから選択することでより精度の高い探索範囲を指し示す基本動き情報を生成することができる。

また、前記生成部は、前記復号化情報から前記復号化情報に含まれるマクロブロックごとの動きベクトルを平均し、平均ベクトルを前記第１の代表ベクトルとして算出する第１の平均ベクトル算出部と、前記復号化デコード情報から前記復号化情報に含まれるマクロブロックごとの動きベクトルの分散を算出する第１のベクトル分散算出部と、前記符号化情報から前記符号化情報に含まれるマクロブロックごとの動きベクトルを平均し、平均ベクトルを前記第２の代表ベクトルとして算出する第２の平均ベクトル算出部と、前記符号化情報から前記符号化情報に含まれるマクロブロックごとの動きベクトルの分散を算出する第２のベクトル分散算出部とを備え、前記基本動き情報生成手段は、さらに、前記第１のベクトル分散算出部が算出したベクトルの分散の値と前記第２のベクトル分散算出部が算出したベクトルの分散の値とを比較する比較部を備え、前記選択部は、前記比較部の選択結果から、前記第１あるいは前記第２の代表ベクトルを選択して基本動き情報とすることより基本動き情報を生成してもよい。

また、前記選択部は、前記比較部の比較結果から、分散値が小さい方である前記第１の代表ベクトルあるいは前記第２の代表ベクトルを選択してもよい。

これら構成により、マクロブロックごとの動きベクトルの平均ベクトルを、マクロブロックごとの動きベクトルの分散値を比較することにより、復号化情報からの第１の代表ベクトルあるいは符号化情報からの第２の代表ベクトルを選択できるので、より精度の高い探索範囲を指し示す基本動き情報を生成することができる。

また、前記符号化情報保持手段は、前記符号化手段が符号化対象とする前記復号画像以前に符号化された復号画像の動きベクトルを含む符号化情報を保持し、前記生成部は、前記符号化情報保持手段が保持する前記復号画像の直前に符号化された復号画像の符号化情報から前記符号化情報に含まれる動きベクトルを代表する前記第２の代表ベクトルを生成してもよい。

この構成により、基本動き情報を符号化対象の復号画像の直前の符号化情報と復号化対象の復号画像の復号化情報とから生成することができ、より精度の高い探索範囲を指し示す基本動き情報を生成することができる。

また、前記第２の平均ベクトル算出部は、前記符号化手段で符号化対象となる前記復号画像と同じピクチャタイプで、前記符号化手段により前記復号画像の直前に符号化された復号画像の符号化情報から第２の代表ベクトルを生成してもよい。

この構成により、符号化情報からより符号化対象画像の動きベクトルに近い動きベクトルの代表する第２の代表ベクトルを生成することができる。

また、前記第１の平均ベクトル算出部は、符号化対象となる前記復号画像の前方予測方向におけるマクロブロックごとの動きベクトルの平均である平均ベクトルを前記復号化情報から算出し、前記第２の平均ベクトル算出部は、符号化対象となる前記復号画像の前方予測方向におけるマクロブロックごとの動きベクトルの平均である平均ベクトルを前記符号化情報から算出してもよい。

この構成より、前方予測方向における動きベクトルを代表する代表ベクトルを生成することで、より精度の高い探索範囲を指し示す基本動き情報を生成することができる。

また、前記第１の平均ベクトル算出部は、符号化対象となる前記復号画像の予測方向ごとにマクロブロックごとの動きベクトルの平均である平均ベクトルを前記復号化情報から算出し、前記第２の平均ベクトル算出部は、符号化対象となる前記復号画像の予測方向ごとにマクロブロックごとの動きベクトルの平均である平均ベクトルを前記符号化情報から算出し、前記第１の代表ベクトルは、前記第１の平均ベクトル算出部が算出した予測方向ごとの平均ベクトルである第１の前方方向および後方方向代表ベクトルとして生成され、前記第２の代表ベクトルは、前記第２の平均ベクトル算出部が算出した予測方向ごとの平均ベクトルである第２の前方方向および後方方向代表ベクトルとして生成されてもよい。

この構成より、予測方向ごとに動きベクトルを代表する代表ベクトルを生成することで、より精度の高い探索範囲を指し示す基本動き情報を生成することができる。

また、前記第１および前記第２の平均ベクトル算出部は、前記符号化手段がフレーム構造で符号化する場合、１フレーム間の距離の大きさと方向とで表現した基本ベクトルを用いて前記平均ベクトルを算出し、前記符号化手段がフィールド構造で符号化する場合、１フィールド間の距離の大きさと方向とで表現した基本ベクトルを用いて前記平均ベクトルを算出してもよい。

この構成より、前記符号化手段がフレーム構造あるいはフィールド構造で符号化する場合でも、マクロブロックの動きベクトルを代表する動きベクトルを算出することができ、より精度の高い探索範囲を指し示す基本動き情報を生成することができる。

また、前記生成部は、前記復号化情報から得られた符号化対象となる前記復号画像を２以上の領域に分割し、分割された領域ごとの動きベクトルの平均値を算出し、算出した動きベクトルの平均値の中で最も大きい平均値の動きベクトルを前記第１の代表ベクトルとし、前記符号化情報から得られた符号化対象となる前記復号画像を２以上の領域に分割し、分割された領域ごとの動きベクトルの平均値を算出し、算出した動きベクトルの平均値の中で最も大きい平均値の動きベクトルを前記第２の代表ベクトルとしてもよい。

この構成より、領域ごとの動きベクトルの中でより動きの大きいベクトルをもつ領域の平均ベクトルを代表ベクトルとして生成することができ、より精度の高い探索範囲を指し示す基本動き情報を生成することができる。

また、前記生成部は、前記復号化情報から得られる符号化対象となる前記復号画像を２以上の領域に分割し、分割された領域ごとの動きベクトルの平均値を算出し、算出した動きベクトルの平均値の中央値の動きベクトルを前記第１の代表ベクトルとし、前記符号化情報から得られる符号化対象となる前記復号画像を２以上の領域に分割し、分割された領域ごとの動きベクトルの平均値を算出し、算出した動きベクトルの平均値の中央値の動きベクトルを前記第２の代表ベクトルとしてもよい。

この構成より、領域ごとの動きベクトルの中で中央値となる領域の動きベクトルを代表ベクトルとして生成することができ、より精度の高い探索範囲を指し示す基本動き情報を生成することができる。

また、前記生成部は、前記復号化情報から得られる符号化対象となる前記復号画像を２以上の領域に分割し、分割された領域ごとに算出した動きベクトルの平均である平均ベクトルを大きさと方向とでグルーピングし、グルーピングされた平均ベクトルの個数が最も多いグループの動きベクトルの平均値を前記第１の代表ベクトルとし、前記符号化情報から得られる符号化対象となる前記復号画像を２以上の領域に分割し、分割された領域ごとに算出した動きベクトルの平均である平均ベクトルを大きさと方向とでグルーピングし、グルーピングされた平均ベクトルの個数が最も多いグループの動きベクトルの平均値を前記第２の代表ベクトルとしてもよい。

この構成より、基本動き情報生成手段は基本動き情報として、大きさと方向とでグルーピングした領域ごとの代表ベクトルを生成することができる。動きベクトルを検出する際に、入力ストリーム（第１の符号化データ）の復号化情報と再符号化したときの符号化情報とから得られる大きさと方向とでグルーピングした領域ごとの代表ベクトルが比較され、選択されて用いられることにより、動きベクトル検出を行う探索範囲を効果的に決定できる。

また、前記基本動き情報生成手段は、マクロブロックごとの動きベクトルの第１の平均ベクトルとマクロブロックごとの動きベクトルの第１の絶対値和平均を前記復号化情報から算出し、マクロブロックごとの動きベクトルの第２の平均ベクトルとマクロブロックごとの動きベクトルの第２の絶対値和平均を前記符号化情報から算出し、前記第１の絶対値和平均および前記第１の平均ベクトルあるいは前記第２の絶対値和平均および前記第２の平均ベクトルの差の小さい方の第１の平均ベクトルあるいは第２の平均ベクトルを選択し、前記基本動き情報として生成してもよい。

また、前記符号化部は、符号化対象画像と参照画像間の動きベクトルの総和を前記基本動き情報から算出し、参照画像ごとに前記動きベクトルの総和分だけずらした位置を中心として動きベクトル検出の探索範囲を決定してもよい。

なお、本発明は、装置として実現するだけでなく、このような装置が備える処理手段を備える集積回路として実現したり、その装置を構成する処理手段をステップとする方法として実現したり、それらステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、それらプログラム、情報、データおよび信号は、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の通信媒体を介して配信してもよい。

本発明によれば、動きベクトルを検出する際に、入力ストリームのデコード情報と、再符号化したときの符号化情報とに基づいて動き検出を行う探索範囲を決定することで、動き検出を行う探索範囲を狭めて処理量を削減しても、精度の高い動きベクトルを検出することが可能となる。それにより、処理量を削減しつつ、精度の高い動きベクトルを検出して符号化することができる画像符号化装置および方法を実現することができる。したがって、衛星放送や地上波のデジタルハイビジョンテレビ放送等の高品位テレビが普及しつつある今日における本発明の実用的価値は極めて高い。

（実施の形態１）
以下、本発明の実施の形態１について、図面を用いて説明する。

図１は、画像符号化装置１００の構成を示すブロック図である。図１において、画像符号化装置１００は、第１符号化方式で符号化された第１の符号化データを第２符号化方式で符号化された第２の符号化データに変換する画像符号化装置であって、復号化部１０２と、デコード情報保持部１０３と、符号化部１０４と、基本動き情報生成部１０５と、符号化情報保持部１０６とを備えている。

以下、第１の符号化データをＭＰＥＧ−２規格で符号化された符号化データとし、第２の符号化データをＨ．２６４規格で符号化された符号化データとした場合を例として説明する。また、ＧＯＰ（ＧｒｏｕｐＯｆＰｉｃｔｕｒｅ）構成がフレーム構造である場合の表示順のフレームは、Ｉ、Ｂ、Ｂ、Ｐとなり、ＧＯＰ構成がフィールド構造の場合の表示順のフィールドは、Ｉ、Ｉ、Ｂ、Ｂ、Ｂ、Ｂ、Ｐ、Ｐとなる場合を説明する。

復号化部１０２は、本発明に係る復号化手段に相当し、前記第１の符号化データを復号化し、動きベクトルを含む復号化情報と復号画像とを生成する。具体的には、入力された第１の符号化データを、ＭＰＥＧ−２規格のシンタックスに沿って復号する。ここで、シンタックスとは、圧縮符号化されたデータ列の規則であり、符号化されたデータのビットストリーム構成方法を示す。

復号化部１０２は、第１符号化データを復号化するときに第１符号化されたデータのストリームから、シーケンス全体の情報（Ｓｅｑｕｅｎｃｅｈｅａｄｅｒ等）、ＧＯＰに関する情報（ＧＯＰｈｅａｄｅｒ）、ピクチャ情報（Ｐｉｃｔｕｒｅｈｅａｄｅｒ等）、スライス情報（Ｓｌｉｃｅ）およびマクロブロック情報（Ｍａｃｒｏｂｌｏｃｋｍｏｄｅｓ）等の輝度情報や動き情報を含む情報（以下、デコード情報と記載。）を抽出する。復号化部１０２は、抽出したデコード情報に基づいて入力された第１の符号化データを復号することで、復号画像を生成する。また、抽出した情報をデコード情報としてデコード情報保持部１０３に出力する。

ところで、ＭＰＥＧ−２規格では、画面間の動き補償を用いて符号化が行われるため、符号化された画像の記録順と画像の表示順が異なる場合がある。ＭＰＥＧ−２規格からＨ．２６４規格に変換して再符号化する復号化部１０２では、復号画像を表示順に並び替えて符号化部１０４に出力する場合と、符号化順のまま符号化部１０４に出力する場合が考えられる。例えば、ＭＰＥＧ−２規格で記録されている画像をその画像のピクチャタイプに相当するＨ．２６４規格のピクチャタイプで符号化する場合、動き予測時の参照関係がほぼ同じになるので、復号化部１０２では表示順に画像を並べ替える必要がない。

デコード情報保持部１０３は、本発明に係る復号化情報保持手段に相当し、前記復号化手段が生成した復号化情報を保持する。具体的には、復号化部１０２により抽出され出力されたデコード情報を、復号画像と関連づけて保持する。デコード情報保持部１０３から、復号画像と関連づけられたデコード情報が基本動き情報生成部１０５へ出力される。

ところで、Ｈ．２６４規格ではＭＰＥＧ−２規格と同様に画面間の動き補償をマクロブロック、ブロックおよびサブブロックの７種類のブロックサイズを用いて行うことが可能である。一般的には上記の各ブロックサイズでブロックマッチングを行い、符号化対象のブロックと参照画像との間で差分絶対値和等の評価値が最も小さくなるブロック位置とブロックサイズを検出、すなわち、動き検出する。このブロックマッチングを行うときの探索範囲を基本動き情報から決定する。

符号化部１０４は、本発明に係る符号化手段に相当し、前記復号化手段が生成した復号画像を前記第２符号化方式で符号化し、動きベクトルを含む符号化情報と符号化画像とを含む第２の符号化データを生成する。具体的には、復号化部１０２で復号され復号化部１０２より入力された復号画像をＨ．２６４規格で符号化する。符号化部１０４は、符号化した復号画像を第２の符号化データ１１０として出力する。また、符号化部１０４は、復号画像を符号化するときに用いたマクロブロックタイプ、動きベクトル情報および量子化値等の輝度情報や動き情報を含む情報（以下、符号化情報と記載。）を符号化情報保持部１０６に出力する。なお、符号化部１０４が復号画像を符号化するときには、復号化部１０２がその復号画像を復号したときに用いたデコード情報あるいは、符号化部１０４が既に符号化した画像（符号化対象となる復号画像の前の画像）を符号化するときに用いた符号化情報のどちらか一方から生成された基本動き情報に基づいて動き検出の探索範囲を決定する。

符号化情報保持部１０６は、本発明に係る符号化情報保持手段に相当し、前記符号化手段が生成した符号化情報を保持する。具体的には、符号化部１０４より出力された符号化情報を保持する。符号化情報保持部１０６が保持している符号化情報は現在以降の画像を符号化するときに用いられる。

基本動き情報生成部１０５は、本発明に係る基本動き情報生成手段に相当し、前記復号化情報保持手段に保持された復号化情報に含まれる動きベクトルと前記符号化情報保持手段に保持された符号化情報に含まれる動きベクトルとから前記復号画像の動きを示す基本動き情報を生成する。具体的には、符号化対象となる画像（復号画像）についてのデコード情報と既に符号化した画像（符号化対象となる前の画像）についての符号化情報を用いて、画面の動きを表す動き情報である基本動き情報を生成する。基本動き情報生成部１０５は、デコード情報保持部１０３からのデコード情報に含まれる動きベクトルを代表する代表ベクトルと、符号化情報保持部１０６からの符号化情報に含まれる動きベクトルを代表する代表ベクトルとを比較する。基本動き情報生成部１０５は、所定の選択基準に基づいて、デコード情報に含まれる動きベクトルを代表する代表ベクトルあるいは符号化情報に含まれる動きベクトルを代表する代表ベクトルを選択する。基本動き情報生成部１０５は、選択した代表ベクトルに基づいて、基本動き情報を生成する。

なお、選択される代表ベクトルは、動きベクトルのよりそろっている方としている。

図２は、画像符号化装置１００が符号化する場合の処理を説明するフローチャートである。

まず、符号化情報保持部１０６は、符号化部１０４が符号化対象となる復号画像の前の画像を符号化するときに用いた符号化情報を保持している。次に、復号化部１０２により符号化対象となる画像が復号化され、デコード情報保持部１０３は、符号化対象となる画像を復号化する際に用いられたデコード情報を保持している。

次に、基本動き情報生成部１０５は、デコード情報保持部１０３からのデコード情報に含まれる動きベクトルを代表する代表ベクトルと、符号化情報保持部１０６からの符号化情報に含まれる動きベクトルを代表する代表ベクトルとを比較する（Ｓ１０１）。

次に、基本動き情報生成部１０５は、所定の選択基準に基づいて、デコード情報に含まれる動きベクトルを代表する代表ベクトルあるいは符号化情報に含まれる動きベクトルを代表する代表ベクトルを選択する（Ｓ１０２）。

次に、基本動き情報生成部１０５は、選択した代表ベクトルに基づいて、基本動き情報を生成する。

次に、符号化部１０４は、基本動き情報生成部１０５により生成された基本動き情報に基づいて動き検出の探索範囲を決定する（Ｓ１０４）。

次に、符号化部１０４は、動き検出の探索範囲で動きベクトルを検出し、動きベクトルと動き補償等の符号化情報から、符号化対象となる画像を符号化する。

以下、基本動き情報生成部１０５における基本動き情報の生成方法と、符号化部１０４における探索範囲の決定方法に関して説明する。

まず、基本動き情報生成部１０５における基本動き情報の生成方法について説明する。

図３は、基本動き情報生成部１０５の構成を示すブロック図である。

基本動き情報生成部１０５は、平均ベクトル算出部１０５１および１０５３と、ベクトル分散算出部１０５２および１０５４と、比較部１０５５と、選択器１０５６とを備える。

平均ベクトル算出部１０５１は、デコード情報保持部１０３からのデコード情報から得られたマクロブロックごとの動きベクトルから平均ベクトルを算出し代表ベクトルとして選択器１０５６へ出力する。

ベクトル分散算出部１０５２は、デコード情報保持部１０３からのデコード情報から得られたマクロブロックごとの動きベクトルからベクトルの分散を算出し、算出したベクトルの分散の値を比較部１０５５へ出力する。

平均ベクトル算出部１０５３は、符号化情報保持部１０６からの符号化情報から得られたマクロブロックごとの動きベクトルから平均ベクトルを算出し代表ベクトルとして選択器１０５６へ出力する。

ベクトル分散算出部１０５４は、符号化情報保持部１０６からの符号化情報から得られたマクロブロックごとの動きベクトルからベクトルの分散を算出し、算出したベクトルの分散の値を比較部１０５５へ出力する。

比較部１０５５は、ベクトル分散算出部１０５４から出力されたベクトルの分散値とベクトル分散算出部１０５４から出力されたベクトルの分散値とを比較する。比較部１０５５は、所定の選択基準、例えば、ベクトルの分散値の小さい方を選択するなどに基づいて、比較したベクトル分散算出部１０５２から出力されたベクトルの分散値とベクトル分散算出部１０５４から出力されたベクトルの分散値のいずれかに対応する代表ベクトルを選択するよう選択器１０５６を制御する。

選択器１０５６は、比較部１０５５により制御され、平均ベクトル算出部１０５１からのデコード情報から得られた代表ベクトル、あるいは、平均ベクトル算出部１０５３からの符号化情報から得られた代表ベクトルを選択する。選択器１０５６により選択された代表ベクトルは基本動き情報として符号化部１０４に入力される。

ここでは、基本動き情報生成部１０５から基本動き情報として一つのベクトルが出力される場合について説明する。また、第１の符号化データと第２の符号化データとは共にフレーム構造である場合としている。

図４は、デコード情報から平均ベクトルとベクトルの分散とを算出する方法を説明するための図である。図４では復号化された第１の符号化データがフレーム構造で符号化され、かつＢ２ピクチャが符号化部１０４における符号化対象の画像である場合を示している。

図４において、Ｂ２ピクチャが参照できる画像は、Ｉ０ピクチャとＰ３ピクチャの２フレームである。Ｉ０ピクチャとＰ３ピクチャとの２フレームに対するＢ２ピクチャからの動きベクトルＭＶＦ（Ｂ２）と動きベクトルＭＶＢ（Ｂ２）とが存在する。マクロブロックごとに存在するこれらのベクトル、すなわち動きベクトルＭＶＦ（Ｂ２）および動きベクトルＭＶＢ（Ｂ２）をＢ２ピクチャから１フレーム分前方参照した場合の動きベクトルに時間スケーリングする。すなわち、Ｂ２ピクチャから１フレーム分前方参照した場合の動きベクトルをＭＶｄｅｃ（Ｂ２）とし、ＭＶｄｅｃ（Ｂ２）を、Ｂ２ピクチャからＩ０ピクチャに対する動きベクトルＭＶＦ（Ｂ２）と、Ｂ２ピクチャからＰ３ピクチャに対する動きベクトルＭＶＢ（Ｂ２）とで表すものである。関係式で表すと以下のようになる。

ＭＶｄｅｃ（Ｂ２）＝１／２×ＭＶＦ（Ｂ２）
ＭＶｄｅｃ（Ｂ２）＝−ＭＶＢ（Ｂ２）

時間スケーリングした動きベクトルＭＶｄｅｃ（Ｂ２）を用いてベクトルの平均値と分散を求める。

ＡｖｅＭＶｄｅｃ（Ｂ２）＝ΣＭＶｄｅｃ（Ｂ２）／ベクトル数
ＶａｒＭＶｄｅｃ（Ｂ２）＝（ΣＭＶｄｅｃ（Ｂ２）＾２）／ベクトル数−ＡｖｅＭＶｄｅｃ（Ｂ２）＾２

ここで、ＭＶｄｅｃ（Ｂ２）＝１／２×ＭＶＦ（Ｂ２）の式における係数値「１／２」とＭＶｄｅｃ（Ｂ２）＝−ＭＶＢ（Ｂ２）の式における係数値「−１」をスケーリング係数値と呼ぶ。

また、ＡｖｅＭＶｄｅｃ（Ｂ２）は、図３における平均ベクトル算出部１０５１で算出されたデコード情報から得られたマクロブロックごとの動きベクトルの平均ベクトルである。

また、ＶａｒＭＶｄｅｃ（Ｂ２）は、図３におけるベクトル分散算出部１０５２で算出されたデコード情報から得られたマクロブロックごとの動きベクトルからのベクトルの分散である。

ところで、ＭＰＥＧ−２規格の場合、画像がフレーム構造であってもマクロブロック単位でフレームとフィールドとを切り替えて符号化することが可能である。その場合には、時間方向のスケーリング係数を変えることで算出することが可能である。具体的には、フィールド予測となる場合、以下の４通りの組み合わせがあり、上記のスケーリング係数値（１／２）を以下のように変える。

（１）トップがトップを参照する。スケーリング係数値は１／２
（２）トップがボトムを参照する。スケーリング係数値は２／３
（３）ボトムがトップを参照する。スケーリング係数値は２／５
（４）ボトムがボトムを参照する。スケーリング係数値は１／２

なお、本実施の形態１では、画像がフレーム構造の場合で２枚目のＢピクチャを符号化部１０４の符号化対象画像として説明したが、１枚目のＢピクチャあるいはＰピクチャが符号化部１０４の符号化対象画像としてよく、その場合にも同様の考え方で平均ベクトルとベクトルの分散を算出できる。

次に、符号化情報から平均ベクトルとベクトルの分散を算出する方法を説明する。

図５は、符号化情報から平均ベクトルとベクトルの分散とを算出する方法を説明するための図である。図５では、復号化部１０２で復号化されたフレーム構造の画像が符号化部１０４で符号化され、かつＢ２ピクチャが符号化部１０４における符号化対象の画像である場合を示している。ところで、Ｈ．２６４規格では、Ｉピクチャよりも前のＰピクチャを参照することが可能であるが、説明を簡単にするため、ＭＰＥＧ−２規格と同様に直前・直後にあるＩピクチャとＰピクチャのみを参照する場合について説明する。符号化対象であるＢ２ピクチャを符号化するとき、符号化順で直前に符号化したフレームはＢ１ピクチャである。

図５において、Ｂ１ピクチャが参照できる画像は、Ｉ０ピクチャとＰ３ピクチャの２フレームである。Ｉ０ピクチャとＰ３ピクチャとの２フレームに対するＢ１ピクチャからの動きベクトルＭＶＦ（Ｂ１）と動きベクトルＭＶＢ（Ｂ１）とが存在する。

マクロブロックごとに存在するＢ１ピクチャの動きベクトルであるＭＶＦ（Ｂ１）とＭＶＢ（Ｂ１）を用いて、Ｂ１ピクチャから１フレーム分前方参照した場合の動きベクトルに時間スケーリングする。すなわち、Ｂ１ピクチャから１フレーム分前方参照した場合の動きベクトルをＭＶｅｎｃ（Ｂ１）とし、ＭＶｅｎｃ（Ｂ１）を、Ｂ１ピクチャからＩ０ピクチャに対する動きベクトルＭＶＦ（Ｂ１）と、Ｂ２ピクチャからＰ３ピクチャに対する動きベクトルＭＶＢ（Ｂ１）とで表す。関係式で表すと以下のようになる。

ＭＶｅｎｃ（Ｂ１）＝ＭＶＦ（Ｂ１）
ＭＶｅｎｃ（Ｂ１）＝−１／２×ＭＶＢ（Ｂ１）

ベクトルの平均値と分散は、時間スケーリングした動きベクトルＭＶｅｎｃ（Ｂ１）を用いて以下のように表せる。

ＡｖｅＭＶｅｎｃ（Ｂ１）＝ΣＭＶｅｎｃ（Ｂ１）／ベクトル数
ＶａｒＭＶｅｎｃ（Ｂ１）＝（ΣＭＶｅｎｃ（Ｂ１）＾２）／ベクトル数−ＡｖｅＭＶｅｎｃ（Ｂ１）＾２

ここでは、符号化対象であるＢ２ピクチャを符号化する直前に符号化された画像（Ｂ１ピクチャ）の動きベクトル情報を利用することを前提としている。

また、ＡｖｅＭＶｅｎｃ（Ｂ１）は、図３における平均ベクトル算出部１０５３で算出された符号化情報から得られたマクロブロックごとの動きベクトルの平均ベクトルである。

また、ＶａｒＭＶｅｎｃ（Ｂ１）は、図３におけるベクトル分散算出部１０５４で算出された符号化情報から得られたマクロブロックごとの動きベクトルからのベクトルの分散である。

また、図５における表示順で符号化する場合、符号化順に直すと、Ｉ０、Ｐ３、Ｂ１、Ｂ２、Ｐ６、Ｂ４、Ｂ５・・という順になる。上記の例では、Ｂ１ピクチャはＰ３ピクチャの動きベクトルを利用し、Ｐ６ピクチャはＢ２ピクチャの動きベクトル情報を用いることを想定している。

なお、本実施の形態１とは別の方法として、同じピクチャタイプで直前に符号化されたピクチャの動きベクトル情報を利用してもよい。

上記のように算出されたベクトルの分散値が小さい方の平均ベクトルを選択してＭＶｓｅｌ（Ｂ２）とする。このＭＶｓｅｌ（Ｂ２）を基本動き情報として出力する。具体的には、比較部１０５５で、ベクトル分散算出部１０５２から出力されたベクトルの分散値ＶａｒＭＶｄｅｃ（Ｂ２）とベクトル分散算出部１０５４から出力されたベクトルの分散値ＶａｒＭＶｅｎｃ（Ｂ１）とが比較される。ベクトルの分散値の小さい方が選択されるという所定の選択基準に基づいて、ベクトル分散算出部１０５２から出力されたベクトルの分散値ＶａｒＭＶｄｅｃ（Ｂ２）とベクトル分散算出部１０５４から出力されたベクトルの分散値ＶａｒＭＶｅｎｃ（Ｂ１）とのうちベクトル分散の小さい方に対応する平均ベクトルが選択器１０５６で選択される。選択器１０５６で選択された、デコード情報から得られた平均ベクトルであるＡｖｅＭＶｄｅｃ（Ｂ２）あるいは符号化情報から得られた平均ベクトルＡｖｅＭＶｅｎｃ（Ｂ１）は基本動き情報ＭＶｓｅｌ（Ｂ２）として符号化部１０４に出力される。

図６は、基本動き情報生成部１０５が代表ベクトルを生成する場合の処理を説明するフローチャートである。

ここで、平均ベクトル算出部１０５１が代表ベクトルを生成する場合について説明する。

まず、平均ベクトル算出部１０５１は、デコード情報保持部１０３から出力されたデコード情報から得られたマクロブロックごとの動きベクトルを算出する（Ｓ２０１）。

次に、平均ベクトル算出部１０５１は、マクロブロックごとに存在する符号化対象画像の動きベクトルを符号化対象画像から所定の参照画像に対するマクロブロックごとの動きベクトルへと時間スケーリングする（Ｓ２０２）。

次に、平均ベクトル算出部１０５１は、時間スケーリングしたマクロブロックごとに存在する符号化対象画像の動きベクトルを用いて、マクロブロックごとに存在する符号化対象画像の動きベクトルの平均ベクトルを算出する（Ｓ２０３）。

次に、平均ベクトル算出部１０５１は、算出した平均ベクトルをデコード情報から得られる代表ベクトルとすることにより、代表ベクトルを生成する（Ｓ２０４）。

なお、平均ベクトル算出部１０５３が代表ベクトルを生成する場合についても同様であるので割愛する。

図７は、基本動き情報生成部１０５がベクトルの分散を算出する場合の処理を説明するフローチャートである。

ここで、ベクトル分散算出部１０５２がベクトルの分散を算出する場合について説明する。

まず、ベクトル分散算出部１０５２は、デコード情報保持部１０３から出力されたデコード情報からマクロブロックごとの動きベクトルを算出する（Ｓ３０１）。

次に、ベクトル分散算出部１０５２は、マクロブロックごとに存在する符号化対象画像の動きベクトルを符号化対象画像から所定の参照画像に対するマクロブロックごとの動きベクトルへと時間スケーリングする（Ｓ３０２）。

次に、ベクトル分散算出部１０５２は、時間スケーリングしたマクロブロックごとに存在する符号化対象画像の動きベクトルを用いて、マクロブロックごとに存在する符号化対象画像の動きベクトルにおけるベクトルの分散を算出する（Ｓ３０３）。

なお、ベクトル分散算出部１０５４がベクトルの分散を算出する場合についても同様であるので割愛する。

次に、符号化部１０４における探索範囲の決定方法について説明する。

図８は、基本動き情報を用いて探索範囲を決定する方法を説明するための図である。

符号化部１０４では、基本動き情報生成部１０５から出力された基本動き情報であるＭＶｓｅｌ（Ｂ２）を用いて、符号化対象画像から参照画像への時間スケーリングを行い、参照画像ごとに探索を行う中心位置を決定する。符号化対象画像のマクロブロックの動きベクトル検出を行うための基準となる探索範囲は、図８では参照画像８０１中で基準探索範囲８０２として点線で囲まれた範囲で示されている。この基準探索範囲８０２を符号化対象画像から参照画像８０１へ時間スケーリングしたＭＶｓｅｌ（Ｂ２）分だけずらした位置を新たに探索範囲として動きベクトル検出を行う。これは、図６中の探索範囲８０３として点線で囲まれた範囲で示されている。

なお、本実施の形態１では、動きベクトルを検出する際の探索範囲の広さが一定で、中心位置のみを変えるとして説明したが、例えば、時間スケーリングした基本動き情報ＭＶｓｅｌ（Ｂ２）が大きな値の時には動きベクトルを検出する際の探索範囲を広げて、さらに間引き探索を行う等の設定を行ってもよい。

以上、本実施の形態１では、基本動き情報生成部１０５から基本動き情報として一つのベクトルが出力される場合について説明した。基本動き情報は、選択器１０５６で選択された平均ベクトル算出部１０５１からのデコード情報から得られた代表ベクトル、あるいは平均ベクトル算出部１０５３からの符号化情報から得られた代表ベクトルである。また、平均ベクトル算出部１０５１からのデコード情報から得られる代表ベクトル（平均ベクトル）と平均ベクトル算出部１０５３からの符号化情報から得られる代表ベクトル（平均ベクトル）とを選択する基準としてベクトルの分散を用いている。

それにより、動きベクトルを検出する際に、入力ストリームのデコード情報あるいは再符号化したときの符号化情報からの代表ベクトルが比較され、選択されて基本動き情報として用いられることにより動きベクトル検出を行う探索範囲を効果的に決定できる。それ故、動きベクトル検出を行う探索範囲を狭めて処理量を削減しても、精度の高い動きベクトルを検出することが可能となる。それにより、処理量を削減しつつ、精度の高い動きベクトルを検出して符号化することができる画像符号化装置を実現することができる。

なお、代表ベクトルを選択する選択基準は、ベクトルの絶対値和の平均と平均値の一致度合い、ベクトルのダイナミックレンジ、マクロブロック単位の残差成分等の値としてもよい。その場合には、比較部１０５５が選択基準に従って比較できるように、ベクトル分散算出部１０５２および１０５４を、ベクトルの絶対値和の平均と平均値を算出するベクトル絶対値和平均算出部や、ベクトルのダイナミックレンジを算出する算出部などに置き換えればよい。

また、本実施の形態１では、デコード情報と符号化情報とから得られるそれぞれの代表ベクトルとして、時間スケーリングしたマクロブロックごとの全動きベクトルの平均を算出する構成として説明しているが、参照画像ごとに平均ベクトルとベクトルの分散を算出し、分散値が小さい方の平均ベクトル、あるいは、動きベクトルの本数が多い方の平均ベクトルを選択してそれぞれの代表ベクトルとしてもよい。

また、デコード情報と符号化情報とから得られる平均ベクトルの選択にベクトルの分散値を用いているが、符号化部１０４で行ったマクロブロックごとの動きベクトル検出時の評価値を保持し、１フレーム分の総和を算出し、総和が閾値を超える場合には動きベクトル検出の精度が低いと判断して、デコード情報から得られる平均ベクトルを選択してもよい。あるいは、算出した１フレーム分の総和が閾値以下の場合は符号化情報から得られる平均ベクトルを選択する構成としてもよい。

（実施の形態２）
次に、本発明の実施の形態２について図面を用いて説明する。

実施の形態１では、基本動き情報生成部１０５から基本動き情報として一つのベクトルが出力される場合であり、第１の符号化データと第２の符号化データとは共にフレーム構造である場合を説明した。本実施の形態２では、基本動き情報生成部１０５から基本動き情報として一つのベクトルが出力される場合であるが、第１の符号化データと第２の符号化データとが共にフィールド構造である場合について以下に説明する。

図９は、デコード情報から平均ベクトルとベクトルの分散とを算出する方法を説明するための図である。図９では復号化された第１の符号化データがフィールド構造で符号化され、かつＢ４フィールドが符号化部１０４における符号化対象の画像である場合を示している。

図９において、Ｂ４フィールドが参照できる画像は、参照画像がそれぞれフィールド構造であるので４フィールドになる。すなわち、Ｂ４フィールドからの前方参照は、Ｉ０フィールドとＩ１フィールドとの２フィールドに対するＢ４フィールドからの動きベクトルＭＶＦｔ（Ｂ４）およびＭＶＦｂ（Ｂ４）の２種類の動きベクトルとが存在することになり、Ｂ４フィールドからの後方参照は、Ｐ６フィールドとＰ７フィールドとの２フィールドに対するＢ４フィールドからのＭＶＢｔ（Ｂ４）およびＭＶＢｂ（Ｂ４）の２種類の動きベクトルとが存在することになる。マクロブロックごとに存在するこれらの動きベクトルを、Ｂ４フィールドから１フィールド分前方参照した場合の動きベクトルに時間スケーリングする。Ｂ４フィールドから１フィールド分前方参照した場合の動きベクトルをＭＶｄｅｃ（Ｂ４）として、関係式で表すと以下のようになる。

ＭＶｄｅｃ（Ｂ４）＝１／４×ＭＶＦｔ（Ｂ４）
ＭＶｄｅｃ（Ｂ４）＝１／３×ＭＶＦｂ（Ｂ４）
ＭＶｄｅｃ（Ｂ４）＝−１／２×ＭＶＢｔ（Ｂ４）
ＭＶｄｅｃ（Ｂ４）＝−１／３×ＭＶＢｂ（Ｂ４）

ベクトルの分散と平均は実施の形態１に示すフレーム構造と同様に、時間スケーリングした動きベクトルＭＶｄｅｃ（Ｂ４）を用いて以下のように表せる。

ＡｖｅＭＶｄｅｃ（Ｂ４）＝ΣＭＶｄｅｃ（Ｂ４）／ベクトル数
ＶａｒＭＶｄｅｃ（Ｂ４）＝（ΣＭＶｄｅｃ（Ｂ４）＾２）／ベクトル数−ＡｖｅＭＶｄｅｃ（Ｂ４）＾２

図１０は、符号化情報から平均ベクトルとベクトルの分散とを算出する方法を説明するための図である。図１０では、復号化部１０２で復号化されたフィールド構造の画像が符号化部１０４で符号化され、かつＢ４フィールドが符号化部１０４における符号化対象の画像である場合を示している。ところで、Ｈ．２６４規格では、Ｉピクチャよりも前のＰピクチャを参照することが可能であるが、説明を簡単にするため、ＭＰＥＧ−２規格と同様に直前・直後にあるＩピクチャとＰピクチャのみを参照する場合について説明する。符号化対象であるＢ４フィールドを符号化するとき、符号化順で直前に符号化したフィールドはＢ３フィールドとなる。

図１０において、Ｂ３フィールドが参照できる画像は、Ｂ３フィールドからの前方参照では、Ｉ０フィールドとＩ１フィールドとの２フィールドに対するＢ３フィールドからの動きベクトルＭＶＦｔ（Ｂ３）およびＭＶＦｂ（Ｂ３）の２種類の動きベクトルとが存在し、Ｂ３フィールドからの後方参照では、Ｐ６フィールドとＰ７フィールドとの２フィールドに対するＢ３フィールドからのＭＶＢｔ（Ｂ３）およびＭＶＢｂ（Ｂ３）の２種類の動きベクトルとが存在することになる。マクロブロックごとに存在するこれらのベクトルを、Ｂ３フィールドから１フィールド分前方参照した場合の動きベクトルに時間スケーリングする。Ｂ４フィールドから１フィールド分前方参照した場合の動きベクトルをＭＶｅｎｃ（Ｂ３）として、関係式で表すと以下のようになる。

ＭＶｅｎｃ（Ｂ３）＝１／３×ＭＶＦｔ（Ｂ３）
ＭＶｅｎｃ（Ｂ３）＝１／２×ＭＶＦｂ（Ｂ３）
ＭＶｅｎｃ（Ｂ３）＝−１／３×ＭＶＢｔ（Ｂ３）
ＭＶｅｎｃ（Ｂ３）＝−１／４×ＭＶＢｂ（Ｂ３）

ベクトルの平均と分散とは、時間スケーリングした動きベクトルＭＶｅｎｃ（Ｂ３）を用いて以下のように表せる。

ＡｖｅＭＶｅｎｃ（Ｂ３）＝ΣＭＶｅｎｃ（Ｂ３）／ベクトル数
ＶａｒＭＶｅｎｃ（Ｂ３）＝（ΣＭＶｅｎｃ（Ｂ３）＾２）／ベクトル数−ＡｖｅＭＶｅｎｃ（Ｂ３）＾２

ここでは、符号化対象であるＢ４フィールドを符号化する直前に符号化された画像の動きベクトル情報を利用することを前提としている。

図１０における表示順で符号化する場合、符号化順に直すと、Ｉ０、Ｉ１、Ｐ６、Ｐ７、Ｂ２、Ｂ３、Ｂ４、Ｂ５、Ｐ１２、Ｐ１３・・という順になる。上記の例では、Ｂ２フィールドはＰ７フィールドの動きベクトルを利用し、Ｐ１２フィールドはＢ５フィールドの動きベクトル情報を用いることを想定している。

なお、本実施の形態２とは別の方法として、同じピクチャタイプで直前に符号化されたピクチャの動きベクトル情報を利用してもよい。あるいは、同じピクチャタイプで、かつ同一パリティの直前に符号化されたピクチャの動きベクトル情報を利用してもよい。

基本動き情報生成部１０５は、上記のように算出されたベクトルの分散を用いて、その値が小さい方の平均ベクトルを選択して基本動き情報ＭＶｓｅｌ（Ｂ４）として符号化部１０４へ出力する。

符号化部１０４は、基本動き情報生成部１０５より出力された基本動き情報ＭＶｓｅｌ（Ｂ４）を用いて、符号化対象画像から参照画像への時間スケーリングを行い、参照画像ごとに探索を行う中心位置を決定する。

なお、本実施の形態２では、探索範囲の広さが一定で、中心位置のみを変えることを想定しているが、例えば、時間スケーリングした基本動き情報ＭＶｓｅｌ（Ｂ４）が大きな値の時には探索範囲を広げて、さらに間引き探索を行う等の設定を行ってもよい。

以上、本実施の形態２では、符号化対象となる復号画像がフィールド構造であっても、動きベクトルを検出する際に、入力ストリームのデコード情報と、再符号化したときの符号化情報とからの代表ベクトルが比較され、選択されて用いられることにより、動きベクトル検出を行う探索範囲を効果的に決定できる。それ故、動きベクトル検出を行う探索範囲を狭めて処理量を削減しても、精度の高い動きベクトルを検出することが可能となる。それにより、処理量を削減しつつ、精度の高い動きベクトルを検出して符号化することができる画像符号化装置を実現することができる。

なお、本実施の形態２では、デコード情報と符号化情報とから得られるそれぞれの代表ベクトルとして、時間スケーリングしたマクロブロックごとの全動きベクトルの平均を算出する構成として説明しているが、参照画像ごとに平均ベクトルとベクトルの分散を算出し、分散値が小さい方の平均ベクトル、あるいは、動きベクトルの本数が多い方の平均ベクトルを選択してそれぞれの代表ベクトルとしてもよい。

また、デコード情報と符号化情報とから得られる平均ベクトルの選択にベクトルの分散値を用いているが、符号化部１０４で行ったマクロブロックごとの動きベクトル検出時の評価値を保持し、１フィールド分の総和を算出し、総和が閾値を超える場合には動きベクトル検出の精度が低いと判断して、デコード情報から得られる平均ベクトルを選択してもよい。あるいは、算出した１フィールド分の総和が、閾値以下の場合には符号化情報から得られる平均ベクトルを選択する構成としてもよい。

（実施の形態３）
次に、本発明の実施の形態３について説明する。

実施の形態２では、基本動き情報生成部１０５から基本動き情報として一つのベクトルが出力される場合で、第１の符号化データと第２の符号化データとが共にフィールド構造である場合について説明した。本実施の形態３では、基本動き情報生成部１０５から基本動き情報として一つのベクトルが出力される場合であるが、第１の符号化データと第２の符号化データとにおける符号化構造が異なる場合について以下に説明する。

第１の符号化データがフレーム構造で、第２の符号化データがフィールド構造である場合、デコード情報から得られる代表ベクトルは、実施の形態１で示した方法で平均ベクトルを算出することで得ることができ、符号化情報から得られる代表ベクトルは、実施の形態２で示した方法で平均ベクトルを算出することで得ることができる。すなわち、デコード情報で得られる代表ベクトルは１フレーム分前方参照した場合の符号化部１０４における符号化対象画像のピクチャの動きベクトルとなるため、時間スケーリングして算出した平均ベクトルをさらに１／２倍することで１フィールド分前方参照した場合の符号化部１０４における符号化対象画像のフィールドの動きベクトルとして算出することができる。

また、第１の符号化データがフィールド構造で、第２の符号化データがフレーム構造である場合、デコード情報から得られる代表ベクトルは実施の形態２で示した方法で平均ベクトルを算出することで得ることができ、符号化情報から得られる代表ベクトルは、実施の形態１で示した方法で平均ベクトルを算出することで得ることができる。すなわち、デコード情報で得られる代表ベクトルは１フィールド分前方参照した場合の符号化部１０４における符号化対象画像のフィールドの動きベクトルとなるため、時間スケーリングして算出した平均ベクトルをさらに２倍することで符号化部１０４における符号化対象画像の１フレーム分前方参照した場合のピクチャの動きベクトルとして算出することができる。

以上、本実施の形態３では、第１の符号化データがフィールド構造で、第２の符号化データがフレーム構造であっても、第１の符号化データがフレーム構造で、第２の符号化データがフィールド構造であっても、動きベクトルを検出する際に、入力ストリームのデコード情報と再符号化したときの符号化情報とからの代表ベクトルが比較され、選択され用いられることにより、動きベクトル検出を行う探索範囲を効果的に決定できる。それ故、動きベクトル検出を行う探索範囲を狭めて処理量を削減しても、精度の高い動きベクトルを検出することが可能となる。それにより、処理量を削減しつつ、精度の高い動きベクトルを検出して符号化することができる画像符号化装置を実現することができる。

なお、本実施の形態３では、デコード情報と符号化情報とから得られる平均ベクトルの選択にベクトルの分散値を用いているが、符号化部１０４で行ったマクロブロックごとの動きベクトル検出時の評価値を保持し、１フィールドもしくは１フレーム分の総和を算出し、総和が閾値を超える場合には動きベクトル検出の精度が低いと判断して、デコード情報から得られる平均ベクトルを選択してもよい。あるいは、算出した１フィールドもしくは１フレーム分の総和が、閾値以下の場合には、符号化情報から得られる平均ベクトルを選択する構成としてもよい。

（実施の形態４）
次に、本発明の実施の形態４について説明する。

実施の形態３では、基本動き情報生成部１０５から基本動き情報として一つのベクトルが出力される場合で、第１の符号化データと第２の符号化データとが符号化構造で異なる場合について説明した。本実施の形態４では、基本動き情報生成部１０５から基本動き情報として、参照方向ごとの代表ベクトルが出力される場合を示す。ここでは、第１の符号化データと、第２の符号化データとにおける符号化構造が共にフレーム構造である場合について以下に説明する。

デコード情報から得られる代表ベクトルと符号化情報から得られる代表ベクトルとは、実施の形態１で示した方法で算出できる。

図６のＳ２０１と同様に、基本動き情報生成部１０５における平均ベクトル算出部１０５１は、デコード情報からマクロブロックごとの動きベクトルを算出する。

次に、基本動き情報生成部１０５における平均ベクトル算出部１０５１は、参照方向ごとに、算出したマクロブロックごとの動きベクトルのベクトルを集計する。

次に、図６のＳ２０２と同様に、基本動き情報生成部１０５における平均ベクトル算出部１０５３は、参照方向ごとに集計された動きベクトルを符号化対象画像から所定の参照画像に対する参照方向ごとの動きベクトルへと時間スケーリングを行う。

次に、図６のＳ２０２と同様に、基本動き情報生成部１０５における平均ベクトル算出部１０５３は、時間スケーリングした参照方向ごとの符号化対象画像の動きベクトルを用いて、参照方向ごとの符号化対象画像の動きベクトルの平均ベクトルを算出する。

また、上記および図７と同様に、ベクトルの分散も参照方向ごとに算出する。

基本動き情報生成部１０５は、ベクトル分散値を用いて参照方向ごとにデコード情報から得られた平均ベクトルと符号化情報から得られた平均ベクトルとのいずれかを選択し、選択した平均ベクトルを基本動き情報として、符号化部１０４に参照方向ごとの動きベクトルを出力する。

以上、本実施の形態４では、基本動き情報生成部１０５から基本動き情報として、参照方向ごとの代表ベクトルを生成する。動きベクトルを検出する際に、入力ストリームのデコード情報と再符号化したときの符号化情報とから得られる参照方向ごとの代表ベクトルが比較され、選択されて用いられることにより、動きベクトル検出を行う探索範囲を効果的に決定できる。それ故、動きベクトル検出を行う探索範囲を狭めて処理量を削減しても、精度の高い動きベクトルを検出することが可能となる。それにより、処理量を削減しつつ、精度の高い動きベクトルを検出して符号化することができる画像符号化装置を実現することができる。

なお、本実施の形態４では、参照方向ごとにデコード情報と符号化情報とから得られる動きベクトルの平均ベクトル値を集計する場合を説明したが、参照画像ごとに集計してもよい。また、参照画像ごとに集計した平均ベクトルにベクトル本数の偏りがある場合には、ベクトルの本数が多い参照画像を参照方向の代表として平均ベクトルを算出してもよい。

また、第１の符号化データと、第２の符号化データとの符号化構造が共にフィールド構造である場合も実施の形態２で示した方法で参照方向ごとにデコード情報と符号化情報とから得られるそれぞれの代表ベクトルを算出してもよい。

また、第１の符号化データと、第２の符号化データとの符号化構造が異なる場合は、実施の形態３で示した方法で参照方向ごとにデコード情報と符号化情報とから得られるそれぞれの代表ベクトルを算出してもよい。

また、本実施の形態４では、デコード情報と符号化情報とから得られる平均ベクトルの選択にベクトルの分散値を用いているが、符号化部１０４で行ったマクロブロックごとの動きベクトル検出時の評価値を保持し、１フレーム分の総和を算出し、総和が閾値を超える場合には動きベクトル検出の精度が低いと判断して、デコード情報から得られる平均ベクトルを選択してもよい。あるいは、算出した１フレーム分の総和が、閾値以下の場合は符号化情報から得られる平均ベクトルを選択する構成としてもよい。

（実施の形態５）
次に、本発明の実施の形態５について説明する。

実施の形態４では、基本動き情報生成部１０５から基本動き情報として、参照方向ごとの代表ベクトルが出力される場合を説明した。本実施の形態５では、基本動き情報生成部１０５で画像を複数の領域に分割し、領域ごとに代表ベクトルを算出し、算出した代表ベクトルを基本動き情報として出力する場合について説明する。ここで、基本動き情報生成部１０５からは複数のベクトルが出力される。

ここでは、第１の符号化データと、第２の符号化データとの符号化構造が共にフレーム構造である場合として説明する。

また、画像を水平４分割かつ垂直４分割した場合（以下、分割画面と記載。）を例として以下に説明する。

図１１は、分割画面９０１における分割された領域ごとの代表ベクトルが算出される場合について説明するための図である。図１１において、左上に記載されている小矩形領域がマクロブロックを表しており、一例としてマクロブロック９０１１およびマクロブロック９０１２が表されている。

図１１のマクロブロック９０１１およびマクロブロック９０１２に示されている矢印はベクトルであり、前方方向に１フレーム分前方参照に時間スケーリングした場合の符号化部１０４における符号化対象画像のマクロブロック９０１１およびマクロブロック９０１２の動きベクトルとして表している。

また図１１におけるＲ（ｘ，ｙ）（ｘ，ｙとも０から３の整数）で示される領域は、分割画面９０１の分割された各領域を示している。分割された領域ごとに含まれるマクロブロックごとの動きベクトルを集計し、領域ごとに平均ベクトルを算出する。デコード情報と符号化情報とそれぞれから得られた領域ごとの代表ベクトルを算出し、領域ごとにベクトルの分散等の評価値を用いて、デコード情報と符号化情報とのどちらの情報から算出した平均ベクトルを領域ごとの代表ベクトルとするかを決定する。そして、領域ごとに選択された１６本の代表ベクトルが基本動き情報生成部１０５から基本動き情報として出力される。

図１２は、基本動き情報生成部１０５が分割画面９０１の領域ごとの代表ベクトルを生成する場合の処理を説明するフローチャートである。

ここで、平均ベクトル算出部１０５１が分割画面９０１の各領域について代表ベクトルを生成する場合について説明する。

まず、平均ベクトル算出部１０５１は、デコード情報保持部１０３から入力したデコード情報からマクロブロックごとの動きベクトルを算出する（Ｓ４０１）。

次に、平均ベクトル算出部１０５１は、マクロブロックごとに存在する符号化対象画像の動きベクトルを符号化対象画像から所定の参照画像に対するマクロブロックごとの動きベクトルへと時間スケーリングする（Ｓ４０２）。

次に、平均ベクトル算出部１０５１は、分割画面９０１の領域ごとに、時間スケーリングしたマクロブロックごとの動きベクトルのベクトルを集計する（Ｓ４０３）。

次に、平均ベクトル算出部１０５１は、時間スケーリングされ、分割画面９０１の領域ごとに集計された符号化対象画像の動きベクトルを用いて、分割画面９０１の領域ごとに符号化対象画像の動きベクトルの平均ベクトルを算出する（Ｓ４０４）。

次に、平均ベクトル算出部１０５１は、算出した領域ごとの平均ベクトルをデコード情報から得られる領域ごとの代表ベクトルとすることにより、代表ベクトルを生成する（Ｓ４０４）。

なお、平均ベクトル算出部１０５３が領域ごとに代表ベクトルを生成する場合についても同様であるので割愛する。

図１３は、基本動き情報生成部１０５が分割画面９０１における領域ごとのベクトルの分散を算出する場合の処理を説明するフローチャートである。

ここで、ベクトル分散算出部１０５２が分割画面９０１の各領域についてベクトルの分散を算出する場合について説明する。

まず、ベクトル分散算出部１０５２は、デコード情報保持部１０３から入力したデコード情報からマクロブロックごとの動きベクトルを算出する（Ｓ５０１）。

次に、ベクトル分散算出部１０５２は、マクロブロックごとに存在する符号化対象画像の動きベクトルを符号化対象画像から所定の参照画像に対するマクロブロックごとの動きベクトルへと時間スケーリングする（Ｓ５０２）。

次に、ベクトル分散算出部１０５２は、分割画面９０１の領域ごとに、時間スケーリングしたマクロブロックごとの動きベクトルのベクトルを集計する。

次に、ベクトル分散算出部１０５２は、時間スケーリングされ、分割画面９０１の領域ごとに集計された符号化対象画像の動きベクトルを用いて、分割画面９０１の領域ごとに符号化対象画像の動きベクトルにおけるベクトルの分散を算出する（Ｓ５０３）。

なお、ベクトル分散算出部１０５４が分割画面９０１の各領域についてベクトルの分散を算出する場合についても同様であるので割愛する。

符号化部１０４は、符号化対象画像のマクロブロックが分割画面９０１における１６個の領域のどこに存在するかによって、動きベクトルを検出する際の探索範囲を変える。例えば、Ｒ（０，０）の領域内に存在するマクロブロックが符号化対象画像のマクロブロックとすると、Ｒ（０，０）の領域の代表ベクトルを用いて、その代表ベクトルが指し示す位置を中心とした探索範囲において動きベクトルの検出を行う。

この場合、図８で説明したように、基本動き情報であるＭＶｓｅｌ（Ｂ２）が１つの参照画像に付き１本ではなく、符号化対象マクロブロック位置が存在する領域ごとに基本動き情報であるＭＶｓｅｌ（Ｂ２）を変えることで、探索範囲の中心位置を変えることができる。

以上、本実施の形態５では、基本動き情報生成部１０５から基本動き情報として、領域ごとの代表ベクトルを生成する。動きベクトルを検出する際に、入力ストリームのデコード情報と、再符号化したときの符号化情報とから得られる領域ごとの代表ベクトルが比較され、選択されて用いられることにより、動きベクトル検出を行う探索範囲を効果的に決定できる。それ故、動きベクトル検出を行う探索範囲を狭めて処理量を削減しても、精度の高い動きベクトルを検出することが可能となる。それにより、処理量を削減しつつ、精度の高い動きベクトルを検出して符号化することができる画像符号化装置を実現することができる。

なお、本実施の形態では、第１の符号化データと、第２の符号化データとの符号化構造が共にフレーム構造である場合について説明したが、第１の符号化データと、第２の符号化データとの両方がフィールド構造の場合、あるいは一方がフレーム構造で他方がフィールド構造の場合においても実施の形態２もしくは実施の形態３で説明した代表ベクトル算出方法を領域ごとの代表ベクトル算出に適用させてもよい。

また、基本動き情報生成部１０５が生成する基本動き情報として符号化対象画像における領域ごとに１本の代表ベクトルを生成する例を説明しているが、実施の形態４に示すように符号化対象画像の参照方向ごとに、領域ごとの代表ベクトルを算出し、基本動き情報としてもよい。

また、基本動き情報生成部１０５は、符号化対象画像の領域ごとの代表ベクトルを、大きさと方向とでグルーピングし、１または複数の代表ベクトルを基本動き情報として生成してもよい。例えば、図１１の分割画面９０１における各領域のベクトルは、Ｒ（０，０）に示される代表ベクトルは左向きの大きいベクトルに、Ｒ（２，１）に示される代表ベクトルは右向きの小さいベクトルにグルーピングされる。基本動き情報生成部１０５は、グルーピングされたベクトルの平均ベクトルを算出し、グルーピングしたグループそれぞれに１本の代表ベクトルを基本動き情報とする。また、基本動き情報生成部１０５は、グルーピングしたグループごとの動きベクトルの平均値ではなく、中央値もしくは最大値や最小値を算出してもよい。

（実施の形態６）
次に、本発明の実施の形態６について説明する。

実施の形態５では、基本動き情報生成部１０５で行うマクロブロックの動きベクトルの集計方法として分割画面における分割された領域ごとに代表ベクトルを算出した場合について説明した。本実施の形態６では、基本動き情報生成部１０５で行うマクロブロックの動きベクトルの集計方法として、マクロブロックの動きベクトルを大きさと方向とでグルーピングすることで集計を行う方法を説明する。

図１４は、領域９０２における大きさと方向でグルーピングされた領域ごとの代表ベクトルが算出される場合について説明するための図である。

基本動き情報生成部１０５は、デコード情報あるいは符号化情報から得られるマクロブロックごとの動きベクトルを時間スケーリングする。時間スケーリングした動きベクトルを図１４のように大きさと方向で区切った領域のどこに存在するかを調べる。

ここでは、動きベクトルがゼロ近辺にあるグループはＧ（０，０）で示される領域にあるとしている。Ｇ（０，０）で示される領域の周辺にあり、比較的小さな動きベクトルが存在するグループは、第１〜４の象限にあるＧ（１，０）からＧ（１，３）の領域にあるとしている。また、大きい動きベクトルが存在するグループは象限ごとにＧ（２，０）からＧ（２，３）の領域にあるとしている。例えば、領域９０２の第１象限おけるＧ（１，０）の領域の境界値であるｘ０、ｘ１、ｙ０、ｙ１は、任意に設定できる。例えば、ｘ０＝ｙ０＝１６、ｘ１＝ｙ１＝４８と設定してもよい。図１４の中で、マクロブロックの動きベクトルは、Ｇ（１，１）の領域に存在するように示されている。

次に、基本動き情報生成部１０５は、デコード情報あるいは符号化情報から得られるマクロブロックごとに時間スケーリングした動きベクトルを大きさと方向でグルーピングしたグループごとに集計する。基本動き情報生成部１０５は、大きさと方向でグルーピングしたグループごとに集計したデコード情報と符号化情報とからの動きベクトルから、平均ベクトルを算出する。基本動き情報生成部１０５は、大きさと方向でグルーピングした９つのグループごとに、デコード情報あるいは符号化情報から算出した平均ベクトルを代表ベクトルとして選択する。基本動き情報生成部１０５は、大きさと方向でグルーピングした９つのグループごとに選択した９本の代表ベクトルを基本動き情報として符号化部１０４に出力する。

図１５は、基本動き情報生成部１０５が大きさと方向でグルーピングした領域ごとに代表ベクトルを生成する場合の処理を説明するフローチャートである。

ここで、平均ベクトル算出部１０５１が大きさと方向でグルーピングした領域ごとに代表ベクトルを生成する場合について説明する。

まず、平均ベクトル算出部１０５１は、デコード情報保持部１０３から入力したデコード情報からマクロブロックごとの動きベクトルを算出する（Ｓ６０１）。

次に、平均ベクトル算出部１０５１は、マクロブロックごとに存在する符号化対象画像の動きベクトルを符号化対象画像から所定の参照画像に対するマクロブロックごとの動きベクトルへと時間スケーリングする（Ｓ６０２）。

次に、平均ベクトル算出部１０５１は、大きさと方向でグルーピングした領域ごとに、時間スケーリングしたマクロブロックごとの動きベクトルのベクトルを集計する（Ｓ６０３）。

次に、平均ベクトル算出部１０５１は、時間スケーリングされ、大きさと方向でグルーピングした領域ごとに集計された符号化対象画像の動きベクトルを用いて、分割画面９０１の領域ごとに符号化対象画像の動きベクトルの平均ベクトルを算出する（Ｓ６０４）。

次に、平均ベクトル算出部１０５１は、大きさと方向でグルーピングした領域ごとに算出した平均ベクトルをデコード情報から得られる領域ごとの代表ベクトルとすることにより、代表ベクトルを生成する（Ｓ６０５）。

なお、平均ベクトル算出部１０５３が大きさと方向でグルーピングした領域ごとに代表ベクトルを生成する場合についても同様であるので割愛する。

図１６は、基本動き情報生成部１０５が大きさと方向でグルーピングした領域ごとにベクトルの分散を算出する場合の処理を説明するフローチャートである。

ここで、ベクトル分散算出部１０５２が大きさと方向でグルーピングした領域ごとにベクトルの分散を算出する場合について説明する。

まず、ベクトル分散算出部１０５２は、デコード情報保持部１０３から入力したデコード情報からマクロブロックごとの動きベクトルを算出する（Ｓ７０１）。

次に、ベクトル分散算出部１０５２は、マクロブロックごとに存在する符号化対象画像の動きベクトルを符号化対象画像から所定の参照画像に対するマクロブロックごとの動きベクトルへと時間スケーリングする（Ｓ７０２）。

次に、ベクトル分散算出部１０５２は、大きさと方向でグルーピングした領域ごとに、時間スケーリングしたマクロブロックごとの動きベクトルのベクトルを集計する。

次に、ベクトル分散算出部１０５２は、時間スケーリングされ、大きさと方向でグルーピングした領域ごとに集計された符号化対象画像の動きベクトルを用いて、大きさと方向でグルーピングした領域ごとに符号化対象画像の動きベクトルにおけるベクトルの分散を算出する（Ｓ７０３）。

なお、ベクトル分散算出部１０５４が大きさと方向とでグルーピングした領域ごとにベクトルの分散を算出する場合についても同様であるので割愛する。

符号化部１０４は、大きさと方向でグルーピングした領域ごとの９本の代表ベクトルに基づき、参照画像ごとに９箇所を探索することで動きベクトル検出を行う。あるいは、参照画像ごとに探索する範囲を選択して合計９箇所を探索すること等の方法で動きベクトル検出を行う。

なお、本実施の形態６では、基本動き情報生成部１０５が、グルーピングし、算出した平均ベクトルを全て基本動き情報として出力することを前提として説明したが、例えば、グルーピングした動きベクトル数が最も多いグループの平均ベクトルのみを代表ベクトルとして生成してもよい。グルーピングした動きベクトル数が２番目に多いグループまでの平均ベクトルを代表ベクトルとして生成してもよい。

また、基本動き情報生成部１０５は、参照方向および大きさと方向とでグルーピングした領域ごとに動きベクトルの集計を行ってもよい。その場合、参照方向および大きさと方向とでグルーピングした領域は１８種類となり、１８種類の平均ベクトルが代表ベクトルとして符号化部１０４に出力される。また、基本動き情報生成部１０５は、参照方向および大きさと方向とでグルーピングした領域でベクトル数が最も多いグループの平均ベクトルのみを基本動き情報として符号化部１０４に出力してもよく、参照方向および大きさと方向とでグルーピングした領域でベクトル数が２番目に多いグループまでのグループごとの代表ベクトルを基本動き情報として符号化部１０４に出力してもよい。

なお、本実施の形態６では、大きさと方向とでグルーピングした領域が合計９つのグループとなるよう分けることを説明したが、これに限らない。例えば、ｘ軸を基準に９０°ごとに４方向にグルーピングし、ｘ軸から２２．５°の位置を基準に４５°ごとにさらに８方向にグルーピングしてもよい。この場合、大きさと方向との分類方法を図１４と同じとした場合、１７種類にグルーピングされることになる。

また、基本動き情報生成部１０５は、各マクロブロックの動きベクトルをグルーピングし、グループごとに平均ベクトルを算出することから代表ベクトルを生成する場合のグルーピングの例を説明したが、これに限らない。基本動き情報生成部１０５は、領域ごとの平均ベクトルを算出後にグルーピングしてもよい。すなわち、基本動き情報生成部１０５は、デコード情報あるいは符号化情報から算出されたマクロブロックごとに時間スケーリングした動きベクトルの、例えば分割領域９０１における領域ごとの平均ベクトルを算出し、算出した平均ベクトルを大きさと方向でグルーピングすることから代表ベクトルを生成してもよい。

以上、本実施の形態６では、基本動き情報生成部１０５から基本動き情報として、大きさと方向とでグルーピングした領域ごとの代表ベクトルを生成する。動きベクトルを検出する際に、入力ストリームのデコード情報と、再符号化したときの符号化情報とから得られる大きさと方向とでグルーピングした領域ごとの代表ベクトルが比較され、選択されて用いられることにより、動きベクトル検出を行う探索範囲を効果的に決定できる。それ故、動きベクトル検出を行う探索範囲を狭めて処理量を削減しても、精度の高い動きベクトルを検出することが可能となる。それにより、処理量を削減しつつ、精度の高い動きベクトルを検出して符号化することができる画像符号化装置を実現することができる。

以上、本発明の画像符号化装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。

本発明は、画像符号化装置およびその方法に利用でき、特に、ＨＤＴＶ放送等のＨＤ画像をＨ．２６４規格で録画を行う画像符号化装置に利用することができる。

本発明の実施の形態１における画像符号化装置の構成を示すブロック図である。本発明の実施の形態１における画像符号化装置が符号化する場合の処理を説明するフローチャートである。本発明の実施の形態１における基本動き情報生成部の構成を示すブロック図である。本発明の実施の形態１におけるデコード情報から平均ベクトルとベクトルの分散とを算出する方法を説明するための図である。本発明の実施の形態１における符号化情報から平均ベクトルとベクトルの分散とを算出する方法を説明するための図である。本発明の実施の形態１における基本動き情報生成部が代表ベクトルを生成する場合の処理を説明するフローチャートである。本発明の実施の形態１における基本動き情報生成部がベクトルの分散を算出する場合の処理を説明するフローチャートである。本発明の実施の形態１における基本動き情報を用いて探索範囲を決定する方法を説明するための図である。本発明の実施の形態２におけるデコード情報から平均ベクトルとベクトルの分散とを算出する方法を説明するための図である。本発明の実施の形態２における符号化情報から平均ベクトルとベクトルの分散とを算出する方法を説明するための図である。本発明の実施の形態５における分割画面における分割された領域ごとの代表ベクトルについて説明するための図である。本発明の実施の形態５における基本動き情報生成部が分割画面の領域ごとの代表ベクトルを生成する場合の処理を説明するフローチャートである。本発明の実施の形態５における基本動き情報生成部が分割画面における領域ごとのベクトルの分散を算出する場合の処理を説明するフローチャートである。本発明の実施の形態６における領域における大きさと方向でグルーピングされた領域ごとの代表ベクトルが算出される場合について説明するための図である。本発明の実施の形態６における基本動き情報生成部が大きさと方向でグルーピングした領域ごとに代表ベクトルを生成する場合の処理を説明するフローチャートである。本発明の実施の形態６における基本動き情報生成部が大きさと方向でグルーピングした領域ごとにベクトルの分散を算出する場合の処理を説明するフローチャートである。

符号の説明

１００画像符号化装置
１０２復号化部
１０３デコード情報保持部
１０４符号化部
１０５基本動き情報生成部
１０６符号化情報保持部
８０１参照画像
８０２基準探索範囲
８０３探索範囲
９０１分割画面
９０２領域
９０１１、９０１２マクロブロック
１０５１、１０５３平均ベクトル算出部
１０５２、１０５４ベクトル分散算出部
１０５５比較部
１０５６選択器

Claims

第１符号化方式で符号化された第１の符号化データを第２符号化方式で符号化された第２の符号化データに変換する画像符号化装置であって、
前記第１の符号化データを復号化し、動きベクトルを含む復号化情報と復号画像とを生成する復号化手段と、
前記復号化手段が生成した復号画像を前記第２符号化方式で符号化し、動きベクトルを含む符号化情報と符号化画像とを含む第２の符号化データを生成する符号化手段と、
前記復号化手段が生成した復号化情報を保持する復号化情報保持手段と、
前記符号化手段が生成した符号化情報を保持する符号化情報保持手段と、
前記復号化情報保持手段に保持された復号化情報に含まれる複数の動きベクトルのばらつきと前記符号化情報保持手段に保持された符号化情報に含まれる複数の動きベクトルのばらつきとのうち、ばらつきの小さい方の動きベクトルを基に、前記復号画像の動きを示す基本動き情報を生成する基本動き情報生成手段とを備え、
前記符号化手段は、前記基本動き情報生成手段が生成した基本動き情報の示す動きによって指し示す位置を中心位置とする所定範囲を探索範囲として決定し、決定した探索範囲内で前記復号画像の動きベクトルを検出し、検出した動きベクトルを含む符号化情報と符号化画像とを含む第２の符号化データを生成する
ことを特徴とする画像符号化装置。
前記基本動き情報生成手段は、
前記復号化情報に含まれる複数の動きベクトルを代表する第１の代表ベクトルと前記符号化情報に含まれる複数の動きベクトルを代表する第２の代表ベクトルとを生成する生成部と、
前記第１あるいは前記第２の代表ベクトルを基本動き情報とする選択部とを備える
ことを特徴とする請求項１に記載の画像符号化装置。
前記生成部は、
前記復号化情報から前記復号化情報に含まれるマクロブロックごとの動きベクトルの平均を示す第１の平均ベクトルを算出し、当該第１の平均ベクトルを前記第１の代表ベクト
ルとして算出する第１の平均ベクトル算出部と、
前記復号化情報から前記復号化情報に含まれるマクロブロックごとの動きベクトルの分散である第１の分散値を算出する第１のベクトル分散算出部と、
前記符号化情報から前記符号化情報に含まれるマクロブロックごとの動きベクトルの平均を示す第２の平均ベクトルを算出し、当該第２の平均ベクトルを前記第２の代表ベクトルとして算出する第２の平均ベクトル算出部と、
前記符号化情報から前記符号化情報に含まれるマクロブロックごとの動きベクトルの分散である第２の分散値を算出する第２のベクトル分散算出部とを備え、
前記基本動き情報生成手段は、さらに、
前記第１の分散値と前記第２の分散値とを比較する比較部を備え、
前記選択部は、
前記比較部の比較結果を基に、前記第１の分散値が小さい場合は前記第１の代表ベクトルを基本動き情報とし、前記第２の分散値が小さい場合は前記第２の代表ベクトルを基本動き情報として出力する
ことを特徴とする請求項２に記載の画像符号化装置。
前記符号化情報保持手段は、前記符号化手段が符号化対象とする前記復号画像以前に符号化された復号画像の動きベクトルを含む符号化情報を保持し、
前記生成部は、前記符号化情報保持手段が保持する前記復号画像の直前に符号化された復号画像の符号化情報から前記符号化情報に含まれる動きベクトルを代表する前記第２の代表ベクトルを生成する
ことを特徴とする請求項２に記載の画像符号化装置。
前記生成部は、
前記符号化手段で符号化対象となる前記復号画像と同じピクチャタイプで、前記符号化手段により前記復号画像の直前に符号化された復号画像の符号化情報から第２の代表ベクトルを生成する
ことを特徴とする請求項２に記載の画像符号化装置。
前記第１の平均ベクトル算出部は、
前記復号化情報に含まれる複数の動きベクトルを基に、符号化対象となる前記復号画像の前方予測方向に対するマクロブロックごとの動きベクトルを生成し、生成した動きベクトルの平均を前記第１の平均ベクトルとし、
前記第２の平均ベクトル算出部は、
前記符号化情報に含まれる複数の動きベクトルを基に、符号化対象となる前記復号画像の前方予測方向に対するマクロブロックごとの動きベクトルを生成し、生成した動きベクトルの平均を前記第２の平均ベクトルとする
ことを特徴とする請求項３に記載の画像符号化装置。
前記第１の平均ベクトル算出部は、
前記第１の平均ベクトルを予測方向ごとに算出するとともに、当該予測方向ごとの当該第１の平均ベクトルを前記第１の代表ベクトルとし、
前記第２の平均ベクトル算出部は、
前記第２の平均ベクトルを予測方向ごとに算出するとともに、当該予測方向ごとの当該第２の平均ベクトルを前記第２の代表ベクトルとする
ことを特徴とする請求項３に記載の画像符号化装置。
前記第１および前記第２の平均ベクトル算出部は、
前記符号化手段がフレーム構造で符号化する場合、１フレーム間の距離の大きさと方向とで表現した基本ベクトルを用いて前記第１の平均ベクトル及び、前記第２の平均ベクト
ルを算出し、
前記符号化手段がフィールド構造で符号化する場合、１フィールド間の距離の大きさと方向とで表現した基本ベクトルを用いて前記第１の平均ベクトル及び、前記第２の平均ベクトルを算出する
ことを特徴とする請求項３に記載の画像符号化装置。
前記生成部は、
前記復号化情報から得られた符号化対象となる前記復号画像を２以上の領域に分割し、当該領域内に含まれるマクロブロックごとの動きベクトルを基に、前記第１の代表ベクトルを、分割した領域毎に生成し、
前記符号化情報から得られた符号化対象となる前記復号画像を前記領域に分割し、当該領域内に含まれるマクロブロックごとの動きベクトルを基に、前記第２の代表ベクトルを、分割した領域毎に生成し、
前記選択部は、
前記領域毎に生成された前記第１および前記第２の代表ベクトルのうち一方の代表ベクトルを、当該第１あるいは当該第２の代表ベクトルが属する領域の基本動きベクトルとする
ことを特徴とする請求項２に記載の画像符号化装置。
前記生成部は、
前記復号化情報から得られた符号化対象となる前記復号画像を２以上の領域に分割し、当該領域内に含まれるマクロブロックごとの動きベクトルを基に、前記第１の代表ベクトルを、分割した領域毎に生成し、
前記符号化情報から得られた符号化対象となる前記復号画像を２以上の領域に分割し、当該領域内に含まれるマクロブロックごとの動きベクトルを基に、前記第２の代表ベクトルを、分割した領域毎に生成し、
前記選択部は、
複数の前記領域を、当該領域に属する前記第１の代表ベクトル若しくは前記第２の代表ベクトルの大きさまたは方向を基に、少なくとも１以上の領域からなるグループにグループ化し、
前記グループに属する前記第１の代表ベクトルの平均ベクトルおよび前記第２の代表ベクトルの平均ベクトルのうち一方の平均ベクトルを、当該グループの基本動きベクトルとする
ことを特徴とする請求項２に記載の画像符号化装置。
前記生成部は、
前記グループ内に含まれるマクロブロックごとの動きベクトルの中央値若しくは、最大値を示す動きベクトルを、前記第１の代表ベクトルおよび、前記第２の代表ベクトルとする
ことを特徴とする請求項１０に記載の画像符号化装置。
前記生成部は、
前記復号化情報に含まれる複数の動きベクトルを、少なくともベクトルの大きさと方向との一方を用いて２以上のグループ毎にグループ化し、
前記グループ内に含まれる動きベクトルを基に、前記第１の代表ベクトルを、当該グループ毎に生成し、
前記符号化情報に含まれる複数の動きベクトルを、前記グループ毎にグループ化し、
前記グループ内に含まれる動きベクトルを基に、前記第２の代表ベクトルを、当該グループ毎に生成し、
前記選択部は、
前記グループ毎に生成された前記第１および前記第２の代表ベクトルのうち一方の代表ベクトルを、当該第１あるいは当該第２の代表ベクトルが属するグループの基本動きベク
トルとする
ことを特徴とする請求項２に記載の画像符号化装置。
前記生成部は、
前記復号化情報から前記復号化情報に含まれるマクロブロックごとの動きベクトルの平均を示す第１の平均ベクトルと、当該マクロブロックごとの動きベクトルの大きさに対する平均を示す第１の絶対値和平均と、を算出する第１の平均ベクトル算出部と、
前記符号化情報から前記符号化情報に含まれるマクロブロックごとの動きベクトルの平均を示す第２の平均ベクトルと、当該マクロブロックごとの動きベクトルの大きさに対する平均を示す第２の絶対値和平均と、を算出する第２の平均ベクトル算出部とを有し、
前記基本動き情報生成手段は、さらに、
前記第１の平均ベクトルの大きさおよび、前記第１の絶対値和平均の差分結果である第１の差分値、並びに、前記第２の平均ベクトルの大きさおよび、前記第２の絶対値和平均の差分結果である第２の差分値、を比較する比較部を備え、
前記選択部は、前記比較部の比較結果を基に、前記第１の差分値が小さい場合は前記第１の平均ベクトルを選択し、前記第２の差分値が小さい場合は前記第２の平均ベクトルを選択し、前記基本動き情報として出力する
ことを特徴とする請求項２に記載の画像符号化装置。
前記符号化手段は、
前記復号画像の動きが大きくなるにつれ、前記探索範囲を大きくする
ことを特徴とする請求項１に記載の画像符号化装置。
第１符号化方式で符号化された第１の符号化データを第２符号化方式で符号化された第２の符号化データに変換する画像符号化方法であって、
前記第１の符号化データを復号化し、動きベクトルを含む復号化情報と復号画像とを生成する復号化ステップと、
前記復号化ステップが生成した復号画像を前記第２符号化方式で符号化し、動きベクトルを含む符号化情報と符号化画像とを含む第２の符号化データを生成する符号化ステップと、
前記復号化ステップが生成した復号化情報を保持する復号化情報保持ステップと、
前記符号化ステップが生成した符号化情報を保持する符号化情報保持ステップと、
前記復号化情報保持ステップに保持された復号化情報に含まれる複数の動きベクトルのばらつきと前記符号化情報保持ステップに保持された符号化情報に含まれる複数の動きベクトルのばらつきとのうち、ばらつきの小さい方の動きベクトルを基に、前記復号画像の動きを示す基本動き情報を生成する基本動き情報生成ステップとを含み、
前記符号化ステップは、前記基本動き情報生成ステップが生成した基本動き情報の示す動きによって指し示す位置を中心位置とする所定範囲を探索範囲として決定し、決定した探索範囲内で前記復号画像の動きベクトルを検出し、検出した動きベクトルを含む符号化情報と符号化画像とを含む第２の符号化データを生成する
ことを特徴とする画像符号化方法。
第１符号化方式で符号化された第１の符号化データを第２符号化方式で符号化された第２の符号化データに変換することで画像符号化する集積回路であって、
前記第１の符号化データを復号化し、動きベクトルを含む復号化情報と復号画像とを生成する復号化手段と、
前記復号化手段が生成した復号画像を前記第２符号化方式で符号化し、動きベクトルを含む符号化情報と符号化画像とを含む第２の符号化データを生成する符号化手段と、
前記復号化手段が生成した復号化情報を保持する復号化情報保持手段と、
前記符号化手段が生成した符号化情報を保持する符号化情報保持手段と、
前記復号化情報保持手段に保持された復号化情報に含まれる複数の動きベクトルのばらつきと前記符号化情報保持手段に保持された符号化情報に含まれる複数の動きベクトルのばらつきとのうち、ばらつきの小さい方の動きベクトルを基に、前記復号画像の動きを示す基本動き情報を生成する基本動き情報生成手段とを備え、
前記符号化手段は、前記基本動き情報生成手段が生成した基本動き情報の示す動きによって指し示す位置を中心位置とする所定範囲を探索範囲として決定し、決定した探索範囲内で前記復号画像の動きベクトルを検出し、検出した動きベクトルを含む符号化情報と符号化画像とを含む第２の符号化データを生成する
ことを特徴とする集積回路。