JP2010114474A - 動画像の動き情報を利用した画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】動画像データ内に記録されている画像間の動き情報を利用して、複雑な演算無く高精度な位置合わせを可能にした、動画像の動き情報を利用した画像処理装置を提供する。
【解決手段】動画像データ内に記録されているフレーム画像間の動き情報を利用した画像処理装置であって、動画像データを復号化して得られた連続する２以上のフレーム画像から、基準フレーム及び参照フレームを指定する、フレーム選択処理部と、参照フレームから基準フレームへの動きベクトル値を算出する、動きベクトル累積加算変換処理部とを備え、動きベクトル累積加算変換処理部は、動画像データに記録された動き情報を元に、累積加算及び方向変換による演算によって、参照フレームから基準フレームへの動きベクトル値を算出する。
【選択図】図１

Description

本発明は、画像処理技術に関し、特に、動画像の動き情報を利用した画像処理装置及び画像処理方法に関する。

従来、例えば、特許文献１では、インタレース走査ＭＰＥＧ２からプログレッシブ走査ＭＰＥＧ４へビットストリーム変換する際のブロック毎の動きベクトル変換技術について開示されている。

特許文献１に記載されている動きベクトル変換技術とは、インタレースからプログレッシブに変換時に、フレームレート変換が行われ、元のＭＰＥＧ２のフレームが破棄され、そして、破棄するフレームの隣接する後フレームから隣接する前フレームまでの動きベクトル値を、破棄するフレームと隣接する後フレームの対応するブロックの動きベクトル値を元に変換し決定後、隣接する後フレームの対応ブロックの新しい動きベクトル値として記録する技術である。

特許文献１では、破棄するフレームから隣接する前フレームまでの動きベクトルが存在する場合に、隣接する後フレームの動きベクトル値と破棄するフレームから前フレームまでの動きベクトル値を累積加算した値を新の動きベクトル値とし、一方、破棄するフレームから隣接する前フレームまでの動きベクトルが存在しない場合に、隣接する後フレームの動きベクトルを破棄するフレーム分の時間を考慮した定数倍に変換した値を新の動きベクトル値として記録する。

また、従来、位置合わせを行う際に必要となる動き推定技術として、特許文献２では、画像のサブピクセルマッチングにおける多パラメータ高精度同時推定技術について開示されている。

更に、特許文献３では、複数枚の低解像度画像から一枚の高解像度画像を生成する超解像処理技術について開示されており、超解像処理に必要となる位置合わせ処理（以下、単に、位置合わせとも称する。）として、例えば、特許文献２に記載されたような高精度なサブピクセルマッチングによる動き推定技術を利用することができる。
特開２００２−２５２８５４号公報 国際公開第０４／０６３９９１号パンフレット 国際公開第０４／０６８８８６２号パンフレット 田中・奥富共著，「再構成型超解像処理の高速化アルゴリズム」，コンピュータ ビジョンアンド イメージ メディア ＣＶＩＭ（Computer Vision and Image Media(ＣＶＩＭ)）,第2004巻,第113号,p.97-104,2004年 奥富正敏・他著編,「ディジタル画像処理」,ＣＧ−ＡＲＴＳ協会,2004年

近年、画像処理分野において、ＭＰＥＧなどの動画像を使って、電子ブレ補正、ノイズ低減、超解像処理などの位置合わせが必要な画像処理（以下、これらの画像処理を単に「画質改善処理」とも称する。）を行うニーズは、増えつつある。

しかしながら、ＭＰＥＧ（Moving Picture Expert Group）のような動き情報が記録されている動画像データ内の複数フレーム画像を用いて、位置合わせをし、画質改善処理を行い、高精細な画像を生成する場合、その一例として、例えば、超解像処理を行い、高解像度画像を生成する場合に、特許文献２に開示されている動き推定技術を位置合わせに適用すると、ＭＰＥＧ復号後の複数枚画像を使って新たに演算しなければならない為、処理時間が多大になると共にハードウェア規模が大きくなるという問題点がある。

また、特許文献１に開示されている動きベクトル変換技術を位置合わせ処理に適用すると、記録時の各ＭＰＥＧエンコーダーによって動き補償手法が異なっており、記録された動きベクトル値の精度はエンコーダーに依存し必ずしも高いわけではないので、位置合わせが失敗してしまうという問題点がある。

したがって、位置合わせが失敗すると、例えば、特許文献３に開示された超解像処理を利用した場合であっても、高解像度画像が生成できなくなるという問題が生じる。

本発明は、上述のような事情よりなされたものであり、本発明の目的は、動画像データ内に記録されている画像間の動き情報を利用して、複雑な演算無く高精度な位置合わせを可能にした、動画像の動き情報を利用した画像処理装置及び画像処理方法を提供することにある。

本発明は、動画像データ内に記録されているフレーム画像間の動き情報を利用した画像処理装置に関し、本発明の上記目的は、前記動画像データを復号化して得られた連続する２以上のフレーム画像から、基準フレーム及び参照フレームを指定する、フレーム選択処理部と、前記参照フレームから前記基準フレームへの動きベクトル値を算出する、動きベクトル累積加算変換処理部とを備え、前記動きベクトル累積加算変換処理部は、前記動画像データに記録された前記動き情報を元に、累積加算及び方向変換による演算によって、前記参照フレームから前記基準フレームへの動きベクトル値を算出することにより、或いは、前記動画像データを復号化して得られた連続する２以上のフレーム画像から、基準フレーム及び参照フレームを指定する、フレーム選択処理部と、前記参照フレームから前記基準フレームへの動きベクトル値を算出する、動きベクトル累積加算変換処理部とを備え、前記動きベクトル累積加算変換処理部は、前記動画像データに記録された前記動き情報を動きベクトル値に変換し、対象画素に対し前記参照フレームから前記基準フレームに向かって前記動きベクトル値を使って追従し、追従時に使用した動きベクトル値を累積加算及び方向変換することにより、或いは、前記動画像データはＭＰＥＧ１／２／４、Ｈ.２６１／２６３／２６４の動画像データであることにより、或いは、前記動画像データに記録された前記動き情報は、フレーム画像間のブロックベースのマッチング処理によって求めた動きベクトル値、又は、求めた動きベクトル値を元に変換した値であることにより、或いは、前記動きベクトル累積加算変換処理部によって求めた前記参照フレームと前記基準フレームとの各画素の対応情報を元に位置合わせする、位置合わせ処理部と、前記位置合わせ処理部から出力されたレジストレーション画像の各画素について、類似度、位置ずれの推定量、又は、前記類似度及び前記位置ずれの推定量に基づき、当該画素を選択する、画素選択処理部とを備えることにより、或いは、前記画素選択処理部により選択された画素のみを利用して、前記基準フレームに対して画質改善処理を行う、画質改善処理部を備えることにより、或いは、前記動きベクトル累積加算変換処理部によって求めた前記参照フレームと前記基準フレームとの各画素の対応情報を元に位置合わせする、位置合わせ処理部と、前記位置合わせ処理部から出力されたレジストレーション画像の各画素について、明度変化に影響されない類似度、明度変化に影響されない位置ずれの推定量、又は、前記類似度及び前記位置ずれの推定量に基づき、当該画素を選択し、選択された画素の明度を対応する前記基準画像の画素の明度と一致するように、前記選択された画素の画素値を補正する、画素選択処理部とを備えることにより、或いは、前記画素選択処理部により選択・明度補正された画素を利用して、前記基準フレームに対して画質改善処理を行う、画質改善処理部を備えることによって効果的に達成される。

また、本発明は、動画像データ内に記録されているフレーム画像間の動き情報を利用した画像処理方法に関し、本発明の上記目的は、前記動画像データを復号化して得られた連続する２以上のフレーム画像から、基準フレーム及び参照フレームを指定するステップと、前記参照フレームを前記基準フレームに位置合わせする場合に、動きベクトル累積加算変換処理手段により、前記参照フレームから前記基準フレームへの動きベクトル値を算出するステップとを有し、前記動きベクトル累積加算変換処理手段は、前記動画像データに記録された前記動き情報を元に、累積加算及び方向変換による演算によって、前記参照フレームから前記基準フレームへの動きベクトル値を算出することにより、或いは、前記動画像データを復号化して得られた連続する２以上のフレーム画像から、基準フレーム及び参照フレームを指定するステップと、前記参照フレームを前記基準フレームに位置合わせする場合に、動きベクトル累積加算変換処理手段により、前記参照フレームから前記基準フレームへの動きベクトル値を算出するステップとを有し、前記動きベクトル累積加算変換処理手段は、前記動画像データに記録された前記動き情報を動きベクトル値に変換し、対象画素に対し前記参照フレームから前記基準フレームに向かって前記動きベクトル値を使って追従し、追従時に使用した動きベクトル値を累積加算及び方向変換することにより、或いは、前記動画像データはＭＰＥＧ１／２／４、Ｈ.２６１／２６３／２６４の動画像データであることにより、或いは、前記動画像データに記録された前記動き情報は、フレーム画像間のブロックベースのマッチング処理によって求めた動きベクトル値、又は、求めた動きベクトル値を元に変換した値であることにより、或いは、前記動きベクトル累積加算変換処理手段によって求めた前記参照フレームと前記基準フレームとの各画素の対応情報を元に位置合わせし、位置合わせにより得られたレジストレーション画像の各画素について、類似度、位置ずれの推定量、又は、前記類似度及び前記位置ずれの推定量に基づき、当該画素を選択することにより、或いは、選択された画素のみを利用して、前記基準フレームに対して画質改善処理を行うことにより、或いは、前記動きベクトル累積加算変換処理手段によって求めた前記参照フレームと前記基準フレームとの各画素の対応情報を元に位置合わせし、位置合わせにより得られたレジストレーション画像の各画素について、明度変化に影響されない類似度、明度変化に影響されない位置ずれの推定量、又は、前記類似度及び前記位置ずれの推定量に基づき、当該画素を選択し、選択された画素の明度を対応する前記基準画像の画素の明度と一致するように、前記選択された画素の画素値を補正することにより、或いは、選択・明度補正された画素を利用して、前記基準フレームに対して画質改善処理を行うことによってより効果的に達成される。

本発明によれば、ＭＰＥＧ（Moving Picture Expert Group）のような動き情報が記録されている動画像データ内の動き情報を利用して、簡単な演算や変換で、参照フレーム画像から基準フレーム画像への動きベクトル値を求め、求めた動きベクトル値で参照フレーム画像と基準フレーム画像との位置合わせを行い、その後に更に画素選択・明度補正することで、簡単な演算や変換によるそれほど高精度な動きベクトル値でなくても、高精度な位置合わせ処理ができるため、高解像度画像や高画質化画像の生成ができると共に、演算時間の短縮、ハードウェア規模の縮小が可能となる。

特許文献２に記載された動き推定処理手法及び本発明による動き推定処理をソフトウェアで実装した場合の動き推定処理の演算時間計測結果例を以下に示す。

ソフトウェアを実行するパーソナルコンピュータ環境（ＰＣ環境）については、ＣＰＵが３.２ＧＨｚで、ＲＡＭが２ＧＢｙｔｅである。また、画像サイズが３５２×２８８[pixel]の画像を３０枚使用し、特許文献２に記載された動き推定手法を実装したソフトウェアの場合、その計測時間は３８.０４１[ｓ]で、一方、本発明を実装したソフトウェアの場合、その計測時間は１６.８１２[ｓ]である。

両者の計測時間を比較することにより、本発明による計測時間が、特許文献２による計測時間の半分以下になるほど、明らかに短いことが分かる。

最初に、本発明の着眼点について述べる。

ＭＰＥＧ（Moving Picture Experts Group）１／２／４やＨ.２６１／２６３／２６４は、標準規格化されており、多くの既存システムの出力データ形式に使用されている。これらの動画像データには、圧縮効率を良好にするために、フレーム画像間の動き情報が記録されており、それを元に復号化される。つまり、符号化時に、フレーム画像間の動き情報を算出しているので、その動き情報を有効的に活用し、更に、画素選択・明度補正処理と組み合わせることにより、高精細な位置合わせを実現する。

要するに、本発明では、例えばＭＰＥＧなどのフレーム画像間の動き情報が記録されている動画像データの復号画像に対し、高精細化する際、複数枚の画像（フレーム画像）を使って位置合わせを必要とする場合に、動画像データに記録された動き情報を元に、使用する参照フレーム画像から高精細化したい基準フレーム画像への動きベクトル値を、累積加算や方向変換など簡単な手法による演算によって画素毎に求め、求めた動きベクトル値で位置合わせ処理を行い、位置合わせ処理により生成された「レジストレーション画像」に対し、画素選択・明度補正処理によって、レジストレーション画像内の各画素が有効な画素か無効な画素かを判定し、有効な画素と判定された画素のみを選択することで、画素選択・明度補正したレジストレーション画像が得られた。つまり、本発明は、計算コストが低い簡単な動きベクトル演算で、高精細な位置合わせを実現している。

以下、本発明を実施するための最良の形態を、図面を参照して詳細に説明する。
（実施形態１）
図１は、本発明に係る「動画像の動き情報を利用した画像処理装置」（以下、単に、本発明の画像処理装置とも言う。）の第１の実施形態を示すブロック構成図である。

図１に示すように、第１の実施形態に係る画像処理装置は、動画像入力処理部１０１と、動画像復号処理部１０２と、動きベクトル累積加算変換処理部１０３と、フレーム選択処理部１０５と、位置合わせ処理部１０６と、画素選択処理部１０７と、高解像度化処理部１０８と、メモリ１０９と、画像表示部１１０とを備える。

第１の実施形態における動き情報付き動画像データ１００（即ち、フレーム画像間の動き情報が記録されている動画像データ）は、既に存在しているものとし、フレーム画像間の動き情報を持つ全ての動画像データのことを指しており、例えば、ＭＰＥＧ（Moving Picture Experts Group）１／２／４やＨ.２６１／２６３／２６４などの動画像データである。

図１に示されるように、動き情報付き動画像データ１００は、動画像入力処理部１０１に入力された後に、動画像復号処理部１０２で連続するフレーム画像として復号化され、復号した連続するフレーム画像は、メモリ１０９に保存される。

ここで、例えば、動き情報付き動画像データ１００がＭＰＥＧ動画像データの場合、動画像復号処理部１０２は、フレーム画像の復号化をすると共に、フレーム画像間の動き情報を復号化し変換することで、フレーム画像間の動きベクトル情報を抽出する。変換とは、ＭＰＥＧ動画像データに記録されている動き情報は、対象ブロックの隣接するブロックとの動きベクトル値の差分値を圧縮符号化しているため、復号化後に隣接するブロックの動き量に加算することである。また、動画像復号処理部１０２は、後述する図３のＭＰＥＧ４の復号器に対応する。

メモリ１０９に保存された復号化データは、画像表示部１１０にて動画表示することができる。使用者（ユーザ）は、画像表示部１１０で表示された動画像（フレーム画像）を閲覧し、高画質化に使用するフレーム画像（以下、単に「使用フレーム」とも呼ぶ）と、高画質化させたい基準フレーム画像（以下、単に「基準フレーム」とも呼ぶ）を指定することが可能である。

本発明では、「使用フレーム」とは、高画質化に使用する全てのフレーム画像を意味し、指定された「使用フレーム」のうち、１枚のフレーム画像を「基準フレーム」とし、基準フレームを除いて残りの全ての使用フレームは、「参照フレーム」と呼ぶ。つまり、使用フレームと基準フレームを指定すれば、参照フレーム（参照フレーム画像）も決まる訳である。

使用者によって指定された基準フレーム及び使用フレームに関する指定フレーム情報は、フレーム選択処理部１０５を介して、動きベクトル累積加算変換処理部１０３に入力される。

動きベクトル累積加算変換処理部１０３は、動画像復号処理部１０２によって抽出された動きベクトル情報をメモリ１０９経由又は動画像復号処理部１０２経由で取得し、取得した動きベクトル情報を使用して、指定フレーム情報に基づき、各参照フレーム画像から基準フレーム画像までの動きベクトル値を算出する。

動きベクトル累積加算変換処理部１０３で算出された動きベクトル値は、位置合わせ処理部１０６に入力される。

位置合わせ処理部１０６では、入力された動きベクトル値を用いて、各参照フレーム画像を基準フレーム画像へ位置合わせするように、位置合わせ処理を行うことにより、レジストレーション画像を生成する。

位置合わせ処理が行われた後に、画素選択処理部１０７は、レジストレーション画像の各画素が有効な画素か無効な画素かを判定し、有効な画素と判定された画素のみを選択する。なお、位置合わせ処理部１０６、画素選択処理部１０７は、メモリに保存されている復号画像へのアクセスが自由にできる。

画素選択処理が行われた後に、選択された画素のみ（即ち、画素選択・明度補正したレジストレーション画像）が高解像度化処理部１０８へ入力される。高解像度化処理部１０８では、画素選択・明度補正したレジストレーション画像に対し、高解像度化処理を施すことにより、高解像度画像を生成し、生成した高解像度画像をメモリ１０９へ保存する。

メモリ１０９に保存された高解像度画像は、画像表示部１０１に表示することができ、使用者は、画像表示部１０１で生成された高解像度画像を確認することが出来る。

図１の高解像度化処理部１０８では、画素選択・明度補正したレジストレーション画像に対し、高解像度画像を生成するとなっているが、本発明はそれに限定されることはなく、高解像度化処理部１０８を、ノイズ低減や電子ブレなどの位置合わせが必要な画像処理部、即ち、画質改善処理部に置き換えても良いことは、言うまでもない。

図２は、図１に示す本発明の第１の実施形態に係る画像処理装置で行われる画像処理の流れを示すフローチャートである。即ち、図２に示す流れは、本発明に係る「動画像の動きベクトルを利用した画像処理方法」の手順を示している。

図２に示されるように、先ず、動き情報付き動画像データ入力処理（Ａ０１）により、動き情報付き動画像データの入力を行う。次に、入力した動き情報付き動画像データを動画像データ復号処理（Ａ０２）により、動きベクトル値と連続フレーム画像を復号する。

そして、使用者（ユーザ）により指定されたフレーム情報（指定された使用フレーム情報及び指定された基準フレーム情報）から、フレーム選択処理（Ａ０３）により、動画像中の高解像度化する対象フレーム（基準フレーム）と高解像度化に使用するフレーム（使用フレーム）を選択する。前述したように、使用フレームと基準フレームを選択すれば、自然に、参照フレームも選択される。

動画像データ復号処理（Ａ０２）により復号された動きベクトル値を元に、動きベクトル累積加算変換処理（Ａ０４）により、基準フレーム画像と各参照フレーム画像との各画素における動きベクトル値を算出する。

基準フレーム画像と各参照フレーム画像との各画素における動きベクトル値が算出された後に、位置合わせ処理（Ａ０５）により、基準フレーム画像に対して各参照フレームの位置合わせを行う。

位置合わせ処理の後に、画素選択処理（Ａ０６）により画素選択を行い、画素選択された画素に対し、高解像度化処理（Ａ０７）により、高解像度画像を生成する。

図３には、ＭＰＥＧ４の符号化／復号化処理のブロック構成を示している。図１に示す本発明の第１の実施形態における動画像復号処理部１０２は、ＭＰＥＧ４の復号化処理ブロック構成に対応しており、即ち、図３の復号器と対応する。

また、図１における動き情報付き動画像データ１００は、図３の符号化信号３１２と対応し、可変長復号化ブロック３１４で復号化され、映像データは逆量子化ブロック３１５へ、動き情報データは動きベクトル復号化ブロック３１８へそれぞれ出力される。

その後、映像データは、逆ＤＣＴブロック３１６で逆ＤＣＴされる。動きベクトル復号化ブロック３１８で復号された動きベクトルは、動き補償ブロック３１９で、メモリ３２０に保存されている前のフレーム画像の対象ブロックに対し、動き補償される。

そして、動き補償された動きベクトルを逆ＤＣＴされた映像データに加算することで、復号画像３２１を生成する。

図４は、本発明の第１の実施形態におけるフレーム選択処理部１０５で、使用者が指定フレームを設定する際の設定方法の一例を示した模式図である。

図４に示されるように、フレームを指定するための表示画面２０１において、使用者は、復号画像表示フレーム切り替えつまみ２０３を動かしながら、復号画像２０２の表示を確認し、そして、高解像度化したいフレーム番号を指定フレーム設定タブ２０４の基準フレーム設定タブ２０５に、高解像度化に使用するフレーム番号を使用フレーム設定タブ２０６に設定することで、フレームを指定することができる。

図５は、本発明の第１の実施形態における「動きベクトル累積加算変換処理」の概要を示す模式図である。

図５に示されるように、フレーム選択処理（Ａ０３）によって使用フレーム及び基準フレームが指定される。図５において、使用フレームは全部１０フレームで、使用フレームから基準フレームを除いて得られた参照フレームは、参照フレーム１から参照フレーム９までの９フレームである。

図５に示されるように、参照フレーム１と参照フレーム２との間の動きベクトル値はＭＶ１で、参照フレーム２と参照フレーム３との間の動きベクトル値はＭＶ２で、参照フレーム３と参照フレーム４との間の動きベクトル値はＭＶ３で、参照フレーム４と基準フレームとの間の動きベクトル値はＭＶ４である。

よって、参照フレーム１と基準フレームとの間の動きベクトル値ＭＶは、ＭＶ＝＋ＭＶ１＋ＭＶ２＋ＭＶ３＋ＭＶ４で求めることができる。

このように、本発明の「動きベクトル累積加算変換処理」により、指定された基準フレーム画像と各参照フレーム画像（参照フレーム１〜参照フレーム９）との間の動きベクトル値を求めることができる。求めた動きベクトル値で、各参照フレーム画像を基準フレーム画像に変形させることで、位置合わせすることができる。

これらの動きベクトル値を求める「動きベクトル累積加算変換処理」をフレーム画像間の各画素に対して行う。なお、上記とは逆に、「動きベクトル累積加算変換処理」で求めた動きベクトル値の方向を全て反転した値で、基準フレーム画像を変形することで、各参照フレーム画像に対して、位置合わせすることもできる。

図６は、本発明の第１の実施形態における「動きベクトル累積加算変換処理」のフローチャートを示したものである。なお、図６のフローチャートにおける判別処理１〜９（処理１〜９）の各処理内容は、図７に示す。

以下に、図６及び図７に沿って、本発明における「動きベクトル累積加算変換処理」を詳細に説明する。なお、以下の説明において、Ｉとは「Ｉフレーム(Intra-coded Frame)／I-Picture／Ｉ−ＶＯＰ（Intra-coded Video Object Plane）」を示し、Ｐとは「Ｐフレーム(Predicted Frame)／P-Picture／Ｐ−ＶＯＰ（Predicted Video Object Plane）」を示し、Ｂとは「Ｂフレーム(Bi-directional Predicted Frame)／B-Picture／Ｂ−ＶＯＰ（Bi-directional Predicted Video Object Plane）」を示すものとする。

図６に示されるように、「動きベクトル累積加算変換処理」における動きベクトル値の算出においては、フレーム選択処理（Ａ０３）で指定された基準フレームと使用フレームから基準フレーム以外のフレーム数分（参照フレーム数分）のループ（Ｂ０１、Ｂ２５）と各参照フレーム内全画素分のループ（Ｂ０２、Ｂ２４）で処理される。

ループ内処理として、まず、対象フレーム・対象画素設定処理（Ｂ０３）で、元対象フレームと対象フレームを参照フレームに、元対象画素と対象画素を参照フレーム内の対象画素に設定する。

その後、対象フレームと基準フレームとの前後（時間の前後）関係を判定（Ｂ０４）し、処理１（Ｂ０５、Ｂ１２）で基準フレームの符号化タイプを判別し、処理２（Ｂ０６、Ｂ０７、Ｂ１３、Ｂ１４）で対象フレームの符号化タイプを判別する。

その後、各符号化タイプの組み合わせを考慮して、処理３〜９（Ｂ０８、Ｂ０９、Ｂ１０、Ｂ１１、Ｂ１５、Ｂ１６、Ｂ１７、Ｂ１８）で判別選択処理を行う。

処理３〜９（Ｂ０８、Ｂ０９、Ｂ１０、Ｂ１１、Ｂ１５、Ｂ１６、Ｂ１７、Ｂ１８）で、対応フレームと対応画素が選択されない（ＮＯの）場合は、動きベクトル値なし（Ｂ２２）として参照フレーム内全画素分ループエンド（Ｂ２４）へ進む。

一方、処理３〜９（Ｂ０８、Ｂ０９、Ｂ１０、Ｂ１１、Ｂ１５、Ｂ１６、Ｂ１７、Ｂ１８）で、対応フレームと対応画素が選択される（ＹＥＳの）場合は、動きベクトル値更新処理（Ｂ１９）で方向変換や累積加算し動きベクトル値を更新する。

動きベクトル更新方法は２種類ある。図６の注釈にあるように、「動きベクトル更新方法１」とは、対象フレームの対象画素と選択されたフレーム内の対応する画素が持つ動きベクトル値を方向を考慮して累積加算する方法である。

また、「動きベクトル更新方法２」とは、選択されたフレーム内の対応する画素への対象フレームの対象画素が持つ動きベクトル値を方向を考慮して累積加算する方法である。

動きベクトル更新方法の選択は、図６の注釈内の表に示すように、対象フレーム、選択フレームの符号化タイプと、対象フレームと基準フレームとの前後（時間の前後）関係から決定される。

その後、選択フレームと基準フレームの比較（Ｂ２０）を行い、両者が一致していれば、参照フレームの対象画素から基準フレームまでの対応画素までの動きベクトル値が求められたことになるので、その動きベクトル値を元対象フレームの元対象画素として保存（Ｂ２３）する。参照フレーム内全画素分ループエンド（Ｂ２４）へ進む。

選択フレームと基準フレームの比較（Ｂ２０）で両者が一致していなければ、対象フレーム・対象画素更新処理（Ｂ２１）で対象フレームを選択フレームに対象画素を選択対象画素に更新し、対象フレームと基準フレームの前後関係判定処理（Ｂ０４）へ戻る。

これらのループ内処理を各参照フレーム内全画素分のループ（Ｂ０２、Ｂ２４）と参照フレーム数分のループ（Ｂ０１、Ｂ２５）とで処理することにより、動きベクトル累積加算変換処理を終了する。

以上の動きベクトル累積加算変換処理の詳細を幾つかのパターンを例に説明する。その説明の前提として、ＭＰＥＧ４によるフレームの符号化タイプと各符号化タイプ内のマクロブロック符号化タイプについて説明する。

ＭＰＥＧ４には、Ｉ−ＶＯＰ、Ｐ−ＶＯＰ、Ｂ−ＶＯＰの３種類があり、Ｉ−ＶＯＰはイントラ符号化と呼び、Ｉ−ＶＯＰ自体の符号化時には、フレーム内で符号化が完結するため、他のフレームとの予測を必要としない。Ｐ−ＶＯＰとＢ−ＶＯＰは、インター符号化と呼び、Ｐ−ＶＯＰ自体の符号化時には、前方のＩ−ＶＯＰかＰ−ＶＯＰから予測符号化をする。Ｂ−ＶＯＰ自体の符号化時には、双方向のＩ−ＶＯＰかＰ−ＶＯＰから予測符号化をする。

図８に、動き補償時の予測方向（１）と、（１）によって各フレームが持つ（各フレーム内に符号化記録される）動きベクトルの方向（どのフレームに対する動きベクトルか）（２）を示す。

例えば、図８の（１）の左から４番目のＩ−ＶＯＰは、他のフレーム予測には使用されるが、Ｉ−ＶＯＰ自体の符号化に他のフレームからの予測は必要としない。つまり、図８の（２）に示すように、対応する左から４番目のＩ−ＶＯＰからの動きベクトルは、存在しないので、Ｉ−ＶＯＰ自体は、動きベクトルを持たない。

また、図８の（１）の左から７番目のＰ−ＶＯＰは、左から４番目のＩ−ＶＯＰから予測される。つまり、図８の（２）に示すように、対応する左から７番目のＰ−ＶＯＰからの動きベクトルは、左から４番目のＩ−ＶＯＰへの動きベクトルが存在するので、Ｐ−ＶＯＰ自体は動きベクトルを持つ。

さらに、図８の（１）の左から５番目のＢ−ＶＯＰは、左から４番目のＩ−ＶＯＰと左から７番目のＰ−ＶＯＰから予測される。つまり、図８の（２）に示すように、対応する左から５番目のＢ−ＶＯＰからの動きベクトルは、左から４番目のＩ−ＶＯＰと左から７番目のＰ−ＶＯＰへの動きベクトルが存在するので、Ｂ−ＶＯＰ自体は動きベクトルを持つ。

しかしながら、ＭＰＥＧ４などの符号化は、フレーム全体を一度に符号化するわけではなく、フレーム内を複数のマクロブロックに分けて符号化をする。この際、各マクロブロックの符号化には、いくつかのモードが設けられている為、必ずしも上記のような方向への動きベクトルを持つとは限らない。

ここで、各フレーム符号化タイプの各マクロブロック符号化モードと各モードにおいてそのマクロブロックが持つ動きベクトルについて、図９に示す。

図９に示されるように、Ｉ−ＶＯＰのマクロブロック符号化タイプは、「ＩＮＴＲＡ（＋Ｑ）」モードのみで、１６×１６ピクセルのフレーム内符号化を行うので、動きベクトルは存在しない。

Ｐ−ＶＯＰのマクロブロック符号化タイプは、「ＩＮＴＲＡ（＋Ｑ）」、「ＩＮＴＥＲ（＋Ｑ）」、「ＩＮＴＥＲ４Ｖ」、「ＮＯＴ ＣＯＤＥＤ」の４種類のモードがある。

「ＩＮＴＲＡ（＋Ｑ）」は、１６×１６ピクセルのフレーム内符号化を行うので、動きベクトルは存在しない。「ＩＮＴＥＲ（＋Ｑ）」は、１６×１６ピクセルの前方向予測符号化を行うので、前予測フレームへの動きベクトルを１つ持つ。「ＩＮＴＥＲ４Ｖ」は、１６×１６ピクセルを４分割した８×８ピクセルごとに前方向予測符号化を行うので、前予測フレームへの動きベクトルを４つ持つ。「ＮＯＴ ＣＯＤＥＤ」は、前予測フレームとの差分が小さいため、符号化せず、前予測フレームの同じ位置におけるマクロブロックの画像データをそのまま使用するので、実際には動きベクトルは持たないが、本発明の実施においては前予測フレームへの動きベクトル値“０”を１つ持つと考えられる。

Ｂ−ＶＯＰのマクロブロック符号化タイプは、「ＩＮＴＥＲＰＯＬＡＴＥ」、「ＦＯＲＷＡＲＤ」、「ＢＡＣＫＷＡＲＤ」、「ＤＩＲＥＣＴ」の４種類のモードがある。

「ＩＮＴＥＲＰＯＬＡＴＥ」は、１６×１６ピクセルの双方向予測符号化を行うので、前後予測フレームへの動きベクトルをそれぞれ１つずつ持つ。「ＦＯＲＷＡＲＤ」は、１６×１６ピクセルの前方向予測符号化を行うので、前予測フレームへの動きベクトルを１つ持つ。「ＢＡＣＫＷＡＲＤ」は、１６×１６ピクセルの後方向予測符号化を行うので、後予測フレームへの動きベクトルを１つ持つ。「ＤＩＲＥＣＴ」は、１６×１６ピクセルを４分割した８×８ピクセルごとに前後方向予測符号化を行うので、前後予測フレームへの動きベクトルをそれぞれ４つずつ持つ。

以上の前提を元に、動きベクトル累積加算変換処理の詳細をいくつかのパターンを例に図１０〜図２０を使用して説明する。

図１０は、例えば、１フレーム目はＩ−ＶＯＰ、２フレーム目と３フレーム目はＰ−ＶＯＰとし、基準フレームを１フレーム目、参照フレームを３フレーム目とする。

図１０に示されるように、３フレーム目参照フレームのある対象画素が図中の斜線画素である時に、その対象画素が含まれるマクロブロック（ＭＢ）の持つ動きベクトルを探す。この例の場合、マクロブロック符号化タイプはＩＮＴＥＲで、このマクロブロックが持つ動きベクトルはＭＶ５なので、対象画素の位置をＭＶ５を使って移動する。

移動した画素の位置を２フレーム目のＰ−ＶＯＰのフレーム内の位置に対応させ、対応した２フレーム目の対象画素位置に対して，同様に対象画素が含まれるマクロブロックが持つ動きベクトルを探す。この例の場合、マクロブロック符号化タイプは，ＩＮＴＥＲ４Ｖで、このマクロブロックが持つ動きベクトルは４つ存在するが、対象画素が含まれている８×８ピクセルのブロックが持つ動きベクトルは、ＭＶ４なので、追従中の対象画素の位置をさらにＭＶ４を使って移動する。

移動した画素の位置を１フレーム目のＩ−ＶＯＰのフレーム内の位置に対応させる。この例の場合、１フレーム目が基準フレームなので、参照フレームの対象画素は、基準フレームまで追従できたことになり、追従時に使用した初期値０とＭＶ５とＭＶ４を加算することで、参照フレームの対象画素における基準フレームまでの動きベクトル値を求めることができる。

図１１は、例えば、１フレーム目はＩ−ＶＯＰ、２フレーム目と３フレーム目はＰ−ＶＯＰとし、基準フレームを３フレーム目、参照フレームを１フレーム目とする。

図１１に示されるように、１フレーム目参照フレームのある対象画素が図中の斜線画素である時に、１フレーム目との動き情報を持つ２フレーム目のＰ−ＶＯＰの全画素から、１フレーム目の対象画素に対応する画素を探す。対応する画素が見つかったら、その画素が含まれる２フレーム目のマクロブロックが持つ動きベクトル値（この例の場合ＩＮＴＥＲ４ＶでＭＶ４）の方向を反転した−ＭＶ４で、対象画素の位置を移動し、移動した画素の位置を２フレーム目のＰ−ＶＯＰのフレーム内の位置に対応させ、対応した２フレーム目の対象画素位置に対して、同様に３フレーム目のＰ−ＶＯＰの全画素から、２フレーム目の対象画素に対応する画素を探す。

対応する画素が見つかったら、その画素が含まれる３フレーム目のマクロブロックが持つ動きベクトル値（この例の場合ＩＮＴＥＲでＭＶ５）の方向を反転した−ＭＶ５で対象画素の位置を移動し、移動した画素の位置を３フレーム目のＰ−ＶＯＰのフレーム内の位置に対応させる。この例の場合、３フレーム目が基準フレームなので、参照フレームの対象画素は、基準フレームまで追従できたことになり、追従時に使用した初期値０と−ＭＶ４と−ＭＶ５を加算することで、参照フレームの対象画素における基準フレームまでの動きベクトル値を求めることができる。

なお、図１１のような例で、１フレーム目との動き情報を持つ２フレーム目のＰ−ＶＯＰの全画素から１フレーム目の対象画素に対応する画素を探す方法や、３フレーム目のＰ−ＶＯＰの全画素から２フレーム目の対象画素に対応する画素を探す方法について、図１２に示す。

図１２には、左から４番目の参照フレームＩ−ＶＯＰの対象画素が、左から７番目の基準フレームＰ−ＶＯＰのどの画素（その画素が含まれるマクロブロックが持つ動きベクトル値（図中のＭＶ１））と対応するかを探す場合についての例を示している。

図１２における例１のように、基準フレーム（Ｐ）の全てのマクロブロック（全画素）を、各マクロブロック（全画素）が持つ動きベクトル値で、位置を移動する。移動した結果が図１２における例１の左の図である。この位置移動された画像領域内において、参照フレームの対象画素がどの位置にあたるかをマークし、その位置にある基準フレームの移動画素が対応する。図１２の例１の場合は、マクロブロック２の中のある一つの画素がそれに対応する。このようにして対応画素を探す。

図１２における例２は、対象画素をマークした位置に複数の基準フレームの移動画素が存在する場合であり、どれを選択しても良い。例えば、図１２の例２では、対象画素のマークした位置は、マクロブロック１と６の内のある画素に対応しているが、マクロブロック１の方が中心に近いのでマクロブロック１の対応画素を選択するようにしても良いし、処理の都合上、ラスタスキャン順に処理をし、フラグを上書きしているような場合は、順番の遅いマクロブロック６を選択するようにしても良い。

図１３〜図１５は、参照フレームが基準フレームより前方向にあるいくつかのパターンを示しており、また、図１６〜図１８は、参照フレームが基準フレームより後方向にあるいくつかのパターンを示しており、そして、図１９は、追従ができないいくつかのパターンを示している。

以下に、それぞれのパターンについて説明する。

図１３に示すパターン１の場合の動きベクトル累積加算変換処理では、左から４番目の参照フレームのマクロブロック符号化タイプＩＮＴＲＡ内の対象画素は、左から７番目のＰ−ＶＯＰのマクロブロック符号化タイプＩＮＴＥＲ内の対象画素とＭＶ１で対応しており、さらに、左から１０番目のＰ−ＶＯＰのマクロブロック符号化タイプＩＮＴＥＲ内の対象画素とＭＶ２で対応しているので、参照フレームの対象画素から基準フレームの対応画素までの動きベクトル値は、ＭＶ＝−ＭＶ１−ＭＶ２で求めることができる。

図１３に示すパターン２の場合の動きベクトル累積加算変換処理では、左から５番目の参照フレームのマクロブロック符号化タイプＩＮＴＥＲＰＯＬＡＴＥ内の対象画素は、左から７番目のＰ−ＶＯＰのマクロブロック符号化タイプＩＮＴＥＲ４Ｖ内の対象画素とＭＶ１で対応しており、さらに、左から１０番目のＰ−ＶＯＰのマクロブロック符号化タイプＩＮＴＥＲ内の対象画素とＭＶ２で対応しているので、参照フレームの対象画素から基準フレームの対応画素までの動きベクトル値は、ＭＶ＝ＭＶ１−ＭＶ２で求めることができる。

図１３に示すパターン２の場合の動きベクトル累積加算変換処理では、またもう一つの求め方として、左から５番目の参照フレームのマクロブロック符号化タイプＩＮＴＥＲＰＯＬＡＴＥ内の対象画素は、左から４番目のＩ−ＶＯＰのマクロブロック符号化タイプＩＮＴＲＡ内の対象画素とＭＶ３で対応しており、さらに、左から７番目のＰ−ＶＯＰのマクロブロック符号化タイプＩＮＴＥＲ４Ｖ内の対象画素とＭＶ４で対応しており、さらに、左から１０番目のＰ−ＶＯＰのマクロブロック符号化タイプＩＮＴＥＲ内の対象画素とＭＶ５で対応しているので、参照フレームの対象画素から基準フレームの対応画素までの動きベクトル値は、ＭＶ＝ＭＶ３−ＭＶ４−ＭＶ５で求めることができる。

図１３に示すパターン２のように、動きベクトルの求め方が複数ある場合は、下記の条件を考慮して求める。
条件１：ベクトル累積加算する回数を少なくするように選択すること
条件２：基準フレームまでの追従できるように選択すること
条件１＜条件２
図１４に示すパターン３の場合の動きベクトル累積加算変換処理では、左から４番目の参照フレームのマクロブロック符号化タイプＩＮＴＲＡ内の対象画素は、左から７番目のＰ−ＶＯＰのマクロブロック符号化タイプＩＮＴＥＲ内の対象画素とＭＶ１で対応しており、さらに、左から１０番目のＰ−ＶＯＰのマクロブロック符号化タイプＩＮＴＥＲ内の対象画素とＭＶ２で対応しており、さらに、左から１１番目のＢ−ＶＯＰのマクロブロック符号化タイプＤＩＲＥＣＴ内の対象画素とＭＶ３で対応しているので、参照フレームの対象画素から基準フレームの対応画素までの動きベクトル値は、ＭＶ＝−ＭＶ１−ＭＶ２−ＭＶ３で求めることができる。

図１４に示すパターン３の場合の動きベクトル累積加算変換処理では、またもう一つの求め方として、左から４番目の参照フレームのマクロブロック符号化タイプＩＮＴＲＡ内の対象画素は、左から７番目のＰ−ＶＯＰのマクロブロック符号化タイプＩＮＴＥＲ内の対象画素とＭＶ１で対応しており、さらに、左から１０番目のＰ−ＶＯＰのマクロブロック符号化タイプＩＮＴＥＲ内の対象画素とＭＶ２で対応しており、さらに，左から１３番目のＰ−ＶＯＰのマクロブロック符号化タイプＩＮＴＥＲ内の対象画素とＭＶ４で対応しており、さらに，左から１１番目のＢ−ＶＯＰのマクロブロック符号化タイプＤＩＲＥＣＴ内の対象画素とＭＶ５で対応しているので，参照フレームの対象画素から基準フレームの対応画素までの動きベクトル値は，ＭＶ＝−ＭＶ１−ＭＶ２−ＭＶ４−ＭＶ５で求めることができる。

図１５に示すパターン４の場合の動きベクトル累積加算変換処理では、左から３番目の参照フレームのマクロブロック符号化タイプＢＡＣＫＷＡＲＤ内の対象画素は、左から４番目のＩ−ＶＯＰのマクロブロック符号化タイプＩＮＴＲＡ内の対象画素とＭＶ１で対応しており、さらに、左から７番目のＰ−ＶＯＰのマクロブロック符号化タイプＩＮＴＥＲ内の対象画素とＭＶ２で対応しており、さらに、左から１０番目のＰ−ＶＯＰのマクロブロック符号化タイプＩＮＴＥＲ内の対象画素とＭＶ３で対応しており、さらに、左から１１番目のＢ−ＶＯＰのマクロブロック符号化タイプＤＩＲＥＣＴ内の対象画素とＭＶ４で対応しているので、参照フレームの対象画素から基準フレームの対応画素までの動きベクトル値は、ＭＶ＝ＭＶ１−ＭＶ２−ＭＶ３−ＭＶ４で求めることができる。

図１５に示すパターン４の場合の動きベクトル累積加算変換処理では、またもう一つの求め方として、左から３番目の参照フレームのマクロブロック符号化タイプＢＡＣＫＷＡＲＤ内の対象画素は、左から４番目のＩ−ＶＯＰのマクロブロック符号化タイプＩＮＴＲＡ内の対象画素とＭＶ１で対応しており、さらに、左から７番目のＰ−ＶＯＰのマクロブロック符号化タイプＩＮＴＥＲ内の対象画素とＭＶ２で対応しており、さらに、左から１０番目のＰ−ＶＯＰのマクロブロック符号化タイプＩＮＴＥＲ内の対象画素とＭＶ３で対応しており、さらに、左から１３番目のＰ−ＶＯＰのマクロブロック符号化タイプＩＮＴＥＲ内の対象画素とＭＶ５で対応しており、さらに、左から１１番目のＢ−ＶＯＰのマクロブロック符号化タイプＤＩＲＥＣＴ内の対象画素とＭＶ６で対応しているので、参照フレームの対象画素から基準フレームの対応画素までの動きベクトル値は、ＭＶ＝ＭＶ１−ＭＶ２−ＭＶ３−ＭＶ５−ＭＶ６で求めることができる。

図１６に示すパターン５の場合の動きベクトル累積加算変換処理では、左から１０番目の参照フレームのマクロブロック符号化タイプＩＮＴＥＲ４Ｖ内の対象画素は、左から７番目のＰ−ＶＯＰのマクロブロック符号化タイプＩＮＴＥＲ内の対象画素とＭＶ２で対応しており、さらに、左から４番目のＩ−ＶＯＰのマクロブロック符号化タイプＩＮＴＲＡ内の対象画素とＭＶ１で対応しているので、参照フレームの対象画素から基準フレームの対応画素までの動きベクトル値は、ＭＶ＝ＭＶ２＋ＭＶ１で求めることができる。

図１６に示すパターン６の場合の動きベクトル累積加算変換処理では、左から１１番目の参照フレームのマクロブロック符号化タイプＤＩＲＥＣＴ内の対象画素は、左から１０番目のＰ−ＶＯＰのマクロブロック符号化タイプＩＮＴＥＲ内の対象画素とＭＶ３で対応しており、さらに、左から７番目のＰ−ＶＯＰのマクロブロック符号化タイプＩＮＴＥＲ内の対象画素とＭＶ２で対応しており、さらに、左から４番目のＩ−ＶＯＰのマクロブロック符号化タイプＩＮＴＲＡ内の対象画素とＭＶ１で対応しているので、参照フレームの対象画素から基準フレームの対応画素までの動きベクトル値は、ＭＶ＝ＭＶ３＋ＭＶ２＋ＭＶ１で求めることができる。

図１６に示すパターン６の場合の動きベクトル累積加算変換処理では、またもう一つの求め方として、左から１１番目の参照フレームのマクロブロック符号化タイプＤＩＲＥＣＴ内の対象画素は、左から１３番目のＰ−ＶＯＰのマクロブロック符号化タイプＩＮＴＥＲ内の対象画素とＭＶ４で対応しており、さらに、左から１０番目のＰ−ＶＯＰのマクロブロック符号化タイプＩＮＴＥＲ内の対象画素とＭＶ５で対応しており、さらに、左から７番目のＰ−ＶＯＰのマクロブロック符号化タイプＩＮＴＥＲ内の対象画素とＭＶ２で対応しており、さらに、左から４番目のＩ−ＶＯＰのマクロブロック符号化タイプＩＮＴＲＡ内の対象画素とＭＶ１で対応しているので、参照フレームの対象画素から基準フレームの対応画素までの動きベクトル値は、ＭＶ＝ＭＶ４＋ＭＶ５＋ＭＶ２＋ＭＶ１で求めることができる。

図１７に示すパターン７の場合の動きベクトル累積加算変換処理では、左から１０番目の参照フレームのマクロブロック符号化タイプＩＮＴＥＲ内の対象画素は、左から７番目のＰ−ＶＯＰのマクロブロック符号化タイプＩＮＴＥＲ内の対象画素とＭＶ３で対応しており、さらに、左から４番目のＩ−ＶＯＰのマクロブロック符号化タイプＩＮＴＲＡ内の対象画素とＭＶ２で対応しており、さらに、左から３番目のＢ−ＶＯＰのマクロブロック符号化タイプＤＩＲＥＣＴ内の対象画素とＭＶ１で対応しているので、参照フレームの対象画素から基準フレームの対応画素までの動きベクトル値は、ＭＶ＝ＭＶ３＋ＭＶ２−ＭＶ１で求めることができる。

図１８に示すパターン８の場合の動きベクトル累積加算変換処理では、左から１１番目の参照フレームのマクロブロック符号化タイプＤＩＲＥＣＴ内の対象画素は、左から１０番目のＰ−ＶＯＰのマクロブロック符号化タイプＩＮＴＥＲ内の対象画素とＭＶ３で対応しており、さらに、左から７番目のＰ−ＶＯＰのマクロブロック符号化タイプＩＮＴＥＲ内の対象画素とＭＶ２で対応しており、さらに、左から５番目のＢ−ＶＯＰのマクロブロック符号化タイプＩＮＴＥＲＰＯＬＡＴＥ内の対象画素とＭＶ１で対応しているので、参照フレームの対象画素から基準フレームの対応画素までの動きベクトル値は、ＭＶ＝ＭＶ３＋ＭＶ２−ＭＶ１で求めることができる。

図１８に示すパターン８の場合の動きベクトル累積加算変換処理では、またもう一つの求め方として、左から１１番目の参照フレームのマクロブロック符号化タイプＤＩＲＥＣＴ内の対象画素は、左から１３番目のＰ−ＶＯＰのマクロブロック符号化タイプＩＮＴＥＲ内の対象画素とＭＶ４で対応しており、さらに、左から１０番目のＰ−ＶＯＰのマクロブロック符号化タイプＩＮＴＥＲ内の対象画素とＭＶ５で対応しており、さらに、左から７番目のＰ−ＶＯＰのマクロブロック符号化タイプＩＮＴＥＲ内の対象画素とＭＶ２で対応しており、さらに、左から５番目のＢ−ＶＯＰのマクロブロック符号化タイプＩＮＴＥＲＰＯＬＡＴＥ内の対象画素とＭＶ１で対応しているので、参照フレームの対象画素から基準フレームの対応画素までの動きベクトル値は、ＭＶ＝ＭＶ４＋ＭＶ５＋ＭＶ２−ＭＶ１で求めることができる。

図１８に示すパターン８の場合の動きベクトル累積加算変換処理では、またもう一つの求め方として、左から１１番目の参照フレームのマクロブロック符号化タイプＤＩＲＥＣＴ内の対象画素は、左から１０番目のＰ−ＶＯＰのマクロブロック符号化タイプＩＮＴＥＲ内の対象画素とＭＶ３で対応しており、さらに、左から７番目のＰ−ＶＯＰのマクロブロック符号化タイプＩＮＴＥＲ内の対象画素とＭＶ２で対応しており、さらに、左から４番目のＩ−ＶＯＰのマクロブロック符号化タイプＩＮＴＲＡ内の対象画素とＭＶ６で対応しており、さらに、左から５番目のＢ−ＶＯＰのマクロブロック符号化タイプＩＮＴＥＲＰＯＬＡＴＥ内の対象画素とＭＶ１で対応しているので、参照フレームの対象画素から基準フレームの対応画素までの動きベクトル値は、ＭＶ＝ＭＶ３＋ＭＶ２＋ＭＶ６−ＭＶ７で求めることができる。

図１８に示すパターン８の場合の動きベクトル累積加算変換処理では、またもう一つの求め方として、左から１１番目の参照フレームのマクロブロック符号化タイプＤＩＲＥＣＴ内の対象画素は、左から１３番目のＰ−ＶＯＰのマクロブロック符号化タイプＩＮＴＥＲ内の対象画素とＭＶ４で対応しており、さらに、左から１０番目のＰ−ＶＯＰのマクロブロック符号化タイプＩＮＴＥＲ内の対象画素とＭＶ５で対応しており、さらに、左から７番目のＰ−ＶＯＰのマクロブロック符号化タイプＩＮＴＥＲ内の対象画素とＭＶ２で対応しており、さらに、左から４番目のＩ−ＶＯＰのマクロブロック符号化タイプＩＮＴＲＡ内の対象画素とＭＶ６で対応しており、さらに、左から５番目のＢ−ＶＯＰのマクロブロック符号化タイプＩＮＴＥＲＰＯＬＡＴＥ内の対象画素とＭＶ７で対応しているので、参照フレームの対象画素から基準フレームの対応画素までの動きベクトル値は、ＭＶ＝ＭＶ４＋ＭＶ５＋ＭＶ２＋ＭＶ６−ＭＶ７で求めることができる。

図１９に示すパターン９の場合の動きベクトル累積加算変換処理では、左から１０番目の参照フレームのマクロブロック符号化タイプＩＮＴＥＲ内の対象画素は、左から７番目のＰ−ＶＯＰのマクロブロック符号化タイプＩＮＴＥＲ内の対象画素とＭＶ２で対応しており、さらに、左から４番目のＩ−ＶＯＰのマクロブロック符号化タイプＩＮＴＲＡ内の対象画素とＭＶ１で対応しているが、左から１番目のＰ−ＶＯＰまでは動き情報がなく対応が取れないので、追従できず、参照フレームの対応画素から基準フレームの対応画素までの動きベクトル値は存在しない。

図１９に示すパターン１０の場合の動きベクトル累積加算変換処理では、左から１０番目の参照フレームのマクロブロック符号化タイプＩＮＴＥＲ内の対象画素は、左から７番目のＰ−ＶＯＰのマクロブロック符号化タイプＩＮＴＥＲ内の対象画素とＭＶ３で対応しており、さらに、左から４番目のＩ−ＶＯＰのマクロブロック符号化タイプＩＮＴＲＡ内の対象画素とＭＶ２で対応しているが、左から１番目のＰ−ＶＯＰまたは左から２番目のＢ−ＶＯＰまでは、動き情報がなく対応が取れないので、追従できず、参照フレームの対応画素から基準フレームの対応画素までの動きベクトル値は存在しない。

図１９に示すパターン１１の場合の動きベクトル累積加算変換処理では、左から１０番目の参照フレームのマクロブロック符号化タイプＩＮＴＥＲ内の対象画素は、左から７番目のＰ−ＶＯＰのマクロブロック符号化タイプＩＮＴＥＲ内の対象画素とＭＶ３で対応している。しかし、左から４番目のＩ−ＶＯＰまでは、動き情報がないわけではないが、例えば、左から７番目の対象画素が持つＭＶ２で位置を移動してみると、画像領域の範囲外に移動してしまう為、対応が取れないので追従できず、参照フレームの対応画素から基準フレームの対応画素までの動きベクトル値は存在しない。

ここで、画像領域の範囲外に移動してしまう原因について、図２０に示す。

図２０は、ＭＰＥＧ１／２とＭＰＥＧ４の予測符号化時における予測用参照画像への参照方法の違いについて示したものである。図２０に示されたように、ＭＰＥＧ１／２の場合は、対象画像のマクロブロックは予測用参照画像の画像領域内におさまっていなければならなかったが、ＭＰＥＧ４の場合は、画像領域内に参照マクロブロックが全ておさまっていなくても良いという「無制限動きベクトル」手法が取り入れられたため、本発明を実施する際に、パターン１１のように画像領域の範囲外に移動してしまうことがある。

図２１乃至図２２を用いて、高解像度化処理部１０８で行う超解像処理の流れを説明する。

図２１に超解像処理アルゴリズムを示す。以下、アルゴリズムの処理の流れに添って説明を行う。

Ｓ１：
高解像度画像推定に用いるため、複数枚の低解像度画像を読み込む。

Ｓ２：
フレーム選択処理部１０５で選択した基準フレーム画像を高解像化のターゲット画像とする。そのターゲット画像に対し補完処理を行うことで、初期の高解像度画像を作成する。この補間処理は、場合により省略することができる。

Ｓ３：
動きベクトル累積加算変換処理部１０３で変換された画像変位情報により、ターゲット画像とその他の画像との画像間の画素対応位置を明らかにし、その画像対応位置情報を元に、ターゲット画像の拡大座標を基準とする座標空間で、重ねあわせ処理を行い、レジストレーション画像ｙを生成する。このレジストレーション画像ｙは、位置合わせ処理部１０６により生成する。レジストレーション画像ｙを生成する方法の詳細については、非特許文献１に開示されている。ここでの重ねあわせ処理は、例えば複数枚画像の各ピクセル値とターゲット画像の拡大座標との間で位置を対応付けた時に、各ピクセル値をターゲット画像の拡大座標の最も近い格子点上に画素をおいていく処理を行う。このとき、同一格子点上に複数のピクセル値をおくことが考えられるが、その場合は、複数のピクセル値において平均化処理を実施する。ターゲット画像とその他の画像との間の画像変位は、画像変位推定部２０１で推定された、基準画像とターゲット画像との画像間変位及び基準画像とターゲット画像以外の画像との画像間変位を統合することによって生成する。

Ｓ４：
光学伝達関数(ＯＴＦ)、ＣＣＤアパーチャ等の撮像特性を考慮した点広がり関数(ＰＳＦ)を求める。ＰＳＦは、例えば、Gauss関数を簡易的に用いる。

Ｓ５：
Ｓ３、Ｓ４の情報を元に、評価関数ｆ(ｚ)の最小化を行う。

ただし、ｆ(ｚ)は下記数１のような形となる。

ここで、ｙはＳ３で生成されたレジストレーション画像、ｚはターゲット画像の高解像度化された結果画像、Ａは光学系の点像分布関数、サンプリング開口によるぼけ、カラーモザイクフィルタ（ＣＦＡ）による各色コンポネント等を含めた撮像システムを表す行列である。ｇ(ｚ)は画像の滑らかさや画像の色の相関を考慮した拘束項等である。λは重み係数である。評価関数の最小化には、例えば最急降下法を用いる。最急降下法を用いた場合、ｆ(ｚ)のｚにおける微分値を計算し、その微分値をｚに付加していき、画像を更新させていきｆ(ｚ)の最小値を得る。ｆ(ｚ)の微分値は下記数２のようになる。

この微分値をｚに付加していき、画像を更新させｆ(ｚ)の最小値を得る。

ここで、ｚ_ｎは繰り返しｎ回目の高解像度化された結果画像を表し、αは更新量の歩み幅を表す。

Ｓ６：
Ｓ５で求めたｆ(ｚ)が最小化された場合、処理を終了し、ターゲット画像の高解像度化画像ｚを得る。

以上の処理をフレーム選択処理部１０５で選択された使用フレームの全ての低解像度画像について行う。

図２２に超解像処理の構成を示す。以下に複数枚の画像を使って高解像度画像を生成する処理の一例として、図２２を用いて超解像処理の概略を示す。

図２２において、超解像処理部は補間拡大部０１、画像蓄積部０２、ＰＳＦデータ保持部３、畳込み積分部０４、レジストレーション画像生成部０５、画像比較部０６、畳込み積分部０７、正則化項演算部０８、更新画像生成部０９、収束判定部１０から構成される。

まず、メモリ１０９に保存された複数枚の復号画像のうちフレーム選択処理部１０５で選択された高解像化のターゲット画像を補間拡大部０１に与え、ここでこの画像の補間拡大を行う（Ｓ１に対応）。ここで用いられる補間拡大の手法としては、例えばバイリニア補間やバイキュービック補間などが挙げられる。

補間拡大された画像は画像蓄積部０２に送られ、ここに蓄積される。

補間拡大された画像は畳込み積分部０４に与えられ、ＰＳＦデータ保持部０３により与えられるＰＳＦデータとの間で畳込み積分が行われる（数２のＡ^Ｔ（ｙ−Ａｚ）の演算のＡ×ｚに対応）。

また、ターゲット画像以外の複数枚画像は位置合わせ処理部１０６のレジストレーション画像生成部０５に与えられ、動きベクトル累積加算変換処理部１０３で変換された各フレーム間の画像変位情報を元に、ターゲット画像の拡大座標を基準とする座標空間で、重ねあわせ処理を行い、レジストレーション画像を生成する（Ｓ３に対応）。ここでの重ねあわせ処理は、例えば複数枚画像の各ピクセル値とターゲット画像の拡大座標との間で位置を対応付けた時に、各ピクセル値をターゲット画像の拡大座標の最も近い格子点上に画素をおいていく処理を行う。このとき、同一格子点上に複数のピクセル値を置くことが考えられるが、その場合は、複数のピクセル値において平均化処理を実施する。

畳込み演算された画像データは画像比較部０６に送られ、レジストレーション画像生成部０５において生成されたレジストレーション画像との間で、同一ピクセル位置においてそのピクセル値の差分値を算出し、差分画像データが生成される（数２のＡ^Ｔ（ｙ−Ａｚ）の演算のｙ−Ａｚに対応）。

画像比較部０６において生成された差分画像は畳込み積分部０７に与えられ、ＰＳＦデータ保持部０３により与えられるＰＳＦデータとの間で畳込み積分が行われる（数２のＡ^Ｔ（ｙ−Ａｚ）の演算のＡ^Ｔ×（ｙ−Ａｚ）に対応）。

また、画像蓄積部０２に蓄積された画像は、正則化項演算部によって正則化画像を生成する。

正則化項演算部として、例えば画像蓄積部０２に蓄積された画像に対して、ＲＧＢ→ＹＣｒ，Ｃｂの色変換処理を行い、そのＣｒ，Ｃｂ成分（色差成分）において、周波数高域通過フィルタ（ラプラシアンフィルタ）の畳込み演算処理を行い、正則化画像を生成する方法がある。この方法で生成した正則化画像を更新画像生成部０９において用いることにより、「一般に画像の色差成分は滑らかな変化である」という画像の先験情報を用いることになるので、色差を抑制した高解像度画像を安定して求めることが出来るようになる（数２のｇ(ｚ)の偏微分に対応）。

畳込み積分部０７で生成された画像、画像蓄積部０２に蓄積された画像、正則化項演算部０８で生成された画像は更新画像生成部０９に与えられ、上記３枚の画像の重み付け加算された画像を生成することにより、更新画像を生成する（数３に対応）。

更新画像生成部０９において生成された画像は、収束判定部１０へ与えられ、収束判定が行われる。

収束判定には、収束にかかった繰り返し演算回数が一定回数よりも多くなった場合に画像の更新作業は収束したと判断しても良いし、また、過去の更新画像を保持しておき、現在の更新画像との差分をとり、その更新量が一定の値よりも少ないと判断された場合に画像の更新作業は収束したと判断しても良い。

収束判定部１０において、更新作業が収束したと判断された場合、更新画像は高解像度生成画像として外部へ出力される。更新作業が収束していないと判断された場合、更新画像は画像蓄積部０２へ渡され、次回の更新画像生成に利用される。また、次回の更新画像生成の為に、畳込み積分部０４、正則化項演算部０８へ与えられる。

以上の処理を繰り返すことにより、更新画像生成部０９で生成される更新画像を更新していき、良好な高解像度画像を得る。

以上で説明される高解像度化処理部１０８内の超解像処理によって高解像度化される。

なお、図１の高解像度化処理部１０８の代わりに、ランダムノイズを低減させるような加算平均による平滑化処理で画像を高画質化する構成にしても良い。

（実施形態２）
図２３に、本発明の第２の実施形態を示す。

図２３に示されたように、動画像である複数枚の入力画像４００は、ブロックベースのマッチング処理ブロックで、メモリ４０１に保存された前フレームの画像データと現フレームの画像データとの間で、ブロックベースのマッチング処理による動き検出４０３と動き補償４０２を行うことで、画像間の動き情報（動きベクトル）データ４０４を、動画像４００に付属するようにデータ記録し、動き情報付動画像データ４０５が得られる。

動き情報付動画像データ４０５のうち、画像データ４０６は位置合わせ処理ブロックのメモリ４０９へ、動き情報（動きベクトル）データ４０７は動きベクトル累積加算変換処理手段４０８へ入力され、動きベクトル累積加算変換処理手段４０８で算出された動きベクトル値とメモリ４０９に保存された画像データ４０６を使用して、位置合わせ画像４１０が生成でき、画像間の位置合わせが実施できる。

ここで、動きベクトル累積加算変換処理手段４０８で行われる「動きベクトル累積加算変換処理」の詳細は、実施形態１と同様に行うものとする。

以下、図１に示す本発明の第１の実施形態において、その画素選択処理部１０７で行う「画素選択処理（Ａ０６）」について説明する。

前述したように、動きベクトル累積加算変換処理部１０３で算出された動きベクトル値に基づき、位置合わせ処理部１０６により、レジストレーション画像が生成される。

図２４は、画素選択処理部１０７で行われる「画素選択処理」を説明するための模式図である。

ここで、ある入力画像Ｉ_ｋ（ｘ，ｙ）と基準画像Ｔ（ｘ，ｙ）について、位置合わせ処理（変形）が行われた後に、行う「画素選択処理」を詳細に説明する。

図２４に示されるように、入力画像Ｉ_ｋ（ｘ，ｙ）に一致するように、基準画像Ｔ（ｘ，ｙ）を変形させて得られた画像を
とする。以下、この
を単に「変形基準画像」と呼ぶ。

つまり、基準画像と入力画像との位置合わせ処理を行うことにより、変形基準画像が得られる。ちなみに、この位置合わせ処理（変形処理）には、既存の方法を利用する。

ただし、入力画像に対する基準画像の変形は完全であるとは限らず、つまり、基準画像・入力画像間の位置合わせ処理は必ず精密に行われたとは限らず、位置合わせ誤差を含んでいたり、遮蔽（遮蔽領域）が存在したりする場合もある。

ここで、入力画像のある位置（ｘ，ｙ）の画素（以下、単に「注目画素」とも言う。）について、画素選択処理を行う場合を考える。

注目画素の周辺の小領域に対して、下記２つの条件を満足している場合、当該注目画素を「高解像度化処理に利用する画素」として選択する。
条件１：
注目画素を含む入力画像の小領域と、当該入力画像と基準画像との位置合わせ処理により得られた「位置合わせ処理済基準画像」（図２４の場合、当該入力画像に合わせて基準画像を変形させて得られた変形基準画像
）の対応する小領域の類似度が、所定の閾値（単に、第１の閾値とも称する。）以上である。
条件２：
入力画像の小領域又は、位置合わせ処理済基準画像（変形基準画像）の対応する小領域のいずれかを利用した、当該注目画素の位置ずれの推定量が、所定の閾値（単に、第２の閾値とも称する。）以下である。

上記条件１及び条件２を満足している注目画素を画素値１、満足していない注目画素を画素値０とすることで、入力画像に対応して図２４に示すような二値画像（画素選択結果）を生成することができ、つまり、高解像度化処理に利用する画素を選び出すことができる。

具体的な、図２４の二値画像（画素選択結果）において、白色部分の画素の画素値は１で、当該画素は、高解像度化処理に利用する画素として、選択され、また、黒色部分の画素の画素値は０で、高解像度化処理に利用する画素として選択されない。つまり、黒色部分の画素は、本発明の「画素選択処理」により取り除く画素である。図２４の二値画像は、マスク画像と考えることができる。

更に、「画素選択処理」において、必要があれば、図２４の二値画像にローパスフィルタを施し、適切な閾値を用いた二値化処理を行うことにより、高解像度化処理に利用する画素の選択を行うことも可能である。

要するに、「画素選択処理」において、上記条件１及び条件２を満たす注目画素を高解像度化処理に利用する画素として選択し、上記条件１及び条件２を満たさない注目画素を取り除くようにすることにより、画素選択を行い、画素選択結果である二値画像（画素値１の画素は高解像度化処理に利用する画素を意味し、画素値０の画素は高解像度化処理に利用しない画素、即ち、取り除かれる画素を意味する。）と入力画像に基づいて画像合成（マスク合成）を行うことにより、図２４に示すような「画素選択された入力画像」を生成する。

上述した「画素選択処理」の実施形態では、上記条件１及び条件２の満足を画素選択の条件としているが、「画素選択処理」では、それに限定されることがなく、上記条件１のみを満足する注目画素、又は、上記条件２のみを満足する注目画素を高解像度化処理に利用する画素として、選択することも可能である。

画素選択処理部１０７は、「画素選択処理」を行った後に、「明度補正処理」を行うことができる。

ここで言う「明度補正処理」とは、当該明度補正処理における入力画像の注目画素の明度が、対応する「位置合わせ処理済基準画像（即ち、変形基準画像）」の画素の明度と等しくなるように、当該明度補正処理における入力画像の当該注目画素の画素値を補正する処理である。

ちなみに、明度補正処理における入力画像は、「画素選択処理」により生成された「画素選択された入力画像」である。

図２５は、この「明度補正処理」を説明するための模式図である。

図２５に示す「明度補正処理」は、「画素選択処理」が行われた後に、行う「明度補正処理」であり、図２５の「明度補正処理」における入力画像とは、「画素選択処理」により生成された「画素選択された入力画像」を意味する。

図２５に示されるように、明度補正処理では、「画素選択された入力画像」の注目画素と、対応する変形基準画像
の画素の明度を「明度推定処理」によりそれぞれ推定し、推定された明度に基づき、変形基準画像に対する明度画像（第１の明度画像）及び画素選択された入力画像に対する明度画像（第２の明度画像）を生成する。

そして、生成された第１の明度画像及び第２の明度画像に基づき、両者の明度比を計算し、「画素選択された入力画像」の注目画素の明度が対応する変形基準画像の画素の明度と等しくなるように、「画素選択された入力画像」の注目画素の画素値を補正する「明度補正処理」を行うことにより、「画素選択及び明度補正された入力画像」を生成する。

ここで、注目画素の明度を推定する方法の具体例として、注目画素を含む小領域の各画素毎に明度を求め、求めた明度を平均化または重み付き平均化することにより、平均化又は重み付き平均化された明度を、当該注目画素の明度として推定する方法が考えられる。対応する変形基準画像の画素の明度も、同じ方法で推定することができる。

また、各画素毎の明度の求め方としては、例えば、六角錘モデルのＨＳＩ色空間のＩを使う方法などがある。六角錘モデルのＨＳＩ色空間のＩは、各画素のＲチャネル、Ｇチャネル又はＢチャネルの画素値の最大値となる（非特許文献２を参照）。

以上は、画素選択処理の後に、明度補正処理が行われる流れとなっているので、画素選択処理では、明度変化に対して頑強な画素選択方法を用いる。要するに、上記条件１で言う類似度は、明度変化に依存しない類似度を用い、そして、上記条件２で言う位置ずれの推定量は、明度変化に依存しない位置ずれ量の推定方法を用いて推定することが好ましい。

明度変化に依存しない類似度の具体的な好適例としては、例えば、対応する小領域の正規化相互相関が挙げられる。また、明度変化に依存しない位置ずれの推定方法の具体的な好適例としては、例えば、平行移動を仮定して、画素単位の位置ずれにおける正規化相互相関のパラボラフィッティングを利用して、位置ずれ量を推定する方法が挙げられる。

ここで、「standard video sequence (mobile & calendar)」と呼ばれる標準動画像を用いて、本発明を適用した上で、超解像処理を行った。上記標準動画像をＭＰＥＧ４エンコードしたデータ（ＭＰＥＧ４動画像）のうち、１〜５０フレームを使用フレームとして用いた。また、２５フレーム目を基準フレームとした。

図２６乃至図２８は、５０フレームの使用フレームのうち、５フレーム分（１、１３、２５、３８、５０フレーム）を示した画像であり、被写体には動きがある。

図２９及び図３０は、本発明の第１の実施形態における動きベクトル累積加算変換処理によって位置合わせした画像である。

図３１は、位置合わせ処理部１０６により、生成されたレジストレーション画像である。

画素選択処理部１０７により、生成された画素選択・明度補正したレジストレーション画像を図３２に示す。

図３３に本発明を適用した超解像画像を示し、図３４にニアレストネイバー手法による画像を示す。本発明を適用することで、少ない計算量で高精細な画像を得ることができる。

本発明に係る「動画像の動き情報を利用した画像処理装置」の第１の実施形態を示すブロック構成図である。 本発明の第１の実施形態に係る画像処理装置で行われる画像処理の流れを示すフローチャートである。 ＭＰＥＧ４の符号化／復号化処理のブロック構成図である。 本発明に係る「フレーム選択処理」における指定フレーム設定方法の例を示す模式図である。 本発明に係る「動きベクトル累積加算変換処理」の概要を示す模式図である。 本発明に係る「動きベクトル累積加算変換処理」の流れを示すフローチャートである。 図６のフローチャートにおける判別処理１〜９（処理１〜９）の処理内容の説明図である。 動き補償時の予測方向と各フレームが持つ動きベクトルの方向を説明するための模式図である。 ＭＰＥＧ４の各マクロブロック符号化モードとマクロブロックが持つ動きベクトルについての説明図である。 １フレーム目が基準フレームで、３フレーム目が参照フレーム時の動きベクトル更新方法の例を説明ための模式図である。 １フレーム目が参照フレームで、３フレーム目が基準フレーム時の動きベクトル更新方法の例を説明ための模式図である。 対象画素に対応する画素を探す方法の説明図である。 ＭＰＥＧ４の参照フレームが基準フレームより前方向にあるパターン例１、２を説明するための模式図である。 ＭＰＥＧ４の参照フレームが基準フレームより前方向にあるパターン例３を説明するための模式図である。 ＭＰＥＧ４の参照フレームが基準フレームより前方向にあるパターン例４を説明するための模式図である。 ＭＰＥＧ４参照フレームが基準フレームより後方向にあるパターン例５、６を説明するための模式図である。 ＭＰＥＧ４参照フレームが基準フレームより後方向にあるパターン例７を説明するための模式図である。 ＭＰＥＧ４参照フレームが基準フレームより後方向にあるパターン例８を説明するための模式図である。 ＭＰＥＧ４追従ができないパターン例９、１０、１１を説明するための模式図である。 ＭＰＥＧ１／２とＭＰＥＧ４の予測符号化時の予測用参照画像への参照方法についての説明図である。 高解像度画像推定のフローチャートである。 高解像度画像推定演算部の構成図である。 ブロックベースのマッチングによる本発明の第２の実施形態のブロック図である。 画素選択処理部１０７で行われる「画素選択処理」を説明するための模式図である。 「明度補正処理」を説明するための模式図である。 １フレーム目、１３フレーム目の画像を示す図である。 ２５フレーム目（基準フレーム画像）を示す図である。 ３８フレーム目、５０フレーム目の画像を示す図である。 ２５フレーム目の基準フレーム画像に位置合わせした１フレーム目、１３フレーム目の画像を示す図である。 ２５フレーム目の基準フレーム画像に位置合わせした３８フレーム目、５０フレーム目の画像を示す図である。 １〜５０フレーム使用したレジストレーション画像を示す図である。 画素選択・明度補正したレジストレーション画像を示す図である。 画素選択・明度補正したレジストレーション画像からの超解像画像を示す図である。 ２５フレーム目の基準フレーム画像の従来手法による高解像度化画像を示す図である。

Claims (16)

1. 動画像データ内に記録されているフレーム画像間の動き情報を利用した画像処理装置であって、
   前記動画像データを復号化して得られた連続する２以上のフレーム画像から、基準フレーム及び参照フレームを指定する、フレーム選択処理部と、
   前記参照フレームから前記基準フレームへの動きベクトル値を算出する、動きベクトル累積加算変換処理部と、
   を備え、
   前記動きベクトル累積加算変換処理部は、前記動画像データに記録された前記動き情報を元に、累積加算及び方向変換による演算によって、前記参照フレームから前記基準フレームへの動きベクトル値を算出することを特徴とする動画像の動き情報を利用した画像処理装置。
2. 動画像データ内に記録されているフレーム画像間の動き情報を利用した画像処理装置であって、
   前記動画像データを復号化して得られた連続する２以上のフレーム画像から、基準フレーム及び参照フレームを指定する、フレーム選択処理部と、
   前記参照フレームから前記基準フレームへの動きベクトル値を算出する、動きベクトル累積加算変換処理部と、
   を備え、
   前記動きベクトル累積加算変換処理部は、前記動画像データに記録された前記動き情報を動きベクトル値に変換し、対象画素に対し前記参照フレームから前記基準フレームに向かって前記動きベクトル値を使って追従し、追従時に使用した動きベクトル値を累積加算及び方向変換することを特徴とする動画像の動き情報を利用した画像処理装置。
3. 前記動画像データは、ＭＰＥＧ１／２／４、Ｈ.２６１／２６３／２６４の動画像データである請求項１又は２に記載の動画像の動き情報を利用した画像処理装置。
4. 前記動画像データに記録された前記動き情報は、フレーム画像間のブロックベースのマッチング処理によって求めた動きベクトル値、又は、求めた動きベクトル値を元に変換した値である請求項１又は２に記載の動画像の動き情報を利用した画像処理装置。
5. 前記動きベクトル累積加算変換処理部によって求めた前記参照フレームと前記基準フレームとの各画素の対応情報を元に位置合わせする、位置合わせ処理部と、
   前記位置合わせ処理部から出力されたレジストレーション画像の各画素について、類似度、位置ずれの推定量、又は、前記類似度及び前記位置ずれの推定量に基づき、当該画素を選択する、画素選択処理部と、
   を備える請求項１乃至４の何れかに記載の動画像の動き情報を利用した画像処理装置。
6. 前記画素選択処理部により選択された画素のみを利用して、前記基準フレームに対して画質改善処理を行う、画質改善処理部を備える請求項５に記載の動画像の動き情報を利用した画像処理装置。
7. 前記動きベクトル累積加算変換処理部によって求めた前記参照フレームと前記基準フレームとの各画素の対応情報を元に位置合わせする、位置合わせ処理部と、
   前記位置合わせ処理部から出力されたレジストレーション画像の各画素について、明度変化に影響されない類似度、明度変化に影響されない位置ずれの推定量、又は、前記類似度及び前記位置ずれの推定量に基づき、当該画素を選択し、選択された画素の明度を対応する前記基準画像の画素の明度と一致するように、前記選択された画素の画素値を補正する、画素選択処理部と、
   を備える請求項１乃至４の何れかに記載の動画像の動き情報を利用した画像処理装置。
8. 前記画素選択処理部により選択・明度補正された画素を利用して、前記基準フレームに対して画質改善処理を行う、画質改善処理部を備える請求項７に記載の動画像の動き情報を利用した画像処理装置。
9. 動画像データ内に記録されているフレーム画像間の動き情報を利用した画像処理方法であって、
   前記動画像データを復号化して得られた連続する２以上のフレーム画像から、基準フレーム及び参照フレームを指定するステップと、
   前記参照フレームを前記基準フレームに位置合わせする場合に、動きベクトル累積加算変換処理手段により、前記参照フレームから前記基準フレームへの動きベクトル値を算出するステップと、
   を有し、
   前記動きベクトル累積加算変換処理手段は、前記動画像データに記録された前記動き情報を元に、累積加算及び方向変換による演算によって、前記参照フレームから前記基準フレームへの動きベクトル値を算出することを特徴とする動画像の動き情報を利用した画像処理方法。
10. 動画像データ内に記録されているフレーム画像間の動き情報を利用した画像処理方法であって、
    前記動画像データを復号化して得られた連続する２以上のフレーム画像から、基準フレーム及び参照フレームを指定するステップと、
    前記参照フレームを前記基準フレームに位置合わせする場合に、動きベクトル累積加算変換処理手段により、前記参照フレームから前記基準フレームへの動きベクトル値を算出するステップと、
    を有し、
    前記動きベクトル累積加算変換処理手段は、前記動画像データに記録された前記動き情報を動きベクトル値に変換し、対象画素に対し前記参照フレームから前記基準フレームに向かって前記動きベクトル値を使って追従し、追従時に使用した動きベクトル値を累積加算及び方向変換することを特徴とする動画像の動き情報を利用した画像処理方法。
11. 前記動画像データは、ＭＰＥＧ１／２／４、Ｈ.２６１／２６３／２６４の動画像データである請求項９又は１０に記載の動画像の動き情報を利用した画像処理方法。
12. 前記動画像データに記録された前記動き情報は、フレーム画像間のブロックベースのマッチング処理によって求めた動きベクトル値、又は、求めた動きベクトル値を元に変換した値である請求項９又は１０に記載の動画像の動き情報を利用した画像処理方法。
13. 前記動きベクトル累積加算変換処理手段によって求めた前記参照フレームと前記基準フレームとの各画素の対応情報を元に位置合わせし、
    位置合わせにより得られたレジストレーション画像の各画素について、類似度、位置ずれの推定量、又は、前記類似度及び前記位置ずれの推定量に基づき、当該画素を選択する請求項９乃至１２の何れかに記載の動画像の動き情報を利用した画像処理方法。
14. 選択された画素のみを利用して、前記基準フレームに対して画質改善処理を行う請求項１３に記載の動画像の動き情報を利用した画像処理方法。
15. 前記動きベクトル累積加算変換処理手段によって求めた前記参照フレームと前記基準フレームとの各画素の対応情報を元に位置合わせし、
    位置合わせにより得られたレジストレーション画像の各画素について、明度変化に影響されない類似度、明度変化に影響されない位置ずれの推定量、又は、前記類似度及び前記位置ずれの推定量に基づき、当該画素を選択し、
    選択された画素の明度を対応する前記基準画像の画素の明度と一致するように、前記選択された画素の画素値を補正する請求項９乃至１２の何れかに記載の動画像の動き情報を利用した画像処理方法。
16. 選択・明度補正された画素を利用して、前記基準フレームに対して画質改善処理を行う請求項１５に記載の動画像の動き情報を利用した画像処理方法。