JP2006033141A - 画像処理装置、画像処理方法、プログラムおよび記録媒体 - Google Patents

Abstract

【課題】 動きベクトル情報を用いた所定の符号化方法により圧縮された複数の画像から一の静止画像を生成する際に、効率的な画像処理を実行する画像処理装置の提供を目的とする。
【解決手段】 画像間の動きのベクトル情報を用いた所定の符号化方法により圧縮された動画像データを、動画像を構成する複数の静止画像としてのフレーム画像に復号し、該復号されたフレーム画像から所定数のフレーム画像を抽出し、当該所定数のフレーム画像を合成して一の静止画像を生成する画像処理装置であって、前記フレーム画像の合成に先立って、該フレーム画像間のずれ量を補正するずれ量補正手段を備え、該ずれ量補正手段は、前記フレーム画像に対応する前記動きのベクトル情報を抽出し、該動きのベクトル情報を参照して前記ずれ量の補正を実行する画像処理装置とする。
【選択図】 図３

Description

本発明は、画像間の動きのベクトル情報を用いた所定の符号化方法により圧縮された動画像データから得られる複数の画像を用いて一の静止画像を生成する画像処理装置，画像処理方法、コンピュータプログラムおよび記録媒体に関する。

従来から、複数の画像を合成して一枚の高解像度の画像を生成する画像処理装置および画像処理方法がある。例えば、デジタルビデオカメラで撮影された動画像を構成する複数のフレーム画像から、一のフレーム画像（基準フレーム画像）を決定し、決定した基準フレーム画像よりも高解像度（高い画素密度）の静止画像を生成する技術が知られている。この技術では、基準フレーム画像と共に静止画像を生成する素材となる複数の対象フレーム画像を決定し、基準フレーム画像と対象フレーム画像との間のずれ量をそれぞれ算出する。このずれ量に基づいて、各フレーム画像を合成して静止画像を生成している（例えば、特許文献１参照）。こうした画像の合成処理方法は、単に一のフレーム画像を解像度変換する方法に比べ、画像を高画質、鮮明なものとすることができるとされている。

特開２０００−２４４８５１号公報

こうした画像の合成処理において素材となる動画像の多くは、例えばＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）等に代表される動きベクトルを用いた符号化方式で圧縮された動画像である。ＭＰＥＧ形式では、隣接フレーム間の相関性を有効に利用し、動き補償予測を用いて動き部分についても差分を小さくすることで、符号化情報量を低減し、動画像全体を圧縮している。

しかしながら、こうした画像の合成処理方法では、基準フレーム画像と対象フレーム画像との間のずれ量を検出するのに時間がかかるという問題があった。例えば、画像間のずれを画素単位の粗いレベルで検出するとしても、１画素ずつ位置をずらして画像間のマッチングを行なう必要がある。こうした画像間のずれの探索には膨大な量の演算が必要であり、ずれ量の演算処理に時間がかかっていた。特に、ＭＰＥＧ形式で圧縮された画像を合成する場合は、圧縮画像を復号してフレーム画像を生成し、その上でフレーム画像間のずれ量の検出を行なっていた。ＭＰＥＧ形式の符号化された画像にはフレーム間における「動き」の情報を備えているにもかかわらず、その情報を有効に活用するといった着想はなかった。

本発明は、こうした問題を踏まえ、動きベクトル情報を用いた所定の符号化方法により圧縮された複数の画像から一の高解像度の画像を生成する際に、効率的な画像処理を実行することを目的とする。

本発明の画像処理装置は、上記課題に鑑み、以下の手法を採った。すなわち、画像間の動きのベクトル情報を用いた所定の符号化方法により圧縮された動画像データを、動画像を構成する複数の静止画像としてのフレーム画像に復号し、該復号されたフレーム画像から所定数のフレーム画像を抽出し、当該所定数のフレーム画像を合成して一の静止画像を生成する画像処理装置であって、前記フレーム画像の合成に先立って、該フレーム画像間のずれ量を補正するずれ量補正手段を備え、該ずれ量補正手段は、前記フレーム画像に対応する前記動きのベクトル情報を抽出し、該記動きのベクトル情報を参照して前記ずれ量の補正を実行することを要旨としている。

また、本発明の画像処理方法は、画像間の動きのベクトル情報を用いた所定の符号化方法により圧縮された動画像データから得られる所定数のフレーム画像を合成して、一の静止画像を生成する画像処理方法であって、前記符号化された動画像データを、動画像を構成する複数の静止画像としてのフレーム画像に復号し、前記復号されたフレーム画像から所定数のフレーム画像を抽出し、前記フレーム画像に対応する前記動きのベクトル情報を抽出し、前記動きのベクトル情報を参照して、前記フレーム画像間のずれ量を補正し、前記補正したフレーム画像を用いて合成し、前記一の静止画像を生成することを要旨としている。

本発明の画像処理装置および画像処理方法によれば、静止画像の生成に用いる複数のフレーム画像間のずれ量の補正に、所定の符号化方法により圧縮された動画像データの動きのベクトル情報を利用する。動きのベクトル情報は、例えばＭＰＥＧ等の符号化方法において用いられ、所定のフレーム画像間における対象部分の位置の変化を表わしている。この動きのベクトル情報を参照し、所定フレーム画像間のずれ量を予測する。つまり、圧縮された動画像データが予め有するフレーム画像間の動きの情報を抽出し、これを基にして、フレーム画像間のずれ量を求め、補正をする。したがって、ずれ量の補正、特にずれ量の検出に関する処理を効率的に行なうことができ、画像処理全体の高速化に効果を奏する。加えて、元々圧縮時に付加された情報を利用することができ、省リソース化を図ることができる。

上記の構成を有する画像処理装置のずれ量補正手段は、所定の探索方法を用いて前記抽出されたフレーム画像間のずれ量を検出し、該ずれ量の補正を実行する手段であり、前記動きのベクトル情報から求めた所定値を該探索における初期値として使用するものとしても良い。

かかる画像処理装置によれば、フレーム画像間のずれ量の検出には、所定の探索方法を用いる。探索によるずれ量の検出では、所定の初期値から探索を開始し、ずれの少なくなる方向へ探索を進め、最終的にたどり着いた値が要求するずれ量となる。こうした探索方法における初期値を、動きのベクトル情報を利用して設定する。動きのベクトル情報は、所定のフレーム画像間における動き、つまり、ずれに関する情報となる。したがって、無作為に予め設定した初期値から探索を開始する場合に比べ、探索回数を低減することができ、探索時間を短縮することができる。

上記の構成を有する画像処理装置のずれ量補正手段は、前記動きのベクトル情報から求めた所定値を前記フレーム画像間の並進方向のずれ量として設定し、該ずれ量の補正を実行するとしても良い。

かかる画像処置装置によれば、動きのベクトル情報から求めた所定値を、フレーム画像間の並進方向のずれ量としてフレーム画像の合成に用いる。したがって、フレーム画像間のずれ量の算出に費やす処理時間を大きく短縮することができる。

上記の構成を有する画像処理装置における所定の符号化方法による動画像データは、ＭＰＥＧ規格またはＨ．２６ｘ規格に準拠して符号化された動画像データであり、前記動きのベクトル情報は、前記動画像データの各種ピクチャを構成する複数のマクロブロック内に備えられた動きベクトルであるものとすることができる。

かかる画像処置装置によれば、動画像の圧縮方式として代表されるＭＰＥＧ−１，ＭＰＥＧ−２，ＭＰＥＧ−４などのＭＰＥＧ規格またはＨ．２６１，Ｈ．２６３，Ｈ．２６４などのＨ．２６ｘ規格に準拠して符号化された動画像データを取り込み、当該動画像データの復号の際に用いる動きのベクトル情報からフレーム画像間のずれ量を補正する。かかる動画像データは、各種ピクチャから構成され、その各種ピクチャは複数のマクロブロックから構成されている。このマクロブロック内の動きベクトルをずれ量の補正に用いる。こうした代表的な圧縮方式の規格に準拠した動画像データを取扱うことで、容易に動きベクトルを取り出すことができる。取り出した動きベクトルを利用することで、効率的な画像処理を実行することができる。

上記の構成を有する画像処理装置において、更に、前記抽出した所定数のフレーム画像のピクチャ種別を判別し、該判別結果に基づいて、前記ずれ量の検出において動きベクトルを利用できるか否かを判断する判断手段を備えるものとしても良い。

ＭＰＥＧ規格またはＨ．２６ｘ規格により符号化された動画像データは、Ｉ,Ｐ,Ｂピクチャの３種類から構成される。Ｐピクチャは、ＩピクチャまたはＰピクチャから順方向予測を行なうことで生成され、Ｂピクチャは、時間的に前後するＩピクチャまたはＰピクチャからの双方向予測を行なうことで生成される。上記の画像処理装置によれば、抽出したフレーム画像のピクチャ種別を判定する。判定したピクチャ種別によって、どの種別のピクチャと係わり合いがあるかを認識し、動きベクトルを利用できるか否かを判断する。したがって、画像処理の早い段階で、動きベクトルを利用するか否かを判断でき、処理の高速化に効果を奏する。

上記の構成を有する画像処理装置のずれ量補正手段は、前記動きベクトルを利用できると判断した場合には、前記ずれ量の検出の対象となる前記フレーム画像を構成する複数のマクロブロックから、該ずれ量の検出の基準となる該フレーム画像と参照関係を有する有効マクロブロックを選出し、該有効マクロブロック内の動きベクトルの平均値、または最多頻度値を前記動きのベクトル情報から求めた所定値として設定する手段を備えるものとしても良い。

かかる画像処理装置によれば、ずれ量の検出の基準となるフレーム画像と、対象となるフレーム画像とのピクチャ種別が互いに係わり合いのある参照関係を有する組み合わせであり、動きベクトルを利用できると判断した場合には、有効マクロブロック内の平均値、最多頻度値を初期値として探索を実行する。ピクチャを構成するマクロブロックには、そのピクチャと参照関係のあるピクチャを基にした種々の動きベクトルを備えたものが併存する場合がある。こうしたマクロブロックの中から、ずれ量の検出を行なうピクチャ同士に関係する動きベクトルを備えた有効マクロブロックを抽出する。この有効マクロブロック内の値の平均値、最多頻度値などの代表値を用いることで、ずれ量の検出に利用する値として、容易に、かつ、妥当な値を設定することができる。

上記の構成を有する画像処理装置における前記所定数のフレーム画像の抽出に際し、前記合成における基準のフレーム画像の候補として選択された一のフレーム画像のピクチャ種別を判別し、該判別結果に基づいて、該選択された一のフレーム画像を当該基準のフレーム画像とするか否かを決定するフレーム決定手段を備えるものとしても良い。

かかる画像処理装置によれば、基準のフレーム画像の候補として選択され一のフレーム画像のピクチャ種別を判別し、その結果に応じて基準のフレーム画像を決定する。例えば、選択されたフレーム画像のピクチャ種別が他のピクチャとの参照関係の低いＢピクチャである場合には、参照関係の高いＩ,Ｐピクチャを抽出し、その中から再度基準のフレーム画像の候補を選択させるものとすることもできる。多数のピクチャとの参照関係を有するピクチャを基準のフレーム画像として選択させることで、動きベクトルの利用可能性を高めることができる。

上記の構成を有する画像処理装置のフレーム決定手段は、前記選択された一のフレーム画像のピクチャ種別がＩピクチャまたはＢピクチャである場合には、時系列順に配置される当該ピクチャの近傍に位置するＰピクチャのフレーム画像を抽出し、該抽出したフレーム画像を当該基準のフレーム画像として決定するものとしても良い。

かかる画像処理装置によれば、ＩピクチャまたはＢピクチャを選択した場合には、他のピクチャとの参照関係の高いＰピクチャを基準のフレーム画像として抽出し直す。つまり、常に基準のフレーム画像にはＰピクチャを設定する。参照関係の高いＰピクチャを基準のフレーム画像とすることで、動きベクトルを有効に活用することができる。

上記の構成を有する画像処理装置のフレーム決定手段は、前記選択された一のフレーム画像のピクチャ種別がＩピクチャまたはＰピクチャである場合には、当該フレーム画像を前記基準のフレーム画像として決定し、該選択された一のフレーム画像のピクチャ種別がＢピクチャである場合には、時系列順に配置される当該Ｂピクチャの近傍に位置するＩピクチャまたはＰピクチャのフレーム画像を抽出し、該抽出したフレーム画像を該基準のフレーム画像として決定するものとしても良い。

かかる画像処理装置によれば、Ｉ，Ｐピクチャが選択された場合には、これを基準のフレーム画像とし、Ｂピクチャが選択された場合には、Ｉ，Ｐピクチャを抽出し、これを基準のフレーム画像とする。したがって、他のピクチャとの参照関係が比較的高い画像を基準のフレーム画像として決定することができる。

上記の構成を有する画像処理装置のフレーム決定手段は、前記基準のフレーム画像に対して前記ずれ量を検出する対象となるフレーム画像の決定に際し、該基準のフレーム画像に対する前記有効マクロブロック数の多いピクチャであるフレーム画像を優先的に選択し、該対象のフレーム画像として決定するものとしても良い。

かかる画像処理装置によれば、基準のフレーム画像として決定された一のフレーム画像のピクチャに対して参照関係を有する複数のピクチャのうちから、有効マクロブロック数が多いピクチャを対象のフレーム画像として選択する。対象のフレーム画像が複数枚必要である場合には、有効マクロブロック数の多い順に、ピクチャを選択する。こうすることで、有効マクロブロック内の動きベクトルを有効に利用することができる。

本発明は、コンピュータプログラムおよびコンピュータプログラムを記録した媒体としても実装することができる。記録媒体としては、フレキシブルディスク，ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ／ＲＡＭ，光磁気ディスク、メモリカード、ハードディスクなどコンピュータが読取り可能な種々の媒体を利用することができる。

以下、本発明の実施の形態について、実施例に基づき以下の順序で説明する。
Ａ．第１実施例：
Ａ１．画像処理装置の構成：
Ａ２．画像処理の概要：
Ａ３．動きベクトル：
Ａ４．ずれ量探索初期値設定処理：
Ａ４−１．第１の具体例：
Ａ４−２．第２の具体例：
Ａ５．ずれ量検出：
Ｂ．第２実施例：
Ｂ１．フレーム画像選択処理：
Ｃ．変形例：

Ａ．第１実施例：
Ａ１．画像処理装置の構成：
図１は、本発明の第１実施例としての画像処理システム１００を示す説明図である。図示するように、この画像処理システム１００は、動画像データを供給する画像データベース２０、画像データベース２０から入力した動画像データに対して画像処理を実行する画像処理装置としてのパーソナルコンピュータ３０、画像処理の実行をユーザが指示するためのユーザインターフェース４０、画像処理を施した画像を出力するカラープリンタ５０等から構成されている。

画像データベース２０は、デジタルビデオカメラ２１，ＤＶＤ２３，ハードディスク２４などの動画像データを取り扱う機器を有している。画像データベース２０で取り扱う動画像データは、所定の符号化方式により圧縮されたものである。本実施例で取り扱う動画像データは、デジタルビデオカメラ２１で取得し、ＭＰＥＧ−２形式（以下、ＭＰＥＧ形式と呼ぶ）で圧縮された動画像データである。なお、画像データベース２０で取り扱う動画像データの符号化方式は、ＭＰＥＧ−１，ＭＰＥＧ−４，Ｈ．２６１，Ｈ．２６３，Ｈ．２６４など種々の規格に準拠したものであっても良い。

ユーザインターフェース４０は、ユーザが画像処理の実行操作を行なうためのキーボード４１やマウス４２、画像処理を実行する前の静止画像や合成処理後の静止画像を表示するディスプレイ４３などを備えている。

パーソナルコンピュータ３０は、画像処理を実行するＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、画像処理のソフトウェアをインストールするハードディスク３４、画像データベース２０、ユーザインターフェース４０やカラープリンタ５０などの外部機器とやり取りするためのＩ／Ｆ回路部３５等を有し、それぞれ内部バスにより接続されている。

ハードディスク３４には、所定のオペレーションシステムや、このオペレーションシステム上で動作する画像処理のアプリケーションプログラムがインストールされている。この画像処理のプログラムは、動画像を構成する複数枚のフレーム画像から所定数のフレーム画像を合成して一枚の高解像度の静止画像を生成するプログラムである。ＣＰＵ３１は、こうしたプログラムをＲＡＭ３３に展開して実行する。

Ａ２．画像処理の概要：
図２は、第１実施例の画像処理の構成を示す説明図である。また、図３は第１実施例としての画像処理のフローチャートである。画像データベース２０からパーソナルコンピュータ３０に入力されたＭＰＥＧ形式の動画像データは、図２に示すように、符号化されたデータを復号するＭＰＥＧデコーダを介して、時系列の連続するフレーム画像に変換される。パーソナルコンピュータ３０はユーザの再生操作に応じて、ディスプレイ４３上に時系列の連続するフレーム画像からなる動画像を再生する。

ユーザは、再生された動画像から静止画像として出力を所望する一シーンを所定の操作により選択し、そのシーン（フレーム画像）を指定する。ユーザがそのフレーム画像を高解像度の静止画像として出力する高解像度化処理の実行を指示すると、図３に示したフローチャートがパーソナルコンピュータ３０にて実行される。

パーソナルコンピュータ３０は、指定されたフレーム画像から時系列順に、画像処理に使用するフレーム画像を抽出する（ステップＳ３１０）。第１実施例では、フレーム画像の指定の操作タイミングから時系列的に連続する４枚のフレーム画像を抽出するものとした。以下、この４枚のフレーム画像の内、ユーザが指定したもの（つまり、時系列で最初のもの）を基準フレーム画像Ｆｒと呼び、それ以外の３枚を対象フレーム画像Ｆｔと呼ぶ。なお、抽出するフレーム画像の数はユーザが任意に設定できるものとしても良い。また、選択した基準フレーム画像Ｆｒの前後から対象フレーム画像Ｆｔを抽出するのもとしても良いし、所定間隔後（例えば、２枚後）のフレーム画像を抽出するように予め設定するものとしても良い。

ここで抽出した対象フレーム画像Ｆｔの符号化、復号の際に利用した動きベクトルを抽出する（ステップＳ３１５）。ＭＰＥＧ形式の符号化方法では、動き補償予測と呼ばれる技術を用いてフレーム画像を生成することで動画像全体の情報量を減らし、圧縮効率を向上させている。この動き補償予測を用いるフレーム画像には、あるフレーム画像間の動きの情報を示す「動きベクトル」を備えている。つまり、このステップでは、抽出した対象フレーム画像Ｆｔと他のフレーム画像との間での「動き」に関する情報を取得する。

続いて、抽出した動きベクトルを参照して、フレーム画像間のずれ量を求める前処理としての探索初期値設定処理を実行する（ステップＳ３２０）。ここでのずれ量とは、パン、チルトといったカメラワークや、手ブレ等によるフレーム画像間の並進方向および回転方向の位置のずれを意味している。以下、この並進方向のずれを並進ずれ量（ｕ，ｖ）と、回転方向のずれを回転ずれ量δと、それぞれ示す。このステップでは、抽出した対象フレーム画像Ｆｔと基準フレーム画像Ｆｒとの並進ずれ量（ｕ，ｖ）の探索の初期値を設定する。第１実施例では、ＭＰＥＧ形式の動画像データをＭＰＥＧデコーダを介して復号する際に用いた動きベクトルを、並進ずれ量（ｕ，ｖ）の探索の初期値として利用している。なお、動きベクトル、探索初期値設定処理については、後に詳しく説明する。

動きベクトルを参照して設定した並進ずれ量探索の初期値を用いて、ずれ量（ｕ，ｖ，δ）を検出する（ステップＳ３２５）。具体的には、設定した初期値からパターンマッチ法による並進ずれ量探索を実行し、概略の並進ずれ量（ｕ，ｖ）を把握する。その後、勾配法を用いた処理により、ずれ量（ｕ，ｖ，δ）を検出している。なお、勾配法、パターンマッチ法を用いたずれ量検出の手法については後述する。

続いて、検出されたずれ量（ｕ，ｖ，δ）に基づいて、対象フレーム画像Ｆｔの補正を行なう(ステップＳ３３０)。図４は、フレーム画像間における並進ずれと回転ずれとの補正を示す概念図である。図示するように、基準フレーム画像Ｆｒの画像中心を原点として（ｘ１，ｙ１）の直交座標を設定し、対象フレーム画像Ｆｔの画像中心を原点として（ｘ２，ｙ２）の直交座標を設定する。図４は、両フレーム画像の内容がほぼ重なり合うように、基準フレーム画像Ｆｒに対して対象フレーム画像Ｆｔを並進方向に（ｕ，ｖ）、回転方向にδだけ移動させた状態を示している。こうしたずれ量（ｕ，ｖ，δ）の補正を３枚の対象フレーム画像Ｆｔに施し、基準フレーム画像Ｆｒに対して、ずれ補正済みの対象フレーム画像Ｆｔを重ね合わせる。

重ね合わせた複数のフレーム画像の画素を用いた所定の補間方法により、一の高画素密度の静止画像を生成する(ステップＳ３４０)。補間方法には、バイ・リニア法，バイ・キュービック法，ニアレストネイバ法などの既存の方法を用いることができる。本実施例の画像処理では、バイ・リニア法を用いて補間処理を実行し、基準フレーム画像Ｆｒに対して１．５倍密に高解像度変換された静止画像を生成している。パーソナルコンピュータ３０は、こうして合成された静止画像をディスプレイ４３上の所定の位置に表示すると共に、この処理を終了する。ユーザは、好みに応じて、この静止画像をカラープリンタ５０やハードディスク３４などに出力する操作を行なう。こうした補間処理を用いた画像処理では、ＭＰＥＧ形式で圧縮された画像が有するブロック歪を低減し、鮮明な静止画像を生成することができる。

Ａ３．動きベクトル：
動きベクトルは、上述のようにＭＰＥＧ形式での動画像の符号化、復号を行なう際に用いられる。ＭＰＥＧ形式では、圧縮効率を高めるため、Ｉ，Ｐ，Ｂの３種類の画像タイプ（ピクチャ）が用意されている。Ｉピクチャは、予測を使わず元のデータをそのまま符号化したものであり、Ｐピクチャは、時系列に順方向の動き補償予測を用いたもので、Ｂピクチャは双方向の動き補償予測を用いたものである。

図５は、ＭＰＥＧ形式のデータ構造を示す説明図である。本実施例でパーソナルコンピュータ３０に入力される動画像データは、図示するように、時系列に連続する複数枚のピクチャである。これらのピクチャは、ＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）と呼ばれるグループ単位で取り扱われる。一のＧＯＰ内には、最低１枚のＩピクチャを備えており、例えばランダムアクセスのエントリポイントとして利用される。ＧＯＰ内のピクチャ数Ｎや、Ｉ，Ｐピクチャの周期Ｍには特に制限はないが、本実施例ではＮ＝９，Ｍ＝３であるものとする。

図５の中段に示すピクチャ間の矢印は、ＧＯＰ内の一部のピクチャの動き補償予測の方向を示している。例えば、Ｐ４ピクチャは、Ｉ１ピクチャを基準とする順方向の動きベクトルを備えており、Ｉ１ピクチャと動きベクトルとを加味した動き補償予測を行なうことで復号される。また、Ｂ３ピクチャは、Ｉ１ピクチャを基準とする順方向と、Ｐ４ピクチャを基準とする逆方向と（つまり、双方向）の動きベクトルを備えている。つまり、図示する矢印が繋ぐピクチャ間には参照関係があり、矢印先のピクチャは、矢印元のピクチャに対する動きベクトルを備えた組み合わせとなる。この矢印の本数が多いピクチャ（Ｐ４ピクチャ）は、参照関係の高いピクチャとなる。こうした各種ピクチャは、帯状の領域からなるスライス層から構成され、スライス層は１６×１６画素のマクロブロックＭＢ単位で構成されている。このマクロブロックＭＢには、輝度情報、色差情報などと共に動きベクトルが含まれている。このようにある種別のピクチャは、特定の種別のピクチャとの間において動きベクトルを備えている。

本実施例の画像処理におけるずれ量の検出において、この動きベクトルを直接利用可能であるか否かは、基準フレーム画像Ｆｒのピクチャ種別と対象フレーム画像Ｆｔのピクチャ種別との組み合わせにより判断している。

Ａ４．ずれ量探索初期値設定処理：
図６は、並進方向のずれ量の探索初期値設定処理のフローチャートである。この処理は、図３のステップＳ３２０の処理の際に実行される。処理が開始されると、パーソナルコンピュータ３０は、図３のステップＳ３１０にて取得された基準フレーム画像Ｆｒと対象フレーム画像Ｆｔとのピクチャ種別を認識する（ステップＳ６００）。フレーム画像に対するピクチャ種別は、ＭＰＥＧ形式データのスライス層の上位階層であるピクチャ層のヘッダ部分を参照することで認識できる。

続いて、認識した基準フレーム画像Ｆｒと対象フレーム画像Ｆｔとのピクチャ種別の組み合わせが、並進ずれ量（ｕ，ｖ）の検出に有効な動きベクトルを有する組み合わせか否かを判断する（ステップＳ６１０）。

図７は、並進ずれ量（ｕ，ｖ）の検出において動きベクトルが利用できる組み合わせを示した説明図である。図中の「基準」とは「基準フレーム画像Ｆｒ」を、「対象」とは「対象フレーム画像Ｆｔ」を、それぞれ意味している。また、図中の丸印は、基準フレーム画像Ｆｒと対象フレーム画像Ｆｔとの組み合わせが、参照関係のあるピクチャ同士の組み合わせ（図５に示した矢印で繋ぐピクチャ同士の組み合わせ）に該当し、動きベクトルが利用できる組み合わせであることを示している。例えば、基準フレーム画像ＦｒがＩ１ピクチャである場合には、対象フレーム画像ＦｔがＢ２，Ｂ３，Ｐ４ピクチャであれば、Ｂ２，Ｂ３，Ｐ４ピクチャのマクロブロックＭＢ内の動きベクトルを利用できる。

ステップＳ６１０にて、有効な組み合わせであると判断した場合には、対応するマクロブロックＭＢ内の動きベクトル値を抽出し、その平均値を並進ずれ量探索の初期値として設定し、ＮＥＸＴに抜けて、この処理を終了する（ステップＳ６２０）。

他方、ステップＳ６１０にて、有効な組み合わせでないと判断した場合には、ゼロを並進ずれ量探索の初期値として設定し、ＮＥＸＴに抜けて、この処理を終了する（ステップＳ６３０）。具体的には、図７に示した×印の組み合わせとなる場合、例えば、基準フレーム画像がＢ２ピクチャ、対象フレーム画像がＢ３ピクチャの組み合わせである場合には、初期値をゼロとする。

Ａ４−１．第１の具体例：
ステップＳ６１０で判断される有効な組み合わせの第１の具体例として、基準フレーム画像ＦｒがＩ１ピクチャ、対象フレーム画像Ｆｔの一つがＰ４ピクチャである場合について以下に説明する。

図８は、Ｐ４ピクチャ（対象フレーム画像Ｆｔ）の一部を示す模式図である。図示するように、Ｐ４ピクチャは複数のマクロブロックＭＢから構成されている。各マクロブロックＭＢには、便宜上、番号を付している。マクロブロックＭＢ中に記した「ＭＶ」は動きベクトルを備えていることを示し、斜線は基準フレーム画像Ｆｒ（この場合、Ｉ１ピクチャ）に対する動きベクトルであることを示している。つまり、斜線で示したマクロブロックＭＢ内の値を利用する。なお、図中の「Ｉｎｔｒａ」は動きベクトルを備えていない（一般に、フレーム内予測とも呼ぶ）ことを示している。

図９は、Ｐ４ピクチャのマクロブロックＭＢ内の動きベクトル値を示す説明図である。図中の「Ｎｏ.」はマクロブロックＭＢの番号を、「Ｉｎｔｒａ」は図８と同様、フレーム内予測を、「双方」とはＰ４ピクチャよりも時系列で前後、双方向のピクチャに対する動きベクトルを有することを、それぞれ示している。また、図中の「前方」とは、Ｐ４ピクチャよりも時系列で前のピクチャに対する動きベクトルであることを、「後方」とは、Ｐ４ピクチャよりも時系列で後のピクチャに対する動きベクトルであることを、それぞれ示している。こうした様々なピクチャに対する動きベクトルのうち、基準フレーム画像Ｆｒに対する動きベクトルを備えたマクロブロックＭＢのことを、以下、有効マクロブロックと呼ぶ。つまり、有効マクロブロックは、基準フレーム画像Ｆｒに対して参照関係のある動きベクトルを備えたマクロブロックである。

図９に示すように、対象フレーム画像ＦｔであるＰ４ピクチャは、１〜１６番までのマクロブロックＭＢのうち、６番と１１番とのマクロブロックＭＢを除く他の全てのマクロブロックＭＢが有効マクロブロックである。したがって、１４個の有効マクロブロック内の値を抽出し、その平均値（半画素単位で丸める）を算出すると、（３，−２）となる。

この平均値（３，−２）は、図１０に示すように、基準フレーム画像ＦｒであるＩ１ピクチャに対して、対象フレーム画像ＦｔであるＰ４ピクチャは、略（３，−２）の並進ずれを生じていることを意味している。ここで算出した平均値を、前述の並進ずれ量探索の初期値として与え、探索を実行する。

有効マクロブロックの平均値、つまり、基準フレーム画像Ｆｒに対応する動きの情報から求めた値を初期値として与えるため、無関係な位置からの探索に比べ、探索回数を低減することができ、探索に費やす演算量、処理時間を低減することができる。すなわち、ＭＰＥＧ形式の符号化による動きベクトルという既存の情報を有効活用することで、画像処理の高速化、省リソース化を実現することがきる。なお、初期値には平均値に代えて、有効マクロブロックの値のうち、頻度が最多である値を用いるものとしても良い。

また、基準フレーム画像ＦｒがＰ４ピクチャ、対象フレーム画像Ｆｔの一つがＩ１ピクチャである場合についても、同様に処理することができる。この場合、Ｉ１ピクチャ自体は動きベクトルを持たないが、Ｐ４ピクチャの有効マクロブロックを利用するものとすれば良い。つまり、Ｐ４ピクチャの有効マクロブロック内の動きベクトル値の符号を反転して、Ｉ１ピクチャが仮想的に有する有効マクロブロックと捉えると、その平均値は（−３，２）となる。Ｐ４ピクチャを基準にして、Ｉ１ピクチャは（−３，２）の並進ずれ量を有することとなる。

Ａ４−２．第２の具体例：
有効な組み合わせの第２の具体例として、基準フレーム画像ＦｒがＰ４ピクチャ、対象フレーム画像ＦｔがＢ２ピクチャである場合について以下に説明する。

図１１は、Ｂ２ピクチャの一部を示す模式図である。対象フレーム画像ＦｔがＢ２ピクチャである場合も、図８に示したＰ４ピクチャの場合と基本的には同様である。図示するように、Ｂ２ピクチャは、１個の「Ｉｎｔｒａ」マクロブロックＭＢと１５個の「ＭＶ」マクロブロックＭＢとからなる。１５個の「ＭＶ」マクロブロックＭＢがそれぞれ有する動きベクトルは、Ｉ１ピクチャのみを基準としたもの、Ｐ４ピクチャのみを基準としたもの、その両方の３つのタイプに分類される。

図１２は、Ｂ２ピクチャのマクロブロックＭＢ内の動きベクトル値を示す説明図である。図示するように、１，１５，１６番の３個のマクロブロックＭＢはＰ４ピクチャとの間の動きベクトルのみを備え、６，７，８，１０番の４個のマクロブロックＭＢはＩ１ピクチャからの動きベクトル値と、Ｐ４ピクチャからの動きベクトル値との双方向からの値を有している。その他の動きベクトルを有するマクロブロックＭＢは、Ｉ１ピクチャとの間の動きベクトルは備えているものの、Ｐ４ピクチャに関する動きベクトルを備えていないため、ここでは有効マクロブロック（図１１の斜線部分）とはならない。

図１２に示す動きベクトル値のうち、７個の有効マクロブロック内の値を抽出し、その平均値（半画素単位で丸める）を算出すると、（−２，１．５）となる。この平均値（−２，１．５）は、基準フレーム画像ＦｒであるＰ４ピクチャに対して、対象フレーム画像ＦｔであるＢ２ピクチャは、略（−２，１．５）の並進ずれを生じていることを意味している。ここで算出した平均値を、並進ずれ量探索における初期値として与え、より詳細に並進ずれ量探索を実行する。こうすることで、探索に費やす処理時間を短縮することができる。

なお、上述の第１の具体例で説明したのと同様に、平均値に代えて頻度が最多である値を用いるものとしても良い。また、基準フレーム画像ＦｒがＢ２ピクチャ、対象フレーム画像がＰ４である場合には、符号を反転して用いるものとすれば良い。

第１、第２の具体例では、有効マクロブロック内の値の平均値や最多頻度値を代表値として用いるものとしたが、代表値の設定はこれに限るものではない。例えば、有効マクロブロック内の値を検出した結果、ばらつきがある場合には、その分布を調べるなどの統計的手法により代表値を設定するものとしても良いし、ばらつきが大きいと判断した場合には代表値をゼロとしても良い。さらに、ピクチャの中央付近に重み付けをして代表値を設定するものとしても良い。

Ａ５．ずれ量の検出：
ここで、本実施例の画像処理にて実行するフレーム画像間のずれ量の検出方法について説明する。本実施例では、フレーム画像間のずれ量を求めるのに、フレーム画像間の各画素の輝度を用いて１画素よりも細かい単位で画素の位置を推定する勾配法を用いている。図１３は、この勾配法による並進ずれ量（ｕ，ｖ）の算出方法を示す説明図である。図１３（ａ）には、各画像上の画素の輝度を示し、図１３（ｂ）には、勾配法の原理を示した。ここで、（ｘ１ｉ，ｙ１ｉ）は、基準フレーム画像Ｆｒ上の一の画素の座標を示し、Ｚ１（ｘ１ｉ，ｙ１ｉ）は、その画素の輝度を表している。なお、ここでは、対象フレーム画像Ｆｔ上の座標（ｘ２ｉ，ｙ２ｉ）の画素が、基準フレーム画像Ｆｒ上の座標（ｘ１ｉ〜ｘ１ｉ＋１，ｙ１ｉ〜ｙ１ｉ＋１）の間にあるものとし、その座標を（ｘ１ｉ＋Δｘ，ｙ１ｉ＋Δｙ）とする。

図１３（ｂ）に示すように、対象フレーム画像Ｆｔにおける座標（ｘ２ｉ，ｙ２ｉ）の画素が、基準フレーム画像Ｆｒ上の座標（ｘ１ｉ＋Δｘ，ｙ１ｉ）にあるものとし、
Ｐｘ＝Ｚ１（ｘ１ｉ＋１，ｙ１ｉ）−Ｚ１（ｘ１ｉ，ｙ１ｉ） ・・・（１）
とすると、
Ｐｘ・Δｘ＝Ｚ２（ｘ２ｉ，ｙ２ｉ）−Ｚ１（ｘ１ｉ，ｙ１ｉ） ・・・（２）
が成り立つ。この場合、Ｚ１（ｘ１ｉ，ｙ１ｉ）およびＺ２（ｘ２ｉ，ｙ２ｉ）を単にＺ１，Ｚ２と置くと、
{Ｐｘ・Δｘ−（Ｚ２−Ｚ１）}²＝０ ・・・（３）
を満たすΔｘを求めれば、対象フレーム画像Ｆ２のｘ軸方向の並進ずれ量を求めることができる。実際には、各画素についてΔｘを算出し、平均をとることとなる。

同様にして、対象フレーム画像Ｆｔにおける座標（ｘ２ｉ，ｙ２ｉ）の画素が、基準フレーム画像Ｆｒ上の座標（ｘ１ｉ，ｙ１ｉ＋Δｙ）にあるものとし、
Ｐｙ＝Ｚ１（ｘ１ｉ，ｙ１ｉ＋１）−Ｚ１（ｘ１ｉ，ｙ１ｉ） ・・・（４）
とすると、
Ｐｙ・Δｙ＝Ｚ２（ｘ２ｉ，ｙ２ｉ）−Ｚ１（ｘ１ｉ，ｙ１ｉ） ・・・（５）
が成り立つ。この場合、Ｚ１（ｘ１ｉ，ｙ１ｉ）およびＺ２（ｘ２ｉ，ｙ２ｉ）を単にＺ１，Ｚ２と置くと、
{Ｐｙ・Δｙ−（Ｚ２−Ｚ１）}²＝０ ・・・（６）
を満たすΔｙを求めれば、対象フレーム画像Ｆｔのｙ軸方向の並進ずれ量を求めることができる。実際には、各画素についてΔｙを算出し、平均をとることとなる。

上記式（３）はｘ軸方向のみを、上記式(６)はｙ軸方向のみを考慮した場合であるため、これをｘ軸方向、ｙ軸方向の両方向について拡張すると、
Ｓ²＝Σ{Ｐｘ・Δｘ＋Ｐｙ・Δｙ−（Ｚ２−Ｚ１）}² ・・・（７）
を最小とするΔｘ，Δｙを最小自乗法により求めれば良いこととなる。こうして求められたΔｘ，Δｙが並進ずれ量ｕ，ｖに相当する。

以上は、フレーム画像間において、単に並進ずれのみがある場合についての計算であるが、加えて、回転ずれ量δを考慮したずれ量の算出方法について説明する。図１４は、画素の回転ずれ量を模式的に示す説明図である。図示するように、基準フレーム画像Ｆｒのある座標（ｘ，ｙ）の原点Ｏからの距離をｒ、ｘ軸からの回転角度をθとすると、ｒ、θは以下の一般式により求められる。
ｒ＝（ｘ²＋ｙ²）^1/2 ・・・（８）
θ＝tan^-1（ｘ／ｙ） ・・・（９）

ここで、並進ずれが補正されているものとして、基準フレーム画像Ｆｒと対象フレーム画像Ｆｔとの原点Ｏを合わせ、原点Ｏを中心に、対象フレーム画像Ｆｔの座標（ｘ１，ｙ１）を角度δだけ回転させたときに、対象フレーム画像Ｆｔの座標（ｘ２，ｙ２）と一致するものとする。この回転によるｘ軸方向の移動量Δｘとｙ軸方向の移動量Δｙは、以下の式により求められる。なお、回転ずれ量δは微小量であるとして、cosδ≒１、sinδ≒δの近似式を用いている。
Δｘ＝ｘ２−ｘ１≒−ｒ・δ・sinδ＝−δ・ｙ１ ・・・（１０）
Δｙ＝ｙ２−ｙ１≒ｒ・δ・cosδ＝δ・ｘ１ ・・・（１１）

そこで、上記式（７）における、Δｘ，Δｙを、並進ずれ量ｕ，ｖに回転ずれ量δを加味して表すと、以下の式となる。
Δｘ＝ｕ−δ・ｙ１ ・・・（１２）
Δｙ＝ｖ＋δ・ｘ１ ・・・（１３）
これらを上記式（７）に代入すると、以下の一般式が得られる。
Ｓ²＝Σ{Ｐｘ・（ｕ−δ・ｙ）＋Ｐｙ・（ｖ＋δ・ｘ）−（Ｚ２−Ｚ１）}² ・・・（１４）

すなわち、上記式（１４）のＳ²を最小とするｕ，ｖ，δを最小自乗法によって求めることにより、フレーム画像間の１画素未満のずれ量を精度良く検出することができる。

こうしたずれ量の検出に先立って、並進ずれ量（ｕ，ｖ）のみについて画素単位での大雑把なずれ量の検出を実行している。フレーム画像間の並進ずれ量（ｕ，ｖ）を大雑把に検出し、補正しておくことで、さらに精度の良いずれ量の検出値を得ることができる。こうした並進ずれ量（ｕ，ｖ）の検出手段として、パターンマッチ法を用いている。

図１５は、パターンマッチ法により並進ずれ量（ｕ，ｖ）を検出する様子を示す模式図である。図１５の上段に示すように、基準フレーム画像Ｆｒの各画素の輝度をＺ１（ｘ１ｉ，ｙ１ｉ）、対象フレーム画像Ｆｔにおける同じ位置の画素の輝度をＺ２（ｘ２ｉ，ｙ２ｉ）と表わす。まず、基準フレーム画像Ｆｒの画素（ｘ１ｉ，ｙ１ｉ）を対象フレーム画像Ｆｔの画素（ｘ２ｉ，ｙ２ｉ）に対応させる場合を基準(パターンマッチの初期値)とし、この基準と、基準フレーム画像Ｆｒの画素（ｘ１ｉ，ｙ１ｉ）を対象フレーム画像Ｆｔの画素（ｘ２ｉ＋１，ｙ２ｉ）、（ｘ２ｉ−１，ｙ２ｉ）、（ｘ２ｉ，ｙ２ｉ＋１）、（ｘ２ｉ，ｙ２ｉ−１）に対応させる場合（４方向の場合）とにおいて、以下の値Ｌが最も小さくなる位置を求める。
Ｌ＝｜Ｚ２ｉ−Ｚ１ｉ｜ ・・・（１５）
または、
Ｌ＝（Ｚ２ｉ−Ｚ１ｉ）² ・・・（１６）

例えば、初期値および４方向のそれぞれを比較し、対象フレーム画像Ｆｔの画素（ｘ２ｉ−１，ｙ２ｉ）の値Ｌが最小となる場合には、基準フレーム画像Ｆｒの画素（ｘ１ｉ，ｙ１ｉ）を対象フレーム画像Ｆｔの画素（ｘ２ｉ−１，ｙ２ｉ）に対応させる場合を基準とし、この基準と、その周囲４方向に該当する対象フレーム画像Ｆｔの画素（ｘ２ｉ，ｙ２ｉ）、（ｘ２ｉ−２，ｙ２ｉ）、（ｘ２ｉ−１，ｙ２ｉ＋１）、（ｘ２ｉ−１，ｙ２ｉ−１）に対応させる場合とにおいて、値Ｌが最も小さくなる位置を求める。このように、値Ｌが最小となる対象フレーム画像Ｆｔの画素の探索を繰り返し行う。

例えば、対象フレーム画像Ｆｔの画素（ｘ２ｉ−３，ｙ２ｉ−１）に対応する場合まで探索を繰り返した結果、周囲４方向に比較して、探索の基準の画素（ｘ２ｉ−３，ｙ２ｉ−１）の値Ｌが最小となるとき、探索をここで終了する。この探索終了時の（３，１）が対象フレーム画像Ｆｔの並進ずれ量となる。

以上のパターンマッチ法による画素単位の並進ずれ量（ｕ，ｖ）の検出には、フレーム画像をある大きさのブロックに分割し、ブロック単位でのマッチングから概略の並進ずれを把握した上で画素単位のマッチングを行なう段階的な手法を用いるものとしても良いし、また、探索方向は、基準の画素の周囲８方向であっても良い。

こうした並進ずれ量探索では、初期値の設定が処理時間を左右する。つまり、１画素単位にずらして比較演算を行ない次に進む方向を決定するため、最終的に到達する値（最終値）に対して、最も遠い位置から探索を開始する場合と、最終値の近傍から探索を開始する場合とでは、探索回数が大きく異なる。本実施例では、処理演算時間に与える影響が大きい並進ずれ量探索の初期値に、上述の動きベクトルを利用する。こうすることで、探索回数を低減し、探索処理の時間を低減することがきる。

Ｂ．第２実施例：
第２実施例の画像処理では、図３に示した第１実施例の画像処理と同様、複数枚のフレーム画像から一の高解像度の静止画像を生成するが、第１実施例とは異なり、画像処理に有効なフレーム画像を選択する。つまり、図３のステップＳ３１０に示した基準フレーム画像，対象フレーム画像の取得処理に代えて、以下に説明するフレーム画像選択処理を実行する。なお、第２実施例の画像処理システムのハード構成については、第１実施例と同様であるため、符号を同一とし、説明を省略する。

Ｂ１．フレーム画像選択処理：
図１６は、画像処理に有効な基準フレーム画像Ｆｒと対象フレーム画像Ｆｔとを選択するフレーム画像選択処理のフローチャートである。この処理は、図３に示した処理と同様、ユーザが選択したフレーム画像について、高解像度化処理の実行を指示することでパーソナルコンピュータ３０にて実行される。

処理が開始されると、パーソナルコンピュータ３０は、ユーザが選択したフレーム画像の画像タイプを判断する（ステップＳ８００）。第１実施例では、ユーザが選択したフレーム画像を基本フレーム画像Ｆｒとして設定したが、ここではユーザが選択したものを選択フレーム画像Ｆｓと設定する。パーソナルコンピュータ３０は、選択フレーム画像Ｆｓの画像タイプ、すなわち、Ｉ，Ｐ，Ｂピクチャのいずれに該当するかを判断している。画像タイプ（ピクチャ種別）は、ヘッダ部分から容易に読取ることができる。

ステップＳ８００で、選択フレーム画像ＦｓがＩ，Ｐピクチャのいずれかである場合には、そのまま選択フレーム画像Ｆｓを基準フレーム画像Ｆｒとして設定する（ステップＳ８１０）。

他方、ステップＳ８００で、選択フレーム画像ＦｓがＢピクチャである場合には、選択フレーム画像Ｆｓの置き換え処理を実行する（ステップＳ８１５）。この処理は、ユーザが選択したフレーム画像（Ｂピクチャ）に対して最も時系列的に近いＩピクチャまたはＰピクチャを抽出し、選択フレーム画像Ｆｓとして設定する処理である。こうして決定された選択フレーム画像Ｆｓを基準フレーム画像Ｆｒとして設定する。

ここまでの処理では、ユーザが選択したフレーム画像に基づいて、常にＩピクチャまたはＰピクチャを基準フレーム画像Ｆｒとして設定する。図７に示した動きベクトルが利用できる組み合わせからも分かるように、Ｉピクチャ，Ｐピクチャは他のピクチャとの参照関係が高いピクチャである。こうした種別のピクチャを基準フレーム画像Ｆｒに用いることで、動きベクトルを有効に利用できる範囲を広げることができる。

ここでの処理では、Ｐピクチャに加え、Ｉピクチャも基準フレーム画像Ｆｒとなることがあるが、参照関係が最も高いＰピクチャのみを常に基準フレーム画像Ｆｒとするものとしても良い。

なお、選択フレーム画像Ｆｓの置き換え処理の際に、ユーザが選択したＢピクチャの属するＧＯＰの範囲内から、Ｉ，Ｐピクチャを抽出するように制限を設けることが好ましい。ＭＰＥＧ形式ではＧＯＰ単位でデータを取扱うため、ＧＯＰ間をまたぐピクチャ同士には参照関係がないことがあり得るからである。

図１６に戻り、パーソナルコンピュータ３０は、対象フレーム画像Ｆｔの候補となる候補フレーム画像Ｆｋを抽出する（ステップＳ８２０）。具体的には、図７を参照して、設定された基準フレーム画像Ｆｒのピクチャ種別に対して有効な組み合わせに該当するピクチャを抽出している。例えば、ステップＳ８１０で設定された基準フレーム画像ＦｒがＩ１ピクチャである場合には、Ｂ２，Ｂ３，Ｐ４ピクチャを候補フレーム画像Ｆｋとして抽出し、基準フレーム画像ＦｒがＰ４ピクチャである場合には、Ｉ１，Ｂ２，Ｂ３，Ｂ５，Ｂ６，Ｐ７ピクチャを候補フレーム画像Ｆｋとして抽出する。

続いて、抽出した候補フレーム画像Ｆｋについて、有効マクロブロック数ｎを算出する（ステップＳ８３０）。例えば、基準フレーム画像ＦｒがＩ１ピクチャである場合には、候補フレーム画像ＦｋであるＢ２，Ｂ３，Ｐ４ピクチャのそれぞれについて、Ｉ１ピクチャに対する動きベクトルを有する有効マクロブロック数ｎを求める。同様に、基準フレーム画像ＦｒがＰ４ピクチャである場合には、候補フレーム画像ＦｋであるＩ１，Ｂ２，Ｂ３，Ｂ５，Ｂ６，Ｐ７ピクチャのそれぞれについて、Ｐ４ピクチャに対する有効マクロブロック数ｎを求める。この場合、Ｉ１ピクチャ自体は動きベクトルを持っていないが、先に述べたように、Ｐ４ピクチャが有する有効マクロブロックより仮想的な有効マクロブロックを備えているとして、有効マクロブロック数ｎを算出する。

図１７は、候補フレーム画像Ｆｋと有効マクロブロック数ｎとの一例を示す説明図である。図１７は、基準フレーク画像ＦｒがＰ４ピクチャである場合の候補フレームが画像Ｆｋを示している。例えば、フレーム画像が６４０×４８０画素のサイズである場合、１フレーム画像中に、１６×１６画素のマクロブロックが１２００個存在する。図示するように、１２００個のマクロブロックのうち、Ｉ１ピクチャであれば６００個の有効マクロブロックが存在する。

こうして求めた有効マクロブロック数ｎを比較して、有効マクロブロック数ｎの多いものから優先順位を付ける（ステップＳ８４０）。図１７の例では、上位から、Ｉ１，Ｐ７，Ｂ５，Ｂ３，Ｂ２，Ｂ６ピクチャの順序となる。

続いて、必要とする対象フレーム画像Ｆｔの数に合わせて、高順位の候補フレーム画像Ｆｋから順に、対象フレーム画像Ｆｔとして設定する（ステップＳ８５０）。本実施例では対象フレーム画像Ｆｔを３枚と設定しているため、図１７の例では、Ｉ１，Ｐ７，Ｂ５ピクチャの３枚が対象フレーム画像Ｆｔとして設定される。こうして動きベクトルを有効に利用できる基準フレーム画像Ｆｒ，対象フレーム画像Ｆｔを設定し、ＮＥＸＴに抜けて、一連の処理を終了する。基準フレーム画像Ｆｒ，対象フレーム画像Ｆｔの設定の後は、図３に示したステップＳ３２０以降の処理を経て、高解像度の静止画像を生成する。

第２実施例の画像処理、特にフレーム画像選択処理によれば、画像処理の対象を、動きベクトルが有効に利用できる範囲から抽出する。したがって、並進ずれ量探索の有効な初期値を与え、計算量、計算時間の低減を確実に行なうことができる。

第２実施例では、基準フレーム画像Ｆｒの選定と、対象フレーム画像Ｆｔの選定とを一つの処理としたが、それぞれ独立に実行するものとすることができる。例えば、基準フレーム画像Ｆｒをここに説明した処理により選定し、対象フレーム画像Ｆｔは基準フレーム画像Ｆｒから時系列に連続する３枚としても良い。また、基準フレーク画像Ｆｒは、ユーザが選択したものとし、対象フレーム画像Ｆｔをこの処理により選定するものとしても良い。

Ｃ．変形例：
本実施例では、図７に示した組み合わせから有効な組み合わせでないと判断した場合には、並進ずれ量探索の初期値としてゼロを設定したが、有効な組み合わせでない場合であっても、以下の手順により、動きベクトルを利用することができる。

例えば、基準フレーム画像ＦｒがＢ２ピクチャで、対象フレーム画像ＦｔがＢ３ピクチャである場合には、図７によれば有効な組み合わせとはならない。この場合、Ｂ２ピクチャとＢ３ピクチャとの生成の元となる共通のピクチャとしてＩ１ピクチャに着目する（図５参照）。

基準フレーム画像ＦｒがＩ１ピクチャで、対象フレーム画像ＦｔがＢ２ピクチャであると想定し、例えば有効マクロブロック内の動きベクトルの平均値（ｕｂ２，ｖｂ２）を求める。続いて、基準フレーム画像ＦｒがＩ１ピクチャで、対象フレーム画像ＦｔがＢ３ピクチャであると想定し、同様に有効マクロブロック内の動きベクトルの平均値（ｕｂ３，ｖｂ３）を求める。

こうして求めた動きベクトルの平均値の差分、つまり（ｕｂ３−ｕｂ２，ｖｂ３−ｖｂ２）を、基準フレーム画像ＦｒがＢ２ピクチャで、対象フレーム画像ＦｔがＢ３ピクチャである場合の並進ずれ量探索の初期値とすれば良い。

また、例えば、基準フレーム画像ＦｒがＢ３ピクチャで、対象フレーム画像ＦｔがＢ５ピクチャである場合には、共通のピクチャとしてＰ４ピクチャに着目する。基準フレーム画像ＦｒがＰ４ピクチャで、対象フレーム画像ＦｔがＢ３ピクチャであると想定し、例えば有効マクロブロック内の動きベクトルの平均値（ｕｂ４，ｖｂ４）を求める。続いて、基準フレーム画像ＦｒがＰ４ピクチャで、対象フレーム画像ＦｔがＢ５ピクチャであると想定し、同様に有効マクロブロック内の動きベクトルの平均値（ｕｂ５，ｖｂ５）を求める。

先の例と同様に、平均値の差分を求めるものとすれば良いが、Ｂ３ピクチャはＰ４ピクチャからの逆方向の動き補償予測を用いているため符号を反転して差分を求める。すなわち、（ｕｂ５＋ｕｂ４，ｖｂ５＋ｖｂ４）を、基準フレーム画像ＦｒがＢ３ピクチャで、対象フレーム画像ＦｔがＢ５ピクチャである場合の並進ずれ量探索の初期値とすれば良い。

図７に示した組み合わせにおいて、直接的には参照関係のある動きベクトルを備えていない組み合わせに該当するピクチャ同士を選択しても、選択したピクチャ同士に共通の参照関係のあるピクチャ選定し、それを用いることで、間接的にピクチャ間の動きベクトルを算出することができる。つまり、直接的に参照関係のない組み合わせでも、間接的に参照関係のある組み合わせであると判断することができ、間接的に有効マクロブロックを擬制して動きベクトルを算出できる。こうした手順を踏まえることで、ＭＰＥＧ形式の動画像データが持つ動きベクトルを有効に活用することができる。

本実施例では、ＭＰＥＧ形式の動画像データが持つ動きベクトルの平均値を並進ずれ量探索の初期値として利用するものとしたが、平均値を並進ずれ量（ｕ，ｖ）そのものとして、画像処理に用いるものとしても良い。動きベクトルの平均値による並進ずれ量（ｕ，ｖ）の精度が画像処理において許容できる範囲内であれば、その平均値を並進ずれ量（ｕ，ｖ）として用いることで、並進ずれに関する探索処理自体を省略することができ、処理時間を大幅に短縮することができる。

以上、本発明の実施の形態について説明したが、本発明はこうした実施の形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内において様々な形態で実施し得ることはもちろんである。本実施例では、画像処理のプログラムをインストールしたパーソナルコンピュータを画像処理装置として説明したが、例えば、プリンタ，デジタルビデオカメラなど種々の機器に画像処理機能を備え、本発明の画像処理装置とするものであっても良い。

本発明の第１実施例としての画像処理システムを示す説明図である。 第１実施例の画像処理の構成を示す説明図である。 第１実施例としての画像処理のフローチャートである。 フレーム画像間における並進ずれと回転ずれとの補正を示す概念図である。 ＭＰＥＧ形式のデータ構造を示す説明図である。 並進ずれ量探索の初期値設定処理のフローチャートである。 並進ずれ量検出において動きベクトルが利用できる組み合わせを示した説明図である。 Ｐ４ピクチャの一部を示す模式図である。 Ｐ４ピクチャのマクロブロック内の動きベクトル値を示す説明図である。 基準フレーム画像と対象フレーム画像との並進ずれの概念図である。 Ｂ２ピクチャの一部を示す模式図である。 Ｂ２ピクチャのマクロブロック内の動きベクトル値を示す説明図である。 勾配法による並進ずれ量の算出方法を示す説明図である。 画素の回転ずれ量を模式的に示す説明図である。 パターンマッチ法により並進ずれ量を検出する様子を示す模式図である。 基準フレーム画像と対象フレーム画像とを選択するフレーム画像選択処理のフローチャートである。 候補フレーム画像と有効マクロブロック数との一例を示す説明図である。

符号の説明

２０...画像データベース
２１...デジタルビデオカメラ
２３...ＤＶＤ
２４...ハードディスク
３０...パーソナルコンピュータ
３１...ＣＰＵ
３２...ＲＯＭ
３３...ＲＡＭ
３４...ハードディスク
３５...Ｉ／Ｆ回路部
４０...ユーザインターフェース
４１...キーボード
４２...マウス
４３...ディスプレイ
５０...カラープリンタ
１００...画像処理システム

Claims (13)

1. 画像間の動きのベクトル情報を用いた所定の符号化方法により圧縮された動画像データを、動画像を構成する複数の静止画像としてのフレーム画像に復号し、該復号されたフレーム画像から所定数のフレーム画像を抽出し、当該所定数のフレーム画像を合成して一の静止画像を生成する画像処理装置であって、
   前記フレーム画像の合成に先立って、該フレーム画像間のずれ量を補正するずれ量補正手段を備え、
   該ずれ量補正手段は、
   前記フレーム画像に対応する前記動きのベクトル情報を抽出し、該動きのベクトル情報を参照して前記ずれ量の補正を実行する画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記ずれ量補正手段は、所定の探索方法を用いて前記抽出されたフレーム画像間のずれ量を検出し、該ずれ量の補正を実行する手段であり、前記動きのベクトル情報から求めた所定値を該探索における初期値として使用する画像処理装置。
3. 請求項１に記載の画像処理装置であって、
   前記ずれ量補正手段は、前記動きのベクトル情報から求めた所定値を前記フレーム画像間の並進方向のずれ量として設定し、該ずれ量の補正を実行する画像処理装置。
4. 請求項１ないし３のいずれかに記載の画像処理装置であって、
   所定の符号化方法による動画像データは、ピクチャ構造を有する形式ＭＰＥＧ規格またはＨ．２６ｘ規格に準拠して符号化された動画像データであり、
   前記動きのベクトル情報は、前記動画像データの各種ピクチャを構成する複数のマクロブロック内に備えられた動きベクトルである画像処理装置。
5. 請求項４に記載の画像処理装置であって、更に、
   前記抽出した所定数のフレーム画像のピクチャ種別を判別し、該判別結果に基づいて、前記ずれ量の検出において動きベクトルを利用できるか否かを判断する判断手段を備えた画像処理装置。
6. 請求項５に記載の画像処理装置であって、
   前記ずれ量補正手段は、前記動きベクトルを利用できると判断した場合には、前記ずれ量の検出の対象となる前記フレーム画像を構成する複数のマクロブロックから、該ずれ量の検出の基準となる該フレーム画像と参照関係を有する有効マクロブロックを選出し、該有効マクロブロック内の動きベクトルの平均値、または最多頻度値を前記動きのベクトル情報から求めた所定値として設定する手段を備えた画像処理装置。
7. 請求項４ないし６のいずれかに記載の画像処理装置であって、
   前記所定数のフレーム画像の抽出に際し、前記合成における基準のフレーム画像の候補として選択された一のフレーム画像のピクチャ種別を判別し、該判別結果に基づいて、該選択された一のフレーム画像を当該基準のフレーム画像とするか否かを決定するフレーム決定手段を備えた画像処理装置。
8. 請求項７に記載の画像処理装置であって、
   前記フレーム決定手段は、前記選択された一のフレーム画像のピクチャ種別がＩピクチャまたはＢピクチャである場合には、時系列順に配置される当該ピクチャの近傍に位置するＰピクチャのフレーム画像を抽出し、該抽出したフレーム画像を当該基準のフレーム画像として決定する画像処理装置。
9. 請求項７に記載の画像処理装置であって、
   前記フレーム決定手段は、前記選択された一のフレーム画像のピクチャ種別がＩピクチャまたはＰピクチャである場合には、当該フレーム画像を前記基準のフレーム画像として決定し、該選択された一のフレーム画像のピクチャ種別がＢピクチャである場合には、時系列順に配置される当該Ｂピクチャの近傍に位置するＩピクチャまたはＰピクチャのフレーム画像を抽出し、該抽出したフレーム画像を該基準のフレーム画像として決定する画像処理装置。
10. 請求項７ないし９のいずれかに記載の画像処理装置であって、
    前記フレーム決定手段は、前記基準のフレーム画像に対して前記ずれ量を検出する対象となるフレーム画像の決定に際し、該基準のフレーム画像に対する前記有効マクロブロック数の多いピクチャであるフレーム画像を優先的に選択し、該対象のフレーム画像として決定する画像処理装置。
11. 画像間の動きのベクトル情報を用いた所定の符号化方法により圧縮された動画像データから得られる所定数のフレーム画像を合成して、一の静止画像を生成する画像処理方法であって、
    前記符号化された動画像データを、動画像を構成する複数の静止画像としてのフレーム画像に復号し、
    前記復号されたフレーム画像から所定数のフレーム画像を抽出し、
    前記フレーム画像に対応する前記動きのベクトル情報を抽出し、
    前記動きのベクトル情報を参照して、前記フレーム画像間のずれ量を補正し、
    前記補正したフレーム画像を用いて合成し、前記一の静止画像を生成する
    画像処理方法。
12. 画像間の動きのベクトル情報を用いた所定の符号化方法により圧縮された動画像データから得られる所定数のフレーム画像を合成して、一の静止画像を生成する画像処理装置を制御するコンピュータプログラムであって、
    前記符号化された動画像データを、動画像を構成する複数の静止画像としてのフレーム画像に復号する機能と、
    前記復号されたフレーム画像から所定数のフレーム画像を抽出する機能と、
    前記フレーム画像に対応する前記動きのベクトル情報を抽出する機能と、
    前記動きのベクトル情報を参照して、前記フレーム画像間のずれ量を補正する機能と、
    前記補正したフレーム画像を用いて合成し、前記一の静止画像を生成する機能と
    をコンピュータに実現させるコンピュータプログラム。
13. 請求項１２に記載のコンピュータプログラムをコンピュータに読み取り可能に記録した記録媒体。

Images