JP4419499B2 - 画像生成装置、画像ずれ量検出装置、画像生成方法、画像ずれ量検出方法、画像生成プログラムおよび画像ずれ量検出プログラム - Google Patents

Description

本発明は、多数のフレーム情報からなる映像情報から画像データを生成可能な画像生成装置、画像ずれ量検出装置、画像生成方法、画像ずれ量検出方法、画像生成プログラムおよび画像ずれ量検出プログラムに関する。

従来、デジタルビデオ等で撮影した映像を表す映像情報から静止画像を表す画像データを生成し、この画像データに基づいて静止画像を印刷することが行われている。映像情報は画像を多数の画素別の階調データで表現した多数のフレーム情報から構成されており、同映像情報から複数のフレーム情報を取得して合成することにより静止画像を多数の画素で階調表現する画像データが生成される。デジタルビデオ等で撮影した映像には手ぶれが生じていることがあるため、複数のフレーム情報で表現される画像間の横方向と縦方向のずれを画素単位で検出し、基準とする画像に対して重ね合わせる画像を横方向にＮｘ画素、縦方向にＮｙ画素（Ｎｘ，Ｎｙは正の整数）並進（平行移動）させ、縦方向と横方向のずれを少なくさせている。
また、特許文献１には、標準解像度の画像から高解像度の画像への解像度変換の際に、高解像度の画像用のメモリを用意しておき、画像の動きを検出し、画像の動きに応じて平行移動させた複数の標準解像度の画像の画素で高解像度の画像の各画素を埋めていくことが開示されている。

特開平１１−１６４２６４号公報

手ぶれには横方向や縦方向に並進したずれのみならず、傾き成分も含まれている。このため、上述した従来の技術では、手ぶれは十分に補正されていなかった。そこで、さらに手ぶれを十分に補正して、映像情報の複数のフレーム情報から高画質の静止画像を得たいという希望があった。

本発明は、上記課題にかんがみてなされたもので、映像情報の複数のフレーム情報から高画質の静止画像を得ることが可能な画像生成装置、画像ずれ量検出装置、画像生成方法、画像ずれ量検出方法、画像生成プログラムおよび画像ずれ量検出プログラムの提供を目的とする。

上記目的を達成するため、請求項１にかかる発明では、フレーム取得手段が映像情報から複数のフレーム情報を取得する。ずれ量取得手段は、フレーム取得手段にて取得された複数のフレーム情報に基づいて、同複数のフレーム情報で表現される画像間の回転ずれを表す回転量情報を取得する。変換手段は、ずれ量取得手段にて取得された回転量情報に基づいて、複数のフレーム情報で表現される各画像の少なくとも一つを回転させて画像間の回転ずれを少なくするように同複数のフレーム情報の少なくとも一つを変換する変換処理を行う。すると、合成手段は、変換手段にて変換処理が行われた複数のフレーム情報を合成して、画像を多数の画素で階調表現する画像データを生成する。

すなわち、画像を階調表現する画像データは、複数のフレーム情報で表現される複数の画像間の回転ずれが少なくされて同複数のフレーム情報から合成されて生成されているので、回転成分を含む手ぶれが補正されている。従って、映像情報の複数のフレーム情報から高画質の静止画像を得ることが可能となる。
上記フレーム情報や画像データは、例えば、ビットマップデータ、圧縮されたデータ、等、様々なデータ形式の情報が考えられる。また、同フレーム情報や画像データは、例えば、輝度データ（Ｙ）と色差データ（Ｃｂ，Ｃｒ）とから構成されるＹＣｂＣｒデータ、レッドデータ（Ｒ）とグリーンデータ（Ｇ）とブルーデータ（Ｂ）とから構成されるＲＧＢデータ、シアンデータ（Ｃ）とマゼンタデータ（Ｍ）とイエローデータ（Ｙｅ）とグリーンデータ（Ｇ）とから構成されるＣＭＹｅＧデータ、ＣＩＥ規格とされたＬａｂ空間内のＬａｂデータ、等、様々な種類のデータが考えられる。

上記多数のフレーム情報は、時系列に連続した情報であり、上記フレーム取得手段は、同多数のフレーム情報の中から時系列に連続した複数のフレーム情報を取得してもよい。変化の少ない時系列に連続したフレーム情報が合成されて静止画像を表現する画像データが生成されるので、簡易な構成で高画質の静止画像を得ることが可能となる。

上記ずれ量取得手段は、上記複数のフレーム情報に基づいて、同複数のフレーム情報で表現される画像間の並進ずれを表す並進量情報を取得し、上記変換手段は、上記取得された並進量情報に基づいて、上記複数のフレーム情報で表現される各画像の少なくとも一つを並進させて画像間の並進ずれを少なくするように同複数のフレーム情報の少なくとも一つを変換する変換処理を行う構成としてもよい。

すなわち、フレーム情報間の並進ずれ（縦横のずれ）が少なくされるようにフレーム情報が合成されて静止画像が生成される。また、画像を回転させる所定の中心位置の並進ずれを少なくさせることにより、より確実に手ぶれの傾き成分が補正される。従って、さらに高画質の静止画像を得ることが可能となる。
上記変換手段は、上記複数のフレーム情報で表現される各画像の少なくとも一つを回転させたり並進させたりして画像間の回転ずれや並進ずれをなくすように同複数のフレーム情報の少なくとも一つを変換する変換処理を行うと、さらに好適な構成となる。
上記回転量情報や並進量情報や、例えば、数値情報、文字情報、等、様々な情報が考えられる。

上記変換処理の具体例として、上記変換手段は、上記回転量情報と並進量情報に基づいて、上記両画像のずれを少なくするように上記複数のフレーム情報の少なくとも一つの各画素の位置を変換する変換処理を行ってもよい。その際、変換手段は、複数のフレーム情報の少なくとも一つの各画素の位置を当該画素よりも細かい単位で変換してもよい。フレーム情報の各画素の位置変換（座標変換）を高精度にて行うことができるので、さらに高画質の静止画像を得ることが可能となる。

上記ずれ量取得手段は、上記複数のフレーム情報の上記画素の位置および当該画素の階調データに基づいて、最小自乗法により上記画像間の回転ずれと並進ずれを求める演算式を用いて当該回転ずれと並進ずれを求め、上記回転量情報と並進量情報を取得する構成としてもよい。同演算式を用いることにより、高速にて回転ずれと並進ずれを求めることができるので、画像データを生成する処理を高速化させることが可能となる。

上記合成手段は、上記フレーム情報と異なる画素数で上記画像データを生成する構成としてもよい。画像データで表現される画像の画素数を変えることができるので、例えば静止画像の解像度を変えることができ、より思い通りの静止画像を得ることが可能となる。

その際、上記合成手段は、上記画像データを上記フレーム情報よりも多い画素数で生成する構成としてもよい。画像データで表現される画像の画素数が増えるので、例えば高画質とされる静止画像をより高解像度にすることができ、より思い通りの静止画像を得ることが可能となる。
むろん、画像データで表現される画像の画素数がフレーム情報で表現される画像の画素数と同じであっても、静止画像の画素数を変えることができないだけであり、高画質の静止画像を得ることができることに変わりはない。

三以上のフレーム情報から画像データを生成する場合、請求項７にかかる発明のように構成としてもよい。すなわち、ずれ量取得手段にて取得される第一の回転量情報は、時系列順に連続した第一・第二（第一および第二）のフレーム情報で表現される両画像の回転ずれを表す情報である。同ずれ量取得手段にて取得される第二の回転量情報は、時系列順に連続した第二・第三のフレーム情報で表現される両画像の回転ずれを表す情報である。第二のフレーム情報は、変換手段により、第一のフレーム情報で表現される画像との回転ずれが少なくなるように変換される。第三のフレーム情報は、同変換手段により、第一のフレーム情報で表現される画像との回転ずれが少なくなるように変換される。ここで、第一・第三のフレーム情報で表現される画像間の回転ずれよりも第二・第三のフレーム情報で表現される画像間の回転ずれのほうが少ないことが多いので、より高精度にて回転ずれを表す回転量情報を取得することができる。従って、より高画質の画像を得ることが可能となる。

上記合成手段は、上記変換処理が行われた複数のフレーム情報から所定の補間処理を行って上記画像データを生成する構成としてもよい。各画素の画像データが補間されて生成されるので、より高画質の静止画像を得ることが可能となる。

上記合成手段は、上記画像データを生成する注目画素を順次移動させながら、上記複数のフレーム情報の全画素のうち同注目画素の周辺に存在する画素の階調データを用いて上記補間処理を行い、補間処理後の階調データから上記画像データを生成する構成としてもよい。各画素の画像データが周辺に存在する画素の階調データにより補間されて生成されるので、より高画質の静止画像を得ることが可能となる。

ここで、回転ずれ等を少なくさせるようにフレーム情報を変換しなくても、上記構成により静止画像が高画質となる効果は得られる。そこで、請求項１０のように構成としてもよい。すなわち、合成手段は、画像データを生成する注目画素を順次移動させながら、複数のフレーム情報の全画素のうち同注目画素の周辺に存在する画素の階調データを用いて所定の補間処理を行い、補間処理後の階調データから画像データを生成する。各画素の画像データが周辺に存在する画素の階調データにより補間されて生成されるので、高画質の静止画像を得ることが可能となる。
なお、請求項２〜請求項８に記載した構成を請求項１０に記載した構成に対応させることも可能である。

上記合成手段は、上記複数のフレーム情報の全画素のうち上記注目画素に最も近い画素の階調データを用いて上記補間処理を行う構成としてもよい。試験を行ったところ、画像中のエッジ部分にジャギー（ギザギザ状の模様）が入らなくなった。従って、同構成により、より高画質の静止画像を得ることが可能となる。

その際、上記合成手段は、上記複数のフレーム情報のうち上記注目画素に最も近い画素を含むフレーム情報を用いて上記補間処理を行う構成としてもよい。簡易な構成で映像情報の複数のフレーム情報から高画質の静止画像を得ることが可能となる。特に、個々のフレームの動き推定の精度が良好であるときに、高精細な高解像度画像を得ることが可能となる。

また、上記合成手段は、上記複数のフレーム情報のうち上記注目画素を基準とした所定の範囲内の画素を含むフレーム情報を用いて上記補間処理を行う構成としてもよい。すると、個々のフレームの動き推定の精度が良好でないときに、画像のずれを目立たせなくさせて静止画像を高画質化させることが可能となる。

ここで、上記合成手段は、上記複数のフレーム情報のうち上記注目画素を基準とした所定の範囲内の画素を含むフレーム情報を用いて当該フレーム情報別に上記補間処理を行い、当該補間処理後の各階調データをまとめて上記画像データを生成してもよい。簡易な構成で、個々のフレームの動き推定の精度が良好でないときに静止画像を高画質化させることが可能となる。階調データをまとめる際、階調データを平均してもよい。
なお、補間処理後の各階調データを平均する構成は、例えば、相加平均、相乗平均、調和平均（階調データの逆数の相加平均の逆数）、各階調データに異なる重みを付けた平均、等、様々考えられる。

さらに、上記合成手段は、上記注目画素を基準とした所定の範囲内に上記フレーム情報の画素が存在しないとき、上記複数のフレーム情報のうちのいずれかのフレーム情報を用いて上記補間処理を行ってもよい。すると、確実に画像データを生成することが可能となる。
なお、請求項１２、請求項１３に記載した両発明を併用して補間処理を行ってもよい。

また、上記合成手段は、上記複数のフレーム情報のそれぞれについて上記補間処理を行い、当該補間処理後の各階調データをまとめることにより上記画像データを生成する構成としてもよい。フレーム毎に格子状に画素が存在するため、バイ・キュービック法等の精度の良好な補間処理を利用して、高画質の静止画像を得ることが可能となる。
ここで、各階調データをまとめる構成は、例えば、相加平均、相乗平均、調和平均、各階調データに異なる重みを付けた平均、総和、等、様々考えられる。

ところで、本発明は、請求項１５に記載した画像ずれ量検出装置にも適用可能である。すなわち、ずれ量取得手段は、フレーム取得手段にて取得された複数のフレーム情報に基づいて、同複数のフレーム情報で表現される画像間の回転ずれを表す回転量を検出する。従って、検出された回転量を用いて複数のフレーム情報を合成すれば、映像情報の複数のフレーム情報から高画質の静止画像を得ることが可能となる。
なお、請求項２〜請求項９、請求項１１〜請求項１４に記載した構成を請求項１５に記載した構成に対応させることも可能である。

上述した画像生成装置や画像ずれ量検出装置は、単独で実施される場合もあるし、ある機器に組み込まれた状態で他の方法とともに実施されることもあるなど、発明の思想としては各種の態様を含むものであって、適宜、変更可能である。
また、所定の手順に従って上述した手段に対応した処理を行う方法にも発明は存在する。従って、本発明は画像生成装置や画像ずれ量検出装置の制御方法としても適用可能であり、請求項１６〜請求項１８にかかる発明においても、基本的には同様の作用となる。
さらに、生成した画像データに基づいて印刷を行う印刷装置に対して印刷制御を行う印刷制御装置としても適用可能であるし、同印刷制御装置と印刷装置を備える印刷システムとしても適用可能であり、基本的には同様の作用となる。

本発明を実施しようとする際に、上記装置にて所定のプログラムを実行させる場合もある。そこで、画像生成装置や画像ずれ量検出装置の制御プログラムとしても適用可能であり、請求項１９〜請求項２１にかかる発明においても、基本的には同様の作用となる。さらに、同プログラムを記録した媒体が流通し、同記録媒体からプログラムを適宜コンピュータに読み込むことが考えられる。すなわち、そのプログラムを記録したコンピュータ読み取り可能な記録媒体としても適用可能であり、基本的には同様の作用となる。
むろん、請求項２〜請求項９、請求項１１〜請求項１４に記載した構成を上記方法、印刷制御装置、印刷システム、プログラム、プログラムを記録した媒体に対応させることも可能である。
ここで、上記記録媒体は、磁気記録媒体や光磁気記録媒体の他、今後開発されるいかなる記録媒体であってもよい。一次複製品、二次複製品などの複製段階も問わない。一部がハードウェアで実現される場合や、一部を記録媒体上に記録しておいて必要に応じて適宜読み込む場合も本発明の思想に含まれる。

以下、下記の順序に従って本発明の実施形態を説明する。
（１）印刷システムの構成：
（２）画像生成装置および画像ずれ量検出装置の構成の概略：
（３）カメラモーションの推定：
（４）画像生成装置および画像ずれ量検出装置が行う処理：
（４−１）合成範囲の切り出し：
（４−２）並進補正量と回転補正量の検出：
（４−３）フレーム画像のずれ補正：
（４−４）フレーム画像の合成−その１：
（４−５）フレーム画像の合成−その２：
（４−６）フレーム画像の合成−その３：
（５）変形例：

（１）印刷システムの構成：
図１は、本発明の一実施形態である印刷システム１００の概略構成を示している。本システム１００は、パーソナルコンピュータ（ＰＣ）１０、印刷装置であるカラー印刷可能なインクジェットプリンタ２０等から構成されている。なお、ＰＣ１０は、映像情報の複数のフレーム情報から静止画像を表現する画像データを生成する意味で本発明にいう画像生成装置となり、同複数のフレーム情報から画像間の回転ずれを表す回転量を検出する意味で本発明にいう画像ずれ量検出装置となる。また、画像データを生成して対応する静止画像をプリンタ２０に印刷させる意味で印刷制御装置となる。
ＰＣ１０は演算処理の中枢をなすＣＰＵ１１を備えており、このＣＰＵ１１はシステムバス１０ａを介してＰＣ１０全体の制御を行う。同バス１０ａには、ＲＯＭ１２、ＲＡＭ１３、ＤＶＤ−ＲＯＭドライブ１５、１３９４用Ｉ／Ｏ１７ａ、各種インターフェイス（Ｉ／Ｆ）１７ｂ〜ｅ等が接続されている。また、ハードディスクドライブを介してハードディスク（ＨＤ）１４も接続されている。本実施形態のコンピュータにはデスクトップ型ＰＣを採用しているが、コンピュータとしては一般的な構成を有するものを採用可能である。

ＨＤ１４には、オペレーティングシステム（ＯＳ）や画像情報等を作成可能なアプリケーションプログラム（ＡＰＬ）等が格納されている。実行時には、ＣＰＵ１１がこれらのソフトウェアを適宜ＲＡＭ１３に転送し、ＲＡＭ１３を一時的なワークエリアとして適宜アクセスしながらプログラムを実行する。
１３９４用Ｉ／Ｏ１７ａは、ＩＥＥＥ１３９４規格に準拠したＩ／Ｏであり、デジタルビデオカメラ３０等が接続されるようになっている。同ビデオカメラ３０は、映像情報を生成してＰＣ１０に出力可能である。ＣＲＴＩ／Ｆ１７ｂにはフレーム情報や画像データに基づく画像を表示するディスプレイ１８ａが接続され、入力Ｉ／Ｆ１７ｃにはキーボード１８ｂやマウス１８ｃが操作用入力機器として接続されている。また、プリンタＩ／Ｆ１７ｅには、パラレルＩ／Ｆケーブルを介してプリンタ２０が接続されている。むろん、ＵＳＢケーブル等を介してプリンタ２０を接続する構成としてもよい。

プリンタ２０は、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙｅ（イエロー）、Ｋ（ブラック）のインクを使用して、印刷用紙（印刷媒体）に対して画像データを構成する階調値に対応したインク量となるようにインクを吐出し、画像を印刷する。
むろん、４色以外のインクを使用するプリンタを採用してもよい。また、インク通路内に泡を発生させてインクを吐出するバブル方式のプリンタや、レーザープリンタ等、種々の印刷装置を採用可能である。
図２に示すように、プリンタ２０では、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、通信Ｉ／Ｏ２４、コントロールＩＣ２５、ＡＳＩＣ２６、Ｉ／Ｆ２７、等がバス２０ａを介して接続されている。通信Ｉ／Ｏ２４はＰＣ１０のプリンタＩ／Ｆ１７ｅと接続されており、プリンタ２０は通信Ｉ／Ｏ２４を介してＰＣ１０から送信されるＣＭＹｅＫに変換されたデータやページ記述言語等からなる印刷ジョブを受信する。ＡＳＩＣ２６は、ＣＰＵ２１と所定の信号を送受信しつつヘッド駆動部２６ａに対してＣＭＹｅＫデータに基づく印加電圧データを出力する。同ヘッド駆動部２６ａは、同印加電圧データに基づいて印刷ヘッドに内蔵されたピエゾ素子への印加電圧パターンを生成し、印刷ヘッドにＣＭＹｅＫのインクを吐出させる。Ｉ／Ｆ２７に接続されたキャリッジ機構２７ａや紙送り機構２７ｂは、印刷ヘッドを主走査させたり、適宜改ページ動作を行いながらメディアを順次送り出して副走査を行ったりする。そして、ＣＰＵ２１が、ＲＡＭ２３をワークエリアとして利用しながらＲＯＭ２２に書き込まれたプログラムに従って各部を制御する。

ＰＣ１０では、以上のハードウェアを基礎としてバイオスが実行され、その上層にてＯＳとＡＰＬとが実行される。ＯＳには、プリンタＩ／Ｆ１７ｅを制御するプリンタドライバ等の各種のドライバ類が組み込まれ、ハードウェアの制御を実行する。プリンタドライバは、プリンタＩ／Ｆ１７ｅを介してプリンタ２０と双方向の通信を行うことが可能であり、ＡＰＬから画像データを受け取って印刷ジョブを作成し、プリンタ２０に送出する。本発明の画像生成プログラムおよび画像ずれ量検出プログラムは、ＡＰＬから構成されるが、プリンタドライバにより構成されてもよい。また、ＨＤ１４は同プログラムを記録した媒体であるが、同媒体は、例えば、ＤＶＤ−ＲＯＭ１５ａ、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク、不揮発性メモリ、パンチカード、バーコード等の符号が印刷された印刷媒体、等であってもよい。むろん、通信Ｉ／Ｆ１７ｄからインターネット網を介して所定のサーバに格納された上記の制御プログラムをダウンロードして実行させることも可能である。
そして、上記ハードウェアと上記プログラムとが協働して画像生成装置および画像ずれ量検出装置を構築する。

（２）画像生成装置および画像ずれ量検出装置の構成の概略：
図３は、上記画像生成装置の構成の概略を模式的に示している。ＰＣを画像生成装置Ｕ０として機能させる画像生成プログラムは、以下に述べる各種手段に対応した複数のモジュールから構成されている。
映像情報Ｄ１は、フレーム画像をドットマトリクス状の多数の画素で階調表現した多数のフレーム情報Ｄ２から構成されている。これらのフレーム情報Ｄ２は、時系列に連続した情報である。図では、左側から右側に向かって時系列順、すなわち、右側ほど時系列順に後の情報として示している。フレーム取得手段Ｕ１は、映像情報Ｄ１から時系列に連続した複数のフレーム情報Ｄ３を取得する。本実施形態では、時系列順に最初のフレーム情報を参照フレーム情報Ｄ３１とし、その後に続くフレーム情報（図の例では三つ）を対象フレーム情報Ｄ３２としている。むろん、複数のフレーム情報のうちどれを参照フレーム情報にしてもよいし、参照フレーム情報は取得された複数のフレーム情報でなくてもよい。

図４は、フレーム情報Ｄ２の構成を模式的に示している。図に示すように、各フレーム情報Ｄ２は、ドットマトリクス状の多数の画素５１別の階調データＤ８でフレーム画像を表現している。本実施形態の階調データＤ８は、Ｙ（輝度）、Ｃｂ（ブルーの色差）、Ｃｒ（レッドの色差）からなるＹＣｂＣｒデータであるとして説明するが、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）からなるＲＧＢデータ等であってもよい。また、ＹＣｂＣｒ各成分は、２５６階調であるとして説明するが、１０２４階調、１００階調、等であってもよい。

ずれ量取得手段Ｕ２は、複数のフレーム情報Ｄ３に基づいて、複数のフレーム情報で表現される画像間の回転ずれを表す回転ずれ量、および並進ずれを表す並進ずれ量を補正するための補正量である回転補正量および並進補正量を検出し（本発明にいうずれ量検出手段に相当）、回転量情報Ｄ４や並進量情報Ｄ５を取得する。本実施形態では時系列順に一番最初の参照フレーム情報Ｄ３１から残りの対象フレーム情報Ｄ３２のそれぞれへの回転補正量と並進補正量を検出するようにしているが、いずれを参照フレーム情報とするか等により様々な態様で回転補正量と並進補正量を検出することが可能である。
ここで、ずれ量と補正量との関係を図５を用いて説明する。図５に示すように、フレーム情報の多数の画素をｘｙ平面上で表すことにし、上段のフレーム情報５２ａ，ｂは時系列の順とされ、下段のフレーム情報５２ｃ，ｄも時系列の順とされているものとする。図の上段に示すように、フレーム情報５２ａ上のオブジェクト５３ａが回転せずに平行移動するときのｘ軸方向の移動量ｕａ（＝１画素）、ｙ軸方向の移動量ｖａ（＝２画素）が並進ずれ量である。また、図の下段に示すように、並進ずれ量（ｕａ，ｖａ）が（０，０）であるときにフレーム情報５２ｃ上のオブジェクト５３ｃがフレーム画像５２ｃの中心５２ｃ１を回転中心として回転する時の移動量が回転ずれ量（δａ）である。この時、これらのずれをなくすための補正量として回転補正量を「δ」、並進補正量として横方向を「ｕ」、縦方向を「ｖ」と表記すると、回転ずれ量と回転補正量との関係は、δ＝−δａで、並進ずれ量と並進補正量との関係は、ｕ＝−ｕａ、ｖ＝−ｖａと表すことができる。また、回転補正量δが、本発明にいう、回転量情報となり、並進補正量（ｕ，ｖ）が、本発明にいう、並進量情報となる。
本実施形態のずれ量取得手段Ｕ２は、複数のフレーム情報Ｄ３の画素の位置とその画素の階調データとに基づいて、最小自乗法により複数のフレーム情報で表現される画像間の回転ずれと並進ずれを求める演算式を用いて回転ずれと並進ずれを求め、回転量情報Ｄ４と並進量情報Ｄ５を取得するようにしている。同回転ずれと並進ずれを求める手法を、「カメラモーション（Camera Motion）の推定」と呼ぶことにする。

変換手段Ｕ３は、回転量情報Ｄ４と並進量情報Ｄ５とに基づいて、複数のフレーム情報Ｄ３で表現される各画像の少なくとも一つを回転させたり並進させたりして画像間の回転ずれや並進ずれを少なくするように、複数のフレーム情報Ｄ３の少なくとも一つを変換する変換処理を行う。本実施形態の変換手段Ｕ３は、画像間のずれをなくすように、複数のフレーム情報Ｄ３の少なくとも一つ、具体的には対象フレーム情報Ｄ３２を変換し、変換処理が行われた複数のフレーム情報Ｄ６を生成する。その際、複数のフレーム情報の少なくとも一つの各画素の位置を、当該画素よりも細かい単位で変換する。
ここで、第一のフレーム画像の次に第二のフレーム画像があるとき、第一のフレーム画像から第二のフレーム画像への並進ずれ量が（ｕａ，ｖａ）、回転ずれ量が（δａ）であるとすると、第二のフレーム画像について第一のフレーム画像とのずれをなくす場合、第二のフレーム画像を（−ｕａ，−ｖａ）並進させ、（−δａ）回転させる。また、第一のフレーム画像について第二のフレーム画像とのずれをなくす場合、第一のフレーム画像を（ｕａ，ｖａ）並進させ、（δａ）回転させるようにしてもよい。むろん、第一のフレーム画像を（ｕａ／２，ｖａ／２）並進させ、（δａ／２）回転させるとともに、第二のフレーム画像を（−ｕａ／２，−ｖａ／２）並進させ、（−δａ／２）回転させてもよい。

合成手段Ｕ４は、変換処理が行われた複数のフレーム情報Ｄ６を合成して画像データＤ７を生成する。同画像データは、静止画像をドットマトリクス状の多数の画素で階調表現するデータである。本実施形態の画像データＤ７は、ＲＧＢ各２５６階調のＲＧＢデータであるとして説明するが、ＹＣｂＣｒデータ等であってもよいし、階調数も１０２４階調、１００階調、等であってもよい。本実施形態の画像データは、フレーム情報と画素数が異なり、フレーム情報よりも画素数が多くされ、高解像度化されているものとして説明する。なお、生成される画像データは、フレーム情報と同じ画素数とされてもよいし、フレーム情報よりも少ない画素数とされてもよい。
複数のフレーム情報を合成する際、画像データを生成する注目画素を順次移動させながら、複数のフレーム情報の全画素のうち注目画素の周辺に存在する画素の階調データを用いて所定の補間処理を行って注目画素の階調値を求め、静止画像を画素別の階調値で表現する画像データＤ７を生成する。

従来の技術では、複数のフレーム画像から静止画像を合成する際にフレーム画像間の横方向や縦方向に並進したずれのみ補正していたため、傾き成分も含まれている手ぶれを十分に補正することができなかった。本画像生成装置Ｕ０で生成される画像データで表現される静止画像は、複数のフレーム画像間の並進ずれとともに回転ずれもなくされて同複数のフレーム画像から合成されて生成されるので、傾き成分を含む手ぶれが補正される。従って、映像情報の複数のフレーム情報から高画質の静止画像を得ることが可能となり、動画像の１シーンを高解像度の静止画として表示、印刷する場合に、精細さを高めることができる。

（３）カメラモーションの推定：
次に、ずれ量取得手段およびずれ量検出手段が行うカメラモーションの推定について説明する。カメラモーションの推定とは、映像情報から切り出した複数のフレーム情報で表現される複数のフレーム画像の相対的な位置関係を推定するものである。ここで、撮影中には撮影対象物自体やビデオカメラの設置位置の動きはなく、ビデオカメラの向きのみ変化しているものと仮定している。すなわち、パンおよびチルトと呼ばれるカメラワークに相当している。また、分かりやすく説明するため、参照フレーム情報で表現される参照フレーム画像の次に対象フレーム情報で表現される対象フレーム画像があるとし、参照フレーム画像と対象フレーム画像とのずれ量を推定するものとする。

図６に示すように、参照フレーム情報の座標（x1，y1）が対象フレーム情報の座標（x2，y2）に対応しているものとする。並進補正量は（ｕ，ｖ）、回転補正量はフレーム画像の中心を原点としてδとしている。撮影時に焦点距離を変えないことを前提としているため、並進と回転のみの変換を前提として、座標変換の式として次式を使う。
x2 ＝ cosδ・x1 ＋ sinδ・y1 − ｕ ...(1)
y2 ＝ −sinδ・x1 ＋ cosδ・y1 − ｖ ...(2)
x1 ＝ cosδ・（x2＋ｕ） − sinδ・（y2 ＋ ｖ） ...(1a)
y1 ＝ sinδ・（x2＋ｕ） ＋ cosδ・（y2 ＋ ｖ） ...(2a)
なお、参照フレーム画像と対象フレーム画像との時間差はごく僅かであるため、ｕ，ｖ，δは微小量となる。ここで、δが微小量のとき、cosδ≒１、sinδ≒δであるから、上式を以下のように置き換えることができる。
x2 ＝ x1 ＋ δ・y1 − ｕ ...(3)
y2 ＝ −δ・x1 ＋ y1 − ｖ ...(4)
x1 ＝ （x2 ＋ｕ）−δ・（y2 ＋ ｖ） ...(3a)
y1 ＝ δ・（x2 ＋ ｕ）＋（y2 ＋ ｖ） ...(4a)
そして、式(3)，(4)（または、(3a)，(4a)）のｕ，ｖ，δを最小自乗法により推定する。

カメラモーションの推定は、フレーム情報間の各画素の例えば輝度を用いて１画素よりも細かい単位で画素の位置を推定する勾配法（グラディエント法）に基づいている。
ここで、図７の上段に示すように、参照フレーム情報の各画素の輝度をz1（ix，iy）、対象フレーム情報の各画素の輝度をz2（ix'，iy'）と表すことにする。
まず、対象フレーム情報の座標（ix'，iy'）が参照フレーム情報の座標（ix〜ix＋１，iy〜iy＋１）の間にあるものとして、勾配法により座標（ix'，iy'）を求める手法を説明する。

図の中段に示すように、座標（ix'，iy'）のｘ軸方向の位置をix＋Δxとし、Px＝z1（ix＋１，iy）−z1（ix，iy）とすると、Px・Δx＝z2（ix'，iy'）−z1（ix，iy）となるようなΔxを求めればよい。実際には、各画素についてΔxを算出し、全体で平均をとることになる。ここで、単にz1＝z1（ix，iy）、z2＝z2（ix'，iy'）で表すと、以下の式が成り立つようなΔxを算出すればよい。
｛Px・Δx − （z2−z1）｝² ＝ ０ ...(5)
また、図の下段に示すように、座標（ix'，iy'）のｙ軸方向の位置をiy＋Δyとし、Py＝z1（ix，iy＋１）−z1（ix，iy）とすると、Py・Δy＝z2（ix'，iy'）−z1（ix，iy）となるようなΔyを求めればよい。ここでも、単にz1＝z1（ix，iy）、z2＝z2（ix'，iy'）で表すと、以下の式が成り立つようなΔyを算出すればよい。
｛Py・Δy − （z2−z1）｝² ＝ ０ ...(6)
そこで、ｘｙ両方向を考慮すると、以下の式のＳ2を最小にするΔx、Δyを最小自乗法により求めればよい。
Ｓ² ＝ Σ｛Px・Δx ＋ Py・Δy − （z2−z1）｝² ...(7)

以上、勾配法によりフレーム画像がｘ軸方向とｙ軸方向に平行移動したとして並進補正量を求める手法を説明した。本発明では、さらにフレーム画像の回転も考慮している。以下、その手法を説明する。
図８に示すように、参照フレーム情報の座標（ｘ，ｙ）の原点Ｏからの距離をｒ、ｘ軸からの回転角度をθとすると、ｒ、θは以下の式により求められる。
ｒ ＝ （ｘ2 ＋ ｙ2）^1/2 ...(8)
θ ＝ tan^-1（ｘ／ｙ） ...(9)

ここで、並進ずれが補正されているとして、参照フレーム画像と対象フレーム画像の原点を合わせておき、対象フレーム画像では座標（ｘ，ｙ）からδ回転して座標（ｘ'，ｙ'）になったとすると、この回転によるｘ軸方向の移動量とｙ軸方向の移動量は、以下の式により求められる。
ｘ'−ｘ ≒ −ｒδsinθ ＝ −δ・ｙ ...(10)
ｙ'−ｙ ≒ ｒδcosθ ＝ δ・ｘ ...(11)
そこで、上記式(7)におけるΔx，Δyは、並進補正量ｕ，ｖ、回転補正量δを用いて、以下の式で表される。
Δx ＝ ｕ − δ・ｙ ...(12)
Δy ＝ ｖ ＋ δ・ｘ ...(13)
これらを上記式(7)に代入すると、以下の式が得られる。
Ｓ² ＝ Σ｛Px・（ｕ−δ・ｙ） ＋ Py・（ｖ＋δ・ｘ） − （z2−z1）｝² ...(14)

すなわち、参照フレーム情報の座標を（ix，iy）として、参照フレーム情報の全画素の座標値と階調データ（輝度値）を式(14)に代入したときに、Ｓ²を最小にするｕ，ｖ，δを最小自乗法により求めればよい。最小自乗法により、以下の式を得ることができる。

ただし、ｉは全画素を区別する番号であり、α，β，Ｄ，N1〜N5，Ｍは以下のようにして求められる。

従って、上記式(15)〜(29)を用いて、カメラモーションにより並進補正量（ｕ，ｖ）と回転補正量（δ）を検出し、これらを並進量情報と回転量情報として取得することができる。ここで、並進補正量はフレーム画像の画素よりも小さい単位とされているので、精度よく検出を行うことができる。そして、検出された並進補正量や回転補正量を用いて複数のフレーム情報を合成すれば、映像情報の複数のフレーム情報から高画質の静止画像を得ることが可能となる。

なお、上記推定を行う前に、並進ずれのみについて並進補正量を画素単位で検出するようにし、フレーム画像間の並進ずれを画素単位で（大ざっぱに）補正しておいてもよい。すると、さらに精度よく並進量情報と回転量情報とを取得することができ、同並進量情報と回転量情報とを用いて複数のフレーム画像を合成することにより、さらに高画質の静止画像を得ることが可能となる。
フレーム画像間の並進ずれを大ざっぱに検出する手法として、パターンマッチ法による推定手法が知られている。

図９は、パターンマッチ法により並進補正量を推定する様子を模式的に示している。
図の上段に示すように、参照フレーム情報の各画素の輝度をz1（ix，iy）、対象フレーム情報において同じ位置の画素の輝度をz2（ix，iy）と表すことにする。
まず、参照フレーム情報の画素（ix，iy）を対象フレーム情報の画素（ix，iy）に対応させる場合を基準として、この場合と、対象フレーム情報の画素（ix＋１，iy）、（ix−１，iy）、（ix，iy＋１）、（ix，iy−１）に対応させる場合とで、以下のＬが最も小さくなる位置を求める。
Ｌ ＝ ｜Z2i−Z1i｜ ...(30)
または、
Ｌ ＝ （Z2i−Z1i）² ...(31)

例えば、対象フレーム情報の画素（ix−１，iy）のＬが最小となるとき、参照フレーム情報の画素（ix，iy）を対象フレーム情報の画素（ix−１，iy）に対応させる場合と、対象フレーム情報の画素（ix，iy）、（ix−２，iy）、（ix−１，iy＋１）、（ix−１，iy−１）に対応させる場合とで、Ｌが最も小さくなる位置を求める。このように、Ｌが最小となる対象フレーム情報の画素の探索を繰り返し行う。
そして、例えば、対象フレーム情報の画素（ix−３，iy−１）のＬが最小となるとき、参照フレーム情報の画素（ix，iy）を対象フレーム情報の画素（ix−３，iy−１）に対応させる場合と、対象フレーム情報の画素（ix−２，iy−１）、（ix−４，iy−１）、（ix−３，iy）、（ix−３，iy−２）に対応させる場合とで、Ｌが最も小さくなる位置を求めたとする。探索の中心の画素（ix−３，iy−１）のＬが最小となるとき、ここで探索を終了する。探索終了時の対象フレーム情報のずれは、（３，１）となる。

一般に、探索終了時に参照フレーム情報の画素（ix，iy）に対応させる対象フレーム情報の画素の位置が（ix−Δx，iy−Δy）となるとき、参照フレーム画像から対象フレーム画像への並進補正量は画素単位として（Δx，Δy）と表すことができる。
そこで、対象フレーム情報について並進補正量（Δx，Δy）だけ画素をずらしておくと、カメラモーションの推定を高精度にて行うことができる。

（４）画像生成装置および画像ずれ量検出装置が行う処理：
以下、画像生成装置および画像ずれ量検出装置が行う処理とともに、動作を詳細に説明していく。
図１０は、本画像生成装置が行う処理をフローチャートにより示している。具体的には、ＰＣ１０のＣＰＵ１１が本処理を行う。

（４−１）合成範囲の切り出し：
まず、フレーム取得手段にて、画像を多数の画素別のＹＣｂＣｒデータ（階調データ）で表現した多数のフレーム情報からなる映像情報から、合成する範囲の複数のフレーム情報を切り出して取得する（ステップＳ１０５。以下、「ステップ」の記載を省略）。切り出すフレーム情報は、二以上であれば特に限定されない。本実施形態では、映像情報から時系列に連続した四つのフレーム情報を取得するようにしているが、時系列に連続していない離散的な複数のフレーム情報を取得しても、並進補正量と回転補正量を検出してフレーム情報を合成し、静止画像を得ることが可能である。例えば、全画素の階調データを有して他のフレーム情報を参照しないで画像を表現可能な独立フレーム情報と、全画素の階調データを有しておらず他のフレーム情報を参照しないと画像を表現できない非独立フレーム情報と、から映像情報が構成される場合、離散的な独立フレーム情報のみを参照することにより、以下のカメラモーション推定処理を高速にて行うことが可能となる。

フレーム情報を切り出す位置は、様々考えられる。例えば、映像情報からの映像の再生を一時停止しているときに、所定のキー操作やボタン入力操作を受け付けた場合に、図３で示したように、一時停止してディスプレイに表示されているフレーム画像を表現するフレーム情報（参照フレーム情報Ｄ３１）と、当該フレーム情報から時系列順に後の所定数のフレーム情報（対象フレーム情報Ｄ３２）とを、切り出すフレーム情報として取得することができる。むろん、一時停止してディスプレイに表示されているフレーム画像を表現するフレーム情報と、当該フレーム情報から時系列順に前の所定数のフレーム情報とを、切り出すフレーム情報として取得してもよい。

（４−２）並進補正量と回転補正量の検出：
次に、ずれ量取得手段およびずれ量検出手段にて、カメラモーションによりフレーム画像の並進補正量と回転補正量を推定して並進量情報と回転量情報を取得するカメラモーション推定処理を行う（Ｓ１１０）。
図１１は、カメラモーション推定処理をフローチャートにより示している。
まず、映像情報から取得した複数のフレーム情報の中から、参照フレーム情報を設定する（Ｓ２０５）。本実施形態では、時系列順に一番最初のフレーム情報を参照フレーム情報と設定する。ここで、参照フレーム情報とするフレーム情報をＲＡＭの中の所定の領域に格納することにより参照フレーム情報を設定してもよいし、参照フレーム情報とするフレーム情報の記憶アドレスをＲＡＭ内の所定のポインタに格納することにより参照フレーム情報を設定してもよい。

次に、映像情報から取得した複数のフレーム情報の中から、対象フレーム情報を設定する（Ｓ２１０）。本実施形態では、四つのフレーム情報を取得しているので、これらの四つのフレーム情報から参照フレーム情報を除いた残りの中から対象フレーム情報を設定する。例えば、時系列順に二番目のフレーム情報を対象フレーム情報に設定する。ここでも、対象フレーム情報とするフレーム情報をＲＡＭの中の所定の領域に格納してもよいし、対象フレーム情報とするフレーム情報の記憶アドレスを所定のポインタに格納してもよい。

さらに、最小自乗法により、並進ずれを補正する並進補正量ｕ，ｖと回転ずれを補正する回転補正量δとを算出する上記式(15)〜(29)に用いる各種変数（パラメータ）を初期設定する（Ｓ２１５）。例えば、総和を算出する変数M20，M11，M02，ｍu，ｍv，ｍδ，ｃu，ｃv，ｃδに０を代入する。
その後、参照フレーム情報から注目画素ｉの位置を設定し、対象フレーム情報から注目画素ｉ'の位置を設定する（Ｓ２２０）。例えば、フレーム情報が横（ｘ軸方向）nx画素、縦（ｙ軸方向）ny画素のドットマトリクス状に構成されている場合、参照フレーム情報の座標（ix，iy）の画素を注目画素にする際に、ｉ＝ix＋nx×iyにより注目画素ｉの位置を設定することができるし、対象フレーム情報の座標（ix'，iy'）の画素を注目画素にする際に、ｉ'＝ix'＋nx×iy'により注目画素ｉ'の位置を設定することができる。本実施形態では、注目画素の位置を設定する順序は、左上の画素から開始して順番に右上の画素までとし、その後一つずつ下の左端の画素から順番に右端の画素までとして、最後に右下の画素としている。以下、各種処理にて注目画素の位置を設定する場合も同様にしている。むろん、注目画素の位置を設定する順序は、適宜変更可能であり、フレーム画像の種類等に応じて異なる順序とすることも可能である。
なお、Ｓ２２０の処理を行う前に、上述したパターンマッチ法により参照フレーム画像から対象フレーム画像への大ざっぱな並進補正量（Δx，Δy）を検出して取得し、並進補正量（Δx，Δy）だけ画素をずらしておいてもよい。

注目画素ｉ，ｉ'の位置を設定すると、上記式(18)〜(28)に用いるPti，ｋi，M20，M11，M02，ｍu，ｍv，ｍδ，ｃu，ｃv，ｃδを順次演算する（Ｓ２２５）。
例えば、M20については総和を算出する必要があるため、変数M20について、
M20 ← M20 ＋ （注目画素ｉ，ｉ'のΣ内の値）
の演算、すなわち、注目画素ｉ，ｉ'のΣ内の値を加算する処理を行う。M11，M02，ｍu，ｍv，ｍδ，ｃu，ｃv，ｃδについても同様である。
そして、参照フレーム情報の全画素について、上記各種変数について演算したか否かを判断する（Ｓ２３０）。上記各種変数を演算していない画素が残っている場合には、上記各種変数を演算する注目画素ｉ，ｉ'を順次移動させながら繰り返しＳ２２０〜Ｓ２３０の処理を行い、全画素について上記各種変数を演算した場合には、Ｓ２３５に進む。

Ｓ２３５では、上記式(29)を用いて、ｄを算出する。
次に、上記式(15)，(16)を用いて、並進補正量ｕ，ｖを算出する（Ｓ２４０）。すなわち、複数のフレーム情報で表現される画像間の並進ずれを補正する並進補正量が１画素よりも細かい単位で検出されたことになり、並進量情報が数値情報である並進補正量ｕ，ｖとして取得されたことになる。
さらに、上記式(17)を用いて、回転補正量δを算出する（Ｓ２４５）。すなわち、複数のフレーム情報で表現される画像間の回転ずれを補正する回転補正量が１画素よりも細かい単位で検出されたことになり、回転量情報が数値情報である回転補正量δとして取得されたことになる。
そして、ｕ，ｖ，δを、並進量情報と回転量情報としてＲＡＭ内の所定の領域に記憶する（Ｓ２５０）。

その後、全フレーム情報について、ｕ，ｖ，δを取得したか否かを判断する（Ｓ２５５）。ｕ，ｖ，δを取得していないフレーム情報が残っている場合には、繰り返しＳ２０５〜Ｓ２５５の処理を行う。本実施形態では、時系列順に最初のフレーム情報を常に参照フレーム情報に設定し、残りのフレーム情報の中から時系列順に対象フレーム情報を設定して、並進量情報と回転量情報を取得する。全フレーム情報についてｕ，ｖ，δを取得した場合、本フローを終了する。
以上の処理にて、カメラモーションにより並進補正量（ｕ，ｖ）と回転補正量（δ）を検出し、これらを並進量情報と回転量情報として取得することができる。その際、フレーム情報の各画素の位置変換が当該画素よりも細かい単位で高精度にて行われるので、高画質の静止画像を得ることが可能となる。また、最小自乗法によりフレーム画像間の回転ずれと並進ずれを補正するための演算式を用いることにより、高速にて回転補正量と並進補正量を検出することができるので、画像データを生成する処理を高速化させることが可能となる。
なお、フレーム画像の性質等に応じて、ｕ，ｖ，δに所定の補正係数を乗じて並進量情報と回転量情報としてもよい。補正係数が１でなくても、並進量情報は複数のフレーム情報で表現される画像間の並進ずれを少なくさせる情報となり、回転量情報は複数のフレーム情報で表現される画像間の回転ずれを少なくさせる情報となる。

（４−３）フレーム画像のずれ補正：
カメラモーション推定処理が終了すると、図１０のＳ１１５に進み、変換手段にて、並進量情報と回転量情報とに基づいて、対象フレーム情報で表現される三枚の対象フレーム画像を並進させるとともに回転させて参照フレーム画像との並進ずれと回転ずれをなくすように、三つの対象フレーム情報を変換する変換処理を行う。
図１２は、フレーム変換処理をフローチャートにより示している。
まず、対象フレーム情報の中から、画素の座標を変換する対象フレーム情報を設定する（Ｓ３０５）。本実施形態では、図１１のＳ２１０と同様に、時系列順に対象フレーム情報を設定する。
次に、対象フレーム情報から座標変換する注目画素ｉ'の位置を設定する（Ｓ３１０）。本実施形態では、図１１のＳ２２０と同様にして注目画素ｉ'の位置を設定する。

その後、並進補正量ｕ，ｖをＲＡＭから読み出し、対象フレーム画像の並進ずれをキャンセルするよう、注目画素ｉ'の位置をｘ軸方向にｕ、ｙ軸方向にｖ並進させるように座標変換する（Ｓ３１５）。すなわち、座標（ix'，iy'）の注目画素ｉ'の位置は、座標（ix'＋ｕ，iy'＋ｖ）に平行移動させられる。ここで、座標（ix'＋ｕ，iy'＋ｖ）は、アナログ量であり、フレーム情報の画素よりも細かくされている。
さらに、回転補正量δをＲＡＭから読み出し、対象フレーム画像の回転ずれをキャンセルするよう、フレーム画像の中心を原点として注目画素ｉ'の位置をさらにδ回転させるように座標変換する（Ｓ３２０）。ここで、座標（ix'＋ｕ，iy'＋ｖ）を、原点を中心とする座標（ｘ'，ｙ'）に置き換え、原点から座標（ｘ'，ｙ'）までの距離をｒ'とすると、座標（ｘ'，ｙ'）はδの回転によりｘ軸方向に−δ・ｙ'、ｙ軸方向にδ・ｘ'移動する。すなわち、並進後の座標（ix'＋ｕ，iy'＋ｖ）の注目画素ｉ'の位置は、座標（ｘ'−δ・ｙ'，ｙ'＋δ・ｘ'）に移動させられる。むろん、座標（ｘ'−δ・ｙ'，ｙ'＋δ・ｘ'）は、フレーム情報の画素よりも細かくされている。

その後、対象フレーム情報の全画素について、座標変換を行ったか否かを判断する（Ｓ３２５）。座標変換を行っていない画素が残っている場合には、注目画素ｉ'を順次移動させながら繰り返しＳ３０５〜Ｓ３２５の処理を行い、全画素について座標変換を行った場合には、Ｓ３３０に進む。
Ｓ３３０では、全対象フレーム情報について、座標変換を行ったか否かを判断する。座標変換を行っていない対象フレーム情報が残っている場合には、繰り返しＳ３０５〜Ｓ３３０の処理を行う。本実施形態では、時系列順に対象フレーム情報を設定して、座標変換を行う。全対象フレーム情報について座標変換を行った場合、本フローを終了する。
以上の処理にて、並進量情報と回転量情報に基づいて、対象フレーム画像を並進させるとともに回転させて参照フレーム情報と対象フレーム情報とで表現される画像間の回転ずれをなくすように対象フレーム情報を変換することができる。
なお、フレーム画像の性質等に応じて、ｕ，ｖ，δに所定の補正係数を乗じてから座標変換を行ってもよい。補正係数が１でなくても、複数のフレーム情報で表現される画像間の並進ずれや回転ずれが少なくなるようにフレーム情報を変換することができる。
また、所定の補正係数を乗じたｕ，ｖ，δを用いて、二つのフレーム情報双方とも座標変換を行うようにしてもよい。

（４−４）フレーム画像の合成−その１：
フレーム変換処理が終了すると、図１０のＳ１２０に進み、合成手段にて、参照フレーム情報と、上記フレーム変換処理にて変換処理が行われた三つの対象フレーム情報とを合成して、静止画像を多数の画素で階調表現する画像データを生成する処理を行う。
図１３に示すように、四つのフレーム情報からカメラモーションの推定により、参照フレーム情報に対して並進ずれと回転ずれがなくなるように座標変換された三つの対象フレーム情報を重ね合わせる処理を行う。

図１４は、合成処理をフローチャートにより示している。
まず、生成する画像データで表現される静止画像の解像度を取得する（Ｓ４０５）。例えば、ディスプレイに解像度選択欄を有する印刷インターフェイス画面を表示し、解像度選択欄への操作入力から合成後の静止画像の解像度を表すパラメータを取得してＲＡＭに格納すればよい。そして、フレーム画像の解像度に対する静止画像の解像度の比が画像の拡大率となり、この拡大率となるように合成後の画像データの画素数を決定する（Ｓ４１０）。このように、静止画像の解像度を変え、画素数を変えることができるので、思い通りの静止画像を得ることが可能となる。本画像生成装置は、複数のフレーム情報を合成することにより高画質の静止画像を表現する画像データを生成することができるので、静止画像をフレーム画像よりも高解像度に設定することにより、画素数が多くされた高画質の静止画像を得ることができ、より思い通りの静止画像を得ることが可能となる。
以下、フレーム画像の画素をｘ軸方向、ｙ軸方向ともに１．５倍に増やす場合を例にとって、静止画像を表現する画像データを生成する様子を説明する。本画像生成装置は、画像データを生成する注目画素を順次移動させながら、参照フレーム情報と対象フレーム情報の全画素のうち注目画素の周辺に存在する画素の階調データを用いて所定の補間処理を行い、画像データを生成する。

その後、静止画像を階調表現する画像データを生成する注目画素ｉの位置を設定する（Ｓ４１５）。本実施形態では、図１１のＳ２２０と同様にして静止画像に対応する注目画素ｉの位置を設定するが、ここでいうｉは、上記カメラモーション推定処理における参照フレーム情報の注目画素ｉとは異なるものである。
注目画素ｉを設定すると、四つ全てのフレーム情報の全画素のうち、注目画素ｉの近傍に存在する画素と同注目画素ｉとの距離を算出する（Ｓ４２０）。次に、注目画素ｉに最も近い最短画素を選出する（Ｓ４２５）。選出の際には、例えば、最短画素の座標値をＲＡＭ内の所定領域に格納すればよい。ここで、生成する画像データを基準とした注目画素ｉの座標を（x0，y0）、注目画素ｉの近傍に存在する画素の座標を（xf，yf）とすると、｛（xf−x0）2＋（yf−y0）2｝^1/2が最小となる画素を最短画素とすればよい。

さらに、最短画素を含むフレーム情報を取得する（Ｓ４３０）。ここで、最短画素を含むフレーム情報をＲＡＭの中の所定の領域に格納することにより取得してもよいし、最短画素を含むフレーム情報の記憶アドレスをＲＡＭ内の所定のポインタに格納することにより取得してもよい。
図１５は、上記最短画素を選択する様子を模式的に示している。図において、参照フレーム情報と三つの対象フレーム情報の全画素の位置がプロットされるとともに、生成する画像データの画素（縦横１．５倍密）の位置もプロットされている。ここで、各フレーム情報にフレーム番号ｆ（ｆ＝１，２，３，４）を付与するとともに、各フレーム情報のそれぞれについて、注目画素に最も近い画素を選出する。図中、選出された画素と注目画素ｉとの距離を、Ｌ（ｉ，ｆ）で表している。そして、Ｌ（ｉ，ｆ）が最も小さくなるfnearest(i)を求める。この値が小さい画素であるほど（選出された画素が注目画素ｉに近いほど）、その画素を含むフレーム情報を参照した補間処理を行うことにより、静止画像中のエッジ部分のジャギーが少なくなる傾向にある。図の注目画素ｉについては、fnearest(i)＝４であるため、フレーム４のフレーム情報を取得する。

最短画素を含むフレーム情報を取得すると、同フレーム情報から最短画素のＹＣｂＣｒデータ（階調データ）を用いて、バイ・リニア法等の所定の補間処理を行い、注目画素ｉの画像データを生成する（Ｓ４３５）。その際、ＹＣｂＣｒデータのまま画像データを生成してもよいし、所定の換算式を用いてＹＣｂＣｒデータを各ＲＧＢ階調値からなるＲＧＢデータに変換してＲＧＢからなる画像データを生成してもよい。
図１６は、バイ・リニア法（共１次内挿法）による補間処理を行う様子を模式的に示している。図に示すように、取得したフレーム情報から最短画素６１ａを含めて、注目画素ｉを囲む周辺の四つの画素６１ａ〜ｄの階調データを用いて補間処理を行う。バイ・リニア法は、補間演算に用いる画素（格子点）６１ａ〜ｄの一方から他方へと近づくにつれて階調データの重み付けが徐々に変化していき、その変化が両側の画素の階調データだけに依存する一次関数とされている。ここで、内挿したい注目画素ｉを取り囲む四つの画素６１ａ〜ｄで区画される領域を当該注目画素ｉで四つの区画に分割し、その面積比で対角位置のデータに重み付けすればい。
生成された画像データの各画素について、同様のことを行えば、すべての画素値を推定することができる。

以上のようにして、カメラモーションにより推定された画像間の位置関係をもとに重ね合わせて、生成する画像データの画素の階調値（画素値）を、その付近のフレーム情報の画素の階調データから推定することができる。すなわち、各画素の画像データが補間されて生成されるので、高画質の静止画像を得ることが可能となる。
むろん、画像データを生成する処理を高速化させるために、例えばニアリストネイバー法による補間処理を行ってもよい。この場合、フレーム情報の最短画素の階調データを注目画素ｉの画像データとすればよい。また、例えばバイ・キュービック法のように精度のよい補間処理を行ってもよい。
さらに、「バイ・キュービック法」、「バイ・リニア法」、「ニアリストネイバー法」のいずれかを選択入力可能としておき、選択入力された補間処理により注目画素の画像データを生成するようにしてもよい。すると、画質を優先するか処理速度を優先するかを選択することが可能となり、利便性を向上させることができる。

その後、画像データを生成する全画素について、補間処理により画像データを生成したか否かを判断する（Ｓ４４０）。画像データを生成していない画素が残っている場合には、生成する画像データに対応する画素上で注目画素ｉを順次移動させながら繰り返しＳ４１５〜Ｓ４４０の処理を行う。全画素について画像データを生成した場合には、本フローを終了する。
このようにして、座標変換の行われた複数のフレーム情報が合成され、静止画像を多数の画素で階調表現する画像データが生成される。なお、この段階で例えば所定の換算式を用いてＹＣｂＣｒデータをＲＧＢデータに変換する等してもよい。
実際に試験を行ったところ、複数のフレーム情報の全画素のうち注目画素ｉに最も近い画素の階調データを用いて補間処理を行うようにしたことにより、静止画像中のエッジ部分にジャギーが入らなくなる効果が得られた。このように、単に１フレームを使っただけでは得られない、高精細な高解像度画像が、複数フレームを使うことによって生成することができる。特に、個々のフレーム画像の動き推定の精度が良好であるときに、高精細な高解像度画像を得ることが可能となる。

以上の処理により、静止画像を表現する画像データは、複数のフレーム情報で表現される複数のフレーム画像間の並進ずれや回転ずれがなくされて同複数のフレーム情報から合成されて生成される。デジタルビデオカメラ等で撮像される映像の手ぶれには、横方向や縦方向に平行移動したずれのみならず傾き成分も含まれているが、回転ずれも少なくされるため、回転成分を含む手ぶれも十分に補正される。従って、映像情報の複数のフレーム情報から高画質の静止画像を得ることが可能となる。むろん、手ぶれの並進成分も十分に補正される。なお、対象フレーム画像を回転させる所定の中心位置の並進ずれがなくなることにより、より確実に手ぶれの傾き成分が補正され、より高画質の静止画像を得ることが可能となる。
ここで、合成する複数のフレーム情報は、変化の小さい時系列に連続した情報であるので、これらのフレーム情報が合成されて静止画像を表現する画像データが生成されることにより、簡易な構成で高画質の静止画像を得ることが可能となる。

（４−５）フレーム画像の合成−その２：
なお、図１７に示すフローチャートに従って合成処理を行ってもよい。
図示していないが、図１４のＳ４０５〜Ｓ４１０と同様、静止画像の解像度を取得し、合成後の画像データの画素数を決定した後、最短画素距離の閾値Lthを取得する（Ｓ５０５）。例えば、所定の選択欄を有する印刷インターフェイス画面を表示し、同選択欄への操作入力から閾値Lthを表すパラメータを取得してＲＡＭに格納すればよい。
ここで、図１８に示すように、最短画素距離の閾値Lthとは、フレーム情報の画素が注目画素ｉから所定の距離内にあるかどうかを判定するための閾値である。図の例では、生成する画像データにおける画素間の距離の１／２を閾値Lthとしている。注目画素ｉを含む各画素を中心として点線で描いた円は、同画素から閾値Lthの距離にあることを示している。
なお、閾値Lthを表すパラメータを操作入力によって取得する以外にも、生成画像の画素数、フレーム画像の総画素数などの値から自動的に閾値Lthを設定するようにしてもよい。例えば、
Lth ＝ ３×（生成画像画素間距離）×（生成画像画素数）
／（フレーム画像総画素数）
とすれば、閾値Lthは図１８で示した円内に平均３個のフレーム画像画素が入るような値に設定することができる。

次に、上記Ｓ４１５〜Ｓ４２０と同様、静止画像を階調表現する画像データを生成する注目画素ｉの位置を設定し（Ｓ５１０）、全てのフレーム情報の全画素のうち、注目画素ｉの近傍に存在する座標（xf，yf）の画素と、座標（x0，y0）の注目画素ｉとの距離｛（xf−x0）2＋（yf−y0）2｝^1/2を算出する（Ｓ５１５）。
さらに、算出した距離が閾値Lth以下となるフレーム情報の画素を選出する（Ｓ５２０）。選出の際には、例えば、同画素の座標値をＲＡＭ内の所定領域に格納すればよい。図１８の例では、距離Ｌ（ｉ，４）の画素と距離（ｉ，２）の画素とが選出される。
このようにして、複数のフレーム情報のうち注目画素ｉを基準とした所定の範囲内の画素を選出することができる。

その後、選出された画素を含むフレーム情報を取得する（Ｓ５２５）。次に、フレーム情報別に、同フレーム情報から最短画素のＹＣｂＣｒデータを用いてバイ・リニア法による補間処理等の所定の補間処理を行い、フレーム情報別の階調データを生成する（Ｓ５３０）。すなわち、複数のフレーム情報のうち注目画素ｉを基準とした所定の範囲内の画素を含むフレーム情報を用いて補間処理を行うことになる。
そして、補間処理後の各階調データの相加平均を求めて、注目画素ｉの画像データを生成する（Ｓ５３５）。ここで、補間処理後の階調データは、ＹＣｂＣｒデータであってもよいし、ＲＧＢデータであってもよい。階調データをまとめる際には、相加平均以外にも、相乗平均、調和平均、フレーム情報別に異なる重みを付けた平均、等を行ってもよい。注目画素ｉから所定の範囲内にあるフレーム情報の画素が一つしかないとき、平均する処理を省略すると、画像データを生成する処理を高速化させることが可能となる。

なお、図１８の画素ｉAのように、生成する画像データの画素から閾値Lth以下の距離（所定の範囲内）にフレーム情報の画素が存在しないとき、複数のフレーム情報のうちのいずれかのフレーム情報を用いて補間処理を行うことにしている。この場合、参照フレーム情報を用いて補間処理を行ってもよいし、図１４で示したように最短画素を含むフレーム情報を取得して補間処理を行ってもよい。このようにして、生成する画像データの全画素を確実に埋めることができる。

その後、生成する画像データの全画素について、補間処理により画像データを生成したか否かを判断する（Ｓ５４０）。画像データを生成していない画素が残っている場合には、注目画素ｉを順次移動させながら繰り返しＳ５０５〜Ｓ５４０の処理を行い、全画素について画像データを生成した場合には、本フローを終了する。
以上の処理により、座標変換の行われた複数のフレーム情報が合成され、静止画像を多数の画素で階調表現する画像データが生成される。
上記処理を行うと、特に、個々のフレーム画像の動き推定の精度が良好でないときにフレーム画像間のずれを目立たせなくすることができるため、このようなときに高精細な高解像度画像を得ることが可能となる。

（４−６）フレーム画像の合成−その３：
また、図１９に示すフローチャートに従って合成処理を行ってもよい。
図示を省略しているが、図１４のＳ４０５〜Ｓ４１０と同様、静止画像の解像度を取得し、合成後の画像データの画素数を決定した後、静止画像を階調表現する画像データを生成する注目画素ｉの位置を設定する（Ｓ６０５）。次に、四つのフレーム情報のうち、補間処理を行うフレーム情報を設定する（Ｓ６１０）。
設定したフレーム情報をＲＡＭ内の所定領域に格納してもよいし、記憶アドレスを所定のポインタに格納してもよい。さらに、設定されたフレーム情報から、注目画素ｉの周辺の画素を選択する（Ｓ６１５）。そして、選択した画素のＹＣｂＣｒデータ等の階調データを用いて、バイ・キュービック法等の所定の補間処理を行い、注目画素ｉの画像データを生成する（Ｓ６２０）。
バイ・キュービック法は、内挿したい注目画素ｉを取り囲む四つの画素（格子点）のみならず、その一周り外周の画素を含む計１６の画素のデータを利用する。注目画素ｉの階調値は、同注目画素ｉを取り囲む計１６の画素の階調値の影響を受けて決定される。例えば、一次式で補間しようとすれば、注目画素ｉを挟む二つの画素からの距離に反比例させて重みづけ加算すればよい。また、距離に応じた影響度合いを３次たたみ込み関数f(t) = {sin(πt)}/πtで表してもよい。

その後、全フレーム情報について、補間処理を行ったか否かを判断する（Ｓ６２５）。補間処理を行っていないフレーム情報が残っている場合には、繰り返しＳ６１０〜Ｓ６２５の処理を行い、全フレーム情報について補間処理を行った場合、Ｓ６３０に進む。
Ｓ６３０では、補間処理後の各階調データの相加平均を求めて、注目画素ｉの画像データを生成する。階調データをまとめる際には、相加平均以外にも、相乗平均、調和平均、フレーム情報別に異なる重みを付けた平均、等を行ってもよい。
そして、生成する画像データの全画素について、補間処理により画像データを生成したか否かを判断する（Ｓ６３５）。画像データを生成していない画素が残っている場合には、注目画素ｉを順次移動させながら繰り返しＳ６０５〜Ｓ６３５の処理を行い、全画素について画像データを生成した場合には、本フローを終了する。

以上の処理によっても、座標変換の行われた複数のフレーム情報が合成され、静止画像を多数の画素で階調表現する画像データが生成される。ここで、フレーム情報毎に格子状に画素が存在するため、バイ・キュービック法等の精度の良好な補間処理を利用して、高画質の静止画像を得ることが可能となる。また、個々のフレーム画像の動き推定の精度が良好でないときにフレーム画像間のずれを目立たせなくすることができるため、このようなときに高精細な高解像度画像を得ることが可能となる。

（５）変形例：
本発明の画像生成装置および画像ずれ量検出装置は、様々な構成が可能である。
例えば、プリンタは、コンピュータと一体化されたものであってもよい。上述したフローについては、コンピュータ本体内で実行する以外にも、一部または全部をプリンタあるいは専用の画像出力装置で実行するようにしてもよい。
画像データを構成する多数の画素は、縦横に整然と並んだドットマトリクス状とされる以外にも、様々な構成が考えられる。例えば、正六角形を密に並べたような蜂の巣状に整然と並んだ画素から画像データを構成してもよい。
合成する複数のフレーム情報は、二以上であれば、数の限定はない。また、フレーム画像の一部分を合成して静止画像を表現する画像データを生成することにも、本発明を適用可能である。さらに、１ライン毎に分からない領域があるインターレース映像であっても、フィールドごとに重ね合わせることにより、Ｉ・Ｐ変換にも効果を発揮し、動画像の１シーンを高解像度の静止画として表示、印刷する場合に、精細さを高めることができる。むろん、必ずしも解像度変換を目的としない複数フレームの重ね合わせ（例えば、パノラマ合成など）にも有効である。
なお、本発明では、並進ずれと回転ずれをなくすことができるため、手ぶれ以外により生じた並進ずれと回転ずれを補正することが可能である。

さらに、フレーム画像の並進補正量や回転補正量を検出する際に、参照フレーム情報を変えながら検出を行ってもよい。
図２０は、変形例にかかる画像生成装置が行う処理を模式的に示している。本変形例でも、映像情報から四つのフレーム情報を取得している。そして、カメラモーション推定処理では、時系列順に隣接したフレーム情報どうしから並進量情報と回転量情報を取得する。すなわち、参照フレーム情報とするフレーム１の第一のフレーム情報と対象フレーム情報とするフレーム２の第二のフレーム情報とで表現される両画像のずれを表す第一の並進量情報（並進補正量ｕ1，ｖ1）と第一の回転量情報（回転補正量δ1）を取得し、次に、参照フレーム情報とするフレーム２の第二のフレーム情報と対象フレーム情報とするフレーム３の第三のフレーム情報とで表現される両画像のずれを表す第二の並進量情報（並進補正量ｕ2，ｖ2）と第二の回転量情報（回転補正量δ2）を取得し、さらに、参照フレーム情報とするフレーム３の別の意味での第二のフレーム情報と対象フレーム情報とするフレーム４の別の意味での第三のフレーム情報とで表現される両画像のずれを表す別の意味での第二の並進量情報（並進補正量ｕ3，ｖ3）と別の意味での第二の回転量情報（回転補正量δ3）を取得する。

なお、カメラモーション推定処理は、図１１で示したフローに従って行うことができる。
すなわち、映像情報から取得した複数のフレーム情報の中から参照フレーム情報を設定し（フレーム１，２，３の順）、対象フレーム情報を設定し（フレーム２，３，４の順）、各種変数を初期設定する（Ｓ２０５〜Ｓ２１５）。次に、参照フレーム情報の全画素について、両フレーム情報から注目画素ｉ，ｉ'の位置を設定し、上記式(18)〜(28)に用いるPti，ｋi，M20，M11，M02，ｍu，ｍv，ｍδ，ｃu，ｃv，ｃδを順次演算する（Ｓ２２０〜Ｓ２３０）。さらに、ｄを算出し、並進補正量ｕ1〜ｕ3，ｖ1〜ｖ3、回転補正量δ1〜δ3を順次算出し、並進量情報と回転量情報として記憶する（Ｓ２３５〜Ｓ２５０）。すなわち、第一・第二のフレーム情報に基づいて同第一・第二のフレーム情報で表現される両画像のずれを表す並進量情報（ｕ1，ｖ1）と回転量情報（δ1）を取得するとともに、第二・第三のフレーム情報に基づいて同第二・第三のフレーム情報で表現される両画像のずれを表す並進量情報（ｕ2，ｕ3，ｖ2，ｖ3）と回転量情報（δ2，δ3）を取得することができる。全フレーム情報について並進量情報と回転量情報を取得したら、本フローを終了する（Ｓ２５５）。

並進量情報と回転量情報を取得すると、時系列順に一番最初のフレーム１のフレーム画像に合わせてフレーム２〜４のフレーム情報に対してフレーム変換処理を行う。
フレーム変換処理は、概略、図１２で示したフローに従って行うことができる。
すなわち、フレーム２〜４の順に画素の座標を変換する対象フレーム情報を設定し、座標変換する注目画素ｉ'の位置を設定する（Ｓ３０５〜Ｓ３１０）。次に、対象フレーム情報の全画素について、注目画素ｉ'の位置を、フレーム１のフレーム画像との並進ずれや回転ずれがなくなるように変換する（Ｓ３１５〜Ｓ３２５）。ここで、フレーム２、３，４の対象フレーム情報について、それぞれ注目画素ｉ'の位置をｘ軸方向に−ｕ1，−ｕ1−ｕ2，−ｕ1−ｕ2−ｕ3、ｙ軸方向に−ｖ1，−ｖ1−ｖ2，−ｖ1−ｖ2−ｖ3並進させ、さらに−δ1，−δ1−δ2，−δ1−δ2−δ3回転させるように座標変換する。すなわち、第一の回転量情報に基づいて第二のフレーム情報を第一のフレーム情報で表現される画像とのずれがなくなるように変換し、第一・第二の回転量情報に基づいて第三のフレーム情報を第一のフレーム情報で表現される画像との回転ずれがなくなるように変換する変換処理を行うことができる。フレーム２〜４のフレーム情報について変換処理を行ったら、本フローを終了する（Ｓ３３０）。

その後、合成処理を行うと、静止画像を階調表現する画像データを生成することができる。
すなわち、第一・第三のフレーム情報で表現される画像間の回転ずれよりも時系列順に隣接した第二・第三のフレーム情報で表現される画像間のずれのほうが少ないことが多いので、より高精度にて並進ずれを補正するための並進補正量や回転ずれを補正するための回転補正量を検出することができる。従って、高精度にて並進量情報や回転量情報を取得することができ、より高画質の静止画像を得ることが可能となる。
以上説明したように、本発明によると、種々の態様により、映像情報の複数のフレーム情報から高画質の静止画像を得ることが可能な画像生成装置、画像ずれ量検出装置、画像生成プログラムおよび画像ずれ量検出プログラムを提供することができる。また、画像生成方法および画像ずれ量検出方法としても適用可能である。

上記実施例では、映像情報中から取得された時系列に連続する複数のフレーム情報を合成して、高解像度の静止画像を生成する場合を説明しているが、本発明はこれに限られるものではなく、単に、時系列に連続する複数の画像情報を合成して、高解像度の画像を生成することも可能である。例えば、時系列に連続する複数の画像情報としては、デジタルカメラで連写された複数の画像情報であってもよい。
また、必ずしも時系列に連続する複数の画像情報（フレーム情報を含む。）である必要はなく、時系列に並んだ複数の画像情報であってもよい。

上記実施例では、画像生成装置として、パーソナルコンピュータ（ＰＣ）を採用しているが、本発明はこれに限られるものではない。上述の画像生成装置がビデオカメラ、デジタルカメラ、プリンタ、ＤＶＤプレーヤ、ビデオテーププレーヤ、ハードディスクプレーヤ、カメラ付き携帯電話などに内蔵されてもよい。特に、ビデオカメラを本発明の画像生成装置した場合には、映像情報を取得しながら、取得した映像情報に含まれる複数のフレーム情報から高解像度な静止画像を生成することが可能となる。また、デジタルカメラを本発明の画像生成装置とした場合にも、被写体を連写しながら、あるいは、連写した結果を確認しながら、複数の撮像情報から高解像度な静止画像を生成することができる。

印刷システムの概略構成を示す図。 プリンタの構成を示すブロック図。 画像生成装置の構成の概略を模式的に示す図。 フレーム情報の構成を模式的に示す図。 並進ずれ量と回転ずれ量を模式的に示す図。 参照フレーム画像と対象フレーム画像とを重ね合わせる様子を模式的に示す図。 勾配法により並進補正量を推定する様子を模式的に示す図。 画素の回転補正量を模式的に示す図。 パターンマッチ法により並進補正量を推定する様子を模式的に示す図。 画像生成装置が行う処理を示すフローチャート。 カメラモーション推定処理を示すフローチャート。 フレーム変換処理を示すフローチャート。 対象フレーム情報を座標変換して重ね合わせる様子を模式的に示す図。 合成処理（その１）を示すフローチャート。 最短画素を選択する様子を模式的に示す図。 バイ・リニア法による補間処理を行う様子を模式的に示す図。 合成処理（その２）を示すフローチャート。 注目画素ｉから所定範囲内の画素を選択する様子を模式的に示す図。 合成処理（その３）を示すフローチャート。 変形例にかかる画像生成装置が行う処理を模式的に示す図。

符号の説明

１０...パーソナルコンピュータ（ＰＣ）
１１...ＣＰＵ
１２...ＲＯＭ
１３...ＲＡＭ
１４...ハードディスク（ＨＤ）
１５...ＤＶＤ−ＲＯＭドライブ
１７ａ...１３９４用Ｉ／Ｏ
１７ｂ〜ｅ...各種インターフェイス（Ｉ／Ｆ）
１８ａ...ディスプレイ
１８ｂ...キーボード
１８ｃ...マウス
２０...インクジェットプリンタ
３０...デジタルビデオカメラ
５１...画素
５２ａ〜ｄ...フレーム情報
５２ｃ１...中心
５３ａ，ｃ...オブジェクト
６１ａ...最短画素
６１ｂ〜ｄ...画素
１００...印刷システム
Ｄ１...映像情報
Ｄ２...フレーム情報
Ｄ３...複数のフレーム情報
Ｄ３１...参照フレーム情報
Ｄ３２...対象フレーム情報
Ｄ４...回転量情報
Ｄ５...並進量情報
Ｄ６...フレーム情報
Ｄ７...画像データ
Ｄ８...階調データ
Ｕ０...画像生成装置
Ｕ１...フレーム取得手段
Ｕ２...ずれ量取得手段
Ｕ３...変換手段
Ｕ４...合成手段

Claims (17)

1. 画像を多数の画素別の階調データで表現した多数のフレーム情報からなる映像情報から複数のフレーム情報を取得するフレーム取得手段と、
   上記複数のフレーム情報に基づいて、同複数のフレーム情報で表現される画像間の回転ずれを表す回転量情報を取得するずれ量取得手段と、
   取得された上記回転量情報に基づいて、上記複数のフレーム情報で表現される各画像の少なくとも一つを回転させて画像間の回転ずれを少なくするように同複数のフレーム情報の少なくとも一つを変換する変換処理を行う変換手段と、
   上記変換処理が行われた複数のフレーム情報を合成して画像を多数の画素で階調表現する画像データを生成する合成手段と、
   を具備し、
   上記フレーム取得手段は、上記映像情報から時系列順に第一、第二および第三のフレーム情報を取得し、
   上記ずれ量取得手段は、上記第一および第二のフレーム情報に基づいて同第一および第二のフレーム情報で表現される両画像の回転ずれを表す第一の回転量情報を取得するとともに、上記第二および第三のフレーム情報に基づいて同第二および第三のフレーム情報で表現される両画像の回転ずれを表す第二の回転量情報を取得し、
   上記変換手段は、上記第一の回転量情報に基づいて上記第二のフレーム情報で表現される画像を回転させて上記第一のフレーム情報で表現される画像との回転ずれを少なくするように同第二のフレーム情報を変換するとともに、上記第一および第二の回転量情報を足し合わせて得られる第三の回転量情報によって表わされる回転ずれをキャンセルするように、上記第三のフレーム情報で表現される画像を回転させて上記第一のフレーム情報で表現される画像との回転ずれを少なくするように同第三のフレーム情報を変換する変換処理を行うことを特徴とする画像生成装置。
2. 上記ずれ量取得手段は、上記複数のフレーム情報に基づいて、同複数のフレーム情報で表現される画像間の並進ずれを表す並進量情報を取得し、
   上記変換手段は、上記取得された並進量情報に基づいて、上記複数のフレーム情報で表現される各画像の少なくとも一つを並進させて画像間の並進ずれを少なくするように同複数のフレーム情報の少なくとも一つを変換する変換処理を行うことを特徴とする請求項１に記載の画像生成装置。
3. 上記変換手段は、上記回転量情報と並進量情報に基づいて、上記両画像のずれを少なくするように上記複数のフレーム情報の少なくとも一つの各画素の位置を当該画素よりも細かい単位で変換する変換処理を行うことを特徴とする請求項２に記載の画像生成装置。
4. 上記ずれ量取得手段は、上記複数のフレーム情報の上記画素の位置および当該画素の階調データに基づいて、最小自乗法により上記画像間の回転ずれと並進ずれを求める演算式を用いて当該回転ずれと並進ずれを求め、上記回転量情報と並進量情報を取得することを特徴とする請求項３に記載の画像生成装置。
5. 上記合成手段は、上記フレーム情報と異なる画素数で上記画像データを生成することを特徴とする請求項１〜請求項４のいずれかに記載の画像生成装置。
6. 上記合成手段は、上記画像データを上記フレーム情報よりも多い画素数で生成することを特徴とする請求項５に記載の画像生成装置。
7. 上記合成手段は、上記変換処理が行われた複数のフレーム情報から所定の補間処理を行って上記画像データを生成することを特徴とする請求項１〜請求項６のいずれかに記載の画像生成装置。
8. 上記合成手段は、上記画像データを生成する注目画素を順次移動させながら、上記複数のフレーム情報の全画素のうち同注目画素の周辺に存在する画素の階調データを用いて上記補間処理を行い、補間処理後の階調データから上記画像データを生成することを特徴とする請求項７に記載の画像生成装置。
9. 上記合成手段は、上記複数のフレーム情報の全画素のうち上記注目画素に最も近い画素の階調データを用いて上記補間処理を行うことを特徴とする請求項８に記載の画像生成装置。
10. 上記合成手段は、上記複数のフレーム情報のうち上記注目画素に最も近い画素を含むフレーム情報を用いて上記補間処理を行うことを特徴とする請求項９に記載の画像生成装置。
11. 上記合成手段は、上記複数のフレーム情報のうち上記注目画素を基準とした所定の範囲内の画素を含むフレーム情報を用いて上記補間処理を行うことを特徴とする請求項８〜請求項１０のいずれかに記載の画像生成装置。
12. 上記合成手段は、上記複数のフレーム情報のそれぞれについて上記補間処理を行い、当該補間処理後の各階調データをまとめることにより上記画像データを生成することを特徴とする請求項８〜請求項１１のいずれかに記載の画像生成装置。
13. 画像を多数の画素別の階調データで表現した多数のフレーム情報からなる映像情報から複数のフレーム情報を取得するフレーム取得手段と、
    上記複数のフレーム情報に基づいて、同複数のフレーム情報で表現される画像間の回転ずれを表す回転量を検出するずれ量検出手段と、
    検出された上記回転量に基づいて、上記複数のフレーム情報で表現される各画像の少なくとも一つを回転させて画像間の回転ずれを少なくするように同複数のフレーム情報の少なくとも一つを変換する変換処理を行う変換手段と、
    を具備し、
    上記フレーム取得手段は、上記映像情報から時系列順に第一、第二および第三のフレーム情報を取得し、
    上記ずれ量検出手段は、上記第一および第二のフレーム情報に基づいて同第一および第二のフレーム情報で表現される両画像の回転ずれを表す第一の回転量を検出するとともに、上記第二および第三のフレーム情報に基づいて同第二および第三のフレーム情報で表現される両画像の回転ずれを表す第二の回転量を検出し、
    上記変換手段は、上記第一の回転量に基づいて上記第二のフレーム情報で表現される画像を回転させて上記第一のフレーム情報で表現される画像との回転ずれを少なくするように同第二のフレーム情報を変換するとともに、上記第一および第二の回転量を足し合わせて得られる第三の回転量によって表わされる回転ずれをキャンセルするように、上記第三のフレーム情報で表現される画像を回転させて上記第一のフレーム情報で表現される画像との回転ずれを少なくするように同第三のフレーム情報を変換する変換処理を行うことを特徴とする画像ずれ量検出装置。
14. 画像を多数の画素別の階調データで表現した多数のフレーム情報からなる映像情報から複数のフレーム情報を取得するフレーム取得工程と、
    上記複数のフレーム情報に基づいて、同複数のフレーム情報で表現される画像間の回転ずれを表す回転量情報を取得するずれ量取得工程と、
    取得された上記回転量情報に基づいて、上記複数のフレーム情報で表現される各画像の少なくとも一つを回転させて画像間の回転ずれを少なくするように同複数のフレーム情報の少なくとも一つを変換する変換処理を行う変換工程と、
    上記変換処理が行われた複数のフレーム情報を合成して画像を多数の画素で階調表現する画像データを生成する合成工程と、
    を具備し、
    上記フレーム取得工程において、上記映像情報から時系列順に第一、第二および第三のフレーム情報を取得し、
    上記ずれ量取得工程において、上記第一および第二のフレーム情報に基づいて同第一および第二のフレーム情報で表現される両画像の回転ずれを表す第一の回転量情報を取得するとともに、上記第二および第三のフレーム情報に基づいて同第二および第三のフレーム情報で表現される両画像の回転ずれを表す第二の回転量情報を取得し、
    上記変換工程において、上記第一の回転量情報に基づいて上記第二のフレーム情報で表現される画像を回転させて上記第一のフレーム情報で表現される画像との回転ずれを少なくするように同第二のフレーム情報を変換するとともに、上記第一および第二の回転量情報を足し合わせて得られる第三の回転量情報によって表わされる回転ずれをキャンセルするように、上記第三のフレーム情報で表現される画像を回転させて上記第一のフレーム情報で表現される画像との回転ずれを少なくするように同第三のフレーム情報を変換する変換処理を行うことを特徴とする画像生成方法。
15. 画像を多数の画素別の階調データで表現した多数のフレーム情報からなる映像情報から複数のフレーム情報を取得するフレーム取得工程と、
    上記複数のフレーム情報に基づいて、同複数のフレーム情報で表現される画像間の回転ずれを表す回転量を検出するずれ量検出工程と、
    検出された上記回転量に基づいて、上記複数のフレーム情報で表現される各画像の少なくとも一つを回転させて画像間の回転ずれを少なくするように同複数のフレーム情報の少なくとも一つを変換する変換処理を行う変換工程と、
    を具備し、
    上記フレーム取得工程において、上記映像情報から時系列順に第一、第二および第三のフレーム情報を取得し、
    上記ずれ量検出工程において、上記第一および第二のフレーム情報に基づいて同第一および第二のフレーム情報で表現される両画像の回転ずれを表す第一の回転量を検出するとともに、上記第二および第三のフレーム情報に基づいて同第二および第三のフレーム情報で表現される両画像の回転ずれを表す第二の回転量を検出し、
    上記変換工程において、上記第一の回転量に基づいて上記第二のフレーム情報で表現される画像を回転させて上記第一のフレーム情報で表現される画像との回転ずれを少なくするように同第二のフレーム情報を変換するとともに、上記第一および第二の回転量を足し合わせて得られる第三の回転量によって表わされる回転ずれをキャンセルするように、上記第三のフレーム情報で表現される画像を回転させて上記第一のフレーム情報で表現される画像との回転ずれを少なくするように同第三のフレーム情報を変換することを特徴とする画像ずれ量検出方法。
16. 画像を多数の画素別の階調データで表現した多数のフレーム情報からなる映像情報から複数のフレーム情報を取得するフレーム取得機能と、
    上記複数のフレーム情報に基づいて、同複数のフレーム情報で表現される画像間の回転ずれを表す回転量情報を取得するずれ量取得機能と、
    取得された上記回転量情報に基づいて、上記複数のフレーム情報で表現される各画像の少なくとも一つを回転させて画像間の回転ずれを少なくするように同複数のフレーム情報の少なくとも一つを変換する変換処理を行う変換機能と、
    上記変換処理が行われた複数のフレーム情報を合成して画像を多数の画素で階調表現する画像データを生成する合成機能と、
    をコンピュータに実現させるとともに、
    上記フレーム取得機能として、上記映像情報から時系列順に第一、第二および第三のフレーム情報を取得し、
    上記ずれ量取得機能として、上記第一および第二のフレーム情報に基づいて同第一および第二のフレーム情報で表現される両画像の回転ずれを表す第一の回転量情報を取得するとともに、上記第二および第三のフレーム情報に基づいて同第二および第三のフレーム情報で表現される両画像の回転ずれを表す第二の回転量情報を取得し、
    上記変換機能として、上記第一の回転量情報に基づいて上記第二のフレーム情報で表現される画像を回転させて上記第一のフレーム情報で表現される画像との回転ずれを少なくするように同第二のフレーム情報を変換するとともに、上記第一および第二の回転量情報を足し合わせて得られる第三の回転量情報によって表わされる回転ずれをキャンセルするように、上記第三のフレーム情報で表現される画像を回転させて上記第一のフレーム情報で表現される画像との回転ずれを少なくするように同第三のフレーム情報を変換する変換処理を行うことを上記コンピュータに実現させることを特徴とする画像生成プログラム。
17. 画像を多数の画素別の階調データで表現した多数のフレーム情報からなる映像情報から複数のフレーム情報を取得するフレーム取得機能と、
    上記複数のフレーム情報に基づいて、同複数のフレーム情報で表現される画像間の回転ずれを表す回転量を検出するずれ量検出機能と、
    検出された上記回転量に基づいて、上記複数のフレーム情報で表現される各画像の少なくとも一つを回転させて画像間の回転ずれを少なくするように同複数のフレーム情報の少なくとも一つを変換する変換処理機能と、
    をコンピュータに実現させるとともに、
    上記フレーム取得機能として、上記映像情報から時系列順に第一、第二および第三のフレーム情報を取得し、
    上記ずれ量検出機能として、上記第一および第二のフレーム情報に基づいて同第一および第二のフレーム情報で表現される両画像の回転ずれを表す第一の回転量を検出するとともに、上記第二および第三のフレーム情報に基づいて同第二および第三のフレーム情報で表現される両画像の回転ずれを表す第二の回転量を検出し、
    上記変換処理機能として、上記第一の回転量に基づいて上記第二のフレーム情報で表現される画像を回転させて上記第一のフレーム情報で表現される画像との回転ずれを少なくするように同第二のフレーム情報を変換するとともに、上記第一および第二の回転量を足し合わせて得られる第三の回転量によって表わされる回転ずれをキャンセルするように、上記第三のフレーム情報で表現される画像を回転させて上記第一のフレーム情報で表現される画像との回転ずれを少なくするように同第三のフレーム情報を変換する変換処理を行うことを上記コンピュータに実現させることを特徴とする画像ずれ量検出プログラム。

Images