JP4566591B2 - 画像変形推定方法および画像変形推定装置 - Google Patents

Description

本発明は、動画撮影時でのカメラの振れ等により生じる動画のフレーム画像間における画像の変形を表現する情報を得る方法および装置に関する。

従来、ビデオカメラなどの撮像装置において手振れなどのカメラ振れによる画像の振れを補正する技術に関して種々の方式が提案されている。また、画像振れ補正技術を構成する画像の動き検出技術に関しても様々な方式が存在する。そのうちの一つとして、動画像を構成するフレーム画像間において複数の動きベクトルを検出し、それらの動きベクトルから画面全体を代表する動きベクトルを求めることで、画像の動きを検出する技術がある。しかし、一般に画像振れ補正のために用いられている画像の動き検出方法および装置は、水平および垂直方向における画像の動きのみを検出するものであり、撮影装置の回転などを含む複雑な画像の振れが発生する場合には正確な振れの検出を行うことができず、撮影画像に振れが残るという問題がある。

また、カメラ振れによって生じる動きベクトルは画像の拡大縮小、回転、水平および垂直移動の動き成分の和であるため、水平および垂直移動の動きを正確に検出するためには、拡大縮小、回転などの他の振れの影響を除去しなければならない。このため、水平および垂直方向の動きに加え、回転などの動きの検出が可能な、あるいは個々の振れの成分が正確に検出できる画像の動き検出技術の開発が望まれている。

カメラ振れによって、フレーム画像間においては、拡大縮小、回転、水平および垂直移動といった画像の変形（幾何学的変形）が生じるが、これを表現するモデルの一つにアフィン変換がある。カメラ振れにより生じる画像の変形は次式のように行列の形で表現できる。

また、カメラ振れにより生じる動きベクトルは次式のモデルで表現できる。

ここで、（ｘ，ｙ）は画像上の任意の座標であり、（ｘ’，ｙ’）は座標（ｘ，ｙ）がカメラ振れによって移動した座標である。（ν_ｘ，ν_ｙ）は、座標（ｘ，ｙ）における動きベクトルのｘ成分、ｙ成分である。ａ，ｂ，ｃ，ｄはカメラ振れによって生じる画像の変形を表現する座標変換パラメータであり、ａ’，ｂ’，ｃ’，ｄ’はカメラ振れによって生じる画像の動きを表現する動きパラメータである。

このアフィン変換を用いると、カメラ振れにより生じる画像上の任意の座標における画像の変形や動きベクトルを４つのパラメータで表現でき、画像の変形に着目する場合はａ，ｂ，ｃ，ｄ、画像の動きに着目する場合にはａ’，ｂ’，ｃ’，ｄ’を求めることで画像全体の変形または動きの検出が可能である。

上述したモデルを用いて画像の動きを検出する技術は、特許文献１〜４などに開示されている。
特許第２５８６６８６号（特許請求の範囲等） 特許第２５０６５００号（３頁左上欄１行〜４頁左上欄１１行等） 特開平９−２１２６４９号（段落０００８〜００４１等） 特開平１０−２３３９５８号（段落００１５〜００５３等）

特許文献１の方法においては、画素毎または小領域毎に検出された動きベクトルとカメラ振れにより生じる動きのモデルに対して最小二乗誤差法を適用し、画像全体の動きを表現する動きパラメータを検出している。また、フィルタを用いることで、動きベクトル検出の誤差を除去し、精度の向上を図っている。

しかしながら、特許文献１の方法では、被写体の動きなどある程度の大きさの領域でカメラ振れと異なる動きが存在する場合にはその動きをフィルタでは完全に除去することはできず、カメラ振れにより生じる動きの検出という観点では精度が十分ではない。

また、特許文献２の方法においては、複数の動きベクトルを用いて算出された変換係数により画像の他の位置の動き量を予測し、その予測値と実際に検出された動きベクトルとの差がしきい値以下となる領域の数が最大となる領域の動きベクトルのみを用いて画像全体の動きを推定している。

この特許文献２の方法では、変換係数を用いて展開された動きベクトルと、検出された動きベクトルとの差をもとに同一の動きであるか否かを繰り返し判定しているため、計算量が多い。

また、特許文献３の方法では、局所的に検出された動きベクトルのうちの一部の複数の動きベクトルを用いて動きパラメータの算出を行い、これを繰り返すことにより複数の動きパラメータを求める。そして、それらのうち頻度の高い動きパラメータ値を画像全体を代表する動きパラメータ値として推定している。

この特許文献３の方法では、頻度の高い動きパラメータを画面全体のパラメータとしているが、複数のピークが発生したり、明確なピークが存在しない場合に間違ったパラメータを画面全体に対するパラメータ値として決定したりしてしまう可能性がある。

さらに、特許文献４の方法では、動きベクトルの特徴空間内での分布を考慮することで、基本的なカメラ操作に対するパラメータ値を求めている。この特許文献４の方法では、カメラ振れそれぞれのパラメータ値を算出することが可能であるが、クラスタリングなどの複雑な処理が必要である。

ビデオカメラなどの撮影装置における画像振れ補正に対しては、カメラ振れによる画像の動きを様々な条件下で、高速、かつ精度良く検出する必要がある。このため、上述の技術の課題を改善し、被写体の動きや動き検出の誤差に影響されずにカメラ振れによる画像の動きを高速に、精度良く、かつ撮影条件に影響を受けずに検出できる画像の動き検出方法および装置の開発が必要である。また、画像の振れを補正することを考慮した場合、検出するパラメータは画像中の動きベクトルを表現する動きパラメータよりも、画像の変形を表現する座標変換パラメータが有利である。

また、拡大縮小や回転による動きの大きさは画像中心からの距離に比例するため、拡大縮小や回転による微小な動きは画像の周辺部にしか現われない場合が多い。しかし上述した方法では、画像全体の動きを表現するパラメータを算出する際に用いられる画像上の動きベクトルを均一に扱っているため、画像の周辺部にしか現われない微小な動きを検出できない場合がある。これらの誤差は微小ではあるが、隣接フレーム画像間におけるパラメータを積算することで離れたフレーム画像間におけるパラメータを算出する際には、この誤差が蓄積され、不都合を生じさせる。

さらに、上述した方法はいずれも魚眼レンズなどの歪みのある動画像までは考慮されていない。

そこで、本発明は、簡易な処理で精度良く、かつ撮影条件にほとんど影響を受けずに、カメラ振れによって生じるフレーム画像間の画像の変形を表現する情報を得ることができる画像変形推定方法および装置を提供することを目的としている。

また、本発明は、魚眼画像などの歪みのある動画像のフレーム画像間での動きを検出する方法および装置を提供することを目的としている。

上記の目的を達成するために、本発明の画像変形推定方法および装置では、まず動画を構成するフレーム画像において複数の局所領域を設け、該複数の局所領域における複数のフレーム画像間での動きをそれぞれ示す複数の動きベクトルを得る。次に、該複数の動きベクトルを用いて画像の変形を表現する複数の第１の座標変換パラメータを得る。次に、複数の選択規則を用意し、該選択規則ごとに複数の第１の座標変換パラメータを選択し、さらに該選択された複数の第１の座標変換パラメータを代表する第２の座標変換パラメータを選択規則ごとに得る。そして、複数の選択規則に対して得られた複数の第２の座標変換パラメータを用いて、画像全体の変形を表現する第３の座標変換パラメータを得る。このとき、選択規則ごとに第１の座標変換パラメータの大きさに応じた該第１の座標変換パラメータの頻度分布を求め、該頻度分布に基づいて第２の座標変換パラメータを得る。また、複数の第２の座標変換パラメータに対して、該各第２の座標変換パラメータを得るために用いた局所領域の数および画像中の基準位置からの距離のうち少なくとも一方に応じた重み付けをし、該重み付けした複数の第２の座標変換パラメータとの差が最小となる第３の座標変換パラメータを得る。

ここで、フレーム画像が魚眼画像である場合は、動きベクトルに対して魚眼歪成分の補正処理を行い、該補正処理された動きベクトルを用いて第１の座標変換パラメータを得るとよい。

上記発明によれば、簡易な処理で精度良く、かつ撮影条件にほとんど影響を受けずに、カメラ振れによって生じるフレーム画像間の画像の変形を表現する情報（第３の座標変換パラメータ）を得ることができる。

さらに、魚眼画像などの歪みのある動画像のフレーム画像間での動きも簡易かつ精度良く検出することができる。

以下、本発明の実施例について図面を参照しながら説明する。

図１は、本発明の実施例１である座標変換パラメータ推定装置（画像変形推定装置、以下の実施例でも同じ）の構成を示すブロック図である。なお、図１７に示すように、本実施例の座標変換パラメータ推定装置６１０は、デジタルカメラやビデオカメラ等の動画撮影が可能な撮像装置６００に搭載され、該撮像装置６００のいわゆる手振れ補正システム６０２の振れ検出部として使用される。撮像装置６００には、動画撮影を行う撮像系が搭載されている。該撮像系は、撮影光学系６０５と、ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子６０１と、該撮像素子６０１からの信号を処理して映像信号を生成する信号処理回路６０３等により構成されている。また、手振れ補正システム６０２には、座標変換パラメータ推定装置６１０からの出力（後述する全体代表座標変換パラメータ）に基づいて映像信号（フレーム画像）の振れを補正する振れ補正回路６１１も設けられている。振れ補正回路６１１において振れ補正がなされた映像信号（フレーム画像）は、モニタ６０７や記録媒体（半導体メモリ、光ディスク、磁気ディスク等）６０８に出力され、表示又は記録される。但し、撮像装置とは別体の装置として設けられてもよい。以上のことは、以下の実施例でも同様である。

図１に示す各構成要素の処理シーケンスは、図１中に示していないが、該座標変換パラメータ推定装置の全体を制御する制御部により制御されている。

同図において、１０１は局所的動き検出部であり、入力された動画像データ１００−１を構成するフレーム画像間における局所的な動きベクトルを検出する。動き検出点選択回路１０１−１は、動き検出を行う検出点の座標を指定する回路である。検出点は、画素単位でも複数の画素を含む小領域単位のいずれでもよく、該検出点の位置および配置は任意に設定することが可能である。本実施例では、図３に示すように、検出点３２を画像３１の中心位置を中心とした複数の同心円上に、検出点３２を複数個ずつ配置している。さらに詳しくは、各検出点３２に対し、画像中心に関する点対称の位置に他の検出点が存在するように、各同心円上において複数の検出点３２を配置している。

１０１−２は動き検出回路であり、動き検出点選択回路１０１−１により指定された座標においてブロックマッチングを行い、各検出点における動きベクトル１００−２を算出する。

１０２は局所演算により座標変換パラメータ（第１の座標変換パラメータ）１００−３を算出する局所パラメータ算出部であり、入力された動きベクトル１００−２のうち所定数の局所的な動きベクトルから（１）式中のａ，ｂ，ｃ，ｄである４つの座標変換パラメータを算出する。

動きベクトル選択回路１０２−１は、点対称の位置関係にある２つの検出点の動きベクトルを選択する。局所パラメータ算出回路１０２−２は、選択された２つの検出点の動きベクトルから座標変換パラメータを算出する。ここで算出される座標変換パラメータは、局所的に検出された動きベクトルを２つ用いて算出されたものであり、以下これらの座標変換パラメータを局所座標変換パラメータ１００−３という。局所座標変換パラメータは、それぞれ異なる２つの検出点の動きベクトルを用いて複数算出される。

１０３は後述する選択規則を代表する座標変換パラメータを算出する規則代表パラメータ算出部であり、局所座標変換パラメータを所定の選択規則に従って複数選択し、さらにそれらの代表値としての座標変換パラメータ（第２の座標変換パラメータ）１００−４を算出する。具体的には、局所パラメータ選択回路１０３−１において、各選択規則に対して複数の局所座標変換パラメータが選択される。

本実施例では、図４に示すように、４つの選択規則１〜４を設定しており、選択規則１は、互いに径が異なる４つの同心円のうち最も径の小さな同心円（すなわち、同一の同心円）４２上の座標変換パラメータを選択する規則である。また、選択規則２は、２番目に径の小さな同心円４３上の座標変換パラメータを選択する規則、選択規則３は、２番目に径の大きな同心円４４上の座標変換パラメータを選択する規則、選択規則４は、最も径の大きな同心円４５上の座標変換パラメータを選択する規則である。局所パラメータ選択回路１０３−１は上記選択規則１〜４に従って、選択規則ごとに複数の局所座標変換パラメータを選択し、頻度分布作成回路１０３−２は、それら同心円ごとに選択された複数の座標変換パラメータの頻度分布を作成する。

また、頻度分布作成回路１０３−２は、作成した頻度分布に対してガウシアン関数をコンボリューションする。そして、同心円ごと（つまりは選択規則ごと）の局所座標変換パラメータの頻度分布は規則代表パラメータ算出回路１０３−３により評価され、その評価に基づいて、各選択規則を代表する座標変換パラメータを算出する。選択規則を代表する座標変換パラメータとは、該選択規則に従って選択された複数の局所座標変換パラメータから算出される、それらを代表する座標変換パラメータである。本実施例では、これを以下、規則代表座標変換パラメータ１００−４という。これにより、同心円毎に１つの規則代表座標変換パラメータが算出される。図４に示す場合においては、４つの選択規則をそれぞれ代表する４つの規則代表座標変換パラメータが算出される。

１０４は全体代表パラメータ算出部であり、複数の規則代表座標変換パラメータ１００−４から、カメラ振れにより生じた画面全体の変形を代表して表現する座標変換パラメータ（以下、全体代表座標変換パラメータという：第３の座標変換パラメータ）を算出する。１０４−１は重み付き誤差算出回路であり、規則代表パラメータ算出部１０３により算出された同心円毎の規則代表座標変換パラメータ間での重み付き誤差を算出する。１０４−２は全体代表パラメータ算出回路であり、重み付き誤差が最も小さくなる座標変換パラメータを、全体代表座標変換パラメータ１００−５として決定し、出力する。

本実施例では、重み付き誤差算出回路１０４−１で誤差に乗算する重みは、画像の中心からの距離が大きい同心円ほど大きく設定しており、図４においては、選択規則４（同心円４５）の代表値との誤差の重みが最も重い。以上の構成により、局所的に検出された動きベクトルからカメラ振れにより生じる画面全体の変形を表現する全体代表座標変換パラメータの算出が可能である。

次に、本実施例の処理手順について、図２のフローチャートを用いてより詳細に解説する。まず、局所的動き検出部１０１でステップS１０１の処理が行われる。ステップS１０１では、指定された検出点において動きベクトルの検出を行う。検出点３２は図３のように画面３１内で複数の同心円上に配置されており、各検出点３２においてブロックマッチングにより動きベクトルを検出する。

ステップS１０２では、検出点の全てに対して動きベクトル検出が行われたか否かを判定し、Yesの場合はステップS１０３に進み、Noの場合はステップS１０１に戻り、動きベクトルの検出を繰り返す。

ステップS１０１により検出された動きベクトルのうち画像中心に関して点対称の位置関係にある２つの検出点３２の動きベクトルを用いて、ステップＳ１０３において局所演算による座標変換パラメータを算出する。座標変換パラメータは以下のように算出される。座標（ｘ，ｙ）の検出点３２における動きベクトルは次式のように表される。

点対称の位置（−ｘ，−ｙ）にある動きベクトルは、

と表される。ここで、ν_ｘ，ν_ｙはそれぞれの位置において検出された動きベクトルのｘ成分、ｙ成分である。これらの式から各局所座標変換パラメータを求めると次式のようになる。

本実施例では、画像中心に関して点対称の位置にある２つの動きベクトルから、式（５）を用いて座標変換パラメータの算出を行う。

ステップＳ１０４では、全ての点対称の位置関係にある検出点３２の動きベクトルの組について局所座標変換パラメータが算出されたかを判定し、Yesの場合はステップＳ１０５に進み、Noの場合はステップＳ１０３に戻って局所座標変換パラメータの算出を繰り返す。本実施例では、算出された局所座標変換パラメータは、図４に示すように、画面４１の下半分の検出点４６において算出されたものとする。ステップS１０３、Ｓ１０４の処理は、局所パラメータ算出部１０２で行われる。

ステップＳ１０５では、選択規則を代表する座標変換パラメータ（規則代表パラメータ）を決定する。本実施例では、図４に示すように、選択規則が４つ（選択規則１〜４）設けられており、各選択規則に対応する４つの同心円４２〜４５上から複数の局所座標変換パラメータを選択する。選択された局所座標変換パラメータは、選択規則ごとにグループ化される。そして、そのグループごとに（つまりは選択規則ごとに）、複数の局所座標変換パラメータの代表値である規則代表座標変換パラメータが算出される。

具体的には、まずステップＳ１０５−１で、図５に示すように、ステップＳ１０３にて選択された局所座標変換パラメータの頻度分布を選択規則ごとに作成する。さらに、作成した頻度分布に対してガウシアン関数をコンボリューションする。

図５（Ａ）は、1つの同心円上から選択された局所座標変換パラメータの頻度分布５１を示しており、図５（Ｂ）は、この頻度分布５１に対してガウシアン関数５３をコンボリューションした後の頻度分布５２をそれぞれ模式的に示している。

ステップＳ１０５−２では、このコンボリューション後の頻度分布において最大の値となる座標変換パラメータを規則代表座標変換パラメータとして算出する。

同心円上の座標変換パラメータで頻度分布を作成すると、座標変換パラメータの数が少なく、また、動き検出に誤差が含まれるため明確なピークが存在しない場合が発生する。そこで単峰性の波形をしたガウシアン関数をコンボリューションすることにより、頻度分布を平滑化し、周辺に分布をもつ値が最大頻度となりやすいようにしている。これにより、頻度が高く、かつ、周辺に分布をもつパラメータ値を代表値と算出しやすくなり、各同心円毎に正確な代表値が算出できるようにしている。選択規則を代表する座標変換パラメータ算出部１０３はこのＳ１０５の処理を行う。ステップS１０６では全ての選択規則に対して代表値が算出されたかを判定し、Yesの場合はS１０７に進む。Noの場合はS１０５に戻り、規則代表座標変換パラメータの算出を繰り返す。

各選択規則に対して規則代表座標変換パラメータが算出されると、ステップＳ１０７において画像全体を代表する座標変換パラメータ（全体代表座標変換パラメータ）を算出する。まず、ステップＳ１０７−１において、４つの規則代表座標変換パラメータ間の重み付き誤差を式（６）を用いて算出する。ここではパラメータａについてのみ示しているが、その他のパラメータｂ，ｃ，ｄについても同様な計算により誤差を算出する。

ここで、ａ，ｗの右肩に付されたインデックスは、選択規則の番号（本実施例では、径の小さい同心円から順に１，２，３，４とインデックスを付与している）であり、ｗ^ｋ（ｌ）は選択規則ｋの規則代表座標変換パラメータに対する選択規則ｌの規則代表座標変換パラメータの誤差の重みである。

上式のように、注目している選択規則の規則代表座標変換パラメータとその他の選択規則の規則代表座標変換パラメータとの差の絶対値をとり、それに重みを乗算した値の和がここでの重み付き誤差となる。重みはここでは次式のように設定している。

ここで、ｗ_n ^ｋ（ｌ）は、ｋ番目の選択規則によって選択される局所座標変換パラメータとｌ番目の選択規則によって選択される局所座標変換パラメータの数の比に関する重みであり、選択規則で選択される局所座標変換パラメータの数の不均一さを補正する。本実施例のように、選択規則を同心円上から局所座標変換パラメータを選択するように設定する場合、径が大きい同心円上ほど多くの局所座標変換パラメータが選択される。このため、径が大きい同心円の選択規則を代表する座標変換パラメータとの誤差ほど重みｗ_ｎ ^ｋ（ｌ）を大きく設定している。本実施例では、選択規則ごとに選択される局所座標変換パラメータの数の比を用いている。

ここで、Ｎ^ｌはｌ番目の、Ｎ^ｋはｋ番目の選択規則によって選択される局所座標変換パラメータの数である。
また、ｗ_r ^ｋ（ｌ）はｋ番目の選択規則を代表する局所座標変換パラメータ（規則代表座標変換パラメータ）とｌ番目の選択規則を代表する局所座標変換パラメータ（規則代表座標変換パラメータ）の画像中心からの距離の比に関する重みである。本実施例では、規則代表座標変換パラメータの位置の画像中心からの距離の比を用いている。

ここで、Ｒ^ｌはｌ番目の、Ｒ^ｋはｋ番目の選択規則を代表する局所座標変換パラメータ（規則代表座標変換パラメータ）の位置の画像中心からの距離である。

画像の回転、拡大縮小では、周辺部分ほど動きベクトルが大きくなる。このため、微小な拡大縮小や回転の動きベクトルは、画像の周辺部分にしか現われない場合ある。そこで本実施例では、画像中心からの距離が大きい規則代表座標変換パラメータとの誤差ほど重みを大きく設定している。これにより、画面内の座標変換パラメータを均一に扱う場合には検出するのが難しい微小な拡大縮小、回転などの検出が可能となる。なお、本実施例では、規則代表座標変換パラメータへの重み付けに対して、該規則代表座標変換パラメータを求めるために用いた検出点の数および画像中心からの距離の双方を考慮しているが、これらのうちいずれか一方のみ考慮して重み付けを行ってもよい。

重み付きの誤差がすべての選択規則を代表する座標変化パラメータに対して算出されると、ステップＳ１０７−２において、算出された重み付き誤差が最も小さい座標変換パラメータを画面全体の変形を代表する座標変換パラメータとして決定する。

このように本実施例では、選択規則ごとに選択された複数の局所座標変換パラメータから、その頻度分布に基づいて代表値（規則代表座標変換パラメータ）を算出し、さらに各選択規則に対して算出された代表値間で比較を行い、重み付き誤差が最小となる座標変換パラメータを画面全体の変形を代表する座標変換パラメータ（全体代表座標変換パラメータ）として算出している。すなわち、複数の規則代表座標変換パラメータに対して、各規則代表座標変換パラメータを得るために用いた局所領域の数および画像中の基準位置からの距離のうち少なくとも一方に応じた重み付けをし、該重み付けした複数の規則代表座標変換パラメータとの差（誤差）が最小となる全体代表座標変換パラメータを決定する。
複数の局所座標変換パラメータの中から頻度の高いパラメータ値を代表値として算出することで、局所的な動きや動き検出時の誤差に影響されない、言い換えれば画面内で支配的な座標変換パラメータを抽出することができる。

そして、これらの複数の代表値に対して誤差が最小となるような座標変換パラメータを画面全体の代表値とすることで、カメラ振れとは関係のない動きの影響をほとんど受けず、さらに画像全体に対して誤差の少ない最適な座標変換パラメータを算出することが可能である。

また、頻度分布を用いて代表値を選択する際に間違った代表値を選択してしまった場合においても、複数の代表値間の誤差を考慮することで、該間違った代表値の影響を軽減もしくは除去することができ、精度の高い推定が可能である。

また、頻度分布をガウシアン関数で平滑化することにより、母数が少ない場合や明確なピークが存在しなかったり複数のピークが存在したりする場合においても、周辺の分布を考慮し、精度のよい代表値の算出ができる。また、母数を増加するために座標変換パラメータの算出を繰り返す必要がなく、計算量の増加を抑制することができる。

また、画像中心からの距離が遠い（同心円の径が大きい）選択規則を代表する座標変換パラメータとの誤差ほど重みを大きくすることで、全体代表座標変換パラメータの算出において、微小な拡大縮小、回転が検出しやすい画像周辺部の座標変換パラメータの影響が大きくなるので、微小な画像の回転、拡大縮小の検出が可能である。

また、本実施例では、動き検出点を複数の同心円状に配置した場合について説明したが、本発明では、同心円状の配置に限らず、例えば格子状に配置してもよい。また、検出点の密度を画像内で変更することも可能である。

また、本実施例では、点対称の位置関係にある２つの検出点の動きベクトルから局所座標変換パラメータを算出する場合について説明したが、本発明はこれに限らず、例えばｘ軸に対称な位置関係［（ｘ，ｙ），（ｘ，−ｙ）］にある２つの検出点の動きベクトルを用いて局所座標変換パラメータを算出してもよい。この場合には、局所座標変換パラメータは次式を用いて算出することが可能である。ただし、以下の式を用いる場合、ｘ軸上に検出点を配置することはできない。

また、パラメータごとに異なる動きベクトルを選択することで、計算量の削減が可能である。例えば、ａ，ｂはｘ軸に関して対称な２つの検出点の動きベクトルを用い、ｃ，ｄは画像中心に関して点対称な２つの検出点の動きベクトルを用いて座標変換パラメータを推定することで、計算量を削減することができる。

また、本実施例においては、同じ同心円上の局所座標変換パラメータを１つのグループとし、そのグループ中から代表値（規則代表座標変換パラメータ）を算出しているが、例えば、画面を複数個に分割し、それぞれの分割領域内の局所座標変換パラメータを１つのグループとしてその代表値を算出してもよいし、モザイク状にグループ化し、その代表値を算出してもよい。

また、本実施例においては、頻度分布に対してガウシアン関数をコンボリューションしているが、本発明では、ガウシアン関数に限らず、単峰性の（ピークが１つである）関数であればよい。

また、本実施例においては、選択規則を代表する座標変換パラメータ間で重み付き誤差を算出し、その誤差が最小となる座標変換パラメータを、画面全体を代表する座標変換パラメータとしているが、本発明ではこれに限らず、例えば、選択規則を代表する座標変換パラメータの平均値を画面全体を代表する座標変換パラメータとしてもよい。

また、本実施例においては、選択規則を代表する座標変換パラメータ間の重み付き誤差を算出する際に、画像中心からの距離が大きい同心円上の局所座標変換パラメータとの誤差ほど距離に関する重みを大きくしているが、これは座標変換パラメータごとに設定でき、画像の拡大縮小、回転を表すａ，ｂに関しては径が大きい同心円の座標変換パラメータとの誤差に対する距離に関する重みを大きくし、水平移動、垂直移動を表すｃ，ｄに関しては距離に関する重みを全ての座標変換パラメータ間の誤差で均一にしてもよい。また、本実施例においては、微小な拡大縮小、回転を検出するために画像の周辺部を重視しているが、画像の中心付近の変形を重視したい場合は、画像中心からの距離が小さい代表値との誤差ほど重みを大きくすればよい。

図６は、本発明の実施例２である座標変換パラメータ推定装置の構成を示すブロック図である。実施例１では、複数の検出点の動きベクトルから座標変換パラメータを算出し、該座標変換パラメータに対して各種処理を行って画面全体を代表する座標変換パラメータを算出したが、本実施例では、動きベクトルに各種処理を施して画面全体を代表する座標変換パラメータを算出する。

図６において、各構成要素における処理シーケンスは、図中には示していない座標変換パラメータ推定装置全体を制御する制御部により制御されている。

同図において、局所的動き検出部２０１、動き検出点選択回路２０１−１および動き検出回路２０１−２は実施例１と同様であるので、説明を省略する。

２０２は動き成分分離部であり、検出点において検出された動きベクトル（第１の情報）２００−２を拡大縮小、回転、水平および垂直移動の各動き成分（画像変形成分）２００−３に分離する。具体的には、まず選択回路２０２−１によって、画像中心に関して点対称の位置関係にある２つの検出点の動きベクトルが選択され、動き成分分離回路２０２−２において、指定された動きベクトルに対して、これを拡大縮小成分、回転成分、水平移動成分、垂直移動成分に分離する演算を行う。

２０３は代表動き成分算出部であり、分離された各動き成分２００−３から複数の選択規則のそれぞれに従って、選択規則ごとに複数の動き成分を選択し、さらに各選択規則の代表値である規則代表動き成分２００−４を算出する。

具体的には、動き成分選択回路２０３−１において、各選択規則に従って、同一種類の動き成分が複数ずつ選択され、これら選択された複数の動き成分の大きさに関する頻度分布が頻度分布作成回路２０３−２により選択規則ごとおよび動き成分ごとに作成される。

本実施例では、実施例１と同様に、複数の選択規則はそれぞれ、同一の同心円上の動き成分を選択する規則として設定している。

そして、頻度分布作成回路２０３−２は、作成した頻度分布に対してガウシアン関数をコンボリューションする。各選択規則に対する各動き成分の頻度分布は、動き成分算出回路２０３−３により評価され、その評価に基づいて該選択規則および該動き成分の種類を代表する規則代表動き成分を算出する。

これにより、同心円（選択規則）ごとに拡大縮小成分、回転成分、水平移動成分および垂直移動成分の代表値が１つずつ算出される。

２０４は全体代表パラメータ算出部であり、入力された各選択規則の規則代表動き成分２００−４から、カメラ振れにより生じる画面全体の変形を代表して表現する座標変換パラメータ（全体代表座標変換パラメータ）２００−５を算出する。

具体的には、規則代表パラメータ算出回路２０４−１は、代表動き成分算出部２０３から選択規則ごとおよび動き成分の種類ごとの規則代表動き成分を入力し、これら規則代表動き成分から、選択規則を代表する座標変換パラメータ（規則代表座標変換パラメータ）を算出する。各選択規則に対する規則代表座標変換パラメータが算出されると、重み付き誤差算出回路２０４−２により、規則代表座標変換パラメータ間での重み付き誤差を算出する。この重み付き誤差は、全体代表パラメータ算出回路２０４−３で評価され、誤差が最も小さい座標変換パラメータが画面全体を代表する座標変換パラメータ（全体代表座標変換パラメータ）２００−５として算出される。

次に、本実施例における各処理の手順について、図７のフローチャートを用いてより詳細に解説する。まず ステップS２０１，S２０２は、実施例１と同様であり、複数の同心円上に配置された検出点においてブロックマッチングを用いて動きベクトルの検出を行う。

次に、ステップS２０３では、検出された動きベクトルを、拡大縮小、回転、水平移動および垂直移動の各成分に分離する。カメラ振れにより生じる動きベクトルが拡大縮小、回転、垂直移動および水平移動成分から構成されているとすると、図８に示すように、画面８１において、画像中心に関して点対称の位置関係にある検出点８２，８３の動きベクトルは、各成分の大きさが等しく、その方向は垂直移動および水平移動成分においては等しく、拡大縮小および回転成分においては逆となる。

ここで、Ｖ（ｘ，ｙ）は、（ｘ，ｙ）の位置で検出された動きベクトルであり、ν_ｓ（ｘ，ｙ），ν_ｒ（ｘ，ｙ），ν_ｔｘ（ｘ，ｙ），ν_ｔｙ（ｘ，ｙ）はそれぞれ、Ｖ（ｘ，ｙ）を構成する拡大縮小、回転、垂直移動、水平移動成分である。φは画像中心と検出点の位置（ｘ，ｙ）を結ぶ線とｘ軸とのなす角度である。これらの関係を用いると、

となり、垂直移動成分および水平移動成分と、拡大縮小および回転成分とに容易に分離できる。これにより、各成分は、式（１２）のように分離することができる。

ステップS２０３では、式（１２）を用いて、点対称の位置関係にある２つの検出点の動きベクトルを、拡大縮小、回転、垂直移動および水平移動成分に分離する。ステップS２０４では、点対称の位置関係にある動きベクトルの組について、すべて動き成分の分離が行われたかを判定し、Yesの場合は次のステップへ、Noの場合は、ステップS２０３の処理を繰り返す。図６に示す構成では、動き成分分離部２０２で、ステップS２０３の処理が行われる。

ステップS２０５では、分離された各動き成分を所定の選択規則に従って複数選択し、それらの代表値を算出する。まず、ステップS２０５−１では、同心円（選択規則）ごとに、動きベクトルから分離された拡大縮小、回転、垂直移動および水平移動成分の４つの成分それぞれの大きさの頻度分布を作成する。さらに、各頻度分布に対してガウシアン関数をコンボリューションする。

ステップS２０５−２では、このガウシアン関数がコンボリューションされた頻度分布において、最大となる値を各選択規則および各動き成分を代表する規則代表動き成分の大きさとして算出する。

ステップS２０６では、ステップS２０５の処理が全ての選択規則に対して行われたかを判定し、全ての選択規則において規則代表動き成分が算出されると、次のステップに進む。この処理は、図６に示した代表動き成分算出部２０３で行われる。

最後にステップS２０７において、画面全体を代表する座標変換パラメータ（全体代表座標変換パラメータ）を算出する。まず、ステップS２０７−１において、ステップS２０５で算出された規則代表動き成分から座標変換パラメータを算出する。ステップS２０５で算出された代表動き成分をｘ軸上の動き成分とみなすと、座標変換パラメータと代表動き成分との関係は、

である。ここで、ｘは同心円とｘ軸との交点の座標であり、右肩のインデックスは選択規則を示す番号である。

ステップS２０７−１では、式（１３）を用いて規則代表座標変換パラメータの算出を行う。ステップS２０７−２では、規則代表座標変換パラメータ間の重み付き誤差の算出を行い、ステップS２０７−３では、画面全体を代表する座標変換パラメータの算出を行う。

ステップS２０７−２およびステップS２０７−３での、規則代表座標変換パラメータから画面全体を代表する座標変換パラメータを算出する処理は、実施例１と同様である。これらの処理は、図６に示した全体代表パラメータ算出部２０４により行われる。

本実施例では、座標変換パラメータ推定処理の大半が動きベクトルの演算であるが、実施例１と同様な効果が得られる。また、実施例１と同様に、本実施例の内容は、本発明を限定するものではない。

図９は、本発明の実施例３である座標変換パラメータ推定装置の構成を示すブロック図である。本実施例では、実施例１，２とは異なり、魚眼レンズや複眼光学系により構成される魚眼光学系を用いて撮影された魚眼動画像から、カメラ振れによって生じるフレーム画像間の画像の変形を表現する座標変換パラメータを推定する。

図９の各構成要素での処理シーケンスは、図示しないが、座標変換パラメータ推定装置の全体を制御する制御部により制御されている。

同図において、３０１は局所的動き検出部であり、魚眼光学系を用いて撮影された動画像データ（魚眼動画像データ）３００−１のフレーム画像間において動きベクトルを検出する。動き検出点選択回路３０１−１は動き検出を行う検出点の座標を指定し、動き検出回路３０１−２は指定された検出点においてブロックマッチングを行い、動きベクトルを算出する。これらは実施例１，２と同様である。

３０２は魚眼補正部であり、動きベクトル魚眼補正回路３０２−１により、魚眼画像上で検出された動きベクトル３００−２の魚眼歪み（魚眼光学系による被写体像の射影により生じた歪みで、画像の周辺部ほど歪みが大きくなる）を補正する。この動きベクトルの補正処理に関しては後に詳しく述べる。

３０３は局所パラメータ算出部であり、魚眼歪みが補正された動きベクトル３００−３から局所演算による座標変換パラメータ（局所座標変換パラメータ：第１の座標変換パラメータ）３００−４を算出する。具体的には、動きベクトル選択回路３０３−１により、画像中心に関して点対称の位置関係にある２つの検出点における魚眼歪補正がされた動きベクトルが選択され、局所パラメータ算出回路３０３−２において、選択された２つの動きベクトルから局所座標変化パラメータが算出される。

３０４は規則代表パラメータ算出部であり、算出された局所座標変換パラメータ３００−４を、実施例１と同様に設定された複数の選択規則のそれぞれに従って選択し、さらに選択規則ごとの代表値である規則代表座標変換パラメータ３００−５を算出する。

具体的には、局所パラメータ選択回路３０４−１において、選択規則ごとに複数の局所座標変換パラメータが選択され、該選択された複数の局所座標変換パラメータの大きさに基づく頻度分布が頻度分布作成回路３０４−２により選択規則ごとに作成される。頻度分布作成回路３０４−２は、作成した頻度分布にガウシアン関数をコンボリューションする。

そして、規則代表パラメータ算出回路３０４−３は、コンボリューションされた頻度分布のうち最大の値をとるパラメータ値を、該選択規則を代表する座標変換パラメータ（規則代表座標変換パラメータ：第２の座標変換パラメータ）３００−５として決定する。

３０５は全体代表パラメータ算出部であり、複数の選択規則に対して得られた規則代表座標変換パラメータ３００−５から画面全体の変形を代表する座標変換パラメータを算出する。具体的には、重み付き誤差算出回路３０５−１により、各選択規則を代表する規則代表座標変換パラメータ間の重み付き誤差を算出し、全体代表パラメータ算出回路３０５−２により、これらの重み付き誤差が最も小さい規則代表座標変換パラメータを、画面全体の変形を代表して表現する座標変換パラメータ（全体代表座標変換パラメータ：第３の座標変換パラメータ）３００−６として算出する。なお、３０３〜３０５の各構成要素は、実施例１と同様のものである。

以上の構成により、魚眼光学系を用いて撮影された魚眼動画像からも、カメラ振れにより生じる画像全体の変形を表現する座標変換パラメータの推定が可能である。

次に、本実施例における各処理手順について、図１０のフローチャートを用いてより詳細に解説する。ステップS３０４以降は実施例１と同様であるので、詳細な説明は省略する。

まずステップS３０１では、動きベクトルの検出を行う。検出点は、実施例１と同様に、複数の同心円上に配置されるように指定され、ブロックマッチングを用いて動きベクトルの検出を行う。本実施例では、入力画像は、魚眼光学系で撮影された魚眼画像であり、ここで検出される動きベクトルは魚眼歪みが生じている。この処理は、局所的動き検出部３０１において行われる。

次に、ステップS３０２では、動きベクトルの魚眼歪みを補正する。図１１には、等距離射影方式の魚眼光学系における入射角θと像高ｒ^Ｆとの関係を模式的に示している。また、図１２は通常の透視投影方式のレンズにおける入射角θと像高ｒとの関係を模式的に示している。

魚眼光学系と通常のレンズの射影を比較すると、同じ入射角において像高が異なり、魚眼光学系では入射角が大きくなるにつれ画像の周辺が圧縮される。

本実施例では、検出点の座標（ｘ^Ｆ，ｙ^Ｆ）と移動後の座標（ｘ’^Ｆ，ｙ’^Ｆ）に対してそれぞれ魚眼歪みの補正を行い、補正された検出点の座標（ｘ，ｙ）と移動後の座標（ｘ’，ｙ’）との差をとることで動きベクトルの補正を行う。

魚眼画像上での移動後の座標（ｘ’^Ｆ，ｙ’^Ｆ）は、式（１４）に示すように、検出点の魚眼画像上での座標（ｘ^Ｆ，ｙ^Ｆ）と、検出された魚眼画像上での動きベクトル（ν_ｘ ^Ｆ，ν_ｙ ^Ｆ）との和をとることにより算出される。

撮影に用いられる魚眼光学系の射影方式を等距離射影方式（像高ｒ^Ｆ＝ｆ^Ｆ・θ）とすると、魚眼画像上での画像中心からの距離と撮像系への光線の入射角θは以下の関係がある。

ここで、ｆ^Ｆは魚眼画像の焦点距離である。この入射角θを用いて透視投影画像（ｒ＝ｆ・tanθ）上での距離を求めると、

となる。ここで、ｆは透視投影画像の焦点距離である。魚眼画像上での検出点と画像中心を結ぶ線とｘ軸とのなす角度をφとすると、魚眼画像上での座標と透視投影画像上での座標は以下の関係式で対応づけられる。

式（１７）を用いて検出点と移動後の座標を補正し、その差をとることで魚眼画像上の動きベクトルを透視投影画像上での動きベクトル（ν_ｘ，ν_ｙ）に補正できる。

ステップS３０２では、上述の補正処理をステップS３０１で検出された魚眼画像上の動きベクトルに対して行う。この処理は、図９に示した動きベクトル魚眼補正部３０２により行われる。

ステップS３０３では、指定された動き検出点のすべてに対して動きベクトルの検出が行われたかを判定する。

ステップS３０４では、補正された動きベクトルのうち、画像中心に関して点対称の位置関係にある２つの検出点の動きベクトルを用いて、局所演算による座標変換パラメータを算出する。ステップS３０５では、点対称の位置関係にある検出点の全ての組について、動きベクトルからの局所座標変換パラメータの算出が行われたか否かを判定する。ステップS３０４、Ｓ３０５の処理は、局所パラメータ算出部３０３で行われる。

次にステップS３０６では、各選択規則に基づいて選択された複数の局所座標変換パラメータからその代表値である規則代表座標変換パラメータを算出する。すなわち、ステップS３０６−１では、選択規則に従って選択された局所座標変換パラメータの頻度分布（大きさに基づく頻度分布）を作成し、該頻度分布にガウシアン関数をコンボリューションする。ステップS３０６−２では、このコンボリューションされた頻度分布において最大となる値を、該選択規則を代表する座標変換パラメータ（規則代表座標変換パラメータ）として算出する。

ステップS３０６−１の処理は、頻度分布作成回路３０４−２で、ステップS３０６−２の処理は規則代表パラメータ算出回路３０４−３で行われる。

次に、ステップS３０７では、全ての選択規則について規則代表座標変換パラメータが算出されたかどうかを判定する。ステップS３０８では、複数の選択規則に対して算出された複数の規則代表座標変換パラメータから、画面全体の変形を表現する全体代表座標変換パラメータを算出する。

すなわち、ステップS３０８−１では、各選択規則の規則代表座標変換パラメータに関して、他の選択規則の規則代表座標変換パラメータとの重み付き誤差を算出し、ステップS３０８−２で、重み付き誤差が最小となる座標変換パラメータを全体代表座標変換パラメータとして算出する。ステップS３０８の処理は、全体代表パラメータ算出部３０５において行われる。

本実施例では、魚眼画像上で検出された動きベクトルに対して魚眼歪みの補正を行っているため、魚眼歪みが補正されたフレーム画像における、カメラ振れにより生じた画像全体の変形を表現する座標変換パラメータを推定することができる。また、本実施例によれば、実施例１と同様の作用効果も得られる。

図１３は、本発明の実施例４である座標変換パラメータ推定装置の構成を示すブロック図である。本実施例は、実施例３とは異なり、動きベクトルに各種処理を施して魚眼光学系を用いて撮影された動画像から魚眼歪みを補正し、その補正画像においてカメラ振れによって生じるフレーム画像間の画像の変形を表現する座標変換パラメータを推定する。

図１３中の各構成要素の処理シーケンスは、図示しないが、座標変換パラメータ推定装置の全体を制御する制御部により制御されている。同図において、４０１は局所的動き検出部であり、魚眼光学系を用いて撮影された動画像データ（魚眼動画像データ）４００−１のフレーム画像間において指定された検出点の動きベクトルを検出する。動き検出回路４０１−２は、動き検出点選択回路４０１−１で指定された魚眼画像上の検出点において、ブロックマッチングにより動きベクトルを検出する。そして、魚眼補正部４０２では、魚眼画像上で検出された動きベクトル４００−２に対する魚眼歪みの補正を行う。なお、局所的動き検出部４０１および魚眼補正部４０２は実施例３の局所的動き検出部３０１および魚眼補正部３０２と同様のものである。

魚眼歪みの補正が行われた動きベクトル４００−３は、動き成分分離部４０３により拡大縮小、回転、水平および垂直移動成分の各動き成分（画像変形成分）４００−４に分離される。

そして、画像中心に関して点対称の位置関係にある２つの検出点の動きベクトルが、動きベクトル選択回路４０３−１により選択される。動き成分分離回路４０３−２は、この動きベクトルの組を用いて、動きベクトルを拡大縮小、回転、水平移動および垂直移動成分に分離する。

４０４は動き成分算出部であり、分離された各動き成分４００−４から、複数の選択規則のそれぞれに従って、同一種類の動き成分を選択規則ごとに複数ずつ選択し、さらに選択規則ごとおよび動き成分の種類ごとに、動き成分の代表値としての代表動き成分４００−５を算出する。なお、本実施例では、実施例１と同様に、複数の選択規則はそれぞれ、同一の同心円上の動き成分を選択する規則として設定している。

具体的には、動き成分選択回路４０４−１において選択規則ごとに複数の動き成分の選択が行われ、頻度分布作成回路４０４−２により、該選択された複数の動き成分の大きさに基づいて、該動き成分の頻度分布が作成される。このとき、実施例１〜３と同様に、ガウシアン関数がコンボリューションされる。規則代表動き成分算出回路４０４−３は、このガウシアン関数がコンボリューションされた頻度分布において最大となる値を、該選択規則および動き成分を代表する規則代表動き成分として算出する。

４０５は全体代表パラメータ算出部であり、複数の選択規則および複数種類の動き成分に対して算出された規則代表動き成分４００−５を用いて、画面全体の変形を代表して表現する座標変換パラメータ（全体代表座標変換パラメータ：第３の座標変換パラメータ）４００−６を算出する。具体的には、規則代表パラメータ算出回路４０５−１において、入力された規則代表動き成分は、当該選択規則を代表する座標変換パラメータ（規則代表座標変換パラメータ）に変換される。そして、重み付き誤差算出回路４０５−２は、選択規則ごとに生成された各規則代表座標変換パラメータに対して、他の規則代表座標変換パラメータとの重み付き誤差を算出する。さらに、全体代表パラメータ算出回路４０５−３は、この重み付き誤差が最小となる規則代表座標変換パラメータを、画面全体の変形を代表して表現する全体代表座標変換パラメータ４００−６として算出する。

次に、本実施例における処理手順を、図１４のフローチャートを用いてより詳細に説明する。ステップS４０４以降は実施例２と同様であり、ここでの説明は省略する。

まずステップS４０１では、動きベクトルの検出を行う。検出点は実施例１と同様に複数の同心円上に複数ずつ配置される。この処理は局所的動き検出部４０１において行われる。

ステップS４０２では、動きベクトルの魚眼歪みを補正する。この補正処理は、魚眼補正部４０２おいて、実施例３で説明したのと同様に行われる。

ステップS４０３では、指定された検出点のすべてに対して動きベクトル検出が行われたか否かを判定する。ステップS４０４では、画像中心に関して点対称の位置関係にある２つの検出点に対応する、魚眼歪みが補正された動きベクトルの組を用いて、該動きベクトルを拡大縮小、回転、垂直移動、水平移動成分に分離する。この処理は動き成分分離部４０３で行われる。

ステップS４０５では、全ての点対称の位置関係にある検出点についてステップS４０４の処理が行われたかを判定する。

次にステップS４０６では、全ての点対称の位置関係にある検出点において分離された複数の動き成分の中から、各選択規則に従って同一種類の動き成分を複数ずつ選択し、さらに選択規則ごとおよび動き成分の種類ごとに、それらの代表値である規則代表動き成分を算出する。具体的には、ステップS４０６−１において、選択規則ごとに複数ずつ選択された各動き成分の頻度分布を作成し、その頻度分布にガウシアン関数をコンボリューションする。そして、ステップS４０６−２において、このガウシアン関数がコンボリューションされた頻度分布において最大となる値を、規則代表動き成分値として算出する。ステップS４０６−１の処理は、頻度分布作成回路４０４−２で行われ、ステップS４０６−２の処理は、規則代表動き成分算出回路４０４−３で行われる。

次にステップS４０７では、全ての選択規則についてステップS４０６−１，S４０６−２の処理が行われたか否かを判定する。

そして、ステップS４０８では、各選択規則および各動き成分の種類を代表する規則代表動き成分から、画面全体の変形を代表して表現する全体代表座標変換パラメータを算出する。具体的には、まずステップS４０８−１において、実施例２と同様に、規則代表動き成分から、規則代表座標変換パラメータを算出する。次に、ステップS４０８−２において、各規則代表座標変換パラメータに関して、他の規則代表座標変換パラメータとの重み付き誤差を算出する。さらに、ステップS４０８−３において、ステップS４０８−２で算出した重み付き誤差が最小となる座標変換パラメータを、全体代表座標変換パラメータとして算出する。ステップS４０８−１の処理は規則代表パラメータ算出回路４０５−１で、ステップS４０８−２の処理は重み付き誤差算出回路４０５−２で、ステップS４０８−３の処理は全体代表パラメータ算出回路４０５−３でそれぞれ行われる。

本実施例では、実施例３と同様に、魚眼画像上で検出された動きベクトルに対して魚眼歪みの補正を行っているため、魚眼歪みが補正されたフレーム画像における、カメラ振れにより生じた画像全体の変形を表現する座標変換パラメータを推定することができる。また、実施例２と同様な作用効果も得られる。

図１５は、本発明の実施例５である座標変換パラメータ推定装置の構成を示すブロック図である。本実施例では、実施例４と同様に、動きベクトルに各種処理を施すことにより、魚眼歪みが補正された画像におけるカメラ振れによって生じるフレーム画像間の画像の変形を表現する座標変換パラメータを推定する。本実施例では、規則代表動き成分に対して魚眼歪みの補正を行うので、動きベクトルに対して魚眼歪みの補正を行う実施例４に比べて少ない演算量に抑えることができる。

図１５中の各構成要素の処理シーケンスは、図示しないが、座標変換パラメータ推定装置の全体を制御する制御部により制御されている。

５０１は局所的動き検出部であり、魚眼光学系を用いて撮影された動画像データ５００−１のフレーム画像間において動きベクトル５００−２を検出する。具体的には、動き検出点選択回路５０１−１は、動き検出を行う検出点の座標を指定する。検出点は、実施例１と同様に複数の同心円上に配置される。また、検出点は、画像中心に関して各検出点と点対称の位置関係となる位置に他の検出点が存在するよう配置される。

５０１−２は動き検出回路であり、魚眼光学系を用いて撮影された動画像のフレーム画像間において、動き検出点選択回路５０１−１により指定された座標でブロックマッチングを行い、動きベクトルを検出する。ここで検出される動きベクトルは魚眼画像上のものであり、魚眼歪みを有する。

ここで、実施例４では、動きベクトルに対して魚眼歪みの補正を行ったが、本実施例では、この時点では魚眼歪み補正を行わずに動きベクトルの成分分離を行う。

すなわち、動き成分分離部５０２は、魚眼画像上の動きベクトル５００−２を拡大縮小、回転、水平および垂直移動の各動き成分に分離する。具体的には、動きベクトル選択回路５０２−１において、点対称の位置関係にある２つの検出点の動きベクトルを選択し、動き成分分離回路５０２−２により、魚眼画像上の動きベクトルに対して、拡大縮小、回転、垂直移動、水平移動成分の分離が行われる。画像中心からの距離が等しい検出点における動きベクトルはほぼ同じ魚眼歪み量を持つと考えられるので、点対称の位置関係にある２つの検出点の動きベクトルを用いて、魚眼歪みの補正を行わずに動き成分の分離が可能である。

５０３は規則代表動き成分算出部であり、複数の選択規則のそれぞれに従って、魚眼画像上の同一種類の動き成分５００−３を複数ずつ選択し、選択規則ごとおよび動き成分の種類ごとに代表値としての規則代表動き成分５００−４を算出する。具体的には、動き成分選択回路５０３−１において、各選択規則に従って同一種類の動き成分が複数ずつ選択され、該選択された複数の動き成分の大きさに基づく頻度分布が、頻度分布作成回路５０３−２で作成される。本実施例では、各選択規則として、同一の同心円上の検出点での動き成分を選択する規則が設定されている。なお、同一の同心円上の動きベクトルが有する魚眼歪みはほぼ同じであると考えられるため、検出点を同心円上に配置することで、魚眼歪みの補正を行わずに多数の動き成分について頻度分布の作成が可能である。

また、作成された頻度分布に対しては、他の実施例と同様に、ガウシアン関数がコンボリューションされ、その周辺に分布をもつ値がピークとなりやすいように演算される。

具体的には、規則代表動き成分算出回路５０３−３は、ガウシアン関数がコンボリューションされた頻度分布において最大となる動き成分値を、該選択規則および該動き成分の種類を代表する動き成分（規則代表動き成分）５００−４として算出する。

本実施例では、検出点が配置された同心円の数が選択規則の数と等しく、各選択規則に対して、拡大縮小、回転、垂直移動、水平移動の４つの動き成分の代表値が算出される。

５０４は魚眼補正部であり、規則代表動き成分算出部５０３により算出された規則代表動き成分５００−４をｘ軸上の動き成分とみなし、魚眼歪みの補正を行う。

５０５は全体代表パラメータ算出部であり、魚眼歪みが補正された規則代表動き成分５００−５から画面全体の変形を代表して表現する座標変換パラメータ（全体代表座標変換パラメータ）５００−６を算出する。具体的には、規則代表パラメータ算出回路５０５−１は、魚眼歪みが補正された各規則代表動き成分から選択規則を代表する座標変換パラメータ（規則代表座標変換パラメータ）を算出する。これは実施例２と同様の処理で行われる。次に、重み付き誤差算出回路５０５−２は、規則代表座標変換パラメータ間の重み付き誤差、すなわち各規則代表座標変換パラメータに対する他の規則代表座標変換パラメータとの重み付き誤差を算出する。そして、この重み付き誤差は、全体代表パラメータ算出回路５０５−３で評価され、誤差が最も小さい規則代表座標変換パラメータが、画面全体の変形を代表して表現する全体代表座標変換パラメータ５００−６として算出される。全体代表パラメータ算出部５０５では、実施例２と同様の処理が行われる。

次に、本実施例における処理手順を、図１６に示すフローチャートを用いてより詳細に解説する。まず、ステップS５０１では、複数の同心円上に配置された検出点においてブロックマッチングにより動きベクトルの検出を行う。ステップS５０２では、全ての検出点において動きベクトルが検出されたか否かを判定し、Yesの場合は次のステップS５０３へ、Noの場合はS５０１の処理を繰り返す。ステップS５０１の処理は、局所的動き検出部５０１において行われる。ここで、検出された動きベクトルは魚眼画像上でのものであり、魚眼歪みを含むが、本実施例では、魚眼歪みの補正を行わずに動き成分の分離を行う。

すなわち、ステップS５０３では、画像中心に関して点対称の位置関係にある２つの魚眼画像上の検出点での動きベクトルを、拡大縮小、回転、垂直移動、水平移動の成分分離を行う。魚眼歪みは画像中心からの距離によってその歪み量が変わる。言い換えれば、画像中心からの距離が等しい検出点間においては魚眼歪み量が等しいことを意味する。また、魚眼歪み量が各検出点の近傍で極端に変化しないとすると、動きが大きい場合を除き、画像中心からの距離が等しい検出点での動きベクトルの魚眼歪み量はほぼ等しいと考えることができる。このことから、点対称の位置関係にある検出点の動きベクトル間において、魚眼歪み量はほぼ等しく、補正することなく動き成分の分離が可能である。動き成分の分離は実施例２と同様の処理で行われる。

次にステップS５０４では、画像中心に関して点対称の位置関係にある２つの検出点での動きベクトルの組のすべてについて、ステップS５０３の処理が行われたかを否かを判定し、Yesの場合は次のステップＳ５０５へ、Noの場合はステップS５０３の処理を繰り返す。ステップS５０３の処理は、動き成分分離部５０２で行われる。

ステップS５０５では、画面内の動き成分を複数の選択規則に従って、選択規則および動き成分の種類ごとに複数ずつ選択し、各選択規則および各動き成分の種類に対して代表値としての規則代表動き成分を算出する。具体的には、まずステップS５０５−１において、各選択規則に従って選択された各動き成分の頻度分布を該成分の大きさに基づいて作成する。本実施例では、同じ同心円上の検出点における動き成分を選択し、その頻度分布を作成する。同一の同心円上における動きベクトルの魚眼歪みはほぼ同一であると考えられるため、動きベクトルに対して魚眼歪みの補正を行わなくとも、同一同心円上の動き成分の大きさに関する頻度分布を作成することに問題は生じない。これは、複数の同心円上に検出点を多数配置することで可能となる。

また、他の実施例と同様に、作成された頻度分布に対してガウシアン関数をコンボリューションする。同心円上の検出点の動きベクトルが有する魚眼歪みはほぼ同一であると考えられるが、動きが大きい場合には、各動きベクトルの魚眼歪みに若干の違いが発生し、本来の値に対して誤差が生じることがある。しかし、これは頻度分布に対してガウシアン関数をコンボリューションすることで、頻度のピークを判定する際に、その周辺の分布が反映されるため、上記誤差の影響を抑えることができる。

ステップS５０５−２では、ガウシアン関数がコンボリューションされた、選択規則および動き成分の種類ごとの頻度分布において最大となる動き成分の値を、当該選択規則および動き成分の種類を代表する規則代表動き成分として算出する。ステップS５０５−１の処理は頻度分布作成回路５０３−２で、ステップS５０５−２の処理は規則代表動き成分算出回路５０３−３でそれぞれ行われる。

次にステップS５０６では、各選択規則に対する規則代表動き成分を、該選択規則に対応する同心円とｘ軸との交点における動き成分とみなし、魚眼歪みの補正を行う。魚眼歪みの補正は実施例３と同様な処理により行う。

ここで行う魚眼歪み補正は、検出点が配置された同心円ごとにそれぞれ４つの動き成分に対して行えばよいので、動きベクトルに対して魚眼歪み補正を行う実施例４に比べて、魚眼歪み補正のための計算量を削減することができる。ステップS５０６の処理は、魚眼補正部５０４において行われる。

次にステップS５０７では、全ての規則代表動き成分に対して魚眼歪み補正が行われたか否かを判定する。Yesの場合は次のステップＳ５０８へ、Noの場合はステップS５０５の処理を繰り返す。

ステップS５０８では、複数の選択規則および複数種類の動き成分をそれぞれ代表する複数の規則代表動き成分を用いて、画面全体の変形を代表して表現する全体代表座標変換パラメータを算出する。具体的には、まずステップS５０８−１において、各規則代表動き成分から、各選択規則を代表する座標変換パラメータ（規則代表座標変換パラメータ）を算出する。次に、ステップS５０８−２において、各選択規則に対して算出された各規則代表座標変換パラメータに関して、他の規則代表座標変換パラメータとの重み付き誤差を算出する。そして、ステップS５０８−３において、その誤差が最小となる座標変換パラメータを画面全体の変形を代表して表現する全体代表座標変換パラメータとして算出する。ステップS５０８の処理は、実施例２と同様である。また、この処理は、全体代表パラメータ算出部５０５において行われる。

本実施例によれば、魚眼歪みが補正されたフレーム画像における、カメラ振れによって生じた画像全体の変形を表現する座標変換パラメータを推定することが可能となる。

そして、本実施例では、前述したように、魚眼歪み量が画像中心からの距離に依存し、画像中心からの距離の等しい検出点における動きベクトルが有する魚眼歪みがほぼ同じであることを利用して、同心円上に多数の検出点を配置し、魚眼歪みの補正を行うことなく、多数の動きベクトル間の演算を可能にしている。これにより、同心円上の検出点における動きベクトルから、それを構成する動き成分の同心円上での代表値（規則代表動き成分）を、魚眼歪み補正を行うことなく算出できるため、魚眼歪み補正が必要な動き成分の数が削減でき、補正に要する演算量を削減することができる。

また、動きベクトルが有する魚眼歪み量に違いが発生した場合においても、頻度分布に単峰性の関数をコンボリューションすることにより最大頻度値のみではなく、周辺の分布も考慮することができ、歪み量の違いによる誤差の影響を改善することができる。

また、本実施例においても、実施例２と同様の作用効果を得ることができ、魚眼光学系を用いて撮影された歪みのある動画像においても、簡易な処理で、撮影条件にほとんど影響されず、かつ画像全体を代表するのに最適な座標変換パラメータの推定が可能である。また、微小な拡大縮小、回転の検出も可能である。

なお、上記各実施例では、動き検出にブロックマッチング法を用いているが、動き検出はこの手法に限定することはなく、勾配法などの他の動き検出法を用いてもよい。

また、本発明は、上記説明した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読み出し実行することにも適用できる。

この場合、記憶媒体から読み出されたプログラムコード自体が、上記説明した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性のメモリカード、ROM等を用いることができる。

また、コンピュータが読み出したプログラムコードを実行することにより、上記説明した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって、上記説明した実施の形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって上記説明した実施の形態の機能が実現される場合も含まれることは言うまでもない。

また、上記各実施例では、各検出点の動きベクトルを検出し、該動きベクトルから座標変換パラメータを算出する場合について説明したが、本発明は、各検出点の動きを示す情報を検出し、該情報から画像の変形を表現する情報を得るものであればいずれにも適用することができる。

本発明の実施例１である座標変換パラメータ推定装置の構成を示すブロック図である。 実施例１における座標変換パラメータ推定方法の処理手順を示すフローチャートである。 動きの検出点の配置を示す模式図である。 局所演算による座標変換パラメータの選択規則を示す模式図である。 (Ａ)(Ｂ)は、頻度分布に単峰性の関数がコンボリューションされる様子を示す模式図である。 本発明の実施例２である座標変換パラメータ推定装置の構成を示すブロック図である。 実施例２における座標変換パラメータ推定方法の処理手順を示すフローチャートである。 画像中心に関して点対称の位置関係にある検出点においてカメラ振れによって生じる動きベクトルを示す模式図である。 本発明の実施例３である座標変換パラメータ推定装置の構成を示すブロック図である。 実施例３における座標変換パラメータ推定方法の処理手順を示すフローチャートである。 等距離射影方式の魚眼光学系における入射角と像高の関係を示す模式図である。 通常のレンズにおける入射角と像高の関係を示す模式図である。 本発明の実施例４である座標変換パラメータ推定装置の構成を示すブロック図である。 実施例４における座標変換パラメータ推定方法の処理手順を示すフローチャートである。 本発明の実施例５である座標変換パラメータ推定装置の構成を示すブロック図である。 実施例５における座標変換パラメータ推定方法の処理手順を示すフローチャートである。 上記各実施例の座標変換パラメータ推定装置を搭載した撮像装置の概略図である。

符号の説明

１０１，２０１，３０１，４０１，５０１ 局所的動き検出部
１０２，３０３ 局所パラメータ算出部
１０３，３０４ 規則代表パラメータ算出部
１０４，２０４，３０５，４０５，５０５ 全体代表パラメータ算出部
２０２，４０３，５０２ 動き成分分離部
２０３，４０４，５０３ 規則代表動き成分算出部
３０２，４０２，５０４ 魚眼補正部
６００ 撮像装置
６０１ 撮像系
６０２ 手振れ補正システム

Claims (8)

1. 動画を構成するフレーム画像において複数の局所領域を設け、該複数の局所領域における複数の前記フレーム画像間での動きをそれぞれ示す複数の動きベクトルを得る第１のステップと、
   該複数の動きベクトルを用いて画像の変形を表現する複数の第１の座標変換パラメータを得る第２のステップと、
   複数の選択規則を用意し、該選択規則ごとに複数の前記第１の座標変換パラメータを選択し、さらに該選択された複数の第１の座標変換パラメータを代表する第２の座標変換パラメータを前記選択規則ごとに得る第３のステップと、
   前記複数の選択規則に対して得られた複数の前記第２の座標変換パラメータを用いて、画像全体の変形を表現する第３の座標変換パラメータを得る第４のステップとを有し、
   前記第３のステップにおいて、前記選択規則ごとに前記第１の座標変換パラメータの大きさに応じた該第１の座標変換パラメータの頻度分布を求め、該頻度分布に基づいて前記第２の座標変換パラメータを得るとともに、
   前記第４のステップにおいて、前記複数の第２の座標変換パラメータに対して、該各第２の座標変換パラメータを得るために用いた前記局所領域の数および画像中の基準位置からの距離のうち少なくとも一方に応じた重み付けをし、該重み付けした前記複数の第２の座標変換パラメータとの差が最小となる前記第３の座標変換パラメータを得ることを特徴とする画像変形推定方法。
2. 前記動きは、前記動画を撮影する撮像装置の動きにより生ずるものであることを特徴とする請求項１に記載の画像変形推定方法。
3. 前記第３のステップにおいて、前記頻度分布に対して単一のピークを有する関数をコンボリューションし、該コンボリューションにより得られた最大の前記第１の座標変換パラメータを前記第２の座標変換パラメータとすることを特徴とする請求項１又は２に記載の画像変形推定方法。
4. 前記第１のステップにおいて、前記複数の局所領域が所定の配置条件に従って設けられ、
   前記各選択規則は、同一の前記配置条件に従って設けられた前記局所領域に対応する前記第１の座標変換パラメータを選択する規則であることを特徴とする請求項１から３のいずれか１つに記載の画像変形推定方法。
5. 前記フレーム画像が魚眼画像であり、
   前記動きベクトルに対して魚眼歪成分の補正処理を行う第５のステップを有し、前記第２のステップにおいて、該補正処理された前記動きベクトルを用いて前記第１の座標変換パラメータを得ることを特徴とする請求項１から４のいずれか１つに記載の画像変形推定方法。
6. 請求項１から５のいずれか１つに記載の画像変形推定方法をコンピュータに実行させるためのプログラムであることを特徴とする画像変形推定プログラム。
7. 動画を構成するフレーム画像において複数の局所領域を設け、該複数の局所領域における複数の前記フレーム画像間での動きをそれぞれ示す複数の動きベクトルを得る第１の手段と、
   該複数の動きベクトルを用いて画像の変形を表現する複数の第１の座標変換パラメータを得る第２の手段と、
   複数の選択規則を有し、該選択規則ごとに複数の前記第１の座標変換パラメータを選択し、さらに該選択された複数の第１の座標変換パラメータを代表する第２の座標変換パラメータを前記選択規則ごとに得る第３の手段と、
   前記複数の選択規則に対して得られた複数の前記第２の座標変換パラメータを用いて、画像全体の変形を表現する第３の座標変換パラメータを得る第４の手段とを有し、前記第３の手段は、前記選択規則ごとに前記第１の座標変換パラメータの大きさに応じた該第１の座標変換パラメータの頻度分布を求め、該頻度分布に基づいて前記第２の座標変換パラメータを得るとともに、
   前記第４の手段は、前記複数の第２の座標変換パラメータに対して、該各第２の座標変換パラメータを得るために用いた前記局所領域の数および画像中の基準位置からの距離のうち少なくとも一方に応じた重み付けをし、該重み付けした前記複数の第２の座標変換パラメータとの差が最小となる前記第３の座標変換パラメータを得ることを特徴とする画像変形推定装置。
8. 請求項７に記載の画像変形推定装置と、
   動画撮影を行う撮像系とを有することを特徴とする撮像装置。

Images