JP5794705B2 - 撮像装置、その制御方法及びプログラム - Google Patents

Description

本発明は、撮像された画像データに対するローリングシャッタ補正処理を行うための技術に関するものである。

ビデオカメラやデジタルカメラといった撮像装置の小型化及び軽量化が進み、画像データを携帯型撮像装置で撮影する機会が増えている。このような撮像装置の撮像素子では、近年、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサが用いられている。ＣＭＯＳセンサは、低コスト化及び多画素化が容易であり、低消費電力であるという長所があることが主な要因である。

しかしながら、ＣＭＯＳセンサを撮像素子として用いて高画質な画像データを記録することは困難である。その理由の一つには、手ブレ、又は、被写体の動き(或いは、被写体ブレ)によって、撮影された画像データの揺れに加え、歪みが生じてしまうことが挙げられる。これは、従来主流のＣＣＤを撮像素子として用いた場合には発生しなかった現象である。

ＣＭＯＳセンサでは、１画素単位又は１ライン単位(通常水平方向であり、場合によって垂直方向のものもある)で画像データが順次読み出されるローリングシャッタ型が主流である。このようなローリングシャッタ型の場合、画素毎又はライン毎に露光期間にずれが生じる。但し、１画素単位の順次読み出しの場合であっても、ライン間の読み出し時間差に比べ、１ライン中の読み出し時間差は無視できるほど小さい。そこで、以下の説明では、１画素単位の読み出しもライン単位の順次読み出しと同一に扱うものとする。

ローリングシャッタ型のセンサで画像データを撮影する際、画面の一番上のラインから一番下のラインまでの露光期間の間に被写体が動いたり、手ブレが生じた場合、スキャンライン毎の露光期間のずれによって被写体の像が変形してしまい、これが歪みとなる。以下、この歪みをローリングシャッタ歪みと称す。

これに対し、従来のＣＣＤで標準のグローバルシャッタ機能を搭載したり、画素データの読み出し回路を並列化又は画像データの領域毎に分担する形で複数搭載し、読み出しを高速化して露光期間のずれを小さくする等の回避策又は軽減策が存在する。

しかしながら、前者は画素当たり数倍のトランジスタ数が必要となるため、コスト増につながる。また、画素の開口率を稼げなくなるため、画質自体に悪影響が生じる問題もある。そのため、採用は一部の計測目的の撮像装置に限られている。一方、後者も際限なく継続する画像データの多画素化により、画像データの歪み軽減という目的に対して焼け石に水の対処療法策としかならない。

そのため、ローリングシャッタ歪みは、最終的に画像処理で補正することが主流となっている。ローリングシャッタ歪み補正処理としては様々な手法が提案されている。但し、特許文献１にも開示されるように、いかなる手法もセンサ信号又は画像解析に対して、画像データの幾何変形を組み合わせて補正を行うものである。

ところで、撮像装置には、ジャイロや加速度センサ等の撮像装置の回転及びシフトに関するカメラワークを検知する回転・シフトセンサが用いられる。画像解析では、連続する複数枚の画像データ間の解析技術を利用して、カメラワーク(自己モーション)、グローバルモーション及び被写体の動きを算出又は推定する。センサ信号と同様にライン毎の動きを得て高精度の補正を行なう場合には、モーションの多項式補間と画像データとの間のフィッティング処理により、時間方向超解像的にセンサ同等の分解能の動き情報を得る手法も提案されている(非特許文献１参照)。

単純な補正方法は、水平方向及び垂直方向の画像データの並進の動きにのみ着目して、ローリングシャッタ歪み補正処理が行われる。一方、複雑な補正方法は、ＳＦＭ(Structure From Motion)等の既存の原理に従い、あらゆるカメラワーク及び被写体の奥行き位置を考慮し、さらに複雑な補正方法は、被写体の動きを区別して動き情報を推定又は算出してローリングシャッタ歪み補正処理が行われる。このように、ローリングシャッタ歪み補正処理では、ライン毎の露光期間のずれを勘案して、それを打ち消すような幾何変形を算出し、画像データに適用することにより、ローリングシャッタ歪みを除去する補正が行われる。

時間方向についても、フレーム単位の露出期間中の動きが、その方向と大きさについて一定とみなせる動きにより生じる歪み（一般に、shearと分類される）のみを対象に扱う単純なものがある。その一方で、それらが一定ではなくフレーム期間内で変化する動きにより生じる歪み（wobble又はjello効果と分類される）を対象とするものまで様々である。

また、実現形態としては、撮影時と同時にローリングシャッタ歪み補正処理も行うリアルタイムの手法、再生時又は記録した画像データにローリングシャッタ歪み補正処理を加えるオフラインの手法、及び、撮影装置とは別の画像処理装置内でローリングシャッタ歪み補正処理を行う手法等、様々な手法が考えられる。

上記に列挙したいかなるの手法の場合も、露光期間の異なるラインのうちの１つラインを基準にし、そのラインと同一露光期間に撮影したように、ずれた露光期間に生じた動きによるローリングシャッタ歪みを打ち消す幾何変形を行うことにより、ローリングシャッタ歪み補正処理を行うという点では全て共通である。

このようなローリングシャッタ歪み補正処理の際、基準となる行は、リアルタイム処理を意識して先頭行を選択したり、画像データ全体の変形量を抑えるために画像データの中心行を選択したりと、固定的に基準となる行を選択するのが基本となっている。

また、動きを打ち消す幾何変形において、画素データのない領域を作らないためには、いかなる補正手法を採用する場合も、出力画像データのサイズに対してマージン領域を付加することにより、出力画像データよりも大きなサイズで撮影を行わなければならない。

このマージン領域は、同時に電子方式手ブレ補正を行なう場合には、共通のマージン領域として確保されることが通常である。電子方式手ブレ補正とは、マージン領域を付加して撮影した画像データの中心部を標準の出力画像データの領域に設定し、手ブレ補正を行なう機構である。手ブレ補正は、センサからの画像データ読み出し位置の変更、又は、画像データを保持するバッファからの出力画像データの切り出し、又は、バッファにおいて保持される画像データの幾何変形により実現する。

特開２００６−１８６４８１号公報

Simon Baker et.al.,"Removing Rolling Shutter Wobble",CVPR2010

しかしながら、特許文献１又は非特許文献１に開示されるような従来のローリングシャッタ歪み補正処理を用いた撮像装置に対しては、さらに大きなローリングシャッタ歪みを補正してほしいという要求がある。大きなローリングシャッタ歪みを補正するためには、同じ手法でローリングシャッタ歪み補正処理を行う場合、さらに大きなマージン領域が必要となる。他方、ユーザからの画像データの多画素化要求により、ローリングシャッタ歪み補正処理のためのマージン領域に振り分け可能なセンサの画素は、増えるよりむしろ削減される方向にある。この傾向は、電子式の揺れ補正を同時に搭載する方式では、防振機能のダイナミック化の流行の影響も受けてさらに顕著である。

従って、ローリングシャッタ歪み補正処理に必要となるマージン領域の節約を実現する一方、同時により大きなブレによって生じるローリングシャッタ歪みも補正可能にすることが課題となっている。特に、電子式の揺れ補正機構に追加してローリングシャッタ歪み補正処理を行なう場合には、マージン領域を共有することになるため、さらに難しい課題となる。

そこで、本発明の目的は、ローリングシャッタ歪み補正処理の際に必要なるマージン領域を削減することにある。

本発明の撮像装置は、ローリングシャッタ方式の撮像手段と、前記撮像手段により撮像された画像データの垂直方向に配置された複数の行のうちの基準となる行の水平方向の読み出し位置に対して、前記基準となる行とは異なる複数の他の行の水平方向の読み出し位置を設定することによって、ローリングシャッタ歪みを抑制するための補正処理を施す補正手段を有し、前記補正手段は、前記基準となる行の水平方向の読み出し位置と前記複数の他の行の水平方向の読み出し位置の間のずれ量のうち、水平方向の一方の方向における最も大きなずれ量と、水平方向の他方の方向における最も大きなずれ量が、均等になるように、前記基準となる行を決定することを特徴とする。

本発明によれば、ローリングシャッタ歪み補正処理の際に必要なるマージン領域を削減することが可能となる。

本発明の第１の実施形態に係る撮像装置の構成を示す図である。 出力画像データのサイズである画像切り出し領域と、マージン領域と、撮像画像データの全領域（全撮像領域）との関係を示す図である。 ローリングシャッタ方式の撮像装置で撮像した画像データのフレーム周期及び行と時間方向との関係を示す図である。 ローリングシャッタ歪み補正処理の状況の一例を示す図である。 適切な基準行を選択した場合の効果を説明するための図である。 値域に制約を加えて基準行を決定し、ローリングシャッタ歪み補正処理を行った場合のフレームの進行に対する各フレームのサンプリング位置を示す図である。 本発明の第２の実施形態に係る撮像装置の構成を示す図である。 ２枚のフレーム間のテンプレートマッチングを説明するための図である。 ヒストグラムを用いたグローバルベクトルの選択方法の一例を説明するための図である。 フレーム間の動き情報を入力した場合において、ローリングシャッタ歪み補正量を算出し、ローリングシャッタ歪み補正処理を実行した状況の一例を示す図である。 本発明の第３の実施形態に係る撮像装置の構成を示す図である。 ブレ防振のみ実施した場合の幾何変形による補正処理の状況と、ブレ・ローリングシャッタ歪みの両方の補正処理の状況とを示す図である。 基準行の選択処理の一例を説明するための図である。

以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。

先ず、本発明の第１の実施形態について説明する。図１は、第１の実施形態に係る撮像装置１００の構成を示す図である。図１に示すように、撮像装置１００は、画像入力部１０１、動き情報算出部１０２、ローリングシャッタ歪み補正量算出部１０３、ローリングシャッタ歪み補正部１０４、及び、補正基準行決定部１０５を備える。

画像入力部１０１は、被写体を撮像した画像データ（以下、撮像画像データと称することがある）を入力する。具体的には、画像入力部１０１は、不図示の光学系、撮像素子及び撮像系画像処理回路により構成される。先ず、被写体の光学像は、光学系により撮像素子上に結像され、撮像素子の光電変換作用により電気信号に変換される。次に、電気信号に変換された被写体像は、画像処理回路においてＡＤ変換されて単版センサであれば、ベイヤ補間処理が行われる。そして、アパーチャ補正、ガンマ補正及びホワイトバランス処理等からなる撮像系の信号処理が行われることにより、撮影画像データが生成される。これらの画像処理回路は、実際には１つの回路又は複数の部分回路として構成される。特に撮像系画像処理回路は、実際にはアナログの電気信号を扱うアナログフロントエンドとＡＤ変換後のデジタルバックエンドとの２つの構成に分けて構成されることが多い。

図２は、出力画像データのサイズである画像切り出し領域２０２と、マージン領域２０３と、撮像画像データの全領域（全撮像領域）２０１との関係を示す図である。図２に示すように、画像入力部１０１から入力される撮像画像データの全領域（全撮像領域）２０１は、出力画像データのサイズである画像切り出し領域２０２に対して、ローリングシャッタ歪み補正処理のためのマージン領域２０３を付加したサイズとなる。

動き情報算出部１０２は、撮像装置１００の動きを検出する。撮像装置１００の動き情報、又は、撮像装置１００の動き情報を画像データ上の動きに変換した情報を出力する。動き情報算出部１０２は、ジャイロセンサ、加速度センサ又は磁気センサ等の撮像装置１００の回転及びシフト量を算出するセンサにより構成される。動き情報算出部１０２は、フレームレート又は画像データの行毎のサンプリングレートに対応したサンプリング間隔以上の高い周波数で動き情報を取得する。動き情報は、焦点距離情報のようなカメラパラメータとともに任意の時間に対する動きベクトルとして、次の式１で表すことができる。

式１で表す動き情報の各成分要素は、ある瞬間におけるセンサの出力信号の値、当該出力信号に係数を乗算した値、又は、ズーミングにより変化する焦点距離のような可変カメラパラメータを含む値等に対応する。

カメラワークに対応する動き情報を画像データ上の動きに変換して扱う場合、次の式２で表す空間動きモデル関数を用いることにより、動き情報が画像データ上の動きに変換される。

本実施形態では、光軸に垂直な２軸を回転軸とする例えばジャイロセンサからなる回転センサを動き情報算出部１０２として装備した撮像装置１００を想定している。従って、空間動きモデル関数を回転に対する光軸近傍の線形近似モデルとした場合、動き情報は次の式３で表すことができる。

ここで示した空間動きモデル関数は、当然任意のものと代替可能である。入力となる撮像装置１００の動き情報の変数、つまりセンサの数を増やしたり、モデルを近似のない高精度のものと取り替える等、より高度なモデルへと代替可能である。

ローリングシャッタ歪み補正量算出部１０３は、動き情報算出部１０２により算出された動き情報に基づいて、ローリングシャッタ歪み補正処理に必要な幾何変形量を算出する。即ち、ローリングシャッタ歪み補正量算出部１０３は、ローリングシャッタに起因する行毎の露光時間のずれの間に撮像装置１００の動きで生じた撮像画像データの幾何学的な歪みを、逆変換的な幾何変形で補正するためのローリングシャッタ歪み補正量として算出する。

図３（ａ）は、ローリングシャッタ方式の撮像装置１００で撮像した画像データのフレーム周期及び行と時間方向との関係を示している。図３（ａ）に示すように、ローリングシャッタ方式の撮像装置１００は、垂直同期信号に合わせて各フレームの読み込みが開始されるとともに、各フレームの行毎に順次露光及び読み出しが行われる。また、図３（ａ）に示すように、行間の読み出しの遅延時間をτ、画像データ中の全行数をＨとすると、先頭行と最終行との間で（Ｈ−１）τの読み出し時間のずれが生じることになる。

画像データを構成する各画素についてのローリングシャッタ歪み補正量は、露光期間の異なる行のうちの１つ行を基準にして、同一露光期間に撮影したように、ずれた露光期間に応じた動きにより生じた歪みを打ち消す幾何変形量として求められる。

図３（ｂ）は、ローリングシャッタ歪み補正量算出部１０３及びローリングシャッタ歪み補正部１０４を用いて、図３（ａ）に示す画像データをあたかもグローバルシャッタで撮影した画像データのように補正した場合のフレーム周期及び行と時間方向との関係を示している。図３（ｂ）の例では、先頭行から３行目を基準行として補正を行った状態を示している。本実施形態では、基準行との露光タイミングのずれの間に生じた幾何変化を各行毎に打ち消す内容のローリングシャッタ歪み補正量で補正し、仮想的に露光期間を時間方向で移動させる。これにより、図３（ｂ）に示すように、あたかも基準行と他の行とを同時タイミングで撮像したような画像データを得ることができる。なお、本実施形態では、固定的な基準行を用いるのではなく、補正基準行決定部１０５において基準行を動的に決定するものである。

ローリングシャッタ歪み補正処理には、基本的にバックワードマッピングが用いられる。そのため、ローリングシャッタ歪み補正処理後の画像データの座標からローリングシャッタ歪み補正処理前の画像データの座標へのマッピング式、又は、その単純形であるホモグラフィが補正量パラメータとして出力される。マッピングの基本式は、次の式４で表される。

さらに、式の簡略化が可能な場合、次の式４´で表すように、関数ｍ（）を積分外に括り出してもよい。

また、マッピング式の単純系であるホモグラフィは、３行３列の行列で表される。式４で表されるマッピング式が次元を拡張した斉次表現において線形変換可能である。その結果、次の式５で表されるホモグラフィ表現で当該マッピングが表現可能な場合、少ない情報で幾何変形を表現可能なｈで示されるホモグラフィ表現のパラメータとして扱うことが可能である。

図４（ａ）は、動き情報算出部１０２であるヨー方向回転センサから得られた動き情報を示している。これは、或る動きモデルの具体例を用いて得られた動き情報である。ここでは、ピッチ方向の回転はないものとして図示を省略する。さらに焦点距離を固定と仮定して問題を簡略化すると、マッピング式は次の式６で表せる。

また、式６の積分項は、次の式７で表すように、露光期間のずれの間に生じた撮像装置１００の回転に関する任意の角度変化量が得られることを想定している。

図４（ｂ）は、先頭行を基準行（ｙ₁＝１、ｔ₁＝１）とした場合におけるローリングシャッタ歪み補正処理の状況を示している。また、図４（ｃ）は、読み出し方向(図４（ｃ）の垂直方向)の中心行を基準行(ｙ₁＝Ｈ／２、ｔ₁＝Ｈτ)とした場合におけるローリングシャッタ歪み補正処理の状況を示している。

図４（ｂ）及び図４（ｃ）において、実線の曲線で囲まれた領域４０１は、出力画像データの作成に必要となる画素に該当する領域である。また、点線で囲まれる領域４０２は、画素値がサンプリングされる画像切り出し領域である。実線の方形で囲まれた外周領域４０３は、画像切り出し領域４０２に対し、実線の曲線で囲まれた領域４０１内の画素値を得るために確保されたマージン領域を加えた全画像領域である。図４（ｂ）及び図４（ｃ）中のＳ_axは、出力画像データの作成に必要となる領域４０１に内接する長方形が、画像切り出し領域４０２から左側にはみ出したサイズを表す。図４（ｂ）及び図４（ｃ）のＳ_bxは、出力画像データの作成に必要となる領域４０１に内接する長方形が、画像切り出し領域４０２から右側にはみ出したサイズを表す。なお、全画像領域４０３の中心行Ｍは、次の式８で表される。式８において、Ｈは、画素数で表される、画像切り出し領域４０２の画像高である。
Ｍ＝Ｈ／２・・・式８

図４（ｂ）と図４（ｃ）との違いからわかるように、画像データ撮影時の撮像装置１００の動きが同じであっても、基準行の決め方によってマージン領域が変化する。図４（ｂ）に示すように、先頭行を基準行とした場合、先頭行の動き情報が得られた時点から逐次的に行のマッピング先を次々計算できるため、リアルタイム処理に向いている。しかしながら、図４（ａ）に示すような動き情報である場合、画像データの欠損を生じさせず画素値を常にサンプリングするためには、図４（ｂ）に示すように、右側のマージン領域のみしかサンプリングに利用しない、偏りのあるマージン領域のとり方となる。このため、すぐにマージン領域の限界まで達してしまう。結果として、撮像装置１００の速い動きにより生じる大きなローリングシャッタ歪みに対しては、マージン領域の使い方に無駄が多く、対処可能な歪みの大きさの制約が厳しかったり、必要とするマージン領域が大きくなってしまう傾向がある。

一方、図４（ｃ）に示すように、読み出し方向の中心行を基準行とした場合、画素値のサンプリング対象範囲は左右のマージン領域に振り分けられる。読み出し方向の中心行を基準行とした場合、先頭行を基準行とした場合よりも効率的にマージン領域を利用する形となり、特に動きが等速の場合、左右で均等な振り分けとなり、マージン領域の利用法として理想的となる。しかし、非等速運動により生じるローリングシャッタ歪みである場合、例えば、図４（ａ）に示したような後半に動きが加速する場合には、必要となるマージン領域のサイズが次の式９で表すように左右で非対称となる。

必要なマージン領域が非対称な場合まで考慮すると、あらゆる動きに備えるために非対称性を考慮してやはり大きくマージン領域を確保しておく必要が生じる。

ローリングシャッタ歪み補正部１０４は、ローリングシャッタ歪みを幾何変形により補正する。即ち、ローリングシャッタ歪み補正部１０４は、画像データ、及び、幾何変形のマッピング式のパラメータ又はホモグラフィを入力とし、幾何変形によりローリングシャッタ歪みを補正した画像データを出力する。また、幾何変形の単純な代替処理として、マージン領域を含む画像データを一時保存したバッファからの画像データ読み出し位置の変更、撮像素子からの画像データ読み出し位置の変更もその派生として含む。ローリングシャッタ歪み補正部１０４から出力された画像データは、不図示の記録媒体に記録されるか、不図示の表示部において表示される。

補正基準行決定部１０５は、ローリングシャッタ歪み補正処理の基準となる行である基準行を決定する。ここでは、ローリングシャッタ歪み補正処理に必要なマージン領域が最小になる基準行が選択される。次の式１０は、基準行を決定するための関数の一例を表している。

画像データ中のサンプリング点には、画像切り出し領域の全画素を用いてもよいが、高速化を考えた場合、４隅の画素座標又は周辺部の８画素を選択すると、効率的に基準行を選択することができる。基準行の決定は、上式の解を、基準行を変数とした勾配降下型の最適化により求めることで実現する。

ここで、図５を用いて、コスト関数ｆ_costについて説明する。コスト関数ｆ_costは、例えば次の式１１で表される。

コスト関数ｆ_costは、当該サンプリング点のマッピング位置であるサンプリング先のうち、画像切り出し領域から最も外れるサンプリング先が、どれだけ画像切り出し領域からはみ出しているかを数値化するための関数である。図５（ａ）の例では、画像切り出し領域２０２の周辺部の８画素を白丸のマークで示し、画像切り出し領域２０２から最も外れるサンプリング先５０１を白丸に×を付けたマークで示している。また、図５（ａ）の例では、上記周辺部の８画素のうちの左上点５０２をサンプリング元座標として選択している。ゲージ５０３で示した距離が画像切り出し領域２０２の外周からサンプリング先の画素までの距離であり、第１項の距離関数Ｌ１に対応する。距離関数Ｌ１とは、画像データの座標上における距離を計算するための関数である。距離関数には任意の距離関数、例えばＬ２関数を用いてもよい。第２項のｒｅｃｔで示された関数は、いわゆる矩形関数に類似した次の式１２で表される関数である。

また、式１１では、否定を示すバーがつくため、サンプリング先が画像切り出し領域２０２の内側であれば０を返し、サンプリング先が画像切り出し領域２０２の外側にはみ出し、マージン領域２０３に含まれる位置であれば１を返す項となる。補正基準行決定部７０５は、このような動作を表現するコスト関数ｆ_costを用いることにより、出力画像データを生成する際に必要となるマージン領域２０３を最小化する基準行を選択する。

次に、図５（ｂ）を参照しながら、基準行選択の効果について説明する。上述したとおり、図４（ｃ）は、図４（ａ）の動き情報により生じたローリングシャッタ歪みを画像切り出し領域の中心行を基準行にして補正した様子を示している。図２に示すように、全画像領域２０１の中心に画像切り出し領域２０２を配置した場合には、図４（ｂ）に示すように、画像切り出し領域２０２の先頭行を基準行とした場合よりも、図４（ｃ）に示すように、画像切り出し領域２０２の中心行を基準行とした場合の方が、必要となるマージン領域２０３を小さくすることができる。しかしながら、依然としてマージン領域２０３は左右非対称（Ｓ_ax＜Ｓ_bx）であり、まだムダが存在する。これに対し、図５（ｂ）に示すように、適切な基準行を選択することにより、左右のマージン領域に幾何変形を均等に振り分ける（Ｓ´_ax＝Ｓ´_bx）ことができる。中心行を基準行として選択した場合のマージン領域のサイズ（Ｓ_bx，Ｓ_by）と、適切な基準行を選択した場合のマージン領域のサイズ（Ｓ´_bx，Ｓ´_by）との関係は、次の式１３で表される。

これにより、対処可能なローリングシャッタ歪みの大きさの制限を変更することなく、必要となるマージン領域を節約することができる。しかしながら、動画像データの撮影において、ローリングシャッタ歪み補正処理における基準行を変えることは、時間方向のサンプリングタイミングを変更することに対応する。従って、隣接するフレーム間でローリングシャッタ歪み補正処理における基準行を大きく変化させ過ぎると、等速で移動する物体が不安定に速度を変えて移動する物体に見えてしまうような不具合を生じる。このため、直前フレームのローリングシャッタ歪み補正処理における基準行に基づき、補正基準行決定部１０５にて決定される基準行に制約を加えることが有用となる。例えば、次の式１４で表すように、基準行の値域に制限を加えることが考えられる。

ここで、Δｙは、値域変化の許容範囲を制御するパラメータである。過去（ここでは、直前フレーム）に決定した行から所定の範囲内に属する行から基準行を決定するための制約を加えることにより、基準行が動画像データに特有の連続するフレーム間で大きく変わってしまうことを防ぐことができる。これにより、ローリングシャッタ歪み補正処理で生じる時間方向のサンプリングタイミングに関する問題を抑制することができる。

図６は、値域に制約を加えて基準行を決定し、ローリングシャッタ歪み補正処理を行った場合のフレームの進行に対する各フレームのサンプリング位置を示す図である。図６において、縦軸方向がフレームの進行を表し、横軸方向がフレーム期間内のローリングシャッタ歪み補正処理後のサンプリングタイミング又は画像データ内の基準行の垂直方向の位置を表す。基準行の選択に制約を加えることにより、フレーム間における撮影タイミングが滑らかに変化する状態が示されている。制約を加えた基準行の選択式は、次の式１５のように表される。但し、 ｙ_1a＝ｙ₁−Δｙ、ｙ_1b＝ｙ₁−Δｙである。

また、補正基準行決定部１０５は、フレームを形成する各行を撮影した際の動き情報が全て得られる段階まで基準行の決定を開始することができない。これは、動画像データの撮影においてリアルタイム処理を行おうとする場合、大きな制約となる。一方、ローリングシャッタ歪みは動画データの特性上、隣接フレーム間で同じような傾向を持つ。そこで、当該制約を回避するため、各行の蓄積時間における動き情報で基準行を決定したフレームでは、その基準行の情報を用いず、次フレームのローリングシャッタ歪み補正処理に用いることにする。これにより、動き情報が基準行まで取得できた時点から歪み補正を開始することが可能となる。

以上説明したように、回転・シフトセンサより得られる動き情報を基にローリングシャッタ歪みを補正する際において、動き情報に変化が含まれ、従来のローリングシャッタ歪み補正のやり方では補正に必要なマージン領域が大きくなってしまう場合であっても、本実施形態においては、小さなマージン領域を有効活用して効率的にローリングシャッタ歪みを補正することができる。

次に、本発明の第２の実施形態について説明する。以下では、第１の実施形態との相違点に主眼をおいて説明を行うものとする。従って、第１の実施形態において説明した事項は、第２の実施形態でも適宜適用することが可能である。

図７は、第２の実施形態に係る撮像装置７００の構成を示す図である。図７に示すように、第２の実施形態に係る撮像装置７００は、画像入力部１０１、動き情報算出部７０２、ローリングシャッタ歪み補正量算出部７０３、ローリングシャッタ歪み補正部１０４、及び、補正基準行決定部１０５から構成される。なお、図７における画像入力部１０１、ローリングシャッタ歪み補正部１０４及び補正基準行決定部１０５は夫々、図１における画像入力部１０１、ローリングシャッタ歪み補正部１０４及び補正基準行決定部１０５と同様の構成であるため、それらの説明は省略する。

動き情報算出部７０２は、画像入力部７０１から２枚以上のフレームを入力して動き情報を算出する。つまり、動き情報算出部７０２は、撮像装置７００と被写体との間の相対的な動き情報をフレーム間の動きベクトルから算出する。動きベクトルは、一方のフレーム内の局所領域をテンプレートとして切り出し、もう一方のフレーム内で相関を演算する処理を繰り返すことで取得される。

図８は、２枚のフレーム間のテンプレートマッチングを説明するための図である。図８において、左のフレームを基準画像データ８０１とし、右のフレームを参照画像データ８０２とする。例えば左の基準画像データ８０１が先行する１フレーム前の画像データに対応し、右の参照画像データ８０２がそれに続く現在のフレームに対応する画像データに対応するものとする。そして、基準画像データ８０１中において任意に選択された画素の位置を、テンプレートマッチングで動きベクトルを求める基準点８０３とする。そして、その周辺の領域、即ち、図８の基準画像データ８０１中で正方形により囲まれた領域８０４をそのテンプレートとする。そして、動き情報算出部７０２は、参照画像データ８０２中において対応点を探索する。対応点探索範囲８０５は、参照画像データ８０２中に任意に設定される。対応点探索範囲８０５としては、入力された２枚のフレーム間で想定される最大の変位量が設定される。この探索範囲は、できるだけ限定することが対応点探索の誤対応防止のためには望ましい。

動き情報算出部７０２は、対応点探索範囲８０５中の対応点候補８０６の個々について基準点８０３との相関値を求める。相関値の演算は、対応点候補８０６に対して設定された、テンプレートである領域８０４と同じサイズの領域８０７について画素値の正規相互相関や画素値の差分和を求めることによって行われる。動き情報算出部７０２は、探索範囲中に存在する対応点候補８０６のそれぞれに対し、相関値をそれぞれ求めていく。そして、動き情報算出部７０２は、最も相関が高い対応点候補８０６を対応点として、基準点８０３と対応点とのずれを動きベクトルとして算出する。

相関値演算に際しては、領域８０４又は領域８０７に含まれる周辺画素の対応する画素のどちらかが白飛び画素又は黒潰れ画素である場合、相関値演算から除外する。そして、動き情報算出部７０２は、相関値演算の結果、２枚以上のフレーム間で得られた任意の座標位置における複数の動きベクトルを動き情報として出力する。または、動き情報算出部７０２は、上記複数の動きベクトルから、より集約されたグローバルベクトルを選択して動き情報として出力してもよい。このとき、クラスタリング等により余剰な動きベクトルを削減してもよい。

図９は、ヒストグラムを用いたグローバルベクトルの選択方法の一例を説明するための図である。動き情報算出部７０２は、テンプレートマッチングにより得られた複数の動きベクトルから、例えば垂直方向及び水平方向の成分毎にそれぞれヒストグラムを形成する。そして、動き情報算出部７０２は、図９の矢印で示したような度数最大の値をグローバルベクトルの成分として選択する。その他、複数の動きベクトルから２次元ヒストグラムを形成し、度数最大のビンの動きベクトルをグローバルベクトルとして選択するようにしてもよい。

また、動き情報算出部７０２は、複数の動きベクトルからグローバルベクトルを選択するのではなく、空間動きモデル関数の自由度に対応したフレーム間のモーションパラメータを算出してもよい。グローバルベクトルの代わりに空間動きモデル関数の自由度に対応したフレーム間のモーションパラメータを算出する手法としては、例えば、特開２００５−２６９４１号公報に開示される手法を適用することができる。例えば、空間動きモデル関数が並進と拡大縮小とのモーションのみ扱う単純な場合を想定すると、フレーム間のモーションパラメータは、以下の式１６で表わされる。

特開２００５−２６９４１号公報に開示される手法により、フレーム間で計算された複数の動きベクトルからモーションパラメータが得られる。特開２００５−２６９４１号公報に開示される手法は、グローバルベクトル算出手法とほぼ同様な手順、つまり、簡単な四則演算とヒストグラム処理とによりモーションパラメータを得ることのできる手法である。

また、画像データ上で得られる複数の動きベクトルに対する最小二乗フィッティングによりモーションパラメータを算出してもよい。動きベクトルから並進と拡大縮小の動きを包含するヘルマートモデルのモーションパラメータの算出式は、式１７で表される。

式１７の１つ目の式の両辺に、ｍ組の動きベクトル（Δｘ_i，Δｙ_i）（ｉ＝１，・・・，ｍ）、その画像データ上の算出座標（ｘ_i，ｙ_i）、及び、当該情報から得られる次フレーム上の対応する座標（ｘ_i´，ｙ_i´）が代入される。ここで、式１６と点の表記が変わっていることに注意が必要である。そして、係数を実データで埋めた同次方程式を最小二乗法により解くことにより、式の係数であるフレーム間のモーションパラメータが得られる。このようにして得られる空間動きモデル関数のモーションパラメータを動き情報算出部７０２の出力としてもよい。また、空間動きモデル関数に従って並進と拡大縮小とに限定したモーションとして、部分的にモーションパラメータを選択するようにしてもよい。

ローリングシャッタ歪み補正量算出部７０３は、動き情報算出部７０２から入力される動き情報に基づいて、ローリングシャッタ歪み補正量を求める。入力される動き情報がフレーム間の動き情報のみの場合、その間の画像データの各行に対応する動きは定速で変化したとみなす。つまり、行毎について求められる動きの速度情報は一定であると考える。

そして、ローリングシャッタ歪み補正量算出部７０３は、動き情報としてフレーム間のモーションパラメータを用いて、次の式４´´に従いローリングシャッタ歪み補正量を算出する。式４´´はモーションが一定の定数項であるとみなし、積分項をフレーム間の各座標における動きを導入して次式の形に簡略化可能である。

また、空間動きモデル関数に従って例えば並進と拡大縮小とに限定したモーションを想定すると、フレーム間の各座標における動きベクトルは、次の式１８で表すことができる。

さらに、式１７に式４´´を代入すると、ローリングシャッタ歪み補正量の算出に必要となる、ローリングシャッタ歪み補正処理後の画像データ上の座標からローリングシャッタ歪み補正処理前の画像データ上の座標へのマッピング式が、ホモグラフィｈにより次の式１９の形で得られる。但し、各係数のインデックスｎは省略する。

上式とは逆に、ローリングシャッタ歪み補正処理前の画像データ上の座標からローリングシャッタ歪み補正処理後の画像データ上の座標へのマッピング式のホモグラフィ表現ｈ^-1は、逆行列により次の式２０で表される。

図１０は、フレーム間の動き情報を入力した場合において、式１９に従ってローリングシャッタ歪み補正量を算出し、ローリングシャッタ歪み補正処理を実行した状況の一例を示す図である。図１０（ａ）は、動き情報算出部７０２であるヨー方向回転センサから得られた動き情報を示している。ここでは、ピッチ方向の回転はないものとして図示を省略する。また、焦点距離を固定と仮定して問題を簡略化するものとする。図１０（ａ）の例では、ヨー方向の並進のみが検知された場合を示している。

図１０（ａ）において、縦軸の値一定で示されるパラメータは、ホモグラフィ変数ｈを行数Ｈで割った値ｈ／Ｈである。図１０（ｂ）は、先頭行を基準行とした場合におけるローリングシャッタ歪み補正処理の状況を示している。また、図１０（ｃ）は、読み出し方向の中心行を基準行とした場合におけるローリングシャッタ歪み補正処理の状況を示している。図１０（ｂ）に示すローリングシャッタ歪み補正処理の場合、図４（ｂ）の例と同様に、片方のマージン領域（Ｓ_bx）のみしかサンプリングに用いない、偏ったマージン領域のとり方となる。

他方、図１０（ｃ）に示すように、読み出し方向の中心行を基準行とした場合、画素のサンプリング対象範囲は左右のマージン領域に振り分けられる。特に入力がフレーム間の動き情報に限られる場合、各行毎の動きは常に等速とみなされるため、常に左右対称で均等なマージン領域の利用（Ｓ_ax＝Ｓ_bx）となり、動きが並進に限られる場合、マージン領域を無駄なく利用したローリングシャッタ歪み補正処理が可能となる。

次に、図１０（ｄ）及び図１０（ｅ）は、フレーム間の動きが拡大縮小のみの場合におけるローリングシャッタ歪み補正処理の状況を示している。図１０（ｂ）及び図１０（ｃ）が、図１０（ａ）に示す動き情報を、画像データの並進の変化量とみなした場合におけるローリングシャッタ歪み補正処理の状況を示したのに対し、図１０（ｄ）及び図１０（ｅ）は、図１０（ａ）に示す動き情報を、画像データの拡大縮小の変化量とみなした場合におけるローリングシャッタ歪み補正処理の状況を示している。図１０（ｄ）は、先頭行を基準行とする場合におけるローリングシャッタ歪み補正処理の状況を示しており、図１０（ｅ）は、読み出し方向の中心行を基準行とした場合におけるローリングシャッタ歪み補正処理の状況を示している。図１０（ｄ）及び図１０（ｅ）の結果から分かるように、フレーム間の動きが拡大縮小成分のみを含む場合、必要となるマージン領域は水平方向に加え、垂直方向にも必要となる。図１０（ｅ）に示すように、左上側のマージン領域をＳ_ax及びＳ_ayとし、右下側のマージン領域のサイズをＳ_bx及びＳ_byとする。すると、画像データにおける拡大縮小の変化の性質と式４との関係を鑑みると、どのように基準行を設定しても並進の場合のように必要となるマージン領域を対称にできなくなる。しかしながら、基準行の変更により、画像切り出し領域を基準に最も外側に来るサンプリング位置を移動させ、必要となるマージン領域を抑制することがこの場合においても可能であることが分かる。図１０（ｆ）は、図１０（ｅ）の中心行からさらに画像高の１／４サイズだけ基準行を下げた場合におけるローリングシャッタ歪み補正処理の状況を示している。基準行が画像データ下端に近づくため、それ以降下の行のローリングシャッタ歪み補正量が小さくなる。そのため、出力画像データの作成に必要となるマージン領域が小さくなる。従って、より大きな歪みも補正可能となる。

つまり、動き情報をフレーム間の動きベクトルとして得る場合のローリングシャッタ歪み補正処理においても、拡大縮小という画像データの変化として最も一般的部類の動きを含む場合に、本実施形態におけるローリングシャッタ歪み補正処理の基準行変更の技術を導入することが有用である。

また、本実施形態で示した画像データの動きベクトル又はグローバルベクトルを入力とした空間動きモデル関数も、第１の実施形態で示したセンサ信号を入力とした空間動きモデル関数と同様に当然任意のものと代替可能である。例えば画像データに垂直な法線を軸とした面内回転の動きにも対応したより高度なモデルへと代替可能である。

次に、本発明の第３の実施形態について説明する。以下では、第１及び第２の実施形態との相違点に主眼をおいて説明を行うものとする。従って、第１及び第２の実施形態において説明した事項は、第３の実施形態でも適宜適用することが可能である。

図１１は、第３の実施形態に係る撮像装置１１００の構成を示す図である。第３の実施形態に係る撮像装置１１００は、ローリングシャッタ歪みに加えて、手ブレによる画像データの劣化を補正することができる。

図１１に示すように、第３の実施形態に係る撮像装置１１００は、画像入力部１０１、動き情報算出部１１０２、ローリングシャッタ歪み補正量算出部１０３、ブレ・ローリングシャッタ歪み補正部１１０４、補正基準行決定部１１０５及びブレ補正量算出部１１０６を備える。なお、図１１における画像入力部１０１及びローリングシャッタ歪み補正量算出部１０３は夫々、図１における画像入力部１０１及びローリングシャッタ歪み補正量算出部１０３と同様の構成であるため、それらの説明を省略する。

ブレ補正量算出部１１０６は、動き情報算出部１１０２により得られた動き情報に基づいて、画像データのブレ（揺れ）を止める補正量を決定する。例えば、単純な動きモデルとして、第１の実施形態で想定した２軸の回転センサを装備し、空間動きモデル関数に回転に対する光軸近傍の線形近似モデルを用いる場合を想定することができる。また、最も単純な補正量の決定方法としては、最初のフレームを基準に動きを防振する方法が考えられる。この場合、最初のフレーム撮影時からの動き情報の積分値を打ち消す幾何変形量を、ローリングシャッタ歪み補正量とすることにより、防振を実現することができる。その結果、図１２（ａ）に示すように、画像切り出し領域２０２をローリングシャッタ歪み補正量分だけシフトさせることにより、画像データの防振を実現することができる。実線で示した方形領域１２０４は、防振後の画像切り出し領域である。

本実施形態においては、このような単純なブレ補正量算出部１１６を想定するが、動きセンサを増やしたより高度なブレ補正を行なう場合と代替してもよい。ブレ・ローリングシャッタ歪み補正部１１０４は、ローリングシャッタ歪みに加え、ブレを幾何変形により補正する。即ち、ブレ・ローリングシャッタ歪み補正部１１０４は、画像データ及びそれぞれの補正についての幾何変形のマッピング式のパラメータ又はホモグラフィを入力とし、幾何変形によりブレ及びローリングシャッタ歪みを補正した画像データを生成する。幾何変形の単純な代替処理としてマージン領域を含む画像データを一時保存したバッファからの画像データ読み出し位置変更、撮像素子からの画像データ読み出し位置変更もその派生として含む。

また、幾何変形の並進成分の高周波且つ微小振幅の成分の補正に対応するブレの抑制には、画像入力部１０１を構成する光学系のレンズをシフトさせて画像データのブレを抑制する光学防振手段を併用してもよい。光学防振手段は、動き情報算出部１１０２と画像入力部１０１とを構成する光学系、及び、不図示のレンズシフト駆動系からなるフィードバック機構により構成される。この場合、本実施形態におけるブレ補正機構は、この光学防振手段で防振できなかった低周波且つ大きな振幅を持つブレ成分を防振する役目を果たす。また、光学防振手段によりローリングシャッタ歪みも抑制されるが、ブレ・ローリングシャッタ補正部１１０４はそれでも生じるローリングシャッタ歪みを補正する役割を果たす。ブレ・ローリングシャッタ歪み補正部１１０４から出力された画像データは不図示の記録手段によって記録媒体等に記録されるか、同じく不図示の表示手段に表示される。

図１２（ａ）は、ブレ防振のみ実施した場合の幾何変形による補正処理の状況を示したのに対し、図１２（ｂ）は、ブレ・ローリングシャッタ歪みの両方の補正処理の状況を示している。なお、図１２（ｂ）は、先頭行をローリングシャッタ歪み補正の基準行とした場合における補正処理の状況を示している。図１２（ａ）に示す防振後の画像切り出し領域１２０４の画素をサンプリング元として、ローリングシャッタ歪み補正量算出部１０３で算出されたローリングシャッタ歪み補正量に従って幾何変形することで、最終的な画素値のサンプリング位置の領域１２０５が得られる。図１２（ｂ）の領域１２０５は、ブレ補正後の画素値のサンプリング位置に対応する。さらに図中のＳ_bx及びＳ_byは、右下側のマージン領域のサイズを表わす。図１２（ｂ）では、出力画像データを得るための領域１２０６が全画像領域２０１からはみ出てしまっているが、出力画像データ全体を得るためには、領域１２０６を全て含む形でマージン領域を確保しなければならない。

補正基準行決定部１１０５は、ローリングシャッタ歪み補正の基準となる行である補正基準行を決定する。即ち、補正基準行決定部１１０５、ローリングシャッタ歪み補正量に加え、ブレ補正量も同時に考慮し、補正に必要なマージン領域が最小になる基準行を選択する。以下、図１３を参照しながら、基準行の選択処理の一例について説明する。ここでは、図１３に示すように、マージン領域を最小にする基準行として最終行が選択されている。このように、第３の実施形態では、ブレ補正量及びローリングシャッタ歪み補正量の両方を考慮し、ブレ補正処理及びローリングシャッタ歪み補正処理全体で必要となるマージン領域が小さくなるようにローリングシャッタ歪み補正処理の基準行を決定している。これにより、ローリングシャッタ歪み補正処理に必要となるマージン領域を節約し、より大きなブレやローリングシャッタ歪みを補正することが可能になる。

本発明は、撮像装置にのみ適用されるものではなく、例えば撮像装置が取り付けられた携帯情報端末、撮影した画像データに対して後処理として加工を加える画像処理装置、及び、このような画像処理装置を含む画像表示装置にも適用可能である。

また、本発明は、ユーザが手で持って撮影を行う撮像装置のみに限定して適用されるものではなく、監視カメラのように固定的に設置され、通行人や自動車等、主に動被写体を撮影する場合にも適用可能である。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００、７００、１１００：撮像装置、１０１：画像入力部、１０２、７０２、１１０２：動き情報算出部、１０３、７０３：ローリングシャッタ歪み補正量算出部、１０４、１１０４：ローリングシャッタ歪み補正部、１０５、１１０５：補正基準行決定部、１１０６：ブレ補正量算出部

Claims (8)

1. ローリングシャッタ方式の撮像手段と、
   前記撮像手段により撮像された画像データの垂直方向に配置された複数の行のうちの基準となる行の水平方向の読み出し位置に対して、前記基準となる行とは異なる複数の他の行の水平方向の読み出し位置を設定することによって、ローリングシャッタ歪みを抑制するための補正処理を施す補正手段を有し、
   前記補正手段は、前記基準となる行の水平方向の読み出し位置と前記複数の他の行の水平方向の読み出し位置の間のずれ量のうち、水平方向の一方の方向における最も大きなずれ量と、水平方向の他方の方向における最も大きなずれ量が、均等になるように、前記基準となる行を決定することを特徴とする撮像装置。
2. 前記撮像装置の動きを検出する検出手段を更に有し、
   前記補正手段は、前記検出手段により検出された当該撮像装置の動きに基づいて、前記複数の他の行の水平方向の読み出し位置を設定することを特徴とする請求項１に記載の撮像装置。
3. 前記補正手段は、過去に決定した基準となる行から垂直方向において所定の範囲内に位置する行の中から、新たな基準となる行を決定することを特徴とする請求項１または２に記載の撮像装置。
4. 前記補正手段は、第１の画像データから前記基準となる行の水平方向の読み出し位置に応じて、前記複数の他の行の水平方向の読み出し位置を設定するための補正量を求め、
   前記第１の画像データよりも後に得られた第２の画像データにおいて、前記第１の画像データから求めた前記補正量に基づいて、前記基準となる行の水平方向の読み出し位置に対して前記複数の他の行の水平方向の読み出し位置を設定することを特徴とする請求項１乃至３の何れか１項に記載の撮像装置。
5. 前記検出手段は、当該撮像装置のカメラワーク又は画像データのフレーム間の動きベクトルに基づいて、当該撮像装置の動きを検出することを特徴とする請求項２に記載の撮像装置。
6. 前記検出手段により検出された前記撮像装置の動きに基づいて、前記撮像手段により撮像される画像データのブレを抑制するブレ補正量を算出するブレ補正量算出手段を更に有し、
   前記補正手段は、前記ブレ補正量算出手段により算出されたブレ補正量に基づいて、前記撮像手段により撮像された画像データに対してブレ補正処理を施すことを特徴とする請求項２に記載の撮像装置。
7. ローリングシャッタ方式の撮像手段を有する撮像装置の制御方法であって、
   前記撮像手段により撮像された画像データの垂直方向に配置された複数の行のうちの基準となる行の水平方向の読み出し位置に対して、前記基準となる行とは異なる複数の他の行の水平方向の読み出し位置を設定することによって、ローリングシャッタ歪みを抑制するための補正処理を施す補正ステップを含み、
   前記補正ステップは、前記基準となる行の水平方向の読み出し位置と前記複数の他の行の水平方向の読み出し位置の間のずれ量のうち、水平方向の一方の方向における最も大きなずれ量と、水平方向の他方の方向における最も大きなずれ量が、均等になるように、前記基準となる行を決定することを特徴とする撮像装置の制御方法。
8. ローリングシャッタ方式の撮像手段を有する撮像装置の制御方法をコンピュータに実行させるためのプログラムであって、
   前記撮像手段により撮像された画像データの垂直方向に配置された複数の行のうちの基準となる行の水平方向の読み出し位置に対して、前記基準となる行とは異なる複数の他の行の水平方向の読み出し位置を設定することによって、ローリングシャッタ歪みを抑制するための補正処理を施す補正ステップをコンピュータに実行させ、
   前記補正ステップは、前記基準となる行の水平方向の読み出し位置と前記複数の他の行の水平方向の読み出し位置の間のずれ量のうち、水平方向の一方の方向における最も大きなずれ量と、水平方向の他方の方向における最も大きなずれ量が、均等になるように、前記基準となる行を決定することを特徴とするプログラム。

Images