JP5875248B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、複数の画像データを合成する際に、あおりによる歪みの影響を低減させるための技術に関するものである。

電子手ぶれ補正処理に関しては、多くの技術が提案されている。例えば、特許文献１においては、画像データの合成時における移動体の影響を低減するために、画素値の差分に応じて合成比率を変える技術が開示されている。

特開２００９−１６４８５７号公報

しかしながら、特許文献１に開示される技術においては、手持ち撮影の際にあおりぶれが発生すると、被写体像が台形に変形し、特に画像データの周辺部において、位置合わせの精度が低下し、合成後の画像データの画質が劣化するという問題がある。

図９は、あおりが生じていない場合とあおりが生じた場合とのカメラと被写体との位置関係を模式的に示す図である。図９（ａ）はあおりが生じていない場合を示しており、図９（ｂ）はあおりが生じている場合を示している。なお、図９（ｂ）では、実際にはカメラにθのあおり角が生じているが、図９（ａ）とカメラの光軸を合わせて表現したため、相対的に被写体にあおり角θが生じているように表している。

図１０は、あおりが生じていない場合に撮影される画像データ、あおりが生じた場合に撮影される画像データ、及び、それらの合成画像データを示す図である。即ち、図１０（ａ）は、あおりが生じていない場合に撮影される画像データを示している。図１０（ｂ）は、あおりが生じている場合に撮影される画像データを示している。図１０（ｃ）は、図１０（ａ）、図１０（ｂ）に示す画像データの合成画像データを示している。図１０（ｃ）に示すように、被写体にあおりが生じると、特に画像データの周辺部において位置合わせの精度が低下し、合成画像データの画質が劣化する。

そこで、本発明の目的は、あおりによる歪みの影響を抑制し、画像データの合成時における画質劣化を抑制することにある。

本発明の画像処理装置は、複数の画像データを入力する入力手段と、前記複数の画像データの位置合わせを行う位置合わせ手段と、前記複数の画像データ間におけるあおり角を検出する検出手段と、前記あおり角に基づいて、あおりによって生じる画像データの歪みの程度を表す評価値を算出し、前記評価値に応じて前記複数の画像データの合成比率を算出する算出手段と、前記位置合わせ手段によって位置合わせされた前記複数の画像データを、前記算出手段により算出された前記合成比率に従って合成する合成手段と、を有することを特徴とする。

本発明によれば、あおりによる歪みの影響を抑制し、画像データの合成時における画質劣化を抑制することが可能となる。

本発明の実施形態に係る画像処理装置の構成を示す図である。 本発明の実施形態に係る画像処理装置の処理を示すフローチャートである。 基準画像データと比較画像データとの小領域に分割した状態を示す図である。 小領域毎の基準画像データと比較画像データ間のズレ量を算出する方法を説明するための図である。 アフィン変換のパラメータの算出処理を示すフローチャートである。 アフィン変換のパラメータを算出する際に使用するズレ量を選択する方法を説明するための図である。 あおり角を説明するための図である。 合成比率の決定方法を説明するための図である。 あおりが生じた場合のカメラと被写体との位置関係を模式的に示す図である。 あおりが生じていない場合に撮影される画像データ、あおりが生じた場合に撮影される画像データ、及び、それらの合成画像データを示す図である。

以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。

図１は、本発明の実施形態に係る画像処理装置の構成を示す図である。図１に示すように、本実施形態に係る画像処理装置は、撮像部１０１、信号処理部１０２、メモリ１０３、変形量算出部１０４、画像補正部１０５、あおり角検出部１０６、合成比率算出部１０７、画像合成部１０８、合成終了判定部１０９及びメモリ１１０を備える。

図２は、本実施形態に係る画像処理装置の処理を示すフローチャートである。以下、図１及び図２を参照しながら、本実施形態に係る画像処理装置の処理について説明する。

撮像部１０１における撮影処理によって生成された画像データは、デジタル信号に変換され、信号処理部１０２に対して出力される。信号処理部１０２は、撮像部１０１から入力した画像データを処理する。信号処理部１０２によって処理された画像データがメモリ１０３に格納される。以下では、信号処理部１０２からメモリ１０３に格納される画像データを入力画像データと称す。また、当該入力画像データは、手ぶれが所定量以下となる露光時間で撮影された画像データである。

ステップＳ２１において、変形量算出部１０４は、メモリ１０３から複数の入力画像データを読み込み、変形量を求める基準となる入力画像データを基準画像データとし、その他の入力画像データを比較画像データとする。本実施形態では、連続撮影により得られたＮ枚の入力画像データのうちの１枚目の入力画像データを基準画像データとし、その他の入力画像データを比較画像データとする。

ステップＳ２２において、変形量算出部１０４は、図３に示すように、基準画像データと１枚の比較画像データとを複数の小領域に分割し、小領域毎に、基準画像データと比較画像データ間のズレ量を求める。なお、基準画像データにおける小領域より比較画像データにおける小領域の方が面積が大きい。図４は、小領域毎の基準画像データと比較画像データ間のズレ量を算出する方法を説明するための図である。図４（ａ）は、基準画像データの小領域の初期位置と比較画像データの小領域との位置関係を示している。図４（ｂ）は、上記初期位置から、比較画像データの小領域内において基準画像データと比較画像データとの相関値が最小となる基準画像データの小領域の位置までの移動ベクトル（ズレ量）を示している。本実施形態においては、図４（ｂ）に示すように、基準画像データの小領域を比較画像データの小領域内で移動させながら、基準画像データと比較画像データとの相関値を求め、上記初期位置から相関値が最も小さい位置までの動きベクトルをズレ量とする。相関値としては、例えば差分絶対値和（ＳＡＤ）等を用いることができる。

ステップＳ２３において、変形量算出部１０４は、ステップＳ２２で算出した各小領域のズレ量に基づいて、被写体像の変形を示すパラメータを算出する。本実施形態では、被写体像の変形にアフィン変換を使用しているため、被写体像の変形を示すパラメータとして、アフィン変換のパラメータを用いるものとする。

図５は、アフィン変換のパラメータの算出処理を示すフローチャートである。ステップＳ２３１において、変形量算出部１０４は、ステップＳ２２で算出した各小領域のズレ量から、アフィン変換のパラメータを算出する際に使用するズレ量を選択する。図６は、アフィン変換のパラメータを算出する際に使用するズレ量を選択する方法を説明するための図である。図６において、矢印は各小領域のズレ量のベクトルを示している。ステップＳ２３１においては、全体のズレ量のベクトルの傾向と合致しているベクトルのズレ量が選択される。即ち、図６の例では、６０１、６０２以外のベクトルのズレ量が選択される。これは、移動体の影響等により、誤検出したズレ量のベクトルの影響を排除するためである。また、ズレ量の選択においては、アフィン変換を平行移動、回転移動、拡大・縮小のみと仮定すると、ズレ量を２個選択すればアフィン変換のパラメータを算出することはできる。但し、より精度の高いアフィン変換のパラメータを算出するために、３個以上のズレ量を選択してもよい。本実施形態では、３個以上のズレ量を選択するものとする。

ステップＳ２３２において、変形量算出部１０４は、選択したズレ量から、アフィン変換のパラメータを推定する。アフィン変換は、平行移動、回転移動、拡大・縮小のみを仮定すると、次の式１のように表される。

ここで、Ａ、Ｂ、Ｃ、Ｄはアフィン変換のパラメータ、（ｘ，ｙ）は入力画像データの座標、（ｘ´，ｙ´）は後述する出力画像データの座標である。ズレ量は入力画像データの座標と出力画像データの座標との組み合わせと考えることができるため、上述したように、最低２個のズレ量を選択すれば、４個の未知数に対して式が４個できるため、アフィン変換のパラメータを決定することができる。

アフィン変換のパラメータの推定において、本実施形態では、より精度よくアフィン変換のパラメータを推定するために、３個以上のズレ量を使用している。このとき、アフィン変換のパラメータの推定時には最小二乗法を用いる。

ステップＳ２４において、画像補正部１０５は、ステップＳ２３で算出されたアフィン変換のパラメータに基づいて、比較画像データに対してアフィン変換を施す。比較画像データはアフィン変換によって基準画像データと重なるような形に変形（位置合わせ）される。

ステップＳ２５において、あおり角検出部１０６は、基準画像データと比較画像データの露光間におけるあおり角を検出する。図７は、あおり角を説明するための図であり、カメラを正面から見た図である。ここでいうあおり角とは、図７に示すような、光軸と垂直に交わる２軸のそれぞれを中心に回転する方向とし、それぞれをピッチ方向のあおり角θ_P、ヨー方向のあおり角θ_Yと表す。あおり角検出の具体的な方法としては、カメラに搭載されているジャイロセンサの出力を使用する。ジャイロセンサの出力は角速度であるため、検出対象である時間間隔で積分を行う。本実施形態では、時間間隔は基準画像データと比較画像データとの露光間隔である。

ステップＳ２６において、合成比率算出部１０７は、ステップＳ２５にて検出されたあおり角から、合成比率を決定するための評価値を算出する。評価値の算出方法の一例を以下に説明する。ここでは評価値として、あおりによって生じるｘ、ｙ座標の変化量、即ち画像データの歪みの程度を表す値を用いる。基準画像データに対してピッチ方向、ヨー方向にそれぞれθ_P，、θ_Yだけあおりが発生したときの比較画像データをあおり画像データとした場合、基準画像データ上の座標（ｘ，ｙ）に対応するあおり画像データ上の座標（ｘ´，ｙ´）は、次の式２、式３のように表される。

式２、式３において、ｆは撮像系の焦点距離、Ｌは撮像素子の画素ピッチである。ここで画素ピッチとは、撮像素子上における１画素あたりの長さを意味する。評価値としては、座標の変化量ｄｘ、ｄｙを使用し、それぞれを式４、式５のように表し、ｄｘ、ｄｙの和を評価値とする。

ステップＳ２７において、合成比率算出部１０７は、ステップＳ２６で算出した評価値から合成比率を決定する。合成比率の決定方法としては、図８に示すように、評価値に対してある閾値１（小さい値）、閾値２（大きい値）を設定し、評価値が閾値２以上、つまり、あおりによる歪みで合成時に画質が劣化すると考えられる領域では合成比率ｒ_n(x,y)を０とする。また、評価値が閾値１以下、つまり、あおりによる歪みの影響が小さく、画質を劣化させることなく合成できる領域では、合成比率算出部１０７は、合成比率ｒ_n(x,y)を、最終的な合成結果に対して入力画像データが均等に重み付けされる値に設定する。例えば２枚の画像データを合成する場合、入力画像データそれぞれが１／２に重み付けされる値、３枚の画像データを合成する場合、入力画像データそれぞれが１／３に重み付けされる値に設定される。さらに、評価値が閾値１以上、閾値２以下の場合、合成比率を線形補完して求められる。

ステップＳ２８において、画像合成部１０８は、ステップＳ２７で決定された合成比率に基づいて、ステップＳ２４でアフィン変換が行われた比較画像データと、ｎ（２≦ｎ≦Ｎ−１）枚目までの入力画像データとの合成画像データを生成する。ｎ＝１の場合、画像合成部１０８は、ステップＳ２４でアフィン変換が行われた比較画像データと、基準画像データとの合成画像データを生成する。合成は、ステップＳ２７で求められた合成比率ｒ_n(x,y)（０≦ｒ_n(x,y)≦１）を用いて、次の式６のように表される。

ここで、Ａ_n(x,y)はｎ枚目までの入力画像データの合成画像データ上の位置（ｘ，ｙ）における画素値である。Ｂ_n(x,y)は（ｎ＋１）枚目の比較画像データ上の位置（ｘ，ｙ）における画素値である。

上記の処理を行うことにより、あおりによる歪みの影響を受け、合成画像データの画質を劣化させる領域に関しては合成を行わず、また、あおりによる歪みの影響を受けず、問題なく合成ができる領域に関しては合成を行うような処理が可能になる。

最後に、ステップＳ２９において、合成終了判定部１０９は、所定の枚数分の入力画像データの合成を行ったか否かを判定する。所定の枚数分の入力画像データの合成を行った場合、最終的な出力画像データがメモリ１１０に格納される。一方、所定の枚数分の入力画像データの合成が終わっていない場合、処理はステップＳ２２に戻る。

本実施形態によれば、複数の画像データを合成する電子式手ぶれ補正の際に、あおり方向の手ぶれが発生した場合において、被写体像の台形歪みによる合成画像データの画質劣化を低減することが可能となる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１：撮像部、１０２：信号処理部、１０３、１１０：メモリ、１０４：変形量算出部、１０５：画像補正部、１０６：あおり角検出部、１０７：合成比率算出部、１０８：画像合成部、１０９：合成終了判定部

Claims (7)

1. 複数の画像データを入力する入力手段と、
   前記複数の画像データの位置合わせを行う位置合わせ手段と、
   前記複数の画像データ間におけるあおり角を検出する検出手段と、
   前記あおり角に基づいて、あおりによって生じる画像データの歪みの程度を表す評価値を算出し、前記評価値に応じて前記複数の画像データの合成比率を算出する算出手段と、
   前記位置合わせ手段によって位置合わせされた前記複数の画像データを、前記算出手段により算出された前記合成比率に従って合成する合成手段と、を有することを特徴とする画像処理装置。
2. 前記算出手段は、前記評価値の値が大きい程、前記合成比率の値を小さい値で算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記複数の画像データは、手ぶれが所定量以下となる露光時間で撮影された画像データであることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記検出手段は、前記複数の画像データを撮影した撮影装置に搭載されたジャイロセンサの出力に基づいて前記あおり角を検出することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
5. 画像処理装置によって実行される画像処理方法であって、
   複数の画像データを入力する入力ステップと、
   前記複数の画像データの位置合わせを行う位置合わせステップと、
   前記複数の画像データ間におけるあおり角を検出する検出ステップと、
   前記あおり角に基づいて、あおりによって生じる画像データの歪みの程度を表す評価値を算出し、前記評価値に応じて前記複数の画像データの合成比率を算出する算出ステップと、
   前記位置合わせステップによって位置合わせされた前記複数の画像データを、前記算出ステップにより算出された前記合成比率に従って合成する合成ステップと、を含むことを特徴とする画像処理方法。
6. 複数の画像データを入力する入力ステップと、
   前記複数の画像データの位置合わせを行う位置合わせステップと、
   前記複数の画像データ間におけるあおり角を検出する検出ステップと、
   前記あおり角に基づいて、あおりによって生じる画像データの歪みの程度を表す評価値を算出し、前記評価値に応じて前記複数の画像データの合成比率を算出する算出ステップと、
   前記位置合わせステップによって位置合わせされた前記複数の画像データを、前記算出ステップにより算出された前記合成比率に従って合成する合成ステップと、をコンピュータに実行させるためのプログラム。
7. 複数の画像データを入力する入力手段と、
   前記複数の画像データの位置合わせを行う位置合わせ手段と、
   前記複数の画像データ間におけるあおりによって生じる画像データの歪みに依る、画像合成での画質劣化を抑制するように、前記複数の画像データの合成比率を算出する算出手段と、
   前記位置合わせ手段によって位置合わせされた前記複数の画像データを、前記算出手段により算出された前記合成比率に従って合成する合成手段と、を有することを特徴とする画像処理装置。

Images