JP7158841B2 - 撮像装置、撮像方法、プログラム、記録媒体および画像処理装置 - Google Patents

Description

本発明は、複数の画像に対して位置合わせを行う撮像装置に関するものである。

デジタルカメラなどの撮像装置からの距離が互いに大きく異なる複数の被写体を撮像する場合や、奥行き方向に長い被写体を撮像する場合に、被写界深度が足りないために被写体の一部にしかピントを合わせられない場合がある。これを解決するため、特許文献１には、ピント位置の異なる複数の画像を撮像し、各画像から合焦領域のみを抽出して１枚の画像に合成し、撮像領域全体に合焦している合成画像を生成する、所謂、深度合成の技術が開示されている。こうした深度合成の技術を正しく行うために、画像間の正しい位置合わせが不可欠である。特許文献２には、複数の画像において特徴点を検出し、検出した特徴点を用いて画像の位置合わせを行ってから画像合成を行う方法が開示されている。特徴点の検出方法としては、輝度の標準偏差を用いて検出する方法などが挙げられている。

特開平１０－２９０３８９号公報 特開２００８－２７１２４０号公報

しかし、特許文献２に記載の位置合わせの方法を用いると、以下のような課題が生じる場合がある。

被写界深度を浅くしてピント位置を異ならせた複数の画像を撮像すると、画像ごとに、ピントが合っている被写体領域が異なってしまう可能性が高くなる。そのため、画像ごとに、別々の被写体領域からしか特徴点が検出されず、特徴点を用いた画像間の位置合わせが困難になる。特に、特許文献１に記載の深度合成に用いるための画像の場合、被写界深度が比較的に浅い場合が多く、位置合わせができなくなることがある。

本発明は、上記の課題を鑑みてなされたものであり、異なる被写体領域で特徴点を検出してしまう複数の画像に対しても精度の高い位置合わせを行える撮像装置を提供することを目的とする。

上記課題を解決するため、本願発明は、ピント位置の異なる複数の第１の画像を撮像する撮像手段と、前記第１の画像から特徴点を検出する検出手段と、前記特徴点から変換係数を算出し、前記変換係数に基づいて前記複数の第１の画像に対して合成を行う合成手段と、を有し、前記複数の第１の画像のそれぞれを撮像したときの被写界深度がいずれかが閾値よりも浅い場合に、前記撮像手段が、少なくとも１枚の第２の画像を撮像し、前記第２の画像を撮像するときの被写界深度は、前記第１の画像のいずれかの画像を撮像するときの被写界深度よりも深く、前記合成手段が前記第２の画像から検出した特徴点を用いて前記第１の画像の少なくとも一部の画像の変換係数を算出し、前記合成手段は、算出した前記変換係数を用いて前記少なくとも一部の画像に対して合成し、前記第２の画像に対しては前記合成を行わないことを特徴とする撮像装置を提供する。

本発明の構成によれば、異なる被写体領域で特徴点を検出してしまい、位置合わせの精度が低い複数の画像に対して位置合わせを行う撮像装置を提供することができる。

本発明の実施形態に係るデジタルカメラの概略構成を示す背面斜視図である。 本発明の実施形態におけるデジタルカメラのハードウェア構成を示すブロック図である。 本発明の実施形態における複数の光電変換部を有する画素に光信号が入射する様子を説明するための図である。 本発明の実施形態における被写体像が結像面に結像する様子を示す図である。 本発明の実施形態における深度合成の撮像を説明するための図である。 本発明の実施形態における画像合成の処理を説明するためのフローチャートである。 本発明の実施形態における対応点の検出の処理を説明するためのフローチャートである。

以下では、添付の図面を参照しながら、本発明の好適な実施形態について詳細に説明する。

図１は、本実施形態に係るデジタルカメラの概略構成を示す背面斜視図である。

デジタルカメラ１００の背面には、画像や各種の情報を表示する表示部１０１と、ユーザによる各種操作を受け付ける各種スイッチやボタン等の操作部材からなる操作部１０２が設けられている。また、デジタルカメラ１００の背面には、撮像モード等を切り替えるモード切替スイッチ１０４と、回転操作可能なコントローラホイール１０３が設けられている。デジタルカメラ１００の上面には、撮像指示を行うシャッタボタン１２１と、デジタルカメラ１００の電源のオン／オフを切り替える電源スイッチ１２２と、被写体に対して閃光を照射するストロボ１４１が設けられている。

デジタルカメラ１００は、有線あるいは無線通信を介して外部装置と接続可能であり、外部装置に画像データ（静止画データ、動画データ）等を出力することができる。デジタルカメラ１００の下面には、蓋１３１により開閉可能な記録媒体スロット（不図示）が設けられており、記録媒体スロットに対してメモリカード等の記録媒体１３０を挿抜することができるようになっている。

記録媒体スロットに格納された記録媒体１３０は、デジタルカメラ１００のシステム制御部２１０（図２参照）と通信可能である。なお、記録媒体１３０は、記録媒体スロットに対して挿抜可能なメモリカード等に限定されるものではなく、光学ディスクやハードディスク等の磁気ディスクであってもよく、更に、デジタルカメラ１００の本体に内蔵されていてもよい。

図２は、デジタルカメラ１００のハードウェア構成を示すブロック図である。デジタルカメラ１００は、バリア２０１、撮像レンズ２０２、シャッタ２０３及び撮像部２０４を備える。バリア２０１は、撮像光学系を覆うことにより、撮像光学系の汚れや破損を防止する。撮像レンズ２０２は、ズームレンズ、フォーカスレンズを含むレンズ群により構成されており、撮像光学系を構成する。シャッタ２０３は、絞り機能を備え、撮像部２０４に対する露光量を調節する。撮像部２０４は、光学像を電気信号（アナログ信号）に変換する撮像素子であり、例えば、ＲＧＢの画素が規則的に配置されたベイヤー配列構造を有するＣＣＤセンサやＣＭＯＳセンサ等のイメージセンサである。なお、シャッタ２０３は、機械式シャッタ（以下、メカシャッタという）であってもよいし、撮像素子のリセットタイミングの制御によって蓄積時間を制御する電子シャッタであってもよい。

または、撮像部２０４を、ステレオ画像が取得できる、１つ画素に複数の光電変換部に設けられる構造にすれば、自動焦点検出（ＡＦ）処理がより素早くできる。

図３は、本実施形態における複数の光電変換部を有する画素に光信号が入射する様子を説明するための図である。

図３では、画素アレイ３０１が、マイクロレンズ３０２と、カラーフィルタ３０３と、光電変換部３０４および３０５を備えている。光電変換部３０４と３０５とは、同じ画素に属し、共通する１つのマイクロレンズ３０２と１つのカラーフィルタ３０３に対応する。図３はデジタルカメラ１００を上から見た図であって、１つの画素に対応する２つの光電変換部３０４と３０５が左右に並んで配置されていることを示している。射出瞳３０６から出る光束のうち、光軸３０９を境にして、上側の光束（領域３０７からの光束に相当）は光電変換部３０５に入射し、下側の光束（領域３０８からの光束に相当）は光電変換部３０４に入射する。つまり、光電変換部３０４と３０５とはそれぞれ撮像レンズの射出瞳の異なる領域の光を受光している。ここで光電変換部３０４が受光した信号をＡ像、光電変換部３０５で受光した信号をＢ像とすると、Ａ像とＢ像のように、１対の瞳分割画像の位相差に基づいて焦点ズレ量を算出でき、距離情報を取得することができる。特に、撮像素子の全体に、２つの光電変換部を有する画素を全面的に配置すれば、撮像素子が、画面上の任意の位置における被写体の距離情報を得ることができる。

ただし、上述した距離情報は、２つの光電変換部を有する画素でなく、普通の画像を有する撮像素子を用いても得られる。たとえば、撮像部２０４が、複数のレンズの相対位置を変えながら、ピント位置の異なる複数の画像を生成する。後述する画像処理部２０６は、それぞれの画像に対して、ブロックに分割し、分割したブロックのコントラストを算出する。画像処理部２０６は、撮像した複数の画像の同じ位置にあるブロックのコントラストを比較し、コントラストの最も大きいブロックを合焦しているブロックと判断する。最後に、画像処理部２０６は、合焦しているブロックが撮影された画像のピント位置から、各々のブロックの距離情報を求めればよい。

デジタルカメラ１００は、Ａ／Ｄ変換器２０５、画像処理部２０６、メモリ制御部２０７、Ｄ／Ａ変換器２０８、メモリ２０９及びシステム制御部２１０を備える。撮像部２０４からＡ／Ｄ変換器２０５へアナログ信号が出力され、Ａ／Ｄ変換器２０５は、取得したアナログ信号をデジタル信号からなる画像データに変換して、画像処理部２０６またはメモリ制御部２０７へ出力する。

画像処理部２０６は、Ａ／Ｄ変換器２０５から取得した画像データまたはメモリ制御部２０７から取得したデータに対して、画素補間やシェーディング補正等の補正処理、ホワイトバランス処理、γ補正処理、色変換処理等を行う。また、画像処理部２０６は、画像の切り出しや変倍処理を行うことで電子ズーム機能を実現する。更に、画像処理部２０６は撮像した画像の画像データを用いて所定の演算処理を行い、こうして得られた演算結果に基づいてシステム制御部２１０が露光制御や測距制御を行う。例えば、システム制御部２１０により、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（ストロボプリ発光）処理が行われる。画像処理部２０６は、撮像した画像の画像データを用いて所定の演算処理を行い、得られた演算結果を用いて、システム制御部２１０はＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。

画像処理部２０６は、複数の画像からパノラマ画像を合成し、またその合成結果の判断を行う画像合成処理回路を有する。画像合成処理回路は、単純な加算平均合成だけでなく、合成対象の画像データの各領域において最も明るい値または暗い値を持つ画素を選択して１枚の画像データを生成する比較明合成や比較暗合成等の処理を行うことができる。また、合成結果を特定の基準に基づいて評価し、判定する。たとえば、合成された画像の数が所定数に満たさない場合や、合成後の画像の長さが基準値に満たさない場合に、合成に失敗したと判定する。なお、画像処理部２０６を備える構成の代わりに、システム制御部２１０によるソフトウェア処理によって画像合成処理の機能を実現する構成としてもよい。

Ａ／Ｄ変換器２０５から出力される画像データは、画像処理部２０６及びメモリ制御部２０７を介して、或いは、メモリ制御部２０７を介して、メモリ２０９に書き込まれる。メモリ２０９は、表示部１０１に表示する画像データを格納する画像表示用メモリ（ビデオメモリ）を兼ねている。メモリ２０９は、所定枚数の静止画像、パノラマ画像（広角画像）、パノラマ画像合成結果を格納することができる記憶容量を備えている。なお、メモリ２０９は、システム制御部２１０が不揮発性メモリ２１１から読み出したプログラム等を展開する作業領域として用いることもできる。

メモリ２０９に格納されている画像表示用データ（デジタルデータ）は、Ｄ／Ａ変換器２０８に送信される。Ｄ／Ａ変換器２０８は、受信したデジタルデータをアナログ信号に変換して表示部１０１に供給し、これにより、表示部１０１に画像が表示される。表示部１０１は、液晶ディスプレイまたは有機ＥＬディスプレイ等の表示装置であり、Ｄ／Ａ変換器２０８からのアナログ信号に基づいて画像を表示する。表示部１０１における画像表示のオン／オフは、システム制御部２１０によって切り替えられ、画像表示をオフにすることで電力消費を低減させることができる。なお、撮像部２０４からＡ／Ｄ変換器２０５を通じてメモリ２０９に蓄積されるデジタル信号をＤ／Ａ変換器２０８によりアナログ信号に変換して表示部１０１に逐次表示することにより、スルー画像を表示する電子ビューファインダ機能を実現することができる。

デジタルカメラ１００は、不揮発性メモリ２１１、システムタイマ２１２、システムメモリ２１３、検出部２１５及びストロボ制御部２１７を備える。不揮発性メモリ２１１は、電気的に消去や記憶が可能なメモリ（例えば、ＥＥＰＲＯＭ等）であり、システム制御部２１０が実行するプログラムや動作用の定数等を格納する。また、不揮発性メモリ２１１は、システム情報を記憶する領域やユーザ設定情報を記憶する領域を有しており、システム制御部２１０は、デジタルカメラ１００の起動時に不揮発性メモリ２１１に記憶された種々の情報や設定を読み出して復元する。

システム制御部２１０は、ＣＰＵを備え、不揮発性メモリ２１１に記憶されている各種のプログラムコードを実行することにより、デジタルカメラ１００の全体的な動作を制御する。なお、システム制御部２１０が不揮発性メモリ２１１から読み出したプログラムや動作用の定数、変数等は、システムメモリ２１３上に展開される。システムメモリ２１３には、ＲＡＭが用いられる。更に、システム制御部２１０は、メモリ２０９やＤ／Ａ変換器２０８、表示部１０１等を制御することにより、表示制御を行う。システムタイマ２１２は、各種の制御に用いる時間や内蔵された時計の時間を計測する。ストロボ制御部２１７は、被写体の明るさに応じて、ストロボ１４１の発光を制御する。検出部２１５は、ジャイロやセンサを含み、デジタルカメラ１００の角速度情報、姿勢情報等を取得する。なお、角速度情報は、デジタルカメラ１００によるパノラマ撮像時の角速度及び角加速度の情報を含む。また、姿勢情報は、水平方向に対するデジタルカメラ１００の傾き等の情報を含む。

図２に示される表示部１０１、操作部１０２、コントローラホイール１０３、シャッタボタン１２１、モード切替スイッチ１０４、電源スイッチ１２２及びストロボ１４１は、図１を参照して説明したものと同じである。

操作部１０２を構成する各種の操作部材は、例えば、表示部１０１に表示される種々の機能アイコンの選択に用いられ、所定の機能アイコンが選択されることにより、場面毎に機能が割り当てられる。即ち、操作部１０２の各操作部材は、各種の機能ボタンとして作用する。機能ボタンとしては、例えば、終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン、ＤＩＳＰボタン等が挙げられる。例えば、メニューボタンが押下されると、各種の設定を行うためのメニュー画面が表示部１０１に表示される。ユーザは、表示部１０１に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて、直感的に設定操作を行うことができる。

回転操作が可能な操作部材であるコントローラホイール１０３は、４方向ボタンと共に選択項目を指定するとき等に使用される。コントローラホイール１０３を回転操作すると、操作量（回転角度や回転回数等）に応じた電気的なパルス信号が発生する。システム制御部２１０は、このパルス信号を解析して、デジタルカメラ１００の各部を制御する。

シャッタボタン１２１は、第１スイッチＳＷ１と第２スイッチＳＷ２を有する。第１スイッチＳＷ１は、シャッタボタン１２１の操作途中の半押し状態でオンとなり、これにより、撮像準備を指示する信号がシステム制御部２１０に送信される。システム制御部２１０は、第１スイッチＳＷ１がオンになった信号を受信すると、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作を開始する。第２スイッチＳＷ２は、シャッタボタン１２１の操作が完了する全押し状態でオンとなり、これにより、撮像開始を指示する信号がシステム制御部２１０に送信される。システム制御部２１０は、第２スイッチＳＷ２がオンになった信号を受信すると、撮像部２０４からの信号読み出しから記録媒体１３０への画像データの書き込みまでの一連の撮像動作を行う。

モード切替スイッチ１０４は、デジタルカメラ１００の動作モードを、静止画撮像モード、動画撮像モード、再生モード等の各種モードの間で切り替えるためのスイッチである。静止画撮像モードは、オート撮像モード等の他に、パノラマ撮像によりパノラマ画像を合成するパノラマ画像撮像モードを含む。

デジタルカメラ１００は、電源部２１４及び電源制御部２１８を備える。電源部２１４は、アルカリ電池やリチウム電池等の一次電池、ＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、或いは、ＡＣアダプタ等であり、電源制御部２１８へ電力を供給する。電源制御部２１８は、電源部２１４における電池の装着の有無、電池の種類、電池残量等を検出し、その検出結果及びシステム制御部２１０の指示に基づいて、必要な電圧を必要な期間、記録媒体１３０を含む各部へ供給する。

デジタルカメラ１００は、記録媒体１３０が記録媒体スロット（不図示）に装着された際に、記録媒体１３０とシステム制御部２１０との間の通信を可能にするための記録媒体Ｉ／Ｆ２１６を備える。記録媒体１３０の詳細については、図１を参照して既に説明しているため、ここでの説明を省略する。

次に、深度合成（フォーカスブラケット）について簡単に説明する。

図４は、本実施形態における被写体像が結像面に結像する様子を示す図である。

図４（ａ）は、被写体４０１が光学レンズ４０２によって面４０３ａ上に像４０４として結像している様子を示している。すなわち、面４０３ａと撮像素子の撮像センサ面とが互いに一致すれば、被写体４０１は面４０３ａにて「点」として結像し、合焦画像として記録される。

図４（ｂ）は、像の結像面と撮像センサ面とが一致しない場合を示している。撮像センサ面４０３ｂが図４（ａ）に示される面４０３ａとは異なる位置にある場合、光学レンズ４０２により結像される被写体４０１は、錯乱円４０５として撮像センサ面４０３ｂ上に写る。このとき、錯乱円４０５が撮像センサの許容錯乱円よりも小さい場合、錯乱円４０５は合焦した場合の「点」と同等とみなすことができ、合焦画像と同等の画像が得られる。一方、錯乱円４０５が許容錯乱円よりも大きい場合、撮像センサ面４０３ｂではぼけた画像が得られる。

図４（ｃ）は、上記の様子を側面から示した図である。ここで、焦点４１０にて被写体が結像し、面４１１ａの位置に撮像センサ面が存在する場合、錯乱円径４１２ａが得られる。このときの錯乱円径４１２ａは、撮像センサの許容錯乱円径４１３よりも小さい。このため、撮像センサにて記録される画像４１７は、ぼけの無い合焦画像となる。一方、撮像センサ面が面４１４ａの位置に存在する場合、このときの錯乱円径４１５ａは、許容錯乱円径４１３よりも大きい。このため、撮像センサ面４１４ａ上の画像４１８ａは、ぼけた画像となる。錯乱円径４１２ａが許容錯乱円径４１３よりも小さくなる斜線で示される領域は焦点深度４１６ａであり、これを被写体側に換算して置き換えたものが被写界深度となる。

図４（ｄ）は、図４（ｃ）と比べて、絞りを絞った状態を示す図である。絞りを絞った状態では、図４（ｃ）の錯乱円径４１２ａと４１５ａがそれぞれ、面４１１ｂに対しての錯乱円径４１２ｂ、面４１４ｂに対しての錯乱円径４１５ｂとなるように変化する。このとき、図４（ｃ）の錯乱円径４１５ａと比較して、図４（ｄ）の錯乱円径４１５ｂは小さい。このため、そのときに得られる画像４１８ｂは、画像４１８ａよりもぼけ量の少ない画像となる。また、そのときの焦点深度４１６ｂは、焦点深度４１６ａよりも深い。

図５は、本実施形態における深度合成の撮像を説明するための図である。ここでは、合焦させる被写体として、被写体５１乃至５３を想定している。それぞれの被写体５１乃至５３は、互いに異なる距離（被写体距離）に存在するものとし、デジタルカメラ１００に近い側から（近距離側から遠距離側に向かう方向に）被写体５１、５２、５３の順に位置している。デジタルカメラ１００の構造上、１回の撮像で被写体５１乃至５３を全部被写界深度に入れることができない。また、より高い解像感を得るため、各々の画像の被写界深度を小さくすることもある。こうした場合では、複数の被写体５１乃至５３のすべてに対して合焦した深度合成画像を得るには、フォーカスブラケット撮像を行う焦点範囲５００（ブラケット範囲）を、複数の焦点深度でカバーする必要がある。焦点深度５１１乃至５１６は、それぞれの撮像における焦点深度を示し、焦点範囲５００をカバーするように並んでいる。すなわち、焦点深度５１１乃至５１６となるピント位置で撮像（６回の撮像）を行うことにより、焦点範囲５００の範囲内の被写体５１乃至５３は、いずれかの画像において合焦した状態となる。また、このようにして撮像された複数の画像から、それぞれの撮像における焦点深度内の領域を画像合成することにより、焦点範囲５００の全域（ブラケット全域）で合焦した画像を得ることができる。

しかしながら、上記のように、深度合成の画像の撮像において、解像感の高い画像を得るために、被写界深度を浅くして撮像する場合がある。浅い被写界深度で撮像する場合、画像全体がぼけてしまい、画像間において特徴点が検出される領域の一致する度合いが小さくなってしまい、位置合わせが困難になることもある。このような課題を解決するために、本実施形態においては、システム制御部２１０が所定の閾値よりも被写界深度が浅いと判断した場合、合成用画像のほかに撮像部２０４に特徴点検出用の画像を撮像させる。

図６は、本実施形態での画像合成の処理を説明するためのフローチャートである。

ステップＳ６０１で、システム制御部２１０は、ユーザの入力またはデフォルト設定に従って、撮像条件の設定を行う。ここでいう撮像条件には、合成画像の枚数やピント位置などが含まれる。たとえば、ユーザは表示部１０１が兼用するタッチパネルを通して合焦位置を指定し、その合焦位置に相当するピント位置の光軸方向の前後に等間隔に複数のピント位置を指定する。または、ユーザは表示部１０１が兼用するタッチパネルで２つの位置を指定し、この２つの位置の間に等間隔にピント位置を設定してもよい。なお、ピント位置の数（合成用の画像の数）については、システム制御部２１０は、処理負荷を考慮して増やしてもよい。一般的に、ピント位置が多いほど、深度合成画像の画質が良いが、処理負荷を考慮してピント位置の数を決める必要がある。同時に、システム制御部２１０は、設定したピント位置において、距離順に撮像順番を決める。

ステップＳ６０１で、システム制御部２１０は、ピント位置に合わせて、撮像するときの被写界深度を設定する。被写界深度の設定では、図５のように、ブラケット範囲を全部カバーできるように設定しなければならない。ただし、前述したように、解像感を高くするために、できるだけ各々の画像の被写界深度を浅くするのが好ましい。つまり、システム制御部２１０は、ブラケット範囲を全部カバーできるように、かつ、各々の画像の被写界深度をなるべく浅く設定するのが好ましい。

ステップＳ６０１で、システム制御部２１０は、ピント位置や被写界深度以外には、ＩＳＯ感度やシャッタースピードなどの設定も行う。

ステップＳ６０２で、撮像部２０４が、設定したピント位置で同じ画角に対して順次に合成用の画像の撮像を行う。

ステップＳ６０３で、システム制御部２１０は、ステップＳ６０２で撮像部２０４が撮像した画像の被写界深度と予め定められた閾値とを比較し、撮像した画像の被写界深度が浅い場合、ステップＳ６０４に進む。ステップＳ６０２で撮像した複数の画像はそれぞれ異なる被写界深度を持つ場合、システム制御部２１０は、そのうち最も浅い被写界深度と前述閾値と比較してよい。

ステップＳ６０３でシステム制御部２１０は、合成用の画像の被写界深度が閾値よりも浅い場合、合成用の画像から特徴点を検出することだけで位置合わせの精度が低いと判断し、ステップＳ６０４で撮像部２０４は改めて特徴点検出用の画像を撮像する。一例としては、撮像部２０４は、合成用の画像よりも至近側と無限遠側のピント位置で２枚の特徴点検出用の画像を撮像する。特に、撮像部２０４が、デジタルカメラ１００の光学系の最至近側と無限側とで２枚の特徴点検出用の画像を撮像する。特徴点検出用の画像は、専ら特徴点検出に用いられるので、被写界深度を深くして画像をぼけないようにして撮像するのが好ましい。なお、本実施形態では、特徴点検出用の画像を２枚撮像する前提で説明するが、これに限らなく、特に高精度の補正が必要な場合、特徴点検出用の画像を増やしてもよい。また、本実施形態において、撮像部２０４が焦点範囲の最至近側と無限側とにおいて特徴点検出用の画像を撮像するが、これに限定されず、特徴点検出に十分な被写界深度で撮像するのであれば特徴点検出用画像のピント位置が任意でよい。特に、撮像部２０４は、特徴点検出用の画像を撮像する場合で、１枚の特徴点検出用の画像を撮像してもよい。その場合、システム制御部２１０は、特徴点検出用の画像と合成用の画像のうちのいずれかの画像とを用いて変換係数を算出し、そのほかの合成用の画像に変換係数を割り当てる。また、特徴点検出用の画像の撮像のタイミングも、図６に示したようなフローで必ず合成用の画像の撮像の後にしなくてよい。その場合、システム制御部２１０は、合成用の画像の撮像の前に、被写界深度と閾値との比較を行えばよい。

一方、ステップＳ６０３で、システム制御部２１０は、合成用の画像の被写界深度が閾値ほど浅くない場合、特徴点検出用の画像の撮像をせずに、ステップＳ６１５に進む。

ステップＳ６０５で、システム制御部２１０は、対応点の検出を行う。

図７は、本実施形態における対応点の検出を説明するためのフローチャートである。

ステップＳ７０１で、システム制御部２１０は、特徴点検出に用いられる画像から、基準画像を選択する。ステップ６０４で撮像部２０４が改めて特徴点検出用の画像を撮像した場合、システム制御部２１０は、ステップＳ６０４で撮像した特徴点検出用の画像から基準画像を選択する。

ステップＳ７０２で、システム制御部２１０は、基準画像から特徴点の抽出を行う。特徴点の抽出の方法は種々のものがあるが、一例としては、ある点を中心とする所定の領域内の輝度の標準偏差が所定値以上の場合、システム制御部２１０は、その点を特徴点として抽出する。また、抽出する特徴点の数が多いほど処理の精度が上がるが、同時に処理負荷が増えてしまうため、システム制御部２１０などのハードウェアの性能によって特徴点の数を事前に決められるのが好ましい。

ステップＳ７０３で、システム制御部２１０は、基準画像以外の特徴点検出に用いられる画像の中から、被検出画像を選択する。たとえば、本実施形態において、ステップＳ６０４で撮像部２０４が２枚の特徴点検出用の画像を撮像した場合、基準画像以外の画像を被検出画像とする。基準画像以外の特徴点検出に用いられる画像が複数存在する場合、順次にステップＳ７０３でシステム制御部２１０が被検出画像として選択する。

ステップＳ７０４で、システム制御部２１０は、ステップＳ７０３で被検出画像の選択を行った後に、後述するステップＳ７０５での追跡の処理がまだ行われていない基準画像の特徴点から追跡の対象となる特徴点を選択する。

ステップＳ７０５で、システム制御部２１０は、特徴点の追跡を行う。システム制御部２１０は、ステップＳ７０３で選択した被検出画像において、ステップＳ７０４で選択した特徴点に対応する点を探す。探し方の一例としては、システム制御部２１０は、被検出画像においてステップＳ７０４で選択した特徴点と同じ位置を中心とする所定の範囲を、探索範囲として設定する。システム制御部２１０は、探索範囲において、特徴点との輝度の差分絶対値和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ、以下、ＳＡＤをいう）が最小となる対応点を算出する。この点を特徴点と対応する点として後述する画像の変形処理までに、メモリ２０９がその対応関係を記憶する。システム制御部２１０は、前述する対応点の算出において、ＳＡＤのほかに、差分二乗和（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ、以下ＳＳＤをいう）や正規化相互相関（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ、以下ＮＣＣをいう）などを用いてもよい。

ステップＳ７０６で、システム制御部２１０は、基準画像のすべての特徴点に対して追跡の処理が行われたかについて判断する。すべての特徴点に対して処理が完了した場合は、ステップＳ７０７に進み、まだ完了していない場合は、ステップＳ７０４に戻り、新たに追跡の処理が行われていない特徴点から処理対象となる特徴点を選択する。

ステップＳ７０７で、すべての被検出画像に対して、基準画像から抽出したすべての特徴点の追跡処理が完了されたかどうかについて判断する。すべての画像に対して、すべての特徴点の追跡処理が完了した場合は、図７に示したフローを終了する。すべての画像に対して処理が完了していない場合、ステップＳ７０３に戻り、被検出画像から、未処理のものを処理対象の画像として選択する。

以上は、ステップＳ６０５での対応点の検出の処理の説明である。なお、ステップＳ６１５での対応点の検出の処理も、ステップＳ６０５と同様である。ただし、ステップＳ６１５の場合、撮像部２０４は特徴点検出用の画像を撮像していないため、ステップＳ６０２で撮像した合成用の画像から特徴点の抽出を行う。ステップＳ６１５で、システム制御部２１０は、特徴点を抽出した後、ステップＳ６１６に進み、ステップＳ６１５で抽出した対応する特徴点を用いて合成用の画像の変換係数を算出する。ステップＳ６１５では、システム制御部２１０は、合成用画像のうちの１枚を基準画像とし、基準画像から抽出した特徴点に対して他の合成用画像における対応する特徴点を抽出する。具体的な抽出方法は、前述したＳＡＤ、ＳＳＤやＮＣＣなどでよい。

次に、ステップＳ６０６で、システム制御部２１０は、ステップＳ６０５で検出した対応点を用いて、変換係数を算出する。変換係数の算出において、システム制御部２１０は、ステップＳ７０２で抽出した特徴点のそれぞれに対応するステップＳ７０５で追跡した点の位置を、それぞれの特徴点の位置と一致させるための変換を行うときの係数を算出する。ここでいう変換は、公知の平行移動、回転移動、拡大・縮小のうちのいずれか１つまたは複数の変換方法を指す。一般的に、システム制御部２１０は、ステップＳ６０５で検出した対応点（特徴点とそれに対応する被検出画像の点）の位置が一致になるように、かつ最短な距離で変換処理を行うための係数を変換係数として計算する。

変換係数の一例として、公知のアフィン係数を用いることができる。下記の（式１）には、座標（ｘ、ｙ）の特徴点がアフィン変換で、座標（ｘ´、ｙ´）に変換されることを示し、行列Ａはアフィン係数を示す。

アフィン係数を示す行列Ａは、３つの特徴点の変換前後の座標がわかれば算出できる。たとえば、一直線上に位置しない３つの特徴点のそれぞれの変換前後の座標が（ｘ１、ｙ１）と（ｕ１、ｖ１）、（ｘ２、ｙ２）と（ｕ２、ｖ２）および（ｘ３、ｙ３）と（ｕ３、ｖ３）とする。下記の（式２）と（式３）とを連立して解くことでアフィン係数を算出することができる。

ただし、３つの特徴点が一直線上に位置するとき、または、互いに極めて近い所に位置するときは、アフィン係数を算出できない。システム制御部２１０は、一直線状に位置しない、かつ、互いに極めて近い所に位置しない４点以上の特徴点があるとき、最小二乗法を用いて正規化する。

ステップＳ６１６での変換係数の算出においては、同様に上述のような公知のアフィン係数などの方法を用いてよい。たとえば、システム制御部２１０は、ステップＳ６１５で決めた基準画像を基準にして、抽出した対応する特徴点を用いて、上述した（式２）と（式３）とで、アフィン係数を算出する。次に、ステップＳ６０９に進み、システム制御部２１０は、算出したアフィン係数を用いて位置合わせを行う。

ステップＳ６０７で、システム制御部２１０は、システム制御部２１０は、変換係数が算出されなかった画像に変換係数を割り当てる必要がある。

具体的な割り当て方法について、アフィン係数の算出できた２つの画像のピント位置ｐ１、ｐ２の間のピント位置ｐ３で撮像した画像に対してアフィン係数を割り当てることを例として説明する。ピント位置ｐ１で撮像した画像のアフィン係数はＡ１で、ピント位置ｐ２で撮像した画像のアフィン係数はＡ２で、ピント位置ｐ３で撮像した画像に割り当てるアフィン係数はＡ３とする。ピント位置ｐ１で撮像した画像を基準にして、ｐ２で撮像した画像のアフィン係数をＡ２１と書くと、下記の（式４）が成り立つ。
Ａ２＝Ａ２１・Ａ１・・・（式４）

（式４）からＡ１の逆行列を計算することでＡ２１を解くことができる。そして、ピント位置ｐ１、ｐ２、ｐ３の位置関係で、ピント位置ｐ１で撮像した画像を基準にするピント位置ｐ３で撮像した画像のアフィン係数Ａ３１を算出することができる。例えばピント位置ｐ３は、ピント位置ｐ１とｐ２とのちょうど中央にあれば、Ａ３１のａ乃至ｆの各要素は、Ａ２１の各要素の半分である。最後に、下記の（式５）でピント位置ｐ３で撮像した画像にアフィン係数Ａ３を割り当てる。
Ａ３＝Ａ３１・Ａ１・・・（式５）

ステップＳ６０９で、システム制御部２１０は、合成用の画像に対応する変換係数に基づいて、位置合わせを行う。たとえば、システム制御部２１０は、（式１）に示した式を用いて位置合わせを行うことができる。

ステップＳ６１０で、システム制御部２１０は、位置合わせを行った後の画像に対して、合成処理を行う。合成処理では、システム制御部２１０は、各々の画像の合焦位置を抽出して合成し、画像全体に合焦しているような合成画像を生成する。図３に示したような複数の光電変換部を有する画素からなる撮像素子を用いる場合、デジタルカメラ１００が瞳分割の光信号から、合焦位置を抽出することができる。一般的な撮像素子しかもたないデジタルカメラ１００の場合では、コントラスト値の最も高い位置を合焦位置として抽出する。

まず、システム制御部２１０は、それぞれの画像のコントラスト値を算出する。コントラスト値の算出の方法の一例としては、たとえば、システム制御部２１０がそれぞれの画素の色信号Ｓｒ、Ｓｇ、Ｓｂから、下記の（式２）を用いて輝度Ｙを算出する。
Ｙ＝０．２９９Ｓｒ＋０．５８７Ｓｇ＋０．１１４Ｓｂ・・・（式６）

次に、３×３の画素の輝度Ｙの行列Ｌに、下記の（式７）乃至（式９）に示したように、ソーベルフィルタを用いてコントラスト値Ｉを算出する。

次に、システム制御部２１０は、同一座標を有する各々の画像の画素から、コントラスト値の最も高いものを選んで、合成画像の同一座標に置き換える。システム制御部２１０は、すべての画素に対して、こうした置き換えを行うと、撮像領域全体に合焦している合成画像を生成できる。

ただし、前述の合成処理は一例にすぎず、本実施形態は、撮像領域全体に合焦している合成画像以外の合成にも適用できる。たとえば、システム制御部２１０は、加算合成処理、加重加算合成処理、比較明合成処理、比較暗合成処理などを行ってもよい。

本実施形態によれば、特徴点の検出が難しい被写界深度の浅い画像の合成において、改めて特徴点検出用の画像を撮像し変換係数を算出することによって、合成のため被写界深度の浅い画像に変換係数を与えることができる。

（その他の実施形態）
以上の実施形態は、デジタルカメラでの実施をもとに説明したが、デジタルカメラに限定するものではない。たとえば、撮像素子が内蔵した携帯機器などで実施してもよく、画像を撮像することができるネットワークカメラなどでもよい。

なお、本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ デジタルカメラ
１０２ 操作部
１０４ モード切替スイッチ
１３０ 記録媒体
２０４ 撮像部
２０６ 画像処理部
２０７ メモリ制御部
２０９ メモリ
２１０ システム制御部
２１５ 検出部
２１６ Ｉ／Ｆ

Claims (14)

1. ピント位置の異なる複数の第１の画像を撮像する撮像手段と、
   前記第１の画像から特徴点を検出する検出手段と、
   前記特徴点から変換係数を算出し、前記変換係数に基づいて前記複数の第１の画像に対して合成を行う合成手段と、を有し、
   前記複数の第１の画像のそれぞれを撮像したときの被写界深度のいずれかが閾値よりも浅い場合に、前記撮像手段が、少なくとも１枚の第２の画像を撮像し、前記第２の画像を撮像するときの被写界深度は、前記第１の画像のいずれかの画像を撮像するときの被写界深度よりも深く、
   前記合成手段が前記第２の画像から検出した特徴点を用いて前記第１の画像の少なくとも一部の画像の変換係数を算出し、
   前記合成手段は、算出した前記変換係数を用いて前記少なくとも一部の画像に対して合成し、前記第２の画像に対しては前記合成を行わないことを特徴とする撮像装置。
2. 前記撮像手段は、複数の前記第２の画像を撮像し、
   前記合成手段は、前記検出手段が前記第２の画像から検出した前記特徴点を用いて前記第２の画像の変換係数を算出し、該第２の画像の変換係数を用いて前記第１の画像の少なくとも一部の画像の変換係数を算出することを特徴とする請求項１に記載の撮像装置。
3. 前記第２の画像の前記被写界深度が、該第２の画像の前記ピント位置と最も近い前記ピント位置で撮像した前記第１の画像の前記被写界深度よりも深いことを特徴とする請求項１または２に記載の撮像装置。
4. 前記第２の画像の前記被写界深度の範囲が、該第２の画像の前記ピント位置と最も近い前記ピント位置で撮像した前記第１の画像の前記被写界深度の範囲を含むことを特徴とする請求項３に記載の撮像装置。
5. 前記撮像手段が２枚の前記第２の画像を撮像することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記撮像手段は、前記複数の第１の画像のピント位置のうちの最も至近側のピント位置よりも至近側のピント位置、及び、前記複数の第１の画像のピント位置のうちの最も無限遠側のピント位置よりも無限遠側のピント位置で、２枚の前記第２の画像を撮像することを特徴とする請求項５に記載の撮像装置。
7. 前記撮像手段は、ピント位置を最至近側と無限側に設定して、２枚の前記第２の画像を撮像することを特徴とする請求項５に記載の撮像装置。
8. 前記合成手段が前記第２の画像から検出した特徴点を用いて前記第１の画像の少なくとも一部の画像の変換係数を算出するとき、前記第２の画像と前記少なくとも一部の画像とのピント位置に関する情報を用いることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記撮像手段が前記複数の第１の画像を撮像するときのピント位置の間隔が等しいことを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 前記合成手段は、
    前記複数の第１の画像のそれぞれを撮像したときの被写界深度がいずれも閾値よりも深い場合は、前記検出手段が前記第２の画像から検出した前記特徴点を用いて前記第１の画像の少なくとも一部の画像の変換係数を算出しないことを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. ピント位置の異なる複数の第１の画像を撮像する撮像ステップと、
    前記第１の画像から特徴点を検出する検出ステップと、
    前記特徴点から変換係数を算出し、前記変換係数に基づいて前記複数の第１の画像に対して合成を行う合成ステップと、を有し、
    前記複数の第１の画像のそれぞれを撮像したときの被写界深度がいずれかが閾値よりも浅い場合に、前記撮像ステップにおいて、少なくとも１枚の第２の画像を撮像し、前記第２の画像を撮像するときの被写界深度は、前記第１の画像のいずれかの画像を撮像するときの被写界深度よりも深く、
    前記合成ステップにおいて前記第２の画像から検出した特徴点を用いて前記第１の画像の少なくとも一部の画像の変換係数を算出し、
    前記合成ステップにおいては、算出した前記変換係数を用いて前記少なくとも一部の画像に対して合成し、前記第２の画像に対しては前記合成を行わないことを特徴とする撮像方法。
12. 撮像装置をコンピュータに動作させるコンピュータのプログラムであって、
    ピント位置の異なる複数の第１の画像を撮像する撮像ステップと、
    前記第１の画像から特徴点を検出する検出ステップと、
    前記特徴点から変換係数を算出し、前記変換係数に基づいて前記複数の第１の画像に対して合成を行う合成ステップと、を行わせ、
    前記複数の第１の画像のそれぞれを撮像したときの被写界深度のいずれかが閾値よりも浅い場合に、前記撮像ステップにおいて、少なくとも１枚の第２の画像を撮像し、前記第２の画像を撮像するときの被写界深度は、前記第１の画像のいずれかの画像を撮像するときの被写界深度よりも深く、
    前記合成ステップにおいて前記第２の画像から検出した特徴点を用いて前記第１の画像の少なくとも一部の画像の変換係数を算出し、
    前記合成ステップにおいては、算出した前記変換係数を用いて前記少なくとも一部の画像に対して合成し、前記第２の画像に対しては前記合成を行わないことを特徴とするコンピュータのプログラム。
13. 請求項１２に記載のプログラムを記録したコンピュータ読み出し可能な記録媒体。
14. ピント位置の異なる複数の第１の画像から特徴点を検出する検出手段と、
    前記特徴点から変換係数を算出し、前記変換係数に基づいて前記複数の第１の画像に対して合成を行う合成手段と、を有し、
    前記複数の第１の画像のそれぞれを撮像したときの被写界深度のいずれかが閾値よりも浅い場合に、前記合成手段が第２の画像から検出した特徴点を用いて前記第１の画像の少なくとも一部の画像の変換係数を算出し、
    前記合成手段は、算出した前記変換係数を用いて前記少なくとも一部の画像に対して合成し、前記第２の画像に対しては前記合成を行わなく、
    前記第２の画像を撮像するときの被写界深度は、前記第１の画像のいずれかの画像を撮像するときの被写界深度よりも深いことを特徴とする画像処理装置。

Images