JP4562182B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、複数回の撮像動作によって得られた複数の画像データを合成することにより、手振れ等に伴う像振れを補正する画像処理装置、画像処理方法およびプログラムに関するものである。

従来のカメラでは、露出決定やピント合わせ等の撮影にとって重要な作業の多くは自動化され、カメラの操作に未熟な人でも撮影ミスを起こす可能性は非常に少なくなっている。また、最近では、カメラに加わる手振れによって生じる像振れを抑制するシステム（防振システム）も研究されており、撮影者の撮影ミスを誘発する要因は更に軽減されている。

ここで、防振システムについて簡単に説明する。撮影時にカメラに加わる手振れは、周波数として通常１Ｈｚ〜数十Ｈｚの振動であるといわれている。露光時に上記手振れを起こしていても像振れのない画像（撮影画像）を得るためには、手振れによるカメラの振動を検出し、この検出結果に応じて撮影光束の光軸の変化を補正する必要がある。

カメラの振動を検出する場合には、加速度計、振動ジャイロ、レーザージャイロ等により加速度、角加速度、角速度、角変位等を検出し、この検出結果に対して適宜演算処理する振動検出ユニットが用いられる。

また、光軸変化を補正する手段として、撮影光学系内に配置され、光軸と略直交する面内で移動可能な補正レンズを用いたものがある（光学式防振システム）。

一方、像振れが概ね生じない程度の露光時間で複数回の撮像動作を繰り返し行い、これらの撮像動作により得られた画像データに対して画像間のズレを修正しながら合成処理を行うことにより、露出補正された画像（撮影画像）を生成する方法（電子式防振システム）がある（例えば、特許文献１参照）。

この電子式防振システムでは、像振れを補正するための部材（補正レンズや該補正レンズを駆動する駆動機構）が不要となるため、光学式防振システムに比べて小型化し易いというメリットがある。
特開平９−２６１５２６号公報（段落番号００１３、００１４、図１等）

特許文献１に開示された電子式防振システムでは、被写体輝度に基づいて決定される露光時間や撮影者によって設定される露光時間を複数に分割し、分割された時間で撮像動作を行っているため、各露光時間が短くなった分だけ像振れが発生するのを抑制できる。

しかしながら、複数回の撮像動作を繰り返し行うと、被写体や手振れの状態により、得られた複数の画像のなかには、他の画像に比べて構図の大きく異なる画像が含まれるおそれがある。そして、構図の大きく異なる画像を合成しても良好な画像を得ることはできない。すなわち、構図がずれた分だけ、合成された画像もぼけてしまう。

本願第１の発明である画像処理装置は、複数の画像に対して画像合成を行うことにより露出補正された合成画像を生成する場合において、複数回の撮像動作によって得られた複数の画像のうち、少なくとも前記画像のコントラストに関する情報を含む画像に関する情報に基づいて前記画像合成に用いられる画像を選択する選択部と、前記選択部によって選択された画像が、前記画像合成に必要な画像の枚数に対して不足する場合には、前記選択部によって選択された画像のゲインを不足する枚数分アップするゲイン調整手段とを有し、前記選択部は、前記複数の画像のうち基準画像及び他の画像の前記コントラストの差が所定値以上の場合には、該他の画像については前記画像合成に用いないことを特徴とする。

本願第２の発明である画像処理方法は、複数の画像に対して画像合成を行うことにより露出補正された合成画像を生成する場合において、複数回の撮像動作によって得られた複数の画像のうち、少なくとも前記画像のコントラストに関する情報を含む画像に関する情報に基づいて前記画像合成に用いられる画像を選択する選択工程と、選択された画像が、前記画像合成に必要な画像の枚数に対して不足する場合には、前記選択された画像のゲインを不足する枚数分アップするゲイン調整工程とを有し、前記複数の画像のうち基準画像及び他の画像の前記コントラストの差が所定値以上の場合には、該他の画像については前記画像合成に用いないことを特徴とする。

本願第１及び第２の発明によれば、撮像動作によって得られた少なくともコントラストに関する情報を含む画像に関する情報に基づいて画像合成に用いる画像を選択しているため、画像合成に適さない画像を排除して、合成画像の画質を向上させることができる。

以下、本発明の実施例について説明する。

図１は、本実施例である撮像装置の構成を示す図である。

被写体から撮影レンズ１１に入射した光束（撮影光束）は、絞り１３ａで光量調節された後に、シャッタ１２ａを通り撮像素子１９ａの撮像面に到達する。撮像素子１９ａは、ＣＭＯＳセンサやＣＣＤセンサなどの半導体撮像素子で構成される。

図１では、撮影レンズ１１を１つのレンズとして表しているが、本実施例の撮像装置は、実際には複数のレンズユニットを有している。ここで、レンズユニットとは、１つ又は複数のレンズで構成されるものである。複数のレンズユニットのうち少なくとも１つのレンズユニットは、焦点調節を行うためのレンズユニット（フォーカスレンズ）であり、他のレンズユニットには、撮影光学系の焦点距離を変更するためのレンズユニット（ズームレンズ）がある。

フォーカスレンズは、ＡＦ駆動モータ１４ａからの駆動力を受けて光軸１０方向に移動することで、撮影光学系における焦点調節を行う。ＡＦ駆動モータ１４ａは、フォーカス駆動部１４ｂからの駆動信号を受けることで駆動する。

また、ズームレンズは、ズーム駆動モータ１５ａからの駆動力を受けて光軸１０方向に移動することで、所定のズーム位置に停止する。これにより、撮影光学系の焦点距離（撮影画角）を変更することができる。ズーム駆動モータ１５ａは、ズーム駆動部１５ｂからの駆動信号を受けることで駆動する。

絞り１３ａは、複数の絞り羽根を有しており、これらの絞り羽根は、絞り駆動部１３ｂからの駆動力を受けて動作することで光通過口となる開口面積（絞り口径）を変化させる。これにより、像面に入射する光量を調節することができる。

シャッタ１２ａは、複数のシャッタ羽根を有しており、これらのシャッタ羽根は、シャッタ駆動部１２ｂからの駆動力を受けることで光通過口となる開口部（シャッタ１２ａに設けられた固定開口部）を開閉する。これにより、像面に入射する光束を制御する。

また、撮像素子１９ａにおける電荷蓄積時間、読出し等のタイミング制御は、センサ駆動部１９ｂにて行われる。

また、撮影時の条件（被写体輝度等）や撮影者による設定などに応じて、照明ユニット１６ａは照明駆動部１６ｂからの駆動信号を受けて駆動（発光）する。撮影動作を撮影者に知らせるためのスピーカ１７ａは、発音駆動部１７ｂからの駆動信号を受けて駆動（発音）する。

上述したフォーカス駆動部１４ｂ、ズーム駆動部１５ｂ、絞り駆動部１３ｂ、シャッタ駆動部１２ｂ、照明駆動部１６ｂ、発音駆動部１７ｂおよびセンサ駆動部１９ｂの駆動は、撮影制御部１８により制御されている。

撮影制御部１８には、レリーズ操作部１２ｃ、絞り操作部１３ｃ、ズーム操作部１５ｃ、照明操作部１６ｃ及び防振操作部１２０からの操作信号が入力されるようになっており、入力信号に応じた制御動作を行う。すなわち、各操作部１２ｃ〜１６ｃからの操作信号に基づいて、フォーカス駆動部１４ｂ、ズーム駆動部１５ｂ、絞り駆動部１３ｂ、シャッタ駆動部１２ｂ、照明駆動部１６ｂ、センサ駆動部１９ｂの駆動を制御する。

なお、絞り１３ａの開口径や照明ユニット１６ａの発光量は、撮影条件（被写体輝度等）に基づいてカメラ内（撮影制御部１８）で自動的に設定されるが、撮影者が任意に撮影条件（絞り径や発光量）を設定するために、絞り操作部１３ｃおよび照明操作部１６ｃが設けられている。

撮影制御部１８は、後述する信号処理部１１１で生成された画像信号に基づいて被写体輝度の測定（測光）を行い、この測光結果に基づいて絞り１３ａの絞り口径とシャッタ１２ａの閉じタイミング（露光時間）を定めている。また、撮影制御部１８は、フォーカス駆動部１４ｂを介してフォーカスレンズ（撮影レンズ１１）を光軸方向に移動させながら、信号処理部１１１からの出力に基づいてフォーカスレンズの合焦位置を求めている。すなわち、いわゆるコントラスト検出方式による焦点調節を行っている。

撮像素子１９ａから出力された信号（アナログ信号）は、Ａ／Ｄ変換器１１０によりデジタル信号に変換されて信号処理部１１１に入力される。信号処理部１１１は、入力された信号に対して輝度信号や色信号等を生成する信号処理を行うことにより、カラーの映像信号（画像データ）を生成する。

信号処理部１１１で生成された映像信号は、信号切替部１１２を介して第２画像補正部１１７ｂに入力される。すなわち、後述する防振モードが設定されていない場合に、映像信号が第２画像補正部１１７ｂに入力される。

第２画像補正部１１７ｂでは、入力された映像信号に対してガンマ補正処理や非線形レベル圧縮処理を行う。第２画像補正部１１７ｂの出力信号は、撮影画像として表示部１１８に表示されるとともに、記録部１１９に記録されたり、記録部１１９を介してメモリカードなどの記録媒体（不図示）に記録されたりする。

本実施例における防振モードでは、像振れが起きにくい程度の露光時間で複数回の撮像動作を行うことによって複数の画像データを生成し、これらの画像データを合成することで露出補正された画像データ（撮影画像）を生成する。ここで、防振操作部１２０を操作することによって、防振モードを設定したり、防振モードの設定を解除したりすることができる。

以下、防振モードが設定されているときの動作について説明する。

複数回の撮像動作によって撮像素子１９ａから出力される複数の信号は、Ａ／Ｄ変換器１１０でデジタル信号に変換されてから信号処理部１１１にて信号処理が施される。ここで、防振操作部１２０から撮影制御部１８に対して防振モードの設定を指示する信号が出力されると、撮影制御部１８は、信号処理部１１１で生成された画像データを、信号切替部１１２を介して画像記憶部１１３に入力させる。この場合、第２画像補正部１１７ｂには画像データが出力されない。

画像記憶部１１３には、複数回の撮像動作によって生成された複数の画像データのうち、後述するように所定の条件を満たす画像データが記憶される。具体的には、撮影制御部１８は、複数回の撮像動作によって得られた複数の画像データのうち画像合成に適した画像データを特定し、この画像データだけを画像記憶部１１３に記憶させる。他の画像データについては、画像記憶部１１３および第２画像補正部１１７ｂに出力されない。

ズレ検出部１１４は、横方向および縦方向の画像間のずれ（動きベクトル）を検出する。この動きベクトルは、手振れによって生じる像振れに相当し、像振れの方向および量を表す。具体的には、画像記憶部１１３に記憶された各画像データにおける特徴点を抽出し、この特徴点の撮影画面内における位置座標を割り出す。

例えば、図２のフレーム１２１ａに示すように、人物１２２ａが建物１２３ａを背景にして立っている被写体を撮影する場合を用いて、ズレ検出部１１４の動作を説明する。

複数回の撮像動作を行う場合には、フレーム１２１ｂに示すように、手振れによりフレーム１２１ａに対して構図がずれた画像が得られることがある。

ズレ検出部１１４は、フレーム１２１ａにおいて、画面の周辺に位置する建物１２３ａのうち輝度の高い点である窓１２４ａのエッジ１２５ａをエッジ検出により特徴点として取り出す。同様に、フレーム１２１ｂにおいても、窓１２４ｂのエッジ１２５ｂを特徴点として取り出す。

そして、フレーム１２１ａの特徴点１２５ａと、フレーム１２１ｂの特徴点１２５ｂとを比較し、この差分（動きベクトルに対応する）だけフレーム１２１ｂを補正（座標変換）する。すなわち、フレーム１２１ａを基準画像とし、この基準画像での構図に揃うように他の画像（フレーム１２１ｂ等）に対して座標変換を行う。

図２では、フレーム１２１ｂの特徴点１２５ｂがフレーム１２１ａの特徴点１２５ａに重なるように、矢印１２６の分だけフレーム１２１ｂを座標変換する。ここで、矢印１２６は、動きベクトルを示す。

本実施例では、撮影画面内の周辺領域（撮影画面の外枠に近い領域）から特徴点を抽出するようにしている。以下、この理由について説明する。

撮影を行う場合には、撮影画面の中央近傍に主被写体が位置し、且つ主被写体が人物であることが多い。この場合、主被写体の領域から特徴点を抽出すると、被写体の振れによる不都合が生じることがある。

複数回の撮像動作を行っている間においては、撮影者の手振ればかりでなく、被写体の振れも重畳してくるため、主被写体の領域内での特徴点を用いると、被写体の振れに基づいて座標変換処理を行ってしまうことがある。

この場合、主被写体の振れに基づいて座標変換を行うため、主被写体の構図が適正（ズレが概ね無い状態）になるように思われる。しかし、一般的に人物の動きは複雑であり、特徴点を選ぶ場所に応じて、画像間のズレを検出する精度が大きく左右される。

例えば、主被写体（人物）の眼を特徴点として選んだ場合には、瞬きの影響によって実際の被写体全体の振れとは異なってしまう。また、手の先を特徴点として選択した場合には、手は動きやすいため、実際の被写体全体の振れとは異なってしまう。

このように人物の１点（特徴点）に関するズレに基づいて画像データの座標変換を行っても、人物全体が適正に座標変換されるわけではない。そして、人物全体の振れとは異なる振れ（ズレ）に基づいて座標変換を行ってから画像データを合成しても、合成された画像データにおいては、人物がずれたままとなってしまう。

一方、撮影画面内の周辺領域には、一般的に建物等のように動かない被写体（静止被写体）が位置しているため、静止被写体を特徴点の抽出領域として選択すれば、座標変換処理において被写体振れの影響は生じない。そこで、本実施例では、上述したように撮影画面内の周辺領域から特徴点を抽出するようにしている。

なお、画像間のズレを検出する方法としては、上述したように周辺領域内の一点を特徴点として抽出し、各画像の特徴点に基づいてズレを検出する方法に限られるものではない。例えば、各画像の全領域を複数の領域に分割し、各領域における画像間の動きベクトルを検出する。そして、所定の条件に基づいて複数の動きベクトルをグループ化し、各グループ内で最も頻度の高い動きベクトルを画像間のズレとすることができる。

上述した説明では、画像の横方向および縦方向における動きベクトルを検出し、この動きベクトルに基づく座標変換によって、画像データを横方向および縦方向にシフトさせている。ここで、画像の回転情報も検出するようにすれば、この検出情報に基づいて回転方向の像振れを補正することもできる。

座標変換部１１５は、ズレ検出部１１４で求められた画像間のズレ（動きベクトル）に基づいて、基準画像データ以外の画像データに対して座標変換処理を行う。また、座標変換部１１５は以下の動作も行っている。

まず、座標変換処理を行う際に基準となる基準画像を特定する。この基準画像データは、複数の合成用画像データのうち任意の１つの画像データである。そして、基準画像以外の画像のうち、基準画像に対して所定量以上構図のずれている画像（所定値以上の動きベクトルを有する画像）については、削除する。すなわち、削除される画像については、座標変換処理が行われず、画像合成処理にも用いられない。

座標変換部１１５で座標変換された各画像データは画像合成部１１６に出力され、画像合成部１１６の画像合成処理によって１つの画像データ（以下、合成画像データともいう）が生成される。

デジタル画像の場合には、露出不足の画像でもゲインアップすることで露出の補正が可能である。ただし、ゲインをアップさせるとノイズも増えて低画質の画像になってしまう。

しかし、本実施例のように複数の画像データを合成して画像全体のゲインをアップさせる場合において、合成用画像データが十分な数だけあれば、画像合成処理の過程において全体の信号レベルを圧縮処理することにより、相対的に各画像データのノイズを低減させることができる。これにより、Ｓ／Ｎ比の良好な画像データを得ることができ、結果的にノイズを抑えて露出を適正化することができる。

別の考え方をすれば、例えばノイズを許容して撮像素子１９ａを高感度に設定してから複数回の撮像動作を行い、得られた複数の画像データを合成することにより、画像データに含まれるランダムノイズを減少させていることになる。

合成画像データは第１画像補正部１１７ａに入力され、第１画像補正部１１７ａにおいて、ガンマ補正処理や非線形レベル圧縮処理が行われる。また、座標変換された画像データを合成する場合、図３に示すように、複数の画像が互いに重ならない領域１２９が生じる。この領域１２９の大きさは、手振れによって生じる画像間のズレに対応したものである。第１画像補正部１１７ａは、領域１２９での画像データをカットする。

領域１２９をカットした場合には、複数の画像が重なる領域は、元の画像サイズよりも小さくなるため、この領域内の画像データについては、必要に応じて拡大補間処理を行うことで、元の（又は所定の）画像サイズ（アスペクト）に調整する。

ここで、合成画像の全画素数を所定数に揃える必要がない場合には、不必要にデータ量を増大させるのを防止するために、拡大補間処理を行わなくてもよい。また、合成画像データを再生させるときに、拡大補間処理を行うようにしてもよい。

第１画像補正部１１７ａで生成された画像データは、表示部１１８で撮影画像として表示されたり、記録部１１９に記録されたりする。

一般にデジタルカメラの場合では、撮影動作の後に撮影画像が液晶モニタ（表示部１１８）に表示される。

しかし、本実施例のように複数の画像データを合成して露出補正された合成画像データを生成する場合には、合成画像データを生成して表示部１１８で表示させるまでの時間がかかってしまう。

そこで、本実施例では、画像合成される前の合成用画像データを表示部１１８に表示させている。これにより、撮影動作（複数回の撮像動作）が完了してから表示部１１８に画像データが表示されるまでの時間を短縮させることができる。ここで、表示部１１８に表示させる合成用画像データは、予め決定されたものであり、例えば、基準画像データを表示させたり、複数の撮像動作のうち最初の撮像動作によって得られた画像データを表示させたりすることができる。

一般的に表示部１１８は小型であるため、露出不足である合成用画像データを、ゲインを上げた状態で表示させても、画質の劣化は目立たない。また、表示部１１８で撮影画像を観察するのは、主に撮影構図をチェックするためであるため、大まかな構図が分かる合成用画像データを表示させるだけで十分である。

一方、記録部１１９に記録された画像データを表示部１１８に入力すれば、この画像データを再生表示させることができる。

上述したように複数回の撮像動作によって複数の画像データを取得し、これらの画像データを合成する場合において、撮影動作（複数回の撮像動作に対応する）の直後では、表示部１１８に所定の画像データ（合成用画像データ）が表示される。一方、記録部１１９で記録された合成画像データを表示部１１８で再生表示させる場合において、表示禁止部１１８ａは、合成用画像データを表示部１１８で表示させるのを禁止し、合成画像データを表示部１１８で表示させる。

なお、撮影画像を再生表示させる再生モードに設定した場合には、一般的には記録部１１９に記録されたすべての画像データを表示部１１８で表示させることができる。すなわち、各画像データを表示部１１８で表示させたり、所定数の画像データをまとめて表示部１１８で表示させたりすることができる。

一方、本実施例において、再生モードが設定されている場合には、合成画像データだけが表示部１１８で表示されるようになっている。すなわち、記録部１１９に記録された合成用画像データの表示は、表示禁止部１１８ａによって禁止される。なお、所定の操作によって、合成用画像データを表示部１１８で表示させてもよい。

再生モードの設定時に、複数の合成用画像データを表示させると、各画像データを観察する時間がかかってしまうとともに、撮影画像データ（合成画像データ）とは異なる画像データによって撮影者が混乱してしまうことがある。このため、本実施例では、再生モードの設定時には、撮影画像としての合成画像データだけを表示させるようにしている。

また、上述したように画像記憶部１１３には、複数回の撮像動作によって得られた複数の画像データのうち所定の条件を満たす画像データだけが記憶されるようになっている。ここで、すべての画像データを画像記憶部１１３に記憶させてもよいが、本実施例のようにすることで、画像記憶部１１３での記憶容量を確保したり、画像データの記憶に要する時間や、合成画像データを生成するまでの時間を短縮したりすることができる。

次に、本実施例における特徴部分について、図４を用いて説明する。図４は、夕日を撮影するシーンを示しており、被写体となる景色１３０に対して複数回の撮像動作を行うことによって生成された画像（１）〜（７）を示している。

なお、景色１３０中に示す複数の枠（例えば、枠１３０ａ）は、各画像（１）〜（７）の外枠を示しており、各枠および各画像（１）〜（７）は矢印で対応させている。

ここで、景色１３０に対する測光動作の結果に基づいて決定されたシャッタ速度（露光時間）が１／１０ｍｓｅｃであるとする。撮影光学系の焦点距離が５０ｍｍ（１３５フィルム換算値）である場合において、シャッタ速度を１／５０ｍｓｅｃ以下に設定しないと、手振れによる像振れが生じるおそれがある。

したがって、上述した場合にはシャッタ速度を１／５０ｍｓｅｃに設定し、合計の露光時間が１／１０ｍｓｅｃとなるように、上記シャッタ速度での撮像動作を５回行う。そして、５回の撮像動作によって生成された画像データを合成して、１つの画像データを生成する。

本実施例では、図４に示すように、７回の撮像動作によって７つの画像データを生成している。そして、上述したように各画像データに対して、画像合成に不適切な画像データであるか否かの判別を行い、画像合成に用いることができる画像データだけを画像記憶部１１３に記憶する。ここで、画像合成に用いることができない不適切な画像データについて、図４を用いて説明する。

複数回の撮像動作を行っている間において、主被写体（撮影時の主な被写体）とカメラとの間に他の被写体が入り込んだ場合や、所定量以上の像振れが発生した場合に得られた画像データは、不適切な画像データと判別される。

このような不適切な画像データにおいては、最初に得られた画像データに対して各種パラメータが大きく異なっている可能性が高い。具体的には、露光中の被写体振れにより画像データのコントラストが低下したり、主被写体よりも近距離側に入り込んだ他の被写体が非合焦状態となることによりコントラストが低下したりする。

このため、画像データのコントラストを評価し、この評価値が所定範囲外である場合には、この画像データが不適切な画像データであると判別するとともに、画像記憶部１１３へは記憶しない。この処理の詳細については後述する。このように、画像データのコントラストに基づいて、不適切な画像データであるか否かの判別を行うことができる。

一方、撮影光学系の合焦状態に基づいて、不適切な画像データであるか否かの簡易な判別を行うこともできる。上述したように不適切な画像データが得られる撮影状況においては、複数回の撮像動作を開始したときの合焦状態とは異なる。このため、エンコーダを用いて、撮影レンズ（フォーカスレンズ）１１の合焦位置の変化を検出し、この検出結果に基づいて不適切な画像データであるか否かの判別を行うこともできる。

図４の画像（３）においては、撮影動作中に高速で移動する被写体（車両）が撮影画面内に入り込んでおり、他の画像データ（１）等とは異なる構図となっている。すなわち、画像（３）では、高速移動する車両によって被写体振れが発生している。この被写体振れの発生した領域におけるコントラストは、他の画像データにおける同じ領域のコントラストに比べて低い可能性が高い。

なお、移動する被写体の形状と移動方向によっては、コントラストが高くなる場合もある。例えば、輝度等が均一な背景に対して、上下が別色で彩色された列車がほぼ水平に走っている場合には、コントラストが高くなる。

画像（６）は、遠くの風景を撮影するためにピントを無限遠に設定して撮影動作を開始した後に、至近距離の位置で人物が撮影画面内に入り込んだ場合を示している。合焦範囲（被写界深度）から外れた位置にある人物に関しては、いわゆるピンぼけした画像となり、この人物に対応した画像領域のコントラストは、他の画像（１）等における同じ領域でのコントラストに比べて低い可能性が高い。

なお、背景および人物の明るさによっては、コントラストが高くなる場合もある。例えば、輝度が均一であり、暗い背景の場合であって、人物に対して十分な照度の照明光が照射されている場合には、人物での輝度が高くなるため、コントラストも高くなる。

上述したように、画像（３）、（６）と、他の基準画像（例えば、画像（１））とを比較すると、一部の領域においてコントラストが所定量以上異なっている場合がある。そこで、本実施例では、基準画像に対して所定量以上のコントラストの差を持つ画像（３）、（６）を特定し、この画像を画像合成に用いないようにしている。画像（３）、（６）は、画像合成において不適切な画像となる。

コントラストの差に基づいて画像合成に用いない画像データを特定する処理は、上述したように撮影制御部１８で行われる。

本実施例では、図４に示す画像（１）〜（７）のうち画像（１）、（２）、（４）、（５）、（７）が画像記憶部１１３に記憶される。

ここで、所定数（図４に示す場合には５つ）の画像データを画像記憶部１１３に記憶させたときに、２回目以降の撮像動作によって得られた画像データにおけるコントラストの平均値を計算し、この平均値に対して、最初の撮像動作によって得られた画像データのコントラストが所定量以下でないことを確認しておくことができる。これにより、画像記憶部１１３に記憶された画像データを合成する際の精度を向上させることができる。

また、最初の画像データのコントラスト値が上記平均値に対して所定量以下である場合には、最初の画像データを画像記憶部１１３から削除することができる。これにより、合成画像データの画質を更に向上させることができる。

一方、画像記憶部１１３にすべての画像データ（１）〜（７）を記憶しておき、すべての画像データにおけるコントラストの平均値を求め、この平均値に対して所定量以上異なるコントラストを有する画像データについては、画像合成処理に用いないようにしてもよい。また、画像合成処理に用いない画像データについては、画像記憶部１１３から削除してもよい。この場合には、画像記憶部１１３内に記憶されているデータ容量を低減することができる。

上述したように本実施例では、１回の撮像動作が完了する度に、この撮像動作によって生成された画像のコントラストに基づいて、該画像データが画像合成処理に適した画像データであるか否を判別している。なお、最初の画像データに対して画像合成に適しているか否かの判別は行わない。そして、画像合成処理に不適切な画像データである場合には、画像記憶部１１３への記憶を行わずに、必要数の画像データが得られるまで撮像動作を繰り返すようにしている。

しかし、撮像動作を繰り返しても、撮影環境によっては画像合成処理に適した画像データを必要な数だけ取得することができないことがあり、撮影動作を終了させることができない可能性もある。

この場合には、撮像動作の回数や撮影動作（複数回の撮像動作）を行う時間に上限を設けることができる。例えば、撮像動作を繰り返しても画像合成処理に適さない画像データしか得ることができない場合には、最初の撮像動作を開始してから２分が経過した時点で、撮影動作を終了させることができる。また、撮像動作を２０回行った場合には、画像記憶部１１３に記憶されている画像データの数に拘わらず、撮影動作を終了させることができる。

一方、撮像動作の回数の上限を固定とするのではなく、例えば、画像合成に必要な数（撮影条件によって異なる）の２倍の数を上限値とするように、画像合成に必要な数やトータルの露光時間に応じて、撮像動作の回数の上限を変更するようにしてもよい。

ここで、上述した制限によって必要数の画像データを取得することができない場合には、以下に説明する画像処理を行うことにより、必要数の画像データを合成したことと同様の効果を得ることができる。画像合成に必要な画像データの数（必要最低限の数）は、複数回の撮像動作によって得られた画像の輝度情報に基づいて求めることができる。

例えば、画像合成に必要な画像データの数が５つである場合であって、画像記憶部１１３には４つの画像データしか記憶されていない場合には、画像記憶部１１３内の各画像データにおける輝度データおよび色データの値が５／４倍となるようにゲインをアップさせる。そして、各画像データに対して座標変換処理を行った後、画像合成処理を行う。

本実施例では、複数回の撮像動作によって得られた画像データを座標変換してから合成するため、センサ（撮像素子）特有の固定パターンノイズが、像振れによってランダムノイズ化される。このため、低輝度の被写体に対する撮影動作によって得られた画像データに対してゲインアップを行う場合に比べて、ノイズが目立ちにくくなる。

ここで、複数回の撮像動作に要する時間の短縮、および画像データの画質（Ｓ／Ｎ比など）向上のうち一方を優先させるモードを、使用者が選択的に設定できるようにしてもよい。すなわち、時間短縮を優先させる場合には、撮像動作の回数や撮影時間を行う時間を制限するモードに設定し、画質向上を優先させる場合には、上述したゲインアップを行うモードに設定することができる。

次に、上述した画像データのコントラストに基づいて画像合成に適した画像データを特定する動作と、動きベクトルに基づいて画像合成に適した画像データを特定する動作とについて、具体的に説明する。

図１に示すように、座標変換部１１５は、シフト部１１５ａ、基準画像設定部１１５ｂおよび加算画像合否判定部１１５ｃを有している。また、信号処理部１１１は、画像処理部１１１ａおよびコントラスト検出部１１１ｂを有している。

複数回の撮像動作を開始したときには、最初の撮像動作によって生成された画像データは画像記憶部１１３に記憶される。

コントラスト検出部１１１ｂは、画像処理部１１１ａで生成された画像データのコントラストを検出する。

ここで、最初の撮像動作は、撮影者が構図やピントの状態を観察し、撮影開始のタイミングも吟味した上で行われるため、この撮像動作によって生成された画像データは良好なコントラストを示している可能性が高い。一方、２回目以降の撮像動作によって生成された画像データは、図４を用いて説明したように、被写体振れやピンぼけなどでコントラストが低下している場合もある。

撮影制御部１８の一部である低コントラスト判別部１８ａは、２回目以降の撮像動作によって画像データが生成されるたびに、この画像データのコントラストと、最初に得られた画像データのコントラストとを比較する。そして、コントラストの差が所定値以上である場合には、最初の画像データと比較した画像データが画像記憶部１１３に出力されないようにしている。そして、画像記憶部１１３に出力されない画像データは、削除される。

防振モードにおける複数回の撮像動作によって得られた各画像は、適正露出が得られる１回の撮像動作によって得られた画像に比べてコントラストが低くなる。本実施例では、複数回の撮像動作によって得られた複数の画像間でコントラストの比較（低コントラストの画像間での比較）を行っているため、画像合成に適した画像であるか否かの判別を的確に行うことができる。

画像記憶部１１３に記憶された画像データは順次ズレ検出部１１４に送られ、上述したようにズレ検出部１１４において、基準画像内の特徴点に対する他の画像内の特徴点の動きベクトルが求められる。ここで、基準画像は、最初に取得した画像としている。また、画像記憶部１１３に記憶された画像データがズレ検出部１１４に出力されている場合には、これらの画像データはシフト部１１５ａに入力されない。

基準画像設定部１１５ｂは、ズレ検出部１１４での検出結果に基づいて、画像記憶部１１３内に記憶された複数の画像データのうち、画像合成処理において基準となる画像データを決定する。具体的には、画像記憶部１１３内に記憶された複数の画像のうち、いずれか１つの画像を仮の基準画像とし、他の画像とのずれ量を求める。この処理は、画像記憶部１１３内の各画像を仮の基準画像として行う。そして、仮の基準画像と、他のすべての画像とのずれ量が最も小さくなる場合における仮の基準画像を真の基準画像とする。

加算画像合否判定部１１５ｃは、基準画像設定部１１５ｂで決定された基準画像に対して、動きベクトルが所定値以上となる他の画像を特定する。

上述した処理が完了した場合には、画像記憶部１１３内の複数の画像データを順次シフト部１１５ａに出力する。

基準画像設定部１１５ｂは、この基準画像設定部１１５ｂで決定した基準画像に対する他の画像の動きベクトルに関する情報をシフト部１１５ａに出力する。また、加算画像合否判定部１１５ｃは、画像合成に適さない画像データ、すなわち、基準画像に対する動きベクトルが所定値以上となる他の画像データ（例えば図４の画像（７））が画像記憶部１１３からシフト部１１５ａに入力しないようにする。

シフト部１１５ａは、基準画像設定部１１５ｂで設定された基準画像に対して他の画像が揃うように、他の画像データに対して座標変換を行う。上述したようにシフト部１１５ａに出力される画像は、基準画像および、基準画像に対して動きベクトルが所定値以下の他の画像であるため、シフト部１１５ａでの座標変換を的確に行うことができる。

シフト部１１５ａで座標変換された画像データと、基準画像データとは、画像合成部１１６において合成される。

なお、動きベクトルだけに基づいて行うのではなく、画像記憶部１１３内の画像データに直接アクセスして更なる画像分析（色情報等の分析）を行い、この分析結果に基づいて画像合成処理に用いられる画像データを特定することもできる。例えば、各画像の色情報を分析することにより被写体の変化を検出でき、この検出結果を用いて画像合成に用いる画像データを特定することができる。すなわち、色情報が大きく異なっている画像については、画像合成に用いないようにすることができる。

図５は、本実施例の撮像装置における撮影動作を示すフローチャートであり、このフローは撮像装置の電源がオン状態となったときにスタートする。

ステップＳ１００１では、撮影者のレリーズボタンの半押しによってＳＷ１がＯＮ状態となるまで待機し、ＳＷ１がＯＮ状態になるとステップＳ１００２に進む。

ステップＳ１００２において、撮影制御部１８は、ＡＦモータ１４ａを駆動して撮影レンズ（フォーカスレンズ）１１を光軸方向に移動させながら、撮像素子１９ａの出力に基づいて生成された画像データのコントラストを検出する。そして、コントラストが最も高くなったときに、撮影レンズ１１の駆動を停止させる。これにより、撮影光学系が合焦状態となる。この焦点調節方法は、いわゆるコントラスト検出方式による焦点調節方法である。

このようにコントラスト検出方式による焦点調節を行うことができる撮像装置では、低コントラストの状態を判別できる機能を有しているため、この機能を利用することにより上述した低コントラスト判別部１８ａの動作を行うことができる。

また、ステップＳ１００２では、画像データに基づいて被写体の輝度を測定（測光）する。測光動作により得られた測光値に基づいてシャッタ１２ａの閉じタイミング（露光時間）と絞り１３ａの絞り口径を設定する。そして、設定した絞り口径となるように、絞り駆動部１３ｂを介して絞り１３ａを駆動する。

ステップＳ１００３では、防振操作部１２０の操作によって防振モードが設定されているか否かを判別する。ここで、防振モードが設定されている場合にはステップＳ１００４に進み、設定されていない場合にはステップＳ１０１９に進む。

まず、防振モードが設定されている場合の動作について説明する。

ステップＳ１００４では、撮影条件に基づいて、撮像動作の回数と、各撮像動作における露光時間を求める。

ここでの撮影条件とは、以下の４つの条件を含む。
１）被写体の明るさ。これは、ステップＳ１００２での測光動作によって得られる。
２）撮影光学系の焦点距離。これは、撮影レンズ１１（ズームレンズ）の位置を検出する検出器の出力に基づいて求められる。
３）撮影光学系の明るさ（絞り値）。これは、撮像装置（撮影光学系）毎に予め設定されている。
４）撮像素子１９ａの感度。これは、予め設定されている値であり、撮影者の操作によって設定されたり、自動的に設定されたりする。

ここで、例えば撮像素子１９ａの感度がＩＳＯ２００に設定されていたとする。また、ステップＳ１００２での測光結果から適正な露光を行うためには、絞り１３ａを全開（例えばｆ２．８）に設定し、露光時間を１／８ｍｓｅｃに設定する必要があるとする。

上述した条件において、撮影光学系の焦点距離が３５ｍｍフィルム換算で３０ｍｍである場合には、１／８ｍｓｅｃの露光時間では手振れによる像振れが発生するおそれがある。そこで、本実施例では、露光時間を１／３２ｍｓｅｃに設定し、この露光時間での撮像動作を６回行うように設定する。

ここで、露光時間が１／３２ｍｓｅｃでの撮像動作を４回行えば、合計の露光時間が１／８ｍｓｅｃとなり、４回の撮像動作によって得られた４つの画像データを合成すれば露出を補完することができる。しかし、本実施例では、上述したように画像合成に適さない画像データが生成されることを見込んで、２回分多く撮像動作を行うように設定している。

一方、撮影光学系の焦点距離が３００ｍｍ（３５ｍｍフィルム換算）である場合には、像振れが発生するおそれのない露光時間を１／３２０ｍｓｅｃに設定し、この露光時間での撮像動作を４８回行うように設定する。

この場合、４０回の撮像動作を行い、これによって生成された４０の画像データを合成すれば、露出を補完することができる。しかし、本実施例では、画像合成に適さない画像データが生成されることを見込んで、撮像動作の回数（４０）に対して２割（８回）だけ多い回数で撮像動作を行うようにしている。

上述したように撮像動作の回数が多くなるほど、余分に行う撮像動作の回数を増やしている。これは、一般的に撮像動作の回数が多くなるほど、画像合成に適さない画像データが生成される頻度が多くなるためである。

上述したように本実施例では、複数回の撮像動作を行う場合（防振モードの設定時）において、各撮像動作での露光時間と撮像動作の回数とを上述した撮影条件に基づいて決定している。

ここで、同一の被写体に対して複数回の撮像動作を行う場合でも、各撮像動作での露光条件は適正露光が得られる条件に近いほうが、より正確な画像情報が得られる。このため、被写体が暗い場合、絞り１３ａを絞り込んでいる場合、撮像素子１９ａが低感度に設定されている場合には、各撮像動作での露光時間をできる限り長くなるように設定する。ただし、露光時間を長くしすぎると、手振れによる像振れの影響が発生してしまう。

そこで、各撮像動作での露光時間を、上述した不具合を抑制することができる程度の露光時間に設定することが好ましい。具体的には、撮影光学系の焦点距離が３０ｍｍ（３５ｍｍフィルム換算）である場合には、露光時間を略焦点距離分の一である１／３２に設定することができる。また、撮影光学系の焦点距離が３００ｍｍである場合には、露光時間を１／３２０ｍｓｅｃに設定することができる。

そして、各撮像動作での露光時間では足りない分だけ、複数回の撮像動作を行うようにしている。

ここで、撮影光学系の焦点距離が３００ｍｍよりも長い場合には、像振れの発生を抑制するために、露光時間を更に短くするとともに、露光時間を短くした分だけ撮像動作の回数を増やす。

すなわち、各撮像動作での露光時間は、被写体や撮影レンズが暗くなるほど、撮像素子１９ａの感度が低くなるほど、長くなる。また、撮影光学系の焦点距離が長くなるほど、露光時間は短くなる。このように各撮像動作での露光時間を、撮影光学系の焦点距離に応じて変更することで、いかなる焦点距離であっても好ましい画像データを得ることができる。

一方、撮像動作の回数は、被写体や撮影レンズが暗くなるほど、撮像素子１９ａの感度が低くなるほど、少なくなる。また、撮影光学系の焦点距離が長くなるほど、撮像動作の回数が多くなる。

上述したように撮像動作の回数と、各撮像動作での露光時間を決定した場合には、撮像装置の光学ファインダ内や表示部１１８に、防振モードが設定された旨や撮像動作の回数を表示する。ここで、各撮像動作での露光時間を表示してもよい。

ステップＳ１００５では、レリーズボタンの全押し操作によってＳＷ２がＯＮ状態となるまで、ステップＳ１００１からステップＳ１００５を循環して待機する。そして、ＳＷ２がＯＮ状態となった場合には、ステップＳ１００６に進む。

ステップＳ１００６では、１回目の撮像動作を開始する。まず、撮像素子１９ａで蓄積されている電荷をリセットし、再度、電荷蓄積を開始させる。そして、ステップＳ１００４で設定された露光時間だけ待機してから、シャッタ１２ａを閉じ状態とし、電荷の転送を行う。

また、１回目の撮像動作を開始させる際に、発音駆動部１７ｂを介してスピーカ１７ａを駆動することにより、撮影者に対して撮影動作（１回目の撮像動作）が開始されたことを知らせる。ここで、スピーカ１７ａから発せられる音は、例えば「ピッ」という電子音でもよいし、音声でもよい。また、シャッタ１２ａの開き動作の音を用いて撮影動作の開始を知らせてもよい。さらに、一眼レフレックスタイプのカメラの場合には、ミラーがアップする音を用いて撮影動作の開始を知らせてもよい。

ステップＳ１００７では、１回目の撮像動作によって得られた画像データを一旦画像記憶部１１３に記憶する。

ステップＳ１００８では、ステップＳ１００４で設定された回数だけ撮像動作を行ったか否かを判別する。ここで、すべての撮像動作が完了していなければ、ステップＳ１００６に戻る。１回目の撮像動作が完了した場合には、ステップＳ１００６に戻り、２回目以降の撮像動作を行う。

ステップＳ１００７では、２回目以降の撮像動作によって得られた画像データのうち、１回目の撮像動作によって得られた画像データのコントラストと略等しいコントラストを有する画像データを画像記憶部１１３に記憶する。すなわち、最初の画像データのコントラストに比べて所定値以上異なる（低い）コントラストを有する２回目以降の画像データについては、画像記憶部１１３に記憶されない。

例えば、図４に示すように７つの画像データ（１）〜（７）を取得した場合には、画像（３）、（６）が画像記憶部１１３に記憶されず、他の５つの画像が画像記憶部１１３に記憶される。

ステップＳ１００８において、すべての撮像動作が完了した場合には、ステップＳ１００９に進む。

ステップＳ１００９では、発音駆動部１７ｂを介してスピーカ１７ａを駆動することにより、撮影者に対して撮影動作（最後の撮像動作）が完了したことを知らせる。ここで、スピーカ１７ａから発せられる音は、例えば「ピッピッ」という電子音でもよいし、音声でもよい。また、シャッタ１２ａの閉じ動作の音を用いて撮影動作の完了を知らせてもよい。さらに、一眼レフレックスタイプのカメラの場合には、ミラーがダウンする音を用いて撮影動作の完了を知らせてもよい。

本実施例では、複数回の撮像動作を行う場合における発音回数と、１回の撮影動作を行う場合における発音回数とを等しくしている。すなわち、防振モードでの撮影を行う場合には、最初の撮像動作を行うときと、最後の撮像動作を行った後とでそれぞれ１回、スピーカ１７ａから電子音が発せられる。また、防振モード以外の撮影を行う場合には、撮影動作の開始および完了でスピーカ１７ａから電子音が発せられる。このように電子音が発せられる回数を等しくすることで、撮影者に違和感を与えるのを防止することができる。

ステップＳ１０１０では、ズレ検出部１１４が画像の周辺領域（例えば、図２の建物１２３ａ）の中から特徴的な像（特徴点）を抽出し、この像の撮影画面内での座標を求める。この座標は、１回目の撮像動作によって得られた画像を基準とした場合において、２回目以降の撮像動作によって得られた各画像の相対的なズレ座標を示す。ここでは、ステップＳ１００７において画像記憶部１１３に記憶されたすべての画像データに対して、上述した処理を行う。

ステップＳ１０１１では、座標変換部１１５が各画像データに対して座標変換を行う。ここで、座標変換を行う前に、上述したように画像合成の基準となる画像を決定するとともに、この基準画像に対して画像合成に適した画像を決定する。

ステップＳ１０１２では、基準画像が決定され、画像合成に適したすべての画像データに対して座標変換処理が完了したか否かを判別する。ここで、座標変換処理が完了していなければＳ１０１１での座標変換処理を繰り返す。

すなわち、ステップＳ１０１１では、基準画像を決定した後に、他の１つの画像データに対して座標変換処理を行う。そして、ステップＳ１０１２、Ｓ１０１１を循環することにより、他の画像データに対して順次、座標変換処理を行う。

一方、画像合成に適したすべての画像データに対して座標変換処理が完了している場合には、ステップＳ１０１３に進み、画像データの合成を行う。

ステップＳ１０１４では、像振れによって画像の重ならない領域（図３の領域１２９）をカットし、元（又は所定）の画像サイズとなるように画像データを拡散補間する。ステップＳ１０１５では、合成画像データに対してガンマ補正処理や非線形レベル圧縮処理を行う。

ステップＳ１０１６では、ステップＳ１０１５の処理で得られた合成画像データを表示部１１８で表示させる。ステップＳ１０１７では、ステップＳ１０１５の処理で得られた合成画像データを、記録部１１９に記録したり、記録部１１９を介して記録媒体に記録したりする。ここで、記録媒体に記録する場合には、必要に応じてＪＰＥＧ方式等で画像データを圧縮する。

ステップＳ１０１８では、スタートに戻る。

なお、ステップＳ１０１８において、ＳＷ１がＯＮ状態のままである場合には、ステップＳ１００１、Ｓ１００２、Ｓ１００３、Ｓ１００４の順で各処理が行われる。また、ステップＳ１０１８において、ＳＷ２がＯＮ状態のままである場合には、スタートに戻らずにステップＳ１０１８で待機する。

次に、防振モードが設定されていない場合の動作について説明する。この場合には、ステップＳ１００３からステップＳ１０１９に進む。

ステップＳ１０１９では、撮影条件に基づいて、手振れによる像振れが発生するおそれがあるか否かを判別する。ここでの撮影条件は、上述した撮影条件と同様であり、被写体の明るさ、撮影レンズの明るさ、撮像素子１９ａの感度、撮影光学系の焦点距離を含む。

すなわち、被写体の明るさ、撮影レンズの明るさ、撮像素子１９ａの感度に基づいて露光時間を求め、この露光時間と撮影光学系の焦点距離との関係に基づいて像振れが発生するおそれがあるか否かを判別する。

ステップＳ１０１９において、像振れが発生する可能性がある場合にはステップＳ１０２０に進み、そうでない場合にはステップＳ１０２１に進む。

ステップＳ１０２０では、撮像装置の光学ファインダ内や表示部１１８に、防振モードの設定を推奨する旨の表示を行う。このように防振モードが設定されていない場合でも、像振れの発生するおそれがある撮影条件の場合には、撮影者に防振モードの設定を促すことにより、像振れによる画像劣化の発生を未然に防ぐことができる。

ステップＳ１０２１では、ＳＷ２がＯＮ状態となるまでステップＳ１００１からステップＳ１０２１を循環して待機する。そして、ＳＷ２がＯＮ状態となった場合には、ステップＳ１０２２に進む。

ステップＳ１０２２では、１回の撮像動作を行う。ここでは、ステップＳ１００２の測光結果に基づいて求められた露出時間だけ、すなわち、１回の露光によって適正露出が得られる露光時間だけ撮像動作を行う。そして、１回の撮像動作が完了した場合には、ステップＳ１０１５に進む。

図５のフローチャートでは省略しているが、１回の撮像動作を行う場合には、撮像動作を開始したときと、撮像動作が完了したときとで、スピーカ１７ａの駆動によって電子音が発せられる。１回の撮像動作を行う場合や、複数回の撮像動作を行う場合には、電子音の発せられる回数が同じであり、撮影者に違和感を与えるのを防止できる。なお、防振モードでの撮影と防振モード以外の撮影とでは、１回目の電子音が発せられてから２回目の電子音が発せられるまでの時間が異なる。

ステップＳ１０１５からステップＳ１０１８までの動作は、上述した説明と同じである。ただし、これらの処理は、合成画像データではなく、１回の撮像動作によって得られた画像データに対して行われる。

本実施例では、複数回の撮像動作によって得られた複数の画像のうち、各画像のコントラスト及び画像間の動きベクトルに基づいて画像合成に不適切な画像を排除し、残った画像に対して画像合成を行っている。これにより、不適切な画像が画像合成に用いられることによって合成画像の画質が劣化するのを抑制することができ、合成画像の画質を向上させることができる。

本発明の実施例２である撮像装置について説明する。ここで、実施例１で説明したものと同じものについては同一符号を用いる。

本実施例では、複数回の撮像動作を行う場合において、これらの撮像動作によって得られた複数の画像データすべてを画像記憶部１１３に記憶している。コントラスト検出部１１１ｂは、各画像データにおけるコントラストを検出するとともに、全画像データにおけるコントラストの平均値を求める。コントラストの平均値に関する情報は、低コントラスト判別部１８ａに出力される。

低コントラスト判別部１８ａは、コントラストの平均値と、各画像データのコントラストとを比較し、コントラストの差が所定値以上である画像データを特定する。そして、特定した画像データに関する情報を座標変換部１１５に出力する。上記平均値に対する差が所定値以上である画像データは、画像合成には用いられない。

加算画像合否判定部１１５ｃは、実施例１と同様に、動きベクトルに基づいて特定された画像合成に適さない画像データが画像記憶部１１３からシフト部１１５ａに入力されないように制御する。このとき、低コントラスト判別部１８ａで特定された画像データも画像記憶部１１３からシフト部１１５ａに入力されない。

次に、図６に示すフローチャートを用いて、本実施例の撮像装置における撮影動作について説明する。なお、図６において、実施例１（図５）で説明した各処理と同じ処理については同一符号を用いている。以下、実施例１と異なる点について説明する。

本実施例では、ステップＳ１００６およびステップＳ１００８において、ステップＳ１００４で決定された回数だけ撮像動作を繰り返し行い、これらの撮像動作によって得られた複数の画像データを画像記憶部１１３に記憶する。

ステップＳ２００１では、画像記憶部１１３に記憶されたすべての画像データのコントラストを検出し、これらの平均値を求める。また、この平均値と、各画像データのコントラストとを比較し、平均値に対して所定量以上だけ低いコントラストを有する画像データを特定する。

次に、上述したように各画像データの動きベクトルに基づいて、画像合成に適さない画像データを特定する。そして、画像記憶部１１３に記憶された複数の画像データのうち、動きベクトルに基づいて特定された画像合成に適さない画像データ以外、および特定された低コントラストを有する画像データ以外の画像データを合成用画像データとする。また、この合成用画像データ（複数の画像データ）のなかから基準画像を特定し、基準画像以外の他の画像が基準画像と揃うように、他の画像データに対して座標変換を行う。

本実施例においても、実施例１と同様の効果を得ることができる。なお、上述した実施例１、２では、レンズ一体型の撮像装置について説明したが、撮像装置と、この撮像装置に着脱可能に装着されるレンズ装置とを有する撮像システムについても本発明を適用することができる。

本発明の実施例３について説明する。実施例１では、画像データに対する座標変換処理および画像合成処理を撮像装置内で行っている。

本実施例では、撮像装置において、複数の画像データの取得と、これらの画像データのうち画像合成に適した画像データの判別（第１の判別処理）を行う。この第１の判別処理は、実施例１で説明したように各画像データのコントラストに基づいて、画像合成に適した画像データであるか否かを判別するものである。

一方、画像合成に適した画像データの判別（第２の判別処理）、基準画像データの決定、基準画像データに対する他の画像データの座標変換処理、画像合成処理は、パソコンなどの外部機器で行うようにしている。ここで、第２の判別処理は、実施例１で説明したように、第１の判別処理で特定された画像データ（画像合成に適した画像データ）のうち、画像合成に適した画像データであるか否かを、動きベクトルに基づいて判別するものである。

なお、実施例１の撮像装置で行われる処理であって、複数の画像データを取得する処理以外の処理のうち、少なくとも１つの処理を外部機器で行わせてもよい。例えば、第１の判別処理を外部機器で行わせることができる。また、第１及び第２の判別処理を撮像装置で行わせ、第１及び第２の判別処理で特定された画像データに対する座標変換処理等を外部機器で行わせることもできる。さらに、第１及び第２の判別処理のうち一方の処理だけを行うようにしてもよい。

撮像動作によって得られた画像データ（画像合成処理に適した画像データ）は、記録部１１９を介して記録媒体に記録される。そして、記録媒体を外部機器に接続することで、記録媒体内の画像データを外部機器内のメモリに記憶させることができる。なお、記録部１１９内に画像データを記憶した場合には、この画像データを有線又は無線を介して外部機器内のメモリに記憶させることができる。

ここで、記録媒体内には、複数回の撮像動作によって得られた複数の画像データの他に、１回の撮影動作によって得られた画像データ（適正露出の画像データ）が記録されることがある。すなわち、記録媒体内には、画像合成処理に用いられる複数の画像データと、画像合成処理を行う必要の無い画像データとが混在している。

上述した状態において、記録媒体に多数の画像データが記録されており、これらの画像データの中から合成用画像データを選び出す場合には、例えば、使用者が記録媒体内の画像データを１つずつ確認しなければならず、選び出す作業が極めて面倒となる。

そこで、本実施例では、複数の合成用画像データと、画像合成の不要な画像データとを識別できる状態で、記録媒体内に記録している。

例えば、デジタルカメラ等に用いられているＤＣＦ（Design Rule For Camera File System）規格を利用する場合には画像データのヘッダに、互換性を重視する場合にはベンダーユニーク情報の記録エリア等に、合成用画像データの識別情報を、属性と連番等で表現して記録しておくことができる。

これにより、合成用画像データと、画像合成の不要な画像データとを容易に識別でき、合成用画像データを選別する際の面倒な手間を省くことができる。

カメラに付属のアプリケーションソフトは、上述した識別情報を認識して、合成用画像データだけを抽出するとともに、抽出した合成用画像データに対して座標変換を行ってから、画像合成処理を行う。

画像合成処理によって得られた合成画像データは外部機器内のメモリに記憶され、各合成用画像データは削除される。ここで、合成用画像データは、画像合成処理を完了した場合には不要となり、合成用画像データを外部機器のメモリ内に記憶しておくと、メモリの記憶容量が不足することもある。

そこで、本実施例のように合成用画像データを削除することにより、外部機器のメモリにおける記憶容量が不足してしまうのを抑制することができる。

図７は、ケーブルを介して接続されたパソコンおよびカメラを示す図である。すなわち、ノートパソコン３３は、ＵＳＢケーブル３２を介してカメラ３１と接続されている。これにより、カメラ３１で得られた画像データを、ＵＳＢケーブル３２を介してノートパソコン３３に送信することができる。

ここで、カメラ３１に着脱可能な記録媒体内に画像データを記録した場合には、記録媒体をカメラ３１から取り外し、ノートパソコン３３に設けられたスロット３４に差し込むことにより、記録媒体内の画像データをノートパソコン３３内に記憶させることができる。また、無線通信によってカメラ３１内の画像データをノートパソコン３３に送信することもできる。

ノートパソコン３３には、予め本実施例での動作を行わせるアプリケーションソフトがインストールされている。このアプリケーションソフトの動作について、以下に簡単に説明する。ここでは、カメラ３１を、ＵＳＢケーブル３２を介してノートパソコン３３に接続した場合について述べる。

まず、カメラ３１内の記録部１１９に記録されている複数の画像データの中から合成用画像データを識別し、合成用画像データをノートパソコン３３（メモリ）内に取り込む。合成用画像データのすべてがノートパソコン３３に転送された場合には、カメラ３１の記録部１１９に記録されている合成用画像データが削除される。

次に、複数の合成用画像データの中から基準画像データを特定するとともに、上述した第２の判別処理によって画像合成に適した画像データを特定する。そして、第２の判別処理で特定された画像データ（基準画像データ以外の画像データ）に対して座標変換処理を行い、座標変換処理された画像データと、基準画像データとを合成する。

次に、合成画像データに対してガンマ補正処理等を行い、その後、画像の重ならない領域をカットして、画像サイズが小さくなった分だけ拡大補間処理を行う。そして、拡大補間処理を経た合成画像データは、必要に応じてＪＰＥＧ方式等による圧縮処理が施された後、メモリに記憶される。メモリに記憶された合成画像データは、ＵＳＢケーブル３２を介してカメラ３１内の記録部１１９に送信することができる。

上述した動作について、図８を用いて具体的に説明する。

図８に示すように記録部１１９内に作成されたフォルダ３５内には、画像合成の不要な画像データを格納する通常画像フォルダ３６と、第１の判別処理によって特定された合成用画像データを格納する合成用画像フォルダ３７とが作成されている。

通常画像フォルダ３６には、画像データ３９、３１０、３１１ａ、３１２、３１３ａ、３１４が撮影順に格納されている。ここで、画像合成処理に用いられる複数の画像データのうち１つの画像データ、すなわち、１回目の撮像動作によって得られた画像データ３１１ａが、通常画像フォルダ３６内に格納されている。また、画像データ３１２のファイル番号は、１つ前の画像データ３１１ａのファイル番号に対して連番となっておらず、ファイル番号００４に対応する画像データが格納されていない。

画像データ３１３ａは、画像合成処理に用いられる複数の画像データのうちの１つの画像データ（１回目の撮像動作によって得られた画像データ）である。そして、画像データ３１３ａと、１つ後の画像データ３１４のファイル番号は連番となっておらず、ファイル番号０００７に対応する画像データが格納されていない。

合成用画像フォルダ３７には、画像合成処理に用いられるすべての画像データ、すなわち、第１の判別処理で特定された画像合成処理に適した画像データが格納されている。ここで、画像データ３１１ａ〜３１１ｅは、１回目の防振モードでの撮影動作によって生成された画像データであり、画像データ３１３ａ〜３１３ｄは、２回目の防振モードでの撮影動作によって生成された画像データである。

本実施例のカメラ３１においては、実施例１、２と同様に、複数回の撮像動作によって生成された画像データのうち特定の画像データにおけるコントラスト又は、すべての画像データにおけるコントラストの平均値を用いて、画像合成処理に適さない画像データを特定する。そして、この画像データは記録部１１９に記録されない。

このように画像合成処理に適さない画像データを記録部１１９に記録しないことにより、無駄な画像データが記録されることを無くし、記録部１１９での記録容量を確保できるとともに、画像データの記録に要する時間を短縮できる。

カメラ３１は、合成用画像フォルダ３７をノートパソコン３３に転送する。ノートパソコン３３では、画像データ３１１ａ〜３１１ｅを用いて１つの合成画像データを生成するとともに、画像データ３１３ａ〜３１３ｄを用いて１つの合成画像データを生成する。ここで、合成画像データを生成する際には、基準画像を特定し、この基準画像に対して画像合成処理に適さない画像については画像合成処理に用いていない。

上述した画像合成処理によって生成された２つの合成画像データは、ノートパソコン３３からカメラ３１に送信され、記録部１１９内に設けられた通常画像フォルダ３６に撮影の順で格納される。ここで、ノートパソコン３３のメモリには、合成画像データが記憶されない。

通常画像フォルダ３６内には、予め格納されている画像データに加えて、合成画像データ３１５、３１６が格納されている。各合成画像データ３１５、３１６は、この合成画像データに対応した合成用画像データ３１１ａ、３１３ａの次に位置するように格納される。合成画像データ３１５のファイル番号は「００４」となり、合成画像データ３１６のファイル番号は「００７」となる。

ここで、合成画像データと、この合成画像データに対応した１つの合成用画像データとを通常画像フォルダ３６内に格納しておくことにより、撮影者は合成画像データおよび合成用画像データを比較できる。なお、合成画像データおよび合成用画像データのうち少なくとも一方が不要であれば、削除してもよい。

次に、本実施例の撮像装置における撮影動作について図９に示すフローチャートを用いて説明する。図９のフローチャートは、図５のフローチャートにおけるステップＳ１０１０からＳ１０１４までの各処理が省略されており、代わりにステップＳ３００１の処理が設けられている。図９において、図５に示す各ステップでの処理と同じ処理については、同一符号を付している。以下、主に図５に示す動作と異なる点について説明する。

ステップＳ１００７では、撮像動作によって得られた画像データのうち、基準画像（例えば、１回目の撮像動作によって得られた画像データ）でのコントラストに近い（差が所定値以下の）コントラストを持つ画像データだけを画像記憶部１１３に記憶する。ここで、実施例２で説明したようにすべての画像データを画像記憶部１１３に記憶し、これらの画像データのうち画像合成に適した画像データだけを記録部１１９に記録するようにしてもよい。

ステップＳ３００１では、防振モードにおける複数回の撮像動作のうち１回目の撮像動作によって得られた画像データであるか否かを判別し、最初の画像データである場合にはステップＳ１０１５に進み、そうでない場合にはステップＳ１０１５、Ｓ１０１６をスキップしてステップＳ１０１７に進む。

２回目以降の撮像動作によって得られた画像データは、外部機器において画像合成処理等が行われるためにステップＳ１０１５等の処理が行われず、ステップＳ１０１７で記録部１１９に記録される。

最初の画像データは、ステップＳ１０１５の処理が行われた後に、ステップＳ１０１６で表示部１１８に表示されるとともに、ステップＳ１０１７で記録部１１９に記録される。ここで、最初の画像データを表示部１１８に表示させることで、撮影者は構図等の確認を行うことができる。また、最初の画像データを記録部１１９に記録させることで、合成画像データと比較することができる。

最初の画像データは、図８に示す通常画像フォルダ３６に格納され、この画像データは図８における画像データ３１１ａ、３１３ａに相当する。また、最初の画像データは、合成用画像フォルダにも格納される。

本実施例において、最初の画像データについては、ステップＳ１０１５、Ｓ１０１６の処理を行ってから記録部１１９に記録されるものと、ステップＳ１０１５、Ｓ１０１６の処理が行われずに記録部１１９に記録されるものがある。

複数回の撮像動作によって得られた画像データを記録部１１９に記録する場合において、これらの画像データは、図８に示す合成用画像フォルダ３７内に格納される。

図１０は、ノートパソコン３３内（図７参照）での画像処理を示すフローチャートである。この処理は、ノートパソコン３３に接続されたデジタルカメラ３１の記録部１１９内に、又はデジタルカメラ３１で用いられ、ノートパソコン３３に接続された記録媒体内に合成用画像フォルダ３７が存在することを、ノートパソコン３３が認識したときにスタートする。

ステップＳ３００２では、記録部１１９（又は記録媒体）内の合成用画像フォルダ３７をノートパソコン３３のメモリに移動させる。このとき、記録部１１９内の合成用画像フォルダ３７は削除される。

なお、防振モードでの複数回の撮像動作によって複数の画像データを生成する場合には、自動的に合成用画像フォルダが記録部１１９内に再度作成される。また、記録部１１９内の合成用画像フォルダ３７をノートパソコン３３のメモリに移動させるのではなく、合成用画像フォルダ３７をコピーしてメモリに記憶してもよい。

ステップＳ３００３では、ノートパソコン３３のメモリに記憶された合成用画像フォルダ３７から複数の画像データを順次読み出す。以下に説明するステップＳ３００４からステップＳ３０１０までの処理は、画像間のズレを補正（座標変換）した状態で複数の画像データを合成して適正露出の合成画像データを生成する処理である。

ステップＳ３００４では、各画像データにおける特徴点を抽出し、この特徴点の撮影画面内における位置座標を特定する。なお、各画像の全領域を複数の領域に分割し、対応する各領域での動きベクトルを求め、これらの動きベクトルの中で最も頻度の高い動きベクトルを画像のズレ量として特定することもできる。

ステップＳ３００５では、複数の画像データのなかでファイル番号が最も小さい画像データを基準画像データとして選択する。例えば、複数回の撮像動作のうち１回目の撮像動作によって得られた画像データが存在する場合には、この画像データが基準画像データとなる。

また、ステップＳ３００５では、合成用画像データを選択し、選択された合成用画像データに対して座標変換を行う。具体的には、各合成用画像データの基準画像データに対するずれ量に基づいて、各合成用画像データに対する座標変換処理を行う。

ステップＳ３００６では、座標変換された合成用画像データと、基準画像データとを合成する。複数の画像データを合成して画像全体のゲインをアップさせる場合において、十分な数の合成用画像データがあれば、画像合成処理の過程で画像全体の信号レベルを圧縮処理することにより、相対的に各画像データのノイズを低減させることができる。これにより、Ｓ／Ｎ比の良好な合成画像データを得ることができ、結果的にノイズを抑えて露出を適正化させることができる。また、ノイズを減少させた合成画像データに対して、必要に応じてゲインアップを行うことで露出の更なる適正化を図ることもできる。

例えば、合成画像データを生成するために、５つの合成用画像データが必要である場合において、画像合成に適した画像データが４つしか存在しない場合には、合成画像データに対して５／４倍のゲインアップを行うことで、露出を補正することができる。

ステップＳ３００７では、防振モードでの１回の撮影動作によって得られた複数の画像データ（例えば、図８に示す画像データ３１１ａ〜３１１ｅ）に対してステップＳ３００３からステップＳ３００６までの処理が行われたか否かを判別する。ここで、すべての画像データに対する処理が完了した場合には、ステップＳ３００８に進む。

ステップＳ３００８では、最終的に生成された合成画像データに対してガンマ補正等の処理を行うとともに、各画像の重ならない領域をカットし、画像サイズが小さくなった分だけ拡大補間処理等の二次元画素平面での処理を行う。また、必要に応じてデジタルデータ量の削減のために、ＪＰＥＧ方式等に基づく圧縮処理を行う。

ステップＳ３００９では、ステップＳ３００８で生成された合成画像データを、メモリに設けられた通常画像フォルダ３６（図８参照）内に格納する。

ステップＳ３０１０では、ノートパソコン３３のメモリに保存したすべての画像データに対してステップＳ３００３〜Ｓ３００９までの処理が完了したか否かを判別する。例えば、図８に示すように合成用画像フォルダ３７内に、合成用画像データ３１１ａ〜３１１ｅと合成用画像データ３１３ａ〜３１３ｄが保存されている場合において、合成用画像データ３１１ａ〜３１１ｅに対してのみ画像合成処理が完了している場合には、残りの合成用画像データ３１３ａ〜３１３ｄに対して合成画像処理を行うために、ステップＳ３００３に戻る。また、合成用画像データ３１１ａ〜３１１ｅ、３１３ａ〜３１３ｄに対して画像合成処理が完了している場合には、ステップＳ３０１１に進む。

ステップＳ３０１１では、合成用画像フォルダ３７内に格納されたすべての合成用画像データに対して画像合成処理が完了したことを示す表示を行う。また、この表示処理と同時にノートパソコン３３のメモリに保存したすべての合成用画像データを消去する。

本実施例ではデジタルカメラ３１およびノートパソコン３３を用いた場合について説明したが、ノートパソコン３３に限らず、デスクトップタイプのパソコンや、パソコンでなくても専用のストレージや専用の画像処理装置を用いて本実施例と同様の処理を行うこともできる。

本実施例においても、上述した実施例と同様の効果を得ることができる。すなわち、画像合成に不適切な画像データを排除して画像合成を行うことにより、合成画像の画質を向上させることができる。

上述した実施例では、デジタルカメラを用いた場合について説明したが、監視カメラやＷｅｂカメラなどにも適用できる。また、電子的に画像の振れを補正する構成であるため、小型の携帯電子機器（例えば、携帯電話）にも適用できる。

上述した各実施例における動作は、プログラムに基づいてコンピュータに実行させることができる。そして、このプログラムは、コンピュータにより読取り可能な記録媒体に記憶させておくことができる。この記録媒体としては、ハードディスク、ＣＤ−Ｒ、ＣＤ−ＲＯＭ、フレキシブルディスク、ＤＶＤディスク、光ディスク、光磁気ディスク、磁気テープ、不揮発性のメモリカード、ＩＣカード、ＲＯＭ、ＲＡＭなどがある。

また、コンピュータが記憶媒体から読み出したプログラムコードを実行することにより、上述した実施例の動作が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳなどによって実施例の動作の一部または全部を実行させることができる。

実施例１であるカメラの構成を示す図。 複数の画像の合成方法を説明する図。 合成画像において、各合成用画像が重ならない領域を説明する図。 実施例１において、合成用画像の選択方法を説明する図。 実施例１であるカメラの撮影動作を示すフローチャート。 実施例２であるカメラの撮影動作を示すフローチャート。 本発明の実施例３である、カメラ及びパソコンを用いた場合の説明図。 実施例３において、画像合成処理前のファイル状態を示す図。 実施例３におけるカメラの撮影動作を示すフローチャート。 実施例３におけるパソコンでの画像処理を示すフローチャート。

符号の説明

１８：撮影制御部
１８ａ：低コントラスト判別部
１１１：信号処理部
１１１ａ：画像処理部
１１１ｂ：コントラスト検出部
１１４：ズレ検出部
１１５：座標変換部
１１５ａ：シフト部
１１５ｂ：基準画像設定部
１１５ｃ：加算画像合否判定部
１１６：画像合成部

Claims (9)

1. 複数の画像に対して画像合成を行うことにより露出補正された合成画像を生成する場合において、複数回の撮像動作によって得られた複数の画像のうち、少なくとも前記画像のコントラストに関する情報を含む画像に関する情報に基づいて前記画像合成に用いられる画像を選択する選択部と、
   前記選択部によって選択された画像が、前記画像合成に必要な画像の枚数に対して不足する場合には、前記選択部によって選択された画像のゲインを不足する枚数分アップするゲイン調整手段とを有し、
   前記選択部は、前記複数の画像のうち基準画像及び他の画像の前記コントラストの差が所定値以上の場合には、該他の画像については前記画像合成に用いないことを特徴とする画像処理装置。
2. 前記選択部は、前記複数の画像におけるコントラストの平均値に対して、所定値以上の差のコントラストを有する画像については、前記画像合成に用いないことを特徴とする請求項１に記載の画像処理装置。
3. 前記画像に関する情報は、前記画像のコントラストのほかに、色情報、画像取得時の合焦情報および画像間の変位情報のうち少なくとも１つを含むことを特徴とする請求項１に記載の画像処理装置。
4. 前記選択部は、前記複数の画像のうち基準画像に対して所定値以上の変位量を持つ他の画像については、前記画像合成に用いないことを特徴とする請求項３に記載の画像処理装置。
5. 前記選択部は、前記基準画像として、他の画像との変位量が最も小さくなるような画像を用いることを特徴とする請求項４に記載の画像処理装置。
6. 前記画像処理装置は、撮像動作を行う撮像部を含む撮像装置であることを特徴とする請求項１から５のいずれか１つに記載の画像処理装置。
7. 前記撮像部は、前記画像合成に必要な画像の数よりも多い画像を撮像動作によって取得することを特徴とする請求項６に記載の画像処理装置。
8. 複数の画像に対して画像合成を行うことにより露出補正された合成画像を生成する場合において、複数回の撮像動作によって得られた複数の画像のうち、少なくとも前記画像のコントラストに関する情報を含む画像に関する情報に基づいて前記画像合成に用いられる画像を選択する選択工程と、
   選択された画像が、前記画像合成に必要な画像の枚数に対して不足する場合には、前記選択された画像のゲインを不足する枚数分アップするゲイン調整工程とを有し、
   前記複数の画像のうち基準画像及び他の画像の前記コントラストの差が所定値以上の場合には、該他の画像については前記画像合成に用いないことを特徴とする画像処理方法。
9. 画像処理をコンピュータに実行させるプログラムであって、
   前記画像処理は、
   複数の画像に対して画像合成を行うことにより露出補正された合成画像を生成する場合において、複数回の撮像動作によって得られた複数の画像のうち、少なくとも前記画像のコントラストに関する情報を含む画像に関する情報に基づいて前記画像合成に用いられる画像を選択し、
   選択された画像が、前記画像合成に必要な画像の枚数に対して不足する場合には、前記選択された画像のゲインを不足する枚数分アップし、
   前記複数の画像のうち基準画像及び他の画像の前記コントラストの差が所定値以上の場合には、該他の画像については前記画像合成に用いないことを特徴とするプログラム。
   

Images