JP2006295708A - 撮像装置及びその制御方法 - Google Patents

Abstract

【課題】露出アンダーで撮影された個々の画像によらずに最適なホワイトバランス制御値を求める。
【解決手段】被写体の輝度に対して適正露出が得られる第１の露出時間が手ブレを起こすと予想される露出時間である場合に、画像合成により１枚の適正露出の画像を得るための複数の画像を、第１の露出時間よりも短く、手ブレを起こさないと予想される第２の露出時間で撮影する合成撮影モードを有する撮像装置であって、被写体の光学像を電気信号として取り込む撮像手段と、前記撮影手段により取り込んだ電気信号から表示用画像を生成し、逐次表示する表示手段と、前記合成撮影モードで撮影される前記複数枚の画像又はそれらを合成して得られる合成画像に適用するためのホワイトバランス制御値を、前記合成撮影モードによる撮影前に前記表示手段に逐次表示された画像を用いて算出する算出手段とを有する。
【選択図】 図１

Description

本発明は、露出アンダーで撮影した複数枚の画像を合成することにより１枚の適正露出の画像を得る手ブレ補正技術に関するものである。

現在のカメラでは、露出の決定や焦点合わせ等の重要な撮影条件を設定する作業は全て自動化され、カメラ操作が未熟な撮影者でも失敗撮影を起こす可能性は非常に少なくなっている。

また、最近では、カメラに加わる手ブレを防ぐシステムも研究されており、撮影者の撮影ミスを誘発する要因も減少している。

ここで、手ブレを防ぐ光学防振システムについて簡単に説明する。

撮影時のカメラの手ブレは、周波数として通常１Ｈｚないし１０Ｈｚの振動であるが、露光時点においてこのような手ブレを起こしていても画像ブレの無い写真を撮影可能とするための基本的な考えとして、手ブレによるカメラの振動を検出し、この検出結果に応じて補正レンズを光軸直交面内で変位させなければならない（光学防振システム）。

すなわち、カメラブレが生じても画像ブレが生じない写真を撮影するためには、第１にカメラの振動を正確に検出し、第２に手ブレによる光軸変化を補正することが必要となる。

画像ブレの補正は、原理的には、加速度計、振動ジャイロ、レーザージャイロ等により加速度、角加速度、角速度、角変位等を検出し、この検出結果に対して適宜演算処理する振動検出手段をカメラに搭載することによって行うことができる。そして、振動検出手段からのカメラのブレ検出情報に基づき、撮影光軸を偏心させる補正レンズを駆動する手段（補正光学手段）により画像ブレ補正が行われる。

一方、手ブレが生じない程度の短い露光時間で複数回撮影を繰り返し、これらの撮影により得られた複数の露出アンダーの画像を、画像のズレを修正しながら合成することにより１枚の適正露出の画像（合成画像）を得る技術が提案されている（例えば、特許文献１参照）。以下、このような防振技術を電子防振システムという。

また、撮像手段と被写体像との相対的位置をずらして、各相対的位置で順次撮像を行うことにより得られた複数枚の画像を合成するにあたって、１枚目の撮影時点で条件を固定して、その条件を保持して２枚目以降の撮影を行う技術が、例えば、特許文献２に開示されている。
特開平９−２６１５２６号公報 特開平９−１９１４３９号公報

最近のデジタルカメラは、小型化が進み、１００万画素以上の撮像素子を持つデジタルカメラが携帯型電子機器（例えば、携帯電話機）に内蔵されている。

上述した光学防振システムをこのような小型デジタルカメラに搭載しようとすると、補正レンズやその駆動のための機構をさらに小型化する必要がある。

しかし、補正レンズを支持し、これを手ブレに合わせて高精度且つ大きなストロークで駆動していく必要がある光学防振システムの小型化には限度がある。

一方、特許文献１に示すような電子防振システムは、光学防振システムでは必要な補正レンズやその駆動機構が不要であるため、小型化に適している。

しかしながら、適正露出の合成画像を得るのに必要な複数枚の画像を撮影する際、各々の画像は露出アンダーの状態で撮影されるため、このような画像から合成画像に用いるホワイトバランス値を決定すると、適正露出の合成画像に対する適切なホワイトバランス値が得られないという問題がある。

本発明は、上記課題に鑑みてなされ、被写体の輝度に対して適正露出が得られる第１の露出時間が手ブレを起こすと予想される露出時間である場合に、画像合成により１枚の適正露出の画像を得るための複数の画像を、第１の露出時間よりも短く、手ブレを起こさないと予想される第２の露出時間で撮影する合成撮影モードを有する撮像装置において、合成撮影モードにより撮影された画像から合成された画像に対して適切なホワイトバランス値を決定することができる技術の提供を目的としている。

上記課題を解決し、目的を達成するために、本発明の撮像装置は、被写体の輝度に対して適正露出が得られる第１の露出時間が手ブレを起こすと予想される露出時間である場合に、画像合成により１枚の適正露出の画像を得るための複数の画像を、第１の露出時間よりも短く、手ブレを起こさないと予想される第２の露出時間で撮影する合成撮影モードを有する撮像装置であって、被写体の光学像を電気信号として取り込む撮像手段と、前記撮影手段により取り込んだ電気信号から表示用画像を生成し、逐次表示する表示手段と、前記合成撮影モードで撮影される前記複数枚の画像又はそれらを合成して得られる合成画像に適用するためのホワイトバランス制御値を、前記合成撮影モードによる撮影前に前記表示手段に逐次表示された画像を用いて算出する算出手段とを有する。

本発明の撮像装置の制御方法は、被写体の輝度に対して適正露出が得られる第１の露出時間が手ブレを起こすと予想される露出時間である場合に、画像合成により１枚の適正露出の画像を得るための複数の画像を、第１の露出時間よりも短く、手ブレを起こさないと予想される第２の露出時間で撮影する合成撮影モードを有する撮像装置の制御方法であって、被写体の光学像を電気信号として取り込む撮像工程と、前記撮影工程により取り込んだ電気信号から表示用画像を生成し、逐次表示する表示工程と、前記合成撮影モードで撮影される前記複数枚の画像又はそれらを合成して得られる合成画像に適用するためのホワイトバランス制御値を、前記合成撮影モードによる撮影前に前記表示工程で逐次表示された画像を用いて算出する算出工程とを有する。

本発明によれば、合成撮影モードにより撮影された画像から合成された画像に対して適切なホワイトバランス値を決定することができる。

以下に、添付図面を参照して本発明を実施するための最良の形態について詳細に説明する。

尚、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。

［第１の実施形態］
図１は、本発明の実施形態に係る撮像装置の一例としてのデジタルスチルカメラの構成例を示すブロック図である。

撮影レンズ１１ａからの入射光束（撮影光）は、絞り１３ａで光量制限されたのちに、シャッタ１２ａを通り撮像部１９に結像する。

撮像部１９は、被写体の光学像を光電変換して電荷を蓄積するＣＣＤやＣＭＯＳ等の半導体素子からなる。撮像素子の受光面に配列される各画素には例えば赤（Ｒ）、緑（Ｇ）、青（Ｂ）のいずれかのカラーフィルターが付されており、各画素が受光する光の波長帯域を制限している。撮像部１９は撮像素子駆動部１９ｂからの駆動信号を受けることで電荷の蓄積及びリセットを行なう。

撮影レンズ１１ａは複数の光学レンズ群により構成され、これらのレンズ群のうち一部又は全部がＡＦ駆動モータ１４ａからの駆動力を受けて光軸１０上を移動し、所定の合焦位置に停止することで焦点調節を行う。

ＡＦ駆動モータ１４ａは焦点駆動部１４ｂからの駆動信号を受けることで所定のレンズを駆動する。

また、本実施形態において撮影レンズ１１ａはズームレンズであり、一部の光学レンズ群は、ズーム駆動モータ１５ａからの駆動力を受けて光軸１０上を移動し、所定のズーム位置に停止することで撮影画角を変更する。ズーム駆動モータ１５ａは、ズーム駆動部１５ｂからの駆動信号を受けることでレンズを駆動する。

絞り１３ａは、複数の絞り羽根を有しており、これらの絞り羽根は、絞り駆動部１３ｂからの駆動力を受けて光通過口となる開口面積（絞り口径）を変化させる。

シャッタ１２ａは、複数のシャッタ羽根を有しており、これらのシャッタ羽根は、シャッタ駆動部１２ｂからの駆動力を受けることで光通過口となる開口部を開閉する。これにより、撮像部１９に入射する光束（露光量）を制御する。

また、撮影時の条件（被写体輝度等）や撮影モードなどに応じてストロボ１６ａは閃光駆動部１６ｂからの駆動信号を受けて駆動（発光）する。

さらに、撮影動作を撮影者に知らせるためにスピーカー１７ａが発音駆動部１７ｂからの駆動信号を受けて駆動（発音）する。

焦点駆動部１４ｂ、ズーム駆動部１５ｂ、絞り駆動部１３ｂ、シャッタ駆動部１２ｂ、閃光駆動部１６ｂ、発音駆動部１７ｂ、撮像駆動部１９ｂの各駆動は、撮影制御部１８により制御されている。

撮影制御部１８には、レリーズ操作部１２ｃ、絞り操作部１３ｃ、ズーム操作部１５ｃ、閃光操作部１６ｃ及び後述する防振操作部１２０からの操作信号が入力されるようになっており、カメラの撮影状態に合わせて上記操作信号を各々焦点駆動部１４ｂ、ズーム駆動部１５ｂ、絞り駆動部１３ｂ、シャッタ駆動部１２ｂ、閃光駆動部１６ｂに与えて撮影条件を設定し、撮影を行うようにしている。

なお、絞り１３ａの開口径やストロボ１６ａの発光要否は、オート撮影モード時にはカメラ側で自動的に設定するために、絞り操作部１３ｃおよび閃光駆動部１６ｂは不要であるが、撮影者が任意に撮影条件を設定するマニュアル撮影モード時のために設けられる。

撮影制御部１８は、信号処理部１１１に入力された画像信号に基づいて被写体の明るさ（測光値）を測定し、この測光値に基づいて絞り１３ａの絞り口径とシャッタ１２ａの閉じタイミング（露光時間）を定めている。また、この測光値は、後述するように、電子防振システム使用モード（画像合成モード）時かつ、後述する電子ビューファインダ（ＥＶＦ）のオフ時においてホワイトバランス制御値を求める際に用いられる。

また、撮影制御部１８は、焦点駆動部１４ｂを駆動させながら信号処理部１１１からの出力に基づいて撮影レンズ１１の合焦位置を求めている。

撮像部１９から出力される電気信号は、アナログ処理部９０において、ゲイン補正やクランプ処理等のノイズの低減や信号レベルの調整が行われた後、Ａ／Ｄ変換部１１０によりデジタル信号に変換されて信号処理部１１１に出力される。

信号処理部１１１は、通常撮影モードの場合やＥＶＦモードの場合には、Ａ／Ｄ変換部１１０から入力されたデジタル信号に対して適正な輝度信号や色信号を形成する信号処理（ホワイトバランス処理等）を行ってカラー画像信号を形成する。

また、信号処理部１１１は、画像合成モードの場合には、画像合成モードでの撮影直前（合焦時）にＥＶＦに表示されていた画像からホワイトバランス制御値を求めて記憶する。また、画像合成を撮像装置において行う場合には、画像合成部１１６から供給される合成後の画像に対して、記憶されているホワイトバランス制御値を用いてホワイトバランス処理を行う。さらに、画像合成モードで撮影された個々の画像を合成前にＪＰＥＧ圧縮する場合にも、現像処理におけるホワイトバランス処理にこの記憶されているホワイトバランス制御値を用いる。

なお、信号処理部１１１は、Ａ／Ｄ変換部１１０でデジタル信号に変換された画像データに対し、色補間などの信号処理を施さないＲＡＷ画像データとして、メモリ制御部１２１に出力することも可能である。特に画像合成モードの場合には、個々のＲＡＷ画像データを予めＥＶＦ画像から求めたホワイトバランス制御値と関連付けて記録部１１９へ書き込みできるよう、ＲＡＷ画像データとともにホワイトバランス制御値をメモリ制御部１２１へ出力する。記録部１１９に書き込んだＲＡＷ画像データ及び対応するホワイトバランス制御値は、例えば再生モードにおいて読み出し、撮像装置での画像合成及びホワイトバランス処理に用いることが可能である。また、画像合成やホワイトバランス処理機能を有するアプリケーションが稼働する外部装置、たとえばＰＣを用いて処理することも可能である。

信号処理部１１１から出力される画像データは、信号切替部１１２を介して画像補正部１１７に入力される。信号切替部１１２では、画像データがそのまま表示に供することのできるもの、すなわち通常撮影モードで撮影された画像データ（ＥＶＦモードで撮影される個々の画像データを含む）や、画像合成モードで撮影された画像から生成された合成画像データは画像補正部１１７に出力する。一方、画像合成モードで撮影された個々の画像は画像記憶部１１３に出力するように切り替える。これらの切り替えは、メモリ制御部１２１により記録部１１９から読み出された画像データに対しても同様に行われる。

画像補正部１１７は、通常撮影モードにて撮影された画像或いは画像合成モードによる合成画像に対して、最適なガンマ特性によって最適なコントラスト特性を与え、色調整やシャープネス処理等を行うことで、表示部１１８で表示するのに最適な特性の画像データに変換する。

メモリ制御部１２１は、上記画像補正部１１７でガンマ補正処理等が施された画像データに対してＪＰＥＧファイルへの圧縮変換処理を行って記録部１１９に格納する。また、信号処理部１１１からのＲＡＷ画像データとホワイトバランス制御値を関連付けて記録部１１９に格納する。さらに、記録部１１９に格納された画像ファイルを読み出して信号切り替え部１１２、表示制御部１２２や外部Ｉ／Ｆ部１２３に出力したりする。

表示制御部１２２は、後述する切替スイッチ１１８ａにおいてＥＶＦモードが設定されている場合には、メモリ制御部１２１を介して受け取った表示用画像を液晶パネル等の表示部１１８に逐次表示することにより、表示部１１８をＥＶＦ（Electric View Finder）として機能させる。また、再生モードにおいて、記録部１１９から読み出された画像を表示する。

切替スイッチ１１８ａは、表示部１１８を動作させることに伴う電力消費を抑えるため、表示部１１８を電子ビューファインダとして用いるＥＶＦモードと、ＥＶＦ表示を行わない非表示モードの切り替えをユーザに可能にするために設けられている。

外部Ｉ／Ｆ（インターフェース）部１２３は、ＵＳＢ（Universal Serial Bus）やＩＥＥＥ１３９４（Institute of Electrical and Electronics Engineers 1394）等の規格に準拠した通信を行うためのインタフェースである。コネクタ１２４を介してＰＣやプリンタ等の外部機器が接続される。外部Ｉ／Ｆ部１２３を通じ、記録部１１９に記録された画像データやホワイトバランス制御値を外部機器に出力したり、反対に外部機器が保有する画像データ等を入力したりすることができる。

記録部１１９はコンパクトフラッシュ（登録商標）等に代表される、着脱可能なメモリーカードとそのリーダライタである。

＜ホワイトバランス処理＞
ここで、信号処理部１１１によるホワイトバランス（以下、ＷＢと略称する。）処理（オートホワイトバランス処理）について説明する。

図２は図１の信号処理部１１１におけるＷＢ処理に係る構成例を示すブロック図である。

ＷＢ処理は、被写体中の白い部分を白くする処理、すなわち画像信号中の光の３原色赤（Ｒ）、緑（Ｇ）、青（Ｂ）のレベルを白の被写体について同一にする処理である。

具体的には、図２において、Ａ／Ｄ変換部１１０でデジタル信号に変換された画像データは、色度座標変換部２１０に送られる。色度座標変換部２１０は、画像データのうち、図３に示されるように、隣接したＲ、Ｇ１、Ｇ２、Ｂの組み合わせで、Ｒ：Ｂ及び（Ｒ＋Ｂ）：（Ｇ１＋Ｇ２）を求めて、図４に示すような二次元座標上にプロットし、無彩色部分検出部２１１は、黒体輻射軌跡３０２の近傍の座標範囲３０１の枠内に位置したＲ、Ｇ１、Ｇ２、Ｂの組み合わせを無彩色の領域として判定する。

そして、ＷＢゲイン算出部２１２は、判定された組み合わせの信号を各色成分毎に順次積分して各色成分の積分値SumR、SumG1、SumG2、SumBを求め、SumR：SumG1：SumG2：SumBの比がＧ成分を基準として、１：１：１：１になるようなホワイトバランス制御値（以下、ＷＢ値と略称する。）WbR、WbG1、WbG2、WbBを次式から求める。
WbR =（SumG1＋SumG2）／（2×SumR ）
WbG1=（SumG1＋SumG2）／（2×SumG1）
WbG2=（SumG1＋SumG2）／（2×SumG2）
WbB =（SumG1＋SumG2）／（2×SumB ）
ＷＢ処理部２１３では、ＷＢゲイン算出部２１２において求められたＷＢ値をこの画像での最適な光源の色温度に対する制御値であると決定して、全画像データのうち、Ｒフィルタの画素信号に対してWbRを、Ｇ１フィルタの画素信号に対してWbG1を、Ｇ２フィルタの画素信号に対してWbG2を、Ｂフィルタの画素信号に対してWbBをそれぞれ乗算することでＷＢ処理を行う。

切替器２１４はＲＡＷ画像データとともにＷＢ値を記録する場合にＷＢ値をメモリ制御部１２１へ出力し、それ以外の場合にはＷＢ値をＷＢ処理部２１３へ供給するために設けられる。

信号処理部１１１は、合成撮影モードにおいては、本撮影直前に撮影した、ＥＶＦを実現するための表示用画像又は、合焦制御及び測光処理用に取り込んだ画像に対して求めたＷＢ値WbR、WbG1、WbG2、WbBを、例えばＷＢ処理部２１３に記憶する。

このＷＢ値の記憶は、例えば撮影制御部１８からの記憶指示によって行っても良いし、シャッターが半押しされ、合焦した時点での画像に対するＷＢ値を自動的に記憶するようにしても良い。本実施形態ではＥＶＦモードがオンの場合は前者、ＥＶＦモードがオフの場合は後者であるものとする。

そして、複数の露出アンダーの撮影画像（ＪＰＥＧ圧縮する場合）又は合成画像（デジタルカメラで合成を行う場合）に対しては、撮影画像からＷＢ値を求めずに、記憶されているＷＢ値を用いて上記ＷＢ処理を実行する。

＜ＥＶＦモード＞
次に、表示部１１８を電子ビューファインダ（ＥＶＦ）として用いる場合（ＥＶＦモード）の動作について、図５に示すフローチャートを用いて説明する。

図５において、ステップＳ１０１では、表示制御部１２２は、切替スイッチ１１８ａがオンされているか、すなわちＥＶＦモードに設定されているか判断し、ＥＶＦモード設定時にはＳ１０２に進む。また、ＥＶＦモードに設定されていないならば本処理は行わない。

ステップＳ１０２で、撮影制御部１８は、メカニカルシャッタ１２ａを開放すると共に、例えば固定速度（例えば１／３０秒）で電子シャッタを作動させる。

ステップＳ１０３で、撮影制御部１８は、撮像部１９から画像信号を取り込む。

ステップＳ１０４で、撮影制御部１８は、撮像部１９から取り込んだアナログ信号に対して、アナログ処理部９０において色ごとのゲイン補正及びクランプ処理等を施す。

ステップＳ１０５では、アナログ処理が施された画像信号をＡ／Ｄ変換部１１０によりデジタル信号に変換して画像データを生成し、信号処理部１１１に出力する。

ステップＳ１０６では、デジタル信号に変換された画像データに対して、信号処理部１１１にて上述したＷＢ処理を含む信号処理を施す。

ステップＳ１０７，Ｓ１０８では、ＷＢ処理等が施された画像に対して、画像補正部１１７においてガンマ補正処理等がなされた後、表示制御部１２２により表示部１１８に画像を表示させる。

なお、ＥＶＦモードでは以上の処理を繰り返し行うが、処理中に撮影制御部１８からＷＢ値の記憶指示があった場合、信号処理部１１１はその時点での最新のＷＢ値を記憶する。

＜撮影時処理＞
次に、本実施形態におけるデジタルカメラの撮影時処理について説明する。

本実施形態では、画像合成モードで撮影される露出アンダーの複数の画像をＪＰＥＧ画像として保存する。この場合、ＪＰＥＧ圧縮符号化前にカラー画像を生成する必要があるため、信号処理部１１１で個々の画像に対するＷＢ処理を行う際に、撮影前に算出して記憶したＷＢ値を用いる。

図６は本実施形態のデジタルカメラの撮影時処理を説明するフローチャートであり、このフローはカメラの電源がオンになったときにスタートする。

ステップＳ２０１では、撮影者がレリーズボタンを半押ししたことを示すｓｗ１がオンとなるまで待機し、ｓｗ１がオンされると撮影準備動作を行うためにステップＳ２０２に進む。

ステップＳ２０２では、撮影準備動作として、撮像部１９が被写体を撮像し、信号処理部１１１でその画像のコントラストを検出しながら撮影制御部１８によりＡＦモータ１４ａを駆動してレンズ１１を繰り出し、最もコントラストが高かった位置でレンズ１１の繰り出しを停止することで焦点合わせを行うと同時に、撮像部１９で取り込まれた画像信号から被写体の明るさ（測光値）を検出する。また、ＥＶＦモードがオフの場合には、この処理を行う過程で取り込んだ画像を用い、上述した方法でＷＢ値を算出して記憶しておく。

ステップＳ２０３では、撮影制御部１８は、防振操作部１２０がオンされた状態か、すなわち防振システムがオンされた画像合成モードか、それ以外の通常撮影モードかを判断し、画像合成モードならばステップＳ２０４に進み、通常撮影モードならばステップＳ２２０に進む。

＜画像合成モードでの撮影処理＞
まず、ここでは画像合成モードでの撮影処理について説明する。

ステップＳ２０４で、撮影制御部１８は、画像合成モードで撮影される複数の露出アンダー画像の各々又は合成後の画像に用いるホワイトバランス制御値（ＷＢ値）を、以下に説明する処理に従って決定する。

すなわち、ＥＶＦモードがオンの場合には、信号処理部１１１に対し、ＥＶＦ画像生成時に算出した最新のＷＢ値を記憶するように指示し、ここで記憶されたＷＢ値を後の処理で用いる。一方、ＥＶＦモードがオフの場合には、既にステップＳ２０２において記憶されているＷＢ値を用いる。

ステップＳ２０５ではステップＳ２０２で求めた被写体の明るさ等の撮影条件から撮影する枚数と各々の露光時間を求める。

ここでの撮影条件とは、
・被写体の明るさ（測光値）
・撮影光学系の焦点距離
・撮影光学系の明るさ（絞りの値）
・撮像素子の感度
の４点である。

例えば、撮影光学系の焦点距離が３５ｍｍフィルム換算で３０ｍｍ（ｆ＝３０ｍｍ）、撮像素子の感度がＩＳＯ２００、測光値から得られる適正露出の絞りとシャッタースピードとがそれぞれ開放（例えばＦ２．８）、１／１５秒であったとする。

一般に、手ぶれを防ぐには撮像光学系の焦点距離分の１より早いシャッタースピードで撮影するのがよいとされている。従って、手ぶれを防止しながらこの被写体を撮影するには１／３０より早いシャッタースピードで撮影することが望まれる。

このような場合、４枚の画像から１枚の合成画像を得るようにすることで、１／６０秒のシャッタースピードで撮影することが可能になる。

ただし、合成に不適な画像が撮影される可能性があるので、ここでは２枚多く計６枚を撮影するようにしている。

同条件でｆ＝１０５ｍｍとなった場合には、１／１５０秒のシャッタースピードで１０枚の画像を撮影することで、適正露出の合成画像１枚を得ることができる。なお、撮影枚数が多くなるほど合成に不適な画像も多くなることが予想されるため、５枚余計に撮影するなど、撮影枚数をより多く設定する。

以上のように、複数枚撮影を行う時の露光時間を撮影条件に合わせて決定し、更に何枚撮影するかも撮影条件に合わせて設定する。

以上の演算が終了した後に、カメラのファインダ等に画像合成モード（防振システムオン）が設定されたことを表示すると同時に求めた撮影枚数を表示し撮影者に知らせる。

ステップＳ２０６ではレリーズボタンが全押しされたことを示すｓｗ２がオンとなるまで、ステップＳ２０１からステップＳ２０６を循環して待機する。

ステップＳ２０７では１枚目の撮影を開始する。先ず、撮像部１９において電荷のリセットを行い、再蓄積を開始させる。

次に、ステップＳ２０５で求めた露光時間シャッター１２ａを開放し、その後シャッタを閉じて電荷の転送を行う。また、同時に撮影開始の発音を発音駆動部１７ｂを介してスピーカー１７ａで発音する。この音は例えばピッ！と云う電子音でも良いし、フィルムカメラ等におけるシャッタの開き音、ミラーアップの音でも良い。

ステップＳ２２３で、各撮影画像に対し、信号処理部１１１でカラー画像生成のための各種信号処理（所謂現像処理）を適用する。この処理にはホワイトバランス処理も組まれており、ここでのホワイトバランス処理にはステップＳ２０４で設定されたＷＢ値を用いる。

カラー画像化された撮影画像は、ステップＳ２０８で一旦画像記憶部１１３に記憶される。なお、この際、本実施形態では、合成に不適な撮影画像を検出して削除する。具体的には、撮影者が構図や焦点を良く観察して撮影した画像であると考えられる１枚目の撮影画像を基準画像とし、基準画像と大きく異なる画像、例えばコントラストが著しく低い画像については画像記憶部１１３から削除する。

ステップＳ２０９ではステップＳ２０５で決定した撮影枚数全ての撮影が完了したかどうか判定し、撮影が残っていればステップＳ２０７、Ｓ２０８を繰り返し実行する。

そして撮影が完了するとステップＳ２１０に進む。

ステップ２１０では撮影完了の発音を発音駆動部１７ｂを介してスピーカー１７ａで発音する。

この音は例えばピッピッ！と云う電子音でも良いし、フィルムカメラ等におけるシャッタの閉じ音、ミラーダウン音やフィルム巻き上げ音でも良い。

このように複数枚撮影する場合においてもその動作を表す発音は１セット（最初の撮影の露光開始から最後の撮影の露光完了までに１回）なので、撮影者に複数枚撮影の違和感を与えることはない。

ステップＳ２２６では、直ちに合成処理を行うか、どうかを例えば設定値を判別することによって判定する。

直ちに合成を行わない場合、画像記憶部１１３に記憶した画像はメモリ制御部１２１へ出力され、ＪＰＥＧ符号化を代表とする圧縮符号化が施される。そして、これら複数の画像が合成用の元画像であることが判別できるように記録部１９で記録を行う。例えば、画像ファイルのヘッダ情報の拡張エリアなどに、合成のための画像であることを示す情報及び他の合成元画像を特定可能な情報（例えばファイル名）を含めて記録する。

なお、本実施形態では合成元画像に対して既にホワイトバランス処理が行われているため、記録部１１９には画像データのみを書き込み、ホワイトバランス制御値は記録しない。

記録が終わったらスタートへ戻る（ステップＳ２２９）。

一方、撮影終了後直ちに合成処理を行う設定となっている場合には、ステップＳ２１１〜Ｓ２１６の画像合成処理を行う。

ステップＳ２１１ではズレ検出部１１４が、画像記憶部１１３に記憶された画像内における特徴点を抽出し、参照画像（１枚目）における特徴点の位置座標と、他の画像における特徴点の座標のずれを割り出す。このずれは１枚目の画像に対する２枚目以降の画像の相対的なズレを意味する。

ステップＳ２１２では座標変換部１１５が各画像の座標変換を行うが、それに先立って合成の基準になる画像の選択と、それに対して合成に適した画像を選ぶ。

ここでは、画像記憶部１１３に記憶された各画像を順次仮の基準画像と決めて、その場合における残りの画像の移動量総和が最も小さくなる組み合わせの時の基準画像を真の基準画像とすると共に、真の基準画像に対して大きくずれている（例えば画面の辺の２０％以上ずれている）画像は合成に用いず、残りの画像を合成に用いる画像とする。

ステップＳ２１３では全画像の座標変換が終了し、基準画像が求まるまでステップＳ２１１、Ｓ２１２を循環して待機し、全ての画像の座標変換が完了するとステップＳ２１４に進む。

ステップＳ２１４では画像合成部１１６により画像の合成及びゲインアップを行う。

ここで画像の合成は各画像の対応する座標の信号を加算平均することで行い、画像内のランダムノイズは加算平均することで減少させられる。すなわち、画像合成モードでは、露出アンダーの画像を意図的に撮影するため、ノイズの影響を受け易くなるが、加算平均することによりランダムノイズを削減することが可能である。

すなわち、デジタル画像の場合には、１枚の露出不足の画像でもゲインアップすることで露出の補正が可能であるが、ゲインを高くするとノイズが多くなって見苦しい画像になってしまう。しかしながら、本実施形態のように複数枚の画像を合成して画像全体のゲインをアップさせる場合には、各画像のノイズが平均化されるためにＳ／Ｎ比の大きい画像を得ることができ、結果的にノイズを抑えて露出を適正化することができる。

換言すると、画像合成モードは、ノイズを許容して撮像部を高感度にして複数枚撮影し、これらを加算平均することで画像に含まれるランダムノイズを減少させるモードとも考えられる。

そして、合成後の、ランダムノイズが低減された画像に対して、ゲインアップを行う。このゲインアップを行うに際して、例えば４枚合成予定であったのに、合成に適した画像が３枚しかない場合にはその分の露出不足もゲインアップして補うようにしている。

ステップＳ２１５では、合成された画像の端部の様に各画像が構図ブレにより重ならなかった領域をカットし、元のフレームの大きさになるように画像を拡散補間する。

ステップＳ２１６では画像補正部１１７により合成画像に対してガンマ補正、色調整、シャープネス処理等の画像補正処理を行う。

そして、ステップＳ２１７でこの画像を表示制御部１２２を通じて表示部１１８に表示する。

また、表示と並行してステップＳ２２７以降の処理を行い、上述したＪＰＥＧ形式での記録処理を行う。

なお、通常のデジタルカメラでは撮影後に画像を表示部１１８に表示するクイックレビュー機能を有するが、本実施形態のように複数枚の画像を合成して適正露出の画像を得る場合には、合成画像を作成してから表示するまでに時間を要する場合がある。

そこで、本実施形態の表示制御部１２２は、画像合成モードで、かつ合成を直ちに行う場合には、合成画像が出来上がるまで合成元画像、例えば１枚目の画像をゲインアップして表示する。なお、露出アンダーの画像をゲインアップして表示するとノイズが目立つようになるが、表示部１１８の画素数は撮影画素数よりも少ないため、実際にはノイズが気になることはない。そして、合成画像が出来上がったら、合成画像を表示する。

＜通常撮影モード時の動作＞
次に、ステップＳ２０３で防振システムがオフされている場合（通常撮影モード）の撮影時動作について説明する。

この通常撮影モードでは、ステップＳ２０３からステップＳ２２０に処理が進む。

ステップＳ２２０では、撮影制御部１８は、ステップＳ２０５で説明した露光時間の算出を行い、手ブレによる画像劣化が発生する可能性が高い撮影条件であるか否かを判断する。

撮影条件は前述したように被写体の明るさ、レンズの明るさ、撮像感度、撮影焦点距離であり、被写体の明るさ、レンズの明るさ、撮像感度に基づいて露光時間を求め、その露光時間が現状の撮影焦点距離においては手ブレによる画像劣化の可能性があるか否かを判断する。

そして手ぶれが発生する可能性が高いと破断される場合には、ステップＳ２２１でカメラのファインダや表示部１１８に防振システムをオンすることを推奨する表示を行う。

ステップＳ２２２ではレリーズボタンの全押しがなされたかどうかを判定し、ｓｗ２がオンとなるまでステップＳ２０１からステップＳ２２２を循環して待機する。

ｓｗ２がオンとなり撮影の指示がなされると、ステップＳ２２４では通常の撮影処理を行う。この過程で行われるホワイトバランス処理は、撮影画像に基づいて上述した方法により求めたＷＢ値を用いて行う。信号処理部１１１でカラー画像が生成されると、ステップＳ２１６に進み、画像補正部１１７での補正処理を行う。以後、ステップＳ２１７以降の処理を上述の通り行う。

なお、図６には記載していないが、通常撮影モードにおいても撮影開始から完了の動作に合わせて撮影動作音をスピーカー１７ａより発音している。

即ち、画像合成モードにおいても通常撮影モードにおいても同じ様式の撮影動作音を発音しており、その動作音の長さ（撮影開始音から撮影完了音迄の長さ）の違いにより長秒時露光か否かを撮影者が認識できる程度であり、複数枚の撮影を行っているか否かは撮影者には分からないようになっている。

そのために画像合成モードにおいても特別な撮影を行っているという認識を撮影者に与えることがなく、使い勝手がよい。

このフローで分かるように防振システムをオフしている場合においても手ブレによる画像劣化が生ずる撮影条件の時には撮影者に防振システムの活用（画像合成モード）を促す表示を行って画像劣化を未然に防いでおり、更に画像合成モードにおいても各々の露光時間は焦点距離により変更するのでいかなる焦点距離においても望ましい撮影ができるようにしている。

以上のように、本実施形態においては、露出アンダーで撮影した複数枚の画像を合成するにあたって、露出アンダーの撮影画像でＷＢ値を決定しないで、より適正な露出条件に近い画像、例えば撮影直前にＥＶＦに表示していた画像や、測光、合焦処理時に取り込んだ画像に基づいてＷＢ値を決定するようにした。

これにより、露出アンダーで撮影した画像から求めたＷＢ値よりも良好なＷＢ値を用いて合成画像を生成することが可能となる。また、露出アンダーで撮影した個々の合成元画像からＷＢ値を求める場合には、ノイズの影響により画像毎に求まるＷＢ値にばらつきが生じ、結果として合成画像のホワイトバランスが崩れる原因となるが、本実施形態では共通したＷＢ値を用いるため、合成元画像間でのＷＢ値ばらつきがなく、ホワイトバランスの崩れを抑制することができる。

また、合成元画像であることを示す情報及び他の合成元画像を特定可能な情報を含めて画像データを記録するため、例えばＰＣなど外部装置において画像合成アプリケーションを稼働させて上述の画像合成処理を行う場合であっても、正しく画像合成を行うことが可能になる。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。

第１の実施形態では合成元画像をＪＰＥＧ形式で記録したが、第２の実施形態は、個々の合成元画像をＲＡＷ画像として記録することを特徴とする。ＲＡＷ画像生成時にはＷＢ処理を行わず、輝度リニア画像に変換し、合成画像を生成した後にＷＢ処理を行う。そのため、ＷＢ値は、合成時までＲＡＷ画像とは独立したデータとして保存される。

図７は第２の実施形態に係るデジタルカメラの撮影動作をまとめたフローチャートであり、図６と同じ処理ステップには同一のステップ番号を付して説明を省略し、異なる部分のみを説明する。

まず、ステップＳ２０６でｓｗ２がオンし、ステップＳ２０７から始まる画像合成モードでの撮影処理において、カラー画像生成処理が行われず、従ってＷＢ処理も行われない。そして、合成元画像として画像記憶部１１３に格納されるのはＲＡＷ画像データである。

そして、直ちに合成処理を行う場合、ステップＳ２１４における画像合成処理が終了した後、第１の実施形態においてステップＳ２２３で実施したのと同様のカラー画像生成処理を合成後の画像に対して適用する（ステップＳ２４０）。この処理の過程で、Ｓ２０４で決定され、記憶されたＷＢ値を用いたＷＢ処理が行われる。

また、本実施形態においても通常撮影モードではＪＰＥＧ形式での記録を行うため、ステップＳ２２７’では、通常撮影モードで撮影された画像に対してのみＪＰＥＧ圧縮処理を行う。また、ステップＳ２４１において画像記録を行う際には、画像合成モードで撮影されたＲＡＷデータのヘッダに、合成元画像であることを示す情報及び他の合成元画像を特定可能な情報に加え、画像データＳ２０４で決定され、記憶されたＷＢ値を格納して記録する。通常撮影モードで撮影された画像はＪＰＥＧ形式での記録を行う。

本実施形態においても、第１の実施形態と同様の効果が達成される。特にＲＡＷ画像データにＷＢ値を含めて記録するため、外部装置で合成処理を行う際に適切なホワイトバランス処理を行うことができる。

［他の実施形態］
なお、上述の実施形態において、記録部１１９へ画像データを記録する代わりに、あるいは記録部１１９への記録に加えて、画像データを外部装置、例えばＰＣに転送する処理を実行することが可能である。

この場合、メモリ制御部１２１が、記録部１１９へ出力するデータを外部Ｉ／Ｆ部１２３を通じ、通信可能に接続されている外部装置へ出力するようにすればよい。

外部装置では、図６のステップＳ２１１〜Ｓ２１６で説明した合成、補正処理を実行可能なアプリケーションを用いて合成画像を生成することができる。なお、この場合、画像ファイルに含まれる、合成元画像であることを示す情報及び他の合成元画像を特定可能な情報を用いて他の合成元画像を特定し、ＲＡＷ画像データの場合はさらにＷＢ値を画像ファイルから取り出して処理を行う。

また、上述の実施形態では、本発明に係る撮像装置としてデジタルスチルカメラを例に説明したが、本発明は小型にまとめることができるのでデジタルスチルカメラに限られずデジタルビデオカメラによる静止画撮影や、監視カメラ、Ｗｅｂカメラ、携帯電話等にも展開できる。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
プログラムコードを供給するための記憶媒体としては、例えば、フロッピーディスク（登録商標）、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリーカード、ＲＯＭ等を用いることが出来る。
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ(オペレーティングシステム)等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明の実施形態に係る撮像装置の一例としてのデジタルスチルカメラの構成例を示すブロック図である。 本発明に係る実施形態のＷＢ処理を行うブロック図である。 撮像素子上のカラーフィルターの位置と、色度座標を算出するときの画素の組み合わせの一例を示す図である。 色度座標上の黒体輻射軌跡と無彩色判定領域を示す図である。 本発明に係る実施形態のＥＶＦモード時の動作を示すフローチャートである。 本発明に係る第１の実施形態の通常撮影モード及び画像合成モードでの各動作を示すフローチャートである。 本発明に係る第２の実施形態の通常撮影モード及び画像合成モードでの各動作を示すフローチャートである。

符号の説明

１０ 光軸
１１ａ 撮影レンズ
１２ａ シャッタ
１２ｂ シャッタ駆動部
１２ｃ レリーズ操作部
１３ａ 絞り
１３ｂ 絞り駆動部
１３ｃ 絞り操作部
１４ａ ＡＦ駆動モータ
１４ｂ 焦点駆動部
１５ａ ズーム駆動モータ
１５ｂ ズーム駆動部
１５ｃ ズーム操作部
１６ａ ストロボ
１６ｂ 閃光駆動部
１６ｃ 閃光操作部
１７ａ スピーカー
１７ｂ 発音駆動部
１８ 撮影制御部
１９ 撮像部
１９ｂ 撮像素子駆動部
９０ アナログ処理部
１１０ Ａ／Ｄ変換部
１１１ 信号処理部
１１２ 信号切替部
１１３ 画像記憶部
１１４ ズレ検出部
１１５ 座標変換部
１１６ 画像合成部
１１７ 画像補正部
１１８ 表示部（ＥＶＦ）
１１８ａ 切替スイッチ
１１９ 記録部
１２０ 防振操作部
１２１ メモリ制御部
１２２ 表示制御部
１２３ 外部Ｉ／Ｆ部
１２４ コネクタ

Claims (9)

1. 被写体の輝度に対して適正露出が得られる第１の露出時間が手ブレを起こすと予想される露出時間である場合に、画像合成により１枚の適正露出の画像を得るための複数の画像を、第１の露出時間よりも短く、手ブレを起こさないと予想される第２の露出時間で撮影する合成撮影モードを有する撮像装置であって、
   被写体の光学像を電気信号として取り込む撮像手段と、
   前記撮影手段により取り込んだ電気信号から表示用画像を生成し、逐次表示する表示手段と、
   前記合成撮影モードで撮影される前記複数枚の画像又はそれらを合成して得られる合成画像に適用するためのホワイトバランス制御値を、前記合成撮影モードによる撮影前に前記表示手段に逐次表示された画像を用いて算出する算出手段とを有することを特徴とする撮像装置。
2. 前記合成撮影モードで撮影された複数の画像を合成して適正露出の合成画像を得る合成手段と、
   前記合成画像に対し、前記算出手段が算出したホワイトバランス制御値を用いてホワイトバランス調整処理を行うホワイトバランス処理手段とを更に有することを特徴とする請求項１記載の撮像装置。
3. 前記合成撮影モードで撮影された複数の画像の各々に対し、前記算出手段が算出したホワイトバランス制御値を用いてホワイトバランス調整処理を行うホワイトバランス処理手段と、
   前記ホワイトバランス処理後の画像を合成して適正露出の合成画像を得る合成手段を更に有することを特徴とする請求項１記載の撮像装置。
4. 前記合成撮影モードで撮影された複数の画像のデータと、前記算出手段が算出した前記ホワイトバランス制御値とを対応付けて記録する記録手段とを更に有することを特徴とする請求項１記載の撮像装置。
5. 被写体の輝度に対して適正露出が得られる第１の露出時間が手ブレを起こすと予想される露出時間である場合に、画像合成により１枚の適正露出の画像を得るための複数の画像を、第１の露出時間よりも短く、手ブレを起こさないと予想される第２の露出時間で撮影する合成撮影モードを有する撮像装置の制御方法であって、
   被写体の光学像を電気信号として取り込む撮像工程と、
   前記撮影工程により取り込んだ電気信号から表示用画像を生成し、逐次表示する表示工程と、
   前記合成撮影モードで撮影される前記複数枚の画像又はそれらを合成して得られる合成画像に適用するためのホワイトバランス制御値を、前記合成撮影モードによる撮影前に前記表示工程で逐次表示された画像を用いて算出する算出工程とを有することを特徴とする方法。
6. 前記合成撮影モードで撮影された複数の画像を合成して適正露出の合成画像を得る合成工程と、
   前記合成画像に対し、前記算出工程で算出したホワイトバランス制御値を用いてホワイトバランス調整処理を行うホワイトバランス処理工程とを更に有することを特徴とする請求項５記載の方法。
7. 前記合成撮影モードで撮影された複数の画像の各々に対し、前記算出工程で算出したホワイトバランス制御値を用いてホワイトバランス調整処理を行うホワイトバランス処理工程と、
   前記ホワイトバランス処理後の画像を合成して適正露出の合成画像を得る合成工程とを更に有することを特徴とする請求項５記載の方法。
8. 前記合成撮影モードで撮影された複数の画像のデータと、前記算出工程で算出した前記ホワイトバランス制御値とを対応付けて記録する記録工程とを更に有することを特徴とする請求項５記載の方法。
9. 請求項５乃至８のいずれか１項記載の制御方法を撮像装置のコンピュータに実行させるためのプログラム。

Images