JP2006173774A - 撮像装置及び撮像装置の画像表示方法 - Google Patents

Abstract

【課題】複数枚の画像を合成して１枚の適正露出の画像を得るために、アンダーの露出で撮影される画像であっても、適切に表示をおこなう。
【解決手段】合成を行うための複数枚の画像を記憶する記憶手段と、その複数枚の画像の中の一の画像を記憶手段から読み出し、該一の画像より露出を補正した表示用の画像を形成する表示画像形成手段と、その表示用の画像を表示する画像表示手段とを備えた構成とする。
【選択図】 図１

Description

本発明は、手振れを補正することで品質の良好な画像を撮像可能な例えばデジタルカメラなどの撮像装置及び撮像装置の画像表示方法に関するものである。

現在のカメラは、露出設定やピント合わせ等の撮影にとって重要な作業は自動化され、カメラ操作に未熟な人でも撮影失敗を起こす可能性は非常に少なくなっている。

また、近年においては、撮影時の手振れを防ぐシステムも検討されている。例えば、撮影者の手振れ状態をカメラ内で検出し、レンズをその振れに同期させて動かすことにより、長秒時の露光を行なっても手振れの小さい画像を得ることができるシステムが知られている。

また、特許文献１には手振れを起こさない程度の速いシャッタースピードで露出不足の画像を複数枚撮影し、これらを合成することで適正露出の画像を得る手法が開示されている。

ところで、近年販売されているデジタルカメラのほとんどは、撮影された画像を撮影するたびにカメラ背面に設けられた液晶表示部に表示したり、撮影した複数枚の画像を再生する際に撮影者が再生画像を選択できるように、小さな画像にして液晶表示部に複数枚並べて表示している。

特開２０００−３４１５７７号公報

しかしながら、上述の複数枚の画像を合成することにより適正露出の画像を得るデジタルカメラには以下のような問題点がある。即ち、手振れの影響を小さくするために速いシャッタースピードで露出不足の画像を連続して複数枚撮影し、これらを合成することで一枚の適正な露出の画像に仕上げる場合、各画像の位置座標を割り出し、振れ検出手段で求めた振れ量を用いて合成するので、結果として合成された画像を液晶表示部に表示されるまでに時間を要する。そのため、撮影が中断し次のシーンの撮影でシャッターチャンスを逸することがある。

一方、合成される前の各々の画像は露出不足の画像であるので、これをそのまま表示すると撮影者には構図もわからないような暗い画像が何枚も表示されることになる。

本発明はこのような事情に基づいてなされたものであり、その目的は、複数枚の画像を合成することにより一枚の適正露出の画像を得るために、連続して露出不足の画像を複数枚撮影するデジタルカメラなどの撮像装置において、撮影動作を妨げず、かつ、撮影した画像を良好に表示することのできる撮像装置及び撮像装置の画像表示方法を提供することにある。

本発明の撮像装置は、一つの観点として、複数枚の画像を合成して１枚の適正露出の画像を得るために、被写体の輝度に対して適正露出が得られる第１の露出時間よりも短い第２の露出時間で前記複数枚の画像の各々を撮影する撮像装置であって、前記複数枚の画像を記憶する記憶手段と、前記複数枚の画像の中の一の画像を前記記憶手段から読み出し、該一の画像より露出を補正した表示用の画像を形成する表示画像形成手段と、前記表示用の画像を表示する画像表示手段とを備えたことを特徴とする。

本発明の撮像装置の画像表示方法は、複数枚の画像を合成して１枚の適正露出の画像を得るために、被写体の輝度に対して適正露出が得られる第１の露出時間よりも短い第２の露出時間で前記複数枚の画像の各々を撮影する撮像装置の画像表示方法であって、前記複数枚の画像の中の一の画像を記憶手段より読み出す読み出しステップと、前記一の画像より露出を補正した表示用の画像を形成する形成ステップと、前記表示用の画像を表示する表示ステップとを含むことを特徴とする。

また、本発明に係わるプログラムは、上記の撮像装置の画像表示方法をコンピュータに実行させることを特徴とする。

本発明によれば、複数枚の画像を合成することにより一枚の適正露出の画像を得るために、連続して露出不足の画像を複数枚撮影するデジタルカメラなどの撮像装置において、撮影された合成前の複数の画像データの中から一の画像データを読み出し、露出を補正して表示用の画像を形成して表示部に表示する構成とすることにより、撮影者は撮像した画像の構図を確認することができると共に、次のシャッターチャンスを逃すことなく撮影を良好に行うことができる。

本発明に係る撮像装置をデジタルカメラに適用した実施の形態について、添付図面を参照しながら詳しく説明する。

図１は、本発明の実施形態によるデジタルカメラの構成を示すブロック図である。図中１１は、当該デジタルカメラに着脱自在に設けられた光学系の一部を構成するレンズであり、このレンズ１１を介して入射した光線（撮影光）は開閉自在なシャッタ１２を通過し、さらに絞り１３により光量が調整された後に、例えばＣＭＯＳやＣＣＤなどの半導体撮像素子からなる撮像手段としての撮像素子１５に結像される。

前記レンズ１１は、ピント調整用のＡＦ駆動モータ１４により光軸１０上を移動可能であり、さらに当該ＡＦ駆動モータ１４は焦点駆動手段１９により駆動量が制御され、これにより焦点調節可能なように構成されている。なお、図示は省略するが、レンズ１１は複数のレンズを組み合せたレンズユニットとして構成され、互いに隣り合うレンズ同士の間隔をＡＦ駆動モータ１４により変えることで焦点調整が行なわれる。また絞り１３は絞り駆動手段１７によりその絞り径が制御され、またシャッタ１２はシャッタ駆動手段１８により開閉動作が制御され、これらの協働作用により撮像素子１５に入射する光線を制御している。

より詳しくは、焦点駆動手段１９、絞り駆動手段１７、シャッタ駆動手段１８は撮影制御手段１１１によりその動作が制御されており、当該撮影制御手段１１１は後述する信号処理手段２１１に入力された撮像素子１５からの画像信号を用いて測光を行い、その結果に基づいて絞り１３の絞り径及びシャッタ１２の開き時間の設定値を夫々決めており、さらに焦点駆動手段１９との協働作用により最適なピント（ジャストピント）の点（設定値）を求めている。

また撮像素子１５から出力される画像信号は、Ａ／Ｄ変換器１１０によりデジタル信号に変換され、信号処理手段としての信号処理回路２１１に入力される。この信号処理回路２１１では、入力された画像信号から輝度信号や色信号を形成するなどの所定の信号処理を行ってカラーの画像信号が形成される。そして形成された画像信号は、例えばデジタルカメラの外装体背面に設けられた画像表示手段としての液晶表示部２１２に表示されると共に、記憶手段（画像記憶手段）としての記録メモリ２１３に記録されて格納される。その後、撮影者が記録メモリ２１３に記録された画像を見る場合には、例えばカメラ操作部である操作手段２１４で所定のスイッチ操作を行うことにより、記録メモリ２１３から画像が読み出されて液晶表示部２１２に表示される。このとき、操作手段２１４で表示モードを切り替えることにより、画像を１枚表示させる場合と、公知のデジタルカメラのようにサムネイルを表示することで複数の画像を一度に表示させる場合とを選択可能なように構成されている。以上説明した動作は、防振を必要としないような明るさの被写体を撮影する場合（説明の便宜上、「通常撮影モード」と呼ぶものとする）の一連の動作を説明したものである。

一方、被写体が暗く露光秒時が長くなるために手振れの恐れがある場合には、撮影者が操作手段２１４により防振システムをオン（作動状態）にして撮影（説明の便宜上、「防振撮影モード」と呼ぶものとする）を行うことにより以下の動作が行なわれる。

まず、撮影者が撮影準備のために、通常撮影モードの撮影と同様にカメラのレリーズボタン（図示せず）を半押しにしてオートフォーカスによるピント合わせや測光を行うと、このときの測光値に基づいて適正露出の画像を得るためのシャッタ速度（露光時間）及び絞り値が決められる。そして、ユーザが手振れを起こしにくいシャッタ速度で露光時間を分割した時に何枚（何回）撮影したらよいかを算出して、一枚一枚を撮影する時のシャッタ速度と絞り値を最終的に決定する。このとき、結果として一枚一枚の画像はアンダー（露出不足）に撮影されることになる。

そして、撮影者によるレリーズボタンの全押しを受けて、算出された撮影枚数だけ被写体を連続して撮影して画像の取得を繰り返すように撮影制御手段１１１により制御する。このように露光時間を分割すると、１枚あたりの露光時間が短いので各々の画像は露出不足の画像となるが、その反面これらの画像は手振れの影響が少ない。つまり、露光時間が短い分において露光最中におけるカメラの手振れの影響を小さくして画像を取得することができる。そしてこれら複数の画像を撮影終了後に合成して1枚の画像にすることにより、得られた画像（合成画像）は分割カットの露出時間が合計されて適正露出の画像となる。

しかしながら、露光時間を短くすることで1枚毎の手振れの影響は小さくできても、これら複数の画像を連続撮影している間の手振れ、つまり各画像間でのカメラの振れにより各画像毎の構図は微妙にズレ（揺れ）が生じていることがある。そのためこれら画像をそのまま合成すると、合成された画像は各画像の構図の揺れ分だけぶれた画像になってしまう。

そこで、防振撮影モードにおいては、撮影された複数の画像は、各撮影毎にＡ／Ｄ変換器１１０によりデジタル信号に変換され、信号処理回路２１１にてカラーの画像信号にされた後、画像記憶手段としての記録メモリ２１３に記録しておき、その後において操作者が任意のタイミングで操作手段２１４による合成開始の操作したとき、例えば合成開始スイッチをオンにしたときに以下の合成処理動作が開始される。

なお、通常撮影モードでの画像と説明の便宜上区別するため、露出時間を分割して得た画像を「分割画像」、合成して得た画像を「合成画像」と適宜使い分けるものとする。

即ち、まず揺れ検出手段としての揺れ検出回路２１５は、記録メモリ２１３に記憶されている複数の分割画像を読み出し、次いで各画像間の共通の特徴点を抽出し、この特徴点の画像面内における位置座標を割り出す。一例を挙げると、例えば画像内に被写体の背景として建物などの静止物が写っている場合、この建物の窓のエッジ部などを特徴点に定め、画像面内における当該特徴点の位置座標を求める。そして割り出した各分割画像間の各々の特徴点の位置座標に基づいて、揺れ補正手段としての座標変換回路２１６は各分割画像毎の特徴点の座標が揃うように各画像の座標変換を行う。こうして得た座標変換がなされた各分割画像は画像記憶メモリ２１７に順次記憶しておき、１シーンにおける全ての分割画像の座標変換が行なわれると、画像合成回路２１８がメモリから読み出して画像合成を行なう。そして合成されて得た画像は、液晶表示部２１２に送られて表示されると共に、例えば半導体メモリなどのカメラに対して着脱可能な記録媒体２２０に記録される。

上述の構成によれば、撮影後の任意の時間において合成処理を行い、その後に画像を液晶表示部２１２に表示させているが、撮影者においては、撮影直後に撮影画像を見て構図等を確認したいという要求がある。また、上述の構成においては、画像合成回路２１８をデジタルカメラ内に具備するものであるが、画像合成処理は処理に時間を要するものであるので、必ずしもカメラ内で合成処理を行うことが好ましいとは言えない。そこで、デジタルカメラ内には画像合成回路２１８を具備させず、合成処理はＰＣなどの他の処理装置において行うように構成することも可能である。このような場合において、デジタルカメラは以下のように画像の表示を行う。

図２（Ａ）は、通常撮影モード時に、アンダーで撮影したときの画像を表示した状態を表す模式図である。図中３０１は液晶表示部２１２の表示枠であり、また３０２は撮影された画像を表している。一回の撮影で一枚の画像が生成される、通常撮影モードにおける撮影では、そのまま一枚の画像が表示枠３０１内に大きく表示される。なお、図中網掛けは、アンダー状態を表している。

一方、図２（Ｂ）は、防振撮影モードによって、４枚の分割画像を撮影した場合の表示状態を、模式的に表した図である。防振撮影モードにおいては、それぞれの撮影画像はアンダーであるので、そのまま表示をしてしまうと図２（Ａ）のような画像になり、撮影者は構図等を確認することが困難である。そこで、４枚の分割画像は３０６に示すように、表示枠３０１の下方に並べて表示し、同時に、最初の１枚目（３０６で示される４枚の画像のうち、左端に表示されている画像と同じ画像）のみを、露出補正回路２１９により露出を補正を施して表示画像を生成し、３０５に示すように大きい画像として表示する。具体的には、露出補正回路２１９は、最初の１枚目の画像のトーンカーブを変更することにより、輝度やコントラストを増幅して表示画像を生成する。したがって、３０５の表示画像は１枚目の画像のみを調整することにより生成されるので、画像ノイズも増幅され、結果としては粗い画像になることが多い。しかし、撮影者にとっては、防振撮影モード時においても、撮影直後に判別可能な撮影画像を見ることができるので、構図の確認等ができるといったメリットを享受することができる。なお、表示に際しては、３０７に示すように、現在表示されている画像が防振撮影モードによって撮影された画像であることを表すアイコンを合わせて表示しても良い。また、露出補正を行う画像は、必ずしも１枚目である必要はなく、例えば、２枚目の画像が比較的画像ノイズが少ないと判断されれば、これを露出補正をして表示しても良い。

以上の説明は液晶表示部２１２に１枚の大きな画像を表示する例を説明したが、続いて記録メモリ２１３に記録された画像のサムネイルを表示する場合の動作について図３を参照しながら説明する。サムネイル表示は、撮影した複数の画像を同時に表示する表示形式である。図３（Ａ）は、通常撮影モードで撮影が行われた画像のサムネイル表示を模式的に示したものである。図中４０１は、カメラの液晶表示部２１２の表示枠であり、この枠内に各々の撮影画像がサムネイルで表示される。したがって、アンダーで撮影したときの画像は、４０３のようにそのままアンダーの状態で表示される。一方、図３（Ｂ）は、通常撮影モードの途中で防振撮影モードに切り替えて撮影した画像を含むサムネイル表示を模式的に示したものである。ここで、防振撮影モードによる撮影は、４枚の分割画像を撮影したものとする。図中４０６は、撮影した４枚の分割画像を、更に縮小して並べて表示したものである。このとき、表示される分割画像の各々はアンダー画像である。この縮小表示された分割画像と同時に、分割画像の１枚目のみを、露出補正回路２１９により露出を補正を施して表示画像を生成し、４０５に示すように他のサムネイルと同じ大きさで表示する。具体的には、露出補正回路２１９は、最初の１枚目の画像のトーンカーブを変更することにより、輝度やコントラストを増幅して表示画像を生成する。したがって、４０５の表示画像は１枚目の画像のみを調整することにより生成されるので、画像ノイズも増幅され、結果としては粗い画像になることが多い。しかし、表示される画像は複数の画像を同時に表示する程度の大きさであるので、それほど目立つものではなく、撮影者にとっては、どのような画像を撮影したかを簡易に確認することができるといったメリットを享受することができる。なお、表示に際しては、４０７に示すように、現在表示されている画像が防振撮影モードによって撮影された画像であることを表すアイコンを合わせて表示しても良い。

続いて、撮影から図２（Ｂ）で表す表示状態で撮影画像を表示するまでに亘る動作フローについて図４を参照しながら説明する。この動作フローは、撮影者が操作手段２１４を操作することで防振撮影モードを選択したときに開始され（ステップＳ１００１）、まず撮影者がレリーズボタンを半押し（ＳＷ１）して撮影準備動作を行うまで、このステップを循環して待機状態となる（ステップＳ１００２）。撮影者によりレリーズボタンが半押し（ＳＷ１）されると、撮像素子１５が被写体からの光線を結像し、さらに信号処理回路２１１でその画像のコントラストを検出しながら撮影制御手段１１１によりＡＦ駆動モータ１４を駆動してレンズ１１を繰り出し、そして最もコントラストが高かった位置でレンズ１１の繰り出しを停止してピント合わせ（オートフォーカス）を行う。さらに、これと同時に撮像素子１５の出力信号により被写体の明るさを求める（ステップＳ１００３）。

続いて、ステップＳ１００３で求めた被写体の明るさから撮影する分割画像の枚数を求める（ステップＳ１００４）。一例を挙げておくと、例えば被写体の明るさを測光し、それを適正に露光するには例えば絞り１３は全開（例えばｆ２．８）、シャッタ１２は露光時間１／８秒が必要だとすると、このとき撮影焦点距離が３５ｍｍフィルム換算で３０ｍｍである場合には、露光時間１／８秒だと手振れの恐れがあるので、手振れの恐れがない露光時間１／３２秒に設定し、つまり露光時間を４分割して４回の分割画像の撮影を行うように制御する。このようにして撮影枚数が決められると、カメラのファインダや液晶表示部２１２に撮影枚数を表示して撮影者に知らせる（ステップＳ１００５）。

ここで、撮影者がレリーズボタンを全押し（ＳＷ２）するまで待機状態となる。尚、この待機中にレリーズボタンの半押し（ＳＷ１）を解除する動作が行われたときには、この動作フローはスタート（ステップＳ１００１）に戻される。その後、撮影者がレリーズボタンを全押し（ＳＷ２）して撮影の指示が出されると、まず１枚目（１カット目）の撮影を開始し（ステップＳ１００７）、記憶メモリ２１３に記憶する（ステップＳ１００８）。

そして、撮影して保存した分割画像の枚数が所定枚数に達するまでステップＳ１００７からステップＳ１００８までの動作が繰り返し行われる（ステップＳ１００９）。

しかる後、所定枚数の全ての分割画像が記憶されると、例えば１枚目（１カット目）の分割画像の露出補正を上述のように行い（ステップＳ１０１０）、その露出補正された分割画像を液晶表示部２１２に図２（Ａ）の態様で表示する（ステップＳ１０１１）。そして、次の撮影を受け付けるべくスタートへ戻る（ステップＳ１０１２）。

なお、上記フローによれば、分割画像の全てを撮影し終わった後に、一枚目の画像を読み出して、表示用の画像を形成しているが、例えば、一枚目の撮影が終わったら、全ての分割画像の撮影が終わる前であっても、直ちに記憶手段からその画像を読み出し、露出補正の処理を行うようにしてもよい。このように構成すれば、撮影と露出補正の処理が並行して行われることになるので、デジタルカメラの処理としては重くなるが、より早く液晶表示部に露出補正した画像を表示することが可能である。

次に撮影した複数の画像を合成して１枚の画像を形成する動作フローについて図５を参照しながら説明する。この動作フローは、撮影者が操作手段２１４を操作することで記録メモリ２１３に記録した画像を再生させたときに開始され（ステップＳ２００１）、そして撮影者が操作手段２１４によりカメラの再生モードをオンにすると（ステップＳ２００２）、記録メモリ２１３から撮影済みの画像のサムネイルが図３（Ｂ）の態様で液晶表示部２１２に表示される（ステップＳ２００３）。

ここで、撮影者が操作手段２１４によりこの中から防振撮影モードで撮影した画像を選択して（ステップＳ２００４）、合成開始ボタンをオンとすると（ステップＳ２００５）、まず１枚目の画像を読み出し、揺れ検出手段２１５が画像の周辺領域の中から特徴的な像を特徴点として抽出し、その像の位置座標を割り出す（ステップＳ２００６）。次いで座標変換回路２１６により画像の座標変換が行われるが、最初の画像（１枚目の画像）のみ座標変換は行わずそのまま画像記憶メモリ２１７に記憶する（ステップ２００８）。１シーンにおける全ての分割画像の座標変換処理が終了するまでは特徴点抽出、座標変換、画像記憶を繰り返し行う（ステップＳ２００９）。このようにステップＳ２００６からステップＳ２００８までの動作を繰り返すことで２枚目以降の画像に関してはステップ２００６で特徴点の座標を求めたあと、１枚目の特徴点の座標に２枚目以降の特徴点の座標が重なるように座標変換を行い、２枚目以降の画像の構図はすべて１枚目の構図に揃うようになる。

しかる後、全ての分割画像の座標変換処理が終了すると、画像合成処理が行われる（ステップＳ２０１０）。この画像合成の具体的な手法は特に限定されることはなく、一般の合成処理を採用することができるが、一例を挙げておくと例えば各分割画像上の同一座標点の輝度および色情報を加算することで行う。この場合、各々の分割画像に存在する画像内のランダムノイズは加算平均することで減少させられる。こうして画像が合成されると、各画像端部の構図ブレにより重ならなかった領域をカットして元のフレームの大きさになるように画像を拡散補間してから（ステップＳ２０１１）、液晶表示部２１２に表示すると共に、当該合成画像を記録媒体２２０に記録してから（ステップＳ２０１３）、スタートに戻る。ここで、合成された画像を表示する場合は、図２（Ａ）のように、通常撮影モードにおける表示形態であっても良いし、図２（Ｂ）のように、防振撮影モードにおける表示形態であっても良い。なお、撮影された分割画像の各々には、互いに関連を有する画像である旨の情報がタグ情報として記録されるものとする。

また、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、撮像装置に供給し、その撮像装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになる。

本発明の実施形態に係るデジタルカメラの構成を示すブロック図である。 上記デジタルカメラの液晶表示部に表示される画像の模式図である。 上記デジタルカメラの液晶表示部に表示される画像の模式図である。 上記液晶表示部に画像を表示する手順を示すフローチャートである。 上記デジタルカメラによる画像合成の手順を示すフローチャートである。

符号の説明

１０ 光軸
１１ レンズ
１２ シャッタ
１３ 絞り
１４ ＡＦ駆動モータ
１５ 撮像素子
２１２ 液晶表示部

Claims (9)

1. 複数枚の画像を合成して１枚の適正露出の画像を得るために、被写体の輝度に対して適正露出が得られる第１の露出時間よりも短い第２の露出時間で前記複数枚の画像の各々を撮影する撮像装置であって、
   前記複数枚の画像を記憶する記憶手段と、
   前記複数枚の画像の中の一の画像を前記記憶手段から読み出し、該一の画像より露出を補正した表示用の画像を形成する表示画像形成手段と、
   前記表示用の画像を表示する画像表示手段とを備えたことを特徴とする撮像装置。
2. 前記一の画像は、前記複数枚の画像のうち最先に撮影された画像であることを特徴とする請求項１に記載の撮像装置。
3. 前記表示画像形成手段は、前記複数枚の画像の撮影後であって、前記合成の前に前記表示用の画像を形成することを特徴とする請求項１に記載の撮像装置。
4. 前記表示画像形成手段は、前記複数枚の画像の撮影が完了する前に、前記一の画像を前記記憶手段から読み出し、前記表示用の画像の形成を開始することを特徴とする請求項１に記載の撮像装置。
5. 前記表示画像形成手段は、前記一の画像を構成する各画素の輝度を増幅することにより、露出を補正することを特徴とする請求項１に記載の撮像装置。
6. 前記画像表示手段は、前記表示用の画像と共に、前記表示用の画像よりは小さく前記複数枚の画像を表示することを特徴とする請求項１に記載の撮像装置。
7. 前記画像表示手段は、前記表示用の画像と共に、該表示用の画像が前記一の画像より形成されたものであることを示すアイコンを表示することを特徴とする請求項１に記載の撮像装置。
8. 複数枚の画像を合成して１枚の適正露出の画像を得るために、被写体の輝度に対して適正露出が得られる第１の露出時間よりも短い第２の露出時間で前記複数枚の画像の各々を撮影する撮像装置の画像表示方法であって、
   前記複数枚の画像の中の一の画像を記憶手段より読み出す読み出しステップと、
   前記一の画像より露出を補正した表示用の画像を形成する形成ステップと、
   前記表示用の画像を表示する表示ステップとを含むことを特徴とする撮像装置の画像表示方法。
9. 請求項８に記載の撮像装置の画像表示方法をコンピュータに実行させることを特徴とするプログラム。

Images