JP2023026997A - 撮像装置、撮像方法、プログラムおよび記録媒体 - Google Patents

Abstract

【課題】 全焦点撮像において、露出が変化した場合に露出補正を行うと、色づきや飽和が出ないことが発生することがある。【解決手段】 上記課題を解決するため、本願発明は、あらかじめ露出の所定値を決定する決定手段と、ピント位置の異なる複数の画像を撮像する撮像手段と、前記撮像手段が前記複数の画像を撮像する際に、前記所定値よりも低い露出で撮像するように制御する制御手段と、前記複数の画像の少なくとも一部の画像の明るさを、前記決定手段が決定した前記所定値に基づいて補正する補正手段と、を有することを特徴とする。【選択図】 図４

Description

本発明は、複数のピント位置で画像を撮像する全焦点撮像が可能な撮像装置に関する。

従来から、全焦点撮像を行う撮像装置が知られている。全焦点撮像とは、撮像装置により合焦可能な被写体距離の全域において、合焦位置を変化させた複数の画像を撮像することである（特許文献１）。全焦点撮像で得られた複数の画像から合焦している領域のみを抽出して１枚の画像を合成して撮像領域全体に合焦している、元の画像より被写界深度の深い画像を生成する技術は深度合成という。

また、全焦点撮像では、さまざまな要因により、取得した各画像の間で明るさが変化してしまうことが知られている。たとえば、特許文献２には、全焦点撮像において実効Ｆ値が変化することにより、画像の明るさが変化してしまうことが開示されている。図７は、全焦点撮像におけるピント位置と実効Ｆ値の変化との関係の一例を説明するための図である。また、図８は、全焦点撮像におけるピント位置と輝度値の変化の関係の一例を説明するための図である。図７と図８とに示したように、全焦点撮像において画像間の明るさに差が出てしまうことがある。

その他にも、ストロボを用いた全焦点撮像や、高速シャッターを用いた全焦点撮像でも明るさの変化が生じてしまうことが知られている。

複数の画像に対して合成を行うとき、複数の画像に明るさの変化がある場合、合成された合成画像に明るさのムラが発生することがある。合成画像の明るさのムラを避けるために、合成に用いられる各画像を取得したあとに明るさを揃えるように補正することが望ましい。

特開平１０－２９０３８９号公報 特開２０２０－１０７９５６号公報

しかしながら、明るさの補正の際に暗くする方向に補正されるシーンでは、画像の高輝度部分が色づいてしまう問題、乃至は飽和が出なくなる問題が発生することがある。

図を用いて上記の課題について説明する。図１２は、ＲＡＷをＹＵＶに変換する際のガンマカーブを示す図である。横軸に示すＲＡＷの輝度値１２０１を超えた場合にＹＵＶの輝度値が上限値１２０２となる。たとえば、明るさを暗くする方向に補正する際、ＲＡＷの最大値が輝度値１２０３まで下がった場合、ＹＵＶの輝度の上限値は輝度値１２０４となり、飽和が出なくなってしまう。また、ＲＡＷの輝度値が飽和に近い部分で明るさを下げた場合、ＲＡＷの緑画素に対する赤画素乃至青画素の比率が変わってしまうことによって、高輝度部が色づいてしまう。

上述のように、明るさを暗くする方向に補正するシーンにおいては、明るさを揃えるように補正しても、全焦点画像で色づきや明るさの段差が表れてしまう課題がある。

上記課題を解決するため、本願発明は、あらかじめ露出の所定値を決定する決定手段と、ピント位置の異なる複数の画像を撮像する撮像手段と、前記撮像手段が前記複数の画像を撮像する際に、前記所定値よりも低い露出で撮像するように制御する制御手段と、前記複数の画像の少なくとも一部の画像の明るさを、前記決定手段が決定した前記所定値に基づいて補正する補正手段と、を有することを特徴とする撮像装置を提供する。

本発明の構成によれば、色づきや明るさの段差を抑えた良好な合成画像を生成することができる。

本発明の実施形態に係るデジタルカメラの構造を示すブロック図である。 本発明の第１の実施形態における合成画像の生成について説明するためのフローチャートである。 本発明の第１の実施形態における撮像について説明するためのフローチャートである。 本発明の第１の実施形態における明るさ補正について説明するためのフローチャートである。 本発明の第１の実施形態における位置合わせについて説明するためのフローチャートである。 本発明の第１の実施形態における画像の合成について説明するためのフローチャートである。 ピント位置の変更に伴う輝度値が変化するとき、絞りを駆動する場合の輝度変化を説明するための図である。 本発明の第１の実施形態における絞りを駆動する場合の輝度変化を説明するための図である。 本発明の第２の実施形態における合成画像の合成を説明するためのフローチャートである。 全焦点撮像におけるピント位置と実効Ｆ値の変化の関係の一例を説明するための図である。 全焦点撮像におけるピント位置と輝度値の変化の関係の一例を説明するための図である。 ＲＡＷをＹＵＶに変換する際のガンマカーブを示す図である。 本発明における複数の画像を撮像する際に、発光ムラまたは露光ムラによって輝度が変わることを説明するための図である。

以下では、添付の図面を参照しながら、本発明の好適な実施形態について詳細に説明する。

（第１の実施形態）
図１は本実施形態に係る画像処理装置としてのデジタルカメラの構造を示すブロック図の一例である。デジタルカメラ１００は、合焦位置を変化させながら複数の静止画を撮像することができる。

制御部１０１は、例えばＣＰＵやＭＰＵなどのシグナルプロセッサであり、予め後述するＲＯＭ１０５に内蔵されたプログラムを読み出しながら、デジタルカメラ１００の各部分を制御する。たとえば、後述するように、制御部１０１が、後述する撮像部１０４に対して撮像の開始と終了について指令を出す。または、後述する画像処理部１０７に対して、ＲＯＭ１０５に内蔵されたプログラムに基づいて、画像処理の指令を出す。ユーザによる指令は、後述する操作部１１０によってデジタルカメラ１００に入力され、制御部１０１を通して、デジタルカメラ１００の各部分に達する。

駆動部１０２は、モーターなどによって構成され、制御部１０１の指令の下で、後述する光学系１０３を機械的に動作させる。たとえば、制御部１０１の指令に基づいて、駆動部１０２が光学系１０３に含まれるフォーカスレンズの位置を移動させ、光学系１０３の焦点距離を調整する。

光学系１０３は、ズームレンズ、フォーカスレンズ、および絞りなどにより構成される。絞りは、透過する光量を調整する機構である。レンズの位置を変えることによって、合焦位置を変えることができる。

撮像部１０４は、光電変換素子であり、入射された光信号を電気信号に変換する光電変換を行うものである。たとえば、撮像部１０４に、ＣＣＤセンサやＣＭＯＳセンサなどを適用することができる。撮像部１０４は、動画撮像モードを設け、時間的に連続する複数の画像を動画の各々のフレームとして、撮像することができる。

ＲＯＭ１０５は、記録媒体としての読み出し専用の不揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶している。ＲＡＭ１０６は、書き換え可能な揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。

画像処理部１０７は、撮像部１０４から出力された画像、あるいは後述する内蔵メモリ１０９に記録されている画像信号のデータに対して、ホワイトバランス調整、色補間、フィルタリングなど、様々な画像処理を行う。また、撮像部１０４が撮像した画像信号のデータに対して、ＪＰＥＧなどの規格で、圧縮処理を行う。

画像処理部１０７は、特定の処理を行う回路を集めた集積回路（ＡＳＩＣ）で構成される。あるいは、制御部１０１がＲＯＭ１０５から読み出したプログラムに従って処理することで、制御部１０１が画像処理部１０７の機能の一部または全部を兼用するようにしてもよい。制御部１０１が画像処理部１０７の全ての機能を兼用する場合には、画像処理部１０７をハードウェアとして有する必要はなくなる。

表示部１０８は、ＲＡＭ１０６に一時保存されている画像、または、後述する内蔵メモリ１０９に保存されている画像、あるいは、デジタルカメラ１００の設定画面などを表示するための液晶ディスプレイや有機ＥＬディスプレイなどである。

内蔵メモリ１０９は、撮像部１０４が撮像した画像や画像処理部１０７の処理を得た画像、および、画像撮像時の合焦位置の情報などを記録する場所である。内蔵メモリの代わりに、メモリカードなどを用いてもよい。

操作部１１０は、たとえば、デジタルカメラ１００につけるボタンやスイッチ、キー、モードダイアルなど、あるいは、表示部１０８に兼用されるタッチパネルなどである。ユーザによる指令は、操作部１１０を経由して、制御部１０１に達する。

図２は、本実施形態における合成画像の生成について説明するためのフローチャートである。

ステップＳ２０１では、撮像部１０４は、ピント位置の異なる複数の画像を撮像する。本実施形態において、撮像部１０４が、ピント位置を至近側から無限遠側へ変更させながら、撮像を行う。

ステップＳ２０２では、制御部１０１および画像処理部１０７は、ステップＳ２０１で撮像部１０４が撮像した複数の画像の明るさの補正を行う。

ステップＳ２０３では、制御部１０１および画像処理部１０７は、ステップＳ２０２で明るさ補正した後の複数の画像に対して位置合わせを行う。

ステップＳ２０４では、制御部１０１および画像処理部１０７は、ステップＳ２０３で位置合わせを行った後の画像に対して合成を行い、合成画像を生成する。以下では、それぞれのステップについて詳細に説明する。

図３は、本実施形態におけるステップＳ２０１の撮像について説明するためのフローチャートである。

ステップＳ３０１で、制御部１０１は、ピント位置の設定を行う。たとえば、ユーザは表示部１０８が兼用するタッチパネルを通して合焦位置を指定し、指定した合焦位置に相当するピント位置の光軸方向の前後に等間隔に複数のピント位置を指定する。同時に、制御部１０１は、設定したピント位置において、距離順に撮像順番を決める。

ステップＳ３０２では、制御部１０１は、撮像する露出条件を決定する。制御部１０１はシャッタースピード、Ｆ値、ＩＳＯ感度を決定する。露出条件は、ユーザが手動で設定してもよいし、制御部１０１が撮像部１０４を被写体に対して測光させ、自動で設定してもよい。

ステップＳ３０３では、制御部１０１は、ステップＳ３０１で定めた露出条件（露出の所定値）よりも暗く露光する量（露出の落とす量）の計算を行う。露出の落とす量は、一例として光学系１０３で装着されたレンズの性能によって定めてもよい。ピント位置の変動量によってどの程度実効Ｆ値が変化するかはレンズ性能に依存するため、たとえば、最至近から無限遠までピント位置を移動させた際の実効Ｆ値変化量を露出の落とす量として扱ってもよい。また、ストロボを使用する際は、発光ムラを含むストロボの性能を鑑みて露出を落とす量を決定することや、高速シャッターを使用する際は露光ムラを含むシャッター性能を鑑みて露出を落とす量を決定することも推奨する。また、露出の落とす量はシャッタースピード、Ｆ値、ＩＳＯ感度の少なくともいずれかを使用してもよい。

ステップＳ３０４で、制御部１０１は、ステップＳ３０１で決めた撮像順番に従い、ステップＳ３０１で設定したピント位置のうちで未撮像のピント位置にピントを移動させる。

ステップＳ３０５では、撮像部１０４は、ステップＳ３０２で決定した露出よりもステップＳ３０３で決定した露出の分だけ暗くして撮像を行う。

ステップＳ３０６では、制御部１０１は、ステップＳ３０１で設定したすべてのピント位置において撮像を行ったかどうかについて判断する。すべてのピント位置に撮像した場合は、このフローチャートでの処理を終了し、まだ撮像していないピント位置があれば、ステップＳ３０４に戻る。

図３に示したフローチャートでは、撮像部１０４が複数の画像を撮像している間に、制御部１０１が、ピント位置以外の、露出を含めて撮像のための設定を変更しないようにする。前述のように、ピント位置が変わるだけで、画像の明るさが変化してしまう。

図４は、本実施形態におけるステップＳ２０２での明るさの補正について説明するためのフローチャートである。

ステップＳ４０１では、制御部１０１は、ステップＳ２０１で撮像部１０４が撮像した画像のうちから、明るさ補正の対象画像を取得する。明るさ補正の対象画像は、最初に撮像した１枚目の画像以外、まだ明るさ補正の対象画像となっていない画像の中で、撮像順番が最も早いものとする。

ステップＳ４０２では、制御部１０１は、ステップＳ２０１で撮像部１０４が撮像した画像のうちから、明るさ補正の基準画像を取得する。明るさ補正の基準画像は、対象画像の前に撮像した画像とする。

ステップＳ４０３では、制御部１０１は、基準画像と対象画像との明るさの比率を計算する。計算方法としては、たとえば基準画像と対象画像のＲＡＷ画像の緑画素の積分値を比較することで求めることが好ましいが、ＹＵＶ画像乃至ＲＧＢ画像の状態で比較することでも、撮像時の測光量をみて比較することでもよい。

ステップＳ４０４では、制御部１０１は、ステップＳ４０３で求めた明るさの比率を累積した累積ゲイン量を計算する。累積ゲイン量とは、現在の基準画像と対象画像よりも前に求めたゲイン量に、今回のステップＳ４０３で求めた比率を掛け合わせることで、対象画像の明るさを、ステップＳ３０２で決定した露出に近づけるための値である。

ステップＳ４０５では、制御部１０１は、ステップＳ４０４で求めた累積ゲイン量と、対象画像の関連をつけておく。ＲＡＭ１０６に累積ゲイン量と対象画像との組み合わせを配列のような形で記憶しておくことが望ましい。

ステップＳ４０６では、制御部１０１は、全ての画像を処理したどうかについて判断する。全ての画像を処理した場合は、ステップＳ４０７に進み、そうでない場合はステップＳ４０１に戻る。

ステップＳ４０７では、画像処理部１０７は、最初に撮像した１枚目の画像以外の全ての画像に対して、ステップＳ４０５で関連付けた累積ゲイン量の分だけ画像面内一律で明るさの補正を行う。明るさの補正方法は、センサ出力後のＲＡＷの状態で補正してもよいし、ＲＡＷからＹＵＶに変換する際に補正してもよいし、ＲＧＢの状態で補正してもよい。

図５は、本実施形態におけるステップＳ２０３での位置合わせについて説明するためのフローチャートである。

ステップＳ５０１では、制御部１０１は、ステップＳ２０１で撮像部１０４が撮像した画像のうちから、位置合わせの基準画像を取得する。位置合わせの基準画像は、撮像順番が最も早いものとする。あるいは、ピント位置を変えながら撮像することで、わずかながら撮像された画像間で画角が変化するため、撮像した画像の中で画角が最も狭いものにしてもよい。

ステップＳ５０２では、制御部１０１は、位置合わせの処理の対象画像を取得する。対象画像は、ステップＳ５０１で取得した基準画像以外の画像で、位置合わせの処理が済んでいないものとする。制御部１０１は、撮像順番が最も早いものを基準画像とするならば、撮像した順番で順次に対象画像を取得すればよい。

ステップＳ５０３では、制御部１０１は、基準画像と対象画像との位置のずれ量を算出する。算出方法の一例は、以下に述べる。まず、制御部１０１は、基準画像に、複数のブロックを設定する。制御部１０１は、各々のブロックのサイズが同じになるように設定することが好ましい。次に、制御部１０１は、対象画像の、基準画像のそれぞれのブロックと同じ位置に、基準画像のブロックよりも広い範囲を、探索範囲を設定する。最後に、制御部１０１は、対象画像のそれぞれの探索範囲に、基準画像のブロックとの輝度の差分絶対値和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ、以下、ＳＡＤをいう）が最小となる対応点を算出する。制御部１０１は、基準画像のブロックの中心と前述した対応点から、ステップＳ５０３でいう位置のずれをベクトルとして算出する。制御部１０１は、前述する対応点の算出において、ＳＡＤのほかに、差分二乗和（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ、以下ＳＳＤをいう）や正規化相互相関（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ、以下ＮＣＣをいう）などを用いてもよい。

ステップＳ５０４で、制御部１０１で、基準画像と対象画像との位置のずれ量から変換係数を算出する。制御部１０１は、変換係数として、例えば射影変換係数を用いる。ただし、変換係数として射影変換係数だけに限定するわけではなく、アフィン変換係数や水平垂直シフトのみの簡略化した変換係数を用いてもよい。

ステップＳ５０５で、画像処理部１０７は、ステップＳ５０４で算出した変換係数を用いて対象画像に対して変換を行う。

たとえば、制御部１０１は、（式１）に示した式を用いて変形を行うことができる。

（式１）では、（ｘ´，ｙ´）は変形を行った後の座標を示し、（ｘ，ｙ）は変形を行う前の座標を示す。行列ＡはステップＳ４０４で制御部１０１が算出した変形係数を示す。

ステップＳ５０６で、制御部１０１は、基準画像以外のすべての画像に対して位置合わせを行ったかどうかについて判断する。基準画像以外のすべての画像に対して位置合わせを行った場合は、図５に示したフローチャートでの処理を終了し、まだ処理していない画像があれば、ステップＳ５０２に戻る。

また、上述した多眼カメラで撮像された複数の画像を位置合わせする場合、光学系１０３の位置の違いにより生まれる視差量をステップＳ５０３でずれ量算出で求める事ができるため、同様の処理で位置合わせを行うことができる。

図６は、本実施形態におけるステップＳ２０４での画像の合成について説明するためのフローチャートである。

ステップ６０１で、画像処理部１０７は、位置合わせを行った後のそれぞれの画像（基準画像を含む）に対してコントラスト値を算出する。コントラスト値の算出方法の一例としては、たとえば、まず、画像処理部１０７は、それぞれの画素の色信号Ｓｒ、Ｓｇ、Ｓｂから、下記の（式２）を用いて輝度Ｙを算出する。
Ｙ＝０．２９９Ｓｒ＋０．５８７Ｓｇ＋０．１１４Ｓｂ・・・（式２）

次に、３×３の画素の輝度Ｙの行列Ｌに、下記の（式３）乃至（式５）に示したように、ソーベルフィルタを用いてコントラスト値Ｉを算出する。

また、上述のコントラスト値の計算方法は一例にすぎず、たとえば、使用するフィルタをラプラシアンフィルタ等のエッジ検出フィルタや所定の帯域を通過するバンドパスフィルタを用いることも可能である。

ステップＳ６０２で、画像処理部１０７は合成マップを生成する。合成マップの生成方法としては、画像処理部１０７は、それぞれの画像の同じ位置にある画素のコントラスト値を比較し、コントラスト値の大きさに応じた合成比率を算出する。

具体的な算出方法の一例を以下に示す。

ステップＳ６０１で算出したコントラスト値Ｃｍ（ｘ，ｙ）を用いて合成マップＡｍ（ｘ，ｙ）を生成する。なお、ｍはピント位置の異なる複数画像のうちｍ番目の画像、ｘは画像の水平座標、ｙは垂直座標を示している。合成マップの生成方法としては、画像処理部１０７は、それぞれの画像の同じ位置にある画素のコントラスト値を比較し、コントラスト値の大きさに応じた合成比率を算出する。具体的に、同じ位置にある画像のうち、コントラスト値の最も大きい画素に対して１００％の合成比率を与え、同じ位置にある他の画素に対して０％の合成比率を与える。つまり、次の（式６）が成り立つ。

ただし、ステップＳ６０２では、境界部が不自然にならないように合成比率を適宜調整する必要がある。その結果、１枚の画像における合成マップの合成比率は、０％と１００％との二値化のものでなく、連続的に変化するものになる。

ステップＳ６０３では、画像処理部１０７は、ステップ６０２で算出した合成マップに従い、撮像された画像を合成した全焦点画像О（ｘ，ｙ）を生成する。撮像された元の画像をＩｍ（ｘ，ｙ）とすると、以下の（式７）で画像が生成される。

本実施形態において、ピント位置の変更に伴う輝度値の変化を補正しようとする際、絞り駆動による輝度段差を相殺することが考えられる。

図７は、ピント位置の変更に伴う輝度値が変化するとき、絞りを駆動する場合の輝度変化を説明するための図である。ピント位置の移動に従って輝度が上がっていくのに対して、図７のように、特定の輝度変化を検知した時点でレンズの絞りを絞ることで、撮像開始時の輝度を保つようなシステムを考えられる。しかしながら、図７に示したようなシステムでも、撮像された画像を撮像開始時の輝度に合わせるように輝度補正を行った場合、画像を暗くする方向に補正することとなり、画像の高輝度部分が色づいてしまう問題、乃至は飽和が出なくなる問題が発生する。

図１０は、第１の実施形態において、絞りを駆動する場合の輝度変化を説明するための図である。第１の実施形態においては、図３のステップＳ３０３の露出の落とす量の計算において、図１０の絞り駆動時の露出段差の大きさを指定することで、図８のように予め定められた露出を超えることのないように撮像することができる。図８のように撮像できれば、図４のステップＳ４０７において画像処理で明るい方向に補正することができ、色づきや露出段差を抑えた合成画像を生成することができる。

（第２の実施形態）
以下では、本発明の第２の実施形態について、図を用いながら説明する。第２の実施形態では、第１の実施形態と異なり、画像の合成を行うかどうかによって、画像を撮像するときの露出の決め方を変更する。詳細は以下で説明する。

図９は、本実施形態における合成画像の生成について説明するためのフローチャートである。第２の実施形態では、デジタルカメラ１００に、複数の撮像モードが搭載され、複数の撮像モードのうちの１つが深度合成のモードであることが想定されている。

ステップＳ９０１では、制御部１０１がデジタルカメラ１００の撮像モードが深度合成のモードに設定されているかどうかを判定する。深度合成のモードの場合は、ステップＳ９０２へ進むが、以降の処理は第１の実施形態に記載した通りである。深度合成のモードではない場合は、フローがステップＳ９０６に遷移する。

ステップＳ９０６では、制御部１０１は、撮像する露出条件を決定する。ここでは、第１の実施形態のステップＳ３０２と同様に、制御部１０１はシャッタースピード、Ｆ値、ＩＳＯ感度を決定する。露出条件は、ユーザが手動で設定してもよいし、制御部１０１が撮像部１０４を被写体に対して測光させ、自動で設定してもよい。

ステップＳ９０７では、撮像部１０４が、ステップＳ９０６で決定した露出条件に応じて撮像する。ステップＳ９０７では、撮像部１０４が複数の画像を撮像する場合でも、複数の画像の撮像に用いる露出条件をステップＳ９０６で決定した露出条件のままにする。

本実施形態によれば、深度合成の場合は、予め定められた露出よりも暗く撮像し、画像処理で明るい方向に補正することで、色づきや露出段差を抑えた合成画像を生成することができ、深度合成ではない場合は露出を変更せずに撮像を行うことができる。

（その他の実施形態）
以上の実施形態では、深度合成をもとに説明しているが、これに限らない。複数の画像を撮像する際に、たとえピント位置を変更しなくても、ストロボを使用する際の発光ムラや高速シャッターを使用する際の露光ムラなどによって、露出が変わってしまうことがある。図１３は、複数の画像を撮像する際に、発光ムラまたは露光ムラによって輝度が変わることを説明するための図である。図１３に示した複数の画像に対してなんらかの合成を行う場合、第１の実施形態と同様に、合成された合成画像に明るさのムラが発生する。このような課題を解消するために、第１の実施形態に説明したような、露出を所定値より低くして撮像する方法が有効である。

以上の実施形態は、デジタルカメラでの実施をもとに説明したが、デジタルカメラに限定するものではない。たとえば、撮像素子が内蔵した携帯機器などで実施してもよく、画像を撮像することができるネットワークカメラなどでもよい。

なお、本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ デジタルカメラ
１０１ 制御部
１０２ 駆動部
１０３ 光学系
１０４ 撮像部
１０５ ＲＯＭ
１０６ ＲＡＭ
１０７ 画像処理部
１０８ 表示部
１０９ 内蔵メモリ
１１０ 操作部

Claims (26)

1. あらかじめ露出の所定値を決定する決定手段と、
   ピント位置の異なる複数の画像を撮像する撮像手段と、
   前記撮像手段が前記複数の画像を撮像する際に、前記所定値よりも低い露出で撮像するように制御する制御手段と、
   前記複数の画像の少なくとも一部の画像の明るさを、前記決定手段が決定した前記所定値に基づいて補正する補正手段と、を有することを特徴とする撮像装置。
2. 前記補正手段は、前記複数の画像の少なくとも一部の画像の露出を、前記所定値と合わせるように前記一部の画像の明るさを補正すること特徴とする請求項１に記載の撮像装置。
3. 前記撮像手段は、前記ピント位置を変えながら、前記複数の画像を撮像することを特徴とする請求項１または２に記載の撮像装置。
4. 前記撮像手段は、前記ピント位置を、至近側から無限遠側に変えながら、前記複数の画像を撮像することを特徴とする請求項３に記載の撮像装置。
5. 前記決定手段は、前記複数の画像のうち、１枚目の画像を撮像する際の測光量に基づいて前記所定値を決定することを特徴とする請求項１または２に記載の撮像装置。
6. 前記決定手段は、ユーザの設定に基づいて前記所定値を決定することを特徴とする請求項１または２に記載の撮像装置。
7. 前記制御手段は、シャッタースピードとＦ値とＩＳＯ感度との少なくともいずれかを制御することにより前記撮像手段が前記複数の画像を撮像する際の露出を制御することを特徴とする請求項１または２に記載の撮像装置。
8. 前記撮像手段が前記複数の画像を撮像する際の実効Ｆ値が変化し、
   前記制御手段は、前記実効Ｆ値の変化量に基づいて前記撮像手段が前記複数の画像を撮像する際の前記露出を制御することを特徴とする請求項１または２に記載の撮像装置。
9. 前記撮像手段が、ストロボを用いて前記複数の画像を撮像し、
   前記制御手段は、前記ストロボの性能に基づいて前記撮像手段が前記複数の画像を撮像する際の前記露出を制御することを特徴とする請求項１または２に記載の撮像装置。
10. 前記ストロボの性能は、前記ストロボの発光ムラを含むことを特徴とする請求項９に記載の撮像装置。
11. 前記撮像手段が、高速シャッターを用いて前記複数の画像を撮像し、
    前記制御手段は、前記高速シャッターの性能に基づいて前記撮像手段が前記複数の画像を撮像する際の前記露出を制御することを特徴とする請求項１または２に記載の撮像装置。
12. 前記高速シャッターの性能は、高速シャッターによる露光ムラを含むことを特徴とする請求項１１に記載の撮像装置。
13. 前記補正手段は、前記複数の画像のＲＡＷ画像またはＹＵＶ画像またはＲＧＢ画像に対して補正することを特徴とする請求項１または２に記載の撮像装置。
14. 前記補正手段は、前記複数の画像のＲＡＷの緑画素の積分値に基づいて補正することを特徴とする請求項１または２に記載の撮像装置。
15. 前記補正手段は、前記撮像手段が前記複数の画像を撮像する際の測光量に基づいて補正することを特徴とする請求項１または２に記載の撮像装置。
16. 前記複数の画像を合成し、合成画像を生成する合成手段を有し、
    前記合成画像の被写界深度は、前記複数の画像の被写界深度よりも深いことを特徴とする請求項１または２に記載の撮像装置。
17. 前記合成手段は、前記複数の画像のそれぞれの合焦している領域を抽出して前記合成画像を生成することを特徴とする請求項１６に記載の撮像装置。
18. あらかじめ露出の所定値を決定する決定ステップと、
    ピント位置の異なる複数の画像を撮像する撮像ステップと、
    前記撮像ステップにおいて前記複数の画像を撮像する際に、前記所定値よりも低い露出で撮像するように制御する制御ステップと、
    前記複数の画像の少なくとも一部の画像の明るさを、前記決定手段が決定した前記所定値に基づいて補正する補正ステップと、を有することを特徴とする撮像方法。
19. 撮像装置をコンピュータに動作させるプログラムであって、
    あらかじめ露出の所定値を決定する決定ステップと、
    ピント位置の異なる複数の画像を撮像する撮像ステップと、
    前記撮像ステップにおいて前記複数の画像を撮像する際に、前記所定値よりも低い露出で撮像するように制御する制御ステップと、
    前記複数の画像の少なくとも一部の画像の明るさを、前記決定手段が決定した前記所定値に基づいて補正する補正ステップと、を行わせることを特徴とするコンピュータのプログラム。
20. あらかじめ露出の所定値を決定する決定手段と、
    異なる複数の画像を撮像する撮像手段と、
    前記撮像手段が前記複数の画像を撮像する際の露出を制御する制御手段と、
    前記複数の画像の少なくとも一部の画像の明るさを、前記決定手段が決定した前記所定値に基づいて補正する補正手段と、
    前記複数の画像の少なくとも一部の画像に対して、合成を行う合成手段と、を有し、
    前記合成を行う第１のモードにおいて、前記制御手段が、前記撮像手段が前記複数の画像を撮像する際、前記所定値よりも低い露出で撮像するように制御し、前記補正手段が前記補正を行い、
    前記合成を行わない第２のモードにおいて、前記制御手段が、前記撮像手段が前記複数の画像を撮像する際、前記所定値で撮像するように制御することを特徴とする撮像装置。
21. 前記第２のモードにおいて、前記補正手段が前記補正を行わないことを特徴とする請求項２０に記載の撮像装置。
22. 前記複数の画像のピント位置が異なることを特徴とする請求項２０または２１に記載の撮像装置。
23. 前記合成手段は、前記合成を行うことで、前記複数の画像の少なくとも一部の画像の被写界深度よりも深い被写界深度を有する合成画像を生成することを特徴とする請求項２０または２１に記載の撮像装置。
24. あらかじめ露出の所定値を決定する決定ステップと、
    異なる複数の画像を撮像する撮像ステップと、
    前記撮像ステップにおいて前記複数の画像を撮像する際の露出を制御する制御ステップと、
    前記複数の画像の少なくとも一部の画像の明るさを、前記決定ステップにおいて決定した前記所定値に基づいて補正する補正ステップと、
    前記複数の画像の少なくとも一部の画像に対して、合成を行う合成ステップと、を有し、
    前記合成を行う第１のモードにおいて、前記制御ステップにおいては、前記撮像ステップにおいて前記複数の画像を撮像する際、前記所定値よりも低い露出で撮像するように制御し、前記補正ステップにおいて前記補正を行い、
    前記合成を行わない第２のモードにおいて、前記制御ステップにおいては、前記撮像ステップにおいてが前記複数の画像を撮像する際、前記所定値で撮像するように制御することを特徴とする撮像方法。
25. 撮像装置をコンピュータに動作させるプログラムであって、
    あらかじめ露出の所定値を決定する決定ステップと、
    異なる複数の画像を撮像する撮像ステップと、
    前記撮像ステップにおいて前記複数の画像を撮像する際の露出を制御する制御ステップと、
    前記複数の画像の少なくとも一部の画像の明るさを、前記決定ステップにおいて決定した前記所定値に基づいて補正する補正ステップと、
    前記複数の画像の少なくとも一部の画像に対して、合成を行う合成ステップと、を行わせ、
    前記合成を行う第１のモードにおいて、前記制御ステップにおいては、前記撮像ステップにおいて前記複数の画像を撮像する際、前記所定値よりも低い露出で撮像するように制御し、前記補正ステップにおいて前記補正を行い、
    前記合成を行わない第２のモードにおいて、前記制御ステップにおいては、前記撮像ステップにおいてが前記複数の画像を撮像する際、前記所定値で撮像するように制御することを特徴とするコンピュータのプログラム。
26. 請求項１９または２５に記載のプログラムを記録するコンピュータが読み出し可能な記録媒体。

Images