JP2018050147A - 撮像装置、撮像方法およびプログラム - Google Patents

Abstract

【課題】 ピント位置を変化させて撮像した複数の画像を用いて合成するとき、手振れなどによるぼけを低減させる合成画像を生成できる撮像装置を提供する。【解決手段】 撮像装置は、光学系のピント位置を変えながら撮像した複数の画像に対して合成を行い、合成画像を生成する合成手段と、前記光学系のピント位置を設定するピント位置の設定手段と、前記撮像した画像のピント位置を異ならせた画像の再構成を行うリフォーカス手段と、を有し、前記リフォーカス手段は、前記設定したピント位置と前記画像を撮像するときのピント位置との違いに基づいて、前記ピント位置を異ならせた画像の再構成を行うことを特徴とする。【選択図】 図９

Description

本発明は、画像合成を行う撮像装置に関するものである。

カメラからの距離が異なる複数の被写体を撮像する場合、あるいは、奥行き方向に長い被写体を撮像する場合に、撮像光学系における被写界深度が足りないために、被写体の一部にしかピントを合わせられない場合がある。そこで、ピント位置を変化させて複数の画像を撮像し、各画像から合焦している領域のみを抽出して１枚の画像を合成して撮像領域全体に合焦している合成画像を生成する技術（以下、深度合成という）が知られている（特許文献１を参照）。この深度合成の技術を用いることで、意図する被写体の全体に対してピントを合わせた画像を得ることができる。

特開２０１５−２１６４８０号公報

しかしながら、深度合成の技術を用いて撮像する場合、手振れなどが発生すると、以下の課題が生じることがある。

図１１は、深度合成における手振れを説明するための図である。図１１（ａ）は理想的な深度合成を用いる撮像を説明するための図である。図１１（ａ）では、ユーザがデジタルカメラを１１０１に置き、所定の距離１１０２ずつピント位置を移動させながら複数回撮像を行う。

図１１（ｂ）は図１１（ａ）での撮像において、３枚目の画像を撮像するとき、手振れが発生してしまった場合を示す。撮像位置１１０１が光軸方向で後方にずれたことで、本来撮像されるべき距離よりも近い位置にピント位置が来る。さらに、図１１（ｃ）のように、４枚目の画像を撮像するとき、図１１（ｂ）の手振れの方向と反対する方向へ手振れが発生してしまった場合を示す。この場合４枚目の画像は本来撮像されるべきピント位置よりも遠くなっている。図１１（ｃ）で撮像された複数の画像を用いて合成処理を行うと、領域１１０３において合焦している画像が存在せず、合成画像にはぼけた部分が残ってしまう。

本発明は、以上の課題を鑑みてなされたもので、ピント位置を変化させて撮像した複数の画像を用いて合成するとき、画像のピント位置を補正し、手振れなどによるぼけを低減させる合成画像を生成できる撮像装置を提供することが目的とする。

本発明は、光学系のピント位置を変えながら撮像した複数の画像に対して合成を行い、合成画像を生成する合成手段と、前記光学系のピント位置を設定するピント位置の設定手段と、前記撮像した画像のピント位置を異ならせた画像の再構成を行うリフォーカス手段と、を有し、前記リフォーカス手段は、前記設定したピント位置と前記画像を撮像するときのピント位置との違いに基づいて、前記ピント位置を異ならせた画像の再構成を行うことを特徴とする撮像装置を提供するものである。

本発明によれば、ピント位置を変化させて撮像した複数の画像を用いて合成するとき、手振れなどによるぼけを低減させる合成画像を生成できる。

本発明の実施形態におけるデジタルカメラの構造を示すブロック図である。 本発明の実施形態における撮像部を構成するセンサのアレイを説明するための図である。 本発明の実施形態において、光信号の画素への入射を説明するための図である。 （ａ）は撮像レンズの開口を光軸方向から見た図であり、（ｂ）は１つのマイクロレンズとその後方に配置された画素配列を光軸方向から見た図である。 本発明の実施形態におけるリフォーカス面の計算を説明するための図である。 本発明の実施形態におけるリフォーカス範囲を説明するための図である。 本発明の実施形態を説明するためのフローチャートである。 本発明の実施形態におけるリフォーカス画像の生成を説明するための図である。 本発明の実施形態においてリフォーカスが可能と判断した場合のリフォーカス処理の一例を説明するための図である。 本発明の実施形態においてリフォーカスが可能でないと判断した場合のピント位置の再設定とその後のリフォーカス処理との一例を説明するための図である。 深度合成における手振れを説明するための図である。

以下では、添付の図面を参照しながら、本発明の好適な実施形態について詳細に説明する。なお、以下の説明では、デジタルカメラを例にあげて説明を行うが、デジタルカメラに限定されるわけでなく、ピント位置の情報の取り入れ、および撮像した画像のピント位置の補正ができる撮像装置を用いれば、本発明を適用することができる。

（本発明の実施形態の一例）
図１は本実施形態に係るデジタルカメラの構造を示すブロック図である。デジタルカメラ１００は、静止画を撮像することができ、かつ、合焦位置の情報を記録し、コントラスト値の算出および画像の合成が可能なものである。さらに、デジタルカメラ１００は、撮像して保存した画像、または、外部から入力した画像に対して、拡大処理または縮小処理を行うことができる。

制御部１０１は、例えばＣＰＵやＭＰＵなどのシグナルプロセッサであり、予め後述するＲＯＭ１０５に内蔵されたプログラムを読み出しながら、デジタルカメラ１００の各部分を制御する。たとえば、後述するように、制御部１０１が、後述する撮像部１０４に対して撮像の開始と終了について指令を出す。または、後述する画像処理部１０７に対して、ＲＯＭ１０５に内蔵されたプログラムに基づいて、画像処理の指令を出す。ユーザによる指令は、後述する操作部１１０によってデジタルカメラ１００に入力され、制御部１０１を通して、デジタルカメラ１００の各部分に達する。

駆動部１０２は、モーターなどによって構成され、制御部１０１の指令の下で、後述する光学系１０３を機械的に動作させる。たとえば、制御部１０１の指令に基づいて、駆動部１０２が光学系１０３に含まれるフォーカスレンズの位置を移動させ、光学系１０３のピント位置を調整する。

光学系１０３は、ズームレンズ、フォーカスレンズ、および絞りなどにより構成される。絞りは、透過する光量を調整する機構である。レンズの位置を変えることによって、合焦位置を変えることができる。

撮像部１０４は、光電変換素子であり、入射された光信号を電気信号に変換する光電変換を行うものである。たとえば、撮像部１０４に、ＣＣＤやＣＭＯＳセンサなどを適用することができる。撮像部１０４は、動画撮像モードを設け、時間的に連続する複数の画像を動画の各々のフレームとして、撮像することができる。

図２は、本実施形態における撮像部１０４を構成するセンサのアレイを説明するための図である。複数の光電変換部２０１に対して１つのマイクロレンズ２１が対応するように配置されている。１つのマイクロレンズ後方にある複数の光電変換部２０１をまとめて画素配列２０と定義する。なお、図２では画素配列２０には、光電変換部２０１が５行５列の計２５個あるが、これに限られるわけではない。

図３は、本実施形態において、光信号の画素への入射を説明するための図である。

図３は、撮像レンズ３１から出射された光が１つのマイクロレンズ２１を通過して撮像素子３２で受光される様子を光軸に対して垂直方向から観察した図である。撮像レンズ３１の各瞳領域ａ１〜ａ５から出射され、マイクロレンズ２１を通過した光は、後方の対応する光電変換部ｐ１〜ｐ５でそれぞれ結像する。

図２で示したような撮像部を用いて、１つのマイクロレンズに対応する複数の光電変換部で取得した光信号を用いて、被写体距離の情報を取得することができる。

ＲＯＭ１０５は、記録媒体としての読み出し専用の不揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶している。ＲＡＭ１０６は、書き換え可能な揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。

画像処理部１０７は、撮像部１０４から出力された画像、あるいは後述する内蔵メモリ１０９に記録されている画像信号のデータに対して、ホワイトバランス調整、色補間、フィルタリングなど、様々な画像処理を行う。また、撮像部１０４が撮像した画像信号のデータに対して、ＪＰＥＧなどの規格で、圧縮処理を行う。

画像処理部１０７を、図２で示したような、１つのマイクロレンズに複数の光電変換部が対応する構造を有する撮像部と併用すると、一定の範囲内のピント位置にピントを合わせた画像を撮像した後に再構成（リフォーカス）することができる。ここでいう「一定の範囲」はリフォーカス範囲といい、詳細は後述する。

画像処理部１０７は、特定の処理を行う回路を集めた集積回路（ＡＳＩＣ）で構成される。あるいは、制御部１０１がＲＯＭ１０５から読み出したプログラムに従って処理することで、制御部１０１が画像処理部１０７の機能の一部または全部を兼用するようにしてもよい。制御部１０１が画像処理部１０７の全ての機能を兼用する場合には、画像処理部１０７をハードウェアとして有する必要はなくなる。

表示部１０８は、ＲＡＭ１０６に一時保存されている画像、または、後述する内蔵メモリ１０９に保存されている画像、あるいは、デジタルカメラ１００の設定画面などを表示するための液晶ディスプレイや有機ＥＬディスプレイなどである。

内蔵メモリ１０９は、撮像部１０４が撮像した画像や画像処理部１０７の処理を得た画像、および、画像撮像時の合焦位置の情報などを記録する場所である。内蔵メモリの代わりに、メモリカードなどを用いてもよい。

操作部１１０は、たとえば、デジタルカメラ１００につけるボタンやスイッチ、キー、モードダイアルなど、あるいは、表示部１０８に兼用されるタッチパネルなどである。ユーザによる指令は、操作部１１０を経由して、制御部１０１に達する。

装置動き検出部１１１はジャイロセンサによって構成され、デジタルカメラ１００の動きを検出するデバイスであり、デジタルカメラ１００の単位時間当たりの角度変化、すなわち角速度に基づいてヨー方向とピッチ方向の動きを検出する。

＜リフォーカスの方法＞
ここで、一定の範囲内の被写体に対応したピント位置（リフォーカス面）を算出する方法について説明する。

図４（ａ）は撮像レンズ３１の開口を光軸方向から見た図である。図４（ｂ）は１つのマイクロレンズ２１とその後方に配置された画素配列２０を光軸方向から見た図である。図４（ａ）に示すように撮像レンズ３１の瞳領域を１つのマイクロレンズ後方にある光電変換部と同数の領域に分割した場合、１つの光電変換部には撮像レンズ３１の１つの瞳分割領域から出射した光が結像されることになる。ただし、ここでは撮像レンズ３１とマイクロレンズ２１に示したナンバーがほぼ一致しているものとする。

図４（ａ）に示す撮像レンズ３１の瞳分割領域ａ１１〜ａ５５と、図４（ｂ）に示す画素ｐ１１〜ｐ５５との対応関係は光軸Ｚ方向から見て点対称となる。したがって、撮像レンズ３１の瞳分割領域ａ１１から出射した光はマイクロレンズ後方にある画素配列２０のうち、画素ｐ１１に結像する。これと同様に、瞳分割領域ａ１１から出射し、別のマイクロレンズ２１を通過する光も、そのマイクロレンズ後方にある画素配列２０の中の画素ｐ１１に結像する。

画素配列２０の各光電変換部は、撮像レンズ３１に対して互いに異なる瞳領域を通過した光を受光している。これらの分割信号から複数の画素信号を合成することで、水平方向に瞳分割された一対の信号を生成する。

式（１）は、ある画素配列２０の各光電変換部について、撮像レンズ３１の射出瞳の左側領域（瞳領域ａ１１〜ａ５２）を通過した光を積分したものである。これを水平方向に並ぶ複数の画素配列２０に適用し、これらの出力信号群で構成した被写体像をＡ像とする。また、式（２）は、ある画素配列２０の各光電変換部について、撮像レンズ３１の射出瞳の右側領域（瞳領域ａ１４〜ａ５５）を通過した光を積分したものである。これを水平方向に並ぶ複数の画素配列２０に適用し、これらの出力信号群で構成した被写体像をＢ像とする。Ａ像とＢ像に対して相関演算を施し、像のずれ量（瞳分割位相差）を検出する。さらに、像のずれ量に対して撮像レンズ３１の焦点位置と光学系から決まる変換係数を乗じることで、画面内の被写体に対応したピント位置を算出することができる。

次に、撮像部１０４によって取得された撮像データに対して、設定したピント位置であるリフォーカス面での画像の再構成処理について説明する。

図５は、リフォーカス面の計算を説明するための図である。図５では、設定したリフォーカス面上のある画素を通過する光が、撮像レンズのどの瞳分割領域から出射され、どのマイクロレンズへ入射するかを光軸Ｚに対して垂直方向から見る。図５において、撮像レンズ３１の瞳分割領域の位置を座標（ｕ，ｖ）、リフォーカス面上の画素位置を座標（ｘ，ｙ）、マイクロレンズアレイ上のマイクロレンズの位置を座標（ｘ’，ｙ’）とする。また、撮像レンズからマイクロレンズアレイまでの距離をＦ、撮像レンズからリフォーカス面までの距離をαＦとする。αはリフォーカス面の位置を決定するためのリフォーカス係数であり、ユーザが設定できる。なお、図５ではｕ、ｘ、ｘ’の方向のみを示し、ｖ、ｙ、ｙ’については省略してある。図５に示すように、座標（ｕ，ｖ）と座標（ｘ，ｙ）を通過した光は、マイクロレンズアレイ上の座標（ｘ’，ｙ’）に到達する。この座標（ｘ’，ｙ’）は式（３）のように表すことができる。

そして、この光を受光する画素の出力をＬ（ｘ’，ｙ’，ｕ，ｖ）とすると、リフォーカス面上の座標（ｘ，ｙ）で得られる出力Ｅ（ｘ，ｙ）は、Ｌ（ｘ’，ｙ’，ｕ，ｖ）を撮像レンズの瞳領域に関して積分したものとなるため、式（４）のようになる。

式（４）において、リフォーカス係数αはユーザによって決定されるため、（ｘ，ｙ）、（ｕ，ｖ）を与えれば、光の入射するマイクロレンズの位置（ｘ’，ｙ’）がわかる。そして、そのマイクロレンズに対応する画素配列２０から（ｕ，ｖ）の位置に対応する画素がわかる。この画素の出力がＬ（ｘ’，ｙ’，ｕ，ｖ）となる。これをすべての瞳分割領域について行い、求めた画素出力を積分することでＥ（ｘ，ｙ）が算出できる。なお、（ｕ，ｖ）を撮像レンズの瞳分割領域の代表座標とすれば、式（４）の積分は、単純加算により計算することができる。

以上では、リフォーカスの方法について説明した。しかしながら、上述したリフォーカス面を、元の画像の撮像時のピント位置からリフォーカス範囲のピント位置に設定しないと、正しいリフォーカス画像が生成できない。その理由は、撮像レンズおよび絞りによる開口系や撮像部における撮像素子の画素ピッチなどにより撮像素子に入射する光線の角度分布、すなわち視差画像の視差量が制限されるためなどである。次に、リフォーカス範囲の算出方法について説明する。

＜リフォーカス範囲の算出方法＞
ここで、光の２次元強度分布をライトフィールドの空間成分と呼ぶ。このとき、リフォーカス範囲は、空間成分のサンプリングピッチΔｙおよび角度成分のサンプリングピッチΔｕにより決定され、その係数α±は以下の式（５）のように与えられる。

図６は、リフォーカス範囲を説明するための図である。式（１）を用いて表される像側のリフォーカス範囲（α＋）・ｓ２〜（α−）・ｓ２と、結像光学系６１に対して共役な範囲が、物体側のリフォーカス範囲となる。ここでｓ２は、結像光学系６１の像側主平面と被写体面６２に対する結像光学系６１の像側共役面との間の距離である。

図６に示される構成例では、被写体面６２上の同一の位置を撮像している画素の１次元的な周期が３画素となっているため、空間成分のサンプリングピッチΔｙは、撮像素子の画素ピッチの３倍となる。角度成分のサンプリングピッチΔｕは、結像光学系６１の射出瞳が３分割（２次元では９分割）されているため、射出瞳径の１／３となる。式（５）で表されるリフォーカス範囲を超えると、取得したライトフィールドでは情報が不足し、正しいリフォーカス画像を生成することができない。式（５）は、撮像素子の画素ピッチΔが結像光学系６１の瞳距離Ｐに対して十分小さいことから、次の式（６）のように近似できる。

ここで、結像光学系６１の瞳距離Ｐとは、結像光学系６１の射出瞳面と被写体面６２に対する結像光学系６１の像側共役面との間の距離である。また、Ｎは結像光学系６１の瞳の１次元分割数、Ｆは結像光学系６１のＦ値、ΔＬＡは画素配列２０のピッチである。

以上は、リフォーカス範囲の算出方法についての説明であった。なお、以下では、特に説明がなければ、「リフォーカス範囲」は、物体側のリフォーカス範囲を指す。

＜本実施形態のフローチャート＞
図７は、本実施形態を説明するためのフローチャートである。

ステップＳ７０１では、撮像部１０４は、被写体の距離情報を取得する。ステップＳ７０２で、制御部１０１は、被写体の距離情報、および、ユーザの設定に基づいて、ピント位置を設定する。一例としては、ユーザが最初にタッチパネルなどを使って、合焦をしようとする領域を指定し、撮像部１０４が該領域に対して距離情報を取得し、制御部１０１は、ユーザが指定した領域に基づいて、各画像のピント位置を設定する。

ステップＳ７０３では、光学系１０３がピント位置を変えながら、撮像部１０４は、設定した各々のピント位置で撮像するとともに、撮像した各々の画像の距離情報を取得する。

ステップＳ７０４では、制御部１０１は、ステップＳ７０３での撮像の時、光軸方向への動きを含む手振れが生じていたかどうかを判断する。具体的に、撮像部１０４がステップＳ７０４で取得した距離情報に基づいて、撮像時のピント位置を算出する。算出した撮像時のピント位置と設定したピント位置と比較し、手振れしていたかどうかを判断する。一例としては、ピント位置の差の閾値を決め、算出した撮像時のピント位置と設定したピント位置とのが閾値以上であるとき、手振れしていたと判断する。または、装置動き検出部１１１が、撮像中の装置の動き動作を検出し、動きの幅が予め定められた閾値以上になると、手振れをしていたと判断する。装置動き検出部１１１が検出した装置の動き動作で手振れを判断する場合、ステップＳ７０４で、撮像時のピント位置を算出しなくてもよく、かわりに、ステップＳ７０５のリフォーカス画像の生成で撮像時のピント位置を算出する。

また、ここで、制御部１０１は、固定検知を行い、デジタルカメラが三脚などの固定部に固定されていると検知した場合、手振れしていないと判断するようにしてもよい。

手振れしていたと判断した場合、ステップＳ７０５に進み、リフォーカス画像の生成を行う。手振れしていないと判断した場合、リフォーカス処理を省き、処理時間を短縮するために、直接ステップＳ７０６に進み、画像合成を行う。ステップＳ７０６での画像合成では、公知の方法を用いてよく、一例としては、以下に述べる。まず、位置合わせのため、２つの画像の相対位置をずらしながら、これら複数の画像の画素の出力の差の絶対値総和（ＳＡＤ：Ｓｕｍ Ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を求める。この絶対値総和の値が最も小さくなるときの、２つの画像の相対的な移動量と移動方向を求める。そして、求めた移動量と移動方向に応じたアフィン変換もしくは射影変換の変換係数を算出した後、変換係数による移動量と絶対値総和から算出した移動量との誤差が最小となるように、最小二乗法を用いて変換係数を最適化する。その最適化された変換係数に基づいて、位置合わせの対象となる画像に対して、変形処理を行う。画像処理部１０７は、ステップＳ７０３で撮像部１０４が撮像したすべての画像に対して上述した位置合わせと変形処理とを行った後、各画像の各々の領域に対して、合成比率を与える。一例としては、画像処理部１０７は、同一領域に対応する複数の画像のうち、合焦している領域を有する画像の該当領域に含まれる画素に１００％の合成比率を与え、ほかの画像の該当領域に含まれる画素に０％の合成比率を与える。あるいは、各領域の画像間の合焦の度合いに応じて、各画像の該当領域に合成比率を割り振るようにしてもよい。なお、合成境界での不自然さを防ぐため、画像処理部１０７は隣接画素間で合成比率が段階的に変化するようにする。最後に、各々の画素の合成比率に基づいて、合成画像を生成する。

次に、ステップＳ７０５のリフォーカス画像の生成について詳しく説明する。

図８は、リフォーカス画像の生成を説明するための図である。ステップＳ８０１で、前述したように、制御部１０１は、リフォーカス範囲を算出する。次に、制御部１０１は、設定したピント位置と撮像時のピント位置との差に基づいて、リフォーカス補正量を算出する。ステップＳ８０３で、制御部１０１は、リフォーカス範囲とリフォーカス補正量とを比較し、リフォーカスが可能かどうかを判断する。リフォーカス補正量がリフォーカス範囲に超えると、リフォーカスが可能でないと判断し、ステップＳ８０４に進む。リフォーカス補正量がリフォーカス範囲以内であると、リフォーカスが可能であると判断し、直接、ステップＳ８０６に進み、画像処理部１０７が、リフォーカス処理を行う。

図９は、ステップＳ８０３でリフォーカスが可能と判断した場合のリフォーカス処理の一例を説明するための図である。図９（ａ）は、ステップＳ７０２で制御部１０１が設定したピント位置を示す。範囲９１は、被写体に焦点が合っていない部分が発生しない範囲であり、焦点距離と撮像素子の許容錯乱円径から決められる。図９（ａ）では、範囲９１ごとに、ピント位置を設定している。図９（ｂ）は、撮像部１０４が実際撮像した時のピント位置を示す。１番のピント位置以外、全部設定したピント位置からずれていることを示している。２番と３番などでは、その前に撮像した画像との間のピント位置の距離が範囲９１を超えてしまうことが発生し、このまま合成画像を生成すると、ぼけた部分が出てしまう恐れがある。そのため、リフォーカスを行う。図９（ｃ）は、リフォーカス処理後のピント位置を示す。図９（ｃ）のピント位置に書いてある番号は、図９（ｂ）のどの番号のピント位置から得られたのかを意味し、番号２番のピント位置が２回リフォーカス処理を行われていることを示す。補正量９２は、リフォーカス補正量を示す。前述したように、リフォーカス補正量が、リフォーカス範囲以内でないと、フォーカス補正ができない。ここで、複数の撮像時のピント位置のリフォーカス範囲内に、設定したピント位置がある場合、補正量の少ない撮像時のピント位置を用いてリフォーカスを行う。たとえば、設定した４番のピント位置は、３番と４番との撮像時のピント位置のどちらかのリフォーカス範囲にも入るとすると、より補正量の少ない番号３番の撮像時のピント位置を用いてリフォーカスを行うことが好ましい。

ステップＳ８０３で、制御部１０１は、リフォーカスが可能でないと判断した場合、ステップＳ８０４に進み、設定したピント位置の再設定を行う。次に、ステップＳ８０５で、再設定したピント位置に基づいて、リフォーカス補正量を変更する。最後に、ステップＳ８０６に進み、リフォーカス処理を行う。

図１０は、ステップＳ８０３でリフォーカスが可能でないと判断した場合のピント位置の再設定とその後のリフォーカス処理との一例を説明するための図である。図１０（ａ）は、ステップＳ７０２で制御部１０１が設定したピント位置を示す。図１０（ｂ）は、撮像部１０４が実際撮像した時のピント位置を示す。図１０（ｃ）は、リフォーカス処理後のピント位置を示す。ここの処理では、番号２番と３番のピント位置をリフォーカス範囲の限度にピント位置を再設定し、再設定したピント位置に基づいて、等間隔になるように、ほかのピント位置を再設定する。

図１０のように、制御部１０１が、初めに設定したピント位置までリフォーカスできないと判断した場合、リフォーカスできる範囲でピント位置の再設定を行う。

本実施形態によれば、ピント位置を変化させて撮像した複数の画像を用いて合成するとき、ピント位置のリフォーカスにより、手振れなどによる影響を低減し、より高画質の合成画像を得ることができる。

（その他の実施形態）
以上の実施形態は、デジタルカメラでの実施をもとに説明したが、デジタルカメラに限定するものではない。たとえば、撮像素子が内蔵した携帯機器などで実施してもよく、画像を撮像することができるネットワークカメラなどでもよい。

なお、本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ デジタルカメラ
１０１ 制御部
１０２ 駆動部
１０３ 光学系
１０４ 撮像部
１０５ ＲＯＭ
１０６ ＲＡＭ
１０７ 画像処理部
１０８ 表示部
１０９ 内蔵メモリ
１１０ 操作部
１１１ 装置動き検出部

Claims (16)

1. 光学系のピント位置を変えながら撮像した複数の画像に対して合成を行い、合成画像を生成する合成手段と、
   前記光学系のピント位置を設定するピント位置の設定手段と、
   前記撮像した画像のピント位置を異ならせた画像の再構成を行うリフォーカス手段と、を有し、
   前記リフォーカス手段は、前記設定したピント位置と前記画像を撮像するときのピント位置との違いに基づいて、前記ピント位置を異ならせた画像の再構成を行うことを特徴とする撮像装置。
2. 前記画像を撮像する撮像部を有し、
   前記撮像部は、１つのマイクロレンズに対して、複数の光電変換部を有することを特徴とする請求項１に記載の撮像装置。
3. 前記リフォーカス手段は、前記撮像した画像のピント位置の少なくとも一部を、前記設定したピント位置のいずれかになるように、前記ピント位置を異ならせた画像の再構成を行うことを特徴とする請求項１または２に記載の撮像装置。
4. 前記リフォーカス手段は、前記設定したピント位置と最も近いピント位置をもつ撮像した画像を用いて、前記設定したピント位置になるように、前記画像のピント位置を異ならせた画像の再構成を行うことを特徴とする請求項３に記載の撮像装置。
5. 撮像時の手振れ情報を取得する手振れ情報の取得手段を有し、
   前記リフォーカス手段は、前記手振れ情報に基づいて、前記ピント位置を異ならせた画像の再構成を行うかどうかを決めることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記手振れ情報の取得手段は、前記設定したピント位置と前記撮像するときのピント位置との違いに基づいて、前記ピント位置を異ならせた画像の再構成を行うかどうかを決めることを特徴とする請求項５に記載の撮像装置。
7. 前記手振れ情報の取得手段は、前記設定したピント位置と前記撮像するときのピント位置との違いが、予め定められた閾値以上であるとき、前記ピント位置を異ならせた画像の再構成を行うことを特徴とする請求項６に記載の撮像装置。
8. 前記撮像装置が撮像するとき、固定部に固定されているかどうかを検知する固定検知手段を有し、
   前記リフォーカス手段は、前記撮像装置が前記固定部に固定されているうち撮像した画像に対して、前記ピント位置を異ならせた画像の再構成を行わないことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記固定部は三脚であることを特徴とする請求項８に記載の撮像装置。
10. リフォーカス範囲を算出するリフォーカス範囲の算出手段を有し、
    前記リフォーカス手段は、前記リフォーカス範囲の範囲内で、前記画像のピント位置を異ならせた画像の再構成を行うことを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. 前記画像のピント位置を再設定するピント位置の再設定手段を有し、
    前記ピント位置の設定手段が設定したピント位置は、前記撮像した画像のいずれかのピント位置のリフォーカス範囲にないとき、
    前記ピント位置の再設定手段は、前記設定したピント位置を再設定することを特徴とする請求項１０に記載の撮像装置。
12. 前記ピント位置の再設定手段は、前記撮像した画像のピント位置のリフォーカス範囲の限度にあたる位置で、前記設定したピント位置を再設定することを特徴とする請求項１１に記載の撮像装置。
13. 前記ピント位置の再設定手段は、少なくとも一部の再設定した後のピント位置が、等間隔になるように、前記再設定を行うことを特徴とする請求項１１または１２に記載の撮像装置。
14. 前記設定したピント位置は、複数の前記撮像した画像のピント位置の前記リフォーカス範囲にあるとき、
    前記複数の前記撮像した画像のうち、リフォーカス補正量の最も少ないものに対して、前記設定したピント位置になるようにリフォーカスを行うことを特徴とする請求項１０乃至１３のいずれか１項に記載の撮像装置。
15. 光学系のピント位置を変えながら撮像した複数の画像に対して合成を行い、合成画像を生成する合成ステップと、
    前記光学系のピント位置を設定するピント位置の設定ステップと、
    前記撮像した画像のピント位置を異ならせた画像の再構成を行うリフォーカスステップと、を有し、
    前記リフォーカスステップにおいて、前記設定したピント位置と前記画像を撮像するときのピント位置との違いに基づいて、前記ピント位置を異ならせた画像の再構成を行うことを特徴とする撮像方法。
16. 撮像装置のコンピュータに動作させるプログラムであって、
    前記コンピュータに、
    光学系のピント位置を変えながら撮像した複数の画像に対して合成を行い、合成画像を生成する合成ステップと、
    前記光学系のピント位置を設定するピント位置の設定ステップと、
    前記撮像した画像のピント位置を異ならせた画像の再構成を行うリフォーカスステップと、を行わせ、
    前記リフォーカスステップにおいて、前記設定したピント位置と前記画像を撮像するときのピント位置との違いに基づいて、前記ピント位置を異ならせた画像の再構成を行うことを特徴とするコンピュータのプログラム。

Images