JP6329400B2 - 画像処理装置、画像処理方法およびプログラム、並びに撮像装置 - Google Patents

Description

本発明は、画像処理装置に関し、特に、画像データの再合成を利用して当該画像データの表示データを生成する画像処理装置、画像処理方法およびプログラム、および当該画像処理装置を適用した撮像装置に関する。

近年のデジタル一眼レフカメラには静止画の撮影機能に加え、動画像の撮影機能を有する撮像装置が登場している。これらのデジタル一眼レフカメラには、動画中に静止画撮影を可能にする機能を有する製品がある。また、動画撮影可能なデジタルカメラには背面に液晶ディスプレイが備えられているものが一般的であり、撮影者は背面の液晶ディスプレイを介して撮影対象となる被写体を観察しながら撮影を行うことができる。

また、動画および静止画の撮影を行う際に、所定の領域にピントを合わせる為の焦点調節動作を自動で行うオートフォーカス（以下ＡＦ）技術が知られている。オートフォーカス技術は大別すると位相差方式とコントラスト方式とに分類される。

位相差方式のＡＦは、レンズから入射した光束を分割し、それぞれの光束によって生成される像の間の位相のずれを検出し、検出された位相のずれに応じたピント調節を行う方式である。特許文献１では、一つの画素につき複数の光電変換部を構成することによって撮像面で瞳分割を行い、位相差方式のＡＦを実現する技術が開示されている。

コントラスト方式はレンズを動かしながら像を取得し、像のコントラストの振幅がピークを持つレンズ位置をピント位置としてレンズを駆動させる方式である。

ところで、一回の撮影で得られた画像データから、被写界の異なる距離にピントの合った画像を得る（再構成する）ことのできる技術が知られている。特許文献２では、結像光学系の射出瞳の異なる領域を通過した光束を撮像素子によって撮像し、前記異なる領域を通過した光束から得られる画像データを合成することによって、１回の撮影で任意の像面における像の画像データを生成する技術が開示されている。

特許第４０２７１１３号公報 特開２００７−４４７１号公報

しかしながら、動画撮影可能な撮像装置においてＡＦを行う場合には以下のような課題がある。

位相差方式のＡＦを動画撮影に適用した場合、レンズの高速な駆動と停止の動作が連続して行われることで、動画の品位が低下するという課題がある。

一方、コントラスト方式を動画撮影に適用した場合では、コントラストのピークを判定するために一度被写体のピント位置を通りすぎるように動作するため、表示している動画の品位が低下するという課題がある。

また、従来の一眼レフカメラ等のレンズ交換式カメラにおいては、静止画撮影を主用途として設計されたレンズを装着することも可能であり、このような静止画を主用途として設計されたレンズの駆動速度および駆動間隔は動画にとって必ずしも適したものではない。

そこで、本発明の目的は、動画の品位を保った表示や記録と自動焦点調節に適したレンズ制御とを同時に実現することを可能とした画像処理装置、画像処理方法およびプログラム、撮像装置を提供することである。

本発明によれば、フォーカスレンズを含む撮影光学系で形成された被写体の光学像を撮像手段で撮像して得られた、リフォーカス処理が可能な撮像データを処理する画像処理装置であって、リフォーカス処理が可能な撮像データを取得する撮像データ取得手段と、フォーカスレンズの位置の情報を取得するレンズ情報取得手段と、取得したフォーカスレンズの位置に対応する焦点面の位置の変化量に基づいて、取得した撮像データの表示画像の焦点面の位置を決定する焦点面決定手段と、決定された位置の焦点面におけるリフォーカス画像の画像データを、撮像データから生成するリフォーカス処理手段と、生成されたリフォーカス画像の画像データに基づいて、取得した撮像データの表示データを生成する表示データ生成手段とを備えることを特徴とする画像処理装置が提供される。

本発明によれば、フォーカスレンズ位置に関連する焦点面に対して表示、記録に用いる焦点面を別個に設定することで、品位の良い動画の表示、および再生を可能とする。

本発明の実施の形態に係る画像処理装置を適用した撮像装置の構成を示すブロック図 図１の撮像装置で用いる撮像素子の構成を説明するための図 図２の撮像素子における分割画素と入射光との関係を説明するための図 図１の撮像装置に本発明の第１の実施例に係る画像処理装置を適用した場合の動画撮影動作のフローチャートを示す図 図４の動画撮影動作の詳細なフローチャートを示す図 本発明の第１の実施例に係る仮想焦点面決定動作のフローチャートを示す図 本発明の第１の実施例に係る表示用仮想焦点面の決定構成を説明するための図 リフォーカス処理を説明するための図 本発明の第２の実施例に係わる仮想焦点面決定動作のフローチャートを示す図 本発明の第２の実施例に係る仮想焦点面決定動作の決定を説明するための図 本発明の第２の実施例の変形例に係わる仮想焦点面決定動作のフローチャートを示す図

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

［実施例１］
以下、図１から図８を参照して、本発明の第１の実施例に係る画像処理装置を適用した撮像装置を説明する。本撮像装置としては、デジタルカメラやビデオカメラなどがあるが、本実施例の画像処理装置は、多眼カメラ、ライトフィールドデータを取得可能なカメラの出力を処理するＰＣ等の情報処理装置にも適用可能であることは言うまでもない。

図１は、本実施例に係る画像処理装置を適用した撮像装置１００の構成を示すブロック図である。
図において、１０１はフォーカスレンズを含んで構成される撮影光学系であり、被写体からの光を複数のレンズ群および絞りを介して撮像素子１０２に導き、撮像素子１０２上に光学像を形成する。撮影光学系１０１に含まれるフォーカスレンズは、不図示のレンズ駆動制御部からの駆動命令またはピントリングの回転動作に基づいて駆動され、これによりピントの位置を調節することが可能である。

撮像素子１０２には複数のマイクロレンズが格子状に並べられており、各マイクロレンズ下には複数の光電変換部が備えられている。各マイクロレンズは撮影光学系１０１の射出瞳上を通る光束を瞳分割し、複数の光電変換部は前記マイクロレンズによって瞳分割された光束をそれぞれ受光するように設計されている。撮像素子１０２の詳細な構成については後述する。

１０３はＡ／Ｄ変換部であり、撮像素子から出力されたアナログ信号をデジタル信号へと変換する。

画像処理部１０４は、内部に後述する焦点検出部１０５、表示用仮想焦点面決定部１０６、リフォーカス画像生成部１０７を含む画像処理機能を有する回路及びプログラム群で構成される。画像処理部１０４は、カメラシステム制御部１０８からの制御命令に基づいて、Ａ／Ｄ変換部１０３から出力される撮像データに所定の画像処理を行い、記録用および表示用の画像データを生成する。

焦点検出部１０５は、Ａ／Ｄ変換部１０３を介して得られた撮像データに基づいて相関演算を行い、レンズ位置調節に用いる評価値を算出する。焦点検出部１０５により算出された評価値はカメラシステム制御部１０８を介してレンズ駆動命令へと変換され、撮影光学系１０１の駆動に用いられる。焦点検出部１０５の詳細な動作については後述する。

表示用仮想焦点面決定部１０６は、表示用の画像データを形成するときの焦点面の位置を決定する。表示用仮想焦点面決定部１０６の詳細な説明は後述するものとする。

リフォーカス画像生成部１０７は、Ａ／Ｄ変換部１０３から出力された撮像データの合成処理によって、実際の焦点面とは異なる焦点面（仮想焦点面）における画像（以降、リフォーカス画像と称する）を生成する回路である。リフォーカス画像生成部１０７の詳細な動作については後述する。

カメラシステム制御部１０８はカメラ全体の動作制御を行うほか、画像処理によって得られたデータや、撮影光学系１０１のレンズ位置情報の取得等を行い、各ブロック間のデータ仲介役としても機能する。なお、カメラシステム制御部の制御プログラムおよび必要なデータは予め不図示のメモリに格納されている。

操作手段１０９は撮像装置１００に備えられた各種スイッチやダイヤルなどの操作部材であり、撮影者は操作手段を用いて撮影パラメータの設定や撮影動作などを制御することが可能である。

表示手段１１０はＬＣＤ等の液晶ディスプレイであり、撮影時の画像や記憶手段１１１に記憶された画像データおよび各種設定画面などを表示する。

記憶手段１１１はＳＤカードやＣｏｍｐａｃｔＦｌａｓｈなどの記録媒体であり、画像処理部１０４によって生成される画像データを記録する。

次に、図２および図３を用いて撮像装置１００に構成される撮像素子１０２の構成を説明する。

図２（ａ）は撮像素子１０２の一部の領域を拡大した図であり、マイクロレンズアレイと画素の対応関係を示す図である。図中の円はマイクロレンズ２０１を示している。前記マイクロレンズ２０１に対応する矩形領域は画素である。撮像素子１０２にはマイクロレンズ２０１と画素とが２次元に配置されている。

次に、画素の構成について説明する。
図２（ｂ）は撮像素子１０２上の１画素を上面から観察した図である。図２（ｃ）は図２（ｂ）に示す線分Ｐ−Ｐ´における画素の断面図である。なお図２中で同一の部品には同一の番号を付している。
図２において、マイクロレンズ２０１は撮影光学系１０１の結像面近傍に配置され、撮影光学系から出力された光束を集光する。２０２および２０３は、光電変換部である。以降、２０２および２０３に示すような光電変換部を分割画素と呼称する。

図３に示すように、分割画素２０２および分割画素２０３は撮影光学系１０１の射出瞳３０１上の異なる領域３０２および３０３を通過した光束をそれぞれ受光する。なお、本実施例では光電変換部を２分割して分割画素を構成しているが、本発明の適用範囲はこれに限定されるものではなく、射出瞳上の異なる領域を通過した光束をそれぞれ独立して受光可能な構成であればよい。

次に、図４から図８を参照し、動画撮影時のカメラシステム制御部１０８の動作について説明する。

図４は、撮像装置１００における動画撮影の制御動作のフローチャートである。

撮像装置１００は操作手段１０９により動画撮影開始操作が実行されると以下の動画記録フローチャートを実行する。なお、本動作は、カメラシステム制御部１０８が、予め不図示のメモリに格納されている制御プログラムを実行することで行われる。

同図において、ステップＳ４０１では、カメラシステム制御部１０８が、操作手段１０９によって動画撮影の停止操作が行われたか否かを判定する。ステップＳ４０１で動画撮影の停止操作が行われていると判定した場合は、カメラシステム制御部１０８は、動画撮影動作を終了する。一方、ステップＳ４０１で停止操作が行われていなかった場合には、ステップＳ４０２に進む。

ステップＳ４０２の撮像データ取得では、カメラシステム制御部１０８が、撮像素子１０２およびＡ／Ｄ変換部１０３の駆動を制御して撮影対象領域の撮像データを取得する。

次にステップＳ４０３〜ステップＳ４０５で、カメラシステム制御部１０８は画像処理部１０４を制御して各ステップの処理を並列動作により実行する。

ステップＳ４０３の記録処理、ステップＳ４０４の表示処理、ステップＳ４０５の焦点調節処理に関しての詳細は後述する。なお、ステップＳ４０３〜ステップＳ４０５のそれぞれの処理は動画撮影停止操作が行われるまで繰り返される。

次にステップＳ４０３〜ステップＳ４０５それぞれの詳細な処理内容について説明する。

図５（ａ）、（ｂ）、（ｃ）は、それぞれ図４のＳ４０３〜ステップＳ４０５の処理のフローチャートである。

まず、図５（ａ）を参照してステップＳ４０３における記録処理について説明する。
記録処理が始まると、カメラシステム制御部１０８は画像処理部を制御して、ステップＳ４０２で取得した撮像データを所定の形式のデータに変換して圧縮し、記録用データを生成する。

次にステップＳ５０２では、カメラシステム制御部１０８は、ステップＳ５０１で生成された記録用データを撮像装置１００の不図示の記憶媒体スロットに挿入されている記憶手段１１１に記録し、記録処理を終了する。

次に、図５（ｂ）、図６、図７を用いてステップＳ４０４の表示データ生成の動作について説明する。

表示処理が始まると、最初に、ステップＳ５１１において表示用仮想焦点面決定部１０６による表示用仮想焦点面決定の処理を行う。

図６は、表示用仮想焦点面決定処理の詳細な動作のフローチャートを示す。本動作は、カメラシステム制御部１０８の制御の下で、表示用仮想焦点面決定部１０６で行われる。

表示用仮想焦点面決定処理が開始すると、ステップＳ６０１のレンズ情報取得で、カメラシステム制御部は、表示タイミングと同期して撮影光学系１０１の現在のレンズ位置情報を取得する。取得されたフォーカスレンズ位置は、撮像装置１００内の不図示のメモリに予め登録しておいた対応テーブルに基づいて焦点面の位置ｆｐ（以下、単に焦点面ｆｐと記す）と対応づけられる。

図７（ａ）は、動画撮影時のある時間における焦点面ｆｐの変位の例を示す図である。縦軸は焦点面の位置を、横軸は時間を表している。グラフ上の点線は表示フレームレートに応じて一意に決定される表示タイミングである。図ではフレームＦｒ（ｘ）とフレームＦｒ（ｘ＋１）の間にシーンの変化が発生し、フォーカスレンズが急峻な動作を起こし、焦点面が急峻に変化している。

次にステップＳ６０２で焦点面ｆｐの位置に基づいて、表示に最も適切な焦点面（理想焦点面と呼ぶ）の位置を、焦点面ｆｐに対して可変に決定する。理想焦点面の位置ｉｐは（以下、単に理想焦点面ｉｐと記す）、以下の式１によって決定する。
ｉｐ(ｘ) ＝ (ｆｐ(ｘ−１)＋ｆｐ(ｘ) )÷２ ・・・式１

上記の式において、ｘは表示タイミング（フレーム）を示す。即ち、現在の表示タイミングにおける焦点面ｆｐ（ｘ）と１つ前の表示タイミングにおける焦点面ｆｐ（ｘ−１）の加算平均により求められる値を（焦点面の変化量の平均値）理想焦点面ｉｐ（ｘ）として算出している。

図７（ｂ）は、図７（ａ）の各表示タイミングにおいて式１を適用して得られた理想焦点面ｉｐの変化を示す図である。式１を適用して得られる理想焦点面ｉｐの変化は、実際の焦点面の位置の変化率（図の直線の勾配）に比べて変化率が低くなっていることがわかる。なお、ここでは、説明の為に実際の焦点面ｆｐと１フレーム前のｆｐとの加算平均によって理想焦点面を求める例を示したが、理想焦点面の算出方法はこれに限定されるものではない。例えば、以下の式２に示すようにタップ数や係数を変更した移動平均処理を用いて理想焦点面を決定してもよい。
ｉｐ(ｘ) ＝ (ｆｐ(ｘ−２)＋(ｆｐ(ｘ−１)×２)＋ｆｐ(ｘ) )÷４ ・・・式２
また、以下の式３に示すように異なる複数のフレームにおける焦点面位置の二乗平均平方根を求めて理想焦点面を決定してもよい。
ｉｐ(ｘ) ＝√ (（ｆｐ(ｘ−１)＾２＋ｆｐ(ｘ)＾２）÷２) ・・・式３

また、表示に許容できる焦点面の変化量Ｌを予め定義しておき、現在の焦点面ｆｐの変化量に対して変化量Ｌの範囲内に制限するように理想焦点面を決定しても良い。また、本実施例において、焦点面の位置を求める為の手段としてレンズ位置情報を用いる例を説明した。しかし、本発明の範囲はこれに限定されるものではなく、他の光学情報を用いても良い。

次に、ステップＳ６０３においてリフォーカス可能な範囲を算出する。

リフォーカスの原理については後に詳細を述べるが、リフォーカス処理は分割画素群によって得られる撮像データを合成することによって実現する。従って、リフォーカス処理によってピントの合った像の撮像データを得られる領域は、分割画素によってピントが合っている像が得られる範囲であると言える。分割画素によってピントがあったように見える範囲とは、即ち被写界深度内に収まっている範囲である。本実施例における撮像素子１０２上の分割画素は、撮影光学系１０１の射出瞳を２分割するように設計されている。従って、分割画素によって取得できる被写界深度は撮影光学系１０１のＦ値よりも１段絞った状態での被写界深度となる。本実施例では、フォーカスレンズ位置とＦ値、焦点距離、被写界深度および焦点深度の関係を撮像装置１００内の不図示のメモリに予めテーブルとして保持しておき、フォーカスレンズ位置、Ｆ値、焦点距離から一意に被写界深度と焦点深度を決定可能とする。

図７（ｃ）は、図７（ａ）に対応するリフォーカス範囲を概念的に示す図である。
リフォーカス範囲Ｒｆ＿Ｒａｎｇｅは、実際の焦点面に対して像面から被写体側への深度Ｒｆ＿ｆａｒと、像面から更に後方への深度Ｒｆ＿ｎｅａｒとを合わせた範囲を持つ。

次にステップＳ６０４〜ステップＳ６０５で、算出された理想焦点面ｉｐがリフォーカス可能範囲Ｒｆ＿Ｒａｎｇｅに収まっているかどうかの比較判定を行い、その結果に従って表示用仮想焦点面ｆｐ＿ｏｕｔを次のように決定する。
ｉｐ≧Ｒｆ＿ｆａｒの時
ｆｐ＿ｏｕｔ＝ Ｒｆ＿ｆａｒ
ｉｐ≦Ｒｆ＿ｎｅａｒの時
ｆｐ＿ｏｕｔ＝ Ｒｆ＿ｎｅａｒ
Ｒｆ＿ｎｅａｒ＜ｉｐ＜Ｒｆ＿ｆａｒの時
ｆｐ＿ｏｕｔ＝ ｉｐ

この決定規則は、理想焦点面がリフォーカス範囲内に収まっている場合には理想焦点面を表示用仮想焦点面として決定し、収まっていない場合にはリフォーカス可能な範囲の限界を表示用仮想焦点面として決定する規則である。

図７（ｄ）は、図７（ａ）に示す複数のフレームにおけるリフォーカス可能範囲Ｒｆ＿Ｒａｎｇｅと理想焦点面ｉｐとの関係を示す図である。図中ではフレームＦｒ（ｘ＋１）において理想焦点面は、Ｒｆ＿ｎｅａｒより小さい値を取り、リフォーカス範囲外となっている。

図７（ｅ）はステップＳ６０４およびステップＳ６０５の比較判定結果に従って決定された表示用仮想焦点面ｆｐ＿ｏｕｔを示す図である。フレームＦｒ（ｘ＋１）の表示用仮想焦点面は、Ｒｆ＿ｎｅａｒ（ｘ＋１）の位置になっている。このようにステップＳ６０１〜ステップＳ６０５によって表示用仮想焦点面ｆｐ＿ｏｕｔが決定される。

次に、図５（ｂ）のステップＳ５１２において、リフォーカス画像生成部１０７よって、表示用仮想焦点面ｆｐ＿ｏｕｔに対応したリフォーカス画像生成処理を行う。リフォーカス画像生成処理はリフォーカス画像生成部１０７によって実現する。

ここで、リフォーカスの原理について説明する。

図８は、リフォーカス処理の動作を説明するための図である。
同図において、図８（ａ）は、撮像素子１０２のある領域における入射光と焦点面の撮像時における関係を示している。図８（ａ）は、焦点面がマイクロレンズ２０１のアレイ面にある場合の入射光を、実線、破線、点線などによりマイクロレンズごとに示している。撮像時の撮像素子の撮像面には、焦点の合った像が形成されている。そのときの各マイクロレンズに対応する２つの分割画素に入射する光線を同じ種類の線で示してある。図３で説明した射出瞳領域３０２および３０３を通過した光束はマイクロレンズにより瞳分割される。射出瞳領域３０２を通過した光束は分割画素８０２、８０４、８０６、８０８、８１０で、また射出瞳領域３０３を通過した光束は分割画素８０１、８０３、８０５，８０７、８０９でそれぞれ受光される。

図８（ｂ）は、図８（ａ）においてそれぞれの分割画素が受光する光束を模式的に示した図である。同一レンズ下の分割画素８０１および８０２、８０３および８０４、８０５および８０６、８０７および８０８、８０９および８１０をそれぞれ加算することによって同一の種類の線が結像した画像を得ることが出来る。

図８（ｃ）は、リフォーカス画像を生成する仮想焦点面１における入射光と分割画素との対応を示す図である。８０１〜８１０のそれぞれの分割画素は図８（ａ）で示した光線情報を有している。

図８（ｄ）は、仮想焦点面１におけるリフォーカス画像を、図８（ａ）で受光した信号から生成された画像データをシフトして加算することで生成する例を示している。それに従って図８（ａ）で得られた撮像データのシフト加算によって異なる線種の結像した撮像データを得ることで、図８（ｃ）に示す仮想焦点面１で取得できる画像データと等価なデータとして扱うことが出来る。

図８（ｅ）および（ｆ）は、図８（ｃ）および（ｄ）と逆方向にシフトして加算を行った例であり、仮想焦点面２で得られる撮像データと等価な撮像データとして扱うことが出来る。

このようにシフト加算構成を用いることで任意の被写体領域にピントの合ったリフォーカス画像を生成することが出来る。このリフォーカス処理を用いて本実施例の表示用仮想焦点面決定手段で決定した表示用仮想焦点面ｉｐに対応したリフォーカス画像を生成する。

なお、ここではマイクロレンズに対して分割画素が２つである場合の例を用いてリフォーカス処理を説明した。しかし、本発明の範囲はこれに限定されるものではなく、分割画素の分割数等の画素構造や光学系の構成に応じた再合成処理を行うことで表示用仮想焦点面に対応したリフォーカス画像を得ることができればよい。

また、説明の為に簡易なシフト加算演算によるリフォーカス処理の例を示したが、これに限定されるものではなく、別の方法を用いて各仮想焦点面におけるリフォーカス画像を得ても良い。例えば特許文献２に記載のように重み付け加算による処理を行うようにしても良い。

次に、ステップＳ５１３では、画像処理部１０４は、表示用仮想焦点面に基づいて生成されたリフォーカス画像に対し、リサイズ等の所定の画像処理を行い表示用の画像(表示データ)を生成する。

次に、ステップＳ５１４で、カメラシステム制御部１０８は、ステップＳ５１３で生成された表示用のリフォーカス画像を表示手段１１０に出力して表示処理を終了する。

次に図５（ｃ）を参照し、図４のステップＳ４０５における焦点調節動作について説明する。本動作は、カメラシステム制御部１０８による制御の下で、焦点検出部１０５によって行われる。

焦点調節処理が始まると、ステップＳ５２１で瞳分割像を生成する。撮像素子１０２の説明でも述べたが、一つのマイクロレンズ下の分割画素はそれぞれ射出瞳上の異なる領域を通過した光束を受光する。従って、各マイクロレンズに対して同一の位置関係にある分割画素の出力を集めることで一対の瞳分割された画像を得ることが出来る。

次に、ステップＳ５２２では、ステップＳ５２１で得られた瞳分割像に対して相関演算を行う。相関演算では、あらかじめ設定されたオートフォーカス領域周辺において、前記一対の瞳分割像を水平方向にシフトさせながら重なり合う画素毎の差分値の絶対値を積分することで評価値を取得する。なお、ここでは、評価値として各画素の差分の絶対値を用いる例について説明したが、差分値の２乗和、またはそれ以外の方法によって評価値を取得してもよい。

次にステップＳ５２３では前記相関演算の評価値が最も低くなる位置、すなわち瞳分割像の一致度が最も高くなる位置までの像のシフト量に基づいて撮影光学系１０１が駆動し、焦点調節処理を完了する。

以上説明したように、本実施例によれば、焦点調節に適したフォーカスレンズの駆動に基づく焦点面の変化率に対して、表示における焦点面の変化率を下げることが可能となる。これにより、従来と同様のレンズ駆動を行いながらも、撮影者に対しては表示画像の認識において負担の少ない動画像の表示を行うことが可能となる。

［実施例２］
次に図９、図１０を用いて本発明の第２の実施例について説明する。

本発明の第１の実施例では、被写体距離が切替ることで焦点面が特に大きく変化する場合、リフォーカス可能な範囲内にある表示用仮想焦点面も急峻に変化し、尚且つ、被写体にピントが合っていない表示となってしまう場合が発生する。例えば、第１の実施例で説明した図７（ｅ）のフレームＦｒ（ｘ）からフレームＦｒ（ｘ＋１）における焦点面の変化に対する表示用仮想焦点面ｆｐ＿ｏｕｔ（ｘ＋１）のような場合である。このような場合、第１の実施例では必ずしも撮影者に対して負担の少ない動画像の表示を行うことができるとは限らない。

そこで、本実施例は、被写体距離の切替りにより焦点面が特に大きく変化する場合には、表示用の焦点面をフォーカスレンズの位置に対応した焦点面とすることで、被写体にピントの合った表示を行うことを目的とする。

しかしながら、被写体距離の切替りによる焦点面の大きな変化が連続する場合、表示用の焦点面をフォーカスレンズ位置に対応した焦点面に制御してしまうと、撮影者とって好ましくない表示を可能にする。

よって、被写体距離の切替りによる焦点面の大きな変化が連続する場合は、表示用の焦点面を仮想焦点面とすることで撮影者に対して負担の少ない動画像の表示を行う。

第２の実施例における撮像装置の構成は、第１の実施例で説明した撮像装置１００の構成と同様であるので、ここでの説明は省略する。また、図５（ａ）、（ｂ）、（ｃ）に示す動画撮影時の記録処理、表示処理、焦点調節処理は、図５（ｂ）のステップＳ５１１に示す表示用仮想焦点面決定処理のサブルーチンを除いて、本実施例においても第１の実施例と同様であり、説明は省略する。

図９、図１０を用いて、本実施例の表示用仮想焦点面決定処理について説明する。
図９は、本実施例における表示用仮想焦点面決定処理のフローチャートである。
図１０（ａ）、（ｂ）、（ｃ）は、動画撮影時のある時間における焦点面の変位と表示フレーム間の変位量を示す図であり、それぞれ異なるシーンでの変位を示している。
また図１０（ｄ）、（ｅ）、（ｆ）は、図１０（ａ）、（ｂ）、（ｃ）それぞれのシーンにおける表示用仮想焦点面の変位を示している。
なお、図９、図１０は第１の実施例で説明した図６、図７と対応しており、既に説明を行った部分については同一の記号を付し、ここでの説明は省略する。

まず図９、図１０（ａ）、（ｄ）を参照し、被写体距離の切替りによる焦点面の大きな変化がない場合の表示用仮想焦点面決定処理について説明する。

図９に示す表示用仮想焦点面決定処理が開始されると、第１の実施例で説明したステップＳ６０１において表示用仮想焦点面決定部１０６が、現在の表示タイミング、フレームＦｒ（ｘ）における被写体までの距離情報に応じた焦点面位置情報ｆｐ（ｘ）を取得する。

次にステップＳ９０９において表示用仮想焦点面決定部１０６は、ステップＳ６０１で取得した焦点面の位置の所定時間内の変化量を、予め設定された閾値Ｄ(所定値)と比較して被写体距離の切替りが起きたかどうかを判定する。この判定処理を、図１０（ａ）を用いて説明する。

現在の表示タイミングであるフレームＦｒ（ｘ）における被写体距離の切替りが起きたかどうかの判定は、焦点面ｆｐ（ｘ）と１つ前の表示タイミングにおける焦点面ｆｐ（ｘ−１）との間に生じている変化量ｆｐ＿ｄｉｆｆ（ｘ）と、閾値Ｄの比較により行う。

変化量ｆｐ＿ｄｉｆｆ（ｘ）が閾値Ｄよりも大きい場合は、被写体距離の切替り有りと判定し、変化量ｆｐ＿ｄｉｆｆ（ｘ）が閾値Ｄよりも小さい場合は被写体距離の切替りなしと判定する。閾値Ｄは、被写体距離の切替りを検出するために予め定められた所定時間内の焦点面の変化量の閾値であり、撮像装置１００内の不図示のメモリに記憶されている。

次にステップＳ９１０において表示用仮想焦点面決定部１０６は、１つ前の表示タイミングであるフレームＦｒ（ｘ−１）において被写体距離の切替りが起きたかどうかを判定する。本実施例では、図１０（ａ）のフレームＦｒ（ｘ−１）における焦点面の変化量ｆｐ＿ｄｉｆｆ（ｘ−１）は閾値Ｄよりも小さいとする。したがって、ステップＳ９１０において表示用仮想焦点面決定部１０６は、フレームＦｒ（ｘ−１）において被写体距離の切替りがないと判定し、ステップＳ６０２に進む。

図１０（ａ）に示す焦点面の変化に対しては、表示用仮想焦点面決定部１０６がステップＳ６０２、Ｓ６０３、Ｓ６０４、Ｓ６０６、Ｓ６０８の各処理を第１の実子例と同様に行う。これにより、図１０（ｄ）に示す表示用仮想焦点面ｆｐ＿ｏｕｔ（ｘ−１）を決定し、表示用仮想焦点面決定処理を終了する。

ここで、図１０（ａ）の焦点面の変化量ｆｐ＿ｄｉｆｆ（ｘ）も閾値Ｄよりも小さいとすると、フレームＦｒ（ｘ＋１）における処理も同様となり、図１０（ｄ）に示す表示用仮想焦点面ｆｐ＿ｏｕｔ（ｘ）が決定される。

次に図９、図１０（ｂ）、（ｅ）を参照し、被写体距離の切替りによる焦点面の大きな変化が、所定時間内に一度だけ起きた場合の表示用仮想焦点面決定処理について説明する。

図１０（ｂ）に示すフレームＦｒ（ｘ−１）における焦点面の変化量ｆｐ＿ｄｉｆｆ（ｘ−１）は閾値Ｄよりも大きいとする。したがって、ステップＳ９１０において表示用仮想焦点面決定部１０６は、フレームＦｒ（ｘ−１）で被写体距離の切替りがあると判定し、ステップＳ９１１に進む。

ステップＳ９１１では、表示用仮想焦点面決定部１０６が、フレームＦｒ（ｘ）において被写体距離の切替りが起きているかどうかを判定する。即ち、被写体距離の切替りが連続して起きているかどうかを判定する。

図１０（ｂ）のフレームＦｒ（ｘ）における焦点面の変化はないため、ステップＳ９１１で表示用仮想焦点面決定部１０６は、フレームＦｒ（ｘ）において被写体距離の切替りなしと判定し、ステップＳ９１２に進む。

ステップＳ９１２は、表示用仮想焦点面決定部１０６が、図１０（ｅ）に示す表示用仮想焦点面ｆｐ＿ｏｕｔ（ｘ−１）を実際のフォーカスレンズ位置に対応した焦点面として決定し、表示用仮想焦点面決定処理を終了する。

なお、図１０（ｅ）に示す細線は、第１の実施例で説明したステップＳ６０２〜ステップＳ６０８の各処理で決定した場合の表示用仮想焦点面を示す。

図１０（ｂ）のフレームＦｒ（ｘ＋１）に対する処理では、ステップＳ９１０における表示用仮想焦点面決定部１０６が被写体距離の切替りなしと判定する。したがって、ステップＳ９１０以降はステップＳ６０２、Ｓ６０３、Ｓ６０４、Ｓ６０６、Ｓ６０８の各処理によって表示用仮想焦点面決定部１０６が表示用仮想焦点面を決定し、図１０（ｅ）に示す表示用仮想焦点面ｆｐ＿ｏｕｔ（ｘ）のようになる。

次に図９、図１０（ｃ）、（ｆ）を用いて、被写体距離の切替りが連続して起きている場合の表示用仮想焦点面決定処理について説明する。

図１０（ｃ）に示すフレームＦｒ（ｘ）、フレームＦｒ（ｘ−１）における焦点面の変化量ｆｐ＿ｄｉｆｆ（ｘ）、ｆｐ＿ｄｉｆｆ（ｘ−１）は閾値Ｄよりも大きいとする。したがって、ステップＳ９１０において表示用仮想焦点面決定部１０６はフレームＦｒ（ｘ−１）で被写体距離の切替りが起っていると判定し、ステップＳ９１１に進む。

ステップＳ９１１では、表示用仮想焦点面決定部１０６が、フレームＦｒ（ｘ）において被写体距離の切替りがあると判定し、ステップＳ６０２に進む。

被写体距離の切替りが連続している場合、第１の実施例と同様にステップＳ６０２〜ステップＳ６０８により表示用仮想焦点面決定部１０６が、表示用仮想焦点面ｆｐ＿ｏｕｔ（ｘ−１）を決定し、表示用仮想焦点面決定処理は終了する。

図１０（ｃ）に対しては、ステップＳ６０２、Ｓ６０３、Ｓ６０４、Ｓ６０５の各処理で表示用仮想焦点面決定部１０６は、表示用仮想焦点面ｆｐ＿ｏｕｔ（ｘ−１）を決定する。

図１０（ｃ）のフレームＦｒ（ｘ＋１）における処理では、フレームＦｒ（ｘ＋１）における焦点面の変化がないため、ステップＳ９１０では、被写体距離の切替りがあり、ステップＳ９１１では、被写体距離の切替りがなしと判定され、ステップＳ９１２に進む。

したがって、ステップＳ９１２で表示用仮想焦点面決定部１０６は、図１０（ｅ）に示す表示用仮想焦点面ｆｐ＿ｏｕｔ（ｘ）を実際のフォーカスレンズ位置に対応した焦点として決定する。

フレームＦｒ（ｘ＋１）以降も同様に、被写体距離の切替りが連続して起きているかどうかの判定に基づいて、表示用仮想焦点面決定部１０６が、図１０（ｄ）、（ｅ）、（ｆ）に示すように、表示用仮想焦点面ｆｐ＿ｏｕｔを決定する。

以述したように、本実施例によれば、被写体距離の切替りが起きなければ表示における焦点面は、第１の実施例で説明した仮想焦点面となるように制御され、被写体距離の切替りが起きた場合には、フォーカスレンズ位置に対応した焦点面となるように制御される。

また、被写体距離の切替りが連続しているかどうかも判定し、被写体距離の切替りが連続している場合には、表示における焦点面が仮想焦点面となるように制御される。

即ち、本実施例では被写体距離の切替りにより、焦点面が特に大きく変化する状態に対しては、表示用の焦点面をフォーカスレンズ位置に対応した焦点面とすることで、被写体にピントが合った画像の表示を行っている。

一方、被写体追従等による比較的小さな焦点面の変化に対しては、表示用の焦点面が仮想焦点面になるように制御され、撮影者に対して負担の少ない動画像の表示を行うことが可能となる。

さらに、主被写体の前を他の被写体が横切った場合などにおいて、一時的に他の被写体にピントが合ってしまい、再び主被写体にピントを合わせるといった焦点面の急峻な変化の連続を軽減し、撮影者には観察に適した画像を表示することが可能となる。

なお、ここでは説明の為に焦点面の所定時間内の変化量を１フレーム間の変化とする例を示したが、これに限定されるものではない。例えば、所定数のフレームや所定の時間期間としてもよい。

また、本実施例では動画撮影中に表示画像の焦点面を決定する方法について説明した為、被写体距離の切替りの判定処理において過去フレームに対する焦点面の変化量を用いた。しかし、記録された動画像を再生する場合には、前後の表示フレームとの焦点面の変化量を用いてもよい。

同様に、被写体距離切替り連続判定処理においても過去のフレームにおける焦点面の変化量を用いたが、記録された動画像を再生する場合には、表示フレーム前後との焦点面の変化量から被写体距離の切替りの連続を判定してもよい。

また、被写体距離の切替りが起きたフレームの次フレームで被写体距離の切替りが起きた場合に被写体距離の切替りが連続したと判定する例を示したが、これに限定されるものではない。例えば、被写体距離の切替りが起きたフレームから任意の複数フレーム内に被写体距離の切替りが再度起きた場合に被写体距離の切替りが連続したと判定してもよい。

また、本実施例では被写体距離の切替りが起きた場合おいて、表示用の焦点面をフォーカスレンズ位置に対応した焦点面に制御する例を示したが、これに限定されるものではない。図１０（ｇ）のｆｐ＿ｏｕｔ（ｘ−１）のように、フォーカスレンズ位置に対応する焦点面の駆動方向側の仮想焦点面に制御してもよい。なお、図１０（ｇ）に示す細線は、本実施例で説明した被写体距離の切替りが起きた場合の表示用仮想焦点面を示す。これにより被写体が変化した場合において、より速くピントの合った画像の表示が可能となる。

［第２の実施例の変形例］
次に図１１を用いて、本発明の第２の実施例の変形例について説明する。
本変形例によれば、自動車などの移動速度の速いものが被写体として撮影されている場合において、表示画像の焦点面をフォーカスレンズ位置に対応する焦点面に制御し、被写体に追従してピントのあった表示をすることを可能とする。

第２の実施例では表示用仮想焦点面決定部１０６が、被写体距離の切替りを焦点面の所定時間内の変化量と予め定められた閾値Ｄとの比較によって判定し、被写体距離の切替りが連続する場合は表示における焦点面を仮想焦点面となるように制御した。

これに対して本変形例では、第２の実施例の処理に加えて、表示用仮想焦点面決定部１０６が、焦点面の変化量ｆｐ＿ｄｉｆｆの相関性に基づいて、被写体距離の切替りの連続を判定する機能をさらに備えている。

本変形例における撮像装置の構成は、実施例１および２で説明した撮像装置１００の構成と同様であるので、ここでは説明しない。

また、図５（ａ）、（ｂ）、（ｃ）に示す動画撮影時の記録処理、表示処理、焦点調節処理は、図５（ｂ）のステップＳ５１１に示す表示用仮想焦点面決定処理のサブルーチンを除いて第１および第２の実施例と同様の動作を行うので、ここでの説明は省略する。

図１１は、本変形例における表示用仮想焦点面決定処理のフローチャートである。本フローチャートは、第２の実施例に係わる図９のフローチャートと、ステップＳ１１１３が追加されている点においてのみ異なる。

なお、図１１は、第１および第２の実施例で説明した図６および図９と対応しており、既に説明を行った部分については同一の記号を付し、詳細な説明を省略する。

図１１に示すように、ステップＳ９１１で表示用仮想焦点面決定部１０６が、被写体距離の切替り有りと判定した場合にはステップＳ１１１３に進み、被写体距離の切替りがないと判定した場合はステップＳ９１２に進む。

ステップＳ１１１３では、表示用仮想焦点面決定部１０６が、フレームＦｒ（ｘ−１）、フレームＦｒ（ｘ）における被写体距離の切替りに相関性があるかどうかを判定する。即ち、フレームＦｒ（ｘ−１）における焦点面の変化量ｆｐ＿ｄｉｆｆ（ｘ−１）とフレームＦｒ（ｘ）における焦点面の変化量ｆｐ＿ｄｉｆｆ（ｘ）に相関性があるかどうかを判定する。相関性に判定の詳細は後述する。

ステップＳ１１１３で表示用仮想焦点面決定部１０６が、被写体距離の切替りに相関性があると判定した場合はステップＳ９１２に進み、被写体距離の切替りに相関性がないと判定した場合はステップＳ６０２に進む。

ステップＳ９１２に進んだ場合、表示用仮想焦点面決定部１０６は、表示用仮想焦点面ｆｐ＿ｏｕｔ（ｘ−１）をフォーカスレンズ位置に対応した焦点面に決定し、表示用仮想焦点面決定処理を終了する。

ステップＳ６０２に進んだ場合、ステップＳ６０２〜ステップＳ６０８により表示用仮想焦点面決定部１０６が表示用仮想焦点面ｆｐ＿ｏｕｔ（ｘ−１）を決定し、表示用仮想焦点面決定処理は終了する。

次に被写体距離の切替りにおける相関性の判定について説明する。
本変形例では、相関性を、変化量相関と方向相関との２つとする。まず、変化量相関について説明する。
変化量の相関性は、焦点面の変化量ｆｐ＿ｄｉｆｆ（ｘ−１）とｆｐ＿ｄｉｆｆ（ｘ）の差分が閾値Ｎ以下（所定量以下）の場合に変化量の相関性があると判定し、閾値Ｎよりも大きい場合は変化量の相関性がないと判定する。
閾値Ｎは、連続する被写体距離の切替りに相関性があるかを判定するために予め定められた閾値であり、第１の実施例で説明した閾値Ｄと同様に撮像装置１００内の不図示のメモリに記憶されている。

次に方向の相関について説明する。
例えば、フォーカスレンズが至近側に駆動した場合の焦点面の変化量を＋ｆｐ＿ｄｉｆｆ、無限遠側に駆動して変化した場合の焦点面の変化量を−ｆｐ＿ｄｉｆｆと定義する。
そして、フレームＦｒ（ｘ−１）とフレームＦｒ（ｘ）における焦点面の変化量ｆｐ＿ｄｉｆｆの符号が等しい場合に方向の相関性があると判定し、符号が異なる場合は方向の相関性がないと判定する。

本変形例では、ステップＳ１１１３で表示用仮想焦点面決定部１０６が、変化量と方向の両方に相関性があると判定した場合に、被写体距離の切替りに相関性があると判定している。また、どちらか一方でも相関性がないと判定した場合は、被写体距離の切替りに相関性がないと判定している。即ち、フレームＦｒ（ｘ−１）とフレームＦｒ（ｘ）における焦点面の変化量が大きく、被写体距離の切替りが連続したと判定される場合でも、焦点面の変化に相関性があれば表示における焦点面がフォーカスレンズ位置に対応した焦点面となるように制御する。

以上説明したように、本変形例では、自動車などの移動速度の速いものが被写体として撮影されている場合には、表示における焦点面をフォーカスレンズ位置に対応する焦点面にしている。これにより、撮影者に対して負担の少ない動画像の表示を行いながらも、撮影者の意図した被写体に追従してピントのあった表示をすることが可能となる。

本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給することによっても達成される。すなわち、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても本件発明の目的が達成されることは言うまでもない。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、コンピュータが読み出したプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ(基本システム或いはオペレーティングシステム)などが実際の処理の一部又は全部を行うことによっても前述した実施形態の機能が実現される。この場合も本件発明に含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づく処理も本件発明に含まれる。すなわち、機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等がプログラムコードの指示に基づき実際の処理の一部又は全部を行って前述した実施形態の機能を実現する場合も本件発明に含まれることは言うまでもない。

上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

Claims (19)

1. フォーカスレンズを含む撮影光学系で形成された被写体の光学像を撮像手段で撮像して得られた、リフォーカス処理が可能な撮像データを処理する画像処理装置であって、
   リフォーカス処理が可能な撮像データを取得する撮像データ取得手段と、
   フォーカスレンズの位置の情報を取得するレンズ情報取得手段と、
   取得したフォーカスレンズの位置に対応する焦点面の位置の変化量に基づいて、取得した撮像データの表示画像の焦点面の位置を決定する焦点面決定手段と、
   決定された位置の焦点面におけるリフォーカス画像の画像データを、撮像データから生成するリフォーカス処理手段と、
   生成されたリフォーカス画像の画像データに基づいて、取得した撮像データの表示データを生成する表示データ生成手段と
   を備えることを特徴とする画像処理装置。
2. 前記焦点面決定手段によって決定される焦点面には、前記変化量の平均に基づく第１の焦点面と、前記フォーカスレンズの位置に対応する第２の焦点面とが含まれることを特徴とする請求項１に記載の画像処理装置。
3. 前記焦点面決定手段によって決定される焦点面には、前記変化量よりも急峻な変化量をもつ第３の焦点面が更に含まれることを特徴とする請求項２に記載の画像処理装置。
4. 前記フォーカスレンズの位置に対応する焦点面の変化量は、前記表示画像のフレームの前もしくは後の少なくとも一方の所定数のフレームもしくは所定の時間期間における前記フォーカスレンズの位置に対応する焦点面の位置の変化量であることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記焦点面決定手段は、前記変化量が所定値より小さい場合には、前記表示画像の焦点面を前記第１の焦点面とし、前記変化量が前記所定値より大きい場合には、前記表示画像の焦点面を前記第２の焦点面と前記第３の焦点面のいずれかとすることを特徴とする請求項３に記載の画像処理装置。
6. 前記焦点面決定手段は、前記所定値より大きい変化量が連続している場合には、前記表示画像の焦点面を前記第１の焦点面とすることを特徴とする請求項５に記載の画像処理装置。
7. 前記焦点面決定手段は、前記所定値より大きい変化量が連続している場合には、前記連続した変化量の差分と変化の方向に基づいた前記連続する変化量の相関に従って前記表示画像の焦点面を前記第１の焦点面の位置と前記第２の焦点面の位置と前記第３の焦点面の位置のいずれかに決定することを特徴とする請求項６に記載の画像処理装置。
8. 前記焦点面決定手段は、前記変化量の差分が所定量以下で、かつ前記変化の方向が同じ場合に、前記表示画像の焦点面を前記第２の焦点面の位置とし、それ以外の場合には、前記表示画像の焦点面を前記第１の焦点面とすることを特徴とする請求項７に記載の画像処理装置。
9. 前記焦点面決定手段は、さらに前記撮影光学系の情報を取得し、前記撮影光学系の情報に基づいて前記リフォーカス処理におけるリフォーカス可能な範囲を決定し、前記決定されたリフォーカス可能な範囲に基づいて焦点面の位置を制限することを特徴とする請求項１乃至８のいずれか一項に記載の画像処理装置。
10. 前記焦点面決定手段は、決定された焦点面の位置が前記リフォーカス可能な範囲にない場合には、前記決定された焦点面の位置を前記リフォーカス可能な範囲の限界の位置とすることを特徴とする請求項９記載の画像処理装置。
11. 前記撮像データ取得手段は、記録媒体から再生された、リフォーカス処理が可能な撮像データを取得することを特徴とする請求項１乃至１０のいずれか一項に記載の画像処理装置。
12. フォーカスレンズを含む撮影光学系で形成された被写体の光学像を撮像手段で撮像して得られた、リフォーカス処理が可能な撮像データを処理する画像処理装置の制御方法であって、
    前記リフォーカス処理が可能な撮像データを取得する撮像データ取得ステップと、
    前記フォーカスレンズの位置の情報を取得するレンズ情報取得ステップと、
    前記取得したフォーカスレンズの位置に対応する焦点面の位置の変化量に基づいて、取得した撮像データの表示画像の焦点面の位置を決定する焦点面決定ステップと、
    前記決定された位置の焦点面におけるリフォーカス画像の画像データを、前記撮像データから生成するリフォーカス処理ステップと、
    前記生成されたリフォーカス画像の画像データに基づいて、前記取得した撮像データの表示データを生成する表示データ生成ステップと
    を備えることを特徴とする制御方法。
13. 前記焦点面決定ステップにおいて決定される焦点面には、前記変化量の平均に基づく第１の焦点面と、前記フォーカスレンズの位置に対応する第２の焦点面とが含まれることを特徴とする請求項１２に記載の画像処理装置の制御方法。
14. 前記焦点面決定ステップにおいて決定される焦点面には、前記変化量よりも急峻な変化量をもつ第３の焦点面が更に含まれることを特徴とする請求項１３に記載の画像処理装置の制御方法。
15. フォーカスレンズを含む撮影光学系で形成された被写体の光学像を撮像手段で撮像して得られた、リフォーカス処理が可能な撮像データを処理する画像処理装置を制御するプログラムであり、
    コンピュータを、
    前記リフォーカス処理が可能な撮像データを取得する撮像データ取得手段、
    前記フォーカスレンズの位置の情報を取得するレンズ情報取得手段、
    前記取得したフォーカスレンズの位置に対応する焦点面の位置の変化量の情報に基づいて、前記取得した撮像データの表示画像の焦点面の位置を決定する焦点面決定手段、
    前記決定された位置の焦点面におけるリフォーカス画像の画像データを、前記撮像データから生成するリフォーカス処理手段、
    前記生成されたリフォーカス画像の画像データに基づいて、前記取得した撮像データの表示データを生成する表示データ生成手段
    として機能させるためのプログラム。
16. 請求項１５のプログラムを記録したコンピュータが読み取り可能な記憶媒体。
17. コンピュータを、請求項１乃至１１のいずれか一項に記載された画像処理装置の各手段として機能させるプログラム。
18. コンピュータを、請求項１乃至１１のいずれか一項に記載された画像処理装置の各手段として機能させるプログラムを格納した記憶媒体。
19. フォーカスレンズを含む撮影光学系で形成された被写体の光学像を撮像してリフォーカス処理が可能な撮像データを生成する撮像手段と、
    前記フォーカスレンズの位置の情報を取得するレンズ情報取得手段と、
    前記取得したフォーカスレンズの位置に対応する焦点面の位置の変化量の情報に基づいて、前記撮像手段で生成された撮像データの表示画像の焦点面の位置を決定する焦点面決定手段と、
    前記決定された位置の焦点面におけるリフォーカス画像の画像データを、前記撮像データから生成するリフォーカス処理手段と、
    前記生成されたリフォーカス画像の画像データに基づいて、前記生成された撮像データの表示データを生成する表示データ生成手段と、
    前記表示データを表示する表示手段と
    を備えることを特徴とする撮像装置。

Images