JP6581333B2 - 画像処理装置、撮像装置およびプログラム - Google Patents

Description

本発明は、画像処理装置に関し、特に、画像データの再構成を利用して当該画像データの表示データを生成する画像処理装置および当該画像処理装置、画像処理方法およびプログラムに関する。

近年のデジタル一眼レフカメラには静止画の撮影機能に加え、動画像の撮影機能を有する撮像装置が登場している。これらのデジタル一眼レフカメラには、動画中に静止画撮影を可能にする機能を有する製品がある。また、動画撮影可能なデジタルカメラには背面に液晶ディスプレイが備えられているものが一般的であり、撮影者は背面の液晶ディスプレイを介して撮影対象となる被写体を観察しながら撮影を行うことができる。

また、動画および静止画の撮影を行う際に、所定の領域にピントを合わせる為の焦点調節動作を自動で行うオートフォーカス（以下ＡＦ）技術が知られている。オートフォーカス技術は大別すると位相差方式とコントラスト方式とに分類される。

位相差方式のＡＦは、レンズから入射した光束を分割し、それぞれの光束によって生成される像の間の位相のずれを検出し、検出された位相のずれに応じたピント調節を行う方式である。特許文献１では、一つの画素につき複数の光電変換部を構成することによって撮像面で瞳分割を行い、位相差方式のＡＦを実現する技術が開示されている。

コントラスト方式はレンズを動かしながら像を取得し、像のコントラストの振幅がピークを持つレンズ位置をピント位置としてレンズを駆動させる方式である。

ところで、一回の撮影で得られた画像データから、被写界の異なる距離にピントの合った画像を得る（再構成する）ことのできる技術が知られている。特許文献２では、結像光学系の射出瞳の異なる領域を通過した光束を撮像素子によって撮像し、前記異なる領域を通過した光束から得られる画像データを合成することによって、１回の撮影で任意の像面における像の画像データを生成する技術が開示されている。

特許第４０２７１１３号公報 特開２００７−４４７１号公報

しかしながら、動画撮影可能な撮像装置においてＡＦを行う場合には以下のような課題がある。

位相差方式のＡＦを動画撮影に適用した場合、レンズの高速な駆動と停止の動作が連続して行われることで、動画の品位が低下するという課題がある。

一方、コントラスト方式を動画撮影に適用した場合では、コントラストのピークを判定するために一度被写体のピント位置を通りすぎるように動作するため、表示している動画の品位が低下するという課題がある。

また、従来の一眼レフカメラ等のレンズ交換式カメラにおいては、静止画撮影を主用途として設計されたレンズを装着することも可能であり、このような静止画を主用途として設計されたレンズの駆動速度および駆動間隔は動画にとって必ずしも適したものではない。

そこで、本発明の目的は、動画の品位を保った表示や記録と自動焦点調節に適したレンズ制御とを同時に実現することを可能とした画像処理装置、画像処理方法およびプログラムを提供することである。

本発明によれば、リフォーカス処理が可能な時系列の撮像データを取得する撮像データ取得手段と、リフォーカス処理が可能な時系列の撮像データのそれぞれに対応する焦点面の位置に基づいて、リフォーカス処理における焦点面の位置を決定する焦点面決定手段と、前記焦点面決定手段により決定された焦点面の位置におけるリフォーカス画像データを生成するリフォーカス処理手段とを備えることを特徴とする画像処理装置が提供される。

本発明によれば、フォーカスレンズ位置に関連する焦点面に対して表示や記録に用いる焦点面を別個に設定することで、品位の良い動画の表示、および再生を可能とする。

本発明の実施の形態に係る画像処理装置を適用した撮像装置の構成を示すブロック図 図１の撮像装置で用いる撮像素子の構成を説明するための図 図２の撮像素子における分割画素と入射光との関係を説明するための図 図１の撮像装置に本発明の第１の実施例に係る画像処理装置を適用した場合の動画撮影動作のフローチャートを示す図 図４の動画撮影動作の詳細なフローチャートを示す図 本発明の第１の実施例に係る仮想焦点面決定動作のフローチャートを示す図 本発明の第１の実施例に係る表示用仮想焦点面の決定構成を説明するための図 リフォーカス処理を説明するための図 図１の撮像装置に本発明の第２の実施例に係る画像処理装置を適用した場合の動画撮影動作のフローチャートを示す図 本発明の第２の実施例に係る仮想焦点面決定動作のフローチャートを示す図

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

以下、図１から図８を参照して、本発明の第１の実施例に係る画像処理装置を適用した撮像装置を説明する。本撮像装置としては、デジタルカメラやビデオカメラなどがあるが、本実施例の画像処理装置は、多眼カメラ、ライトフィールドデータを取得可能なカメラの出力を処理するＰＣ等の情報処理装置にも適用可能であることは言うまでもない。

図１は、本実施例に係る画像処理装置を適用した撮像装置１００の構成を示すブロック図である。

図１において、１０１はフォーカスレンズを含んで構成される撮像光学系であり、被写体からの光を複数のレンズ群および絞りを介して撮像素子１０２に導き、撮像素子１０２上に被写体像を形成する。撮像光学系１０１に含まれるフォーカスレンズは、不図示のレンズ駆動制御部からの駆動命令またはピントリングの回転動作に基づいて駆動され、これによりピントの位置を調節することが可能である。

撮像素子１０２には複数のマイクロレンズが格子状に並べられており、各マイクロレンズ下には複数の光電変換部が備えられている。各マイクロレンズは撮像光学系１０１の射出瞳上を通る光束を瞳分割し、複数の光電変換部は前記マイクロレンズによって瞳分割された光束をそれぞれ受光するように設計されている。撮像素子１０２の詳細な構成については後述する。

１０３はＡ／Ｄ変換部であり、撮像素子から出力されたアナログ信号をデジタル信号へと変換する。

画像処理部１０４は、内部に後述する焦点検出部１０５、表示用仮想焦点面決定部１０６、リフォーカス画像生成部１０７を含む画像処理機能を有する回路及びプログラム群で構成される。画像処理部１０４は、カメラシステム制御部１０８からの制御命令に基づいて、Ａ／Ｄ変換部１０３から出力される撮像データに所定の画像処理を行い、記録用および表示用の画像データを生成する。

焦点検出部１０５は、Ａ／Ｄ変換部１０３を介して得られた撮像データに基づいて相関演算を行い、レンズ位置調節に用いる評価値を算出するプログラムである。焦点検出部１０５により算出された評価値はカメラシステム制御部１０８を介してレンズ駆動命令へと変換され、撮像光学系１０１の駆動に用いられる。焦点検出部１０５の詳細な動作については後述する。

表示用仮想焦点面決定部１０６は、表示用の画像データを形成するときの焦点面の位置を決定するプログラムである。表示用仮想焦点面決定部１０６の詳細な説明は後述するものとする。

リフォーカス画像生成部１０７は、Ａ／Ｄ変換部１０３から出力された撮像データの合成処理によって、実際の焦点面とは異なる焦点面（仮想焦点面）における画像（以降、リフォーカス画像と称する）を生成する回路である。リフォーカス画像生成部１０７の詳細な動作については後述する。

カメラシステム制御部１０８はカメラ全体の動作制御を行うほか、画像処理によって得られたデータや、撮像光学系１０１のレンズ位置情報の取得等を行い、各ブロック間のデータ仲介役としても機能する。なお、カメラシステム制御部の制御プログラムおよび必要なデータは予め不図示のメモリに格納されている。

操作手段１０９は撮像装置１００に備えられた各種スイッチやダイヤルなどの操作部材であり、撮影者は操作手段を用いて撮影パラメータの設定や撮影動作などを制御することが可能である。

表示手段１１０はＬＣＤ等の液晶ディスプレイであり、撮影時の画像や記憶手段１１１に記憶された画像データおよび各種設定画面などを表示する。

記憶手段１１１はＳＤカードやＣｏｍｐａｃｔＦｌａｓｈなどの記録媒体であり、画像処理部１０４によって生成される画像データを記録する。

次に、図２および図３を用いて撮像装置１００に構成される撮像素子１０２の構成を説明する。

図２（ａ）は撮像素子１０２の一部の領域を拡大した図であり、マイクロレンズアレイと画素の対応関係を示す図である。図中の円はマイクロレンズ２０１を示している。前記マイクロレンズ２０１に対応する矩形領域は画素である。撮像素子１０２にはマイクロレンズ２０１と画素とが２次元に配置されている。

次に、画素の構成について説明する。
図２（ｂ）は撮像素子１０２上の１画素を上面から観察した図である。図２（ｃ）は図２（ｂ）に示す線分Ｐ−Ｐ´における画素の断面図である。なお図２中で同一の部品には同一の番号を付している。

図２において、マイクロレンズ２０１は撮像光学系１０１の結像面近傍に配置され、撮像光学系から出力された光束を集光する。２０２および２０３は、光電変換部である。以降、２０２および２０３に示すような光電変換部を分割画素と呼称する。

図３に示すように、分割画素２０２および分割画素２０３は撮像光学系１０１の射出瞳３０１上の異なる領域３０２および３０３を通過した光束をそれぞれ受光する。なお、本実施例では光電変換部を２分割して分割画素を構成しているが、本発明の適用範囲はこれに限定されるものではなく、射出瞳上の異なる領域を通過した光束をそれぞれ独立して受光可能な構成であればよい。

次に、図４から図８を参照し、動画撮影時のカメラシステム制御部１０８の動作について説明する。

図４は、撮像装置１００における動画撮影の制御動作のフローチャートである。
撮像装置１００は操作手段１０９により動画撮影開始操作が実行されると以下の動画記録フローチャートを実行する。なお、本動作は、カメラシステム制御部１０８が、予め不図示のメモリに格納されている制御プログラムを実行することで行われる。

同図において、ステップＳ４０１では、カメラシステム制御部１０８が、操作手段１０９によって動画撮影の停止操作が行われたか否かを判定する。ステップＳ４０１で動画撮影の停止操作が行われていると判定した場合は、カメラシステム制御部１０８は、動画撮影動作を終了する。一方、ステップＳ４０１で停止操作が行われていなかった場合には、ステップＳ４０２に進む。

ステップＳ４０２の撮像データ取得では、カメラシステム制御部１０８が、撮像素子１０２およびＡ／Ｄ変換部１０３の駆動を制御して撮影対象領域の撮像データを取得する。

次にステップＳ４０３〜ステップＳ４０５で、カメラシステム制御部１０８は画像処理部１０４を制御して各ステップの処理を並列動作により実行する。
ステップＳ４０３の記録処理、ステップＳ４０４の表示処理、ステップＳ４０５の焦点調節処理に関しての詳細は後述する。なお、ステップＳ４０３〜ステップＳ４０５のそれぞれの処理は動画撮影停止操作が行われるまで繰り返される。

次にステップＳ４０３〜ステップＳ４０５それぞれの詳細な処理内容について説明する。

図５（ａ）（ｂ）（ｃ）は、それぞれ図４のＳ４０３〜ステップＳ４０５の処理のフローチャートである。

まず、図５（ａ）を参照してステップＳ４０３における記録処理について説明する。
記録処理が始まると、カメラシステム制御部１０８は画像処理部を制御して、ステップＳ４０２で取得した撮像データを所定の形式のデータに変換して圧縮し、記録用データを生成する。

次にステップＳ５０２では、カメラシステム制御部１０８は、ステップＳ５０１で生成された記録用データを撮像装置１００の不図示の記憶媒体スロットに挿入されている記憶手段１１１に記録し、記録処理を終了する。

次に、図５（ｂ）、図６、図７を用いてステップＳ４０４の表示データ生成および表示制御の動作について説明する。

表示処理が始まると、最初に、ステップＳ５１１において表示用仮想焦点面決定部１０６による表示用仮想焦点面決定の処理を行う。

図６は、表示用仮想焦点面決定処理の詳細な動作のフローチャートを示す。本動作は、カメラシステム制御部１０８の制御の下で、表示用仮想焦点面決定部１０６で行われる。

表示用仮想焦点面決定処理が開始すると、ステップＳ６０１のレンズ情報取得(光学情報取得)で、カメラシステム制御部は、表示タイミングと同期して撮像光学系１０１の現在のレンズ位置情報を取得する。取得されたフォーカスレンズ位置は、撮像装置１００内の不図示のメモリに予め登録しておいた対応テーブルに基づいて焦点面の位置ｆｐ（以下、単に焦点面ｆｐと記す）と対応づけられる。

図７（ａ）は、動画撮影時のある時間における焦点面ｆｐの変位の例を示す図である。縦軸は焦点面の位置を、横軸は時間を表している。グラフ上の点線は表示フレームレートに応じて一意に決定される表示タイミングである。図７ではフレームＦｒ（ｘ）とフレームＦｒ（ｘ＋１）の間にシーンの変化が発生し、フォーカスレンズが急峻な動作を起こし、焦点面が急峻に変化している。

次にステップＳ６０２で焦点面ｆｐの位置に基づいて、表示に最も適切な焦点面（理想焦点面と呼ぶ）の位置を、焦点面ｆｐに対して可変に決定する。理想焦点面の位置ｉｐは（以下、単に理想焦点面ｉｐと記す）、以下の式１によって決定する。
ｉｐ(ｘ) ＝ (ｆｐ(ｘ−１)＋ｆｐ(ｘ) )÷２ ・・・式１

上記の式において、ｘは表示タイミング（フレーム）を示す。即ち、現在の表示タイミングにおける焦点面ｆｐ（ｘ）と１つ前の表示タイミングにおける焦点面ｆｐ（ｘ−１）の加算平均により求められる値を、理想焦点面ｉｐ（ｘ）として算出している。

図７（ｂ）は、図７（ａ）の各表示タイミングにおいて式１を適用して得られた理想焦点面ｉｐの変化を示す図である。式１を適用して得られる理想焦点面ｉｐの変化は、実際の焦点面の位置の変化率（図の直線の勾配）に比べて変化率が低くなっていることがわかる。なお、ここでは、説明の為に実際の焦点面ｆｐと１フレーム前のｆｐとの加算平均によって理想焦点面を求める例を示したが、理想焦点面の算出方法はこれに限定されるものではない。例えば、以下の式２に示すようにタップ数や係数を変更した移動平均処理を用いて理想焦点面を決定してもよい。
ｉｐ(ｘ) ＝ (ｆｐ(ｘ−２)＋(ｆｐ(ｘ−１)×２)＋ｆｐ(ｘ) )÷４ ・・・式２
また、以下の式３に示すように異なる複数のフレームにおける焦点面位置の平均二乗和の平方根を求めて理想焦点面を決定してもよい。
ｉｐ(ｘ) ＝√ (（ｆｐ(ｘ−１)＾２＋ｆｐ(ｘ)＾２）÷２) ・・・式３

また、表示に許容できる焦点面の変化量Ｌを予め定義しておき、現在の焦点面ｆｐの変化量に対して変化量Ｌの範囲内に制限するように理想焦点面を決定しても良い。
また、本実施例において、焦点面の位置を求める為の手段としてレンズ位置情報を用いる例を説明した。しかし、本発明の範囲はこれに限定されるものではなく、他の光学情報を用いても良い。

次に、ステップＳ６０３においてリフォーカス可能な範囲を算出する。
リフォーカスの原理については後に詳細を述べるが、リフォーカス処理は分割画素群によって得られる撮像データを合成することによって実現する。従って、リフォーカス処理によってピントの合った像の撮像データを得られる領域は、分割画素によってピントが合っている像が得られる範囲であると言える。分割画素によってピントがあったように見える範囲とは、即ち被写界深度内に収まっている範囲である。本実施例における撮像素子１０２上の分割画素は、撮像光学系１０１の射出瞳を２分割するように設計されている。従って、分割画素によって取得できる被写界深度は撮像光学系１０１のＦ値よりも１段絞った状態での被写界深度となる。本実施例では、フォーカスレンズ位置とＦ値、焦点距離、被写界深度および焦点深度の関係を撮像装置１００内の不図示のメモリに予めテーブルとして保持しておき、フォーカスレンズ位置、Ｆ値、焦点距離から一意に被写界深度と焦点深度を決定可能とする。

図７（ｃ）は、図７（ａ）に対応するリフォーカス範囲を概念的に示す図である。
リフォーカス範囲Ｒｆ＿Ｒａｎｇｅは、実際の焦点面に対して像面から被写体側への深度Ｒｆ＿ｆａｒと、像面から更に後方への深度Ｒｆ＿ｎｅａｒとを合わせた範囲を持つ。

次にステップＳ６０４〜ステップＳ６０５で、算出された理想焦点面ｉｐがリフォーカス可能範囲Ｒｆ＿Ｒａｎｇｅに収まっているかどうかの比較判定を行い、その結果に従って表示用仮想焦点面ｆｐ＿ｏｕｔを次のように決定する。
ｉｐ≧Ｒｆ＿ｆａｒの時
ｆｐ＿ｏｕｔ＝ Ｒｆ＿ｆａｒ
ｉｐ≦Ｒｆ＿ｎｅａｒの時
ｆｐ＿ｏｕｔ＝ Ｒｆ＿ｎｅａｒ
Ｒｆ＿ｎｅａｒ＜ｉｐ＜Ｒｆ＿ｆａｒの時
ｆｐ＿ｏｕｔ＝ ｉｐ

この決定規則は、理想焦点面がリフォーカス範囲内に収まっている場合には理想焦点面を表示用仮想焦点面として決定し、収まっていない場合にはリフォーカス可能な範囲の限界を表示用仮想焦点面として決定する規則である。

図７（ｄ）は、図７（ａ）に示す複数のフレームにおけるリフォーカス可能範囲Ｒｆ＿Ｒａｎｇｅと理想焦点面ｉｐとの関係を示す図である。図中ではフレームＦｒ（ｘ＋１）において理想焦点面は、Ｒｆ＿ｎｅａｒより小さい値を取り、リフォーカス範囲外となっている。

図７（ｅ）はステップＳ６０４およびステップＳ６０５の比較判定結果に従って決定された表示用仮想焦点面ｆｐ＿ｏｕｔを示す図である。フレームＦｒ（ｘ＋１）の表示用仮想焦点面は、Ｒｆ＿ｎｅａｒ（ｘ＋１）の位置になっている。このようにステップＳ６０１〜ステップＳ６０５によって表示用仮想焦点面ｆｐ＿ｏｕｔが決定される。

次に、図５（ｂ）のステップＳ５１２において、リフォーカス画像生成部１０７によって、表示用仮想焦点面ｆｐ＿ｏｕｔに対応したリフォーカス画像生成処理を行う。リフォーカス画像生成処理はリフォーカス画像生成部１０７によって実現する。

ここで、リフォーカスの原理について説明する。
図８は、リフォーカス処理の動作を説明するための図である。

同図において、図８（ａ）は、撮像素子１０２のある領域における入射光と焦点面の撮像時における関係を示している。図８（ａ）は、焦点面がマイクロレンズ２０１のアレイ面にある場合の入射光を、実線、破線、点線などによりマイクロレンズごとに示している。撮像時の撮像素子の撮像面には、焦点の合った像が形成されている。そのときの各マイクロレンズに対応する２つの分割画素に入射する光線を同じ種類の線で示してある。図３で説明した射出瞳領域３０２および３０３を通過した光束はマイクロレンズにより瞳分割される。射出瞳領域３０２を通過した光束は分割画素８０２、８０４、８０６、８０８、８１０で、また射出瞳領域３０３を通過した光束は分割画素８０１、８０３、８０５，８０７、８０９でそれぞれ受光される。

図８（ｂ）は、図８（ａ）においてそれぞれの分割画素が受光する光束を模式的に示した図である。同一レンズ下の分割画素８０１および８０２、８０３および８０４、８０５および８０６、８０７および８０８、８０９および８１０をそれぞれ加算することによって同一の種類の線が結像した画像を得ることが出来る。

図８（ｃ）は、リフォーカス画像を生成する仮想焦点面１における入射光と分割画素との対応を示す図である。８０１〜８１０のそれぞれの分割画素は図８（ａ）で示した光線情報を有している。

図８（ｄ）は、仮想焦点面１におけるリフォーカス画像を、図８（ａ）で受光した信号から生成された画像データをシフトして加算することで生成する例を示している。それに従って図８（ａ）で得られた撮像データのシフト加算によって異なる線種の結像した撮像データを得ることで、図８（ｃ）に示す仮想焦点面１で取得できる画像データと等価なデータとして扱うことが出来る。

図８（ｅ）および（ｆ）は、図８（ｃ）および（ｄ）と逆方向にシフトして加算を行った例であり、仮想焦点面２で得られる撮像データと等価な撮像データとして扱うことが出来る。

このようにシフト加算構成を用いることで任意の被写体領域にピントの合ったリフォーカス画像を生成することが出来る。このリフォーカス処理を用いて本実施例の表示用仮想焦点面決定手段で決定した表示用仮想焦点面ｉｐに対応したリフォーカス画像を生成する。

なお、ここではマイクロレンズに対して分割画素が２つである場合の例を用いてリフォーカス処理を説明した。しかし、本発明の範囲はこれに限定されるものではなく、分割画素の分割数等の画素構造や光学系の構成に応じた再合成処理を行うことで表示用仮想焦点面に対応したリフォーカス画像を得ることができればよい。

また、説明の為に簡易なシフト加算演算によるリフォーカス処理の例を示したが、これに限定されるものではなく、別の方法を用いて各仮想焦点面におけるリフォーカス画像を得ても良い。例えば特許文献２に記載のように重み付け加算による処理を行うようにしても良い。

次に、ステップＳ５１３では、画像処理部１０４は、表示用仮想焦点面に基づいて生成されたリフォーカス画像に対し、リサイズ等の所定の画像処理を行い表示用の画像(表示データ)を生成する。

次に、ステップＳ５１４で、カメラシステム制御部１０８は、ステップＳ５１３で生成された表示用のリフォーカス画像を表示手段１１０に出力して表示処理を終了する。

次に図５（ｃ）を参照し、図４のステップＳ４０５における焦点調節動作について説明する。本動作は、カメラシステム制御部１０８による制御の下で、焦点検出部１０５によって行われる。

焦点調節処理が始まると、ステップＳ５２１で瞳分割像を生成する。撮像素子１０２の説明でも述べたが、一つのマイクロレンズ下の分割画素はそれぞれ射出瞳上の異なる領域を通過した光束を受光する。従って、各マイクロレンズに対して同一の位置関係にある分割画素の出力を集めることで一対の瞳分割された画像を得ることが出来る。

次に、ステップＳ５２２では、ステップＳ５２１で得られた瞳分割像に対して相関演算を行う。相関演算では、あらかじめ設定されたオートフォーカス領域周辺において、前記一対の瞳分割像を水平方向にシフトさせながら重なり合う画素毎の差分値の絶対値を積分することで評価値を取得する。なお、ここでは、評価値として各画素の差分の絶対値を用いる例について説明したが、差分値の２乗和、またはそれ以外の方法によって評価値を取得してもよい。

次にステップＳ５２３では前記相関演算の評価値が最も低くなる位置、すなわち瞳分割像の一致度が最も高くなる位置までの像のシフト量に基づいて撮像光学系１０１が駆動し、焦点調節処理を完了する。

以上説明したように、本実施例によれば、焦点調節に適したフォーカスレンズの駆動に基づく焦点面の変化率に対して、表示における焦点面の変化率を下げることが可能となる。これにより、従来と同様のレンズ駆動を行いながらも、撮影者に対しては表示画像の認識において負担の少ない動画像の表示を行うことが可能となる。

次に図９〜１０を用いて本発明の第２の実施例について説明する。
第２の実施例では、第１の実施例で説明した撮像装置１００において動画撮影中に静止画撮影を行う場合の表示画像の焦点面の変化率の制御構成について説明する。なお、撮像装置１００の構成は第１の実施例と同様であるが、本実施例では、動画撮影動作において不図示のシャッターボタンが半押し状態になるとＡＦ等の予備動作を行い、シャッターボタンが全押し状態になると静止画の撮影処理動作が行われる構成となっている。

図９（ａ）（ｂ）（ｃ）は、それぞれ本実施例における動画撮影動作での記録処理、表示処理および焦点調節処理の動作のフローチャートを示す。なお、図９は、第１の実施例で説明した図５と対応しており、既に説明を行った部分については同一の符号を付し、ここでの詳細な説明を省略する。

まず、図９（ａ）を参照し記録処理の動作を説明する。
記録処理が開始されると、ステップＳ９０３でカメラシステム制御部１０８は、シャッターボタンが全押しされているかどうかを判定する。全押し状態になっている場合は、ステップＳ９０４で、カメラシステム制御部１０８は、ステップＳ４０２で取得された撮像データを所定の形式のデータに変換して圧縮し、静止画用の記録データを生成する。

ステップＳ９０４で生成された静止画用の記録データは、ステップＳ９０５においてカメラシステム制御部１０８により記録媒体に保存される。すなわち、シャッターボタンが全押し状態でなければ動画像データのみを記録し、シャッターボタンが全押し状態の場合は動画像データに加えて静止画データを記録するように制御する。

次に、図９（ｂ）に示す表示処理の動作について説明する。
本実施例の表示処理の動作は、ステップＳ９１１に示す表示用仮想焦点面決定処理が異なる点を除いて第１の実施例と同様である。

図１０は、本実施例における表示用仮想焦点面決定処理のフローチャートである。なお、同図は第１の実施例で説明した図６と対応しており、既に説明を行った部分については同一の記号を付し、ここでの説明を省略する。

Ｓ９１１の表示用仮想焦点面決定処理が開始されると、ステップＳ１００９でカメラシステム制御部１０８は、シャッターボタンが半押しであるか否かを判定する。シャッターボタンが半押し状態でない場合には、Ｓ１０１０で表示用仮想焦点面決定部１０６は、表示用仮想焦点面を実際のレンズの焦点面と同じ位置に決定する。なお、この場合、レンズの焦点面の変化率は、図９（ｃ）に示すように、レンズの駆動量を制限することで制御する。

シャッターボタンが半押し状態の場合には、第１の実施例で説明したステップＳ６０１〜ステップＳ６０８により表示用仮想焦点面を決定する。すなわち、シャッターボタンが半押し状態でなければ、レンズ位置に対応した焦点面を表示用仮想焦点面とし、シャッターボタンが半押し状態の場合は、レンズ位置に対してリフォーカス可能な範囲内で表示用仮想焦点面を決定するよう制御する。

次に、図９（ｃ）に示す焦点調節処理の動作について説明する。
焦点調節処理が開始すると、第１の実施例と同様に、ステップＳ５２１〜Ｓ５２３によって現在のレンズ位置から被写体に合焦するレンズ位置までのレンズ駆動量を算出する。次に、ステップＳ９２５でカメラシステム制御部１０８は、シャッターボタンが半押し状態になっているか否かを判定する。シャッターボタンが半押しになっている場合には、ステップＳ５２４に進む。半押し状態になっていない場合は、ステップＳ９２６に進み、レンズ駆動量の絶対値が予め設定された閾値Ｌよりも小さいかどうかを判定する。閾値Ｌは、レンズの急峻な動作に起因した動画の品位低下を低減するために予め定められたレンズの駆動量の閾値であり、不図示のメモリに記憶されている。

レンズ駆動量の絶対値が閾値Ｌよりも小さい場合にはステップＳ５２４に進み、ステップＳ５２３で算出したレンズの駆動量分だけレンズを駆動させて焦点調節処理を終了する。

レンズの駆動量の絶対値が閾値Ｌ以上である場合にはステップＳ９２７に進み、レンズの駆動量を±閾値Ｌで上書きする。閾値Ｌの符号は、現在のレンズ位置からのレンズ駆動方向によって決定される。例えば至近側を＋、無限遠側を−と定義すると、合焦レンズ位置が現在のレンズ位置よりも無限遠側にあり、かつレンズの駆動量がＬ以上の場合は−Ｌが駆動量として上書きされる。同様に合焦レンズ位置が現在のレンズ位置よりも至近側にあり、かつレンズの駆動量の絶対値がＬ以上の場合は＋Ｌが駆動量として上書きされる。

最後にステップＳ５２４でレンズの駆動量分だけレンズを駆動し、焦点調節処理を終了する。すなわち、本実施例では、シャッターボタンが半押し状態でなければ±Ｌの駆動範囲内でレンズを駆動し、シャッターボタンが半押し状態の場合は合焦位置まで高速でレンズを駆動するように制御する。

以上説明した本実施例によれば、動画撮影中に静止画の撮影予備動作（即ちシャッターボタンが半押し状態）においては高速な焦点調節を行いながらも、撮影者には観察に適した画像を表示することが可能となる。他方、撮影予備動作の指示がなくて動画撮影が行われているときは、レンズ駆動量を制限することで焦点面の急激な変化を抑制し、表示画像の画質を補償している。

また、上述した第１及び第２の実施例では、表示用仮想焦点面決定処理を用いて表示画像の焦点面を決定する構成について説明したが、表示用仮想焦点面決定処理で決定される焦点面を記録データの焦点面として用いることも可能である。即ち、リフォーカス画像生成部１０７で生成されたリフォーカス画像の画像データから記録データを生成してもよい。これにより、記録データを再生して表示したときの表示画像の画質を向上することが可能となる。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給することによっても達成される。すなわち、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても本件発明の目的が達成されることは言うまでもない。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、コンピュータが読み出したプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（基本システム或いはオペレーティングシステム）などが実際の処理の一部又は全部を行うことによっても前述した実施形態の機能が実現される。この場合も本件発明に含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づく処理も本件発明に含まれる。すなわち、機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等がプログラムコードの指示に基づき実際の処理の一部又は全部を行って前述した実施形態の機能を実現する場合も本件発明に含まれることは言うまでもない。

上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

Claims (25)

1. リフォーカス処理が可能な時系列の撮像データを取得する撮像データ取得手段と、
   リフォーカス処理が可能な時系列の撮像データのそれぞれに対応する焦点面の位置に基づいて、リフォーカス処理における焦点面の位置を決定する焦点面決定手段と、
   前記焦点面決定手段により決定された焦点面の位置におけるリフォーカス画像データを生成するリフォーカス処理手段と
   を備えることを特徴とする画像処理装置。
2. 前記焦点面決定手段は、前記リフォーカス処理が可能な時系列の撮像データにおける焦点面の位置の遷移の敏感度よりも低い敏感度を持つように、リフォーカス処理における焦点面の位置を決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記焦点面決定手段は、前記リフォーカス処理が可能な時系列の撮像データにおける焦点面の位置の移動平均に基づいて、リフォーカス処理における焦点面の位置を決定することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記焦点面決定手段は、前記リフォーカス処理が可能な時系列の撮像データにおける焦点面の位置の加算平均に基づいて、リフォーカス処理における焦点面の位置を決定することを特徴とする請求項１又は２に記載の画像処理装置。
5. 前記焦点面決定手段は、前記リフォーカス処理が可能な時系列の撮像データにおける焦点面の位置の二乗平均平方根に基づいて、リフォーカス処理における焦点面の位置を決定することを特徴とする請求項１又は２に記載の画像処理装置。
6. 前記焦点面決定手段は、前記リフォーカス処理における焦点面の位置と、リフォーカス可能な範囲とを比較する比較手段を有し、リフォーカス処理における焦点面の位置がリフォーカス可能な範囲を超えていることが前記比較手段によって判定された場合には、リフォーカス処理における焦点面の位置をリフォーカス可能な範囲に収まるような焦点面の位置に補正することを特徴とする請求項２乃至５のいずれか１項に記載の画像処理装置。
7. 前記取得された撮像データの記録データを生成する記録データ生成手段を更に備え、
   前記記録データ生成手段は、前記リフォーカス処理手段により生成されたリフォーカス画像の画像データに基づいて前記記録データを生成することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記取得された撮像データの表示データを生成する表示データ生成手段を更に備え、
   前記表示データ生成手段は、前記リフォーカス処理手段により生成されたリフォーカス画像の画像データに基づいて前記表示データを生成することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
9. 前記リフォーカス処理が可能な時系列の撮像データは、デジタルカメラ、ビデオカメラ、多眼カメラ、ライトフィールドデータを取得可能なカメラのいずれかから出力されることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記リフォーカス処理が可能な時系列の撮像データは、複数のマイクロレンズの下に複数の分割画素が対応付けて設けられた撮像素子から生成されることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
11. フォーカシングレンズを含む撮影光学系の射出瞳の異なる領域を通過した光束をそれぞれ受光する複数の分割画素を備える画素が２次元に配列された撮像素子と、
    前記複数の分割画素で取得された時系列の撮像データのそれぞれに対応する焦点面の位置に基づいて、リフォーカス処理における焦点面の位置を決定する焦点面決定手段と、
    前記焦点面決定手段により決定された焦点面の位置におけるリフォーカス画像データを生成するリフォーカス処理手段と、
    を有することを特徴とする撮像装置。
12. 撮影動作を制御するためのシャッターボタンを更に備え、
    前記焦点面決定手段は、前記シャッターボタンが半押し状態に操作されたとき、前記フォーカシングレンズの位置に対してリフォーカス可能な範囲内で前記焦点面の位置を決定するとともに、前記シャッターボタンが前記半押し状態でないとき、前記フォーカシングレンズの位置に対応して前記焦点面の位置を決定することを特徴とする請求項１１に記載の撮像装置。
13. 前記シャッターボタンが前記半押し状態に操作されたとき、前記焦点面決定手段の動作を実際の焦点面の位置の遷移の敏感度よりも低い敏感度を持つように、前記焦点面の位置を決定することを特徴とする請求項１２に記載の撮像装置。
14. 撮影動作を制御するためのシャッターボタンを更に備え、
    前記シャッターボタンが半押し状態でないとき、前記焦点面決定手段の動作を実際の焦点面の位置と同等の焦点面の位置になるように、前記焦点面の位置を決定することを特徴とする請求項１１に記載の撮像装置。
15. 前記複数の分割画素から得られる撮像データに基づいて焦点状態を検出する焦点検出手段と、
    前記焦点検出手段によって検出された焦点状態に基づいて決定されるレンズ目標位置までフォーカシングレンズを駆動するレンズ駆動手段とを更に有し、
    前記レンズ駆動手段は、リフォーカス可能な範囲内に収まるようにレンズを目標位置まで駆動することを特徴とする請求項１１に記載の撮像装置。
16. コンピュータに、
    リフォーカス処理が可能な時系列の撮像データを取得するステップと、
    リフォーカス処理が可能な時系列の撮像データのそれぞれに対応する焦点面の位置に基づいて、リフォーカス処理における焦点面の位置を決定するステップと、
    前記焦点面を決定するステップにおいて決定された焦点面の位置におけるリフォーカス画像データを生成するステップと
    を実行させるためのプログラム。
17. 前記焦点面を決定するステップでは、前記リフォーカス処理が可能な時系列の撮像データにおける焦点面の位置の遷移の敏感度よりも低い敏感度を持つように、リフォーカス処理における焦点面の位置を決定することを特徴とする請求項１６に記載のプログラム。
18. 前記焦点面を決定するステップでは、前記リフォーカス処理が可能な時系列の撮像データにおける焦点面の位置の移動平均に基づいて、リフォーカス処理における焦点面の位置を決定することを特徴とする請求項１６又は１７に記載のプログラム。
19. 前記焦点面を決定するステップでは、前記リフォーカス処理が可能な時系列の撮像データにおける焦点面の位置の加算平均に基づいて、リフォーカス処理における焦点面の位置を決定することを特徴とする請求項１６又は１７に記載のプログラム。
20. 前記焦点面を決定するステップでは、前記リフォーカス処理が可能な時系列の撮像データにおける焦点面の位置の二乗平均平方根に基づいて、リフォーカス処理における焦点面の位置を決定することを特徴とする請求項１６又は１７に記載のプログラム。
21. 前記焦点面を決定するステップは、前記リフォーカス処理における焦点面の位置と、リフォーカス可能な範囲とを比較するステップを有し、リフォーカス処理における焦点面の位置がリフォーカス可能な範囲を超えていることが、前記リフォーカス処理における焦点面の位置と、リフォーカス可能な範囲とを比較するステップにおいて判定された場合には、リフォーカス処理における焦点面の位置をリフォーカス可能な範囲に収まるような焦点面の位置に補正することを特徴とする請求項１７乃至２０のいずれか１項に記載のプログラム。
22. 前記取得された撮像データの記録データを生成するステップを更に備え、
    前記記録データを生成するステップでは、前記リフォーカス画像データを生成するステップにおいて生成されたリフォーカス画像の画像データに基づいて前記記録データを生成することを特徴とする請求項１６乃至２１のいずれか１項に記載のプログラム。
23. 前記取得された撮像データの表示データを生成するステップを更に備え、
    前記表示データを生成するステップでは、前記リフォーカス画像データを生成するステップにおいて生成されたリフォーカス画像の画像データに基づいて前記表示データを生成することを特徴とする請求項１６乃至２１のいずれか１項に記載のプログラム。
24. 前記リフォーカス処理が可能な時系列の撮像データは、デジタルカメラ、ビデオカメラ、多眼カメラ、ライトフィールドデータを取得可能なカメラのいずれかから出力されることを特徴とする請求項１６乃至２３のいずれか１項に記載のプログラム。
25. 前記リフォーカス処理が可能な時系列の撮像データは、複数のマイクロレンズの下に複数の分割画素が対応付けて設けられた撮像素子から生成されることを特徴とする請求項１６乃至２３のいずれか１項に記載のプログラム。

Images