JP5943785B2 - 撮像装置、撮像システム、画像処理装置、および、撮像装置の制御方法 - Google Patents

Description

本発明は、入力画像の再構成を行うことによりピント位置の異なる複数の出力画像を生成可能な撮像装置に関する。

近年、撮像素子で取得されたデータに対して演算を行い、それに応じたデジタル画像処理を行うことで様々な画像の出力を行う撮像装置が提案されている。特許文献１には、「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ」を用いて、被写体空間の光の２次元強度分布と光線の角度情報、つまり視差情報を同時に取得する撮像装置が開示されている。光の２次元強度分布と光線の角度情報は、合わせてライトフィールドと呼ばれ、ライトフィールドを取得することで被写体空間の３次元的な情報を得ることができる。取得したライトフィールドを用いて画像の再構成処理を行うことにより、リフォーカスと呼ばれる画像のピント位置の制御、視点変更、被写界深度の制御などが可能となる。

また特許文献２には、カメラアレイを用いてライトフィールドを取得し、リフォーカスを行う構成が開示されている。

特許第４７５２０３１号 国際公開ＷＯ０８／０５０９０４号パンフレット

しかしながら、特許文献１、２に開示されている撮像装置では、ユーザは、撮影時または画像編集時に、リフォーカス可能な範囲（リフォーカス範囲）を把握することができない。このため、ユーザは、意図した撮影や編集を行うことが困難である。

そこで本発明は、ユーザがリフォーカス範囲を容易に把握可能な撮像装置、撮像システム、画像処理装置、および、撮像装置の制御方法を提供する。

本発明の一側面としての撮像装置は、ライトフィールドの情報を含む入力画像をリフォーカス処理することによりピント位置の異なる複数の出力画像を生成可能な撮像装置であって、入力画像を取得する入力画像取得部と、前記入力画像から表示画像を生成する画像処理部と、前記表示画像を表示する表示部を有し、前記画像処理部は、前記入力画像の画像取得条件に関する情報を用いて前記ピント位置を制御可能なリフォーカス範囲を取得し、前記リフォーカス範囲に関する情報を含む前記表示画像を生成し、前記ライトフィールドの情報は、被写体空間の光の２次元強度分布と光線の角度情報であり、前記入力画像の画像取得条件に関する情報は、前記入力画像を取得したときの前記入力画像取得部の絞り状態、フォーカス位置、焦点距離の少なくとも一つに関する情報である。

本発明の他の側面としての撮像システムは、ライトフィールドの情報を含む入力画像をリフォーカス処理することによりピント位置の異なる複数の出力画像を生成可能な撮像システムであって、入力画像を取得する入力画像取得装置と、前記入力画像から表示画像を生成する画像処理装置と、前記表示画像を表示する表示装置を有し、前記画像処理装置は、前記入力画像の画像取得条件に関する情報を用いて前記ピント位置を制御可能なリフォーカス範囲を取得し、前記リフォーカス範囲に関する情報を含む前記表示画像を生成し、前記ライトフィールドの情報は、被写体空間の光の２次元強度分布と光線の角度情報であり、前記入力画像の画像取得条件に関する情報は、前記入力画像を取得したときの前記入力画像取得部の絞り状態、フォーカス位置、焦点距離の少なくとも一つに関する情報である。

本発明の他の側面としての画像処理装置は、ライトフィールドの情報を含む入力画像をリフォーカス処理することによりピント位置の異なる複数の出力画像を生成可能な画像処理装置であって、前記入力画像から表示画像を生成する画像処理部と、前記表示画像を表示する表示部を有し、前記画像処理部は、前記入力画像の画像取得条件に関する情報を用いて前記ピント位置を制御可能なリフォーカス範囲を取得し、前記リフォーカス範囲に関する情報を含む前記表示画像を生成し、前記ライトフィールドの情報は、被写体空間の光の２次元強度分布と光線の角度情報であり、前記入力画像の画像取得条件に関する情報は、前記入力画像を取得したときの前記入力画像取得部の絞り状態、フォーカス位置、焦点距離の少なくとも一つに関する情報である。

本発明の他の側面としての撮像装置の制御方法は、ライトフィールドの情報を含む入力画像をリフォーカス処理することによりピント位置の異なる複数の出力画像を生成可能な撮像装置の制御方法であって、結像光学系および撮像素子を介して入力画像を取得するステップと、前記入力画像の画像取得条件に関する情報を用いて前記ピント位置を制御可能なリフォーカス範囲を取得するステップと、前記リフォーカス範囲に関する情報を含む表示画像を生成するステップと、前記表示画像を表示部に表示するステップを含み、前記ライトフィールドの情報は、被写体空間の光の２次元強度分布と光線の角度情報であり、前記入力画像の画像取得条件に関する情報は、前記入力画像を取得したときの前記入力画像取得部の絞り状態、フォーカス位置、焦点距離の少なくとも一つに関する情報である。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、ユーザがリフォーカス範囲を容易に把握できる撮像装置、撮像システム、画像処理装置、および、撮像装置の制御方法を提供することができる。

実施例１乃至３における撮像装置のブロック図である。 実施例１における視差画像取得部の概略構成図である。 実施例２における視差画像取得部の概略構成図である。 実施例２における別形態の視差画像取得部の概略構成図である。 実施例３における視差画像取得部の概略構成図である。 実施例１における視差画像取得部の断面図である。 実施例１におけるリフォーカス画像の生成に関する説明図である。 実施例１におけるピント制御範囲の説明図である。 実施例１乃至４において、撮影の際（撮影前）にピント制御範囲をユーザに提示する場合のフローチャートである。 実施例１乃至４において、画像編集の際にピント制御範囲をユーザに提示する場合のフローチャートである。 実施例１の視差画像取得部における光学配置の説明図である。 実施例１乃至４において、撮影シーンの一例を示す図である。 実施例１乃至４における表示画像の説明図である。 実施例２における視差画像取得部の断面図である。 実施例２におけるリフォーカス画像の生成に関する説明図である。 実施例２におけるピント制御範囲の説明図である。 実施例３における視差画像取得部の物体側から見た断面図である。 実施例３における結像光学系の断面図である。 実施例３におけるピント制御範囲の説明図である。 実施例４における撮像装置（撮像システム）のブロック図である。 実施例４における撮像装置（撮像システム）の概略構成図である。 実施例４における単視点画像取得部のブロック図である。 実施例４における結像光学系の断面図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

本実施形態における撮像装置は、入力画像を再構成することによりピント位置の異なる複数の出力画像を生成可能な撮像装置である。本実施形態における視差画像取得部（入力画像取得部）は、被写体空間を複数の視点から撮影して得られた視差画像（入力画像）、すなわちライトフィールドを取得する。本実施形態における視差画像取得部の例として、図２乃至図４に示されるように結像光学系の像側にレンズアレイを配置した構成、または、図５に示されるように複数の結像光学系を配列した構成などがある。一方、視差画像（ライトフィールド）の取得方法として、結像光学系および撮像素子を有する撮像装置を用いて、撮像装置の位置を変化させながら複数回撮影を行う方法が考えられる。このような方法で取得された視差画像は、互いに異なる時間における被写体空間を撮像して取得された画像である。このため、被写体空間に移動物体が存在する場合、正しい視差情報を得ることができない。したがって、視差画像取得部は、図２乃至図５に示されるように、視差画像の全体（複数の視差画像）を同時に取得可能な構成であることが望ましい。

図２乃至図５の構成により取得された視差画像に対して、画素の抽出や並び換え、合成などの処理を行うことにより、リフォーカスや被写界深度制御、視点の変更などが可能である。本実施形態では、このような処理（入力画像の少なくとも一部を用いて出力画像を得るための処理）を再構成処理という。また、再構成処理により生成された画像を再構成画像（出力画像）という。特に、視差画像に対するリフォーカス処理を行って得られた画像（出力画像）を合成画像という。合成画像は、ノイズリダクションなどの処理や、被写界深度制御などの再構成処理が施されているものであってもよい。また、被写体空間でリフォーカス可能な範囲、すなわちピント位置が制御可能な範囲をピント制御範囲（リフォーカス範囲）という。後述のように、ピント制御範囲は、画像処理部により取得される。また、画像処理部は、入力画像の少なくとも一部を用いて、ピント制御範囲に関する情報を含む表示画像を生成する。

本実施形態において、図２乃至図５の被写体面２０１上には、人物や物体が必ずしも存在していなくてよい。これは、撮影後のリフォーカス処理（再構成処理）によって、被写体面２０１より奥または手前に存在する人物や物体にピントを合わせるように、ピント位置を制御できるためである。なお、以下の各実施例において、簡単のために１次元系を用いて説明する場合があるが、各実施例は２次元系に関しても同様に適用可能である。

まず、本発明の実施例１における撮像装置について説明する。図１は、本実施例における撮像装置１０のブロック図である。図２は、撮像装置１０の視差画像取得部１００（入力画像取得部、撮像部）の概略構成図である。

図２に示されるように、視差画像取得部１００は、物体側（被写体面側）から順に、結像光学系１０１、レンズアレイ１０２、および、撮像素子１０３を備えて構成されている。結像光学系１０１は、被写体面２０１からの光線を像側共役面へ結像する。レンズアレイ１０２は、像側共役面に配置されている。撮像素子１０３は、複数の画素を備えている。また、レンズアレイ１０２は、被写体面２０１の同一位置からの光線を、この光線が通過する結像光学系１０１の瞳領域に応じて、撮像素子１０３の互いに異なる画素に入射させるように構成されている。

このような構成により、視差画像取得部１００は、視差画像（入力画像）を取得する。撮像素子１０３は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの２次元撮像素子である。結像光学系１０１およびレンズアレイ１０２を通過して撮像素子１０３へ入射した光線のエネルギーは、撮像素子１０３における光電変換によって、アナログ電気信号（アナログ信号）へ変換される。Ａ／Ｄコンバータ１０４は、このアナログ信号をデジタル信号へ変換し、画像処理部１０５へ出力する。画像処理部１０５は、このデジタル信号に対して所定の処理を施し、表示画像を生成する。画像処理部１０５にて生成された表示画像は、液晶ディスプレイなどの表示部１０６へ出力されて表示される。ユーザは、表示部１０６の表示画像を見て、画像を確認しながら撮影を行うことができる。

画像処理部１０５は、表示画像を生成する際に、画像取得条件、露出状態予測部１１３や記憶部１０９から得られた情報、距離情報取得部１０５ａで得られた距離情報などを用いる。ここで画像取得条件とは、アナログ信号（視差画像）を取得した際の視差画像取得部１００に関する情報（視差画像取得部１００の構成に関する情報）、絞りなどの露出状態、フォーカス位置、ズームレンズにおける焦点距離などである。画像取得条件は、状態検知部１０８がシステムコントローラ１１１から直接に取得することができる。また、視差画像取得部１００に関する情報については、制御部１０７から得ることもできる。本実施例において、視差画像取得部１００の構成に関する情報は、記憶部１０９に記憶されている。露出状態予測部１１３は、測光部１１２から得られた情報に基づいて撮影時の露出状態を事前に予測する。画像処理部１０５は、事前に予測された露出状態に応じて、ピント制御範囲を変更する。また、画像処理部１０５における距離情報取得部１０５ａは、入力された視差情報（視差画像）から被写体空間の距離情報を取得する。

システムコントローラ１１１は、表示部１０６に表示画像を表示するように指令する表示指令部１１１ｃを有する。表示部１０６は、表示指令部１１１ｃから出力される信号に応じて、表示のＯＮ／ＯＦＦおよび表示画像の切換えを行う。例えば、撮像装置１０にレリーズボタンが設けられている場合、ユーザがレリーズボタンを第１の位置まで押している間（撮影前に）、表示指令部１１１ｃは、表示部１０６に対して表示画像を表示させるように所定の信号を出力する。この状態で、第１の位置より深い第２の位置までレリーズボタンが押されると、撮影が実行される。ただし本実施例はこれに限定されるものではなく、表示指令部１１１ｃは他の手法により信号を送ってもよい。

また、システムコントローラ１１１は、視差画像取得部１００が合焦する被写体を指定する合焦被写体指定部１１１ｂを有する。合焦被写体指定部１１１ｂから出力される信号に応じて、制御部１０７は、視差画像取得部１００のフォーカス機構を駆動して被写体（指定被写体）に対する合焦制御を行う。撮影指令部１１１ｄにより撮影が実行される際、制御部１０７は、測光部１１２からの情報に基づいて視差画像取得部１００の露出を調節する。このとき、撮像素子１０３で取得された画像は、前述のように画像処理部１０５に入力されて所定の処理が施された後、半導体メモリなどの画像記録媒体１１０（画像記録部）に所定のフォーマットで保存される。同時に、画像記録媒体１１０には、状態検知部１０８から得られた撮影時の画像取得条件も記録される。画像記録媒体１１０に記録される画像は、再構成処理が施された画像でもよい。このように画像記録媒体１１０は、視差画像（入力画像）の少なくとも一部または再構成画像（出力画像）を記録する。また画像記録媒体１１０は、視差画像の少なくとも一部または再構成画像（画像）を記録するだけでなく、記録された画像に対応するピント制御範囲を記録する。

画像処理部１０５は、画像記録媒体１１０に保存された画像を表示部１０６に表示させる場合、その画像に対して、撮影時の画像取得条件に基づいた処理が施される。その結果、表示部１０６には、所望の設定（画素数、視点、ピント位置、被写界深度など）で再構成された画像（再構成画像）が表示される。再構成画像の画素数は、合成画像画素数指定部１１１ａ（出力画像画素数指定部）で指定される。また高速化のため、所望の設定を予め記憶部１０９に記憶させておき、画像記録媒体１１０を介さず再構成画像を表示部１０６で表示させるように構成してもよい。以上の一連の制御は、システムコントローラ１１１により行われる。

次に、図２を参照して、本実施例における視差画像取得部１００の構成について説明する。レンズアレイ１０２は、結像光学系１０１の被写体面２０１に対する像側共役面に配置されている。また、レンズアレイ１０２は、結像光学系１０１の射出瞳と撮像素子１０３とが互いに概ね共役関係となるように構成されている。ここで、概ね共役関係とは、厳密な共役関係だけでなく実質的に共役関係と評価される関係（略共役関係）を含む意味である。被写体面２０１からの光線は、結像光学系１０１およびレンズアレイ１０２を介することで、光線の被写体面２０１上における位置と角度に応じて、撮像素子１０３の互いに異なる複数の画素へ入射する。このような構成により、ライトフィールドが取得される。ここでレンズアレイ１０２は、被写体面２０１上の異なる位置を通過した光線が、撮像素子１０３の同一の画素へ入射するのを防ぐ役割を持つ。その結果、撮像素子１０３により、被写体面２０１上の同一の領域を複数の視点から撮影した画素群が並んだ画像が取得される。

図６は、本実施例における視差画像取得部１００の断面図である。図６において、結像光学系１０１は単焦点レンズである。フォーカス群ＩＦは、光軸ＯＡ上を移動してフォーカス動作を行う。絞りＳＰは、露出状態を制御する。レンズアレイ１０２は、本実施例では固体の単レンズにより構成されているが、これに限定されるものではない。レンズアレイ１０２は、複数のレンズを備えて構成されることもでき、また、液体レンズ、液晶レンズ、回折光学素子などを用いて構成されてもよい。また、本実施例において、レンズアレイ１０２を構成する小レンズは、両側の面が凸形状を有するが、これに限定されるものではない。例えば、片側の面を平面状または非球面状にしてもよい。

また、レンズアレイ１０２を構成する小レンズの像側（撮像素子１０３側）の面は、凸形状を有することが望ましい。これにより、レンズアレイ１０２の非点収差を低減し、撮像素子１０３上で得られる画像が鮮鋭になる。逆に、像側の面が凸形状でない場合、非点収差が大きくなり、各小レンズにより形成される画像の周辺部がぼけてしまう。この画像のぼけた部分を再構成処理に用いると、鮮鋭な再構成画像が得られない。また、小レンズの物体側（結像光学系１０１側）の面は、平面または凸形状を有することがより望ましい。これにより、小レンズの曲率が緩まって収差が低減され、画像の鮮鋭さを更に向上させることができる。

続いて、本実施例におけるリフォーカス処理について説明する。リフォーカスに関しては、「Ｆｏｕｒｉｅｒ Ｓｌｉｃｅ Ｐｈｏｔｏｇｒａｐｈｙ」（Ｒｅｎ Ｎｇ著、２００５ ＡＣＭ Ｔｒａｎｓ． Ｇｒａｐｈ．２４，７３５−７４４参照）にて詳述されているため、ここでは簡単に述べる。リフォーカスの基本的な原理は、図２乃至図５に示されるいずれの構成においても共通である。ここでは、図２の構成を例にとって説明する。

図２において、結像光学系１０１の瞳が２次元で９つ（１次元で３つ）に分割されているため、９視点の画像が取得される。ここで、ある分割された瞳に対応する画像を単視点画像と呼ぶ。９つの単視点画像は互いに視差を有するため、被写体距離に応じて画像上の被写体の相対的な位置関係が変化する。ある被写体が重なるように単視点画像を合成すると、異なる被写体距離に位置する被写体は、互いにずれて合成される。このずれによって、異なる被写体距離に位置する被写体はボケる。このときのボケは、合成に用いた単視点画像に対応する瞳で決定され、９枚全ての画像を合成すると、結像光学系１０１で撮影した画像のボケを再現することができる。単視点画像の合成で重ね合わせる被写体は任意であるため、これにより結像光学系１０１で任意の被写体に合焦して撮影した画像を再現することができる。これが撮影後のピント制御、すなわちリフォーカスの原理である。

続いて、本実施例における単視点画像の生成方法について説明する。図７は、本実施例におけるリフォーカス画像の生成に関する説明図であり、図２のレンズアレイ１０２と撮像素子１０３との関係を示す図である。図７において、破線の円は、１つの小レンズを通過した光線が入射する画素の領域を表している。図７は、小レンズが格子配置された場合について示しているが、小レンズの配置はこれに限定されるものではない。例えば、六回対称性の配置を有していてもよいし、規則的な配置から各小レンズを微小にずらしてもよい。図７において、斜線部は、結像光学系１０１の同じ瞳領域を通過した光線が入射する画素を表している。このため、斜線部の画素を抽出することで、結像光学系１０１の瞳の下部から被写体空間を見た単視点画像を生成することができる。同様に、破線で表された各円に対する相対位置が同じ画素を抽出することで、他の単視点画像も生成可能である。

次に、リフォーカスが可能なピント制御範囲（リフォーカス範囲）について説明する。リフォーカスは単視点画像を重ね合わせて行われるため、各単視点画像内でボケている被写体にピントを合わせ直すことはできない。これは、ボケた画像を重ね合わせても、高周波成分は得られず、ボケたままだからである。すなわち、ピント制御範囲は、結像光学系１０１の分割された瞳に依存する。瞳を小さく分割するほど、各単視点画像は被写界深度が深くなるため、ピント制御範囲は広がる。ただし、単視点画像における被写界深度とピント制御範囲は必ずしも一致しない。これは、単視点画像とこれらの画像を合成した合成画像の画素数比に応じて、ピント制御範囲が変化するためである。例えば、合成画像の画素数が各視点の画像の画素数より小さい場合、合成画像における空間成分のサンプリングピッチは、単視点画像に対して大きくなる。このため、単視点画像よりも合成画像は被写界深度が深くなり、それに伴って、そのピント制御範囲も広がる。逆に、合成画像の画素数が単視点画像よりも大きい場合、ピント制御範囲は単視点画像の被写界深度よりも小さくなる。ここで、合成画像の画素数を単視点画像より増大させる方法として、画素ずらし超解像の使用などが考えられる。前述のとおり、リフォーカスは、単視点画像を互いにずらして合成することによって行われる。このときのずれ量が単視点画像の画素ピッチの非整数倍であれば、画素ずらし超解像を行うことができ、解像度が高められるため、合成画像の画素数を向上させることが可能である。

ここまでの議論から、合成画像の正確なピント制御範囲を取得するには、単視点画像を合成するときの条件を加味する必要があることが分かる。また、単視点画像の被写界深度は画角に応じて変化する。これは、結像光学系１０１のヴィネッティング（ケラレ）により、画角に応じてＦ値が変化するためである。このため、画角に応じてピント制御範囲を算出することで、より正確な値をユーザに把握させることができる。

続いて、図８を参照して、合成画像のピント制御範囲の算出方法について説明する。図８は、本実施例におけるピント制御範囲の説明図である。まず、合成画像の被写界深度に対応する焦点深度を考える。ここで、焦点深度の許容錯乱円の大きさをε、光線の角度成分のサンプリングピッチをΔｕとする。このとき、リフォーカスの係数α_±は、以下の式（１）のように与えられる。

図８に示されるように、式（１）を用いて表される像側のリフォーカス範囲α_＋ｓ_２〜α₋ｓ_２（像側ピント制御範囲）と、結像光学系１０１に対して共役な範囲とが、物体側のリフォーカス範囲であるピント制御範囲となる。ここでｓ_２は、結像光学系１０１の像側主平面と被写体面２０１に対する結像光学系１０１の像側共役面（レンズアレイ１０２）との間隔である。式（１）の関係は、図２乃至図５のいずれの構成でも成り立つ。ここで、像側ピント制御範囲とは、結像光学系１０１を介してピント制御範囲（リフォーカス範囲）と共役な範囲である。また、Δｙは光の２次元強度分布のサンプリングピッチであり、図２の構成ではレンズアレイ１０２のピッチΔ_ＬＡに等しい。撮像素子１０３の画素ピッチΔは、結像光学系１０１の射出瞳距離Ｐに対して十分小さい。このため、式（１）は以下の式（２）のように近似することができる。

ここで、結像光学系１０１の射出瞳距離Ｐとは、結像光学系１０１の射出瞳面と被写体面２０１に対する結像光学系１０１の像側共役面（レンズアレイ１０２）との間隔である。また、Ｎは結像光学系１０１の瞳の１次元分割数、Ｆは結像光学系１０１のＦ値である。

次に、図９および図１０を参照して、本実施例におけるピント制御範囲をユーザに提示する処理について説明する。図９は、撮影の際（撮影前）にピント制御範囲をユーザに提示する場合のフローチャートである。図１０は、画像編集の際にピント制御範囲をユーザに提示する場合のフローチャートである。図９および図１０において、ステップＳ１０５、Ｓ２０５はそれぞれピント制御範囲取得工程であり、ステップＳ１０６、Ｓ１０７およびステップＳ２０６、Ｓ２０７はそれぞれ表示画像生成工程である。なお、図９および図１０中の各ステップは、システムコントローラ１１１の指令に基づいて、画像処理部１０５により行われる。

まず、図９を参照して、撮影の際にピント制御範囲をユーザに提示する場合について説明する。ここで、ピント制御範囲が表示された画像（ピント制御範囲に関する情報を含む画像）を表示画像という。図９のステップＳ１０１において、視差画像取得部１００で取得された視差画像が画像処理部１０５に入力されることにより、画像処理部１０５は視差画像を取得する。

続いてステップＳ１０２において、画像処理部１０５は、表示画像の表示指令の有無を判定する。例えば、撮像装置１０にピント制御範囲を表示するためのスイッチが設けられている場合、このスイッチをユーザが押すことにより、表示指令が表示指令部１１１ｃから出力される。ただし、表示指令はこれに限定されるものではなく、他の手法により表示指令でも構わない。画像処理部１０５は、表示指令を受けた場合、ステップＳ１０４へ進む。一方、表示指令を受けていない場合、ステップＳ１０３に進む。

このように画像処理部１０５は、合焦する被写体が指定された後に表示画像を生成する。ただし、本実施例はこれに限定されるものではなく、表示指令を合焦被写体指定部１１１ｂと連動させてもよい。例えば、ユーザが合焦被写体を指定する際に、同時に表示指令が出力されるように構成してもよい。これにより、無駄な処理を少なくして、ユーザが撮影を望む状態でのみピント制御範囲を提示することができる。また本実施例は、ステップＳ１０２を省略してステップＳ１０１から直接ステップＳ１０４へ移行することにより、常にピント制御範囲が表示された表示画像を出力するように構成してもよい。

画像処理部１０５は、ステップＳ１０２にて表示指令を受けていない場合、ステップＳ１０３において、視差画像のうち、結像光学系１０１の瞳中心に最近接した視点の単視点画像を生成し、表示部１０６へ出力する。これによりユーザは、表示部１０６において、撮像素子１０３により現在取得されている画像をリアルタイムで確認することができる。表示部１０６への出力画像は、簡便な処理であるため単視点画像であるが、本実施例はこれに限定されるものではなく、再構成画像を出力してもよい。また、単視点画像を出力する場合、その視点は結像光学系１０１の瞳の任意の位置でもよい。

一方、画像処理部１０５は、ステップＳ１０２にて表示指令を受けた場合、ステップＳ１０４において、表示画像を生成するための情報を取得する。表示画像を生成するための情報とは、ステップＳ１０１で視差画像取得部１００を介して入力された視差画像の画像取得条件、撮影時における露出状態の予測結果、被写体空間の距離情報、合成画像の画素数などである。ここで被写体空間の距離情報は、入力された視差画像の視差情報に基づいて算出される。ただし、ＤＦＤ（Ｄｅｐｔｈ Ｆｒｏｍ Ｄｅｆｏｃｕｓ）などの手法や、赤外線などを利用した測距部を用いて距離情報を取得してもよい。また、ステップＳ１０４はステップＳ１０２の前に行ってもよい。

続いてステップＳ１０５において、画像処理部１０５は、ステップＳ１０４で取得した情報を用いて合成画像のピント制御範囲を取得する。前述のように、ピント制御範囲は、各単視点画像と合成画像との画素数比に応じて変化する。このため画像処理部１０５は、ステップＳ１０４で取得した情報に応じて、ピント制御範囲を変更する。ここではまず、説明を簡単にするため、この画素数比が１の場合について考える。

像側ピント制御範囲が式（２）の範囲内に収まっていれば、リフォーカスが可能な領域を取得できていることとなる。このため、被写体面２０１に対する結像光学系１０１の像側共役面（レンズアレイ１０２）と像側ピント制御範囲の両端の一つとの間隔ｄ_{ｒｅｆｏｃｕｓ}が以下の式（３）を満たせばよい。

図１１は、視差画像取得部１００における光学配置の説明図であり、図２の構成において、各パラメータの関係を示している。図１１から、幾何学的にＮＦ＝σ／Δであることが分かる。σは、レンズアレイ１０２の像側主平面と撮像素子１０３との間隔である。図１１中の破線は、１つの小レンズに対応する撮像素子１０３の領域を表す。また、斜線部の画素は、光線の入射しない不感帯を表す。本実施例では、撮像素子１０３に不感帯が発生しないようにレンズアレイ１０２が構成されており、この場合にはΔ_ＬＡ＝ＮΔが成立する。ただし、本実施例はこれに限定されるものではなく、撮像素子１０３に不感帯が存在していてもよい。

焦点深度を決定する許容錯乱円の大きさを、空間成分のサンプリングピッチΔｙ＝Δ_ＬＡで特徴付けると、式（３）は以下の式（４）のように書き換えられる。

次に、単視点画像と合成画像の画素数比とが互いに異なる一般的な場合について考える。合成画像の画角と合成に用いられる単視点画像の画角とは互いに等しい。このため、画素数比が異なる場合、両者のサンプリングピッチΔｙが互いに異なることとなる。許容錯乱円は、一般的に、サンプリングピッチΔｙが小さいほど小さく、また、大きいほど大きくなる。このため、式（４）は、単視点画像と合成画像のサンプリングピッチΔｙの比をとって、以下の式（５）のように拡張できる。

ここで、Ｒ_ｍｏｎｏは合成に用いられる単視点画像の画素数、Ｒ_{ｓｙｎｔｈ}は合成画像の画素数を表す。Ｒ_ｍｏｎｏとＲ_{ｓｙｎｔｈ}との比の平方根をとることで、Δｙの比となる。

図１１から、単視点画像の画素数Ｒ_ｍｏｎｏは、以下の式（６）のように表されることが分かる。

ここで、Ｒ_{ｔｏｔａｌ}は撮像素子１０３の有効画素数である。

式（５）および式（６）から、像側ピント制御範囲が満たすべき条件式が以下の式（７）のように求められる。

式（７）の範囲に像側ピント制御範囲を決定することにより、撮影後にリフォーカスが可能な範囲を取得することができる。式（７）は、理論的に負の値をとることができない。また、式（７）が０の場合にはピント制御ができないことを意味するため、式（７）の下限を超えることはできない。式（７）の上限は、合成画像のピント位置における点像の広がりを表し、小さいほど鮮鋭なリフォーカスが可能となる。式（７）の上限を超えると、点像の広がりが大きくなり、ピント位置にも関わらずボケてしまう。すなわち、この場合にはリフォーカスができない。

望ましくは、像側ピント制御範囲を以下の式（７ａ）の範囲内とすることで、より鮮鋭な合成画像を得ることができる。

また望ましくは、像側ピント制御範囲を以下の式（７ｂ）の範囲内とすることで、更に鮮鋭な合焦画像を得ることができる。

本実施例における式（７）の値は、表１に示されるとおりである。また本実施例において、撮像素子１０３の有効画素数はＲ_{ｔｏｔａｌ}＝４６．７×１０^６（ｐｉｘ）、レンズアレイ１０２の像側主平面と撮像素子１０３の間隔はσ＝０．０３７４（ｍｍ）である。ここで、ｐｉｘは画素数を表す単位である。撮像素子１０３の画素ピッチはΔ＝０．００４３（ｍｍ）、レンズアレイ１０２のピッチはΔ_ＬＡ＝０．０１２９（ｍｍ）である。結像光学系１０１の焦点距離はｆ＝１４．０（ｍｍ）、Ｆ値はＦ＝２．９、１次元瞳分割数はＮ＝３である。合成画像の画素数Ｒ_{ｓｙｎｔｈ}は、合成画像画素数指定部１１１ａにより、８．０×１０^６ｐｉｘ、５．２×１０^６ｐｉｘ、２．０×１０^６ｐｉｘの３種類から選択することができる。それぞれの画素数Ｒ_{ｓｙｎｔｈ}に対するｄ_{ｒｅｆｏｃｕｓ}の値は、表１に示されるとおりである。ここで、単視点画像１枚当たりの画素数が５．２×１０^６ｐｉｘであるため、８．０×１０^６ｐｉｘの合成画像を生成するには、画素ずらし超解像などによる高解像度化が必要となる。また、合成画像の画素数は、前述の値以外をとってもよいし、種類も３種類である必要はない。ただしその際には、式（７）を満たすようにｄ_{ｒｅｆｏｃｕｓ}が決定される。

ピント制御範囲は、像側ピント制御範囲と結像光学系１０１の焦点距離やフォーカス位置などを用いることにより、結像公式から算出することができる。更に、取得したピント制御範囲を、視差画像の少なくとも一部または再構成画像にタグ情報として添付し、画像記録媒体１１０に保存してもよい。または、画像取得条件に対するピント制御範囲のテーブルを予め記憶部１０９に記憶しておき、ピント制御範囲を算出する代わりに対応するデータを読み込むように構成してもよい。

また、他のピント制御範囲を取得する方法として、リフォーカスした合成画像を実際に生成して、ピント位置に存在する被写体のコントラストなどを評価する方法が考えられる。ただしこの手法では、ピント位置を動かしながら合成画像を生成し、逐次、リフォーカスができているかを判定する必要があるため、処理に時間を要する。また、リフォーカスしたピント位置に被写体が存在していない場合、評価を行うことができないため、正確なピント制御範囲を取得することができない。このため、ピント制御範囲の取得には、前述の手法を用いることが望ましい。

続いて、図９のステップＳ１０６において、画像処理部１０５は、単視点画像からステップＳ１０５にて取得したピント制御範囲外に位置する被写体をマーキングする。このマーキングについて、図１２および図１３を参照して説明する。図１２は、本実施例における撮影シーンの一例を示す図である。また図１３は、本実施例における表示画像の説明図である。

例えば、図１２に示されるような被写体空間を撮影したとする。このとき、取得された視差画像から生成された単視点画像は、図１３（ａ）に示されるようになる。ここで撮影は、結像光学系１０１が被写体Ｂに合焦して行われている。図１２に示されるように、被写体Ｃはピント制御範囲内に入っているが、被写体Ａはピント制御範囲外に位置している。例えば、合成画像と単視点画像の画素数比が１の場合を考えると、ピント制御範囲は単視点画像の被写界深度と概ね一致する。このため、図１３（ａ）において、ピント制御範囲外に存在する被写体Ａはボケている。

画像処理部１０５は、図１３（ａ）の画像から、図９のステップＳ１０４で取得した被写体空間の距離情報を使用して、ピント制御範囲外に存在する被写体を抽出する。距離情報の取得は、ステップＳ１０６の前であれば、ステップＳ１０４以外のタイミングで行っても構わない。このようにして抽出された画像が図１３（ｂ）および図１３（ｃ）である。図１３（ｂ）はピント制御範囲内にある被写体を表し、図１３（ｃ）はピント制御範囲外に存在する被写体を表す。抽出した被写体に対して、斜線によるマーキングを行う。ただし、マーキングはこれに限定されるものではなく、他の図形を用いてもよいし、着色や輝度補正、または抽出被写体を点滅させるなどしてもよい。また、抽出した被写体のエッジ部を強調するなどしてもよい。また、マーキングなどの画像処理は、ピント制御範囲の内外で互いに異なっていれば十分であるため、逆にピント制御範囲内の被写体をマーキングしてもよい。更に、被写体を抽出する画像は再構成画像でもよい。

続いてステップＳ１０７において、画像処理部１０５は、ピント制御範囲が示された表示画像を生成する。すなわち画像処理部１０５は、ステップＳ１０６にてマーキングしたピント制御範囲外の画像とピント制御範囲内の画像とを合成して、図１３（ｄ）に示されるような表示画像を生成する。ただし、表示画像はユーザにピント制御範囲を提示するものであれば他の方式を用いて生成しても構わない。例えば、図１３（ｅ）に示されるように、ステップＳ１０５で取得されたピント制御範囲を表示画像内に数値的に示してもよい。この場合、ステップＳ１０６で被写体の抽出を行う必要がないため、距離情報が不要となり処理が軽減する。

続いてステップＳ１０８において、画像処理部１０５は、表示画像を表示部１０６へ出力する。図９に示される一連の動作は、撮像素子１０３で視差画像が取得されている間、一定のインターバルで繰り返し実行される。これによりユーザは、現在、撮像装置１０が撮影可能な画像をリアルタイムで確認することができる。

次に、図１０を参照して、撮影後の画像編集の際にピント制御範囲をユーザに提示する場合について説明する。なお図１０において、図９と同様の個所についての説明は省略する。まずステップＳ２０１において、画像処理部１０５は、視差画像取得部１００で撮影された視差画像、または、画像記録媒体１１０に記録された視差画像を取得する。続いてステップＳ２０２において、図９のステップＳ１０４と同様に、画像処理部１０５は、ピント制御範囲を示す表示画像を生成するための情報を取得する。画像処理部１０５は、同時に、表示部１０６へ出力する画像の再構成設定（ピント位置、Ｆ値、視点など）を取得する。ただし、画像処理部１０５は、再構成設定を取得することなく、予め設定されたデフォルト値を用いて画像を生成してもよい。

次に、ステップＳ２０３において、画像処理部１０５は、表示画像の表示指令の有無に関する判定を行う。表示指示がある場合にはステップＳ２０５へ進む。一方、表示指示がない場合にはステップＳ２０４へ進む。ステップＳ２０４において、画像処理部１０５は、取得した再構成設定に従って再構成画像を生成し、表示部１０６へ出力する。

続いてステップＳ２０５において、画像処理部１０５は、合成画像のピント制御範囲を取得する。その手法は、図９のステップＳ１０５と同様である。続いてステップＳ２０６において、画像処理部１０５は、指定の設定で再構成された画像（再構成画像）からピント制御範囲外に位置する被写体をマーキングする。そしてステップＳ２０７において、画像処理部１０５は、ピント制御範囲が示された表示画像を生成する。ステップＳ２０６、Ｓ２０７の手法は、図９のステップＳ１０６、Ｓ１０７とそれぞれ同様である。

続いてステップＳ２０８において、画像処理部１０５は、表示画像を表示部１０６へ出力する。または、画像処理部１０５は、表示画像を画像記録媒体１１０に保存してもよい。また、ステップＳ２０４以降に表示指令が出された場合、ステップＳ２０５からの処理を開始してもよい。その際、高速化のため、ステップＳ２０５乃至Ｓ２０７を事前に行って表示画像を生成してもよい。これにより、表示指令が出された場合に迅速に表示画像を出力することができる。

本実施例によれば、撮影または画像編集の際に、ユーザにリフォーカス範囲を提示して、ユーザが意図する撮影や編集を容易にする撮像装置および撮像装置の制御方法を提供することができる。

次に、本発明の実施例２における撮像装置について説明する。本実施例の撮像装置の基本構成は、図１を参照して説明した実施例１の撮像装置１０と同様であるため、その説明は省略する。

図３および図１４を参照して、本実施例における視差画像取得部１００ａの構成について説明する。図３は、視差画像取得部１００ａの概略構成図である。図１４は、視差画像取得部１００ａの断面図である。図１４において、結像光学系１０１はズームレンズである。結像光学系１０１は、物体側から順に、正の屈折力を有する第１レンズ群Ｌ１、正の屈折力を有する第２レンズ群Ｌ２、負の屈折力を有する第３レンズ群Ｌ３、正の屈折力を有する第４レンズ群Ｌ４、および、正の屈折力を有する第５レンズ群Ｌ５で構成されている。変倍時において、第１レンズ群Ｌ１および第５レンズ群Ｌ５は固定され、第２レンズ群Ｌ２、第３レンズ群Ｌ３、および、第４レンズ群Ｌ４は光軸ＯＡ上を移動する。フォーカス時において、第２レンズ群Ｌ２が駆動される。

図３に示されるように、視差画像取得部１００ａは、物体側（被写体面側）から、結像光学系１０１、レンズアレイ１０２、および、撮像素子１０３を有する。結像光学系１０１は、被写体面２０１からの光線を像側共役面２０２へ結像する。レンズアレイ１０２は、結像光学系１０１の被写体面２０１に対する像側共役面２０２より物体側に配置されている。また、像側共役面２０２と撮像素子１０３は、レンズアレイ１０２を介して共役関係になるように配置されている。換言すると、レンズアレイ１０２は、像側共役面２０２と撮像素子１０３とが共役関係になるように配置されている。被写体面２０１からの光線は、結像光学系１０１およびレンズアレイ１０２を通過した後、光線の被写体面２０１上での位置と角度に応じて、撮像素子１０３の異なる画素へ入射し、ライトフィールドが取得される。

図３に示される構成によれば、撮影視点と撮影範囲の異なる複数の小画像が並んだ画像が、撮像素子１０３によって取得される。図４は、本実施例における別形態の視差画像取得部１００ｂの概略構成図である。図４に示される構成（視差画像取得部１００ｂ）は、レンズアレイ１０２が像側共役面２０２より像側に配置されていることを除いて、図３に示される構成（視差画像取得部１００ａ）と同様である。図４の視差画像取得部１００ｂは、レンズアレイ１０２が結像光学系１０１の形成した像を実物体として見て、撮像素子１０３へ再結像させる点で、図３の視差画像取得部１００ａと異なる。しかし、図３および図４の構成は、いずれも、結像光学系１０１の結んだ像をレンズアレイ１０２が物体として見て、その像を撮像素子１０３へ結像しているため、本質的には同じである。このため、図３の構成に関する以下の議論は、図４の構成に関しても同様に成立する。

次に、図１５を参照して、本実施例におけるリフォーカス画像の生成方法（リフォーカス処理）に関して説明する。本実施例のリフォーカス処理は、定性的には実施例１と同様であり、結像光学系１０１の分割された瞳の画像を、合焦したい被写体距離に対応するずれ量で重ね合わせればよい。

図１５（ａ）、（ｂ）は、図３に示される撮像光学系の構成において、レンズアレイ１０２と撮像素子１０３の部分の詳細図である。本実施例において、レンズアレイ１０２は、物体側の面が平面で、像側の面が凸形状の小レンズによって構成されている。ただし実施例１と同様に、レンズアレイ１０２の形状はこれに限定されるものではない。

図１５（ａ）、（ｂ）中の一点鎖線は、各小レンズの画角を示す。撮像素子１０３で得られた画素値を、画素に対応する小レンズを介して仮想結像面２０３へ投影して合成することで、仮想結像面２０３にピントの合ったリフォーカス画像を生成することができる。ここで仮想結像面２０３とは、リフォーカスにより合焦したい物体側の面と、結像光学系１０１を介して共役な面である。例えば、図３中の被写体面２０１にピントの合った画像を生成するには、像側共役面２０２に仮想結像面２０３を設定すればよい。図１５（ａ）、（ｂ）において、リフォーカス画像生成の際に投影した画素は、破線で表され、分りやすくするために重ねずにずらして描画している。リフォーカス画像の生成は、前述した画素を投影する生成方法と、同様の画素の重なりとなるように、各画素を平行移動させて合成する方法でもよい。このとき、画素に入射した光束が通過したレンズアレイ１０２の領域が等しい場合、それらの画素の平行移動量は同じになる。以上のとおり、図３および図４の構成でのリフォーカス画像生成時の画素の操作は、画素に入射する光束が通過したレンズアレイ１０２の領域に応じて決定される。

次に、図１６を参照して、リフォーカス可能な範囲（リフォーカス範囲）について説明する。図１６は、本実施例におけるリフォーカス範囲（ピント制御範囲）の説明図である。本実施例におけるリフォーカス範囲も、実施例１と同様に式（１）のように表され、その関係は図１６に示されるとおりである。

図１６中のΔｙは、図３および図４における光の２次元強度分布のサンプリングピッチを表し、Δｙ＝Δσ_１／σ_２が成立する。これは、結像光学系１０１が形成した像を、レンズアレイ１０２が虚物体として見ることで、撮像素子１０３へσ_２／σ_１倍で縮小結像するためである。ここで、σ_１は像側共役面２０２とレンズアレイ１０２の物体側主平面との間隔、σ_２はレンズアレイ１０２の像側主平面と撮像素子１０３との間隔である。本実施例においても、Δ≪Ｐが成立するため、式（１）は式（２）のように近似することができる。

本実施例における撮影または画像編集の際の表示画像の生成方法は、図９および図１０に示されるフローチャートでそれぞれ表されるため、実施例１と同様の部分についての説明は省略する。

図９中のステップＳ１０５において、画像処理部１０５は、合成画像のピント制御範囲を取得する。このとき画像処理部１０５は、実施例１と同様の考え方で像側ピント制御範囲を算出する。図１６から、幾何学的にＮＦ＝σ_１／Δ_ＬＡが成立する。また、前述のようにΔｙ＝Δσ_１／σ_２であるから、以下の式（８）が成立する。

これらの関係を用いることで、ｄ_{ｒｅｆｏｃｕｓ}が満たすべき条件である以下の式（９）が求められる。

式（９）における上限および下限の意味は、式（７）と同様である。

望ましくは、像側ピント制御範囲を以下の式（９ａ）の範囲内とすることで、より鮮鋭な合成画像を得ることができる。

また望ましくは、像側ピント制御範囲を以下の式（９ｂ）の範囲内とすることで、更に鮮鋭な合成画像を得ることができる。

本実施例における式（９）の値は、表１に示されるとおりである。本実施例において、撮像素子１０３の有効画素数はＲ_{ｔｏｔａｌ}＝１５０．０×１０^６（ｐｉｘ）である。また、σ_１＝０．３７１２（ｍｍ）、σ_２＝０．０７４０（ｍｍ）である。撮像素子１０３の画素ピッチはΔ＝０．００２４（ｍｍ）、レンズアレイ１０２のピッチはΔ_ＬＡ＝０．０２５６（ｍｍ）である。結像光学系１０１の広角端における焦点距離はｆ_Ｗ＝７２．２（ｍｍ）、望遠端における焦点距離はｆ_Ｔ＝１９４．０（ｍｍ）である。Ｆ値は広角端から望遠端までＦ＝２．９であり、１次元瞳分割数はＮ＝５である。合成画像の画素数Ｒ_{ｓｙｎｔｈ}は、合成画像画素数指定部１１１ａによって、１０．０×１０^６ｐｉｘ、６．０×１０^６ｐｉｘ、３．０×１０^６ｐｉｘの３種類から選択することができる。それぞれの画素数に対するｄ_{ｒｅｆｏｃｕｓ}は表１に示されるとおりである。ここで、単視点画像１枚当たりの画素数は６．０×１０^６ｐｉｘであるため、１０．０×１０^６ｐｉｘの合成画像を生成するには、画素ずらし超解像などによる高解像度化が必要となる。なお、図１０中のステップＳ２０５においても、図９中のステップＳ１０５と同様の手順でピント制御範囲を取得することができる。

本実施例によれば、撮影または画像編集の際に、ユーザにリフォーカス範囲を提示して、ユーザが意図する撮影や編集を容易にする撮像装置および撮像装置の制御方法を提供することができる。

次に、本発明の実施例３における撮像装置について説明する。本実施例における撮像装置の基本構成は、図１を参照して説明した実施例１の撮像装置１０と同様であるため、その説明は省略する。

図５および図１７を参照して、本実施例における視差画像取得部１００ｃの構成について説明する。図５は、視差画像取得部１００ｃの概略構成図である。図１７は、視差画像取得部１００ｃを物体側から見た場合の断面図である。

図５において、視差画像取得部１００ｃは、物体側（被写体面側）から、複数の結像光学系１０１ａ乃至１０１ｃ、および、複数の撮像素子１０３ａ乃至１０３ｃを有する。複数の結像光学系１０１ａ乃至１０１ｃは、被写体空間からの光線を像側共役面に結像するように構成されており、２次元的に配列されている。また、複数の撮像素子１０３ａ乃至１０３ｃは、それぞれ、複数の画素を備えている。ただし、本実施例はこれに限定されるものではなく、複数の画素を備えた一つの撮像素子を用いてもよい。

図７に示されるように、視差画像取得部１００ｃは、結像光学系１０１ｂの光軸を回転軸として、六回対称性を有する。ただし、本実施例はこれに限定されるものではなく、結像光学系の個数や配列は適宜変更可能である。結像光学系１０１ａ乃至１０１ｇの像側には、撮像素子１０３ａ乃至１０３ｇがそれぞれ配置されている。ただし、撮像素子は複数である必要はなく、結像光学系１０１ａ乃至１０１ｇによって形成される像を取得できる場合には単数の撮像素子を用いてもよい。結像光学系１０１ａ乃至１０１ｇで屈折された光線は、対応する撮像素子１０３ａ乃至１０３ｇによってそれぞれ受光される。撮像素子１０３ａ乃至１０３ｇで取得された複数の画像は、被写体空間を異なる視点から観察した視差画像となっている。これらの複数の画像を合成することにより、被写体空間のライトフィールドを得ることができる。

図１８は、本実施例における結像光学系１０１ａ（および撮像素子１０３ａ）の断面図である。他の結像光学系１０１ｂ乃至１０１ｇおよび撮像素子１０３ｂ乃至１０３ｇの断面も同様であるため、それらの説明は省略する。ただし、各結像光学系の構成はそれぞれ異なっていてもよい。図１８の結像光学系１０１ａは、単焦点レンズであり、絞りＳＰが設けられている。結像光学系１０１ａと撮像素子１０３ａの間隔を変化させることにより、フォーカス動作が行われる。

次に、図１９を参照して、リフォーカス可能な範囲（リフォーカス範囲）について説明する。図１９は、本実施例におけるリフォーカス範囲（ピント制御範囲）の説明図である。本実施例におけるリフォーカス範囲も、実施例１と同様に式（１）のように表され、その関係は図１９に示されるとおりである。

本実施例では、Δｙ＝Δ、および、Δｕ＝Ｐ_ｍｏｎｏ／Ｆ_ｍｏｎｏが成立する。ここで、Ｆ_ｍｏｎｏは結像光学系１０１ａ乃至１０１ｇの１つのＦ値、Ｐ_ｍｏｎｏは結像光学系の射出瞳距離である。Δ≪Ｐ_ｍｏｎｏであるから、式（１）は以下の式（１０）のように近似することができる。

本実施例における撮影または画像編集の際の表示画像の生成方法は、図９および図１０に示されるフローチャートでそれぞれ表されるため、実施例１と同様の部分についての説明は省略する。図９のステップＳ１０４において、画像処理部１０５は、ピント制御範囲を取得するために必要な情報を取得する。本実施例の視差画像取得部１００ｃを構成する複数の結像光学系１０１ａ乃至１０１ｇは、それぞれ、絞り値が可変の開口絞りを有する。画像処理部１０５は、測光部１１２の情報に基づいて露出状態予測部１１３が予測した撮影時の結像光学系１０１ａ乃至１０１ｇの各々の絞り値を、露出状態の予測として取得する。露出状態の予測は、撮像素子１０３ａ乃至１０３ｇのそれぞれにより取得された信号に基づいて行ってもよい。また画像処理部１０５は、画像取得条件として、結像光学系１０１ａ乃至１０１ｇのそれぞれのヴィネッティング情報（ケラレ情報）を取得する。図１８に示される結像光学系１０１ａ乃至１０１ｇは、高画角になるほど光束がけられ、実効的なＦ値が大きくなる。このように、画角に応じて焦点深度が異なるため、ステップＳ１０５において、画像処理部１０５は、ヴィネッティング情報から各画角でのピント制御範囲を個別に算出する。

続いて図９のステップＳ１０５において、画像処理部１０５は、合成画像のピント制御範囲を取得する。このとき画像処理部１０５は、実施例１と同様の考え方で像側ピント制御範囲を算出する。すなわち画像処理部１０５は、露出状態の予測で得られた撮影時の結像光学系１０１ａ乃至１０１ｇのＦ値をＦ_ｍｏｎｏに代入して、ピント制御範囲を取得する。結像光学系１０１ａ乃至１０１ｇのうちＦ_ｍｏｎｏのＦ値を有する結像光学系で結像される画像の画素数をＲ_ｍｏｎｏとすると、ｄ_{ｒｅｆｏｃｕｓ}が満たすべき条件式である式（１１）が求められる。

式（１１）における上限および下限の意味は、式（７）と同様である。

望ましくは、像側ピント制御範囲を以下の式（１１ａ）の範囲内とすることで、より鮮鋭な合成画像を得ることができる。

また望ましくは、像側ピント制御範囲を以下の式（１１ｂ）の範囲内とすることで、更に鮮鋭な合成画像を得ることができる。

本実施例における条件式である式（１１）の値は、表１に示されるとおりである。撮像素子１０３ａ乃至１０３ｇのそれぞれの有効画素数はＲ_ｍｏｎｏ＝１９．３×１０^６（ｐｉｘ）、画素ピッチはΔ＝０．００１２（ｍｍ）である。結像光学系１０１ａ乃至１０１ｇのそれぞれの焦点距離はｆ＝５０．０（ｍｍ）、開放Ｆ値はＦ＝１．８である。表１では、撮影時のＦ値をＦ_ｍｏｎｏ＝１．８としている。Ｆ値が異なる場合、式（１１）を満たすようにｄ_{ｒｅｆｏｃｕｓ}が決定される。また、高画角の領域では、光束のケラレに応じてピント制御範囲を変化させる。例えば、画像のある画角領域が軸上領域に対して焦点深度が２倍になっている場合、その画角領域のピント制御範囲を軸上におけるピント制御範囲の２倍にする。合成画像の画素数Ｒ_{ｓｙｎｔｈ}は、合成画像画素数指定部１１１ａにより、１９．３×１０^６ｐｉｘ、１０．０×１０^６ｐｉｘ、５．０×１０^６ｐｉｘの３種類から選択することができる。それぞれの画素数に対するｄ_{ｒｅｆｏｃｕｓ}は、表１に示されるとおりである。なお、図１０のステップＳ２０２、Ｓ２０５においても、図９のステップＳ１０４、Ｓ１０５とそれぞれ同様の手順で、情報とピント制御範囲を取得することができる。

本実施例によれば、撮影または画像編集の際に、ユーザにリフォーカス範囲を提示して、ユーザが意図する撮影や編集を容易にする撮像装置および撮像装置の制御方法を提供することができる。

次に、図２０乃至図２３を参照して、本発明の実施例４における撮像装置（撮像システム）について説明する。図２０は、本実施例における撮像装置３０（撮像システム）のブロック図である。図２１は、撮像装置３０の概略構成図である。

図２１に示されるように、視差画像取得部３００（入力画像取得装置）は、２次元的に配列された４つの単視点画像取得部４００ａ乃至４００ｄを備えて構成され、図５を参照して説明した実施例３の構成と定性的には同じである。画像処理部３０１（画像処理装置）は、図９および図１０のフローチャートに示される処理を行うコンピュータ機器（情報処理装置）である。画像処理部３０１で処理された画像は、表示部３０２（表示機器）、記録媒体３０３（記憶部）、出力部３０４（出力機器）のいずれか一つまたは複数に出力される。表示部３０２（表示装置）は、例えば液晶ディスプレイやプロジェクタなどである。記録媒体３０３は、例えば半導体メモリ、ハードディスク、ネットワーク上のサーバーなどである。出力部３０４は、プリンタなどである。

ユーザは、撮影または画像編集の際に、表示部３０２を介して画像を確認しながら作業を行うことができる。画像処理部３０１は、図９および図１０の処理や再構成処理に加えて、必要に応じて現像処理やその他の画像処理を行う。各部材の制御は、ＰＣなどのシステムコントローラ３０５により行われる。システムコントローラ３０５は、合成画像画素数指定部３０５ａ、合焦被写体指定部３０５ｂ、表示指令部３０５ｃ、および、撮影指令部３０５ｄを備えて構成される。

続いて、図２２を参照して、単視点画像取得部４００ａ乃至４００ｄのそれぞれの構成について説明する。図２２は、単視点画像取得部４００のブロック図である。図２２において、図１と同様の部分についての説明は省略する。

結像光学系４０１で結像された像は、撮像素子４０３およびＡ／Ｄコンバータ４０４を介してデジタル信号に変換される。このデジタル信号は、画像処理部４０５で所定の処理が施された後、単視点画像取得部４００内の各部位（表示部４０６、記憶部４０９、画像記録媒体４１０（画像記録部））および画像処理部３０１へ出力される。システムコントローラ４１１はシステムコントローラ３０５からの信号を受けて、単視点画像取得部４００の各部位（制御部４０７、状態検知部４０８、画像処理部４０５、表示部４０６）を制御する。露出状態予測部４１３は、測光部４１２から得られた情報に基づいて撮影時の露出状態を予測する。

図２３は、本実施例における結像光学系４０１ａ（および撮像素子４０３ａ）の断面図である。図２３に示される結像光学系４０１ａはフォーカス群ＩＦおよび絞りＳＰを有する単焦点レンズであり、フォーカス群ＩＦを駆動してフォーカスを行う。他の単視点画像取得部４００ｂ乃至４００ｄも、単視点画像取得部４００ａと同様の構成を有する。ただし、各単視点画像取得部は互いに異なる構成を有していてもよく、また、その個数や配置も限定されるものではない。

本実施例のリフォーカス処理、および、撮影や画像編集の際における表示画像の生成は、実施例３と同様である。また、本実施例における式（１１）の値は、表１に示されるとおりである。本実施例における撮像素子４０３ａ乃至４０３ｄのそれぞれの有効画素数はＲ_ｍｏｎｏ＝３２．０×１０^６（ｐｉｘ）、画素ピッチはΔ＝０．００５２（ｍｍ）である。結像光学系４０１ａ乃至４０１ｄのそれぞれの焦点距離はｆ＝２００．０（ｍｍ）、開放Ｆ値はＦ＝２．０である。表１は、撮影時の予測Ｆ値をＦ_ｍｏｎｏ＝２．０として計算した値である。合成画像の画素数Ｒ_{ｓｙｎｔｈ}は、合成画像画素数指定部３０５ａにより、６４．０×１０^６ｐｉｘ、３２．０×１０^６ｐｉｘ、８．０×１０^６ｐｉｘの３種類から選択することができる。それぞれの画素数に対するｄ_{ｒｅｆｏｃｕｓ}は、表１に示されるとおりである。ここで、６４．０×１０^６ｐｉｘの合成画像を生成するには、画素ずらし超解像などの高解像度が必要となる。

なお、本実施例を画像処理装置に適用する場合、画像処理装置は、入力画像（視差画像）の撮影条件情報を記憶する記憶部を備えて構成される。

本実施例によれば、撮影または画像編集の際に、ユーザにリフォーカス範囲を提示して、ユーザが意図する撮影や編集を容易にする撮像システムおよび画像処理装置を提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０ 撮像装置
１００ 視差画像取得部
１０１ 結像光学系
１０２ レンズアレイ
１０３ 撮像素子
１０５ 画像処理部
１０６ 表示部

Claims (25)

1. ライトフィールドの情報を含む入力画像をリフォーカス処理することによりピント位置の異なる複数の出力画像を生成可能な撮像装置であって、
   入力画像を取得する入力画像取得部と、
   前記入力画像から表示画像を生成する画像処理部と、
   前記表示画像を表示する表示部を有し、
   前記画像処理部は、前記入力画像の画像取得条件に関する情報を用いて前記ピント位置を制御可能なリフォーカス範囲を取得し、前記リフォーカス範囲に関する情報を含む前記表示画像を生成し、
   前記ライトフィールドの情報は、被写体空間の光の２次元強度分布と光線の角度情報であり、
   前記入力画像の画像取得条件に関する情報は、前記入力画像を取得したときの前記入力画像取得部の絞り状態、フォーカス位置、焦点距離の少なくとも一つに関する情報であることを特徴とする撮像装置。
2. 前記画像処理部は、前記リフォーカス範囲に含まれる被写体のエッジ部を強調した表示画像を生成することを特徴とする請求項１に記載の撮像装置。
3. 前記画像処理部は、前記リフォーカス範囲を数値範囲で表示する表示画像を生成することを特徴とする請求項１に記載の撮像装置。
4. 前記画像処理部は、前記入力画像の画角領域に応じて、前記リフォーカス範囲を変更することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記画像処理部は、前記出力画像の画素数に応じて、前記リフォーカス範囲を変更することを特徴する請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記出力画像の画素数を指定する出力画像画素数指定部を更に有することを特徴する請求項５に記載の撮像装置。
7. 前記表示部は、撮影前に前記表示画像を表示することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 被写体空間の距離情報を取得する距離情報取得部を更に有し、
   前記画像処理部は、前記距離情報を用いて前記表示画像を生成することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記距離情報取得部は、前記入力画像の視差情報を用いて前記距離情報を取得することを特徴とする請求項８に記載の撮像装置。
10. 前記画像処理部は、前記リフォーカス範囲の内外で互いに異なる画像処理を行って前記表示画像を生成することを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. 前記表示部に前記表示画像を表示するように指令する表示指令部を更に有することを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
12. 合焦する被写体を指定する合焦被写体指定部を更に有し、
    前記画像処理部は、前記合焦する被写体が指定された後に前記表示画像を生成することを特徴とする請求項１乃至１１のいずれか１項に記載の撮像装置。
13. 前記入力画像の少なくとも一部または前記出力画像である画像を記録する画像記録部を更に有し、
    前記画像記録部は、前記画像を記録するとともに、該画像に対応する前記リフォーカス範囲を記録することを特徴とする請求項１乃至１２のいずれか１項に記載の撮像装置。
14. 撮影時の露出状態を予測する露出状態予測部を更に有し、
    前記画像処理部は、前記露出状態予測部により予測された露出状態に応じて、前記リフォーカス範囲を変更することを特徴とする請求項１乃至１３のいずれか１項に記載の撮像装置。
15. 前記入力画像取得部は、物体側から順に、
    被写体面からの光線を像側共役面へ結像する結像光学系と、
    前記像側共役面に配置されたレンズアレイと、
    複数の画素を備えた撮像素子を有し、
    前記レンズアレイは、前記被写体面の同一位置からの光線を、該光線が通過する前記結像光学系の瞳領域に応じて、前記撮像素子の互いに異なる画素に入射させるように構成されていることを特徴とする請求項１乃至１４のいずれか１項に記載の撮像装置。
16. 前記リフォーカス範囲と前記結像光学系を介して共役な像側の範囲を像側リフォーカス範囲とした場合、以下の式を満たすことを特徴とする請求項１５に記載の撮像装置。
    
    
    ただし、ｄ_{ｒｅｆｏｃｕｓ}は前記像側共役面と前記像側リフォーカス範囲の両端の一つとの間隔、σは前記レンズアレイの像側主平面と前記撮像素子との間隔、Ｒ_{ｓｙｎｔｈ}は前記出力画像の画素数、Ｒ_{ｔｏｔａｌ}は前記撮像素子の有効画素数である。
17. 前記入力画像取得部は、物体側から順に、
    被写体面からの光線を像側共役面へ結像する結像光学系と、
    レンズアレイと、
    複数の画素を有する撮像素子を有し、
    前記レンズアレイは、前記像側共役面と前記撮像素子とが共役関係になるように配置され、前記被写体面の同一位置からの光線を、該光線が通過する前記結像光学系の瞳領域に応じて、前記撮像素子の互いに異なる画素に入射させるように構成されていることを特徴とする請求項１乃至１４のいずれか１項に記載の撮像装置。
18. 前記リフォーカス範囲と前記結像光学系を介して共役な像側の範囲を像側リフォーカス範囲とした場合、以下の式を満たすことを特徴とする請求項１７に記載の撮像装置。
    
    ただし、ｄ_{ｒｅｆｏｃｕｓ}は前記像側共役面と前記像側リフォーカス範囲の両端の一つとの間隔、σ_１は前記レンズアレイの像側主平面と前記像側共役面との間隔、Δ_ＬＡは前記レンズアレイのピッチ、Δは前記撮像素子の画素ピッチ、Ｒ_{ｓｙｎｔｈ}は前記出力画像の画素数、Ｒ_{ｔｏｔａｌ}は前記撮像素子の有効画素数である。
19. 前記入力画像取得部は、物体側から順に、
    被写体空間からの光線を像側共役面に結像する複数の結像光学系と、
    複数の画素を備えた少なくとも一つの撮像素子を有し、
    前記複数の結像光学系は２次元的に配列されていることを特徴とする請求項１乃至１４のいずれか１項に記載の撮像装置。
20. 前記リフォーカス範囲と前記結像光学系を介して共役な像側の範囲を像側リフォーカス範囲とした場合、以下の式を満たすことを特徴とする請求項１９に記載の撮像装置。
    
    
    ただし、ｄ_{ｒｅｆｏｃｕｓ}は前記像側共役面と前記像側リフォーカス範囲の両端の一つとの間隔、Ｆ_ｍｏｎｏは前記結像光学系のＦ値、Δは前記撮像素子の画素のピッチ、Ｒ_{ｓｙｎｔｈ}は前記出力画像の画素数、Ｒ_ｍｏｎｏは前記Ｆ値がＦ_ｍｏｎｏをとる結像光学系によって形成される画像の画素数である。
21. ライトフィールドの情報を含む入力画像をリフォーカス処理することによりピント位置の異なる複数の出力画像を生成可能な撮像システムであって、
    入力画像を取得する入力画像取得装置と、
    前記入力画像から表示画像を生成する画像処理装置と、
    前記表示画像を表示する表示装置を有し、
    前記画像処理装置は、前記入力画像の画像取得条件に関する情報を用いて前記ピント位置を制御可能なリフォーカス範囲を取得し、前記リフォーカス範囲に関する情報を含む前記表示画像を生成し、
    前記ライトフィールドの情報は、被写体空間の光の２次元強度分布と光線の角度情報であり、
    前記入力画像の画像取得条件に関する情報は、前記入力画像を取得したときの前記入力画像取得部の絞り状態、フォーカス位置、焦点距離の少なくとも一つに関する情報であることを特徴とする撮像システム。
22. ライトフィールドの情報を含む入力画像をリフォーカス処理することによりピント位置の異なる複数の出力画像を生成可能な画像処理装置であって、
    前記入力画像から表示画像を生成する画像処理部と、
    前記表示画像を表示する表示部を有し、
    前記画像処理部は、前記入力画像の画像取得条件に関する情報を用いて前記ピント位置を制御可能なリフォーカス範囲を取得し、前記リフォーカス範囲に関する情報を含む前記表示画像を生成し、
    前記ライトフィールドの情報は、被写体空間の光の２次元強度分布と光線の角度情報であり、
    前記入力画像の画像取得条件に関する情報は、前記入力画像を取得したときの前記入力画像取得部の絞り状態、フォーカス位置、焦点距離の少なくとも一つに関する情報であることを特徴とする画像処理装置。
23. 前記画像処理部は、前記リフォーカス範囲に含まれる被写体のエッジ部を強調した表示画像を生成することを特徴とする請求項２２に記載の画像処理装置。
24. 前記画像処理部は、前記リフォーカス範囲を数値範囲で表示する表示画像を生成することを特徴とする請求項２２に記載の画像処理装置。
25. ライトフィールドの情報を含む入力画像をリフォーカス処理することによりピント位置の異なる複数の出力画像を生成可能な撮像装置の制御方法であって、
    結像光学系および撮像素子を介して入力画像を取得するステップと、
    前記入力画像の画像取得条件に関する情報を用いて前記ピント位置を制御可能なリフォーカス範囲を取得するステップと、
    前記リフォーカス範囲に関する情報を含む表示画像を生成するステップと、
    前記表示画像を表示部に表示するステップを含み、
    前記ライトフィールドの情報は、被写体空間の光の２次元強度分布と光線の角度情報であり、
    前記入力画像の画像取得条件に関する情報は、前記入力画像を取得したときの前記入力画像取得部の絞り状態、フォーカス位置、焦点距離の少なくとも一つに関する情報であることを特徴とする撮像装置の制御方法。