JP6220125B2 - 撮像装置およびその制御方法 - Google Patents

Description

本発明は、撮像装置およびその制御方法に関し、特に撮影後にリフォーカス可能な画像データを生成する撮像装置およびその制御方法に関する。

近年、画素位置に入射する光の積分強度のみならず、画素位置に入射する光の入射方向ごとの強度を記録する撮像装置が提案され、ライトフィールドカメラなどと呼ばれている（非特許文献１）。例えば、撮影レンズと撮像素子との間にマイクロレンズアレイを配置し、撮像素子の複数の画素で１つのマイクロレンズの出射光を受光するように構成すると、各画素では異なる方向からマイクロレンズに入射した光の強度を得ることができる。

このように取得された画素信号（光線情報）は、マイクロレンズの位置における方向別の入射光強度の情報を有する。そのため、「Light Field Photography」と呼ばれる手法を適用することで、任意の像面にピントを合わせた画像（以下、リフォーカス画像）を再構成することができる。また、１つのマイクロレンズの出射光を受光した複数の画素で得られた信号を加算すれば、マイクロレンズの数に等しい画素数を有する通常の撮影画像を得ることができる。リフォーカス画像を再構成可能な画像を、本明細書ではライトフィールド画像とよぶ。

この方法では、再構成画像の１画素の情報を、１つのマイクロレンズの出射光を受光する複数の画素で得た情報から生成するため、再構成画像の画素数は撮像素子の総画素数に比べて少なくなる。ライトフィールド画像でない通常の画像を生成する際にも、複数の画素で得た情報を合成して１画素を生成するため、同じ撮像素子を用いている通常のカメラで得られるよりも少ない画素数の画像しか得られない。つまり、従前のライトフィールドカメラは、あくまでライトフィールド画像を撮影するための構成であり、通常画像もライトフィールド画像のある特定の像面位置に対応した画像という位置づけになる。従って、リフォーカスできない通常の画像の撮影性能が低下することは避けられなかった。

特許文献１ではこのような問題を解決するため、レンズ交換式カメラにおいて交換レンズとカメラとの接合部に着脱式のマイクロレンズアレイを配置する構成を提案している。マイクロレンズアレイを着脱式とすることで、マイクロレンズアレイを装着したときのみライトフィールド画像を撮影でき、マイクロレンズアレイを装着しないときは、最大で撮像素子の画素数に等しい通常画像の撮影ができるとしている。

特開２０１０−１０２２３０号公報

Ren.Ng、他、"Light Field Photography with a Hand-Held Plenoptic Camera"，Stanford Tech Report CTSR 2005-02、2005.4.20

特許文献１に開示された従来技術では、交換レンズや撮像装置によらずマイクロレンズアレイと撮像素子の配置関係は一定である。そのため、撮像装置が有する撮像素子の大きさや画素数の違いに応じたマイクロレンズと画素との対応付けを行うことができない。

本発明はこのような従来技術の課題に鑑みてなされたものであり、撮像素子の前面に配置するマイクロレンズアレイと撮像素子との配置関係を可変とした撮像装置およびその制御方法を提供することを目的とする。

上述の目的は、複数の光電変換素子が配列された撮像素子を有する撮像装置であって、マイクロレンズアレイを備え撮像装置に着脱可能な撮影レンズから、撮影レンズの品種情報を取得する取得手段と、撮影レンズが装着されている場合に、撮影レンズの品種情報と撮像素子の情報とに基づいた、マイクロレンズアレイと撮像素子との距離になるように、マイクロレンズアレイを移動させる指示を行う制御手段とを有し、マイクロレンズアレイと撮像素子との距離は、マイクロレンズアレイを構成する各レンズからの出射光が、撮像素子の２以上の所定の数の光電変換素子に入射されるように決定されることを特徴とする撮像装置によって達成される。

このような構成により、本発明によれば、撮像素子の前面に配置するマイクロレンズアレイと撮像素子との配置関係を可変とした撮像装置およびその制御方法を提供することができる。

本発明の第１の実施形態に係る撮像装置の構成例を示すブロック図 （ａ）は図１におけるマイクロレンズアレイ１０３と撮像素子１０４の付近の拡大図、（ｂ）はマイクロレンズ３００の出射光とマイクロレンズ３００に対応する光電変換素子群３０６との位置関係を示した図 撮像素子の光電変換素子密度が高い場合の、図２（ａ）および図２（ｂ）に対応する図 本発明の第１の実施形態に係るマイクロレンズアレイおよび絞り値の制御方法を説明するための図 マイクロレンズアレイの光軸方向の位置と受光領域との関係を示す図 本発明の第２の実施形態に係る撮像装置の構成例を示すブロック図

（第１の実施形態）
以下、図面を参照して、本発明を例示的な実施形態に基づいて詳細に説明する。
図１は、本発明の第１の実施形態に係る撮像装置の構成例を示すブロック図であり、光線の進行方向を横から見た状態を示している。

本実施形態の撮像装置はレンズ交換式であり、撮影レンズとしての交換レンズ１００と、本体１０７とから構成される。交換レンズ１００と本体１０７とは、交換レンズ１００と本体１０７にそれぞれ設けられたレンズマウントを介して着脱可能に構成されている。図１に示す、本体１０７と交換レンズ１００との間での信号のやりとりは、レンズマウントに設けられた電気的接点を通じて行われるのが一般的であるが、無接点での通信など他の方法で通信が行われてもよい。

交換レンズ１００にはレンズユニット１０２とマイクロレンズアレイ１０３が設けられており、レンズユニット１０２から出射された光がマイクロレンズアレイ１０３に入射するように構成されている。

レンズユニット１０２はフォーカスレンズを含む複数のレンズを有する。レンズユニット１０２にはまた絞り１０１が設けられ、絞り１０１の開口の大きさは本体１０７の制御部１０５によって制御可能である。絞り１０１の開口の大きさを制御することで、レンズユニット１０２から出射する光の最大入射角を制御することができ、開口を小さくするほど、この最大入射角を小さくすることができる。

マイクロレンズアレイ１０３は複数のマイクロレンズを２次元状に配列したもので、本実施形態では、光軸と並行に移動可能に構成されている。マイクロレンズアレイ１０３を駆動するための機構は例えばフォーカスレンズを駆動する機構と同様であってよく、公知の構成を利用可能であるため詳細についての説明は省略する。

交換レンズ１００は、レンズユニット１０２に含まれるフォーカスレンズや変倍レンズ、絞り１０１、マイクロレンズアレイ１０３を駆動するためのモータやアクチュエータなどの駆動源も有し、制御部１０５の制御に従ってこれらの部材を駆動する。駆動源の電源は例えばレンズマウントを通じて本体１０７から供給される。

マイクロレンズアレイ１０３を通過した光は、光電変換素子を２次元状に配列した撮像素子１０４にて電気信号に変換される。上述したように、マイクロレンズアレイ１０３を構成する各マイクロレンズと撮像素子１０４の光電変換素子が１対１で対応しているのではなく、１つのマイクロレンズに対して複数の光電変換素子（画素）が対応する。変換された電気信号は、画像処理部１０６にて画像合成処理を施され、画像データとなる。

制御部１０５は、画像処理部１０６から画像データおよび撮像素子１０４の情報を、交換レンズ１００から交換レンズ情報を受信し、マイクロレンズアレイ１０３の位置と絞り１０１の開口を制御する。その他、制御部１０５は、不図示の操作部からのユーザの指示や各種検出結果、解析結果等に応じて本体１０７の各部を制御する。本実施形態では、ユーザが、撮影モードとして少なくとも画質優先モードとリフォーカス優先モードの２つを設定可能としている。制御部１０５はユーザからのモード設定に従って、各部の制御を切り替える。

本実施形態における制御部１０５が行う、マイクロレンズアレイ１０３と絞り１０１の制御動作について、図２〜図５をさらに用いて詳細に説明する。
図２（ａ）は、図１におけるマイクロレンズアレイ１０３と撮像素子１０４の付近の拡大図である。ここでは便宜上、２次元的なマイクロレンズアレイ１０３のうち、垂直方向に配列した１列のマイクロレンズの一部と、これらマイクロレンズに対応する撮像素子１０４の一部領域に関して説明する。

マイクロレンズ３００〜３０５は、マイクロレンズアレイ１０３を構成する２次元配列されたマイクロレンズうち、垂直方向に並んだ一列の一部を示している。また、光電変換素子群３０６〜３１１は、撮像素子１０４に二次元配列された画素のうち、マイクロレンズ３００〜３０５に対応する画素群を示している。なお、図２では光電変換素子群３０６〜３１１が一次元的に示されているが、実際には図２（ｂ）に示すような２次元配列である。

図中Ａは、マイクロレンズアレイ１０３のレンズ断面中心から撮像素子１０４までの距離である。また、図中の斜線部分は各マイクロレンズ３００〜３０５の出射光の広がりを表わしている。

図２（ａ）では、撮像素子１０４とマイクロレンズアレイ１０３との距離Ａおよび絞り１０１の開口の大きさ（絞り値）の組み合わせが最適な状態になっている場合を示している。最適な状態とは、隣接するマイクロレンズの出射光の広がりが重複せず、１つのマイクロレンズに対応する光電変換素子の数が予め定めた数に等しい状態である。出射光の広がりの重複（クロストーク）がないことは、良好な画質を得る上で重要である。なお、画素の使用効率を考慮すれば、図２（ａ）に示すように、マイクロレンズの出射光の広がりが、隣接するマイクロレンズの出射光の広がりと重複しない範囲で大きくなる方がよい。

なお、１つのマイクロレンズに「対応する」複数の光電変換素子とは、マイクロレンズの出射光によって撮像素子上に形成される領域を包含した所定の大きさを有する領域内に含まれる光電変換素子群である。図２（ｂ）に示すように、マイクロレンズの出射光が撮像素子上に円形の領域３００’を形成する場合、例えばその外接矩形領域に含まれる光電変換素子群である。

図２（ｂ）は、マイクロレンズ３００の出射光が撮像素子１０４に入射する範囲（出射光の広がり）３００’と、マイクロレンズ３００に対応する光電変換素子群３０６との位置関係を、マイクロレンズ３００の光線方向で示した図である。本実施形態ではライトフィールド画像を生成する際に、情報量として１マイクロレンズあたり一例として５×５の光電変換素子で十分であるとする。そして、図２（ａ）における光電変換素子群３０６〜３１１は５×５で構成されているものとする。
他のマイクロレンズ３０１〜３０５についても同様に、５×５の光電変換素子群３０７〜３１１がそれぞれ対応している。

図２の例では、距離Ａおよび絞り値が適切であるため、各マイクロレンズ３００〜３０５の出射光の広がりは撮像素子１０４（撮像面）上で重複せず、かつライトフィールド画像を生成するのに過不足ない５×５の光電変換素子群に対応している。

しかしながら、撮像素子１０４の構成が異なる場合、この距離Ａと絞り値の組み合わせが適切とは限らない。図３は、図２の交換レンズ１００を別の構成の撮像素子４０４を有する本体１０７に装着した状態を、図２と同様に示している。
図３（ａ）に示す本体１０７は、素子密度が撮像素子１０４よりも高い撮像素子４０４を有している。そして、光電変換素子群４０６〜４１１がマイクロレンズアレイ１０３のマイクロレンズ３００〜３０５に対応している。

本実施形態に係る撮像装置のようにレンズ交換式の撮像装置では、交換レンズに互換性があるため、同じ交換レンズに異なる本体が装着されることが珍しくない。同じメーカのカメラであっても、撮像素子の種類や光電変換素子密度は様々である。新しい撮像装置が出るたびに、撮像素子は仕様が変わる場合が多い。撮像装置によって画素数や撮像素子の密度が変わることがある。ここでは、図３（ａ）の撮像素子４０４は、図２（ａ）の撮像素子１０４の４倍の密度で光電変換素子が配置されているものとする。

距離Ａと絞り値は図２（ａ）と同じなので、それぞれのマイクロレンズ３００〜３０５の出射光が入射する撮像素子４０４上の領域の面積は図２（ａ）の構成と等しい。図３（ｂ）は、マイクロレンズ３００とそれに対応した光電変換素子群４０６の位置関係を示す。図３（ｂ）は、マイクロレンズ３００の出射光が撮像素子４０４に入射する範囲（出射光の広がり）３００’と、マイクロレンズ３００に対応する光電変換素子群４０６との位置関係を、マイクロレンズ３００の光線方向で示した図である。図２（ｂ）との違いは、光電変換素子群４０６の素子数である。

図２（ｂ）の光電変換素子群３０６は５×５素子から構成されるが、素子密度が４倍の撮像素子４０４では、図３（ｂ）に示すように光電変換素子群４０６が１０×１０素子と４倍の数になる。この場合、撮像素子４０４を用いたライトフィールド画像は、必要十分な光電変換素子の４倍の光電変換素子で生成されることになる。たとえば１マイクロレンズあたり１つの画素を生成すると考えると、本体１０７が画素数の多い（光電変換素子数の多い）撮像素子４０４を搭載していても、画素数が少ない撮像素子１０４を搭載した本体と同等の画素数のライトフィールド画像しか得られない。つまり、撮像素子の画素密度によらず、得られるライトフィールド画像の画素数は一定であり、撮像素子４０４の光電変換素子の使用効率が低い。しかし一方で、１マイクロレンズあたりの光電変換素子の数が増えるため、リフォーカス可能な被写体距離の範囲は広くなる。また、各マイクロレンズの特定の視線方向からの光電変換素子でライトフィールド画像を構成することによる視点変更などでも、より分解能の高い視点変更が可能となる。

図４（ａ）は、制御部１０５によってマイクロレンズアレイ１０３の位置および絞り１０１の開口の大きさを制御することにより、最終画像としてのライトフィールド画像の解像度を優先して撮像素子４０４を効率よく使用できるようにした状態を示している。図２と同じ構成要素には同じ参照数字を付してある。
マイクロレンズ５００〜５０５は、マイクロレンズ３００〜３０５と同じ列で、マイクロレンズ３０５に続いて存在するマイクロレンズである。また、５１８の破線で囲まれている部分は図２（ａ）のマイクロレンズアレイ１０３の位置を示している。距離Ｂは図４（ａ）におけるマイクロレンズアレイ１０３のレンズ断面中心から撮像素子４０４までの距離である。

図４（ａ）では、図２（ａ）と縮尺が異なるため、小さく記載されているが、マイクロレンズ３００〜３０５，５００〜５０５のそれぞれの大きさは図２（ａ）に示したものと同じである。この点については図５を用いてさらに後述する。図４（ａ）では、マイクロレンズアレイ１０３が光軸に沿って撮像素子４０４から離れる方向に移動し、撮像素子４０４とマイクロレンズアレイ１０３との距離が距離Ａから距離Ｂとなった例を示している。

制御部１０５は、撮像素子１０４の光電変換素子密度の情報および交換レンズ１００の品種情報を受けて距離Ｂを決定し、マイクロレンズアレイ１０３を移動させる。マイクロレンズアレイ１０３の移動は、制御部１０５がマイクロレンズアレイ１０３の駆動源を直接制御してもよいし、交換レンズ１００のコントローラに指示を与えて間接的に行ってもよい。指示は、移動方向と移動量の組み合わせであっても、距離Ｂに対応する位置の情報であってもよい。

距離Ｂは、交換レンズ１００が有するマイクロレンズアレイ１０３と本体１０７が搭載する撮像素子４０４の固有値と、予め定めたマイクロレンズあたりの画素数とによって決まる。前述したとおり、ライトフィールド画像の解像度が優先される場合（画質優先モード）は距離Ｂに、広い被写体距離のリフォーカスや高い分解能な視点変更を行いたい場合（リフォーカス優先モード）には、例えば距離Ａに設定されるのが好ましい。

なお、撮像素子４０４とマイクロレンズアレイ１０３との距離が増えると、各マイクロレンズの出射光が撮像素子４０４に入射する領域が広くなる。そのため、絞り値を変えずにマイクロレンズアレイ１０３と撮像素子４０４との距離を図２（ａ）の距離Ａよりも大きくした場合、隣接するマイクロレンズの出射光の干渉（クロストーク）が発生する。

従って、制御部１０５は、マイクロレンズアレイ１０３の位置に応じて、各マイクロレンズ３００〜３０５、５００〜５０５の出射光の干渉が発生しないよう、絞り１０１も制御する。図２（ａ）の例であれば、マイクロレンズアレイ１０３と撮像素子４０４との距離を距離Ａよりも大きくする場合には開口を小さくする（絞る）方向に、距離Ａよりも小さくする場合には開口を大きくする（開く）方向に制御する。絞り１０１の開口の大きさは、制御部１０５が絞り１０１の駆動源を直接制御して変更してもよいし、交換レンズ１００のコントローラに絞り値を設定して間接的に変更してもよい。

マイクロレンズアレイ１０３と撮像素子４０４との距離（またはマイクロレンズアレイ１０３の位置）に応じた絞り値の情報は、交換レンズの機種別の情報として予め本体１０７が有する不揮発性メモリなどに登録しておくことができる。あるいは、交換レンズ１００から取得する情報と撮像素子４０４の情報とを用いて制御部１０５が算出してもよい。

図４（ａ）の例では、距離Ｂ＞距離Ａであるため、制御部１０５は距離Ａにおける絞り値よりも小さい絞り値に絞り１０１を変更し、絞り１０１の開口を小さくする。なお、図４（ａ）において、図２（ａ）よりもマイクロレンズの数が増えているが、これはマイクロレンズアレイ１０３を構成するマイクロレンズのうち、受光するマイクロレンズの数が増加したことを示している。

マイクロレンズアレイ１０３には、交換レンズ１００内の位置に応じて変化する受光領域が最大となる状態を想定してマイクロレンズが設けられている。図２（ａ）の状態では受光領域に含まれていなかったマイクロレンズ５００〜５０５が、マイクロレンズアレイ１０３が図４（ａ）の位置に移動されたことにより受光領域に含まれるようになるため、図４（ａ）ではマイクロレンズが増加したように記載されている。このように、マイクロレンズアレイ１０３の位置に応じて受光する（有効な）マイクロレンズの数が変化することで、生成されるライトフィールド画像の画素数を変化させることができる。

本実施形態では、画質（ライトフィールド画像の解像度）を優先するモード設定においては、各マイクロレンズに対応する光電変換素子数が一定となるようにマイクロレンズアレイ１０３の位置を制御する。そのため、撮像素子４０４の総光電変換素子数が増加すれば、それに応じて受光するマイクロレンズの数も増加させる必要がある。

図５はマイクロレンズアレイ１０３の光軸方向おける位置と受光領域との関係を示す図であり、光線上でマイクロレンズアレイ１０３を見た状態を示している。小さい円はマイクロレンズを表わしている。破線で示している内側の円７００は、図２（ａ）に示した距離Ａに対応する位置におけるマイクロレンズアレイ１０３の受光範囲を模式的に示している。一方、破線で示している外側の円７０１は、図４（ａ）に示した距離Ｂに対応する位置におけるマイクロレンズアレイ１０３の受光範囲を模式的に示している。

このように、マイクロレンズアレイ１０３を光軸方向に移動させると、位置に応じてマイクロレンズアレイ１０３の受光領域の面積も変化する。具体的には、マイクロレンズアレイ１０３の位置が、交換レンズ１００の前方（レンズマウントと反対方向）にあるほど、受光領域は大きくなる。マイクロレンズアレイ１０３の可動域における最大受光領域をカバーできるように、マイクロレンズが形成されている。図４（ａ）におけるマイクロレンズ５００〜５０５は、円７００に含まれず、円７０１に含まれる部分に存在するマイクロレンズである。

図４（ｂ）は、図４（ａ）の状態における、マイクロレンズの出射光が撮像素子４０４に入射する範囲（出射光の広がり）と、マイクロレンズに対応する光電変換素子群との位置関係を、マイクロレンズ３００の光線方向で示した図である。
図４（ｂ）において、３００’および３０１’はマイクロレンズ３００および３０１の出射光が撮像素子４０４に入射する範囲である。また、６００’および６０１’は、マイクロレンズ３００および３０１の１列左（図４（ａ）では紙面に対して１列奥）に存在するマイクロレンズの出射光が撮像素子４０４に入射する範囲である。

マイクロレンズアレイ１０３が距離Ａの位置にある場合は、図３（ｂ）に示したように、撮像素子４０４の１０×１０の光電変換素子が１つのマイクロレンズに対応していた。これに対し、図４（ｂ）では５×５の光電変換素子が１つのマイクロレンズに対応するようになり、１０×１０の光電変換素子で対応できるマイクロレンズの数が４倍になっている。

本実施形態ではライトフィールド画像の１画素あたり５×５の光電変換素子で足りるという前提であるため、図２と同等の品質で画素数が４倍のライトフィールド画像を生成することが可能になる。このように、本実施形態では、各マイクロレンズに対応する光電変換素子数が一定になるようにマイクロレンズアレイ１０３の位置および絞り１０１の開口の大きさを制御することで、撮像素子が有する光電変換素子の有効利用を実現している。

なお、本実施形態では撮像素子の光電変換素子密度が高くなった場合の制御について説明したが、逆に密度が低くなった場合は、マイクロレンズアレイ１０３を撮像素子に近づける方向に動かし、絞り１０１を開くように制御する。この場合、ライトフィールド画像の画素数は距離が固定の場合より減少するが、マイクロレンズに対応する光電変換素子の数が減少しないため、画質を維持することができる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。図６は、本発明の第２の実施形態に係る撮像装置の構成例を示すブロック図であり、光線の進行方向を横から見た状態を示している。本実施形態係る撮像装置を構成する機能ブロックは第１の実施形態と共通であるが、動作が異なる。

本実施形態では、交換レンズ１００内のマイクロレンズアレイ１０３は固定で、撮像素子１０４の位置を光軸方向に移動させる点が第１の実施形態と異なる。従って、制御部１０５はマイクロレンズアレイ１０３の位置を制御する代わりに、撮像素子１０４の位置をを制御する。上述のように、適切な距離はマイクロレンズアレイ１０３や撮像素子１０４の固有値と予め定めたマイクロレンズあたりの画素数とによって一律に決まり、機器の状態によって変わるものではない。従って、制御部１０５は装着された交換レンズ１００から必要な情報を取得することで、適切な距離を決定することができる。

撮像素子１０４を移動させるための機構は、任意の公知の構成を用いることが可能であり、制御部１０５は駆動源を制御することにより、撮像素子１０４の位置を制御することができる。また、絞り１０１の開口の大きさの制御については、第１の実施形態と同様に行うことができる。

本実施形態では、ライトフィールド画像の１画素を生成するために用いられる光電変換素子（マイクロレンズに対応する光電変換素子）の数を一定にすることができる。そのため、本体１０７が搭載する撮像素子１０４の光電変換素子密度に依存せず、同じ操作でリフォーカス画像を生成することが可能なライトフィールド画像を生成できる。また、必要以上の光電変換素子を用いないため、光電変換素子密度が高い撮像素子を用いた場合の必要以上の負荷を回避できる。

第１および第２の実施形態では、ライトフィールド画像を撮像するための交換レンズが装着された場合の各モード設定に応じた適切な撮影光学系の配置情報について説明した。ここでライトフィールド画像を撮像するための交換レンズが装着された場合の本体１０７、交換レンズ１００の動作について説明する。ただし、通常の画像を撮影するための、マイクロレンズアレイなどが搭載されていない従来の交換レンズが装着された場合、制御部１０５は上述の実施形態における画素の取り扱い、制御部１０５の制御を行わず、従来の通常の撮像装置として動作する。具体的には、ライトフィールド画像を撮影するための交換レンズが装着される場合、撮像素子１０４の各光電変換素子がどの単位（上述した５×５や１０×１０など）で１つのマイクロレンズに対応しているかの情報（画素の組み合わせ情報）が必要である。

交換レンズ１００が装着された状態で本体１０７の電源がＯＮされると、制御部１０５は交換レンズ１００から前述したようなレンズ情報を取得する。さらに、制御部１０５は、ユーザからの指示等により設定された現在のモード設定（画質優先か、リフォーカス優先か）の情報も踏まえて撮影光学系の配置情報を決定し、対応する画素の組み合わせ情報を設定する。このとき第２の実施形態の構成では、制御部１０５は、撮影光学系の配置情報に従って撮像素子１０４を適切な位置に移動させる。そして、実際の撮像から記録までの処理では、制御部１０５及び画像処理部１０６は設定された画素の組み合わせ情報にしたがって光電変換素子からの出力を処理していく。

一方、交換レンズ１００は例えば本体１０７の電源投入時に、本体１０７からレンズ情報を要求する信号を受信し、レンズ情報を本体１０７に送信する。その後、第１の実施形態の構成では、例えば交換レンズ１００に設けられた制御部が、本体１０７から撮影光学系の配置情報に基づいたマイクロレンズアレイ１０３の位置を指示する情報を取得し、該当する位置にマイクロレンズアレイ１０３を移動させる。なお、本体１０７が有する制御部１０５が、撮像光学系の配置情報を決定し、交換レンズ１００の駆動部材を制御して該当する位置にマイクロレンズアレイ１０３を移動させてもよい。

第１および第２の実施形態では、ライトフィールド画像を撮像するための交換レンズに関する動作について説明した。しかし、ライトフィールド画像ではなく通常の画像を撮影するための交換レンズが装着された場合、制御部１０５は上述のマイクロレンズアレイ１０３や絞り１０１の制御を行わない。

制御部１０５は交換レンズ１００から品種情報を含むレンズ情報を受け取るので、そこでライトフィールド画像用の交換レンズではないと認識した場合、制御部１０５は動作せず、従来の撮像装置と同様の動作を行う。

また、第１および第２の実施形態１においては、ライトフィールド画像の生成に必要十分な光電変換素子を、マイクロレンズあたり５×５とした例を説明したが、これは単なる例示であり、より少ない値や多い値であってもよい。

また、制御部１０５を撮像装置の本体１０７に搭載した例を説明したが、たとえば、制御部１０５の機能の一部を達成する構成（ＣＰＵ等）を交換レンズ１００に搭載するなど、他の場所に搭載してもよい。

以上、本発明の例示的な実施形態について説明したが、本発明はこれらの実施形態に限定されず、特許請求の範囲に記載された範囲内で種々の変形及び変更が可能である。

Claims (19)

1. 複数の光電変換素子が配列された撮像素子を有する撮像装置であって、
   マイクロレンズアレイを備え前記撮像装置に着脱可能な撮影レンズから、前記撮影レンズの品種情報を取得する取得手段と、
   前記撮影レンズが装着されている場合に、前記撮影レンズの品種情報と前記撮像素子の情報とに基づいた、前記マイクロレンズアレイと前記撮像素子との距離になるように、前記マイクロレンズアレイを移動させる指示を行う制御手段とを有し、
   前記マイクロレンズアレイと前記撮像素子との距離は、前記マイクロレンズアレイを構成する各レンズからの出射光が、前記撮像素子の２以上の所定の数の光電変換素子に入射されるように決定されることを特徴とする撮像装置。
2. 複数の光電変換素子が配列された撮像素子を有する撮像装置であって、
   マイクロレンズアレイを備え前記撮像装置に着脱可能な撮影レンズから、前記撮影レンズの品種情報を取得する取得手段と、
   前記撮影レンズが装着されている場合に、前記撮影レンズの品種情報と前記撮像素子の情報とに基づいた、前記マイクロレンズアレイと前記撮像素子との距離になるように、前記撮像素子を移動させる指示を行う制御手段とを有し、
   前記マイクロレンズアレイと前記撮像素子との距離は、前記マイクロレンズアレイを構成する各レンズからの出射光が、前記撮像素子の２以上の所定の数の光電変換素子に入射されるように決定されることを特徴とする撮像装置。
3. 前記制御手段はさらに、前記撮影レンズが装着されている場合に、前記撮影レンズの品種情報に基づいて絞り値を制御することを特徴とする請求項１または請求項２に記載の撮像装置。
4. 前記制御手段は、前記マイクロレンズアレイで隣接するレンズの出射光が前記撮像素子上において干渉しない値に前記絞り値を制御することを特徴とする請求項３に記載の撮像装置。
5. 前記制御手段が、前記マイクロレンズアレイを構成する各レンズからの出射光が入射される光電変換素子の数が一定になるように、前記距離を制御することを特徴とする請求項１から請求項４のいずれか１項に記載の撮像装置。
6. 前記制御手段は、マイクロレンズアレイを備えていない撮影レンズが装着されている場合には、前記距離の制御を行わないことを特徴とする請求項１から請求項４のいずれか１項に記載の撮像装置。
7. 複数の光電変換素子が配列された撮像素子を有する撮像装置に着脱可能な撮影レンズであって、
   光軸に沿って移動可能なマイクロレンズアレイと、
   前記マイクロレンズアレイを光軸に沿って移動させる駆動手段と、
   前記撮像装置に前記撮影レンズの品種情報を送信する送信手段とを有し、
   前記撮像装置に装着されている場合に、前記マイクロレンズアレイを構成する各レンズからの出射光が、前記撮像素子の２以上の所定の数の光電変換素子に入射されるように、前記駆動手段は、前記撮像装置の制御に従って、前記マイクロレンズアレイを前記撮像素子の構成と前記品種情報とによって定まる位置に移動させることを特徴とする撮影レンズ。
8. 絞りと、
   前記撮像装置に装着されている場合に、前記マイクロレンズアレイで隣接するレンズの出射光が前記撮像素子上において干渉しないように、前記絞りを制御する制御手段と、をさらに有することを特徴とする請求項７に記載の撮影レンズ。
9. 複数の光電変換素子が配列された撮像素子を有する撮像装置であって、
   マイクロレンズアレイを備え、前記撮像装置に着脱可能な撮影レンズから、前記撮影レンズの品種情報を取得する取得手段と、
   撮影モードを設定する設定手段と、
   前記撮影レンズが装着されている場合に、前記マイクロレンズアレイと前記撮像素子との距離が前記撮影レンズの品種情報、前記撮像素子の情報、および前記撮影モードに応じた距離になるように、前記マイクロレンズアレイを移動させる指示を行う制御手段とを有し、
   前記制御手段は、前記マイクロレンズアレイを構成する各レンズからの出射光が、前記撮像素子の２以上の所定の数の光電変換素子に入射されるように、前記マイクロレンズアレイと前記撮像素子との距離を制御することを特徴とする撮像装置。
10. 複数の光電変換素子が配列された撮像素子を有する撮像装置であって、
    マイクロレンズアレイを備え、前記撮像装置に着脱可能な撮影レンズから、前記撮影レンズの品種情報を取得する取得手段と、
    撮影モードを設定する設定手段と、
    前記撮影レンズが装着されている場合に、前記マイクロレンズアレイと前記撮像素子との距離が前記撮影レンズの品種情報、前記撮像素子の情報、および前記撮影モードに応じた距離になるように、前記撮像素子を移動させる指示を行う制御手段とを有し、
    前記制御手段は、前記マイクロレンズアレイを構成する各レンズからの出射光が、前記撮像素子の２以上の所定の数の光電変換素子に入射されるように、前記マイクロレンズアレイと前記撮像素子との距離を制御することを特徴とする撮像装置。
11. 複数の光電変換素子が配列された撮像素子を有する撮像装置の制御方法であって、
    マイクロレンズアレイを備え前記撮像装置に着脱可能な撮影レンズから、前記撮影レンズの品種情報を取得する取得ステップと、
    前記撮影レンズが装着されている場合に、前記撮影レンズの品種情報と前記撮像素子の情報とに基づいた、前記マイクロレンズアレイと前記撮像素子との距離になるように、前記マイクロレンズアレイを移動させる指示を行う制御ステップとを有し、
    前記マイクロレンズアレイと前記撮像素子との距離は、前記マイクロレンズアレイを構成する各レンズからの出射光が、前記撮像素子の２以上の所定の数の光電変換素子に入射されるように決定されることを特徴とする撮像装置の制御方法。
12. 複数の光電変換素子が配列された撮像素子を有する撮像装置の制御方法であって、
    マイクロレンズアレイを備え前記撮像装置に着脱可能な撮影レンズから、前記撮影レンズの品種情報を取得する取得ステップと、
    前記撮影レンズが装着されている場合に、前記撮影レンズの品種情報と前記撮像素子の情報とに基づいた、前記マイクロレンズアレイと前記撮像素子との距離になるように、前記撮像素子を移動させる指示を行う制御ステップとを有し、
    前記マイクロレンズアレイと前記撮像素子との距離は、前記マイクロレンズアレイを構成する各レンズからの出射光が、前記撮像素子の２以上の所定の数の光電変換素子に入射されるように決定されることを特徴とする撮像装置の制御方法。
13. 複数の光電変換素子が配列された撮像素子を有する撮像装置の制御方法であって、 マイクロレンズアレイを備え前記撮像装置に着脱可能な撮影レンズから、前記撮影レンズの品種情報を取得する取得ステップと、
    撮影モードを設定する設定ステップと、
    前記撮影レンズが装着されている場合に、マイクロレンズアレイと前記撮像素子との距離が前記撮影レンズの品種情報、前記撮像素子の情報、および前記撮影モードに応じた距離になるように、前記マイクロレンズアレイを移動させる指示を行う制御ステップとを有し、
    前記制御ステップでは、前記マイクロレンズアレイを構成する各レンズからの出射光が、前記撮像素子の２以上の所定の数の光電変換素子に入射されるように、前記マイクロレンズアレイと前記撮像素子との距離を制御することを特徴とする撮像装置の制御方法。
14. 複数の光電変換素子が配列された撮像素子を有する撮像装置の制御方法であって、 マイクロレンズアレイを備え前記撮像装置に着脱可能な撮影レンズから、前記撮影レンズの品種情報を取得する取得ステップと、
    撮影モードを設定する設定ステップと、
    前記撮影レンズが装着されている場合に、マイクロレンズアレイと前記撮像素子との距離が前記撮影レンズの品種情報、前記撮像素子の情報、および前記撮影モードに応じた距離になるように、前記撮像素子を移動させる指示を行う制御ステップとを有し、
    前記制御ステップでは、前記マイクロレンズアレイを構成する各レンズからの出射光が、前記撮像素子の２以上の所定の数の光電変換素子に入射されるように、前記マイクロレンズアレイと前記撮像素子との距離を制御することを特徴とする撮像装置の制御方法。
15. 撮像装置が備えるコンピュータに、請求項１１から請求項１４のいずれか１項に記載の撮像装置の制御方法を実行させるためのプログラム。
16. 前記マイクロレンズアレイからの出射光が入射する光電変換素子の出力からライトフィールド画像を生成可能であることを特徴とする請求項１に記載の撮像装置。
17. 前記マイクロレンズアレイからの出射光が入射する光電変換素子の出力からリフォーカス可能な画像を生成可能であることを特徴とする請求項１に記載の撮像装置。
18. 撮像装置と、
    前記撮像装置に着脱可能な撮影レンズと、を有する撮像システムであって、
    前記撮影レンズは光軸に沿って移動可能なマイクロレンズアレイを有し、
    前記撮像装置は、
    複数の光電変換素子が配列された撮像素子と、
    マイクロレンズアレイを備え前記撮像装置に着脱可能な撮影レンズから、前記撮影レンズの品種情報を取得する取得手段と、
    前記撮影レンズが装着されている場合に、前記撮影レンズの品種情報と前記撮像素子の情報とに基づいた、前記マイクロレンズアレイと前記撮像素子との距離になるように、前記マイクロレンズアレイを移動させる指示を行う制御手段とを有し、
    前記マイクロレンズアレイと前記撮像素子との距離は、前記マイクロレンズアレイを構成する各レンズからの出射光が、前記撮像素子の２以上の所定の数の光電変換素子に入射されるように決定されることを特徴とする撮像システム。
19. 撮像装置と、
    前記撮像装置に着脱可能な撮影レンズと、を有する撮像システムであって、
    前記撮影レンズは光軸に沿って移動可能なマイクロレンズアレイを有し、
    前記撮像装置は、
    複数の光電変換素子が配列された撮像素子と、
    マイクロレンズアレイを備え前記撮像装置に着脱可能な撮影レンズから、前記撮影レンズの品種情報を取得する取得手段と、
    前記撮影レンズが装着されている場合に、前記撮影レンズの品種情報と前記撮像素子の情報とに基づいた、前記マイクロレンズアレイと前記撮像素子との距離になるように、前記撮像素子を移動させる指示を行う制御手段とを有し、
    前記マイクロレンズアレイと前記撮像素子との距離は、前記マイクロレンズアレイを構成する各レンズからの出射光が、前記撮像素子の２以上の所定の数の光電変換素子に入射されるように決定されることを特徴とする撮像システム。

Images