JP5970816B2 - 画像処理装置、撮像素子、および、撮像装置 - Google Patents

Description

本発明は、画像処理装置、撮像素子、および、撮像装置に関する。
本願は、２００９年１２月２８日に、日本に出願された特願２００９−２９８３６４号に基づき優先権を主張し、その内容をここに援用する。

撮影レンズからの光束をマイクロレンズアレイの各マイクロレンズを介して複数の受光素子で受光して得られる受光信号を用いて、撮影レンズの任意の像面に焦点のあった画像を合成する画像合成装置を備える撮像装置が知られている（例えば、特許文献１参照）。

特開２００７−４４７１号公報

ところで、上述のような撮像装置において、複数の受光素子で得られる受光信号を間引いて用いる場合には、用いる信号を出力する受光素子の位置が各マイクロレンズ間で対応したものでなければ、正しい画像を合成することができない。

本発明に係る態様は、このような事情に鑑みてなされたもので、その目的は、マイクロレンズを介して複数の受光素子で受光して得られる受光信号を、間引いて用いる場合にも正しい画像を合成することができる撮像素子、および、撮像装置を提供することにある。

本発明に係る一態様における画像処理装置は、複数のマイクロレンズ毎に設けられた、行方向と列方向にそれぞれ配置された複数の受光部の内の一部の行に配置された前記受光部から読み出した出力データから任意の焦点面の画像を生成する画像生成部を備え、前記一部の行に配置された前記受光部の前記マイクロレンズに対する位置が、前記複数の前記マイクロレンズ毎に同じである。
本発明に係る一態様における撮像素子は、複数のマイクロレンズを含むマイクロレンズアレイと、複数の光電変換素子を有する素子群が前記マイクロレンズ毎に設けられた光電変換素子アレイと、前記複数の光電変換素子のうちの選択された複数の素子からの、選択された複数の信号を出力する出力部と、を備え、前記素子群が含む１つの方向における前記光電変換素子の配列数は第１所定数であり、前記複数のマイクロレンズは、前記方向における前記複数の素子群の間に位置する前記光電変換素子の数である第２所定数と、前記第１所定数との和が、前記選択された複数の素子の間隔の整数倍となるように定められた配列ピッチを有する。

本発明に係る一態様における撮像装置は、上記態様による撮像素子と、前記撮像素子に対して対象の像を結像する光学系とを備える。

本発明に係る態様によれば、マイクロレンズを介して複数の受光素子で受光して得られる受光信号を、間引いて用いる場合にも正しい画像を合成することができる。

撮像装置の構成を示すブロック図である。 図１のマイクロレンズアレイと光電変換素子アレイとの関係を示す説明図である。 図２の光電変換素子アレイから第１の間引きパターンで受光信号を読み出す場合を示す説明図である。 図２の光電変換素子アレイから第２の間引きパターンで受光信号を読み出す場合を示す説明図である。 図２の光電変換素子アレイにおいて第１のピッチの場合を説明する説明図である。 図２の光電変換素子アレイにおいて第２のピッチの場合を説明する説明図である。 図２の光電変換素子アレイにおいて第２のピッチの場合を説明する説明図である。 撮像装置の動作の一例を示すフローチャートである。

図１は、本発明に係る一実施形態における、焦点検出装置１００を備えたデジタル一眼レフカメラ（以下、カメラという）の構成を示す断面図である。なお、本発明の焦点検出装置１００、撮像装置に関わる機器、装置以外のカメラの一般的な機器および装置については図示と説明を省略する。本実施形態のカメラはカメラボディ１にレンズ鏡筒２０が装着され、レンズ鏡筒２０は各種の撮影レンズに交換可能である。なお、本実施形態ではレンズ交換式カメラを例に上げて説明するが、本発明はレンズ交換式カメラに限定されず、レンズ固定式カメラに対しても適用できる。

レンズ鏡筒２０は、ズーミングレンズ２１、フォーカシングレンズ２２、絞り２４、レンズおよび絞り駆動用アクチュエーター２５、レンズメモリ２６などを備えている。なお、図１ではズーミングレンズ２１とフォーカシングレンズ２２を一つの撮影レンズ２３で代表して表す。ズーミングレンズ２１はアクチュエーター２５により光軸方向に駆動され、撮影レンズ２３の焦点距離を変えるレンズである。

また、フォーカシングレンズ２２はアクチュエーター２５により光軸方向に駆動され、撮影レンズ２３の焦点調節を行うレンズである。絞り２４はアクチュエーター２５に駆動されて絞り開口径を変化させる。レンズメモリ２６には、撮影レンズ２３の開放Ｆ値、焦点距離などのレンズ鏡筒２０および撮影レンズ２３に関する情報が記憶されている。

カメラボディ１は、撮像用撮像素子２、シャッター３、撮像素子部５０（撮像素子）、画像合成部６２、表示制御部６３、焦点検出演算部６４、レンズ駆動量演算部６５、制御回路７、駆動回路８、クイックリターンミラー９、サブミラー１０、焦点板１１、透過型液晶表示器１２、ペンタプリズム１３、測光レンズ１４、測光センサ１５、接眼レンズ１６、操作部材１７、および、表示部１８を備えている。

この撮像素子部５０は、たとえば、マイクロレンズアレイ４と、光電変換素子アレイ５と、出力部６１とを備えている。

撮像用撮像素子２はＣＣＤやＣＭＯＳなどから構成され、レンズ鏡筒２０内の撮影レンズ（撮像レンズ）２３により結像した被写体像を電気信号に変換して出力する。シャッター３は、レリーズボタン（不図示）の全押し時（シャッターレリーズ時）に露出演算結果によって、または撮影者が手動で設定したシャッター秒時だけ開放され、撮像用撮像素子２を露光する。

撮像素子部５０と焦点検出演算部６４とは、焦点検出装置１００を構成し、撮影レンズ２３の焦点状態を示すデフォーカス量を検出する。

レンズ駆動量演算部６５は、焦点検出装置１００の焦点検出演算部６４が検出したデフォーカス量に基づいて、フォーカスレンズ（フォーカシングレンズ）の駆動量を算出する。

制御回路７はマイクロコンピューターとメモリなどの周辺部品から構成され、測光、焦点検出、撮影などのシーケンス制御や、露出演算などの演算制御を行う。また、制御回路７は、レンズ駆動量演算部６５が算出したレンズ駆動量に基づいて、駆動回路８を介してアクチュエーター２５を駆動して、フォーカシングレンズ２２を合焦駆動する。

駆動回路８は、レンズ鏡筒２０内に設けられるレンズおよび絞り駆動用アクチュエーター２５を駆動制御する。測光センサ１５は、撮影画面を複数の領域に分割して各領域ごとの輝度に応じた測光信号を出力する。

また、カメラボディ１には、撮影者が操作する操作部材１７が配置される。操作部材１７には、レリーズボタンの第１ストロークの操作（半押し）時にオンするレリーズ半押しスイッチ、レリーズボタンの第２ストロークの操作（全押し）時にオンするレリーズ全押しスイッチなどが含まれる。レリーズ半押しスイッチが押されると、ＡＦ（オートフォーカシング）の開始を示す信号が制御回路７に入力される。レリーズ全押しスイッチが押されると、撮像の開始を示す信号が制御回路７に入力される。

撮像用撮像素子２を露光しない状態では、クイックリターンミラー９とサブミラー１０が図１に示すように撮影光路中に位置する。このとき、撮影レンズ２３を透過した被写体からの光の一部は、クイックリターンミラー９に反射されて焦点板（スクリーン）１１へ導かれ、焦点板１１上に被写体像を結像する。透過型液晶表示器１２は、焦点板１１上の被写体像に焦点検出位置を示す情報を重畳して表示するとともに、被写体像外にシャッター速度、絞り値、撮影枚数などの撮影に関する情報を表示する。

焦点板１１上の被写体像は、ペンタプリズム１３と接眼レンズ１６を介して撮影者により観測可能とされるとともに、ペンタプリズム１３と測光レンズ１４を介して測光センサ１５へ導かれる。制御回路７は、測光センサ１５から出力される測光領域ごとの測光信号に基づいて露出演算を行い、被写体の輝度に応じたシャッター速度と絞り値を算出する。なお、手動露出撮影モード設定時には、撮影者が操作部材１７を操作して設定したシャッター速度と絞り値を用いる。

一方、撮影レンズ２３を通過した被写体からの光の他の一部は、クイックリターンミラー９を透過してサブミラー１０により反射され、焦点検出装置１００を構成する撮像素子部５０へ導かれる。上述した焦点検出装置１００の焦点検出演算部６４は、この被写体からの光の他の一部に基づいて、撮影レンズ２３の焦点状態を示すデフォーカス量を検出する。

また、撮像素子部５０は、被写体からの光の他の一部に基づいた画素信号を、予め定められている間引きパターンで間引いて、画像合成部６２に出力する。画像合成部６２は、撮像素子部５０から出力された画素信号に基づいて、画像を合成する。表示制御部６３は、画像合成部６２により合成された画像を、表示部１８に連続的に表示する。これにより、ライブビュー（現時点での被写体の像）表示が可能となる。

なお、上述した焦点検出装置１００の焦点検出演算部６４は、予め定められている間引きパターンで間引かれて撮像素子部５０から出力される画素信号に基づいて、撮影レンズ２３の焦点状態を示すデフォーカス量を検出してもよい。

撮影時は、クイックリターンミラー９とサブミラー１０が撮影光路から退避（ミラーアップ）され、シャッター３が開放されて撮影レンズ２３を透過した被写体からの光束が撮像用撮像素子２へ導かれ、撮像用撮像素子２の撮像面に結像された被写体像が撮像される。

次に、撮像素子部５０の詳細について説明する。ここでは、図２から図４を用いて、撮像素子部５０の構成のうち、マイクロレンズアレイ４と光電変換素子アレイ５との構成の一例について説明する。また出力部６１が、光電変換素子アレイ５から画素信号を間引いて読み出す方法について説明する。

光電変換素子アレイ５は、複数の光電変換素子が連続的に配列されている。たとえば、光電変換素子アレイ５は、行方向に連続的に配列されている複数の光電変換素子（１行の光電変換素子）が、列方向に連続的に複数配列されている。すなわち、光電変換素子アレイ５は、複数の光電変換素子が、行方向と列方向とに二次元状に配列されている。

光電変換素子アレイ５は、たとえば図１の場合、図１の紙面に対して垂直となる軸と、図１の紙面に対して横になる（紙面上を水平に横断する）軸とで構成される平面において、上述したように、複数の光電変換素子が、行方向（例えば、上記紙面に対して横になる）と列方向（例えば、上記紙面に対して垂直となる軸）とに二次元状に配列されている。

マイクロレンズアレイ４は、光電変換素子アレイ５の一部の連続した光電変換素子からなる光電変換素子群に対応付けて配置される複数のマイクロレンズを有する。さらに、このマイクロレンズアレイ４は、後述するように、光電変換素子群に含まれる光電変換素子の数に応じたピッチで複数のマイクロレンズを光電変換素子群の配列方向に沿って配列されている。

図２は、マイクロレンズアレイ４と光電変換素子アレイ５とを、図１の紙面において上から下の方向に見た場合の平面図である。この図２において、光電変換素子アレイ５の画素の面において、マイクロレンズアレイ４が備える１つのマイクロレンズに対応する領域を円で示して説明する。また、光電変換素子アレイ５の格子状に配列されている画素において、このマイクロレンズに対応する領域内の画素を示して説明する。また、ここでは、１つのマイクロレンズに対して光電変換素子アレイ５の５×５画素が対応する場合について説明する。光電変換素子アレイ５において、複数の光電変換素子は、複数のマイクロレンズにそれぞれ対応する複数の光電変換素子群（素子群）を含む。

図２の場合、複数のマイクロレンズは、行方向に順に行番号ｍ１、ｍ２、ｍ３、ｍ４、ｍ５・・・とし、かつ、列方向に順に列番号ｎ１、ｎ２、ｎ３、ｎ４、ｎ５・・・として格子状に配置されている。そして、それぞれのマイクロレンズに対応して光電変換素子群が設定されている。各々の光電変換素子群において、行方向に順に行番号ｏ１、ｏ２、ｏ３、ｏ４、ｏ５とし、かつ、列方向に順に列番号ｐ１、ｐ２、ｐ３、ｐ４、ｐ５として、２５個の画素（光電変換素子）が格子状に配置されている。各々の光電変換素子群において、行方向における光電変換素子の実質的な配列数（第１所定数）が５であり、列方向における光電変換素子の実質的な配列数（第１所定数）が５である。

なお、図２においては、光電変換素子アレイ５が備える画素のうち、マイクロレンズに対応する画素（光電変換素子）のみを示している。しかし、マイクロレンズに対応する画素と画素との間にも画素（光電変換素子）があってもよい（後述する図５、図６Ａおよび図６Ｂを参照）。

この図２に示すように、光電変換素子アレイ５は、たとえば、行方向に一次元状に配置されている複数の光電変換素子が、列方向に連続的に配列されて、画素が二次元状に配置されている。

出力部６１は、マイクロレンズを介した光束を光電変換素子アレイ５が備える光電変換素子で受光して得られる複数の受光信号のうち、複数の光電変換素子から一定間隔で選択した光電変換素子に対応する受光信号を出力する。すなわち、出力部６１は、光電変換素子アレイ５が備える光電変換素子を、予め定められている間引きパターンで間引いて読み出して出力する。換言すると、出力部６１は、選択素子及び非選択素子の配列を示すパターンに基づいて選択される光電変換素子の信号（選択された信号）を出力する。

なお、このマイクロレンズアレイ４と光電変換素子アレイ５とは、位相差方式の焦点検出センサとしても用いることが可能である。

図３は、間引きパターンの第１例であり、１ライン間引きした場合の例であり、マイクロレンズに対応する光電変換素子の画素の奇数行目を読み出すパターンである。この図３では、読み出す画素（選択素子）を灰色（ドットパターン）で示し、読み出さない画素（非選択素子）を白色（空白パターン）で示している。なお、１ライン間引きとは、１行ごとに画素を間引くパターンのことである。各光電変換素子群における画素（光電変換素子）において、行方向に沿って、選択素子と非選択素子とが１つずつ交互に繰り返される。

ここで、間引きパターンの理想的な条件は、マイクロレンズに対応する画素の中央部が間引かれていないこと、および、各マイクロレンズに対応する複数の画素において、間引きパターンがすべて同じ構成になっていることである。

このマイクロレンズに対応する画素の中央部が間引かれていないことが条件となるのは、例えば画像合成する際には、マイクロレンズの中心に対応する画素が合成の基準となり、マイクロレンズの中心に対応する画素を読み出すことが必要であるためである。

また、各マイクロレンズに対応する複数の画素において間引きパターンがすべて同じ構成になっていることが条件となるのは、例えば画像合成する際、各マイクロレンズに対応する複数の画素毎に画素の間引きパターンが異なってしまうと、画像合成の為の演算が複雑になってしまうためである。

従って、図３のようであれば、中央の画素列が間引かれておらず、かつ、全てのマイクロレンズに対応する複数の画素において間引きパターンが同じであるので、理想的な間引きパターンである。図３の間引きパターンは、適切な（上記条件を満たす）間引き方の１つである。

また、図４は、間引きパターンの第２例である。この図４の第２例において、１ライン間引きした場合の例である点は図３の間引きパターンの第１例と同様である。しかし、この図４の第２例においては、マイクロレンズに対応する光電変換素子の画素の偶数行目を読み出すパターンである点が、図３の間引きパターンの第１例とは異なる。

この場合、中央の画素列が間引かれており、例えば画像合成する際に基準となるマイクロレンズ中心に相当する画素が間引かれている。図４の間引きパターンは、上記条件を満たしていないため、不適切な間引き方の１つとなる。

このように、同じマイクロレンズアレイ４と光電変換素子アレイ５との組み合わせであるにも関わらず、図３の場合と図４の場合とのように間引き方が適切であるか否かという違いが生じる。この違いは、図３の場合と図４の場合とでは、１ライン間引きという間引きパターンは同様であっても、その読み出し開始位置が異なる。

上述した図３と図４との場合は、出力部６１は、図３の場合のような間引きパターンで間引いて読み出せばいい。しかし、必ずしも図３の場合が適切とは限らない。マイクロレンズアレイ４と光電変換素子アレイ５との位置関係によっては、図４の場合が適切な場合がありうる。たとえば、図３または図４において、マイクロレンズアレイ４と光電変換素子アレイ５との位置関係が、１画素分だけ上方向または下方向にシフトした場合には、図４の場合が適切となる。

そこで、出力部６１は、複数の光電変換素子から第１の間隔（パターン）で選択した光電変換素子に対応する受光信号と、第１の間隔（パターン）とは異なる第２の間隔（パターン）で選択した光電変換素子に対応する受光信号とを選択的に出力する。たとえば、出力部６１は、図３に示したような第１の間引きパターンと、図４に示したような第２の間引きパターンとから選択された間引きパターンで、光電変換素子アレイ５から受光信号を間引いて読み出す。

このことを、一般化して説明する。ここでは、撮像素子の横列を行Ｙ（Ｙは０でない自然数）で識別して説明する。また、ライン間引きのパターンを、１ライン間引きというパターンの場合について説明する。

この場合、出力部６１は、ライン間引きのパターンは同じとして、間引く行を行Ｙ＝２，４，・・・・２ｎにする場合と、間引く行を行Ｙ＝１，３，５，・・・２ｎ−１にする場合とを選択する。このｎは０でない自然数である。

そして、マイクロレンズアレイ４と光電変換素子アレイ５との位置関係に基づいて、出力部６１は、この２つの間引きパターンから適切な間引きパターンを選択する。これにより、適切に間引きパターンを選択することができる。そのため、出力部６１は、常に図３のように、光電変換素子アレイ５から受光信号を適切に間引いて読み出すことができる。

なお、１ライン間引き以外の別のパターンでも、ある程度短い周期でパターン化されているものは、間引く先頭画素をパターンの１周期分設けてやることで、上記のように画像合成時に最適な間引きパターンにすることが出来る。

なお、上記に図３と図４とを用いて説明したような問題は、製造工程において、マイクロレンズアレイ４と光電変換素子アレイ５との位置関係を精密に調整することで回避することも可能である。

これに対して本実施形態においては、上述したように、出力部６１が、図３に示したような第１の間引きパターンと、図４に示したような第２の間引きパターンとから選択された間引きパターンで、光電変換素子アレイ５から受光信号を間引いて読み出す。これにより、製造工程において、マイクロレンズアレイ４と光電変換素子アレイ５との位置関係を精密に調整しなくても、光電変換素子アレイ５から受光信号を適切に間引いて読み出すことが出来る。

ところで、図３のような理想的な間引きパターンにするもう１つの課題として、マイクロレンズアレイ４のピッチ（配列ピッチ、配列間隔、配置パターン）と光電変換素子アレイ５のピッチとの関係がある。次に、このピッチについて、図５と図６Ａおよび図６Ｂとを用いて説明する。ここでは、マイクロレンズに対応する画素と画素（マイクロレンズに対応する光電変換素子群と、別の隣り合うマイクロレンズに対応する光電変換素子群）との間の画素も示して説明する。

この図５と図６Ａおよび図６Ｂとでは、このマイクロレンズに対応する画素と画素との間の画素の数（中間画素数、第２所定数）が異なる。図５の場合には中間画素数Ｌ１が４行であるのに対して、図６Ａおよび図６Ｂの場合には中間画素数Ｌ２が３行である。

図５のようなマイクロレンズアレイ４と光電変換素子アレイ５との位置関係の場合、上側のマイクロレンズＡ１に含まれる画素の間引きパターンと、下側のマイクロレンズＡ２に含まれる画素の間引きパターンとが異なる。

すなわち、上側のマイクロレンズＡ１に含まれる画素の間引きパターンが偶数行を読み出すパターンであるのに対して、下側のマイクロレンズＡ２に含まれる画素の間引きパターンが奇数行を読み出すパターンである。

ここで、上側のマイクロレンズＡ１と下側のマイクロレンズＡ２とは、たとえば図２において、同じ列であり、かつ、行が連続している２つのマイクロレンズのうち、行が上側となるマイクロレンズと下側となる（行番号がより大きい）マイクロレンズのことである。

たとえば、上側のマイクロレンズＡ１は、図２において、列番号がｎ１であり、かつ、行番号がｍ１であるマイクロレンズのことである。また、下側のマイクロレンズＡ２は、図２において、列番号がｎ１であり、かつ、行番号がｍ２であるマイクロレンズのことである。

この図５の場合、上述した条件のうち、各マイクロレンズに対応する複数の画素において間引きパターンがすべて同じ構成になっているという条件が満たされていない。また、上側のマイクロレンズＡ１においては、上述した条件のうち、マイクロレンズに対応する画素の中央部が間引かれていないという条件も満たされていない。よって、不適切な間引き方である。

これに対して、マイクロレンズのピッチが図６Ａおよび図６Ｂに示すような場合、上側のマイクロレンズＡ１と下側のマイクロレンズＡ２とにおいて、中央の画素列が間引かれておらず、かつ、両方のマイクロレンズに対応する複数の画素において間引きパターンが同じである。よって、図６Ａおよび図６Ｂの場合は、図３および図４の場合と同様に、適切な間引き方である。

次に、この図５と図６Ａおよび図６Ｂとの間引き方の違いについて説明する。

図５の間引きの例では、隣り合うマイクロレンズ（Ａ１、Ａ２）間で画像合成に使用しない画素の列（上述した中間画素数）Ｌが、L(L1) = p×2m(p：画素ピッチ、m：０でない自然数)となっている。この場合は、適切な間引き方ではない。そのため、理想的な間引きパターンでの画像合成が難しいことになる。実際には、中途半端な位置関係となる場合もあり得るのでL≠p×(2m-1)である場合は、全て隣り合うマイクロレンズに含まれる画素の構成にズレが生じる。

なお、画像合成を行う際、例えば撮像素子の左上端の画素と右下端の画素を積算するケースは低く、基準となるマイクロレンズに対して近接しているマイクロレンズに含まれる画素が積算対象となるケースが多いので、p×2mに対しある程度の範囲までは大きな影響とはなりにくい可能性もある。

これに対して、マイクロレンズのピッチが図６Ａおよび図６Ｂに示すような場合、隣り合うマイクロレンズ（Ａ１、Ａ２）間で画像合成に使用しない画素の列がL(L2) = p×(2m-1) (p：画素ピッチ、m：０でない自然数)となっている。この場合は、適切な間引き方である。

このように、マイクロレンズのピッチは、選択された光電変換素子の間隔と光電変換素子群に含まれる光電変換素子の数とに応じて決める。

なお、本実施形態では、間引きパターンとして１ライン間引きの場合（所定の方向に沿って、選択素子と非選択素子とが１つずつ交互に繰り返される場合）について説明しているが、他の実施形態において、他の間引きパターンを採用できる。例えば、他の実施形態において、所定の方向に沿って、選択素子と非選択素子とが２又は３ずつ交互に繰り返すようにできる。あるいは、所定の方向に沿って、１つの選択素子と２つの非選択素子とが連続するパターンが交互に繰り返すようにできる。あるいは、所定の方向に沿って、２つの選択素子と１つの非選択素子とが連続するパターンが交互に繰り返すようにできる。他の実施形態においても、例えば、各マイクロレンズ内に含まれる画素の構成が同じになるように、間引きパターンに応じて、マイクロレンズと画素との位置関係（ピッチの関係）を決めてやればよい。

間引きパターンが任意の場合、マイクロレンズのピッチは、マイクロレンズアレイ４のうち互いに隣接する複数のマイクロレンズに対応する複数の光電変換素子群の間に位置する光電変換素子の数（第２所定数、所定の方向における複数の素子群の各間に実質的に位置する光電変換素子の数）と、光電変換素子群に含まれる光電変換素子の数（第１所定数、各光電変換素子群の所定の方向における光電変換素子の実質的な配列数）との和が、出力部６１によって選択された光電変換素子の間隔（選択間隔）の整数倍となるように決定される。

このようになっていれば、１ライン間引きの場合と同様に、中央の画素列が間引かれておらず、かつ、両方のマイクロレンズに対応する複数の画素において間引きパターンとすることができる。よって、適切に間引くことができる。

なお、出力部６１の回路構成として、光電変換素子アレイ５が備える格子状に配置されている画素の各行に対応してセンスアンプを設けておき、このセンスアンプを介して、画素から画素情報を読み出すことがある。このセンスアンプは、全ての行に１対１に設けられているのではなく、複数の行で共有されている場合がある。たとえば、列方向に連続している２つの行で、１つのセンスアンプが共有されている場合がある。これは、センスアンプの個数を減ずるためである。

このような場合、図３および図４を用いて説明したように、間引きパターンとして１ライン間引きとすることは好適である。これは、それぞれのセンスアンプにおいて、共有対象である２つの行のうち、いずれか一方のみを読み出すことでよく、間引いて読み出す場合の制御が簡易であるからである。

次に、図７を用いて、本実施形態による撮像装置１の動作の一例について説明する。ここでは、撮像素子部５０から画像情報を間引いて読み出し、画像合成してスルー画として表示部１８に表示する場合の動作の一例について説明する。すなわち、スルー画表示（ライブビュー表示）する場合の撮像装置１の動作の一例について説明する。

まず、ステップＳ９０１において、出力部６１は、光電変換素子アレイ６１の撮像素子から画素信号を間引いて読み出し、読み出した画素信号を焦点検出装置６４および画像合成部（画像処理部）６２に出力する。この間引いて読み出す場合の間引きパターンは、上記説明した２つの条件を満たしている。

次にステップＳ９０２において、制御回路７には、レンズ鏡筒２０が備える撮影レンズ２３のレンズ情報を、レンズ鏡筒２０から入力される。このレンズ情報とは、フォーカスレンズの現在位置、焦点距離、開放Ｆ値などの画像合成に用いられる情報である。

たとえば、フォーカスレンズの現在位置は、レンズ鏡筒２０が備えるエンコーダ（不図示）により検出される。そして、制御回路７は、検出されたフォーカスレンズの現在位置を、このエンコーダから読み出す。また、制御回路７は、焦点距離および開放Ｆ値などの情報を、レンズ鏡筒２０が備えるレンズメモリ２６から読み出す。

次にステップＳ９０３において、制御回路７には、合成情報が入力される。この合成情報とは、どのような絞りで初期画像を表示させるかの設定を示す情報である。たとえば、ユーザが操作部材１７を操作することにより、この合成情報を設定する。ユーザは、たとえば、動画像をパンフォーカス像で表示したい場合は、最小絞りに設定することを示す合成情報を、制御回路７に操作部材１７を介して入力する。これにより、最小絞りでの合成画像でスルー画表示可能である。（この合成情報に基づき、スルー画表示の際に、最小絞りでの合成画像を表示する制御を行なうことができる。）このように、設定された合成情報が、操作部材１７を介して、制御回路７に入力される。

次にステップＳ９０４において、画像合成部６２は、制御回路７に入力されたレンズ情報および合成情報に基づいて、現在のレンズ位置の像面にピントが合焦した画像を生成できるように、出力部６１から出力された画素信号を画像合成する。

次にステップＳ９０５において、表示制御部６３は、画像合成部６２により合成された画像（合成画面）を、表示部１８に表示する。既に表示部１８に合成画像が表示されている場合には、表示制御部６３は、表示部１８に表示されている合成画像を、画像合成部６２により合成された合成画面に変更する。

次にステップＳ９０６において、制御回路７は、ユーザがエリア位置の選択をしたか否かを判定する。たとえば、操作部材１７がタッチパネルなどを備えており、このタッチパネルをユーザは操作する。そして、ユーザは、タッチパネル上の所定の位置を選択することにより、エリア位置を選択する。制御回路７は、タッチパネルである操作部材１７により、ユーザが所定の位置を選択したか否かを判定することにより、ユーザがエリア位置の選択をしたか否かを判定する。

このステップＳ９０６において、ユーザがエリア位置の選択をしたと判定されない場合には、制御回路７は、ステップＳ９０１からの処理を繰り返す。一方、このステップＳ９０６において、ユーザがエリア位置の選択をしたと判定された場合には、制御回路７は、処理をステップＳ９０７に進める。

次にステップＳ９０７からステップＳ９０９において、上述したステップＳ９０１からステップＳ９０６と同様の処理が実行される。

次にステップＳ９１０において、焦点検出演算部６４は、出力部６１から出力された画素信号に基づいて、選択被写体の像面位置を算出する。この算出方法としては、たとえば、瞳分割式の位相差ＡＦの原理を用いて、焦点位置を検出する。または、合成可能範囲から選択したエリア範囲のコントラスト値を算出し、ピークが検出されればその位置（選択したエリア範囲）を選択被写体の像面位置とする。

次にステップＳ９１１において、制御回路７は、ステップＳ９１０で算出した像面位置が、現在のレンズ位置から合成可能な合成範囲内にあるか否かを判定する。

例えば、ステップＳ９１０で瞳分割式の位相差ＡＦの原理を用いた場合には、制御回路７は、デフォーカス量と、現在のレンズ位置から決められる合成可能範囲とを比較することにより、合成可能な合成範囲内にあるか否かを判定する。

このステップＳ９１１において、合成可能な合成範囲内にないと判定された場合、ステップＳ９１２において、制御回路７は、合成可能範囲内となるように、駆動回路８を介してアクチュエーター２５を駆動して、フォーカシングレンズ２２を合焦駆動する。すなわち、選択被写体が合成範囲にない場合には、制御回路７は、選択被写体の合成可能範囲内へフォーカシングレンズ２２を駆動させる。

たとえば、瞳分割式の位相差ＡＦの場合、デフォーカス量が算出されているため、制御回路７は、合成範囲内ではなく焦点面まで、フォーカシングレンズ２２を直接駆動してもよい。また、コントラストを算出する場合は、制御回路７は、コントラストのピーク位置を検出し、この検出したピーク位置へフォーカシングレンズ２２を駆動する。

上述したステップＳ９１１またはステップ９１２に続いて、次にステップＳ９１３からステップＳ９１５において、上述したステップＳ９０１からステップＳ９０６と同様の処理が実行される。

次にステップＳ９１６において、画像合成部６２は、出力部６１から出力された画素信号に基づいて、主要被写体の像面位置でピントが合ったとされる画像合成を行う。

次にステップＳ９１７において、表示制御部６３は、ステップＳ９０５の場合と同様に、画像合成部６２により合成された画像（合成画面）を表示部１８に表示する。その後、たとえば、ステップＳ９０１からの処理が繰り返される。

このように、上述したステップＳ９１１において、合成可能な合成範囲内にあると判定された場合は、現在のレンズ位置で合成処理を行っても、主要被写体にピントの合った画像を合成可能である。そのため、制御回路７は、フォーカシングレンズ２２を駆動させずに画像合成を行う。

一方、上述したステップＳ９１１において、合成可能な合成範囲内にないと判定された場合は、制御回路７は、ステップＳ９１１の処理によりフォーカシングレンズ２２を駆動した後、画像合成を行う。

これにより、合成可能な合成範囲内にある場合であっても、ない場合であっても、撮像装置は、適切に画像を合成することができる。

なお、この図７の説明においては、画像合成部６２により合成された画像（合成画面）を表示部１８に表示する場合について説明したが、この合成画像は、記録媒体に静止画または動画として記録されてもよい。

ところで、光電変換素子アレイ５が備える撮像素子の画素を全画素読出しながら、この読み出した画像を合成する場合、画像合成部６２などの演算装置の処理速度にもよるが、一般的に処理時間は長くかかる。そして、ライブビューなどの動画を表示する場合のように、リアルタイムで画像合成する必要がある場合には、画像合成部６２などの演算装置の処理速度の関係から、適切に合成できなくなる可能性がある。

本実施形態のようにマイクロレンズアレイ４を用いない通常のカメラに用いられる撮像素子においては、演算を高速にするための撮像素子の間引きモードは各種あるが、同じパターンで、異なる列を間引くようなモードはないのが常である。

このような通常のカメラとは異なり、本実施形態のようにマイクロレンズアレイ４を用いる撮像装置においては、上述したように光電変換素子アレイ５が備える画素とマイクロレンズアレイ４が備えるマイクロレンズとの位置関係が重要である。また、画素を間引く場合、マイクロレンズのピッチと間引きパターンを適切に構成する。これは、マイクロレンズアレイを通過し受光素子に入射した光の情報を適切に間引いて出力するためである。

また、図７を用いて説明したようにリアルタイムで画像合成を行う場合には、間引く処理が特に必要となってくる。本実施形態によれば、光電変換素子アレイ５が備える撮像素子の画素から、適切に間引いて画素信号を読み出すことができる。これにより、画素信号のデータ量を減じることができる。よって、画像合成部６２などの演算装置の処理速度が高くない場合であっても、データ量が減じられているために、画像合成部６２は画素信号を適切に合成できる。なお、静止画撮影での画像合成の場合は、出力部６１は、画素を間引かなくてもよい。

以上説明したように、本実施形態によれば、マイクロレンズアレイを通過し受光素子に入射した光の情報を、適切に間引いて出力することができる。そのため、マイクロレンズを介して複数の受光素子で受光して得られる受光信号を、間引いて用いる場合にも正しい画像を合成することができる。
また、本実施形態によれば、マイクロレンズの中心に位置する画素を間引かないようにすることが可能になる。また、同じ間引きパターンでも、対象となる画素列を異ならせることで、各マイクロレンズに含まれる画素の間引きパターンを同じにすることが可能になり、かつ、合成する際の演算が簡単になる。また、間引くことで、処理時間が短縮され、動画撮影時にリアルタイムでの画像合成が行いやすくなる。

一実施形態において、撮像素子は、複数のマイクロレンズを含むマイクロレンズアレイと、複数の光電変換素子を含む光電変換素子アレイと、前記複数の光電変換素子のうちの選択された複数の素子からの、選択された複数の信号を出力する出力部と、を備え、前記複数の光電変換素子は、前記複数のマイクロレンズにそれぞれ対応する複数の素子群であり、各々の１つの方向における前記光電変換素子の実質的な配列数が第１所定数である前記複数の素子群を含み、前記複数のマイクロレンズは、前記方向において、少なくとも前記第１所定数に基づいて定められた配列ピッチを有する。

この実施形態において、前記複数のマイクロレンズの前記配列ピッチは、少なくとも、前記第１所定数と、前記選択された複数の素子の間隔である選択間隔とに基づいて定めることができる。

また、この実施形態において、前記複数のマイクロレンズの前記配列ピッチは、前記方向における前記複数の素子群の各間に位置する前記光電変換素子の数である第２所定数と、前記第１所定数との和が、前記選択間隔の整数倍となるように定めることができる。

また、この実施形態において、前記選択された複数の素子は、前記マイクロレンズアレイと前記光電変換素子アレイとの間の位置関係に基づいて選択できる。

一実施形態において、撮像素子は、複数のマイクロレンズを含むマイクロレンズアレイと、複数の光電変換素子を含む光電変換素子アレイと、前記複数の光電変換素子のうちの、第１条件で選択された複数の素子からの第１の複数の信号と、第２条件で選択された複数の素子からの第２の複数の信号とのいずれかを選択的に出力する出力部と、を備える。

この実施形態において、前記出力部における前記選択的な出力は、前記マイクロレンズアレイと前記光電変換素子アレイとの間の位置関係に基づくことができる。

また、この実施形態において、前記複数の光電変換素子は、前記複数のマイクロレンズにそれぞれ対応する複数の素子群であり、各々の１つの方向における前記光電変換素子の実質的な配列数が第１所定数である前記複数の素子群を含み、前記第１条件及び前記第２条件はそれぞれ、各々の前記複数の素子群における、前記方向に沿った選択素子及び非選択素子の配列を示すパターンと、前記パターンのパターン開始位置とを含む、ことができる。

また、この実施形態において、前記第２条件の前記パターンが、前記第１条件のそれと同じであり、前記第２条件の前記パターン開始位置が、前記第１条件のそれと異なるようにできる。

また、この実施形態において、前記第２条件の前記パターンが、前記第１条件のそれと同じであり、前記第２条件の前記パターン開始位置が、前記第１条件のそれから前記方向に１画素分シフトするようにできる。

以上、本発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。

４…マイクロレンズアレイ、５…光電変換素子アレイ、６１…出力部、６２…画像合成部、６３…表示制御部、６４…焦点検出演算部、６５…レンズ駆動量演算部、７…制御回路、８…駆動回路、１８…表示部、１００…焦点検出装置、５０…撮像素子部

Claims (10)

1. 複数のマイクロレンズ毎に設けられた、行方向と列方向にそれぞれ配置された複数の受光部の内の一部の行に配置された前記受光部から読み出した出力データから任意の焦点面の画像を生成する画像生成部を備え、
   前記一部の行に配置された前記受光部の前記マイクロレンズに対する位置が、前記複数の前記マイクロレンズ毎に同じである画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記一部の行に配置された前記受光部が、前記マイクロレンズの中央に対する位置の前記受光部を含む画像処理装置。
3. 請求項１又は２に記載の画像処理装置において、
   前記一部の行に配置された前記受光部は、前記複数の前記受光部の内の選択された前記受光部である画像処理装置。
4. 請求項１から３のいずれか一項に記載の画像処理装置において、
   前記受光部から繰り返し出力される出力データに基づいて前記画像生成部によって生成された画像を動画として表示する表示部をさらに備えた画像処理装置。
5. 複数のマイクロレンズを含むマイクロレンズアレイと、
   複数の光電変換素子を有する素子群が前記マイクロレンズ毎に設けられた光電変換素子アレイと、
   前記複数の光電変換素子のうちの選択された複数の素子からの、選択された複数の信号を出力する出力部と、を備え、
   前記素子群が含む１つの方向における前記光電変換素子の配列数は第１所定数であり、
   前記複数のマイクロレンズは、前記方向における前記複数の素子群の間に位置する前記光電変換素子の数である第２所定数と、前記第１所定数との和が、前記選択された複数の素子の間隔の整数倍となるように定められた配列ピッチを有する、撮像素子。
6. 請求項５に記載の撮像素子において、
   前記選択された複数の素子は、前記マイクロレンズアレイと前記光電変換素子アレイとの間の位置関係に基づいて選択される、撮像素子。
7. 請求項５又は６に記載の撮像素子と、
   前記撮像素子に対して対象の像を結像する光学系と、を備えた撮像装置。
8. 請求項７に記載の撮像装置において、
   前記出力部から出力された信号のうち、前記光学系の特定の像面の位置に対応して選択された信号に基づいて画像を合成する画像合成部をさらに備えることを特徴とする撮像装置。
9. 請求項８に記載の撮像装置において、
   前記出力部から繰り返し出力される信号に基づいて前記画像合成部によって合成された画像を動画として表示する表示部をさらに備えたことを特徴とする撮像装置。
10. 請求項９に記載の撮像装置において、
    前記画像合成部によって前記光学系の第１の像面に対応する第１の動画を前記表示部に表示するとともに、前記第１の像面とは異なる第２の像面に対応する第２の動画を、前記第１の動画に代えて表示する制御部とを備えることを特徴とする撮像装置。

Images