JP2010213038A - 撮像装置 - Google Patents

Abstract

【課題】距離の異なる複数の被写体が存在する場合に、一回の撮影で得られた信号に基づいてピントの合った画像を合成することができる被写体をできるだけ多くすることができる撮像装置を提供すること。
【解決手段】複数のマイクロレンズを二次元状に配列したマイクロレンズアレイと、前記複数のマイクロレンズに対して設けられた複数の光電変換素子とを有し、前記マイクロレンズアレイを介して光学系からの光束を受光して得られる受光信号を出力する受光素子と、前記光学系の像面内の複数の位置に設定された複数の焦点検出位置のそれぞれに対して前記光学系による像面のずれ量を検出する検出手段と、前記複数の焦点検出位置のそれぞれに対して検出した複数の前記ずれ量と、前記受光信号に基づく画像を生成可能な前記像面の範囲とに基づいて前記光学系の焦点調節位置を決定し、該焦点調節位置において前記受光手段によって前記受光信号を得る制御手段とを備えたことを特徴とする撮像装置。
【選択図】 図７

Description

この発明は、撮像装置に関するものである。

一回の撮影で得られたデータか5撮影後に任意の距離にある被写体にピントの合った像面の画像を合成する画像合成方法が本願出願人によって出願されている(例えば、特許文献１参照)。

特開２００７−４４７１公報

上記の画像合成方法では、距離の異なる複数の被写体が撮影範囲に存在する場合に、一回の撮影で得られた信号に基づいてピントの合った画像を合成することができる被写体をできるだけ多くするための方策については提案されていなかった。

この発明が解決しようとする課題は、距離の異なる複数の被写体が存在する場合に、一回の撮影で得られた信号に基づいてピントの合った画像を合成することができる被写体をできるだけ多くすることができる撮像装置を提供することである。

この発明は、以下の解決手段によって上記課題を解決する。なお、発明の実施形態を示す図面に対応する符号を付して説明するが、この符号は発明の理解を容易にするためだけのものであって発明を限定する趣旨ではない。

[１]発明に係る撮像装置は、複数のマイクロレンズ（１１１ａ）を二次元状に配列したマイクロレンズアレイと、前記複数のマイクロレンズに対して設けられた複数の光電変換素子（１１２ａ）とを有し、前記マイクロレンズアレイを介して光学系からの光束を受光して得られる受光信号を出力する受光素子と、前記光学系の像面内の複数の位置に設定された複数の焦点検出位置のそれぞれに対して前記光学系による像面のずれ量を検出する検出手段（１５２）と、前記複数の焦点検出位置のそれぞれに対して検出した複数の前記ずれ量と、前記受光信号に基づく画像を生成可能な前記像面の範囲とに基づいて前記光学系の焦点調節位置を決定し、該焦点調節位置において前記受光手段によって前記受光信号を得る制御手段（１５３，１６０）とを備えたことを特徴とする。

[２]上記撮像装置に係る発明において、前記制御手段（１５３，１６０）は、前記画像を生成可能な像面の範囲が前記ずれ量を含むように、前記焦点調節位置を決定するように構成することができる。

[３]上記撮像装置に係る発明において、前記画像を生成可能な像面の範囲は、前記マイクロレンズ（１１１ａ）の有効径と前記光電変換素子（１１２ａ）の大きさとに基づいて決定するように構成することができる。

[４]上記撮像装置に係る発明において、前記制御手段（１５３，１６０）は、前記ずれ量の分布のうちの一部を除いて、前記焦点調節位置を決定するように構成することができる。

[５]上記撮像装置に係る発明において、前記制御手段（１５３，１６０）は、前記ずれ量のうち、信頼性の低いものを除いて、前記焦点調節位置を決定するように構成することができる。

[６]上記撮像装置に係る発明において、前記光学系による像のうち、特定の対象の像を認識する認識手段（１６０）をさらに備え、前記制御手段（１５３，１６０）は、前記複数の焦点検出位置のうち、前記認識手段によって認識された像に対応する前記焦点検出位置に対して検出された前記ずれ量に基づいて前記焦点調節位置を決定するように構成することができる。

[７]上記撮像装置に係る発明において、前記受光信号に基づいて前記光学系の特定の像面における画像を合成する合成手段（１６０）をさらに備えるように構成することができる。

[８]上記撮像装置に係る発明において、前記ずれ量と前記受光信号とを関連付けて記憶する記憶手段（１７０）をさらに有するように構成することができる。

[９]上記撮像装置に係る発明において、前記検出手段（１５２）は、前記受光信号に基づいて前記光学系による像面のずれ量を検出するように構成することができる。

この発明によれば、距離の異なる複数の被写体が存在する場合に、一回の撮影で得られた信号に基づいてピントの合った画像を合成することができる被写体をできるだけ多くすることができる。

図１は、本実施形態に係る一眼レフデジタルカメラ１を示すブロック図である。 図２は、図１に示すマイクロレンズアレイ１１１を備えた撮像素子１１０を示す平面図である。 図３は、図２に示すIII部分の拡大図である。 図４は、焦点検出エリアＡＦＰを含むファインダ１３５から観察される撮影画面１３５Ａを示す図である。 図５は、本実施形態に係るカメラ１の動作を示すフローチャートである。 マイクロレンズ１１１ａを介して、光電変換素子アレイ１１２を構成する複数の光電変換素子１１２ａのうち、特定の光電変換素子ｃ_１に入射する光束を示す図である。 図７（Ａ）、図７（Ｂ）は、本実施形態におけるフォーカスレンズ２１２のレンズ位置の決定方法を説明するための図である。 図８は、被写体の存在位置に対応する像面が、特定の面（Ｚ＝０）であるときの画像合成方法の一例を説明するための図である。 図９は、被写体の存在位置に対応する像面が、特定の面（Ｚ＝ｈ_１）であるときの画像合成方法の一例を説明するための図である。 図１０は、被写体の存在位置に対応する像面が、特定の面（Ｚ＝ｈ_２）であるときの画像合成方法の一例を説明するための図である。 図１１（Ａ）、図１１（Ｂ）は、他の実施形態におけるフォーカスレンズ２１２のレンズ位置の決定方法を説明するための図である。

以下、本発明の実施形態を図面に基づいて説明する。図１は、本実施形態に係る一眼レフデジタルカメラ１を示すブロック図であり、上記発明の撮像装置に関する構成以外のカメラの一般的構成については、その図示と説明を一部省略する。

本実施形態の一眼レフデジタルカメラ１（以下、単にカメラ１という。）は、カメラボディ１００とレンズ鏡筒２００とを備え、これらカメラボディ１００とレンズ鏡筒２００とはマウント部を介して、着脱可能に結合されている。

レンズ鏡筒２００には、レンズ２１１，２１２，２１３、および絞り２２０を含む撮影光学系が内蔵されている。

フォーカスレンズ２１２は、レンズ鏡筒２００の光軸Ｌ１に沿って移動可能に設けられ、エンコーダ２６０によってその位置が検出されつつフォーカスレンズ駆動モータ２３０によってその位置が調節される。

このフォーカスレンズ２１２の光軸Ｌ１に沿う移動機構の具体的構成は特に限定されない。一例を挙げれば、レンズ鏡筒２００に固定された固定筒に回転可能に回転筒を挿入し、この回転筒の内周面にヘリコイド溝（螺旋溝）を形成するとともに、フォーカスレンズ２１２を固定するレンズ枠の端部をヘリコイド溝に嵌合させる。そして、フォーカスレンズ駆動モータ２３０によって回転筒を回転させることで、レンズ枠に固定されたフォーカスレンズ２１２が光軸Ｌ１に沿って直進移動することになる。なお、レンズ鏡筒２００にはフォーカスレンズ２１２以外のレンズ２１１，２１３が設けられているが、ここではフォーカスレンズ２１２を例に挙げて本実施形態を説明する。

上述したようにレンズ鏡筒２００に対して回転筒を回転させることによりレンズ枠に固定されたフォーカスレンズ２１２は光軸Ｌ１方向に直進移動するが、その駆動源としてのフォーカスレンズ駆動モータ２３０がレンズ鏡筒２００に設けられている。フォーカスレンズ駆動モータ２３０と回転筒とは、たとえば複数の歯車からなる変速機で連結され、フォーカスレンズ駆動モータ２３０の駆動軸を何れか一方向へ回転駆動すると所定のギヤ比で回転筒に伝達され、そして、回転筒が何れか一方向へ回転することで、レンズ枠に固定されたフォーカスレンズ２１２が光軸Ｌ１の何れかの方向へ直進移動することになる。なお、フォーカスレンズ駆動モータ２３０の駆動軸が逆方向に回転駆動すると、変速機を構成する複数の歯車も逆方向に回転し、フォーカスレンズ２１２は光軸Ｌ１の逆方向へ直進移動することになる。

フォーカスレンズ２１２の位置はエンコーダ２６０によって検出される。既述したとおり、フォーカスレンズ２１２の光軸Ｌ１方向の位置は回転筒の回転角に相関するので、たとえばレンズ鏡筒２００に対する回転筒の相対的な回転角を検出すれば求めることができる。

本実施形態のエンコーダ２６０としては、回転筒の回転駆動に連結された回転円板の回転をフォトインタラプタなどの光センサで検出して、回転数に応じたパルス信号を出力するものや、固定筒と回転筒の何れか一方に設けられたフレキシブルプリント配線板の表面のエンコーダパターンに、何れか他方に設けられたブラシ接点を接触させ、回転筒の移動量（回転方向でも光軸方向の何れでもよい）に応じた接触位置の変化を検出回路で検出するものなどを用いることができる。

フォーカスレンズ２１２は、上述した回転筒の回転によってカメラボディ１００側の端部（至近端ともいう）から被写体側の端部（無限端ともいう）までの間を光軸Ｌ１方向に移動することができる。ちなみに、エンコーダ２６０で検出されたフォーカスレンズ２１２の現在位置情報は、レンズ制御部２５０を介して後述するカメラ制御部１６０へ送出される。そして、この情報に基づいて演算されたフォーカスレンズ２１２の駆動量が、カメラ制御部１６０からレンズ制御部２５０を介して送出され、これに基づいて、フォーカスレンズ駆動モータ２３０は駆動する。

絞り２２０は、上記撮影光学系を通過して、カメラボディ１００に備えられた撮像素子１１０に至る光束の光量を制限するとともにボケ量を調整するために、光軸Ｌ１を中心にした開口径が調節可能に構成されている。絞り２２０による開口径の調節は、たとえば自動露出モードにおいて演算された適切な開口径が、カメラ制御部１６０からレンズ制御部２５０を介して送出されることにより行われる。また、カメラボディ１００に設けられた操作部１４０によるマニュアル操作により、設定された開口径がカメラ制御部１６０からレンズ制御部２５０に入力される。絞り２２０の開口径は図示しない絞り開口センサにより検出され、レンズ制御部２５０で現在の開口径が認識される。

一方、カメラボディ１００は、被写体からの光束を撮像素子１１０、ファインダ１３５、および測光センサ１３７へ導くためのクイックリターンミラー１２０を備える。このクイックリターンミラー１２０は、回転軸１２１を中心にして被写体の観察位置と撮影位置との間を回転する。図１においては、クイックリターンミラー１２０が被写体の観察位置にある状態を実線で示し、被写体の撮影位置にある状態を二点鎖線で示す。クイックリターンミラー１２０は、被写体の観察位置にある状態では光軸Ｌ１の光路上に挿入される一方で、被写体の撮影位置にある状態では光軸Ｌ１の光路から退避するように回転するようになっている。

クイックリターンミラー１２０はハーフミラーで構成され、被写体の観察位置にある状態では、被写体からの光束（光軸Ｌ１）のうち、一部の光束（光軸Ｌ２，Ｌ３）を当該クイックリターンミラー１２０で反射してファインダ１３５および測光センサ１３７へ導き、残りの光束を透過させて撮像素子１１０へ導く。

したがって、クイックリターンミラー１２０が観察位置にある場合、被写体からの光束Ｌ１はファインダ１３５、測光センサ１３７および撮像素子１１０に導かれ、撮影者により被写体が観察されるとともに、露出演算やフォーカスレンズ２１２の焦点調節状態の検出が実行される。そして、撮影者が操作部１４０に備えられたシャッターレリーズボタン（不図示）を全押しするとクイックリターンミラー１２０が撮影位置に回動し、被写体からの光束（光軸Ｌ１）は全て撮像素子１１０へ導かれ、被写体の撮影が行われる。

クイックリターンミラー１２０で反射された被写体からの光束は、撮像素子１１０と光学的に等価な面に配置された焦点板１３１に結像し、ペンタプリズム１３３と接眼レンズ１３４とを介して撮影者の眼球に導かれる。このとき、透過型液晶表示器１３２は、焦点板１３１上の被写体像に焦点検出エリアマークなどを重畳して表示するとともに、被写体像外のエリアにシャッター速度、絞り値、撮影枚数などの撮影に関する情報を表示する。これにより、撮影者は、撮影準備状態において、ファインダ１３５を通して被写体およびその背景ならびに撮影関連情報などを観察することができる。

測光センサ１３７は、二次元カラーＣＣＤイメージセンサなどで構成され、撮影の際の露出値を演算するため、撮影画面を複数の領域に分割して領域ごとの輝度に応じた測光信号を出力する。測光センサ１３７で検出された画像情報はカメラ制御部１６０へ出力され、自動露出制御に用いられる。

撮像素子１１０は、カメラボディ１００の、被写体からの光束の光軸Ｌ１上に設けられている。また、撮像素子１１０の前面には、マイクロレンズアレイ１１１が設置されており、撮像素子１１０の光電変換素子は、マイクロレンズアレイ１１１を通過した光を受光するような構成となっている。なお、マイクロレンズアレイ１１１は、撮影光学系の予定焦点面となる位置またはその近傍に設置されている。ここで、図２は、図１に示すマイクロレンズアレイ１１１を備えた撮像素子１１０を示す平面図であって、マイクロレンズアレイ１１１側から見た図である。図２に示すように、マイクロレンズアレイ１１１は、複数のマイクロレンズ１１１ａを二次元状に稠密に配列してなるものである。

図３は、図２に示すIII部分の拡大図である。図３に示すように、撮像素子１１０は、各マイクロレンズ１１１ａに対して、複数の光電変換素子１１２ａから構成される光電変換素子アレイ１１２を有している。そして、各マイクロレンズ１１１ａを通過した光は、各マイクロレンズ１１１ａに応じて配置された各光電変換素子アレイ１１２を構成する複数の光電変換素子１１２ａにより受光される。なお、図３においては、各マイクロレンズ１１１ａに対応する光電変換素子アレイ１１２の縦方向および横方向の光電変換素子１１２ａの数（画素密度）は、それぞれ５個となっているが、これらの数は、特に限定されない。そして、光電変換素子アレイ１１２を構成する各光電変換素子１１２ａにより受光した受光信号は、センサ制御部１５１に送信される。なお、撮像素子１１０からセンサ制御部１５１に送信される受光信号は、センサ制御部１５１からカメラ制御部１６０に送信され、画像データに変換されてメモリ１７０に保存される他、クイックリターンミラー１２０が観察位置にある場合には、デフォーカス演算部１５２によるデフォーカス演算に用いられる。

センサ制御部１５１は、撮像素子１１０の光電変換素子アレイ１１２を構成する各光電変換素子１１２ａによる受光信号の受光の制御や、各光電変換素子１１２ａにより受光する受光信号が適切なものとなるように、ゲインや蓄積時間を制御する。また、センサ制御部１５１は、撮像素子１１０から信号を受信し、受信した信号をカメラ制御部１６０およびデフォーカス演算部１５２に送信する。

デフォーカス演算部１５２は、センサ制御部１５１から信号を受信し、受信した信号から、図４に示す各焦点検出エリアＡＦＰに対応する所定範囲に相当するマイクロレンズ１１１ａに対応する各光電変換素子１１２ａからの出力を焦点検出用の信号として読み出す。なお、図４は、複数の焦点検出エリアＡＦＰを含むファインダ１３５から観察される撮影画面１３５Ａを示す図であり、本実施形態では撮影画面１３５Ａに図４に示すように６３個の焦点検出エリアＡＦＰが設定されているものとする。

ここで、上述したようにマイクロレンズアレイ１１１（各マイクロレンズ１１１ａ）は、撮影光学系の予定焦点面となる位置またはその近傍に配置されており、このマイクロレンズアレイ１１１（各マイクロレンズ１１１ａ）の後ろ側に配置されている光電変換素子アレイ１１２（各光電変換素子１１２ａ）には、各マイクロレンズ１１１ａによって撮影光学系の瞳像が結像される。そして、光電変換素子アレイ１１２を構成する各光電変換素子１１２ａは、瞳の各部分に対応することから、マイクロレンズ１１１ａごとに光電変換素子１１２ａを選択してその出力を合成すれば、光電変換素子１１２ａに対応する絞りで撮影された画像が得られることになる。したがって、本実施形態においては、デフォーカス演算部１５２により、瞳の各部分に対応する光電変換素子１１２ａの出力を合成し、得られた画像を用いて、各焦点検出エリアＡＦＰについて、瞳分割位相差検出方式による像ズレ量の演算を行うことで、各焦点検出エリアＡＦＰに応じた複数位置のデフォーカス量ｄｆを求めることができる。そして、デフォーカス演算部１５２は、求めたデフォーカス量ｄｆをカメラ制御部１６０に送信する。

駆動量演算部１５３は、デフォーカス演算部１５２から送られてきた各焦点検出エリアＡＦＰに応じた複数位置のデフォーカス量ｄｆに基づいて、フォーカスレンズ１２１の駆動量ΔＷの演算を行う。なお、フォーカスレンズ１２１の駆動量ΔＷの演算方法については、後述する。駆動量演算部１５３によって求められた駆動量ΔＷは、カメラ制御部１６０に送信される。

操作部１４０は、シャッターレリーズボタンや撮影者がカメラ１の各種動作モードを設定するための入力スイッチを備えており、操作部１４０により、オートフォーカスモード／マニュアルフォーカスモードの切換が行えるようになっている。また、シャッターレリーズボタンのスイッチは、ボタンの半押しでＯＮとなる第１スイッチＳＷ１と、ボタンの全押しでＯＮとなる第２スイッチＳＷ２とを含む。この操作部１４０により設定されたシャッターレリーズボタンのスイッチＳＷ１，ＳＷ２および各種モードはカメラ制御部１６０へ送信され、当該カメラ制御部１６０によりカメラ１全体の動作が制御される。

カメラボディ１００にはカメラ制御部１６０が設けられている。カメラ制御部１６０はマイクロプロセッサとメモリなどの周辺部品から構成され、マウント部に設けられた電気信号接点部によりレンズ制御部２５０と電気的に接続され、このレンズ制御部２５０からレンズ情報を受信するとともに、レンズ制御部２５０へ絞り制御信号などの情報を送信する。

また、カメラ制御部１６０は、操作部１４０を介した撮影者の選択に基づいて、撮像素子１１０により得られた受光信号を、デフォーカス演算部１５２により演算された各焦点検出エリアＡＦＰに応じた複数位置のデフォーカス量ｄｆに基づいて、後述する方法に従い画像合成を行うことで、撮影画面内の複数の被写体にピントの合った合成画像を生成し、得られた合成画像をメモリ１７０に保存する。

あるいは、撮影者により撮影した撮影画像について画像合成を行わないという選択がされている場合には、カメラ制御部１６０は、画像合成を行わず、撮像素子１１０により得られた受光信号を、デフォーカス演算部１５２により演算された各焦点検出エリアＡＦＰに応じた複数位置のデフォーカス量ｄｆのデータとともに、メモリ１７０に保存する。

次に、本実施形態に係るカメラ１の動作例を説明する。図５は、本実施形態に係るカメラ１の動作を示すフローチャートである。

まず、ステップＳ１においては、カメラ制御部１６０が、撮影者によりシャッターレリーズボタンの半押し（第１スイッチＳＷ１のオン）がされたかどうかを判断し、第１スイッチＳＷ１がオンした場合はステップＳ２へ進み、第１スイッチＳＷ１がオンしていない場合はステップＳ１で待機する。

ステップＳ２では、シャッターレリーズボタンが半押しされて第１スイッチＳＷ１がオンすると、カメラ制御部１６０は、適正露出が得られるように、ＩＳＯ感度、シャッタースピードおよび絞り値を設定する。ＩＳＯ感度、シャッタースピードおよび絞り値は、たとえば、測光センサ１３７から出力された測光信号に基づいて、設定される。設定されたＩＳＯ感度およびシャッタースピードはセンサ制御部１５１に、設定された絞り値はレンズ制御部２５０に、それぞれ送信され、後述するステップＳ９における撮像素子１１０による撮影の際の撮影条件として用いられる。なお、ユーザにより操作部１４０を介して、ＩＳＯ感度、シャッタースピードおよび絞り値が予め設定されている場合には、予め設定された値を用いてもよい。

ステップＳ３では、センサ制御部１５１からの信号に基づき、撮像素子１１０により、撮影光学系からの光束の受光を行い、焦点検出用の撮影が行われる。なお、焦点検出用の撮影は、クイックリターンミラー１２０が撮影位置にある状態で行われる。そして、撮像素子１１０から、各光電変換素子１１２ａに応じた信号が、センサ制御部１５１に送信される。

ステップＳ４では、デフォーカス演算部１５２が、センサ制御部１５１から、各光電変換素子１１２ａに応じた信号を取得し、取得した信号から焦点検出用の信号を選択して読み出し、図４に示す各焦点検出エリアＡＦＰについて、瞳分割位相差検出方式による像ズレ量の演算を行い、各焦点検出エリアＡＦＰに応じた複数位置のデフォーカス量ｄｆを算出する。算出した各焦点検出エリアＡＦＰに応じた複数位置のデフォーカス量ｄｆは、カメラ制御部１６０に送信される。

ステップＳ５では、レンズ駆動量演算部１５３により、各焦点検出エリアＡＦＰに応じた複数位置のデフォーカス量ｄｆの分布に基づいて、フォーカスレンズ２１２の駆動量ΔＷの算出が行われる。以下、フォーカスレンズ２１２の駆動量ΔＷの算出方法について、具体的に説明する。

まず、レンズ駆動量演算部１５３は、ステップＳ３の焦点検出用の撮影時のフォーカスレンズ２１２のレンズ位置に対する像面位置における、撮像素子１１０で得られる受光信号に基づいて合成可能な像面の範囲（画像合成範囲）を求める。

ここで、画像合成範囲について説明する。図６は、光電変換素子アレイ１１２を構成する複数の光電変換素子１１２ａのうちの特定の光電変換素子ｃ_１に対してマイクロレンズ１１１ａを介して入射する光束を示す図である。なお、図６においては、光電変換素子アレイ１１２を構成する各光電変換素子１１２ａをａ_１，ｂ_１，ｃ_１，ｄ_１，ｅ_１で示した。本実施形態に係る撮像装置によって得られる像の分解能は、画素の単位であるマイクロレンズ１つ分に相当する。そのため、分解能を保ったまま像を合成できる像面の範囲は、図６に示すように、光電変換素子１１２ａのマイクロレンズ１１１ａによる逆投影像の大きさが、マイクロレンズの有効径Ｄとほぼ同じになるマイクロレンズ１１１ａからの距離Ｌとすることができる。すなわち、マイクロレンズ１１１ａの有効径Ｄ（配列ピッチＰ＞Ｄ）と同じ大きさの範囲からの光がマイクロレンズ１１１ａを通過して１つの光電変換素子ｃ_１に入射すれば、画素の単位であるマイクロレンズの大きさに相当する分解能を得ることができる。よって、この距離Ｌを画像合成範囲とする。すなわち、画像合成範囲は、マイクロレンズ１１１ａの有効径Ｄと、光電変換素子ｃ_１の大きさとによって決定される。

そして、レンズ駆動量演算部１５３は、このようにして求められる画像合成範囲、およびデフォーカス演算部１５２により算出された各焦点検出エリアＡＦＰに応じた複数位置のデフォーカス量ｄｆの分布に基づいて、フォーカスレンズ２１２のレンズ位置を決定し、これに基づきフォーカスレンズ２１２の駆動量ΔＷを決定する。

ここで、図７（Ａ）、図７（Ｂ）は、本実施形態におけるフォーカスレンズ２１２のレンズ位置の決定方法を説明するための図であり、図７（Ａ）は、ステップＳ３の焦点検出用の撮影時における図、図７（Ｂ）は、駆動量ΔＷにてフォーカスレンズ２１２を駆動した後における図である。なお、図７（Ａ）、図７（Ｂ）においては、各焦点検出エリアＡＦＰにおける像面位置を、白抜きの丸印で示している。すなわち、図７（Ａ）、図７（Ｂ）においては、各焦点検出エリアＡＦＰにおける像面位置が、図７（Ａ）、図７（Ｂ）に示すような状態で分布している場合を例示して示している。

そして、図７（Ａ）に示すように、まず、レンズ駆動量演算部１５３は、ステップＳ３の焦点検出用の撮影時のフォーカスレンズ２１２のレンズ位置に対する像面位置において、上述した方法に従って画像合成範囲を求める。次いで、レンズ駆動量演算部１５３は、各焦点検出エリアＡＦＰに応じた複数位置のデフォーカス量ｄｆの分布から、各焦点検出エリアＡＦＰに対応する複数の像面位置の分布を求める。ここで、フォーカスレンズ２１２のレンズ位置が移動すると、画像合成範囲もそれに伴い移動することとなる（たとえば、図７（Ａ）および図７（Ｂ）参照）。そのため、レンズ駆動量演算部１５３は、各焦点検出エリアＡＦＰに対応する複数の像面位置のうち、最も多くの焦点検出エリアＡＦＰに対応する像面位置が、上記にて求めた画像合成範囲に入ることとなる、フォーカスレンズ２１２のレンズ位置を求める。図７（Ｂ）に、このようにして求められたレンズ位置に、フォーカスレンズ２１２を移動させた後における図を示す。図７（Ａ）、図７（Ｂ）より明らかなように、フォーカスレンズ２１２を、図７（Ｂ）に示す位置に移動させることにより、図７（Ａ）に示す位置よりも、画像合成範囲に入る焦点検出エリアＡＦＰに対応する像面位置をより多いものとすることができる。そして、レンズ駆動量演算部１５３は、求めたフォーカスレンズ２１２のレンズ位置から、フォーカスレンズ２１２を該レンズ位置まで駆動させるための駆動量ΔＷを決定し、決定した駆動量ΔＷをカメラ制御部１６０に送信する。

なお、本実施形態においては、ステップＳ５においてフォーカスレンズ２１２のレンズ位置を決定する際に、各焦点検出エリアＡＦＰに応じた複数位置のデフォーカス量ｄｆのうち、被写体に基づくものでないと判断できるデフォーカス量ｄｆを除いた状態で、フォーカスレンズ２１２のレンズ位置を決定することが好ましい。このような判断は、たとえば、複数位置のデフォーカス量ｄｆの分布から外れるデフォーカス量ｄｆを、被写体に基づくものでないと判断する方法や、各焦点検出エリアＡＦＰに応じた複数位置のデフォーカス量ｄｆについて、信頼性を評価し、信頼性を評価した結果、信頼性が低いと判定されたデフォーカス量ｄｆを被写体に基づくものでないと判断する方法などが挙げられる。

ステップＳ６では、カメラ制御部１６０から、レンズ駆動量演算部１５３により決定された駆動量ΔＷがレンズ制御部２５０に送信される。そして、レンズ制御部２５０は、駆動量ΔＷにて、フォーカスレンズ駆動モータ２３０を駆動し、フォーカスレンズ２１２を駆動させる。

ステップＳ７では、レンズ制御部２５０により、エンコーダ２６０から取得したフォーカスレンズ２１２の位置の情報に基づいて、フォーカスレンズ２１２がフォーカスレンズ駆動モータ２３０により駆動されることにより目標位置（ステップＳ５で決定されたレンズ位置）まで移動したか否かの判断が行われる。フォーカスレンズ２１２が目標位置まで移動していないと判断された場合には、ステップＳ６に戻り、目標位置まで移動するまで、フォーカスレンズ２１２の駆動が継続される。一方、フォーカスレンズ２１２が目標位置まで移動したと判断された場合には、ステップＳ８に進む。

ステップＳ８では、カメラ制御部１６０により、撮影者によりシャッターレリーズボタンの全押し（第２スイッチＳＷ２のオン）がされたかどうかの判断が行われ、第２スイッチＳＷ２がオンした場合には、ステップＳ９に進む。一方、第２スイッチＳＷ２がオンしていない場合には、ステップＳ１に戻り、シャッターレリーズボタンが半押しされ、第１スイッチＳＷ１がオンされ続けている限り、さらに、ステップＳ２〜ステップＳ８を繰り返す。

ステップＳ９では、撮像素子１１０により、ステップＳ２で決定された条件にて、被写体像の撮影が行われ、撮像素子１１０から各光電変換素子１１２ａに応じた信号が、センサ制御部１５１に送信される。また、カメラ制御部１６０は、センサ制御部１５１から、撮像素子１１０からの信号を受信し、デフォーカス演算部１５２により演算された各焦点検出エリアＡＦＰのデフォーカス量ｄｆのデータとともに、メモリ１７０に送信し、メモリ１７０に記憶させる。

次いで、ステップＳ１０では、操作部１４０を介した撮影者の選択に基づいて、ステップＳ９において撮像素子１１０により得られた受光信号に基づいて、画像合成を行うか否かの判断をする。なお、画像合成を行うか否かは、撮影者が撮影前に予め設定するような構成としてもよいし、あるいは、撮影後に選択できるようにしてもよい。撮影者により、画像合成を行う設定がされている場合には、ステップＳ１１に進み、それ以外の場合には、ステップＳ１２に進む。

ステップＳ１１では、カメラ制御部１６０により、ステップＳ９において撮像素子１１０により得られた受光信号をメモリ１７０から読み出し、読み出した受光信号を、デフォーカス演算部１５２により演算された各焦点検出エリアＡＦＰに応じた複数位置のデフォーカス量ｄｆのデータに基づいて画像合成を行うことで、撮影画面内の複数の被写体にピントの合った合成画像の生成が行われる。以下、本実施形態における画像合成方法について、図８〜図１０を参照しながら説明する。図８〜図１０は、本実施形態における画像合成方法の一例を説明するための示す図である。

まず、図８に示すように、マイクロレンズアレイ１１１からの像面の高さ（マイクロレンズアレイ１１１から距離）をＺとした場合に、像面の高さＺ＝０である位置に画像合成の対象となる被写体が存在する場合について説明する。図８においては、撮像素子１１０の各光電変換素子アレイ１１２について、各光電変換素子アレイ１１２を構成する光電変換素子１１２ａのうち、５つの光電変換素子１１２ａに入射する各光線（マイクロレンズアレイ１１１を構成するマイクロレンズアレイ１１１ａの中心を通る主光線のみ）を示した。また、図８中においては、各光電変換素子１１２ａを識別するために、それぞれの光電変換素子１１２ａを、ａ_１〜ｅ_１、ａ_２〜ｅ_２、ａ_３〜ｅ_３、ａ_４〜ｅ_４、ａ_５〜ｅ_５で示すとともに、像面の高さＺ＝０における各座標Ｘ_１、Ｘ_２、Ｘ_３、Ｘ_４、Ｘ_５のうち、Ｘ_３からの射出光束（光線ｒ_１、ｒ_２、ｒ_３、ｒ_４、ｒ_５）を実線で示し、それ以外のＸ_１、Ｘ_２、Ｘ_４、Ｘ_５からの射出光束を点線で示した（以下、図９、図１０においても同様。）。

図８に示すように、像面の高さＺ＝０における座標Ｘ_３からの射出光束（光線ｒ_１、ｒ_２、ｒ_３、ｒ_４、ｒ_５）は、各光電変換素子ａ_３、ｂ_３、ｃ_３、ｄ_３、ｅ_３、にそれぞれ入射する。そのため、像面の高さＺ＝０における座標Ｘ_３における画素値Ｌ（Ｚ＝０、Ｘ_３）は、これら光電変換素子ａ_３、ｂ_３、ｃ_３、ｄ_３、ｅ_３における出力を合成することにより求めることができる（下記式（１）参照）。
Ｌ（Ｚ＝０、Ｘ_３）＝Ｏｕｔ（ａ_３）＋Ｏｕｔ（ｂ_３）＋Ｏｕｔ（ｃ_３）＋Ｏｕｔ（ｄ_３）＋Ｏｕｔ（ｅ_３） …（１）

また、同様に、座標Ｘ_３に隣接する座標Ｘ_４における画素値Ｌ（Ｚ＝０、Ｘ_４）は、下記式（２）に従って求めることができる。
Ｌ（Ｚ＝０、Ｘ_４）＝Ｏｕｔ（ａ_４）＋Ｏｕｔ（ｂ_４）＋Ｏｕｔ（ｃ_４）＋Ｏｕｔ（ｄ_４）＋Ｏｕｔ（ｅ_４） …（２）

したがって、座標Ｘ_ｉにおける画素値Ｌ（Ｚ＝０、Ｘ_ｉ）は、下記式（３）に従って、それぞれ求めることができる。
Ｌ（Ｚ＝０、Ｘ_ｉ）＝Ｏｕｔ（ａ_ｉ）＋Ｏｕｔ（ｂ_ｉ）＋Ｏｕｔ（ｃ_ｉ）＋Ｏｕｔ（ｄ_ｉ）＋Ｏｕｔ（ｅ_ｉ） …（３）

なお、上記式（３）は、ユーザによる指定絞り値が開放（開口サイズ最大）であったときに採用される式である。そのため、仮に、ユーザによる指定絞り値が最大（開口サイズ最小）であったときには、光線ｒ_１、ｒ_２、ｒ_３、ｒ_４、ｒ_５からなる光束を、光線ｒ_３のみからなる光束に制限すればよいので、上記式（３）に代えて下記式（４）を採用すればよい（後述する図９、図１０に示す場合においても同様。）。
Ｌ（Ｚ＝０、Ｘ_ｉ）＝Ｏｕｔ（ｃ_ｉ） …（４）

また、ユーザによる指定絞り値が中間値（開口サイズ中間）であったときには、光線ｒ_１、ｒ_２、ｒ_３、ｒ_４、ｒ_５からなる光束を、光線ｒ_２、ｒ_３、ｒ_４のみからなる光束に制限すればよいので、上記式（３）に代えて下記式（５）を採用すればよい（後述する図９、図１０に示す場合においても同様。）。
Ｌ（Ｚ＝０、Ｘ_ｉ）＝Ｏｕｔ（ｂ_ｉ）＋Ｏｕｔ（ｃ_ｉ）＋Ｏｕｔ（ｄ_ｉ） …（５）

なお、上記説明においては、或る１方向に並ぶ５つの光電変換素子ａ_３、ｂ_３、ｃ_３、ｄ_３、ｅ_３のみに着目し、それら５つの光電変換素子の出力値の和をとったが、実際は、２方向に並ぶ２５個の光電変換素子の出力値の和をとる必要がある（後述する図９、図１０に示す場合においても同様。）。

次いで、図９に示すように、像面の高さＺ＝ｈ_１である位置に画像合成の対象となる被写体が存在する場合について説明する。図９に示すように、像面の高さＺ＝ｈ_１における座標Ｘ_３からの射出光束（光線ｒ_１、ｒ_２、ｒ_３、ｒ_４、ｒ_５）は、図８の場合と異なり、各光電変換素子ａ_１、ｂ_２、ｃ_３、ｄ_４、ｅ_５にそれぞれ入射する。そのため、像面の高さＺ＝ｈ_１における座標Ｘ_３における画素値Ｌ（Ｚ＝ｈ_１、Ｘ_３）は、これら光電変換素子ａ_１、ｂ_２、ｃ_３、ｄ_４、ｅ_５における出力を合成することにより求めることができる（下記式（６）参照）。
Ｌ（Ｚ＝ｈ_１、Ｘ_３）＝Ｏｕｔ（ａ_１）＋Ｏｕｔ（ｂ_２）＋Ｏｕｔ（ｃ_３）＋Ｏｕｔ（ｄ_４）＋Ｏｕｔ（ｅ_５） …（６）

さらに、図１０に示すように、像面の高さＺ＝ｈ_２である位置に合成対象となる被写体が存在する場合について説明する。図１０に示すように、像面の高さＺ＝ｈ_２における座標Ｘ_３からの射出光束（光線ｒ_１、ｒ_２、ｒ_３、ｒ_４、ｒ_５）は、図８、図９の場合と異なり、複数の光電変換素子にまたがって入射することとなる。具体的には、図１０に示すように、光線ｒ_１は光電変換素子ａ_１、ｂ_１に、光線ｒ_２は光電変換素子ｂ_２、ｃ_２に、光線ｒ_４は光電変換素子ｃ_４、ｄ_４に、光線ｒ_５は光電変換素子ｄ_５、ｅ_５に、それぞれまたがって入射する。なお、光線ｒ_３は、図１０に示すように光電変換素子ｃ_３にのみ入射する。そのため、光線ｒ_１に着目すると、光線ｒ_１の光量は、光電変換素子ａ_１の出力値Ｏｕｔ（ａ_１）と、光電変換素子ｂ_１の出力値Ｏｕｔ（ｂ_１）との重み付け和によって求めることができる（下記式（７）参照）。ここで、下記式（７）において、ｗ_１１、ｗ_１２は、重み係数であり、マイクロレンズアレイ１１１からの像面の高さＺに応じて決まる係数である。
Ｏｕｔ（ａ_１）×ｗ_１１＋Ｏｕｔ（ｂ_１）×ｗ_１２ …（７）

そして、光線ｒ_２、光線ｒ_４、光線ｒ_５の光量も、同様に重み付け和によって求めることができるため、像面の高さＺ＝ｈ_２における座標Ｘ_３における画素値Ｌ（Ｚ＝ｈ_２、Ｘ_３）は、下記式（８）に従って求めることができる。なお、下記式（８）において、Ｗ_２１、Ｗ_２２、Ｗ_４１、Ｗ_４２、Ｗ_５１、Ｗ_５２は、重み係数であり、マイクロレンズアレイ１１１からの像面の高さＺに応じて決まる係数である。
Ｌ（Ｚ＝ｈ_２、Ｘ_３）＝〔Ｏｕｔ（ａ_１）×ｗ_１１＋Ｏｕｔ（ｂ_１）×ｗ_１２〕＋〔Ｏｕｔ（ｂ_２）×Ｗ_２１＋Ｏｕｔ（ｃ_２）×ｗ_２２〕＋Ｏｕｔ（ｃ_３）＋〔Ｏｕｔ（ｃ_４）×Ｗ_４１＋Ｏｕｔ（ｄ_４）×Ｗ_４２〕＋〔Ｏｕｔ（ｄ_５）×Ｗ_５１＋Ｏｕｔ（ｅ_５）×Ｗ_５２〕 …（８）

以上のように、本実施形態においては、画像合成の対象となる被写体が存在する像面位置Ｚに応じて、被写体からの光束の入射する光電変換素子１１２ａ、および画像合成に必要な重み付け係数の値が決まってくることとなる。また、画像合成の対象となる被写体が存在する像面位置Ｚは、デフォーカス演算部１５２により演算された各焦点検出エリアＡＦＰに応じた複数位置のデフォーカス量ｄｆに応じて求めることができるため、本実施形態においては、複数位置のデフォーカス量ｄｆのデータに基づいて、撮像素子１１０により得られた受光信号を合成することができ、これにより、撮影画面内の複数の被写体にピントの合った合成画像を得ることができる。そして、得られた合成画像は、メモリ１７０に記憶される。

なお、各像面位置Ｚに対応する、被写体からの光束の入射する光電変換素子１１２ａ、および画像合成に必要な重み付け係数の値は、たとえば、カメラ制御部１６０に備えられた不揮発メモリなどに予め記憶させておき、これを利用するような構成とすればよい。

一方、ステップＳ１２では、ステップＳ１０において、画像合成を行わないと判断されたため、画像合成を行うことなく、ステップＳ９において撮像素子１１０により得られた受光信号を、デフォーカス演算部１５２により演算された各焦点検出エリアＡＦＰのデフォーカス量ｄｆとともに、メモリ１７０に記憶させる。

本実施形態によれば、各焦点検出エリアＡＦＰに応じた複数位置のデフォーカス量ｄｆの分布、および、マイクロレンズの有効径Ｄと光電変換素子１１２ａの大きさとに基づいて設定される画像合成範囲に基づき、該画像合成範囲に、各焦点検出エリアＡＦＰに対応する複数の像面位置のうち、最も多くの焦点検出エリアＡＦＰに対応する像面位置が入るようなフォーカスレンズ２１２のレンズ位置を決定し、決定したレンズ位置にフォーカスレンズ２１２を駆動し、これにより被写体像の撮影を行うものである。そのため、本実施形態によれば、距離の異なる複数の被写体が存在する場合に、一回の撮影で得られた信号に基づいてピントの合った画像を合成することができる被写体をできるだけ多くすることができる。

なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

たとえば、図４に示す各焦点検出エリアＡＦＰに応じた複数位置のデフォーカス量ｄｆを算出する際に、人の顔などの特定被写体の認識処理を行い、図１１（Ａ）に示すように、特定被写体による像面位置が求められている場合に、図１１（Ｂ）に示すように、該特定被写体による像面位置に、フォーカスレンズ２１２の位置を移動させるような構成としてもよい。なお、図１１（Ａ）、図１１（Ｂ）は、他の実施形態におけるフォーカスレンズ２１２のレンズ位置の決定方法を説明するための図である。

また、上述した実施形態では、撮像素子１１０に設けられた各光電変換素子１１２ａに応じた信号を用いて、図４に示す各焦点検出エリアＡＦＰに応じた複数位置のデフォーカス量ｄｆの検出および演算を行うような構成を例示したが、撮像素子１１０とは別の焦点検出用センサを有する焦点検出装置を備える構成としてもよい。この場合にはおいては、たとえば、クイックリターンミラー１２０の後方に全反射ミラーを設け、これにより撮影光学系のうち一部を全反射ミラーで分岐し、焦点検出装置に導く構成とすることができる。

１…一眼レフデジタルカメラ
１００…カメラボディ
１１０…撮像素子
１１２…光電変換素子アレイ
１１２ａ…光電変換素子
１１１…マイクロレンズアレイ
１１１ａ…マイクロレンズ
１５１…センサ制御部
１５２…デフォーカス演算部
１５３…レンズ駆動量演算部
１６０…カメラ制御部
２００…レンズ鏡筒
２１２…フォーカスレンズ
２３０…フォーカスレンズ駆動モータ
２５０…レンズ制御部

Claims (9)

1. 複数のマイクロレンズを二次元状に配列したマイクロレンズアレイと、前記複数のマイクロレンズに対して設けられた複数の光電変換素子とを有し、前記マイクロレンズアレイを介して光学系からの光束を受光して得られる受光信号を出力する受光素子と、
   前記光学系の像面内の複数の位置に設定された複数の焦点検出位置のそれぞれに対して前記光学系による像面のずれ量を検出する検出手段と、
   前記複数の焦点検出位置のそれぞれに対して検出した複数の前記ずれ量と、前記受光信号に基づく画像を生成可能な前記像面の範囲とに基づいて前記光学系の焦点調節位置を決定し、該焦点調節位置において前記受光手段によって前記受光信号を得る制御手段とを備えたことを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記制御手段は、前記画像を生成可能な像面の範囲が前記ずれ量を含むように、前記焦点調節位置を決定することを特徴とする撮像装置。
3. 請求項１または２に記載の撮像装置において、
   前記画像を生成可能な像面の範囲は、前記マイクロレンズの有効径と前記光電変換素子の大きさとに基づいて決定することを特徴とする撮像装置。
4. 請求項３に記載の撮像装置において、
   前記制御手段は、前記ずれ量の分布のうちの一部を除いて、前記焦点調節位置を決定することを特徴とする撮像装置。
5. 請求項１〜４のいずれか一項に記載の撮像装置において、
   前記制御手段は、前記ずれ量のうち、信頼性の低いものを除いて、前記焦点調節位置を決定することを特徴とする撮像装置。
6. 請求項４または５に記載の撮像装置において、
   前記光学系による像のうち、特定の対象の像を認識する認識手段をさらに備え、
   前記制御手段は、前記複数の焦点検出位置のうち、前記認識手段によって認識された像に対応する前記焦点検出位置に対して検出された前記ずれ量に基づいて前記焦点調節位置を決定することを特徴とする撮像装置。
7. 請求項１〜６のいずれか一項に記載の撮像装置において、
   前記受光信号に基づいて前記光学系の特定の像面における画像を合成する合成手段をさらに備えることを特徴とする撮像装置。
8. 請求項１〜７のいずれか一項に記載の撮像装置において、
   前記ずれ量と前記受光信号とを関連付けて記憶する記憶手段をさらに有することを特徴とする撮像装置。
9. 請求項１〜８のいずれか一項に記載の撮像装置において、
   前記検出手段は、前記受光信号に基づいて前記光学系による像面のずれ量を検出することを特徴とする撮像装置。

Images