JP5034556B2 - 焦点検出装置および撮像装置 - Google Patents

Description

本発明は、結像光学系の光電的検出装置、焦点検出装置および撮像装置に関する。

マイクロレンズを二次元状に配列するとともに、各マイクロレンズに対して複数の受光素子（光電変換部）を設け、複数の受光素子で得られる受光出力に基づいて結像光学系の異なる瞳領域を通過した光束による像に対応する信号列対を抽出し、抽出された信号列対の位相のずれを検出することによって結像光学系の結像状態を求める結像状態検出装置が知られている（例えば、特許文献１参照）。

この出願の発明に関連する先行技術文献としては次のものがある。
特開２００７−０１１３１４号公報

しかしながら、上述した従来の結像状態検出装置では、二次元状に配列されたマイクロレンズの位置に対応した任意の位置における結像光学系の結像状態を検出できるが、検出対象とする位置を自動的に決定するための方策については提案されていなかった。

（１）請求項１の焦点検出装置は、複数のマイクロレンズを二次元状に配列したマイクロレンズアレイと、マイクロレンズごとに複数の受光素子を有し、光像を形成する結像光学系からの光束をマイクロレンズを介して複数の受光素子が受光する受光素子アレイと、複数の受光素子の出力信号に基づいて光像に関する画像情報を生成する画像情報生成手段と、画像情報に基づいて、結像光学系の焦点調節状態を検出する焦点検出領域を設定する領域設定手段と、焦点検出領域に位置するマイクロレンズに対応する複数の受光素子の出力信号に基づいて、焦点調節状態を検出する焦点検出手段と、を備え、焦点検出手段は、結像光学系の異なる瞳領域を通過した対の光束によって形成される対の光像のずれ量に基づいて、焦点調節状態を検出することを特徴とする。
（２）請求項２の焦点検出装置は、予め設定された焦点検出位置を含む所定領域からの出力信号に基づいて、画像情報を生成するようにしたものである。
（３）請求項３の焦点検出装置は、画像情報として光像のコントラスト情報を検出し、コントラストが所定値以上となる領域を含んで焦点検出領域を設定するようにしたものである。
（４）請求項４の焦点検出装置は、受光素子アレイ上の第１方向のコントラストを検出するとともに、第１方向と異なる第２方向におけるコントラストを検出するようにしたものである。
（５）請求項５の焦点検出装置は、第１時刻にコントラストを検出して焦点検出領域を設定した後の第２時刻において、第１時刻に検出したコントラストと同じコントラストが含まれるように焦点検出領域を設定するようにしたものである。
（６）請求項６の焦点検出装置は、各マイクロレンズに対応する複数の受光素子から得られる出力信号を選択して画像情報を生成するようにしたものである。
（７）請求項７の焦点検出装置は、請求項６に記載の焦点検出装置において、前記画像情報生成手段は、前記マイクロレンズごとの前記複数の受光素子のうちの前記マイクロレンズ下の中央の受光素子からの前記出力信号を選択して、前記画像情報を生成することを特徴とする。
（８）請求項８の撮像装置は、請求項１〜７のいずれか１項に記載の焦点検出装置を備えたものである。

本発明によれば、画像情報と焦点検出信号とに基づいて結像光学系の焦点検出を行うので、焦点検出位置として任意に選択可能な位置の中から適切に焦点検出位置を設定することができる。

本発明をデジタル一眼レフカメラに適用した一実施の形態を説明する。なお、本発明は一眼レフデジタルカメラに限定されず、撮影レンズの焦点調節を行うあらゆる撮像装置に適用することができる。

図１は、一実施の形態の焦点検出装置を備えたデジタル一眼レフカメラの構成を示す横断面図である。なお、本発明の焦点検出装置および撮像装置に関わる機器および装置以外のカメラの一般的な機器および装置については図示と説明を省略する。一実施の形態のカメラはカメラボディ１にレンズ鏡筒２０が装着され、レンズ鏡筒２０は各種の撮影レンズに交換可能である。なお、この一実施の形態ではレンズ交換式カメラを例に上げて説明するが、本発明はレンズ交換式カメラに限定されず、レンズ固定式カメラに対しても適用できる。

カメラボディ１は、撮像素子２、シャッター３、焦点検出光学系４、焦点検出センサー５、焦点検出演算回路６、カメラ制御回路７、駆動回路８、クイックリターンミラー９、サブミラー１０、ファインダースクリーン１１、透過型液晶表示器１２、ペンタプリズム１３、測光レンズ１４、測光センサー１５、接眼レンズ１６、操作部材１７などを備えている。

撮像素子２はＣＣＤやＣＭＯＳなどから構成され、レンズ鏡筒２０内の撮像レンズ２３により結像した被写体像を電気信号に変換して出力する。シャッター３は、シャッターボタン（不図示）の全押し時（シャッターレリーズ時）に露出演算結果または撮影者が手動で設定したシャッター秒時だけ開放され、撮像素子２を露光する。焦点検出光学系４、焦点検出センサー５および焦点検出演算回路６は位相差検出方式の焦点検出装置を構成し、撮影レンズ（結像光学系）２３の焦点調節状態を示すデフォーカス量を検出する。この焦点検出装置４，５，６については詳細を後述する。

カメラ制御回路７は図示しないマイクロコンピューターとメモリなどの周辺部品から構成され、測光、焦点検出、撮影などのシーケンス制御や、露出演算などの演算制御を行う。駆動回路８は、レンズ鏡筒２０内に設けられるレンズおよび絞り駆動用アクチュエーター２５を駆動制御する。測光センサー１５は、撮影画面を複数の領域に分割して各領域ごとの輝度に応じた測光信号を出力する。

レンズ鏡筒２０は、フォーカシングレンズ２１、ズーミングレンズ２２、絞り２４、レンズおよび絞り駆動用アクチュエーター２５、レンズメモリ２６などを備えている。なお、図１ではフォーカシングレンズ２１とズーミングレンズ２２を一つの撮影レンズ２３で代表して表す。フォーカシングレンズ２１はアクチュエーター２５により光軸方向に駆動され、撮影レンズ２３の焦点調節を行うレンズである。ズーミングレンズ２２はアクチュエーター２５により光軸方向に駆動され、撮影レンズ２３の焦点距離を変えるレンズである。絞り２４はアクチュエーター２５に駆動されて絞り開口径を変化させる。レンズメモリ２６には、撮影レンズ２３の開放Ｆ値や焦点距離などの撮影光学系に関する情報が記憶されている。

カメラボディ１およびレンズ鏡筒２０には、撮影者が操作する操作部材１７が配置される。操作部材１７には、シャッターボタンの半押し時にオンするレリーズ半押しスイッチ、シャッターボタンの全押し時オンするレリーズ全押しスイッチなどが含まれる。

撮影時以外は、クイックリターンミラー９とサブミラー１０が図１に示すように撮影光路中に置かれる。このとき、撮影レンズ２３を透過した被写体からの光の一部は、クイックリターンミラー９に反射されてファインダースクリーン１１へ導かれ、スクリーン１１上に被写体像を結像する。透過型液晶表示器１２は、スクリーン１１上の被写体像に焦点検出エリアマークを重畳して表示するとともに、被写体像外にシャッター速度、絞り値、撮影枚数などの撮影に関する情報を表示する。

スクリーン１１上の被写体像は、ペンタプリズム１３と接眼レンズ１６を介して撮影者の目へ導かれるとともに、ペンタプリズム１３と測光用レンズ１４を介して測光用センサー１５へ導かれる。カメラ制御回路７は、測光用センサー１５から出力される測光領域ごとの測光信号に基づいて露出演算を行い、被写界の輝度に応じたシャッター速度と絞り値を算出する。なお、手動露出撮影モード設定時には、撮影者が操作部材１７を操作して設定したシャッター速度と絞り値を用いる。

一方、撮影レンズ２３を通過した被写体からの光の他の一部は、クイックリターンミラー９を透過してサブミラー１０により反射され、焦点検出光学系４を介して焦点検出センサー５へ導かれる。この一実施の形態では撮影画面内の複数の位置に焦点検出エリアが設定されており、焦点検出センサー５は、各焦点検出エリアごとに撮影レンズ２３の焦点調節状態を示す焦点検出信号を出力する。焦点検出演算回路６は、各焦点検出エリアごとの焦点検出信号に基づいて撮影レンズ２３の焦点調節状態を示すデフォーカス量を算出する。カメラ制御回路７はデフォーカス量に基づいてレンズ駆動量を算出し、駆動回路８によりアクチュエーター２５を駆動してフォーカシングレンズ２１を合焦駆動する。

撮影時には、クイックリターンミラー９とサブミラー１０が撮影光路から退避され（ミラーアップ）、シャッター３が開放されて撮影レンズ２３を透過した被写体からの光束が撮像素子２へ導かれ、撮像素子２により撮像を行う。

ここで、図１４と図１５により、焦点検出領域が密に配置されておらず、かつ焦点検出領域の幅が狭い焦点検出装置における問題点について説明する。このような焦点検出装置では、ピントを合わせたい被写体のコントラストの高い部分を焦点検出領域で捕捉することが難しいという問題がある。

図１４は、撮影画面内に設定された焦点検出領域とその位置を示すための焦点検出エリアマークを示す。この例では撮影画面内の１１カ所に焦点検出領域が設定され、それらの位置を示すためにファインダー内表示装置により被写体像に重畳して焦点検出エリアマークが表示される。今、画面右側の上下３段の焦点検出領域の内の、図１５(ａ)に示すように中央の焦点検出領域Ａ２で人の目の部分を捕捉して焦点検出を行ったとする。焦点検出領域は密に配置されておらず、また焦点検出領域の幅が狭いので、目の部分のようなコントラストが高い部分を捕捉できれば精度の高い焦点検出が可能であるが、図１５(ｂ)に示すように被写体がわずかに動いただけでも、コントラストが高い目の部分が焦点検出領域の端までずれ、焦点検出精度が低下してしまう。さらに大きくずれると、図１５(ｃ)に示すように目の部分が焦点検出領域から外れてしまい、コントラストが低い肌の部分を捕捉することになり、焦点検出精度が著しく低下するか、焦点検出不能になってしまう。

上述した従来の焦点検出装置の問題点を解決するために、この一実施の形態では、複数のマイクロレンズを二次元状に配列したマイクロレンズアレイを焦点検出光学系４に用いるとともに、マイクロレンズごとに複数の受光素子を有し、撮影レンズ２３からの光束をマイクロレンズを介して受光する受光素子アレイを焦点検出センサー５に用い、焦点検出センサー（受光素子アレイ）５から出力される信号に基づいて被写体の画像情報と焦点検出信号を生成し、画像情報と焦点検出信号に基づいて撮影レンズ２３の焦点調節状態を検出する。この一実施の形態では、焦点検出センサー５に受光素子アレイを用いて被写体の画像情報を生成し、この画像情報の中から焦点検出に適した部分を検出し、画面内のどこにでも焦点検出領域の設定を可能にして焦点検出における信頼性と精度の向上を図る。

図２および図３は焦点検出光学系４と焦点検出センサー５の詳細を示す図である。図において、焦点検出光学系４は、複数のマイクロレンズ４１を二次元状に配列したマイクロレンズアレイであり、撮影レンズ２３のピントを合わせようとする面すなわち撮像素子２の撮像面と共役な面の近傍に配置される。なお、図２および図３ではマイクロレンズの数を少なく描いているが、実際のマイクロレンズは１００ミクロンもしくはそれ以下のピッチで配列されるので、マイクロレンズアレイが例えば５ｍｍ角の広さであれば、マイクロレンズの数は非常に大きな数となる。

焦点検出センサー５は、複数の受光素子（光電変換素子）５１を二次元状に配列した受光素子アレイであり、焦点検出光学系（マイクロレンズアレイ）４の背後に配置される。なお、図３ではマイクロレンズごとに縦５個、横５個の合計２５個の受光素子を正方配列にした受光素子アレイを例に上げて説明するが、マイクロレンズごとの受光素子の数はこの一実施の形態の数に限定されない。また、マイクロレンズごとに複数の受光素子をまとめて配置せずに、複数の受光素子を二次元状に配列した受光素子アレイとしてもよい。

被写体からの光束は、クイックリターンミラー９を透過しサブミラー１０に反射され、焦点検出光学系（マイクロレンズアレイ）４を介して焦点検出センサー（受光素子アレイ）へ導かれる。

図４(ｂ)は焦点検出光学系４と焦点検出センサー５を撮影レンズ２３側から見た図、図４(ｃ)は焦点検出光学系４と焦点検出センサー５の横断面図である。焦点検出センサー５の各マイクロレンズ４１に対応する２５個の受光素子の中から、中央の１受光素子の出力を抽出してマイクロレンズアレイ（焦点検出光学系）４の並び通りに並べると、図４(ａ)に示すような二次元画像が得られる。図４(ａ)では被写体の目の部分の像が形成されている例を示す。なお、図４(ｃ)では各マイクロレンズ４１に対応する２５個の受光素子の中の中央の１受光素子の受光する光束の広がりを図示する。

二次元画像を生成するためにマイクロレンズごとに抽出する受光素子出力としては、上述した中央の１受光素子出力に限らず、複数の受光素子出力を加算した値を用いてもよい。例えば縦３個、横３個の合計９個の受光素子の出力を加算した値を用いる。加算する受光素子数が多いほど、被写体が暗い場合の焦点検出能力を上げることができる。

《焦点検出演算回路６》
図５は焦点検出演算回路６の詳細な構成を示す図である。焦点検出演算回路６はＡ／Ｄコンバーター６１、メモリ６２、マイクロコンピューター６３などを備え、マイクロコンピューター６３のソフトウエア形態により二次元画像作成部６４、特徴抽出部６５、領域設定部６６、画像信号抽出部６７、像ずれ演算部６８およびデフォーカス量演算部６９を構成する。

焦点検出センサー（受光素子アレイ）５のすべての受光素子５１の出力は、順次読み出されてＡ／Ｄコンバーター６１によりデジタル信号に変換された後、メモリ６２に記憶される。なお、詳細を後述するが、特定の焦点検出エリアが選択された場合には、選択された焦点検出エリアを中心とする所定範囲内の受光素子出力だけを読み出す。

《二次元画像作成部６４》
二次元画像作成部６４は、メモリ６３に記憶されている焦点検出センサー５の受光素子出力の内の、特定の位置を中心とする所定範囲内のマイクロレンズ下の中央受光素子出力を並べて図４(ａ)に示すような二次元画像を作成する。

図６(ａ)に示すように、撮影レンズ２３の撮影画面１００内には１１カ所に焦点検出エリアが設定されており、上述した液晶表示器１２はファインダースクリーン１１上の被写体像に１１カ所の焦点検出エリアの位置を表すマーク１０１を重畳して表示する。例えば撮影画面１００内の右上の焦点検出エリアが選択されると、図６(ｂ)に示すように選択された焦点検出エリアを中心とする所定の画像範囲が設定され、この画像範囲内のマイクロレンズ下の例えば中央受光素子出力を並べて二次元画像を作成する。図６(ｂ)において、中央の黒点は焦点検出エリアの位置を表す。

具体的には、図７(ａ)に示す被写体像の内の選択された右上の焦点検出エリアを中心とする所定の画像範囲（図７(ｂ)参照）が設定され、この画像範囲内のマイクロレンズ下の中央受光素子出力を並べて図７(ｃ)に示す二次元画像データを生成する。なお、この一実施の形態では、図６(ｂ)および図７(ｃ)に示す二次元画像の構成要素を“画素”と呼び、その輝度値をＶ[ｉ,ｊ]（ｉは画素の行番号、ｊは画素の列番号）と表す。

《特徴抽出部６５》
特徴抽出部６５は、二次元画像作成部６４で作成した二次元画像の第１方向（行方向）における画素どうしの輝度の差分すなわちコントラストを計算する。図８(ａ)は、図７(ｃ)に示す二次元画像Ｖ[ｉ,ｊ]の横隣接画素のコントラストＣｈ[ｉ,ｊ]を次式により求め、
Ｃｈ[ｉ,ｊ]＝｜Ｖ[ｉ,ｊ]−Ｖ[i+1,ｊ]｜ ・・・（１）
図８(ｅ)に示す４段階のコントラストレベルに分けて表したものである。この一実施の形態では、画素のコントラスト範囲を０〜２５５とし、所定値Ｃｈｏ（例えば３０）以上のコントラストＣｈ[ｉ,ｊ]（≧Ｃｈｏ）を黒塗りで表す。図８(ａ)において、黒塗りの部分は図７(ｃ)に示す二次元画像Ｖ[ｉ,ｊ]の“特徴点”である。なお、画像の特徴点の決定方法はこの一実施の形態の決定方法に限定されず、コントラストに関する量が検出できる方法であればよい。

《領域設定部６６》
領域設定部６６は、図８(ａ)に示す黒塗りの特徴点の内、選択された焦点検出エリア位置（図中に黒点で示す）に近い１個（２個または３個でもよい）を選び、選択した特徴点を中心に焦点検出領域を設定する。図８(ａ)において黒点で示す焦点検出エリア位置に近い３個の特徴点（黒塗り画素）を中心に焦点検出領域を設定した例を図９(ａ)に示す。

一般に、第１の方向すなわち横（行）方向に長い焦点検出領域を設定するのが望ましい。図９(ａ)に示す焦点検出領域では、第１方向（横方向）に沿って３個の特徴点が分布しており、したがってこの方向に沿って像ずれを検出するのが好ましい。なお、一般に第１方向に対し４５度斜め方向までならコントラストの変化が大きく、したがって第１方向から４５度斜め方向、あるいは０〜４５度の中間方向を設定することも可能である。

図８(ａ)に示す例では黒点で示す特定の位置、ここでは選択した焦点検出エリア位置の近傍に特徴点が存在するが、図８(ｃ)に示す例では特定の位置から少し離れた位置に特徴点があり、この場合には図９(ｃ)に示すように焦点検出領域を設定する。以上の処理により、常にコントラストの高い部分を中心に焦点検出エリアを設定することが可能になる。

被写体が縦縞構造である場合には上述した焦点検出領域の設定方法でよいが、横縞構造の場合にも最適な焦点検出領域を設定するために、特徴抽出部６５および領域設定部６６は、第１方向と同様な方法で第１方向と異なる第２方向において上述した特徴抽出処理と焦点検出領域設定処理を行う。ここで、第２方向は、第１方向から４５度以上離れた方向が好ましく、多くは９０度異なる方向とする。この一実施の形態では第２方向を縦方向（列方向）とする。

特徴抽出部６５は、二次元画像作成部６４で作成した二次元画像の第２方向（縦方向）における画素どうしのコントラストを計算する。図８(ｂ)は、図７(ｃ)の二次元画像Ｖ[ｉ,ｊ]の縦隣接画素のコントラストＣｖ[ｉ,ｊ]を次式により求め、
Ｃｖ[ｉ,ｊ]＝｜Ｖ[ｉ,ｊ]−Ｖ[ｉ,j+1]｜ ・・・（２）
図８(ｅ)に示す４段階のコントラストレベルに分けて表したものである。図８(ｂ)において、黒塗りの部分はコントラストＣｖ[ｉ,ｊ]が所定値Ｃｖｏ＝３０以上の画素であり、図７(ｃ)に示す二次元画像Ｖ[ｉ,ｊ]の“特徴点”である。

領域設定部６６は、図８(ｂ)に示す黒塗りの特徴点の内、選択された焦点検出エリア位置（図中に黒点で示す）に近い１個（２個または３個でもよい）を選び、選択した特徴点を中心に焦点検出領域を設定する。図８(ｂ)において黒点で示す焦点検出エリア位置に近い３個の特徴点（黒塗り画素）を中心に焦点検出領域を設定した例を図９(ｂ)に示す。

一般に、第２方向すなわち縦（列）方向に長い焦点検出領域を設定するのが望ましい。図９(ｂ)に示す焦点検出領域では、第２方向（縦方向）に沿って７個の特徴点が分布しており、したがってこの方向に沿って像ずれを検出するのが好ましい。なお、一般に第２方向に対し４５度斜め方向までならコントラストの変化が大きく、したがって第２方向から４５度斜め方向、あるいは０〜４５度の中間方向を設定することも可能である。

図８(ｂ)に示す例では黒点で示す特定の位置、ここでは選択した焦点検出エリア位置の近傍に特徴点が存在するが、図８(ｄ)に示す例では特定の位置から少し離れた位置に特徴点があり、この場合には図９(ｄ)に示すように焦点検出領域を設定する。以上の処理により、画像の第２方向（縦方向）においても常にコントラストの高い部分を中心に焦点検出エリアを設定することが可能になる。

なお、上述した特徴抽出部６５と領域設定部６６の処理では第１方向と第２方向に分けて特徴抽出と焦点検出領域設定を行う例を示したが、方向を分けずにコントラストを検出して特徴点を抽出し、特徴点を含むようにして複数の方向に焦点検出領域を設定するようにしてもよい。その場合の隣接画素のコントラストＣ[ｉ,ｊ]を次式により求める。
Ｃ[ｉ,ｊ]＝｜Ｖ[ｉ,ｊ]−Ｖ[i+1,ｊ]｜＋｜Ｖ[ｉ,ｊ]−Ｖ[ｉ,j+1]｜ ・・・（３）
算出したコントラストＣ[ｉ,ｊ]を所定値Ｃｏ（＝３０）と比較し、所定値Ｃｏ以上の画素を特徴点とする。

《画像信号抽出部６７》
図１０は、図９(ａ)に示す焦点検出領域を拡大した図である。像ずれ検出方向である焦点検出領域の長手方向の長さは、適宜決定する。図９(ａ)および図１０は２列の画素列を焦点検出領域として選択した例を示すが、図１１に示すように１列の画素列を焦点検出領域として選択してもよい。あるいは、３列以上の画素列を焦点検出領域として選択してもよい。焦点検出領域内のマイクロレンズに対応する複数の受光素子の出力信号に基づいて、撮影レンズ２３の異なる瞳領域を通過した対の光束による像のずれ量を示す焦点検出信号、すなわち対の焦点検出用信号列を生成する。

図１０および図１１において、マイクロレンズ下の黒塗りした受光素子の出力を焦点検出用の一対の信号列、第１信号列{ａ(i)}と第２信号列{ｂ(i)}（ｉ＝１，２，３，・・）を抽出する。
第１信号列{ａ(i)}＝ａ(1)、ａ(2)、ａ(3)、・・・、
第２信号列{ｂ(i)}＝ｂ(1)、ｂ(2)、ｂ(3)、・・・ ・・・（４）
なお、図１０に示す例では、各マイクロレンズ下の３個の受光素子出力を加算するとともに、２列の焦点検出画素列の上下２個の画素出力を加算して信号列を生成する。また、斜め４５度方向に焦点検出領域を設定する場合には、図１１に示すように焦点検出用画素を決定して信号列を生成する。

《像ずれ演算部６８》
像ずれ演算部６８は、第１信号列{ａ(i)}と第２信号列{ｂ(i)}を用いて周知の像ずれ演算を行い、デフォーカス量を算出する。まず、第１信号列{ａ(i)}と第２信号列{ｂ(i)}から一対の像（信号列）の相関量Ｃ(Ｎ)を次式により求める。
Ｃ(Ｎ)＝Σ｜ａ(i)−ｂ(j)｜ ・・・（５）
（５）式において、ｊ−ｉ＝Ｎ（シフト数）、Σは上底がｑＬ、下底がｐＬの総和演算を表す。

（５）式により得られた離散的な相関量Ｃ(Ｎ)からシフト量を求める。Ｃ(Ｎ)の中でシフト量Ｎのときに極小値を与える相関量をＣｏとし、シフト量(Ｎ−１)における相関量をＣｒ、シフト量(Ｎ＋１)における相関量をＣｆとする。これらの３個の相関量Ｃｒ、Ｃｏ、Ｃｆの並びから精密なシフト量Ｌａを次式により求める。
ＤＬ＝０．５×（Ｃｒ−Ｃｆ）、
Ｅ＝ｍａｘ｛Ｃｆ−Ｃｏ、Ｃｒ−Ｃｏ｝、
Ｎａ＝Ｎ＋ＤＬ／Ｅ ・・・（６）
これに焦点検出面の位置に応じた補正量（定数const）を加え、焦点検出面上での像ずれ量Δｎを算出する。
Δｎ＝Ｎａ＋const ・・・（７）

《デフォーカス量演算部６９》
デフォーカス量演算部６９は、検出開角に依存する定数Ｋｆを用いて次式により像ずれ量Δｎからデフォーカス量Ｄｆを算出する。
Ｄｆ＝Ｋｆ×Δｎ ・・・（８）

《被写体の動きに応じた焦点検出領域の設定方法》
次に、連続して複数回の焦点検出を行う場合に、被写体の動きに応じて最初に設定した焦点検出領域の被写体像が移動することがある。そのような場合に、最初の検出被写体部分と同一の部分を焦点検出領域として追い続ける方法を説明する。例えば、１回目の焦点検出において図１２(ａ)に示す二次元画像が得られ、続く２回目の焦点検出で図１２(ｂ)に示す二次元画像が得られたとする。

被写体の動きを追う画像としては、画像自体Ｖ[ｉ,ｊ]の時刻ｔ＝ｔ１における画像Ｖ１[ｉ,ｊ]と、時刻ｔ＝ｔ２における画像Ｖ２[ｉ,ｊ]とを用いてもよいが、上述した第１方向（横方向）の隣接画素のコントラストＣｈ[ｉ,ｊ]、もしくは第２方向（縦方向）の隣接画素のコントラストＣｖ[ｉ,ｊ]、あるいは複数方向の隣接画素のコントラストＣ[ｉ,ｊ]を用いることができる。

ここでは、例えば複数方向の隣接画素のコントラストＣ[ｉ,ｊ]の時刻ｔ＝ｔ１におけるコントラストＣ１[ｉ,ｊ]と、時刻ｔ＝ｔ２におけるコントラストＣ２[ｉ,ｊ]とを用いる場合について説明する。すでに検出が終わっている画像Ｃ１[ｉ,ｊ]については、図８(ａ)と図８(ｂ)とを加算したようなコントラスト分布が存在するので、これを活用して比較領域に設定する。領域は正方形の方が扱いやすいので、例えば図１２(ｃ)に示す７×６画素の枠で、上述した特定の位置に近い特徴点の内の少なくとも所定の個数を含むように範囲を決める。

領域の決め方は厳密である必要はないので、上述した所定個数の特徴点を含むように範囲を決める方法の他に、できるだけ多くの特徴点を含むように範囲を決める方法や、その他の方法でもよい。こうして決められたｎ×ｍ画素の範囲{is1≦i1≦is1+n-1、js1≦j1≦js1+m-1}のコントラストＣ１[ｉ,ｊ]と、新しく時刻ｔ＝ｔ２で検出された図１２(ｄ)に示すコントラストＣ２[ｉ,ｊ]からｎ×ｍの画素範囲{is2≦i2≦is2+n-1、js2≦j2≦js2+m-1}とを比較し、次式により相関量Ｄ[ｐ,ｑ]を求める。
Ｄ[ｐ,ｑ]＝Σ｜Ｃ１[ｉ1,ｊ1]−Ｃ２[ｉ2,ｊ2]｜、
is2＝is1＋p、js2＝js1＋q、j2＝i1＋ｐ、j2＝j1＋ｑ ・・・（９）
（９）式における加算は{is1≦i1≦is1+n-1、js1≦i1≦js1+m-1}の範囲で行う。

次に、[ｐ,ｑ]を変えて相関量Ｄ[ｐ,ｑ]の最小値を与える[ｐ,ｑ]を求める。相関量Ｄ[ｐ,ｑ]の最小値を与える[ｐ,ｑ]がズレの大きさと方向を表すベクトルである。このベクトル[ｐ,ｑ]だけずらした位置に焦点検出領域を設定する。図１２(ｃ)と(ｄ)の場合は、[ｐ,ｑ]＝[０,２]であるから、下の方に２画素だけずらした位置に新しい焦点検出領域を設定する。焦点検出領域設定後の処理は上述した処理と同様であり、説明を省略する。

《精細に画像を抽出する方法》
図４では各マイクロレンズ下の１つの受光素子出力を抽出して二次元画像を作成する例を示したが、さらに精細な二次元画像を抽出する方法を説明する。図１３(ｂ)は、図４(ｃ)と同じ焦点検出光学系（マイクロレンズアレイ）４と焦点検出センサー５の断面を示すが、マイクロレンズごとにマイクロレンズ中央近傍の横方向２受光素子、縦方向２受光素子の合計４受光素子出力を加算せずに取り出し、各マイクロレンズ下の４受光素子出力を並べて図１３(ａ)に示す二次元画像を作成する。この場合、各マイクロレンズ下の４受光出力を、同じマイクロレンズに属する受光素子は並び順を逆転させて並べる。

図１３(ｃ)において、焦点検出センサー（受光素子アレイ）５上では３０１ａ、３０１ｂ、３０２ａ、３０２ｂ、３０３ａ、３０３ｂ、・・とすると、二次元画像合成面３１０上では３０１ｂ、３０１ａ、３０２ｂ、３０２ａ、３０３ｂ、３０３ａ、・・の順で並ぶため、焦点検出センサー５上の並びを同じマイクロレンズに属する受光素子は並び順を逆転させて並べる。このようにして、図１３(ａ)に示すような二次元画像を作成すれば、二次元画像合成面３１０近傍では高精細な画像が形成されるので、より精度の高い判断が可能になる。例えば各マイクロレンズから１受光素子出力を抽出する場合は図７(ｃ)に示す画像となるが、各マイクロレンズから４受光素子出力を抽出すると、画像合成面３１０の近傍では図７(ｄ)に示すような高精細な画像が得られる。

このように、一実施の形態によれば、複数のマイクロレンズを二次元状に配列したマイクロレンズアレイと、マイクロレンズごとに複数の受光素子を有し、結像光学系からの光束をマイクロレンズを介して受光する受光素子アレイと、受光素子アレイの受光素子から出力される信号に基づいて画像情報と結像光学系の焦点調節状態を表す焦点検出信号を生成し、画像情報と焦点検出信号に基づいて結像光学系の焦点調節状態を検出するようにしたので、画像情報と焦点検出信号とに基づいて結像光学系の焦点検出を行うので、焦点検出位置として任意に選択可能な位置の中から適切に焦点検出位置を設定することができる。

上述したように、焦点検出領域が密に配置されておらず、かつまた焦点検出領域の幅が狭い焦点検出装置では、ピントを合わせたい被写体のコントラストの高い部分を焦点検出領域で捕捉することが困難であった。この一実施の形態では、マイクロレンズアレイと受光素子アレイを用いて結像光学系の焦点検出を行うので、結像光学系の撮影画面内の任意の位置を焦点検出領域として設定可能であり、焦点検出領域設定の自由度が高いという利点がある。しかし、自由度が高いゆえにピントを合わせたい位置に適切に焦点検出領域を設定することがより重要な課題となるが、このような操作を撮影者が手動で行うのは煩雑である。そこで、この一実施の形態ではさらに、受光素子アレイの受光出力から焦点検出信号の他に画像情報すなわち二次元画像データを取得し、画像情報と焦点検出信号とに基づいて焦点検出を行う構成を備え、受光素子アレイの受光出力を利用して簡単な構成で適切に焦点検出領域の選択を可能にし、ピントを合わせたい被写体の内のコントラストの高い部分を焦点検出領域で捕捉して高精度な焦点検出を実現する。

一実施の形態によれば、画像情報から特徴を検出し、特徴が検出された位置に相当する画面内の位置に焦点検出領域を設定するようにしたものである。例えば、画像情報のコントラストを検出し、コントラストが所定値以上となる部分の位置に焦点検出領域を設定する。これにより、ピントを合わせたい被写体の内のコントラストの高い部分に焦点検出領域を設定することができ、高精度な焦点検出を実現する。

一実施の形態の焦点検出装置を備えたデジタル一眼レフカメラの構成を示す横断面図 焦点検出光学系と焦点検出センサーの詳細を示す図 焦点検出光学系と焦点検出センサーの詳細を示す図 焦点検出光学系と焦点検出センサーの正面図(ａ)、焦点検出光学系と焦点検出センサーの断面部(ｂ)および二次元画像を示す図(ｃ) 焦点検出演算回路の詳細な構成を示す図 焦点検出エリアを中心とする所定の画像範囲を示す図 二次元画像の生成例を示す図 二次元画像から特徴点を抽出する処理を示す図 二次元画像の特徴点に基づく焦点検出領域の設定方法を示す図 焦点検出領域を拡大した図 焦点検出領域を拡大した図 被写体の動きに応じた焦点検出領域の設定方法を示す図 精細な二次元画像を抽出する方法を示す図 撮影画面内に設定された焦点検出領域とその位置を示すための焦点検出エリアマークを示す図 焦点検出領域が離散的に設定された焦点検出装置において焦点検出領域で被写体を捕捉する様子を示す図

符号の説明

１ カメラボディ
４ 焦点検出光学系（マイクロレンズアレイ）
５ 焦点検出センサー（受光素子アレイ）
６ 焦点検出演算回路
２３ 撮影レンズ

Claims (8)

1. 複数のマイクロレンズを二次元状に配列したマイクロレンズアレイと、
   前記マイクロレンズごとに複数の受光素子を有し、光像を形成する結像光学系からの光束を前記マイクロレンズを介して前記複数の受光素子が受光する受光素子アレイと、
   前記複数の受光素子の出力信号に基づいて前記光像に関する画像情報を生成する画像情報生成手段と、
   前記画像情報に基づいて、前記結像光学系の焦点調節状態を検出する焦点検出領域を設定する領域設定手段と、
   前記焦点検出領域に位置する前記マイクロレンズに対応する前記複数の受光素子の出力信号に基づいて、前記焦点調節状態を検出する焦点検出手段と、を備え、
   前記焦点検出手段は、前記結像光学系の異なる瞳領域を通過した対の光束によって形成される対の前記光像のずれ量に基づいて、前記焦点調節状態を検出することを特徴とする焦点検出装置。
2. 請求項１に記載の焦点検出装置において、
   前記画像情報生成手段は、予め設定された焦点検出位置を含む所定領域からの前記出力信号に基づいて、前記画像情報を生成することを特徴とする焦点検出装置。
3. 請求項２に記載の焦点検出装置において、
   前記領域設定手段は、前記画像情報として前記光像のコントラスト情報を検出し、前記コントラストが所定値以上となる領域を含んで前記焦点検出領域を設定することを特徴とする焦点検出装置。
4. 請求項３に記載の焦点検出装置において、
   前記領域設定手段は、前記受光素子アレイ上の第１方向の前記コントラストを検出するとともに、前記第１方向と異なる第２方向における前記コントラストを検出することを特徴とする焦点検出装置。
5. 請求項３または４のいずれか１項に記載の焦点検出装置において、
   前記領域設定手段は、第１時刻に前記コントラストを検出して前記焦点検出領域を設定した後の第２時刻において、前記第１時刻に検出した前記コントラストと同じコントラストが含まれるように前記焦点検出領域を設定することを特徴とする焦点検出装置。
6. 請求項１〜５のいずれか１項に記載の焦点検出装置において、
   前記画像情報生成手段は、前記各マイクロレンズに対応する前記複数の受光素子から得られる出力信号を選択して前記画像情報を生成することを特徴とする焦点検出装置。
7. 請求項６に記載の焦点検出装置において、
   前記画像情報生成手段は、前記マイクロレンズごとの前記複数の受光素子のうちの前記マイクロレンズ下の中央の受光素子からの前記出力信号を選択して、前記画像情報を生成することを特徴とする焦点検出装置。
8. 請求項１〜７のいずれか１項に記載の焦点検出装置を備えることを特徴とする撮像装置。
   

Images