JP6426890B2

JP6426890B2 - 焦点検出装置及び方法、及び撮像装置

Info

Publication number: JP6426890B2
Application number: JP2013228755A
Authority: JP
Inventors: 健悟竹内
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2013-06-11
Filing date: 2013-11-01
Publication date: 2018-11-21
Anticipated expiration: 2033-11-01
Also published as: US20140362279A1; US9615017B2; JP2015018205A

Description

本発明は焦点検出装置及び方法、及び撮像装置に関し、更に詳しくはカメラ等の撮像装置における焦点検出処理に関する。

結像光学系の焦点状態を検出する焦点検出装置として、各画素にマイクロレンズが形成された２次元イメージセンサ（撮像素子）を用いて、いわゆる瞳分割方式の焦点検出を行う装置が特許文献１に開示されている。特許文献１にて開示された焦点検出装置では、イメージセンサを構成する各画素の光電変換部が複数に分割され、該分割された光電変換部がマイクロレンズを介して結像光学系の瞳における互いに異なる領域を通過した光束を受光する。

また、特許文献２では、撮像素子の一種であるＣＭＯＳセンサを用いて、瞳分割方式の焦点検出を行う撮像装置が開示されている。特許文献２にて開示された撮像装置では、ＣＭＯＳセンサを構成する多数の画素のうち一部の画素が、撮影光学系（結像光学系）の焦点状態を検出するために光電変換部が２つに分割された構造を有する。この２つに分割された光電変換部は、マイクロレンズを介して撮影レンズの瞳における互いに異なる領域を通過した光束を受光するため、分割された光電変換部から得られる一対の信号の位相差を検出することで、焦点状態を検出することができる。また、このように２つに分割された光電変換部から得られる一対の信号を画素毎に加算することで、通常の撮像画素の画素値として取り扱うことも従来提案されている。

一方で、ユーザー設定や、場合によっては主被写体検出系の結果に応じてカメラにＡＦ枠を設定する場合に、撮影シーンに応じて、ＡＦ枠の大きさを選択したり、画角に対するＡＦ枠位置を選択したりする機能がある。

特開昭５８−２４１０５号公報特開２００５−１０６９９４号公報

上記のような撮像面での位相差ＡＦを行う技術においては、焦点距離検出用の画素データをどの程度読み出し、保持しておくかという課題がある。例えば、センサ全面の信号を保持する場合、光電変換部が２分割されたセンサでは、分割されていない場合の２倍のデータ量となる。そのため、後段の処理システムに多大な負荷をかけることになり、データ量の増加に対応して並列処理や高クロック化などの対応が必要になったり、さらには熱問題が発生して熱対策が必要になったりと、低コスト化が難しくなる。

本発明は上記問題点を鑑みてなされたものであり、複数の光電変換部を含む画素を用いて撮像面での位相差方式の焦点検出を行うことのできる焦点検出装置において、焦点検出の精度を保ちつつ、焦点検出に必要なデータ量を適正化することを目的とする。

上記目的を達成するために、本発明の焦点検出装置は、撮像光学系を通過した光束を光電変換する画素を複数有し、視差を有する一対の信号を出力することが可能な撮像手段から、前記一対の信号を取得する取得手段と、
予め決められた焦点検出領域に対応する、前記撮像手段の第１の領域に含まれる複数の前記画素から出力される一対の信号から、異なる色に対応する信号を加算して第１の解像度の第１の輝度信号対を生成するとともに、前記予め決められた焦点検出領域に対応する、前記第１の領域よりも広い第２の領域に含まれる前記画素から出力される一対の信号から、前記第１の輝度信号対の生成に用いた信号数よりも多い数の信号を加算して前記第１の解像度よりも低い第２の解像度の第２の輝度信号対を生成する生成手段と、
前記第１の輝度信号対及び前記第２の輝度信号対を用いて、位相差方式の焦点検出処理を行う焦点検出手段と、前記第１の輝度信号対に基づく焦点検出処理の信頼性を評価する評価手段と、を有し、前記焦点検出手段は、前記評価手段の評価の結果に基づいて前記第１の輝度信号対および前記第２の輝度信号対のいずれか一方を用いて前記焦点検出処理を行う。

本発明によれば、複数の光電変換部を含む画素を用いて撮像面での位相差方式の焦点検出を行うことのできる焦点検出装置において、焦点検出の精度を保ちつつ、焦点検出に必要なデータ量を適正化することができる。

本発明の実施形態におけるカメラの構成を示すブロック図。撮像センサの構成例を示す図。ＡＦ枠と焦点検出視野の関係を示す図。詳細エリアと広範エリアにおける解像度を示す模式図。被写体及びその像データの一例を示す図。小デフォーカス時の詳細エリアと広範エリアにおけるデータの一例を示す図。大デフォーカス時の詳細エリアと広範エリアにおけるデータの一例を示す図。第１の実施形態における焦点検出処理のフローチャート。第２の実施形態における焦点検出処理のフローチャート。他のセンサ構成例を示す図。第３の実施形態における解像度を示す模式図。第３の実施形態における焦点検出処理のフローチャート。レンズ絞りと、解像度及び焦点検出視野との関係を示す図。合焦度と、解像度及び焦点検出視野との関係を示す図。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

＜第１の実施形態＞
図１は、本発明の第１の実施形態における焦点検出装置を含むカメラのシステム構成を説明するためのブロック図である。本実施形態のカメラにおいて、レンズユニット１００（撮像光学系）は、フォーカスレンズ、ズームレンズ、絞り等を備える。撮像センサ１０１は被写体からの光束を光電変換して信号を出力する。ここで、本実施形態の撮像センサ１０１の詳細構成について説明する。

図２は、撮像センサ１０１の詳細を示す図である。図２（ａ）は、撮像センサ１０１の撮像素子２００を示し、図２（ｂ）に示すブロック２０１は、撮像素子２００に含まれる複数の画素の内、隅の一部を切り出して拡大したものである。撮像素子２００はベイヤー配列型の撮像素子であって、かつ、Ｒ、Ｇ、Ｂの各画素がマイクロレンズ一つを共有して２分割された光電変換素子が形成された構成となっている。例えば、Ｒ画素を２分割してそれぞれＡ領域２０２、Ｂ領域２０３が構成されている。同様にＧ画素、Ｂ画素も２分割されており、それぞれＡ領域２０４、２０６、２０８、Ｂ領域２０５、２０７、２０９が構成されている。各光電変換素子により得られた信号は独立に出力可能であり、これにより、各画素からは、レンズユニット１００の異なる瞳領域を通過した光束により形成される被写体像を光電変換して、独立した２つの信号が出力されることになる。

分割像生成回路１０２は、上述した構成を有する撮像センサ１０１のうち、所定位置の所定幅の領域から各画素のＡ領域とＢ領域から出力された一対の信号を抽出する。そして、読み出した各画素のＡ領域から出力された信号を集めてＡ像とし、Ｂ領域から出力された信号を集めてＢ像とする。このようにＡ領域とＢ領域から出力された信号を抜き出して、互いに異なる２像として扱うことで、位相差方式の焦点検出を行うことができる。本実施形態では、ブロック２０１毎にＲ、Ｇ、Ｂ画素のＡ領域２０２、２０４、２０６、２０８から出力された信号を加算平均することで、一つのＡ像輝度データを生成する。同様に各色画素のＢ領域２０３、２０５、２０７、２０９から出力された信号を加算平均することで、一つのＢ像輝度データを生成する。更に、この輝度に変換（圧縮）したブロック２０１毎のデータを最小単位として、さらにどの程度圧縮するかを指定し、後述する所定の範囲の焦点検出用のデータを形成していく。

位相差検出用アクセラレータ回路１０３は、分割像生成回路１０２により生成された焦点検出用のデータそれぞれのコントラスト状態を検出したり、それぞれに光学的なひずみを補正する処理や電気的なノイズ等の各種補正処理を行う。

一方、撮像信号処理回路１０４は、上述した構成を有する撮像センサ１０１から出力された各画素の２つの信号を画素毎に合成して撮像信号を生成する。例えば、Ｒ画素のＡ領域２０２とＢ領域２０３からそれぞれ出力された信号を加算することで、通常のＲ画素の撮像信号となる。そして、生成した撮像信号に対して、光学的補正処理や電気的ノイズ処理等を行い、画像メモリ１０７に処理した撮像信号を一時的に保持する。画像処理回路１０５は画像メモリ１０７に保持された撮像信号を、MPEG2やMP4、JPEGなどの動画／静止画像形式といった所定の映像データフォーマットの信号に変換し、記録回路１０６によって記録媒体に記録する。

ＣＰＵ１０９は、上述の回路の動作を制御する各種処理やフォーカスの焦点算出やレンズ駆動制御を司り、ＣＰＵ１０９が扱うプログラムやデータはメモリ１０８に保持される。また、レンズ駆動回路１１０は、レンズユニット１００内のフォーカスや絞り等を駆動する。

以下に、本第１の実施形態における焦点検出用の像データの生成についてさらに詳述する。図３（ａ）において、撮像素子２００のうち、撮像画角の範囲を実線３００で示している。また、３０１で示す点線は、撮像画角３００のうち、焦点検出領域（ＡＦ枠）を示している。ＡＦ枠３０１は、ユーザーが被写体にフォーカスを合わせる際に使いやすいサイズということを前提として、撮像画角３００全体を水平垂直それぞれ１００％としたときに、水平１０％、垂直２０％のようなサイズとしている。このようなＡＦ枠３０１が設定されている場合には、分割像生成回路１０２によって位相差方式の焦点検出用に、図３（ｂ）に示すようなＡＦ枠３０１に対応する２つの範囲の２組の解像度の異なる像データを生成する。一つは３０２の実線で示すような狭い範囲の詳細エリア（第１の領域）、もう一つは、３０３の破線で示すような広範エリア（第２の領域）の２つの範囲である。２組の像データは、ＡＦ枠３０１のＹ方向中心において、ほぼ同じラインで視野が異なる２つの範囲において、それぞれ取得する像データの解像度が異なるようにして得られている。なお詳細エリア３０２の領域がＡＦ枠３０１よりも広いのは、位相差方式の焦点検出に特有の位相差検出用のサーチ範囲を確保するためのデータを抽出するからである。

次に、詳細エリア３０２と広範エリア３０３のそれぞれの解像度について説明する。図３（ｂ）に示す詳細エリア３０２のうち、丸点線で囲んだ一部の領域３０４を拡大したものを図４（ａ）に示す。図４（ａ）は撮像素子２００の画素単位での構成を示している。これに対して詳細エリア３０２から取得する時の解像度（第１の解像度）を図４（ｂ）に、広範エリア３０３から取得する時の解像度（第２の解像度）を図４（ｃ）に模式的に示している。

図３の詳細エリア３０２から得られる信号の解像度は合焦検出に必要な解像度として、十分な高解像度であることが望ましい。そのため、図４（ｂ）に示すように、Ｇ、Ｂ、Ｇ、Ｒから成る、最小単位の１ベイヤー単位（ブロック２０１毎）で、Ａ領域、Ｂ領域からの信号をそれぞれ上述したように加算平均することで輝度信号に変換し、位相差用データＤＹａｉ、ＤＹｂｉ（第１の輝度信号対）を生成する。また、広範エリア３０３からは、大デフォーカスを検出可能な程度の解像度として、図４（ｃ）に示すように、５ベイヤー単位で、Ａ領域、Ｂ領域からの信号を別々に加算平均することで輝度信号に変換し、位相差用データＤＹｓａｉ、ＤＹｓｂｉ（第２の輝度信号対）を生成する。なお、詳細エリア３０２における１ベイヤー単位、広範エリア３０３における５ベイヤー単位は一例であって、詳細エリア３０２の解像度が広範エリア３０３の解像度よりも高く設定されていればよい。

上述のようにして２組の解像度の異なる位相差用データを取得する理由について、以下に説明する。図５（ａ）は、被写体例として黒い背景に一本の白い縦線が書いてあるような一本バーチャートを示している。この一本バーチャートが合焦している時の撮像面で得られるＡ像、Ｂ像の信号を図５（ｂ）に示している。合焦時には、Ａ像、Ｂ像ともに図５（ｂ）に示すように、チャート像がそのまま投影されたような形で取得される。これに対し、レンズユニット１００のフォーカスが少しデフォーカス状態の場合には、図５（ｃ）に示すＡ像５０１、Ｂ像５０２のように像ずれが発生し、且つ、ややエッジがボケて、広がったような像が取得される。また、さらに大きくボケた大デフォーカス状態の場合には、図５（ｄ）に示すＡ像５０３、Ｂ像５０４のように大きな像ずれが発生し、且つ、信号レベルも低下してかなり広がったような像が取得される。

このような被写体像が取得されるような各状況で、図５（ａ）に示す被写体に対し、図５（ｅ）に示すようにＡＦ枠３０１を置いた場合、詳細エリア３０２及び広範エリア３０３で観察される像信号を具体的に説明する。

図６は小デフォーカス時の状態を示すグラフであり、横軸は詳細エリア３０２または広範エリア３０３における位置、縦軸は正規化した位相差用データＤＹａｉ、ＤＹｂｉ（輝度値）を示している。

図６（ａ）は広範エリア３０３で、仮に、詳細な解像度（例えば、詳細エリア３０２と同様の解像度）で位相差用データＤＹａｉ６０１、ＤＹｂｉ６０２を取得した場合の位相差検出用のデータ列を示している。この場合、黒レベルのデータが広がっていて、扱うデータ数も多くなるが、位相差検出に有効なデータ（輝度の位相ずれが生じている部分のデータ）の比率は少ない。一方、図６（ｂ）は詳細エリア３０２の位相差用データＤＹａｉ６０３、ＤＹｂｉ６０４を取得したもので、位相差検出に有効なデータの比率は十分高く、十分な検出精度を得られるものとなる。このように、小デフォーカス時は、詳細エリア３０２のより高い解像度の位相差用データＤＹａｉ６０３、ＤＹｂｉ６０４を用いた方が、より精度の高い位相差検出を行うことができることが分かる。

図７は大デフォーカス時の状態を示すグラフであり、図７（ａ）は広範エリア３０３で、仮に、詳細な解像度（例えば、詳細エリア３０２と同様の解像度）で位相差用データＤＹａｉ７０１、ＤＹｂｉ７０２を取得した場合の位相差検出用のデータ列を示している。この場合、黒レベルのデータよりも広がった像全体を捉えていることがわかる。扱うデータ数が多くなるが、位相差検出に有効なデータの比率は多いので、検出精度は十分といえる。

また図７（ｂ）は、同じく広範エリア３０３を本発明の圧縮を施した1／５の量の位相差用データＤＹｓａｉ７０３、ＤＹｓｂｉ７０４を取得したものである。図７（ａ）と同様に、ボケにより広がった被写体像全体を捉え、更に位相差検出に有効なデータの比率は多い。図７（ａ）の場合に比べれば検出精度がやや落ちることも懸念される。しかしながら、フォーカスが大きくずれているため、検出後にレンズ駆動する時間がかかることにより、本結果に基づいてレンズを駆動しつつ、再度測距を行うことが可能なことが多い。そのため、この程度の大デフォーカスの場合に求められる検出精度はそれほど高い必要がないため、このような大デフォーカスの場合の焦点検出精度に関する要件を満たすことができる。また、本来大ボケすると光学系のけられ等により歪んだ信号となるので、もともと焦点検出精度が高い状況でない場合が多い。いずれにしても図７（ａ）のように細かい解像度を持ち、扱うデータを多量にしてデータ転送や処理負荷をかけるよりも、図７（ｂ）のような粗い解像度で位相差用データを算出し、必要精度で検出することでシステム負荷を大幅に軽減できる。

一方、図７（ｃ）は詳細エリア３０２においてより高い解像度で位相差用データを取得したものである。位相差用データＤＹａｉ７０５、ＤＹｂｉ７０６はチャートの一部しか捉えられず、この位相差用データＤＹａｉ７０５、ＤＹｂｉ７０６による相関演算等での像ズレ量の演算では精度のある検出ができない。よって本実施形態では大デフォーカス時の検出には広い範囲かつ粗い解像度、合焦近傍や小デフォーカス時には精度良く検出できるように、狭い範囲かつ詳細な解像度の位相差用データを用いる。

上述してきたように、設定された１つのＡＦ枠に対して得られた、範囲及び解像度の異なる２組の位相差用データは、図１の位相差検出用アクセラレータ回路１０３へと入力される。この位相差検出用アクセラレータ回路１０３においては、それぞれの位相差用データから、コントラスト状態を検出し、また、光学的な成分の補正をデジタル的に行い、また、電気的なノイズ成分を修復する各種補正処理を行う。それらの処理の結果得られる補正された位相差用データと、コントラスト評価値がメモリ１０８に格納される。そして、位相差用データをもとにＣＰＵ１０９は２像の相関演算処理を行い、デフォーカス状態を検出し、レンズ駆動回路１１０を介してレンズユニット１００のフォーカスレンズを駆動するフォーカス制御系が構成されている。

次に、このフォーカス制御系において、上述したようにして得られた２組の位相差用データを用いた焦点検出処理について、図８のフローチャートを参照して説明する。Ｓ１０１で撮像が行われると、詳細エリア３０２及び広範エリア３０３の２組の位相差用データＤＹａｉ、ＤＹｂｉ及びＤＹｓａｉ、ＤＹｓｂｉを得る。次のＳ１０２で詳細エリア３０２の位相差用データＤＹａｉ、ＤＹｂｉを用いてデフォーカス演算（焦点検出処理）を行い、Ｓ１０３ではデフォーカス演算のエラー判定を行う。Ｓ１０３におけるデフォーカス演算のエラー判定には、例えば、図７を用いて説明したように大デフォーカス状態でデフォーカス量（合焦状態）が検出しにくい場合を含む。また、被写体が相関演算が苦手とする繰り返しパターンであったり、低コントラストである場合などの被写体の特性に起因するエラー等も含まれる。次のＳ１０３において、デフォーカス量が問題なく検出できていればＳ１０６へ、逆にデフォーカス量の検出が失敗していると判断されると、Ｓ１０４へ移行する。

次のＳ１０４では広範エリア３０３の位相差用データＤＹｓａｉ、ＤＹｓｂｉを用いてデフォーカス演算（焦点検出処理）を行う。広い視野のデータを用いて広い範囲のデフォーカス演算を行うことで、被写体が低コントラストの場合や繰り返しパターンの場合でも、広範囲でみた場合にはデフォーカス量が検出可能な状況も発生する。また、先述したとおり大デフォーカス時には非常に有効なデフォーカス量の検出結果が得られる。

次のＳ１０５において、Ｓ１０４におけるデフォーカス量の検出結果、コントラストやその他の要因で検出ができなかった場合には、今回の位相差用データでの焦点検出処理はＮＧとなり、Ｓ１０１へ戻って別の位相差用データを得る。この場合、被写体を再撮像しても良いし、同じ画像の異なる位置にＡＦ枠を設定しても、両方を行ってもよい。

次のＳ１０６において、Ｓ１０３の詳細エリア３０２の検出結果、または、Ｓ１０５の広範エリア３０３の検出結果から、ほぼ合焦してると判断されれば、フォーカスレンズを駆動せずＳ１０１へと戻る。一方で合焦していない場合には、Ｓ１０７において得られたデフォーカス量に基づいてフォーカスレンズを駆動してからＳ１０１へ戻り、次の撮像結果による演算を再び行う。

上記の通り本第１の実施形態によれば、焦点検出に用いる画素領域と、その画素領域から得られる信号の解像度を調整することで、焦点検出の精度を保ちつつ、焦点検出に必要なデータ量を削減することができる。

＜第２の実施形態＞
次に、本発明の第２の実施形態における上述した２組の位相差用データを用いた別の焦点検出処理について、図９を参照して説明する。なお、カメラの構成は、第１の実施形態で図１及び図２を参照して説明したものと同様であるので、説明を省略する。

Ｓ２０１で撮像が行われると、詳細エリア３０２及び広範エリア３０３の２組の位相差用データＤＹａｉ、ＤＹｂｉ及びＤＹｓａｉ、ＤＹｓｂｉが得られる。次のＳ２０２で詳細エリア３０２の位相差用データＤＹａｉ、ＤＹｂｉのコントラスト状態を検出する。次のＳ２０３において、予め決められた閾値よりもコントラストが低い、低コントラストであると判断されると、Ｓ２０４において、広範エリア３０３の位相差用データＤＹｓａｉ、ＤＹｓｂｉを用いてデフォーカス演算（焦点検出処理）を行う。一方で、閾値以上のコントラストがあると判断されると、Ｓ２０５に移行して詳細エリア３０２の位相差用データＤＹａｉ、ＤＹｂｉを用いてデフォーカス演算を行う。

次のＳ２０６において、Ｓ２０４またはＳ２０５におけるデフォーカス演算が、コントラストやその他の要因でエラーとなった場合には、今回の位相差用データでの焦点検出処理はＮＧとなり、Ｓ２０１へ戻って別の位相差用データを得る。この場合、被写体を再撮像しても良いし、同じ画像の異なる位置にＡＦ枠を設定しても、両方を行ってもよい。

一方、問題なくデフォーカス量が検出できていれば、次のＳ２０７へ移行する。Ｓ２０７において、Ｓ２０４の詳細エリア３０２の検出結果、または、Ｓ２０５の広範エリア３０３の検出結果から、ほぼ合焦してると判断されれば、フォーカスレンズを駆動せずＳ２０１へと戻る。一方で合焦していない場合には、Ｓ２０８において得られたデフォーカス量に基づいてフォーカスレンズを駆動してからＳ２０１へ戻り、次の撮像結果による演算を再び行う。

上記の通り本第２の実施形態によれば、被写体が低コントラストの場合にも、焦点検出に用いる画素領域と、その画素領域から得られる信号の解像度を調整することで、焦点検出の精度を保ちつつ、焦点検出に必要なデータ量を削減することができる。

なお、上記第２の実施形態における焦点検出処理では、コントラストに応じて、詳細エリア３０２または広範エリア３０３のいずれか一方の位相差用データを用いて、焦点検出処理を行うものとして説明した。しかしながら、低コントラストではない場合に、Ｓ２０４の代わりに、第１の実施形態で説明した図８のＳ１０２からＳ１０４の処理を行うようにしてもよい。

また、第１及び第２の実施形態において上述してきた２組の位相差用データは、同一ラインから取得された信号から得られるものとして説明してきたが、ほぼ同等と思われる程度に微小に読み出すラインがずれる分には問題ない。また、光電変換部が２分割された画素を用いる例を示したが、図１０に示すような構成を有する焦点検出画素対を有する撮像センサであっても、本発明の２組の位相差用データの生成に関して同様の処理を行うことが可能である。図１０は撮像素子の一部画素を示す概略図であり、１ベイヤー単位の内、実線１０００で囲む対角の画素一対がそれぞれＡ領域１００１、Ｂ領域１００２となっており、このような対の画素を水平方向に展開した構成としてもよい。

更に、光電変換部が２分割された画素が、撮像素子の全面に配されている場合について説明したが、焦点検出用の画素を離散的に配置しても構わない。

＜第３の実施形態＞
次に、本発明の第３の実施形態における上述した２組の位相差用データを用いた別の焦点検出処理について、図１１〜１４を参照して説明する。なお、カメラの構成は、第１の実施形態で図１及び図２を参照して説明したものと同様であるので、説明を省略する。

上述した第１の実施形態では、位相差用データを取得する際に、分割像生成回路１０２によって詳細エリア３０２から高解像度のデータを取得するか、広範エリア３０３から低解像度のデータを取得するかを切り替える場合について説明した。これに対し、本第３の実施形態では、広範エリア３０３からデータを取得する際に、複数の解像度を切り替えることが可能な構成について説明する。なお、第１の実施形態〜第３の実施形態においては、撮像センサ１０１から信号を出力する際に解像度を変更するのではなく、分割像生成回路１０２によって解像度の異なるデータを取得している。これにより、撮像センサ１０１から出力された一定の解像度の信号を撮像信号処理回路１０４へ入力することで、解像度の保たれた撮像信号を得ることができる。また、焦点検出の際には、分割像生成回路１０２によってデータ量を適正化することができる。よって、焦点検出の処理負荷の軽減や、熱問題を回避することができる。

図１１は、本第３の実施形態における解像度を示す図である。ここでは、図４と同様に、図３（ｂ）に示す詳細エリア３０２のうち、丸点線で囲んだ一部の領域３０４を拡大したものを示している。図１１（ａ）は撮像素子２００の画素単位での構成を示している。また図１１（ｂ）〜（ｅ）には４種類の異なる解像度を模式的に示している。

詳細エリア３０２から得られる信号の解像度は合焦検出に必要な解像度として、十分な高解像度であることが望ましい。そのため、図１１（ｂ）に示すように、Ｇ、Ｂ、Ｇ、Ｒから成る、最小単位の１ベイヤー単位（ブロック２０１毎）で、Ａ領域、Ｂ領域からの信号をそれぞれ上述したように加算平均することで輝度信号に変換し、位相差用データＤＹａｉ、ＤＹｂｉを生成する。また、広範エリア３０３からは、大デフォーカスを検出可能な程度の解像度として、図１１（ｃ）〜図４（ｅ）に示すように、複数ベイヤー単位で、Ａ領域、Ｂ領域からの信号を別々に加算平均することで輝度信号に変換し、位相差用データＤＹｎａｉ、ＤＹｎｂｉを生成する。本第３の実施形態では、広範エリア３０３からの信号読み出し時には、２ベイヤー単位（図１１（ｃ））、３ベイヤー単位（図１１（ｄ））、５ベイヤー単位（図１１（ｅ））のいずれかを解像度として選択する。

次に、本第３の実施形態における焦点検出処理について、図１２のフローチャートを参照して説明する。

処理が開始されると、Ｓ３０１において、初期状態として、焦点検出視野として詳細エリア３０２、解像度として図１１（ｂ）に示す解像度の組み合わせを設定する。次にＳ３０２において、設定された焦点検出視野及び解像度で位相差用データ（初期状態では位相差用データＤＹａｉ、ＤＹｂｉ）を得て、デフォーカス演算（焦点検出処理）を行う。そして、Ｓ３０３において、デフォーカス演算により得られたデフォーカス量の信頼性判断を行う。ここでの信頼性判断では位相差用データの一致度やコントラスト状態から判断し、検出したデフォーカス量を使用しても問題ない程度に、予め決められた基準よりも信頼性が高いか、または低いかを判断する。

予め決められた基準よりも信頼性が低いと判断された場合にはＳ３０４へ移行し、ＮＧの連続回数を数えるＮＧカウンタを１増加させると共に、ＯＫの場合の連続回数を数えるためのＯＫカウンタを０にクリアする。なお、上述の動作では、予め決められた基準よりも信頼性が低いと判断された場合は、焦点検出ができなかった（検出ＮＧ）としている。また、予め決められた基準よりも信頼性が高いと判断された場合には、焦点検出ができた（検出ＯＫ）としている。次のＳ３０５ではＮＧカウンタの値と閾値ｔｈ２とを比較する。ＮＧの連続回数がｔｈ２未満の場合には、設定を変更せずにＳ３０２へ戻る。

一方、ＮＧの連続回数が閾値ｔｈ２以上の場合にはＳ３０６へ移行して、現在の設定よりも、次に広い範囲及び／または低い解像度となるように、焦点検出視野及び解像度の組み合わせを変更し、Ｓ３０２に戻る。例えば、現在、詳細エリア３０２及び１ベイヤー単位の解像度が設定中であれば、広範エリア３０３及び２ベイヤー単位の解像度に変更する。また、現在、広範エリア３０３及び２ベイヤー単位の解像度が設定中であれば、焦点検出視野を広げることはできないので、解像度を３ベイヤー単位に変更する。ただし、現在設定中の焦点検出視野及び解像度が、最大の範囲及び最低の解像度である場合には、これ以上の変更をすることができないので、現在の設定を保持する。なお、閾値ｔｈ２は１以上の整数から操作性、効率等を鑑みて、適宜選択すればよい。ここで、１を選択した場合には、常にＳ３０６の処理を行うことになり、２以上を選択した場合には、複数回連続して信頼性が十分でないと判断された場合にＳ３０６の処理を行うことになる。

一方、Ｓ３０３において、信頼性が予め決められた基準以上で、信頼性が十分（検出ＯＫ）と判断された場合にはＳ３０７へ移行し、ＯＫカウンタを１増加させると共に、ＮＧカウンタを０にクリアする。次のＳ３０８では、ＯＫカウンタと閾値ｔｈ１とを比較する。ＯＫの連続回数が閾値ｔｈ１以上の場合にはＳ３０９に進み、現在の設定よりも、次に狭い範囲及び／または高い解像度となるように、焦点検出視野及び解像度の組み合わせを変更し、Ｓ３１０に進む。例えば、現在、広範エリア３０３及び３ベイヤー単位の解像度が設定中であれば、広範エリア３０３及び２ベイヤー単位の解像度に変更する。また、現在、広範エリア３０３及び２ベイヤー単位の解像度が設定中であれば、詳細エリア３０２及び１ベイヤー単位の解像度に変更する。ただし、現在設定中の焦点検出視野及び解像度が、最小の範囲及び最高の解像度である場合には、これ以上の変更をすることができないので、現在の設定を保持する。なお、後述するように、焦点検出視野の広さの下限及び解像度の上限が決められている場合は、決められた限界を越えないように制御する。一方、Ｓ３０８でＯＫの連続回数が閾値ｔｈ１未満の場合には、設定を変更せずにＳ３１０へ移行する。Ｓ３１０では、検出したデフォーカス量に応じたフォーカスレンズ駆動を行う。なお、閾値ｔｈ１は１以上の整数から操作性、効率等を鑑みて、適宜選択すればよい。ここで、１を選択した場合には、常にＳ３０９の処理を行うことになり、２以上を選択した場合には、複数回連続して信頼性が十分であると判断された場合にＳ３０９の処理を行うことになる。

上述の処理により、デフォーカス演算により得られたデフォーカス量の信頼性が高い場合には、フォーカスレンズは合焦方向へ動くので、より狭い範囲から高い分解能で焦点検出用のデータを取得することができる。一方、デフォーカス量の信頼性が低い場合には、より広い範囲から低い分解能で焦点検出用のデータを取得することができる。これにより、図５〜図７で示した各状態に対応していくことが可能となる。

なお、上述した例では、焦点検出視野を詳細エリア３０２と広範エリア３０３の２種類、また、解像度を図１１に示す４種類としたが、本発明はこれに限るものではない。例えば、詳細エリア３０２と広範エリア３０３の中間の広さを有する中間エリアを設けたり、解像度の種類を増減しても良い。

また、図１２では、Ｓ３０１で設定する初期状態として、詳細エリア３０２から１ベイヤー単位の解像度で読み出すものとしたが、本発明はこれに限るものではなく、適宜決めればよい。

次に、図１２のＳ３０９で用いられる焦点検出視野の広さの下限及び解像度の上限について説明する。図１３はレンズＦ値（絞り値）と焦点検出視野及び解像度との関係について示す図、図１４は合焦度と焦点検出視野及び解像度との関係について示す図である。図１３では横軸はＦ値、図１４では横軸は合焦状態を示し、図１３及び図１４共に、縦軸は、焦点検出視野及び解像度の値を示し、上に行く程、焦点検出視野は広く、解像度は高くなる。また、焦点検出視野は点線を用いて示し、解像度については実線を用いて示している。

図１３に示すように、開放時には、解像度はやや低くても検出精度が高いので、小絞り時に比べてやや落とすことが可能である。すなわち、開放時には、１ベイヤー単位までの解像度は必要なく、２ベイヤー単位でも十分に合焦判断ができる場合もある。従って、このような関係に基づいて、上述した解像度の上限、焦点検出視野の広さの下限を規定しておく。また、図１４に示すように、合焦に近づく程、解像度を高くし、焦点検出視野を狭くすることで、焦点検出処理の精度の確保と焦点検出処理に必要な位相差用データのデータ量の適正化を図ることができる。

例えば、Ｆ2.8の開放寄りの場合には、図１３に示すように、焦点検出視野の広さの下限は広く、解像度の上限は低い。従って、焦点検出処理に使用する焦点検出視野の広さの下限及び解像度の上限として、広範エリア３０３及び図１１（ｄ）の解像度を設定する。この場合、デフォーカス量の信頼度のＮＧ、ＯＫに応じて、広範エリア３０３及び、図１１（ｄ）または図１１（ｅ）のいずれかが設定される。なお、図１１には記載していないが、さらに低解像度の設定を設けても良い。また、Ｆ16の小絞り時には、図１３に示すように、焦点検出視野の広さの下限は狭く、解像度の上限は高い。従って、焦点検出処理に使用する焦点検出視野の広さの下限及び解像度の上限として、詳細エリア３０２及び図１１（ｂ）の解像度を設定する。この場合、デフォーカス量の信頼度のＮＧ、ＯＫに応じて、詳細エリア３０２または広範エリア３０３、及び、図１１（ｂ）〜図１１（ｅ）の状態の範囲で変更される。

また、合焦度に応じて上限を変更する場合には、Ｆ2.8の開放寄りの場合であれば、上述したように解像度の上限を図１１（ｄ）としている場合でも、さらに一段高い解像度の図１１（ｃ）に変更する。即ち、図１３に示す値と、図１４に示す値とを積算することにより得られる値により、焦点検出視野の広さの下限及び解像度の上限を設定する。

上記のように、焦点検出視野の広さの下限及び解像度の上限を設定しておくことで、焦点検出処理に必要な位相差用データのデータ量のより一層の適正化を図ることができる。

Claims

撮像光学系を通過した光束を光電変換する画素を複数有し、視差を有する一対の信号を出力することが可能な撮像手段から、前記一対の信号を取得する取得手段と、
予め決められた焦点検出領域に対応する、前記撮像手段の第１の領域に含まれる複数の前記画素から出力される一対の信号から、異なる色に対応する信号を加算して第１の解像度の第１の輝度信号対を生成するとともに、前記予め決められた焦点検出領域に対応する、前記第１の領域よりも広い第２の領域に含まれる前記画素から出力される一対の信号から、前記第１の輝度信号対の生成に用いた信号数よりも多い数の信号を加算して前記第１の解像度よりも低い第２の解像度の第２の輝度信号対を生成する生成手段と、
前記第１の輝度信号対及び前記第２の輝度信号対を用いて、位相差方式の焦点検出処理を行う焦点検出手段と、
前記第１の輝度信号対に基づく焦点検出処理の信頼性を評価する評価手段と、を有し、
前記焦点検出手段は、前記評価手段の評価の結果に基づいて前記第１の輝度信号対および前記第２の輝度信号対のいずれか一方を用いて前記焦点検出処理を行うことを特徴とする焦点検出装置。
前記第１の領域の中心と、前記第２の領域の中心とが同じであることを特徴とする請求項１に記載の焦点検出装置。
前記焦点検出手段は、前記第１の輝度信号対を用いて焦点検出処理を行い、前記評価手段の評価の結果、前記信頼性が予め決められた基準よりも低い場合に、前記第２の輝度信号対を用いて前記焦点検出処理を行うことを特徴とする請求項１または２に記載の焦点検出装置。
前記評価手段は、前記信頼性を前記第１の輝度信号対のコントラストにより評価し、
前記焦点検出手段は、前記第１の輝度信号対のコントラストが予め決められた閾値よりも低い場合に、前記第１の輝度信号対を用いずに、前記第２の輝度信号対を用いて前記焦点検出処理を行い、前記コントラストが前記閾値以上の場合に、前記第１の輝度信号対を用いて前記焦点検出処理を行うことを特徴とする請求項１乃至３のいずれか１項に記載の焦点検出装置。
前記第２の輝度信号対の前記第２の解像度は、前記第１の輝度信号対の前記第１の解像度よりも前記位相差方式の焦点検出を行う方向において低いことを特徴とする請求項１乃至４のいずれか１項に記載の焦点検出装置。
前記異なる色は、赤、緑、青の色を含むことを特徴とする請求項１乃至５のいずれか１項に記載の焦点検出装置。
前記生成手段は前記焦点検出手段による焦点検出ができない場合には、前記予め決められた焦点検出領域を変更することを特徴とする請求項１乃至６のいずれか１項に記載の焦点検出装置。
撮像光学系を通過した光束を光電変換する画素を複数有し、視差を有する一対の信号を出力することが可能な撮像手段から、前記一対の信号を取得する取得手段と、
予め決められた焦点検出領域に対応する、前記撮像手段の第１の領域に含まれる複数の前記画素から出力される一対の信号から、異なる色に対応する信号を加算して第１の解像度の第１の輝度信号対と、前記予め決められた焦点検出領域に対応する、前記第１の領域よりも広い第２の領域に含まれる前記画素から出力される一対の信号から、前記第１の輝度信号対の生成に用いた信号数よりも多い数の信号を加算して前記第１の解像度よりも低い第２の解像度の第２の輝度信号対と、前記第２の領域よりも狭い第３の領域に含まれる前記画素から出力される一対の信号から、前記第１の輝度信号対の生成に用いた信号数よりも少ない数の信号を加算して前記第１の解像度よりも高い第３の解像度の第３の輝度信号対とを生成する生成手段と、
前記第１の輝度信号対乃至前記第３の輝度信号対を用いて、位相差方式の焦点検出処理を行う焦点検出手段と、
前記第１の輝度信号対に基づく焦点検出処理の信頼性を評価する評価手段と、を有し、
前記焦点検出手段は、前記評価手段による評価の結果、前記信頼性が予め決められた基準以上である場合に、前記第１の解像度より高い第３の解像度の前記第３の輝度信号対を用い、前記信頼性が前記予め決められた基準より低い場合に、前記第１の解像度より低い第２の解像度の前記第２の輝度信号対を用いることを特徴とする焦点検出装置。
前記焦点検出手段は、前記評価手段による評価の結果、前記信頼性が前記予め決められた基準以上である場合であっても、前記第１の解像度が予め決められた上限の解像度である場合には、前記第３の輝度信号対を選択しないことを特徴とする請求項８に記載の焦点検出装置。
前記焦点検出手段は、絞り及び合焦状態に基づいて、解像度の上限を設定することを特徴とする請求項９に記載の焦点検出装置。
前記焦点検出手段は、前記評価手段による評価の結果、複数回連続して前記信頼性が前記予め決められた基準以上である場合、及び、複数回連続して前記信頼性が前記予め決められた基準より低い場合に、前記第１の輝度信号対または前記第３の輝度信号対をそれぞれ選択することを特徴とする請求項８に記載の焦点検出装置。
前記焦点検出手段は、前記評価手段による評価の結果、前記信頼性が前記予め決められた基準より低い場合であっても、前記第１の解像度が予め決められた下限の解像度である場合には、前記第２の輝度信号対を選択しないことを特徴とする請求項８乃至１０のいずれか１項に記載の焦点検出装置。
前記撮像手段と、
請求項１乃至１２のいずれか１項に記載の焦点検出装置とを有することを特徴とする撮像装置。
前記撮像手段において、前記画素の少なくとも一部は、それぞれ複数の光電変換部とマイクロレンズとを有し、
前記複数の光電変換部は１つの前記マイクロレンズを共有していることを特徴とする請求項１３に記載の撮像装置。
前記撮像手段は、異なる画素からの信号を対として前記一対の信号を出力することを特徴とする請求項１３に記載の撮像装置。
フォーカスレンズを含む前記撮像光学系を更に有することを特徴とする請求項１３乃至１５のいずれか１項に記載の撮像装置。
取得手段が、撮像光学系を通過した光束を光電変換する複数の画素を有し、視差を有する一対の信号を出力することが可能な撮像手段から、前記一対の信号を取得する取得工程と、
生成手段が、予め決められた焦点検出領域に対応する、前記撮像手段の第１の領域に含まれる前記画素から出力される一対の信号から、異なる色に対応する信号を加算して第１の解像度の第１の輝度信号対を生成する第１の生成工程と、
前記生成手段が、前記予め決められた焦点検出領域に対応する、前記第１の領域よりも広い第２の領域に含まれる前記画素から出力される一対の信号から、前記第１の輝度信号対の生成に用いた信号数よりも多い数の信号を加算して前記第１の解像度よりも低い第２の解像度の第２の輝度信号対を生成する第２の生成工程と、
焦点検出手段が、前記第１の輝度信号対及び前記第２の輝度信号対を用いて、位相差方式の焦点検出処理を行う焦点検出工程と、
評価手段が、前記第１の輝度信号対に基づく焦点検出処理の信頼性を評価する評価工程と、を有し、
前記焦点検出工程では、前記評価工程の評価結果に基づいて前記第１の輝度信号対および前記第２の輝度信号対のいずれか一方を用いて前記焦点検出処理を行うことを特徴とする焦点検出方法。
取得手段が、撮像光学系を通過した光束を光電変換する画素を複数有し、視差を有する一対の信号を出力することが可能な撮像手段から、前記一対の信号を取得する取得工程と、
生成手段が、予め決められた焦点検出領域に対応する、前記撮像手段の第１の領域に含まれる複数の前記画素から出力される一対の信号から、異なる色に対応する信号を加算して第１の解像度の第１の輝度信号対を生成する第１の生成工程と、
前記生成手段が、前記予め決められた焦点検出領域に対応する、前記第１の領域よりも広い第２の領域に含まれる前記画素から出力される一対の信号から、前記第１の輝度信号対の生成に用いた信号数よりも多い数の信号を加算して前記第１の解像度よりも低い第２の解像度の第２の輝度信号対を生成する第２の生成工程と、
前記生成手段が、前記第２の領域よりも狭い第３の領域に含まれる前記画素から出力される一対の信号から、前記第１の輝度信号対の生成に用いた信号数よりも少ない数の信号を加算して前記第１の解像度よりも高い第３の解像度の第３の輝度信号対を生成する第３の生成工程と、
焦点検出手段が、前記第１の輝度信号対乃至前記第３の輝度信号対を用いて、位相差方式の焦点検出処理を行う焦点検出工程と、
評価手段が、前記第１の輝度信号対に基づく焦点検出処理の信頼性を評価する評価工程と、を有し、
前記焦点検出工程では、前記評価工程の評価の結果、前記信頼性が予め決められた基準以上である場合に、前記第１の解像度より高い第３の解像度の前記第３の輝度信号対を用い、前記信頼性が前記予め決められた基準より低い場合に、前記第１の解像度より低い第２の解像度の前記第２の輝度信号対を用いることを特徴とする焦点検出方法。