JP6808420B2

JP6808420B2 - 撮像素子および撮像装置

Info

Publication number: JP6808420B2
Application number: JP2016188328A
Authority: JP
Inventors: 博之古用
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2016-09-27
Filing date: 2016-09-27
Publication date: 2021-01-06
Anticipated expiration: 2036-09-27
Also published as: JP2018056703A; US20200014840A1; US11356595B2; US20180091726A1; US10447915B2; US11843859B2; US20220256093A1

Description

本発明は、撮像素子および撮像装置に関するものである。

近年、デジタルカメラやスマートフォンなどの撮像装置が一般に普及している。これらの撮像装置には、被写体のピント（レンズのフォーカス位置）を自動的に合わせるオートフォーカス（ＡＦ）機能が搭載され、使用者は自らフォーカスを調節することなく、カメラ任せで撮影可能である。

また、デジタルカメラやスマートフォンなどでは、被写体を撮影するための撮像素子の撮像面に瞳分割された位相差画素を設け、位相差画素の出力データに基づいて位相差ＡＦを行う撮像面位相差ＡＦが採用されている機種も登場している。

位相差ＡＦとは、ピントが正しく合っていると結像位置の異なる２つの像の位置が一定になるという考え方に基づくＡＦ方式である。すなわち、ピントが合っているときはこの２つの像の間隔は一定であるため、２つの像の間隔を表す位相差情報からピントが合うレンズ位置が現在のレンズの位置からどれだけ離れているかを表すデフォーカス量を算出する。そして、算出されたデフォーカス量に基づいてフォーカスレンズをフォーカス位置に移動させることでピントを合わせるものである。

このような位相差ＡＦによれば、デフォーカス量が１フレームの画像データから求まるため、被写体のピントを合わせるのに必要な時間が非常に短くなり、高速にピント合わせを行うことができる。さらに、特許文献１では、撮像面位相差ＡＦの相関演算を行う機能を搭載した撮像素子が提案されている。

特開２０１６−９０４３号公報

しかしながら、ＡＦ演算精度や信頼性を向上させるために撮像面位相差ＡＦに使用する位相差画素を増加させた場合、デフォーカス量の演算処理に時間が掛かるという問題がある。

本発明の目的は、位相差画素の増加に伴い演算時間が延びた場合でも、位相差ＡＦの演算精度や信頼性を確保しながら、露光からフォーカス制御までの時間を短縮することのできる撮像素子およびそれを用いた撮像装置を提供することである。

本発明は、上記課題を解決するためになされたものであり、本発明に係る撮像素子は、光学的に結像された被写体像を画像信号に変換する複数の単位画素が行列状に配列された画素部と、前記画像信号に基づいて位相差検出を行うことにより第１の焦点検出データを生成する第１の焦点検出手段と、前記画像信号に基づいて前記第１の焦点検出手段よりも詳細な位相差検出を行うことにより第２の焦点検出データを生成する第２の焦点検出手段と、前記第２の焦点検出データを前記画像信号に基づく撮影画像データの前に付加するとともに、前記第１の焦点検出データを前記撮影画像データの後に付加して出力する出力手段と、を有することを特徴とする。
また、光学的に結像された被写体像を画像信号に変換する複数の単位画素が行列状に配列された画素部と、前記画像信号に基づいて位相差検出を行うことにより第１の焦点検出データを生成する第１の焦点検出手段と、前記画像信号に基づいて前記第１の焦点検出手段よりも詳細な位相差検出を行うことにより第２の焦点検出データを生成する第２の焦点検出手段と、前記第１の焦点検出データを前記画像信号に基づく撮影画像データの前に付加するとともに、前記第２の焦点検出データを前記撮影画像データの後に付加して出力する出力手段と、を有することを特徴とする。

本発明によれば、撮像面位相差ＡＦの演算精度や信頼性を確保しながら、露光からフォーカス制御までの時間を短縮することができる。

実施例における撮像システムのシステム概要図。実施例における撮像素子の概略構造図。実施例における撮像素子の外形構成図。実施例における撮像素子の断面図。実施例における撮像素子の画素配列図。実施例における焦点検出用信号を示した図。実施例における撮像素子の概略図。実施例におけるフローチャート図。実施例１における撮像処理のタイミングを示す図。実施例１における画像情報の読み出しイメージ図。比較例における撮像処理のタイミングを示す図。実施例におけるＡＦ枠を示す図。実施例２における撮像処理のタイミングを示す図。実施例２における画像情報の読み出しイメージ図。

（実施例１）
図１は、本発明の実施例１における撮像装置を構成する撮像システムの概要を示したものである。

図１において、全体制御演算部５０９は、撮像システム全体の制御と各種演算処理を行う。レンズ部５０１は、レンズ駆動部５０２によってズーム、フォーカス等の駆動制御が行われる。メカニカルシャッタ（メカシャッタ）５０３、絞り５０４は、メカニカルシャッタ・絞り駆動部（シャッタ・絞り駆動部）５０５によって駆動制御される。

レンズ部５０１を通った被写体像は絞り５０４にて適切な光量に調整され、撮像素子５０６の撮像面上に光学的に結像される。撮像素子５０６の詳細な構成については、後述する。撮像素子５０６の撮像面上に結合した被写体像は画像信号に変換されて、さらにゲイン調整、アナログ信号からデジタル信号へのＡ／Ｄ変換が行われる。そして、撮像素子５０６からは、Ｒ、Ｇｒ、Ｇｂ、Ｂの各色のデジタル画像信号として撮像信号処理回路５０７に出力される。

撮像信号処理回路５０７では、受け取った各色のデジタル画像信号に対し、ノイズを軽減するローパスフィルタ処理やシェーディング補正処理、ホワイトバランス（ＷＢ）処理などの各種の撮像信号処理、各種補正処理、さらに画像信号の圧縮処理等を行う。

メモリ部５０８は、画像信号を一時的に記憶する。記録媒体５１２は、半導体メモリ等で構成された着脱可能な記憶媒体である。記録媒体制御インターフェース部（記録媒体制御Ｉ／Ｆ部）５１０は、記録媒体５１２に画像データを記録し、または記録媒体５１２に記録されている画像データの読み出しを行う。表示部５１１は、画像データの表示を行う。

外部インターフェース部（外部Ｉ／Ｆ部）５１３は、外部コンピュータ等と通信を行うためのインターフェースである。メモリ部１４は、全体制御演算部５０９での演算結果等を記憶する。操作部５１５によりユーザが設定した撮像システムの駆動条件に関する情報は、全体制御演算部５０９に送られ、これらの情報に基づいて撮像システム全体の制御が行われる。

図２は、実施例１における撮像素子の概略をブロック図として示したものである。撮像素子５０６は、図１の全体制御演算部５０９により制御される。図２において、撮像素子５０６は、第１の半導体チップ（撮像層）１０および第２の半導体チップ（回路層）１１を有しており、第１の半導体チップ１０と第２の半導体チップ１１とは互いに積層されている。第１の半導体チップ１０には、マトリクス状（行列状）に配列された複数の単位画素１０１が形成されている。第１の半導体チップ１０は光入射側、すなわち、光学像の受光側に配置される。

第１の半導体チップ１０において、画素部にマトリクス状に配列された複数の単位画素１０１は、行ごとに同じ転送信号線１０３、リセット信号線１０４、および行選択信号線１０５と接続される。また、複数の単位画素１０１は、列ごとに読み出し行単位で異なる垂直出力線１０２に接続される。

第２の半導体チップ１１には、列ＡＤＣブロック１１１、行走査回路１１２、列走査回路１１３、タイミング制御回路１１４等の画素駆動回路、フレームメモリ１１７、演算部１１８、パラレル・シリアル変換部（Ｐ／Ｓ変換部）１１９などが形成されている。

このように、第１の半導体チップ１０に複数の単位画素１０１を形成し、第２の半導体チップ１１に画素駆動回路やメモリ回路や演算回路等を形成することで、撮像素子５０６の撮像層と回路層とで製造プロセスを分けることができる。そして、回路層における配線の細線化、高密度化による高速化、小型化、および高機能化を図ることが可能となる。

第２の半導体チップにおいて、スイッチ１１６は、チャンネル毎の水平信号線１１５−ａ、１１５−ｂに出力される画像信号を順次フレームメモリ１１７へ選択的に入力する。フレームメモリ１１７は、スイッチ１１６により入力された画像信号を一時的に記憶する。演算部１１８は、フレームメモリ１１７に記憶された画像信号に対する各種演算処理や後述するＡＦ演算処理などを行う。ＡＦ演算結果は、必要に応じてフレームメモリ１１７に一時的に記憶される。

ここで、撮像素子から出力される画像信号を用いたＡＦ方式としては、コントラストＡＦ方式と撮像面位相差ＡＦ方式がある。コントラストＡＦは、ピントが正しく合っている画像であればコントラスト値が高くなるという考え方に基づくＡＦ方式である。すなわち、フォーカスレンズを動かしながら撮像素子から得られる画像データのコントラスト情報を逐次解析し、被写体のコントラスト（明暗差）の変化の傾向からコントラストが大きくなるフォーカス位置を探してピントを合わせるものである。

フォーカスレンズを動かしながら画像データの輝度変化を解析する必要があるため、位相差ＡＦ方式に比べて、焦点検出に時間がかかるというデメリットがある。

また、撮像面位相差ＡＦは、撮像素子に瞳分割された位相差検出用画素を設け、位相差検出用画素から読み出した瞳分割された２つの画像の相対的な像ずれ量を相関演算により検出することで、デフォーカス量を検出することができる。このような撮像面位相差ＡＦを行うためには、上述したように撮像素子に位相差検出用画素を設ける必要がある。コントラストＡＦ、撮像面位相差ＡＦには、それぞれメリット・デメリットが存在する。本実施例の撮像システムでは、その両方の要素を備え、コントラストＡＦ方式と撮像面位相差ＡＦ方式を組み合わせた「ハイブリッド・オートフォーカス」を採用している。

演算部１１８で処理されフレームメモリ１１７に記憶されている画像情報とＡＦ演算結果は、タイミング制御回路１１４により制御されるタイミングでＰ／Ｓ変換部１１９によりパラレル・シリアル変換を行われる。そして、撮像素子５０６の外部にある撮像信号処理回路５０７へと出力される。

図３は、図１で示した撮像素子５０６の外形図である。図３（ａ）は、撮像素子５０６を光の入射する側の斜め上から見た図、図３（ｂ）は撮像素子５０６の断面図を示している。撮像素子５０６は、図２で示した第１の半導体チップ１０と第２の半導体チップ１１により構成される。第１の半導体チップ１０と第２の半導体チップ１１は互いに積層された積層構造となっており、それぞれに設けられている複数のマイクロパッド３０２を、複数のマイクロバンプ３０１を介して電気的に接続して一体化されている。

図４は、撮像素子５０６の断面構造の詳細を示す図である。

第１の半導体チップ（撮像層）１０では、Ｓｉ基板４０３上に配線層４０４が形成されている。Ｓｉ基板４０３には、フォトダイオード（ＰＤ）２０２としてのｎ型拡散領域４０７が形成され、ＰＤ２０２の表面部（配線層４０４との境界部）にはｐ＋拡散領域４０８が形成されている。さらに、Ｓｉ基板４０３の表面部には、フローティングディフュージョン（ＦＤ）となるｎ＋拡散領域４０９、スイッチ用トランジスタのｎ＋拡散領域４１０が複数形成されている。

また、配線層４０４には、ＳｉＯ２等の絶縁層内に各トランジスタのゲート配線４１１、信号伝搬用配線４１２が形成され、さらにその表面部にはＣｕ等からなるマイクロパッド４１３が形成されている。ｎ＋拡散領域４０９、４１０とトランジスタのゲート配線４１１から転送トランジスタ２０２、リセットトランジスタ２０３、増幅トランジスタ２０４、選択トランジスタ２０５がそれぞれ構成される。さらに、ｎ＋拡散領域４１０をマイクロパッド４１３と接続するためのビア（ＶＩＡ）４１４が形成されている。

第２の半導体チップ（回路層）１１では、Ｓｉ基板４０５上に配線層４０６が形成されている。Ｓｉ基板４０５には、表面部にトランジスタの拡散領域４１６が複数形成されている。

また、配線層４０６には、ＳｉＯ２等の絶縁層内に各トランジスタのゲート配線４１７、信号伝搬用配線４１８が形成され、さらにその表面部にはＣｕ等からなるマイクロパッド４１９が形成されている。そして、トランジスタ拡散領域４１６やトランジスタのゲート配線４１７、信号伝搬用配線４１８などから各種回路が構成される。なお、回路断面の詳細は本発明の本質ではないため、ここでは説明を省略する。さらに、拡散領域４１６等をマイクロパッド４１９と接続するためのビア（ＶＩＡ）４２０が形成されている。

なお、図４では、第１の半導体チップ（撮像層）１０、第２の半導体チップ（回路層）１１を積層接続端子としてマイクロバンプ４１５を用いて接続する構成例を示したが、マイクロバンプを用いずに直接接続することも可能である。

図５は、実施例１における撮像素子５０６の画素配列を模式的に示した図である。各単位画素に設けられるカラーフィルタの配列にはベイヤー配列が適用され、奇数行の画素には、左から順に赤（ＲＥＤ）と緑（ＧＲＥＥＮ）のカラーフィルタが交互に設けられる。また、偶数行の画素には、左から順に緑（ＧＲＥＥＮ）と青（ＢＬＵＥ）のカラーフィルタが交互に設けられる。

また、各画素において、オンチップマイクロレンズ２０１がカラーフィルタの上に構成されている。オンチップマイクロレンズ２０１の内側に配置された複数の矩形は、それぞれ瞳分割されたＡ画素１０１ａ、Ｂ画素１０１ｂを示している。Ａ画素１０１ａから読み出したＡ画素画像とＢ画素１０１ｂから読み出したＢ画素画像の相対的な像ずれ量を相関演算により検出することで、所定領域のデフォーカス量を検出することができる。なお、Ａ画素画像信号とＢ画素画像信号を加算処理することにより、表示・記録用画像として使用することもできる。

図６は、実施例１において、演算部１１８へ送られる焦点検出用画像であるＡ像で形成されるＡ画素画像信号（Ａ像信号）６０１ａおよび焦点検出用画像であるＢ像で形成されるＢ画素画像信号（Ｂ像信号）６０１ｂからなる焦点検出用信号を示した図である。図６において、横軸は連結された信号の画素並び方向を示し、縦軸は信号の強度を示している。

図６では、レンズ５０１が撮像素子５０６に対してデフォーカスした状態であるため、Ａ像信号６０１ａは左側に、Ｂ像信号６０１ｂは右側にずれた状態となっている。このＡ像、Ｂ像のずれ量（位相差）を演算部１１８で算出する相関演算を行うことにより、レンズ５０１がどれだけデフォーカスしているかを表すデフォーカス量を検出することができる。Ａ像、Ｂ像の一致の程度を表す量として、式（１）を用いることができる。

ここで、ａはＡ像信号の信号強度レベル、ｂはＢ像信号の信号強度レベルである。式（１）は、２像の一致が大きいほど小さくなり、合焦時に最小となる。さらに、Ｂ像に対してＡ像を相対的にｐ画素シフトしてＵの値を計算し、それをＰとする。

２つの画像が合焦するシフト量でＰは最小となり、シフト量からどの程度合焦位置からずれているかを示すデフォーカス量を算出する。また、Ａ像、Ｂ像はデフォーカス量が０となった場合（合焦した場合）、完全に一致するはずだが、Ａ像、Ｂ像に違いがある場合、撮像面位相差ＡＦの精度が低下してしまう。

そこで２つの像の共通領域の面積を相関値として求め、求めた相関値に応じて信頼性を判断する。相関値が大きければ信頼性は高いと判断し、相関値が小さければ信頼性は低いと判断する。すなわち演算部１１８では、撮像面位相差ＡＦの演算を行うとともに、演算結果の信頼性を判断する。

演算部１１８では、さらにコントラストＡＦの演算も行う。コントラストＡＦは、上述したように、被写体のコントラスト（明暗差）が大きいところが合焦位置であると判断する方式である。そして、Ａ画素画像信号とＢ画素画像信号を加算処理することで得られる加算画像情報に対するコントラストを検出する。

コントラストの検出方法は、撮像画面を複数のブロックに分割した各ブロックにおいて、画像情報に対して画素間の輝度変化が大きくなるほど数値が大きくなるようにハイパスフィルタをかける。ハイパスフィルタによって算出された信号値を積算して画素間の輝度値の差の絶対値の和（ＳＡＤ値）を求めることにより、そのブロックのコントラスト値を算出することができる。なお、コントラストの検出方法は、他の公知の方法を用いてもかまわない。

図７は、図２に示した撮像素子５０６内の単位画素１０１、演算部１１８およびフレームメモリ１１７と、撮像信号処理回路５０７のみを示した概略構成図である。

演算部１１８において、加算処理部１１０２は、単位画素１０１の各々から出力されるＡ像信号とＢ像信号の加算処理を行うことで（Ａ＋Ｂ）像信号を生成する。コントラストＡＦ演算処理部１１００は、（Ａ＋Ｂ）像信号を用いて第３の焦点検出方式であるコントラストＡＦ演算処理を行いフレームメモリ１１７へ保存する。

並行して、簡易位相差ＡＦ演算処理部１１０３は、第１の焦点検出方式である簡易位相差ＡＦの演算処理を行い、さらに信頼性判定部１１０４において、簡易位相差ＡＦの演算結果（第１の焦点検出データ）の信頼性を判定する。そして簡易位相差ＡＦの演算結果とその信頼性判定結果をフレームメモリ１１７へ保存する。単位画素１０１の画像情報である（Ａ＋Ｂ）像信号をフレームメモリ１１７へ保存する。

信頼性判定部１０４による簡易位相差ＡＦの演算結果の信頼性判定で信頼性が低いと判断された場合には、フレームメモリ１１７からＡ像信号とＢ像信号を読み出す。そして、詳細位相差ＡＦ演算処理部１１０１において第２の焦点検出方式である詳細位相差ＡＦの演算処理を行う。信頼性判定部１１１４において、詳細位相差ＡＦの演算結果（第２の焦点検出データ）の信頼性を判定する。そして、詳細位相差ＡＦの演算結果とその信頼性判定結果をフレームメモリ１１７へ保存する。その後、フレームメモリ１１７に保存されたＡＦ演算結果が演算部１１８の外部に出力される。

なお、全体制御演算部５０９から撮像面位相差ＡＦ演算を全画素で行う指示があった場合には、簡易位相差ＡＦや詳細位相差ＡＦの演算結果の信頼性判定を行わず、全画素で位相差ＡＦ演算を行う。そして、次のフレームの画像情報の最後に位相差ＡＦ演算結果を付加して出力する。このように制御することにより、露光からのタイムラグは短縮されないが、撮像面位相差ＡＦの演算精度や信頼性を高くすることが可能である。また、全画素で撮像面位相差ＡＦ演算を行うかどうかは、信頼性判定部１１１４による詳細位相差ＡＦ演算結果の信頼性を撮像信号処理回路５０７へ転送することで判断することも可能である。

図８（ａ）は、実施例１における撮影画像を生成するためのフローチャートである。Ｓ８０１において、各単位画素１０１の露光が行われる。Ｓ８０２において、単位画素１０１の各々からＡ像信号とＢ像信号が読み出しを開始する。読み出し開始と同時にＳ８０３において、撮像面位相差ＡＦの演算処理を開始するためのトリガを発生させ、Ｓ８０４において、コントラストＡＦの演算処理を開始するためのトリガを発生させる。Ｓ８０５において、撮影画像データをフレームメモリ１１７へ保存する。

図８（ｂ）は、実施例１における簡易位相差ＡＦ演算処理のフローチャートである。図８（ａ）のＳ８０３で発生したトリガを受けて処理が開始され、Ｓ８０６において、簡易位相差ＡＦ演算を行い、Ｓ８０７において、簡易位相差ＡＦ演算結果をフレームメモリ１１７へ保存する。次にＳ８０８において、簡易位相差ＡＦ演算結果の信頼性を判定し、信頼性が低いと判定した場合には、Ｓ８０９において、フレームメモリ１１７からＡ像信号とＢ像信号の読み出しを行う。

そして、Ｓ８１０において、詳細な位相差ＡＦ（詳細位相差ＡＦ）の演算処理を行い、Ｓ８１１において、演算結果をフレームメモリ１１７へ保存し、さらにＳ８１２において、外部へ転送する。また、Ｓ８０８において、簡易位相差ＡＦの演算結果の信頼性が高いと判定した場合には、詳細位相差ＡＦの演算処理を行わず、Ｓ８１２に進んで、簡易位相差ＡＦの演算結果を外部へ転送する。

図８（ｃ）は、実施例１におけるコントラストＡＦ演算処理のフローチャートである。図８（ａ）のＳ８０４で発生したトリガを受けて処理が開始され、Ｓ８１３において、Ａ像信号とＢ像信号の加算処理を行うことで、（Ａ＋Ｂ）像信号を生成する。Ｓ８１４において、（Ａ＋Ｂ）像信号を用いてコントラストＡＦの演算処理を行い、Ｓ８１５において、コントラストＡＦの演算結果をフレームメモリ１１７へ保存する。そして、Ｓ８１２において、コントラストＡＦの演算結果（第３の焦点検出データ）を外部へ転送する。

ここで、図８（ａ）〜（ｃ）において、Ｓ８１２では、フレームメモリ１１７に保存されている各ＡＦ演算結果（簡易位相差ＡＦ演算結果、詳細位相差ＡＦ演算結果、コントラストＡＦ演算結果）は撮影画像データとともに外部へ転送される。

図９は、実施例１における撮像処理のタイミングを示す図である。最初のフレームＡの露光Ａが行われ、次のフレームＢの露光Ｂを行っている間に露光Ａで得られる撮影画像データＡの読み出しが行われる。この撮影画像データＡの読み出しと並行してフレームＡで得られる画像信号を用いたコントラストＡＦの演算処理と簡易位相差ＡＦの演算処理が行われる。そして、図８（ｂ）で説明したように簡易位相差ＡＦの演算結果の信頼性を判定し、信頼性が低いと判定した場合には詳細位相差ＡＦの演算処理が行われる。

図１０は、撮像素子５０６から出力される撮影画像データのデータ構成を模式的に示した図である。図１０に示すように、前フレームにおける詳細位相差ＡＦの演算結果（図９の演算結果９０２）を現フレームの撮影画像データの先頭（前）に付加する。また、現フレームにおける簡易位相差ＡＦの演算結果およびコントラストＡＦの演算結果（図９の演算結果９０１）を撮影画像データの最後（後）に付加する。

すなわち、各ＡＦ演算結果を撮影画像データの前後に付加して撮像素子５０６から出力する。簡易位相差ＡＦの演算結果および詳細位相差ＡＦの演算結果は、上述した式（２）で求められるデフォーカス量であり、コントラストＡＦの演算結果は、上述したＳＡＤ値である。

簡易位相差ＡＦ演算の信頼性が高いと判定された場合、全体制御演算部５０９は、撮影画像データの最後に付加された簡易位相差ＡＦの演算結果または簡易位相差ＡＦおよびコントラストＡＦの演算結果に基づいてフォーカス制御を行う。すなわち、レンズ駆動部５０２によりレンズ５０１を移動させる。また、簡易位相差ＡＦ演算の信頼性が低いと判定された場合には、次フレームの撮影画像データの先頭に付加された詳細位相差ＡＦの演算結果または詳細位相差ＡＦの演算結果およびコントラストＡＦの演算結果に基づいてフォーカス制御を行う。すなわち、レンズ駆動部５０２によりレンズ５０１を移動させる。

ここで比較のために、簡易位相差ＡＦの演算処理を行わない場合について、図１１を用いて説明する。最初のフレームＡの露光Ａが行われ、次のフレームＢの露光を行っている間に露光Ａで得られる撮影画像データＡの読み出しが行われる。この撮影画像データＡの読み出しと並行してフレームＡで得られる画像信号を用いたコントラストＡＦの演算処理と詳細位相差ＡＦの演算処理が行われる。

ここで、フレームＡで得られる画像信号を用いた像面位相差ＡＦの演算処理が撮影画像データＡの読み出し完了までに終わらないため、次のフレームＢで得られる撮影画像データＢの最後に演算結果１４０１として付加して出力される。撮影画像データＢの読み出しタイミングは、さらにその次のフレームＣの露光Ｃを行っている間である。そのため、フォーカスレンズ移動開始までの時間が大幅に遅れることになり、露光からレンズのフォーカス制御を行うまでのタイムラグが発生する。

このように簡易位相差ＡＦ演算を行わない場合に対し、図９で説明したような撮像処理を行うことにより、撮影画像データとともに出力される同じフレームで得られる簡易位相差ＡＦ演算結果を用いてフォーカス制御を開始することが可能となることがわかる。

図１２は、実施例１における簡易位相差ＡＦ演算と詳細位相差ＡＦ演算でそれぞれ使用するＡＦ枠設定の一例を示した図である。簡易位相差ＡＦ演算で使用するＡＦ枠の数は、詳細位相差ＡＦ演算で使用するＡＦ枠の数よりも少なくなるように設定している。これは撮影画像データの出力完了前までに簡易位相差ＡＦの演算処理を完了させるために演算を行う時間を短くするためである。

そして、設定されたＡＦ選択枠の数および位置に応じて、簡易位相差ＡＦの演算処理で使用する単位画素数を減少させることができる。簡易位相差ＡＦの演算処理に使用する単位画素数を少なくすることで、演算処理時間を短縮することが可能となる。

また、詳細位相差ＡＦの演算処理は、次フレームの撮影画像データの出力開始前までに完了させれば良い。ここで次フレームの撮影画像データの出力開始まではブランキング期間（撮影画像データを撮像信号処理回路５０７へ転送していない期間）が存在する。そのため、ＡＦ選択枠の数および位置とブランキング期間に応じて、詳細位相差ＡＦの演算処理で使用する単位画素数を決定する。ブランキング期間があるため、詳細位相差ＡＦの演算処理で使用する単位画素数を簡易位相差ＡＦの演算処理で使用する単位画素数よりも多く設定することが可能である。

なお、簡易位相差ＡＦの演算処理、詳細位相差ＡＦの演算処理共に１単位画素あたりの演算速度を予め測定しておくことで、各ＡＦ演算で使用できる単位画素の数を決定することが可能である。また、被写体が暗い場合には画像信号にゲインを掛けることで、より信頼性の高い演算結果を得ることも可能である。さらに、撮像素子５０６は各位相差ＡＦ演算結果の信頼性に基づいて、信頼性の高いＡＦ選択枠を自動で選択することも可能である。

以上のような構成により、撮像面位相差ＡＦで使用する単位画素数の増加に伴って位相差ＡＦの演算処理時間が延びた場合でも、露光からレンズのフォーカス制御までのタイムラグを短縮することができる。また、各位相差ＡＦの演算処理の信頼性を判定することにより、撮像面位相差ＡＦの演算精度や信頼性を確保することもできる。

なお、実施例１では、図５に示したように全単位画素が瞳分割された撮像素子を用いる構成について説明したが、全単位画素が瞳分割されている必要はなく、例えば一部の単位画素のみが瞳分割された構成の撮像素子を用いてもかまわない。

（実施例２）
実施例１では、撮影画像データの先頭に前フレームにおける詳細位相差ＡＦ演算結果を付加し、撮影画像データの最後に現フレームにおける簡易位相差ＡＦ演算結果およびコントラストＡＦ演算結果を付加する構成例について説明した。これに対して実施例２では、撮影画像データの先頭に前フレームにおける簡易位相差ＡＦ演算結果およびコントラストＡＦ演算結果を付加し、撮影画像データの最後に前フレームにおける詳細位相差ＡＦ演算結果を付加する場合について説明する。なお、実施例２に係る撮像装置や撮像素子の構成は前述した実施例１と同一であるため、ここではその説明を省略する。

図１３は、実施例２における撮像処理のタイミングを示す図である。最初のフレームＡの露光Ａが行われ、次のフレームＢの露光Ｂを行っている間に露光Ａで得られる撮影画像データＡの読み出しが行われる。この撮影画像データＡの読み出しと並行してフレームＡで得られる画像信号を用いたコントラストＡＦの演算処理と簡易位相差ＡＦの演算処理が行われる。そして、図８（ｂ）で説明したように簡易位相差ＡＦの演算結果の信頼性を判定し、信頼性が低いと判定した場合には詳細位相差ＡＦの演算処理が行われる。

図１４は、実施例２において撮像素子５０６から出力される撮影画像データのデータ構成を模式的に示した図である。図１４に示すように、前フレームにおける簡易位相差ＡＦ演算結果およびコントラストＡＦ演算結果（図１３の演算結果１３０１）を現フレームの撮影画像データの先頭（前）に付加する。また、前フレームにおける詳細位相差ＡＦの演算結果（図１３の演算結果１３０２）を現フレームの撮影画像データの最後（後）に付加する。そして、撮像素子５０６から出力する。

簡易位相差ＡＦ演算の信頼性が高いと判定された場合、全体制御演算部５０９は、撮影画像データの最初に付加された前フレームにおける簡易位相差ＡＦの演算結果または簡易位相差ＡＦおよびコントラストＡＦの演算結果に基づいてフォーカス制御を行う。すなわち、レンズ駆動部５０２によりレンズ５０１を移動させる。

また、簡易位相差ＡＦ演算の信頼性が低いと判定された場合には、撮影画像データの最後に付加された前フレームにおける詳細位相差ＡＦの演算結果または詳細位相差ＡＦおよびコントラストＡＦの演算結果に基づいてフォーカス制御を行う。すなわち、レンズ駆動部５０２によりレンズ５０１を移動させる。

以上のような構成にしたことにより、実施例１よりも露光からレンズのフォーカス制御を行うまでのタイムラグは大きくなるが、簡易位相差ＡＦの信頼性を向上させた場合や、各ＡＦ演算処理による回路の消費電力を削減したい場合に本実施例は有効である。回路の消費電力を下げる場合、例えば、各ＡＦ演算処理部のクロック周波数を落とすなどの手段を用いることができる。

簡易位相差ＡＦの演算処理およびコントラストＡＦの演算処理は、次フレームの撮影画像データの出力開始前までに完了させれば良い。ここで次フレームの撮影画像データの出力開始まではブランキング期間（撮影画像データ法を撮像信号処理回路５０７へ転送していない期間）が存在する。そのため、ＡＦ選択枠の数およびブランキング期間に応じて、簡易位相差ＡＦの演算処理で使用する単位画素数を決定する。

また、詳細位相差ＡＦの演算処理は、次フレームの撮影画像データの出力完了前までに完了させれば良い。ここで次フレームの撮影画像データの出力開始まではブランキング期間（撮影画像データを撮像信号処理回路５０７へ転送していない期間）と現フレームの撮影画像データの読み出し期間がある。そのため、ＡＦ選択枠の数、ブランキング期間、および現フレームの撮影画像データの読み出し期間に応じて、詳細位相差ＡＦの演算処理で使用する単位画素数を決定する。

ブランキング期間および現フレームの撮影画像データの読み出し期間があるため、詳細位相差ＡＦの演算処理で使用する単位画素数を簡易位相差ＡＦの演算で使用する画素数よりも多く設定することが可能である。

なお、簡易位相差ＡＦの演算処理、詳細位相差ＡＦの演算処理共に１単位画素あたりの演算速度を予め測定しておくことで、各ＡＦ演算で使用できる単位画素の数を決定することが可能である。また、被写体が暗い場合には画像信号にゲインを掛けることで、より信頼性の高い演算結果を得ることも可能である。

また、本実施例では前フレームにおけるコントラストＡＦの演算結果を現フレームの撮影画像データの先頭に付加した。これに限らず、例えばコントラストＡＦの演算処理に時間を要する場合には、前フレームの詳細位相差ＡＦの演算結果とともにコントラストＡＦの演算結果を現フレームの撮影画像データの最後に付加しても良い。

以上のような構成により、回路の消費電力を下げるために各ＡＦ演算処理部のクロック周波数を落とすような場合においても、露光からレンズのフォーカス制御までのタイムラグを短縮することができる。また、各位相差ＡＦの信頼性を判定することにより、撮像面位相差ＡＦの演算精度や信頼性を確保することもできる。

なお、実施例２でも、図５に示したように全単位画素が瞳分割された撮像素子を用いる構成について説明したが、全単位画素で瞳分割されている必要はなく、例えば一部の単位画素のみが瞳分割された構成の撮像素子を用いてもかまわない。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１画素
１１８演算部
５０６撮像素子
５０７撮像信号処理回路
５０９全体制御演算部

Claims

光学的に結像された被写体像を画像信号に変換する複数の単位画素が行列状に配列された画素部と、
前記画像信号に基づいて位相差検出を行うことにより第１の焦点検出データを生成する第１の焦点検出手段と、
前記画像信号に基づいて前記第１の焦点検出手段よりも詳細な位相差検出を行うことにより第２の焦点検出データを生成する第２の焦点検出手段と、
前記第２の焦点検出データを前記画像信号に基づく撮影画像データの前に付加するとともに、前記第１の焦点検出データを前記撮影画像データの後に付加して出力する出力手段と、
を有することを特徴とする撮像素子。
前記出力手段は、前フレームにおける前記第２の焦点検出データを前記画像信号に基づく撮影画像データの前に付加するとともに、現フレームにおける前記第１の焦点検出データを前記撮影画像データの後に付加して出力することを特徴とする請求項１に記載の撮像素子。
光学的に結像された被写体像を画像信号に変換する複数の単位画素が行列状に配列された画素部と、
前記画像信号に基づいて位相差検出を行うことにより第１の焦点検出データを生成する第１の焦点検出手段と、
前記画像信号に基づいて前記第１の焦点検出手段よりも詳細な位相差検出を行うことにより第２の焦点検出データを生成する第２の焦点検出手段と、
前記第１の焦点検出データを前記画像信号に基づく撮影画像データの前に付加するとともに、前記第２の焦点検出データを前記撮影画像データの後に付加して出力する出力手段と、
を有することを特徴とする撮像素子。
前記出力手段は、前フレームにおける前記第１の焦点検出データを前記画像信号に基づく撮影画像データの前に付加するとともに、前フレームにおける前記第２の焦点検出データを前記撮影画像データの後に付加して出力することを特徴とする請求項３に記載の撮像素子。
前記複数の単位画素は、瞳分割されている単位画素を含むことを特徴とする請求項１乃至４のいずれか１項に記載の撮像素子。
前記第１および前記第２の焦点検出手段は、前記瞳分割されている単位画素から出力される画像信号に基づいて位相差を検出することを特徴とする請求項５に記載の撮像素子。
前記第１の焦点検出手段により位相差検出を行う際に使用する単位画素の数は、前記第２の焦点検出手段により位相差検出を行う際に使用する単位画素の数より少ないことを特徴する請求項１乃至６のいずれか１項に記載の撮像素子。
複数の半導体チップが互いに積層された積層構造であることを特徴とする請求項１乃至７のいずれか１項に記載の撮像素子。
請求項１乃至８のいずれか１項に記載の撮像素子と、
前記撮像素子を駆動制御する制御手段と、
を有することを特徴とする撮像装置。
前記第１の焦点検出データの信頼性が高い場合に、前記第１の焦点検出データに基づいてフォーカス制御を行い、前記第１の焦点検出データの信頼性が低い場合に、前記第２の焦点検出データに基づいてフォーカス制御を行うことを特徴する請求項９に記載の撮像装置。
さらに、被写体のコントラストを検出することにより第３の焦点検出データを生成する第３の焦点検出手段を備えることを特徴とする請求項１乃至７のいずれか１項に記載の撮像素子。
前記出力手段は、前記第１の焦点検出データおよび前記第３の焦点検出データを前記撮影画像データの前に付加し、前記第２の焦点検出データを前記撮影画像データの後ろに付加することを特徴とする請求項１１に記載の撮像素子。
前記出力手段は、前フレームにおける前記第１の焦点検出データおよび前記第３の焦点検出データを前記画像信号に基づく撮影画像データの前に付加するとともに、前フレームにおける前記第２の焦点検出データを前記撮影画像データの後に付加して出力することを特徴とする請求項１２に記載の撮像素子。
前記出力手段は、前記第２の焦点検出データを前記撮影画像データの前に付加し、前記第１の焦点検出データおよび前記第３の焦点検出データを前記撮影画像データの後に付加することを特徴とする請求項１１に記載の撮像素子。
前記出力手段は、前フレームにおける前記第２の焦点検出データを前記画像信号に基づく撮影画像データの前に付加するとともに、現フレームにおける前記第１の焦点検出データおよび前記第３の焦点検出データを前記撮影画像データの後に付加して出力することを特徴とする請求項１４に記載の撮像素子。
複数の半導体チップが互いに積層された積層構造であることを特徴とする請求項１１乃至１５のいずれか１項に記載の撮像素子。
請求項１１乃至１６のいずれか１項に記載の撮像素子と、
前記撮像素子を駆動制御する制御手段と、
を有することを特徴とする撮像装置。
前記第１の焦点検出データの信頼性が高い場合に、前記第１の焦点検出データまたは前記第１の焦点検出データおよび前記第３の焦点検出データに基づいてフォーカス制御を行い、前記第１の焦点検出データの信頼性が低い場合に、前記第２の焦点検出データまたは前記第２の焦点検出データおよび前記第３の焦点検出データに基づいてフォーカス制御を行うことを特徴する請求項１７に記載の撮像装置。