JP6289017B2 - 撮像装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Description

本発明は、デジタルカメラ、ビデオカメラ等の撮像装置に関するものである。

撮影レンズの焦点状態を検出する方式の一つとして、各画素にマイクロレンズが形成された２次元の撮像素子を用いて瞳分割方式の焦点検出を行う装置が特許文献１に開示されている。この装置では、撮像素子を構成する各画素の光電変換部が複数に分割されており、分割された光電変換部がマイクロレンズを介して撮影レンズの瞳の異なる領域を通過した光束を受光するように構成されている。この撮影レンズの瞳の異なる領域を通過した光束を受光した光電変換部の１対の出力信号に対して、ずれ量である位相差を算出するための相関演算を行い、その位相差からデフォーカス量を算出することができる。

上述の相関演算を行う際には、高精度に位相差を算出するために、出力信号の画素ピッチより細かい単位、言い換えるとサブピクセルの位相差を精度よく算出できることが望ましい。特許文献１においても、対の出力信号を用いた相関演算において、相関量の極小値を３点内挿の手法を用いて補間演算し、位相差を算出している。

特開２００８−５２００９号公報

しかしながら、上述の特許文献１に開示された技術では、対の出力信号の位相差によっては、極小値の補間演算結果が、誤差の影響を大きく受けてしまうことがあった。第１の信号と第２の信号から算出される位相差に含まれる誤差は、第１の信号に対して半画素だけ被写体像のサンプリング位置が異なる第３の信号と、第２の信号を用いて算出される位相差を用いることにより、低減させることができる。しかしながら、特許文献１に記載の焦点検出装置では、その実現方法については開示されていない。

本発明は上述した課題に鑑みてなされたものであり、その目的は、誤差の少ない高精度な位相差検出が可能な焦点調節装置を有する撮像装置を提供することである。

本発明に係わる撮像装置は、被写体像を結像させる撮影光学系の第１の瞳領域を通過した光束を受光する画素が垂直方向に所定の行数配列された第１の画素群と、前記撮影光学系の前記第１の瞳領域とは異なる第２の瞳領域を通過した光束を受光する画素が垂直方向に所定の行数配列された第２の画素群とを有する撮像手段と、前記第１の画素群の画素の信号と前記第２の画素群の画素の信号とを用いて相関演算を行う相関演算手段とを備え、前記相関演算手段は、前記第１の画素群から水平方向に所定の間隔でサンプリングした第１のサンプリング画素の信号と、該第１のサンプリング画素と同じ行の前記第２の画素群から水平方向に前記所定の間隔でサンプリングした第２のサンプリング画素の信号とを用いて第１の相関演算を行い、前記第１のサンプリング画素とは異なる行の前記第１の画素群から水平方向に前記所定の間隔とは所定の位置ずれ量を有する間隔でサンプリングした第３のサンプリング画素の信号と、前記第２の画素群の前記第２のサンプリング画素の信号とを用いて第２の相関演算を行い、前記第１の相関演算の結果と前記第２の相関演算の結果とを用いてデフォーカス量を算出することを特徴とする。

本発明によれば、誤差の少ない高精度な位相差検出が可能な焦点調節装置を有する撮像装置を提供することが可能となる。

焦点調節装置を有する撮像装置の構成を示す図。 撮像素子の画素配列を示す図。 撮像素子における読み出し回路の構成を示す図。 像面中央近傍に配置された撮像素子の光電変換部の共役関係を説明する図。 撮像素子の１画素を示す図。 撮影範囲内における焦点検出領域を示す図。 焦点検出領域内に配置された２行２Ｎ列の画素を示す図。 焦点調節動作を示すフローチャート。 デフォーカス量の算出サブルーチンのフローチャート。 シフト量毎の相関量の差分量の例を示す図。 シフト量毎の相関量の差分量の例を示す図。 シフト量毎の相関量の差分量の例を示す図。 算出されるシフト量に含まれる誤差の量を示す図。 第２の実施形態における撮像素子の画素配列を示した図。 第２の実施形態の撮像素子における読み出し回路の構成を示した図。 第２の実施形態の撮像装置において、撮影光学系の射出瞳面と、像面中央近傍に配置された撮像素子の光電変換部の共役関係を説明する図。 第２の実施形態の撮像装置において、撮影光学系の射出瞳面と、像面中央近傍に配置された撮像素子の光電変換部の共役関係を説明する図。 第２の実施形態の撮像装置において、撮影光学系の射出瞳面と、像面中央近傍に配置された撮像素子の光電変換部の共役関係を説明する図。 焦点検出領域内に配置された２行２Ｎ列の画素を示した図。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

（第１の実施形態）
図１は、複数の撮影レンズを交換可能なカメラとその撮影レンズからなるカメラシステムであって焦点調節装置を有する撮像装置の構成を示す図である。図１において、本実施形態の焦点調節装置を含むカメラシステムはカメラ１００とこれに交換可能に装着される撮影レンズ３００とを備えて構成される。はじめに、カメラ１００の構成について説明する。

カメラ１００は、複数種類の撮影レンズ３００が存在するカメラシステムに対応しており、同一種類のレンズでも製造番号が異なるものが装着可能である。更には、焦点距離や開放Ｆナンバーが異なる撮影レンズ３００若しくはズーム機能を備える撮影レンズ３００なども装着可能で、同種、異種の撮影レンズにかかわらず交換可能な構成を有する。

このカメラ１００において、撮影レンズ３００を通過した光束は、カメラマウント１０６を通過し、メインミラー１３０により上方へ反射されて光学ファインダ１０４に入射する。光学ファインダ１０４により、撮影者は被写体を光学像として観察しながら撮影できる。光学ファインダ１０４内には、表示部５４の一部の機能、例えば、合焦表示、手振れ警告表示、絞り値表示、露出補正表示等が設置されている。

メインミラー１３０は半透過性のハーフミラーで構成され、メインミラー１３０に入射する光束のうち一部はこのハーフミラー部を通過しサブミラー１３１で下方へ反射されて焦点検出装置１０５へ入射する。焦点検出装置１０５は、２次結像光学系からなる位相差検出方式ＡＦ機構を採用しており、得られた光学像を電気信号に変換しＡＦ部（オートフォーカス部）４２へ送る。ＡＦ部４２では、この電気信号から位相差検出演算を行う。この演算結果に基づき、システム制御回路５０が、撮影レンズ３００のフォーカス制御部３４２（後述する）に対して、焦点調節処理などの制御を行う。本実施形態では、焦点検出結果の補正もＡＦ部４２で行う。ＡＦ部４２は、位相差演算手段として働く。

一方、撮影レンズ３００の焦点調節処理が終了し静止画撮影、電子ファインダ表示、動画撮影を行う場合には、不図示のクイックリターン機構によりメインミラー１３０とサブミラー１３１を撮影光束外に退避させる。こうして、撮影レンズ３００を通過した光束は、露光量を制御するためのシャッター１２を介して、光学像を電気信号に変換する撮像素子１４に入射する。これらの撮影動作終了後には、メインミラー１３０とサブミラー１３１は図示される様な位置に戻る。

撮像素子１４にて光電変換された電気信号はＡ／Ｄ変換器１６へ送られ、アナログ信号出力がデジタル信号（画像データ）に変換される。１８は、撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路２２及びシステム制御回路５０により制御される。画像処理回路２０は、Ａ／Ｄ変換器１６からの画像データ或いはメモリ制御回路２２からの画像データに対して所定の画素補間処理や色変換処理を行う。画像処理回路２０は、画像データを用いて所定の演算処理を行う。

撮像素子１４は焦点検出装置の一部を有し、クイックリターン機構によりメインミラー１３０とサブミラー１３１が撮影光束外に退避した状態においても位相差検出方式ＡＦを行うことができる。得られた画像データのうち、焦点検出に対応する画像データは、画像処理部２０で焦点検出用画像データに変換される。その後、システム制御回路５０を介してＡＦ部４２へ送られ、焦点調節装置により撮影レンズ３００の焦点合わせが行われる。なお、画像処理回路２０による撮像素子１４の画像データを演算した演算結果に基づき、システム制御回路５０が、撮影レンズ３００のフォーカス制御部３４２に対して焦点合わせを行う所謂コントラスト方式ＡＦも可能な構成となっている。こうして、電子ファインダ観察時や動画撮影時では、メインミラー１３０とサブミラー１３１が撮影光束外に退避するが、撮像素子１４による位相差検出方式ＡＦとコントラスト方式ＡＦの両者が可能となっている。特に、位相差検出方式ＡＦが可能であるため高速な焦点合わせが可能となっている。

この様に、本実施形態のカメラ１００は、メインミラー１３０とサブミラー１３１が撮影光路内にある通常の静止画撮影では、焦点検出装置１０５による位相差検出方式ＡＦを用いる。また、メインミラー１３０とサブミラー１３１が撮影光束外へ退避する電子ファインダ観察時や動画撮影時では、撮像素子１４による位相差検出方式ＡＦとコントラスト方式ＡＦを用いる構成となっている。従って、静止画撮影、電子ファインダ、動画撮影のどの撮影においても焦点調節が可能である。

メモリ制御回路２２は、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮伸長回路３２を制御する。そして、Ａ／Ｄ変換器１６のデータが画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６のデータが直接メモリ制御回路２２を介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。画像表示部２８は液晶モニタ等から構成され、画像表示メモリ２４に書き込まれた表示用の画像データを、Ｄ／Ａ変換器２６を介して画像表示部２８により表示する。画像表示部２８を用いて撮像した画像データを逐次表示することで、電子ファインダ機能を実現できる。画像表示部２８は、システム制御回路５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合にはカメラ１００の電力消費を大幅に低減できる。

また、メモリ３０は、撮影した静止画像や動画像を記憶するためのものであり、所定枚数の静止画像や所定時間の動画像を記憶するのに十分な記憶容量を備えている。これにより、連射撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことができる。また、メモリ３０はシステム制御回路５０の作業領域としても使用できる。圧縮伸長回路３２は、適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する機能を有し、メモリ３０に記憶された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えた画像データをメモリ３０に書き込む。

シャッター制御部３６は、測光部４６からの測光情報に基づいて、撮影レンズ３００側の絞り３１２を制御する絞り制御部３４４と連携しながら、シャッター１２を制御する。インターフェース部３８とコネクタ１２２は、カメラ１００と撮影レンズ３００とを電気的に接続する。これらは、カメラ１００と撮影レンズ３００との間で制御信号、状態信号、データ信号等を伝え合うと共に、各種電圧の電流を供給する機能も備えている。また、電気通信のみならず、光通信、音声通信等を伝達する構成としてもよい。測光部４６は、ＡＥ処理を行う。撮影レンズ３００を通過した光束を、カメラマウント１０６、ミラー１３０、そして不図示の測光用レンズを介して、測光部４６に入射させることにより、画像の露出状態を測定できる。また、測光部４６は、フラッシュ４８と連携することで調光処理機能も有する。なお、画像処理回路２０による撮像素子１４の画像データを演算した演算結果に基づき、システム制御回路５０が、シャッター制御部３６と撮影レンズ３００の絞り制御部３４４に対してＡＥ制御を行うことも可能である。フラッシュ４８は、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。

システム制御回路５０はカメラ１００の全体を制御し、メモリ５２はシステム制御回路５０の動作用の定数、変数、プログラム等を記憶する。表示部５４はシステム制御回路５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置である。カメラ１００の操作部近辺の視認し易い位置に単数或いは複数設置され、例えばＬＣＤやＬＥＤ等の組み合わせにより構成される。表示部５４の表示内容のうち、ＬＣＤ等に表示するものとしては、記録枚数や残撮影可能枚数等の撮影枚数に関する情報や、シャッタースピード、絞り値、露出補正、フラッシュ等の撮影条件に関する情報等がある。その他、電池残量や日付・時刻等も表示される。また、表示部５４は、前述した様にその一部の機能が光学ファインダ１０４内に設置されている。

不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。６０、６２、６４、６６、６８及び７０は、システム制御回路５０の各種の動作指示を入力するための操作部であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。

モードダイアルスイッチ６０は、電源オフ、オート撮影モード、マニュアル撮影モード、再生モード、ＰＣ接続モード等の各機能モードを切り替え設定できる。シャッタースイッチＳＷ１である６２は、不図示のシャッターボタンが半押しされるとＯＮとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作開始を指示する。シャッタースイッチＳＷ２である６４は、シャッターボタンが全押しされるとＯＮとなり、撮影に関する一連の処理の動作開始を指示する。撮影に関する処理とは、露光処理、現像処理及び記録処理等のことである。露光処理では、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に画像データとして書き込む。現像処理では、画像処理回路２０やメモリ制御回路２２での演算を用いた現像を行う。記録処理では、メモリ３０から画像データを読み出し、圧縮・伸長回路３２で圧縮を行い、記録媒体２００或いは２１０に画像データとして書き込む。

画像表示ＯＮ／ＯＦＦスイッチ６６は、画像表示部２８のＯＮ／ＯＦＦを設定できる。この機能により、光学ファインダ１０４を用いて撮影を行う際に、液晶モニタ等から成る画像表示部への電流供給を遮断することにより、省電力を図ることができる。クイックレビューＯＮ／ＯＦＦスイッチ６８は、撮影直後に撮影した画像データを自動再生するクイックレビュー機能を設定する。操作部７０は、各種ボタンやタッチパネル等からなる。各種ボタンには、メニューボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン、露出補正ボタン等がある。

電源制御部８０は、電池検出回路、ＤＣ／ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路５０の指示に基づいてＤＣ／ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。コネクタ８２及び８４は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、リチウムイオン電池等の二次電池、ＡＣアダプタ等からなる電源部８６をカメラ１００と接続する。

インターフェース９０及び９４は、メモリカードやハードディスク等の記録媒体との接続機能を有し、コネクタ９２及び９６は、メモリカードやハードディスク等の記録媒体と物理的接続を行う。記録媒体着脱検知部９８は、コネクタ９２または９６に記録媒体が装着されているかどうかを検知する。なお、本実施形態では、記録媒体を取り付けるインターフェース及びコネクタを２系統持つものとして説明しているが、インターフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインターフェース及びコネクタを組み合わせて備える構成としても構わない。更に、インターフェース及びコネクタにＬＡＮカード等の各種通信カードを接続することで、コンピュータやプリンタ等の他の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。

通信部１１０は、有線通信、無線通信等の各種通信機能を有する。コネクタ１１２は、通信部１１０によりカメラ１００を他の機器と接続し、無線通信の場合はアンテナである。記録媒体２００及び２１０は、メモリカードやハードディスク等である。記録媒体２００及び２１０は、半導体メモリや磁気ディスク等から構成される記録部２０２，２１２、カメラ１００とのインターフェース２０４，２１４、カメラ１００と接続を行うコネクタ２０６，２１６を備えている。

次に、撮影レンズ３００側について説明する。撮影レンズ３００は、カメラ１００に着脱可能に構成される。レンズマウント３０６は、撮影レンズ３００をカメラ１００と機械的に結合し、カメラマウント１０６を介してカメラ１００に交換可能に取り付けられる。カメラマウント１０６及びレンズマウント３０６内には、撮影レンズ３００をカメラ１００と電気的に接続するコネクタ１２２及びコネクタ３２２の機能が含まれている。レンズ３１１には被写体の焦点合わせを行うフォーカスレンズが含まれ、絞り３１２は撮影光束の光量を制御する絞りである。

コネクタ３２２及びインターフェース３３８は、撮影レンズ３００をカメラ１００のコネクタ１２２と電気的に接続する。そして、コネクタ３２２は、カメラ１００と撮影レンズ３００との間で制御信号、状態信号、データ信号等を伝え合うと共に、各種電圧の電流を供給される機能も備えている。コネクタ３２２は電気通信のみならず、光通信、音声通信等を伝達する構成としてもよい。ズーム制御部３４０はレンズ３１１のズーミングを制御し、フォーカス制御部３４２はレンズ３１１のフォーカスレンズの動作を制御する。撮影レンズ３００がズーム機能のない単焦点レンズタイプであればズーム制御部３４０はなくてもよい。絞り制御部３４４は、測光部４６からの測光情報に基づいて、シャッター１２を制御するシャッター制御部３６と連携しながら、絞り３１２を制御する。絞り制御部３４４と絞り３１２は、絞り開口調節手段を構成している。

レンズシステム制御部３４６は撮影レンズ３００全体を制御する。そして、レンズシステム制御部３４６は、撮影レンズの動作用の定数、変数、プログラム等を記憶するメモリの機能を備えている。不揮発性メモリ３４８は、撮影レンズ固有の番号等の識別情報、管理情報、開放絞り値や最小絞り値、焦点距離等の機能情報、現在や過去の各設定値などを記憶する。本実施形態においては、撮影レンズ３００の状態に応じたレンズ枠情報も記憶されている。このレンズ枠情報は、撮影レンズを通過する光束を決定する枠開口の撮像素子１４からの距離と枠開口の半径の情報である。絞り３１２は、撮影レンズを通過する光束を決定する枠に含まれ、他にもレンズを保持するレンズ枠部品の開口などが枠に該当する。また、撮影レンズを通過する光束を決定する枠は、レンズ３１１のフォーカス位置やズーム位置によって異なるため、レンズ３１１のフォーカス位置やズーム位置に対応して複数用意されている。そして、カメラ１００が、焦点検出手段を用いて焦点検出を行う際には、レンズ３１１のフォーカス位置とズーム位置に対応した最適なレンズ枠情報が選択され、カメラ１００にコネクタ３２２を通じて送られる構成となっている。

以上が、カメラ１００と撮影レンズ３００からなるカメラシステムの構成である。次に、撮像素子１４からなる焦点検出装置について詳細を説明する。この焦点検出装置は焦点検出装置１０５と同様に位相差検出方式ＡＦを採用している。その構成について説明する。

図２は本実施形態における撮像素子の画素配列を示した図で、２次元Ｃ−ＭＯＳエリアセンサの縦（Ｙ方向）６行と横（Ｘ方向）８列の範囲を、撮影光学系側から観察した状態を示している。カラーフィルタはベイヤー配列が適用され、奇数行の画素には、左から順に緑（Green）と赤（Red）のカラーフィルタが交互に設けられる。また、偶数行の画素には、左から順に青（Blue）と緑（Green）のカラーフィルタが交互に設けられる。円２１１ｉはオンチップマイクロレンズを表わす。オンチップマイクロレンズの内側に配置された複数の矩形はそれぞれ光電変換部である。

本実施形態では、すべての画素の光電変換部はＸ方向に２分割され、分割された一方の領域の光電変換信号と２つの光電変換信号の和は独立して読み出しできる構成となっている。そして、独立して読み出しされた信号は、２つの光電変換信号の和と分割された一方の領域の光電変換信号との差分をとることにより、もう一方の光電変換領域で得られる信号に相当する信号を得ることができる。これらの分割された領域の光電変換信号は、後述する方法で位相差式焦点検出に用いられるほか、視差情報を有した複数画像から構成される３Ｄ（３−Ｄｉｍｅｎｓｉｏｎａｌ）画像を生成することもできる。一方で、２つの光電変換信号の和は、通常の撮影画像として用いられる。

ここで、位相差式焦点検出を行なう場合の画素信号について説明する。後述するように、本実施形態においては、図２のマイクロレンズ２１１ｉと、分割された光電変換部２１１ａ及び２１１ｂで、撮影光学系の射出光束を瞳分割する。そして、同一行上に配置された所定範囲内の複数の画素２１１において、光電変換部２１１ａの出力をつなぎ合わせて編成したものをＡＦ用Ａ像、同じく光電変換部２１１ｂの出力をつなぎ合わせて編成したものをＡＦ用Ｂ像とする。このように生成したＡＦ用Ａ像とＢ像の相対的な像ずれ量を相関演算により検出することで、所定領域の焦点ずれ量、すなわちデフォーカス量を検出することができる。本実施形態では、ＡＦ用Ａ像もしくはＢ像は、いずれか一方は撮像素子からは出力されないが、上述した通り、Ａ像出力とＢ像出力の和は出力されるため、その出力と他方の出力の差分から、もう一方の信号を得ることができ、焦点検出を行うことができる。

本実施形態では、演算負荷の低減、出力信号のＳ／Ｎ改善、出力画像サイズに合わせること等を目的として、幾つかの画素の出力を加算し、ＡＦ用Ａ像及びＡＦ用Ｂ像を作成する。この加算方法については、後述する。複数の光電変換部２１１ａを、第１の画素群と呼び、複数の光電変換部２１１ｂは、第２の画素群と呼ぶ。

上記の撮像素子は、特開２００４−１３４８６７号公報に開示された技術を用いて製造することができるため、詳細構造に関する説明は省略する。

図３は本実施形態の撮像素子における読み出し回路の構成を示した図である。１５１は水平走査回路、１５３は垂直走査回路である。そして各画素の境界部には、水平走査ライン１５２ａ及び１５２ｂと、垂直走査ライン１５４ａ及び１５４ｂが配線され、各光電変換部はこれらの走査ラインを介して信号が外部に読み出される。

なお、本実施形態の撮像素子は以下の２種類の読み出しモードを有する。第１の読み出しモードは全画素読み出しモードと称するもので、高精細静止画を撮像するためのモードである。この場合は、全画素の信号が読み出される。

第２の読み出しモードは間引き読み出しモードと称するもので、動画記録、もしくはプレビュー画像の表示のみを行なうためのモードである。この場合に必要な画素数は全画素よりも少ないため、画素群はＸ方向及びＹ方向ともに所定比率に間引いた画素のみ読み出す。また、高速に読み出す必要がある場合にも、同様に間引き読み出しモードを用いる。Ｘ方向に間引く際には、信号の加算を行いＳ／Ｎの改善を図り、Ｙ方向に対する間引きは、間引かれる行の信号出力を無視する。

図４Ａ、４Ｂは、本実施形態の撮像装置において、撮影光学系の射出瞳面と、像高ゼロすなわち像面中央近傍に配置された撮像素子の光電変換部の共役関係を説明する図である。撮像素子内の光電変換部と撮影光学系の射出瞳面は、オンチップマイクロレンズによって共役関係となるように設計される。そして撮影光学系の射出瞳は、一般的に光量調節用の虹彩絞りが置かれる面とほぼ一致する。一方、本実施形態の撮影光学系は変倍機能を有したズームレンズであるが、光学タイプによっては変倍操作を行なうと、射出瞳の像面からの距離や大きさが変化する。図４における撮影光学系は、焦点距離が広角端と望遠端の中間、すなわちＭｉｄｄｌｅの状態を示している。これを標準的な射出瞳距離Ｚｅｐと仮定して、オンチップマイクロレンズの形状や、像高（Ｘ、Ｙ座標）に応じた偏心パラメータの最適設計がなされる。

図４Ａにおいて、１０１は第１レンズ群、１０１ｂは第１レンズ群を保持する鏡筒部材、１０５は第３レンズ群、１０５ｂは第３レンズ群を保持する鏡筒部材である。１０２は絞りで、１０２ａは絞り開放時の開口径を規定する開口板、１０２ｂは絞り込み時の開口径を調節するための絞り羽根である。なお、撮影光学系を通過する光束の制限部材として作用する１０１ｂ、１０２ａ、１０２ｂ、及び１０５ｂは、像面から観察した場合の光学的な虚像を示している。また、絞り１０２の近傍における合成開口をレンズの射出瞳と定義し、前述したように像面からの距離をＺｅｐとしている。

２１１０は、被写体像を光電変換するための画素で、像面中央近傍に配置されており、本実施形態では、中央画素と呼ぶ。中央画素２１１０は、最下層より、光電変換部２１１０ａ，２１１０ｂ、配線層２１１０ｅ〜２１１０ｇ、カラーフィルタ２１１０ｈ、及びオンチップマイクロレンズ２１１０ｉの各部材で構成される。そして２つの光電変換部はオンチップマイクロレンズ２１１０ｉによって撮影光学系の射出瞳面に投影される。また別の言い方をすれば、撮影光学系の射出瞳が、オンチップマイクロレンズ２１１０ｉを介して、光電変換部の表面に投影されることになる。

図４Ｂは、撮影光学系の射出瞳面上における、光電変換部の投影像を示したもので、光電変換部２１１０ａ及び２１１０ｂに対する投影像は各々ＥＰ１ａ及びＥＰ１ｂとなる。また本実施形態では、撮像素子は、２つの光電変換部２１１０ａと２１１０ｂのいずれか一方の出力と、両方の和の出力を得ることができる画素を有している。両方の和の出力は、撮影光学系のほぼ全瞳領域である投影像ＥＰ１ａ、ＥＰ１ｂの両方の領域を通過した光束を光電変換したものである。投影像ＥＰ１ａを、第１の瞳領域と呼び、投影像ＥＰ１ｂを、第２の瞳領域と呼ぶ。

図４Ａで、撮影光学系を通過する光束の最外部をＬで示すと、光束Ｌは、絞りの開口板１０２ａで規制されており、投影像ＥＰ１ａ及びＥＰ１ｂは撮影光学系でケラレがほぼ発生していない。図４Ｂでは、図４Ａの光束Ｌを、ＴＬで示している。ＴＬで示す円の内部に、光電変換部の投影像ＥＰ１ａ、ＥＰ１ｂの大部分が含まれていることからも、ケラレがほぼ発生していないことがわかる。光束Ｌは、絞りの開口板１０２ａでのみ制限されているため、ＴＬは、１０２ａと言い換えることができる。この際、像面中央では各投影像ＥＰ１ａないしＥＰ１ｂのけられ状態は光軸に対して対称となり、各光電変換部２１１０ａ及び２１１０ｂが受光する光量は等しい。

以上図２、図３、図４で説明した様に、撮像素子１４は撮像のみの機能だけではなく焦点検出装置としての機能も有している。また、焦点検出方法としては、射出瞳を分割した光束を受光する焦点検出用画素を備えているため、位相差検出方式ＡＦを行うことが可能である。

図５は、撮影範囲４００内における焦点検出領域４０１を示す図で、この焦点検出領域内（撮像面上（受光面上）の焦点検出センサ）で撮像素子１４による位相差検出方式ＡＦが行われる。焦点検出領域４０１内では、撮影範囲４００内の水平方向のコントラスト差を用いて位相差検出を行う。焦点検出領域４０１内には、画素２１１０が、２行２Ｎ列配置されている。本実施形態では、焦点検出に用いる画素を２行２Ｎ列としたが、行数および列数はこれに限らない。行数は２行以上の所定行数配列されていればよいし、列数は位相差が検出できる範囲で、適宜設定すればよい。

図６は、焦点検出領域４０１内に配置された２行２Ｎ列の画素を示している。ｉ行ｊ列目のＡＦ用Ａ像の信号を作成するために用いられる画素をＡ（ｉ，ｊ）とし、同様にｉ行ｊ列目のＡＦ用Ｂ像の信号を作成するために用いられる画素をＢ（ｉ，ｊ）として示している。

本実施形態では、演算負荷の低減、出力信号のＳ／Ｎ改善、出力画像サイズに合わせること等を目的として、２画素の出力を加算して用いる。ｉ行目のｋ番目のＡＦ用Ａ像の信号、ＡＦ用Ｂ像の信号をそれぞれ、Ａｓ（ｉ，ｋ）、Ｂｓ（ｉ，ｋ）とすると、下記の式で計算される。

As(1,k)＝A(1,2×(k-1)+1)+A(1,2×(k-1)＋2)
Bs(1,k)＝B(1,2×(k-1)+1)+B(1,2×(k-1)＋2)
As(2,k)＝A(2,2×(k-1)+2)+A(2,2×(k-1)＋3)
Bs(2,k)＝B(2,2×(k-1)+2)+B(2,2×(k-1)＋3)
(1≦k≦N-1) …（式１）
本実施形態では、２画素の出力を加算したＮ−１個の信号を行毎に有するＡＦ用Ａ像、Ｂ像の信号を用いて、位相差検出を行う。これら２対の信号を用いた位相差検出方法については後述する。第１の画素群の出力信号で構成される第１の像信号群であるＡＦ用Ａ像信号は、位相差検出方向と直交方向（図６の垂直方向）に、２行の画素列を有する。このことは、第１の画素群が、画素列方向と直交した方向に配された２以上の所定行数の画素列で構成されることを意味する。言い換えると、ここでの所定行数は、図６では、２行となる。

また、第１の像信号群であるＡＦ用Ａ像信号は、１行目の信号と２行目の信号で、サンプリングピッチの半ピッチ分、位相差検出方向に被写体のサンプリング位置がずれている。このことは、第１の像信号群は、サンプリングする位置に関して画素列方向に、所定の間隔を所定行数で割った値の整数倍の相違量を互いに有していることを意味する。言い換えると、上述の例では、所定の間隔が２画素となり、所定行数である２行で割った値である１画素の整数倍（上述の例では１倍の１画素）の相違量を有している。

次に、カメラ１００における動作について説明する。図７は、システム制御回路５０に格納された焦点調節動作を示すフローチャートである。なお、本フローチャートは、メインミラー１３０とサブミラー１３１が撮影光束外へ退避し、撮像素子１４による位相差検出方式ＡＦを行う電子ファインダ若しくは動画撮影時の焦点調節動作となっている。つまり、電子ファインダのための表示や動画記録を行いつつ、焦点調節動作が並行して行われている。

まず、ステップＳ５０１では、ＳＷ１や操作部７０などの操作により焦点検出開始指示ボタンがＯＮされたかを検知し、ＯＮされた場合にはステップＳ５０２へ進む。ここでは、焦点検出開始ボタンによる判別をしているが、電子ファインダ表示や動画記録に移行したことをトリガーに、焦点検出を開始してもよい。

ステップＳ５０２では、撮影レンズ３００の上述したレンズ枠情報やフォーカスレンズ位置などの各種レンズ情報をインターフェース部３８、３３８、コネクタ１２２、３２２を介して取得する。ステップＳ５０３では、逐次読み出されている画像データから画像処理部２０の合成部と連結部により対の焦点検出用信号を生成する。本実施形態では、上述の２行のＡＦ用Ａ像、Ｂ像の信号が生成される。これらの信号は、ＡＦ部４２へ送られ、光量補正などを行う。

ステップＳ５０４では、ＡＦ部４２にて公知の相関演算手段などを用いて対の焦点検出用信号のずれ量を算出し、デフォーカス量に換算する。詳細は、後述する。ステップＳ５０５では、ステップＳ５０４で算出した焦点検出結果に基づき、撮影レンズ３００のレンズ駆動量を算出する。ステップＳ５０６では、インターフェース部３８、３３８、コネクタ１２２、３２２を介して、レンズ駆動量を撮影レンズ３００のフォーカス制御部３４２に送り、フォーカスレンズを駆動することで撮影レンズ３００の焦点調節を行う。

次に、図７のステップＳ５０４のデフォーカス量の算出について説明する。図８は、デフォーカス量算出サブルーチンのフロー図である。メインルーチンのステップＳ５０４から当サブルーチンに進むと、ステップＳ５０４１に進み、１行目のＡＦ用Ａ像と１行目のＡＦ用Ｂ像を用いた相関演算を行う。相関演算に用いる相関量ＣＯＲ１（ｋ）は、下記の式で算出される。

…（式２）
式２で用いるｋは、相関演算時のシフト量で、−ｋｍａｘ以上ｋｍａｘ以下の整数である。その後、ＡＦ用Ａ像とＡＦ用Ｂ像の信号の相関を最も示す場合、すなわち、相関量ＣＯＲ１が最小となる場合のｋの値を求める。ここで、ｋの値は、整数で算出すると分解能が荒くなってしまうため、適宜補間処理を行い、所謂サブピクセル演算を行う。

本実施形態では、相関量ＣＯＲ１の差分を取り、差分量の符号が変化するシフト量ｄｋを検出する。相関量の差分ＤＣＯＲ１は、下記式で算出される。

DCOR1(k)=COR1(k)-COR1(k-1) …（式３）
この相関量ＣＯＲ１の差分量ＤＣＯＲ１を用いて、差分量の符号が変化するシフト量ｄｋ１を検出する。符号が変化する直前のｋの値をｋ１、符号が変化した直後のｋの値をｋ２（ｋ２＝ｋ１＋１）とすると、シフト量ｄｋは、下記の式で算出される。

dk1=k1+ |DCOR1(k1)|／|DCOR1(k1)-DCOR1(k2)| …（式４）
以上のようにして、１ピクセル以下のＡＦ用Ａ像とＡＦ用Ｂ像のシフト量ｄｋ１を算出し、ステップＳ５０４１の処理を終える。上述の位相差の算出方法には、様々な公知の方法があり、本実施形態においても、他の方法を用いても構わない。

ステップＳ５０４２では、２行目のＡＦ用Ａ像と２行目のＡＦ用Ｂ像を用いて、同様にして相関量ＣＯＲ２を算出した後、相関量の差分ＤＣＯＲ２を算出し、シフト量ｄｋ２を算出する。

ステップＳ５０４３では、１行目のＡＦ用Ａ像と２行目のＡＦ用Ｂ像を用いて、同様にして相関量ＣＯＲ３を算出した後、相関量の差分ＤＣＯＲ３を算出し、シフト量ｄｋ３を算出する。

ステップＳ５０４４では、２行目のＡＦ用Ａ像と１行目のＡＦ用Ｂ像を用いて、同様にして相関量ＣＯＲ４を算出した後、相関量の差分ＤＣＯＲ４を算出し、シフト量ｄｋ４を算出する。

ステップＳ５０４５では、ここまでで算出された４種のシフト量ｄｋ１、ｄｋ２、ｄｋ３、ｄｋ４を用いて、デフォーカス量ＤＥＦを算出する。本実施形態では、デフォーカス量ＤＥＦを算出する際に、４種のシフト量ｄｋ１、ｄｋ２、ｄｋ３、ｄｋ４を用いることにより、誤差の少ない検出結果を得ることができる。

ここで、シフト量を演算する際に発生する誤差について説明する。シフト量を演算する際に発生する誤差としては、被写体サンプリングの際に発生する誤差と上述のサブピクセル演算を用いたシフト量算出の際に発生する誤差が考えられる。

被写体サンプリングの際に発生する誤差は、被写体の空間周波数の高域成分の影響で発生する折り返しノイズにより発生する。誤差の発生量は、被写体のサンプリングする位置によって異なる。本実施形態では、１行目のＡＦ用Ａ像と１行目のＡＦ用Ｂ像を用いて算出されたシフト量ｄｋ１と２行目のＡＦ用Ａ像と２行目のＡＦ用Ｂ像を用いて算出されたシフト量ｄｋ２では、被写体の位相差検出方向のサンプリング位置が異なる。そのため、算出されたシフト量に含まれる誤差の量も異なる。１行目のＡＦ用信号と２行目のＡＦ用信号は、上述の通り１つの信号が２画素の出力の和であり、被写体のサンプリング位置は１画素分異なっている。１行目のＡＦ用信号と２行目のＡＦ用信号のように、半ピッチ分ずれた位置で、被写体のサンプリングを行った信号では、被写体サンプリングの際に発生する誤差が正負反対方向に発生する。そのため、２つのシフト量算出結果ｄｋ１とｄｋ２を平均処理することにより、この誤差の影響を低減することができる。

サブピクセル演算を用いたシフト量算出の際に発生する誤差は、相関量差の関数とシフト量算出の際のフィッティング関数である直線との相違によって発生する。

図９Ａ〜９Ｃは、様々な状況でのシフト量毎の相関量の差分量の例を示したものである。図９Ａは、シフト量ｋ＝０の際に、相関量の差分量ＤＣＯＲ＝０となった場合を示している。この場合には、サブピクセル演算を用いたシフト量の算出は不必要となり、最終的に算出されるシフト量ｄｋ＝０となる。図９Ａの場合は、そもそもサブピクセル演算が不要の為、サブピクセル演算を用いたシフト量算出の際に発生する誤差は小さい。

また、図９Ｂは、シフト量ｋ＝−１とシフト量ｋ＝０の間で相関量の差分量の符号が変化する場合で、シフト量ｋ＝−１の時とシフト量ｋ＝０の時の相関量の差分量ＤＣＯＲの絶対値が等しい場合を示している。この場合に、最終的に算出されるシフト量ｄｋ＝−０．５となる。

図９Ｂの場合には、相関量の差分量の関数がＸ軸（シフト量（ｋ）の軸）との交点に対して、概ね点対称の形状をしている。そのため、相関量差の関数からシフト量算出を行う際に用いるフィッティング関数によらず、最終的に算出されるシフト量は、ｄｋ＝−０．５となり、サブピクセル演算を用いたシフト量算出の際に発生する誤差は小さい。

図９Ｃの場合は、シフト量ｋ＝−１とシフト量ｋ＝０の間で相関量の差分量の符号が変化する場合で、シフト量ｋ＝−１の時の相関量の差分量ＤＣＯＲの絶対値の方がシフト量ｋ＝０の時の相関量の差分量ＤＣＯＲよりも大きい場合を示している。この場合に、最終的に算出されるシフト量ｄｋ＝−０．２５となる。

図９Ｃの場合には、相関量の差分量の関数がＸ軸（シフト量（ｋ）の軸）との交点に対して、点対称の形状をしておらず、フィッティング方法により、算出されるシフト量ｄｋに含まれる誤差量は異なる。本実施形態では、シフト量ｋ＝−１とシフト量ｋ＝０の相関量の差分量を用いた直線によるフィッティングを行うが、例えば、その他のシフト量の相関量の差分量を用いたフィッティング方法も考えられる。一般に、被写体のコントラストやパターンなどで、相関量の差分量の関数は形状が変わり、フィッティング方法により発生する誤差も変わる。そのため、図９Ｃの場合に、どのような相関量の差分量の関数においても誤差が少ないフィッティング方法を設定するのは困難で、サブピクセル演算を用いたシフト量算出の際に大きな誤差が発生しやすい状況となる。

図９Ａ〜９Ｃで説明した通りシフト量（ｋ）で算出した相関量の差分量の形状により、算出されるシフト量ｄｋに含まれる誤差の量が異なる。図１０に、誤差を含まないシフト量（真のシフト量）に対して、発生してしまう誤差の量の例を示している。

図１０は、真のシフト量が０から１まで変化した場合に、算出されるシフト量に含まれる誤差の量を示している。真のシフト量が０から１までの値でない場合も、０から１までの曲線が繰り返される。そのため、図９Ａの状況は、真のシフト量が０もしくは１の場合で、図９Ｂの状況は、真のシフト量が０．５の場合と対応する。図９Ｃの状況は、真のシフト量が０．７５の場合に対応する。

誤差の量は、相関量の差分量やシフト量を算出する際のフィッティング方法により異なるが、概ね真のシフト量が０．５の整数倍の時、誤差は小さくなり、その中間で誤差の量が大きくなる。そのため、合焦時にシフト量が０となる対のＡＦ用信号から算出されるシフト量と、合焦時にシフト量が０．５となる対のＡＦ用信号から算出されるシフト量とを用いて、平均処理を行うことにより、誤差の低減を図ることができる。例えば、真のシフト量が０．２５の場合に、真のシフト量が０．７５となる相関演算結果を得られれば、平均処理を行うことで、誤差の低減を図ることができる。

また、合焦時のシフト量が異なる複数の対のＡＦ用信号から算出されたシフト量の中から、シフト量が０．５の整数倍のものを選択することにより、誤差の低減を図ってもよい。

図８に戻って、ステップＳ５０４５で行うデフォーカス量の算出について説明する。本実施形態では、上述のサブピクセル演算を用いたシフト量算出の際に発生する誤差を低減するために、図８のステップＳ５０４１からＳ５０４４で算出されたシフト量ｄｋ１、ｄｋ２、ｄｋ３、ｄｋ４を用いる。

ステップＳ５０４５では、シフト量ｄｋ１、ｄｋ２、ｄｋ３、ｄｋ４の平均値としてｄｋ−ａｖｅを算出する。算出されたシフト量ｄｋ−ａｖｅに対して、予め不揮発性メモリ５６に記憶された敏感度を乗じることで、シフト量をデフォーカス量に換算する。デフォーカス量の算出を終えると、デフォーカス量算出サブルーチンを終了する。

本実施形態では、シフト量ｄｋ１とｄｋ２の平均処理により、被写体サンプリングの際に発生する誤差の低減を図り、シフト量ｄｋ１とｄｋ３の平均処理により、サブピクセル演算を用いたシフト量算出の際に発生する誤差の低減を図っている。同様に、シフト量ｄｋ２とｄｋ４の平均処理により、サブピクセル演算を用いたシフト量算出の際に発生する誤差の低減を図っている。さらに、シフト量ｄｋ３とｄｋ４の平均処理により、位相差検出方向に直交した方向にずれた被写***置をサンプリングすることにより発生する誤差の低減を図っている。一般に、位相差検出方向に直交した方向にずれた被写***置をサンプリングすると、被写体が斜め方向のコントラストで構成されたパターンの場合には、位相差検出誤差が発生する。但し、本実施形態のシフト量ｄｋ３とｄｋ４は、斜め方向にコントラストのある被写体で発生した誤差が、正負反対方向に発生するため、平均処理により低減することができる。

一方で、サブピクセル演算を用いたシフト量算出の際に発生する誤差の低減のみを行いたい場合には、シフト量ｄｋ１とｄｋ３の平均処理した結果からデフォーカス量の算出を行えばよい。このことは、第１の像信号群から選択した像信号と第２の像信号から算出された所定行数の位相差演算結果を用いて、１つの位相差演算結果を算出することを意味する。

これにより、位相差検出演算時のシフト量（デフォーカス状態）によらず、常に誤差の少ない高精度な位相差検出結果を得ることができる。

本実施形態では、撮像素子１４から得られる各画素の出力を２画素加算して位相差検出演算を行ったが、加算の処理は、撮像素子内で行われてもよい。撮像素子内で加算が行われた場合にも同様に、行毎に異なる被写***置をサンプリングした信号を作成することにより、本実施形態の構成を実現できる。

また、本実施形態では、２画素加算を行った後、位相差検出演算を行ったが、加算する画素数はこれに限らない。例えば、３画素加算をする場合には、焦点検出に用いる画素として３行３列の画素を用いて、下記の式でＡＦ用Ａ像、ＡＦ用Ｂ像の信号を生成する。

As(1,k)＝A(1,3×(k-1)+1)+A(1,3×(k-1)＋2)+A(1,3×(k-1)＋3)
Bs(1,k)＝B(1,3×(k-1)+1)+B(1,3×(k-1)＋2)+B(1,3×(k-1)＋3)
As(2,k)＝A(2,3×(k-1)+2)+A(2,3×(k-1)＋3)+A(2,3×(k-1)＋4)
Bs(2,k)＝B(2,3×(k-1)+2)+B(2,3×(k-1)＋3)+B(2,3×(k-1)＋4)
As(3,k)＝A(3,3×(k-1)+3)+A(3,3×(k-1)＋4)+A(3,3×(k-1)＋5)
Bs(3,k)＝B(3,3×(k-1)+3)+B(3,3×(k-1)＋4)+B(3,3×(k-1)＋5)
(1≦k≦M-1) …（式５）
式５によりＡＦ用Ａ像が３種、ＡＦ用Ｂ像が３種生成される。デフォーカス量算出のサブルーチンでは、ＡＦ用Ａ像３種×ＡＦ用Ｂ像３種の計９種のシフト量ｄｋを算出し、平均処理を行うことにより、高精度な位相差検出結果を得ることができる。加算する画素数を増やして、処理する信号を減らした場合でも、ＡＦ用信号のサンプリングピッチを加算する画素数で除した量の整数倍、位置をずらして被写体をサンプリングした信号を用いることにより、上述の効果を得ることができる。

また、本実施形態では、撮像素子１４の焦点検出装置としての機能を用いた場合を記したが、焦点検出装置１０５を用いてもよい。例えば、焦点検出装置１０５として、特開２０１１−１０００７７号公報に記載の焦点検出装置を用いればよい。特開２０１１−１０００７７号公報の段落番号００５９に記載の通り、１対の焦点検出用の画素列の隣に、画素ピッチの半分、位相差検出方向に位置のずれた１対の焦点検出用の画素列が配されている。このような場合には、画素加算を行うことなく、２種のＡＦ用Ａ像と２種のＡＦ用Ｂ像を用いて、４種のシフト量を算出し、平均処理を行うことにより、上述の場合と同様の効果を得ることができる。

（第２の実施形態）
以下、図１１から図１４を用いて、本発明の第２の実施形態について説明する。第１の実施形態との主な違いは、撮像素子の画素配列の違いである。第１の実施形態では、撮像素子上の全画素に対して２つの光電変換部を設けており、全画素からＡＦ用Ａ像とＢ像の出力信号を得ることができた。ＡＦ用信号の数が多いため、出力信号のＳ／Ｎが良く、精度のよい焦点検出結果を得ることができる。また、焦点検出用画素から、撮像用画素信号も得られるため、高画質な画像を得ることができる。但し、撮像素子の画素部の構成が複雑であり、また、ＡＦ用の信号出力や焦点検出結果を得るために必要な演算量が多いため、コストの高い構成であった。

第２の実施形態では、撮像素子の画素部は、撮像用画素、ＡＦのＡ像用画素、ＡＦのＢ像用画素と区別することにより、１つの画素に対して、１つの光電変換部のみ有するような構成とした。これにより、撮像素子の画素部の構成を簡易にし、また、ＡＦ用の信号出力や焦点検出結果を得るために必要な演算量を低減することができる。

なお、第１の実施形態における撮像装置のブロック図（図１）、撮影範囲内の焦点検出領域を示す図（図５）、焦点調節動作やデフォーカス量算出処理を説明するフローチャート（図７）、サブピクセル演算を用いたシフト量算出の際に発生する誤差を説明する図（図９Ａ〜９Ｃ、図１０）に関しては、第２の実施形態においても同様であり、同様の動作を行うため、説明は省略する。

第２の実施形態の撮像素子の構成が、第１の実施形態と異なる部分について、図１１から図１３を用いて説明する。第２の実施形態の焦点検出装置は第１の実施形態の焦点検出装置１０５と同様に位相差検出方式ＡＦを採用している。その構成について説明する。

図１１は本実施形態における撮像素子の画素配列を示した図で、２次元Ｃ−ＭＯＳエリアセンサの縦（Ｙ方向）６行と横（Ｘ方向）８列の範囲を、撮影光学系側から観察した状態を示している。カラーフィルタはベイヤー配列が適用され、奇数行の画素には、左から順に緑（Ｇｒｅｅｎ）と赤（Ｒｅｄ）のカラーフィルタが交互に設けられる。また、偶数行の画素には、左から順に青（Ｂｌｕｅ）と緑（Ｇｒｅｅｎ）のカラーフィルタが交互に設けられる。円３１１ｉはオンチップマイクロレンズを表わす。オンチップマイクロレンズの内側に配置された複数の矩形はそれぞれ光電変換部である。

本実施形態では、各画素の光電変換部は面積、Ｘ方向の位置が異なり、１つの画素に対して、１つの光電変換信号を読み出す構成となっている。

ここで、位相差式焦点検出を行なう場合の画素信号について説明する。後述するように、本実施形態においては、図１１のマイクロレンズ３１１ｉと、分割された光電変換部３１１ａ及び３１１ｂで、撮影光学系の射出光束を瞳分割する。そして、同一行上に配置された所定範囲内の複数の画素３１１において、光電変換部３１１ａの出力をつなぎ合わせて編成したものをＡＦ用Ａ像、同じく光電変換部３１１ｂの出力をつなぎ合わせて編成したものをＡＦ用Ｂ像とする。図１１の通り、ＡＦ用Ａ像、Ｂ像の出力信号は、各々４画素ピッチの緑のカラーフィルタが設けられた画素から得ることができる。また、ＡＦ用Ａ像、Ｂ像の出力信号は、被写体をサンプリングするピッチが半ピッチに相当する２画素分、位相差検出方向にずれて配置されている。

このように生成したＡＦ用Ａ像とＢ像の相対的な像ずれ量を相関演算により検出することで、所定領域の焦点ずれ量、すなわちデフォーカス量を検出することができる。本実施形態では、ＡＦ用Ａ像もしくはＢ像を出力する以外の画素である３１１ｃから撮像用の信号を得ることができ、画像を生成することができる。画像を生成する際には、ＡＦ用の画素３１１ａ、３１１ｂの部分の撮像用信号は、周囲の画素の出力を用いて補正処理を行う。補正の際には、ＡＦ用画素の出力を用いてもよい。複数の光電変換部３１１ａを、第１の画素群と呼び、複数の光電変換部３１１ｂは、第２の画素群と呼ぶ。

図１２は本実施形態の撮像素子における読み出し回路の構成を示した図である。１５１は水平走査回路、１５３は垂直走査回路である。そして各画素の境界部には、水平走査ライン２５２と、垂直走査ライン２５４が配線され、各光電変換部はこれらの走査ラインを介して信号が外部に読み出される。

なお、本実施形態の撮像素子は以下の２種類の読み出しモードを有する。第１の読み出しモードは全画素読み出しモードと称するもので、高精細静止画を撮像するためのモードである。この場合は、全画素の信号が読み出される。

第２の読み出しモードは間引き読み出しモードと称するもので、動画記録、もしくはプレビュー画像の表示のみを行なうためのモードである。この場合に必要な画素数は全画素よりも少ないため、画素群はＸ方向及びＹ方向ともに所定比率に間引いた画素のみ読み出す。また、高速に読み出す必要がある場合にも、同様に間引き読み出しモードを用いる。Ｘ方向に間引く際には、信号の加算を行いＳ／Ｎの改善を図り、Ｙ方向に対する間引きは、間引かれる行の信号出力を無視する。Ｘ方向の加算の際には、ＡＦ用の画素３１１ａ、３１１ｂの信号は、それぞれ３１１ａ同士、３１１ｂ同士で加算されるか、もしくは、ＡＦ用の画素は、加算されない状態で、出力される。

図１３Ａ、１３Ｂ、１３Ｃは、本実施形態の撮像装置において、撮影光学系の射出瞳面と、像高ゼロすなわち像面中央近傍に配置された撮像素子の光電変換部の共役関係を説明する図である。撮像素子内の光電変換部と撮影光学系の射出瞳面は、オンチップマイクロレンズによって共役関係となるように設計される。そして撮影光学系の射出瞳は、一般的に光量調節用の虹彩絞りが置かれる面とほぼ一致する。一方、本実施形態の撮影光学系は変倍機能を有したズームレンズであるが、光学タイプによっては変倍操作を行なうと、射出瞳の像面からの距離や大きさが変化する。図１３Ａ〜１３Ｃにおける撮影光学系は、焦点距離が広角端と望遠端の中間、すなわちＭｉｄｄｌｅの状態を示している。これを標準的な射出瞳距離Ｚｅｐと仮定して、オンチップマイクロレンズの形状や、像高（Ｘ、Ｙ座標）に応じた偏心パラメータの最適設計がなされる。

図１３Ａ、図１３Ｂにおいて、１０１は第１レンズ群、１０１ｂは第１レンズ群を保持する鏡筒部材、１０５は第３レンズ群、１０５ｂは第３レンズ群を保持する鏡筒部材である。１０２は絞りで、１０２ａは絞り開放時の開口径を規定する開口板、１０２ｂは絞り込み時の開口径を調節するための絞り羽根である。なお、撮影光学系を通過する光束の制限部材として作用する１０１ｂ、１０２ａ、１０２ｂ、及び１０５ｂは、像面から観察した場合の光学的な虚像を示している。また、絞り１０２の近傍における合成開口をレンズの射出瞳と定義し、前述したように像面からの距離をＺｅｐとしている。

２１１０は、被写体像を光電変換するための画素で、像面中央近傍に配置されており、本実施形態では、中央画素と呼ぶ。中央画素２１１０は、最下層より、光電変換部３１１０ａ（図１３Ａ）もしくは光電変換部３１１０ｂ（図１３Ｂ）、配線層２１１０ｅ〜２１１０ｇ、カラーフィルタ２１１０ｈ、及びオンチップマイクロレンズ２１１０ｉの各部材で構成される。そして２つの光電変換部はオンチップマイクロレンズ２１１０ｉによって撮影光学系の射出瞳面に投影される。また別の言い方をすれば、撮影光学系の射出瞳が、オンチップマイクロレンズ２１１０ｉを介して、光電変換部の表面に投影されることになる。

図１３Ｃは、撮影光学系の射出瞳面上における、光電変換部の投影像を示したもので、光電変換部３１１０ａ及び３１１０ｂに対する投影像は各々ＥＰ１ａ及びＥＰ１ｂとなる。また本実施形態では、撮像素子は、２つの光電変換部３１１０ａと３１１０ｂのいずれか一方の出力と、両方の和の出力を得ることができる画素を有している。両方の和の出力は、撮影光学系のほぼ全瞳領域である投影像ＥＰ１ａ、ＥＰ１ｂの両方の領域を通過した光束を光電変換したものである。投影像ＥＰ１ａを、第１の瞳領域と呼び、投影像ＥＰ１ｂを、第２の瞳領域と呼ぶ。

図１３Ａ、図１３Ｂで、撮影光学系を通過する光束の最外部をＬで示すと、光束Ｌは、絞りの開口板１０２ａで規制されており、投影像ＥＰ１ａ及びＥＰ１ｂは撮影光学系でケラレがほぼ発生していない。図１３Ｃでは、図１３Ａ、図１３Ｂの光束Ｌを、ＴＬで示している。ＴＬで示す円の内部に、光電変換部の投影像ＥＰ１ａ、ＥＰ１ｂの大部分が含まれていることからも、ケラレがほぼ発生していないことがわかる。光束Ｌは、絞りの開口板１０２ａでのみ制限されているため、ＴＬは、１０２ａと言い換えることができる。この際、像面中央では各投影像ＥＰ１ａ及びＥＰ１ｂのけられ状態は光軸に対して対称となり、各光電変換部３１１０ａ及び３１１０ｂが受光する光量は等しい。

以上図１１、図１２、図１３で説明した様に、撮像素子１４は撮像のみの機能だけではなく焦点検出装置としての機能も有している。また、焦点検出方法としては、射出瞳を分割した光束を受光する焦点検出用画素を備えているため、位相差検出方式ＡＦを行うことが可能である。

図１４は、焦点検出領域４０１内に配置された２行２Ｎ列の画素を示している。図１１に示したような離散的に配置されたＡＦ用Ａ像の画素３１１ａとＡＦ用Ｂ像の画素３１１ｂの出力のみを抽出して配したものを示している。ＡＦ用の画素のみで構成された画像信号のｉ行上のｊ個目のＡＦ用Ａ像の信号を作成するために用いられる画素をＡ（ｉ，ｊ）とし、同様にｉ行上のｊ個目のＡＦ用Ｂ像の信号を作成するために用いられる画素をＢ（ｉ，ｊ）として示している。図１４に示したＡＦ用信号は、上述の第１の読み出しモードで全画素の信号出力から抽出されたものでもよいし、第２の読み出しモードで、ＡＦ用Ａ像、Ｂ像画素同士で加算され、得られたものでもよい。

図１１に示した通り、ＡＦ用Ａ像画素３１１ａとＢ像画素３１１ｂは、配置された行によって順番が異なっている。例えば、図１１で１行目はＡＦ用Ａ像画素３１１ａ、Ｂ像用画素３１１ｂ、３１１ａ…の順に配されているが、３行目では、ＡＦ用Ｂ像画素３１１ｂ、Ａ像用画素３１１ａ、３１１ｂ…の順に配されている。そのため、図１４においても、１行目と２行目で、ＡＦ用Ａ像、Ｂ像の画素の順序が異なっている。このように配置することにより、位相差検出方向に被写体のサンプリング位置をずらすことができ、画素ピッチ（図１１で４画素）から得られる以上に高周波な空間周波数成分の被写体情報を得ることができる。

本実施形態で行う焦点検出の際に用いるＡＦ用の信号は、第１の実施形態とは異なり、加算処理は行わないため、上述のＡ（ｉ，ｊ）、Ｂ（ｉ，ｊ）は、そのまま焦点検出処理に用いる信号出力となる。

本実施形態では、各行でＡ像用画素とＢ像用画素が交互に配された状態で得られるＡ像用信号Ａ（ｉ，ｊ）とＢ像用信号Ｂ（ｉ，ｊ）を用いて位相差検出を行う。これら２対の信号を用いた位相差検出方法については、第１の実施形態の通りであるため、説明は省略する。第１の画素群の出力信号で構成される第１の像信号群であるＡＦ用Ａ像信号は、位相差検出方向と直交方向（図１４の垂直方向）に、２行の画素列を有する。このことは、第１の画素群が、画素列方向と直交した方向に配された２以上の所定行数の画素列で構成されることを意味する。言い換えると、ここでの所定行数は、図１４では、２行となる。

また、第１の像信号群であるＡＦ用Ａ像信号は、１行目の信号と２行目の信号で、サンプリングピッチの半ピッチ分、位相差検出方向に被写体のサンプリング位置がずれている。このことは、第１の像信号群は、サンプリングする位置に関して画素列方向に、所定の間隔を所定行数で割った値の整数倍の相違量を互いに有していることを意味する。言い換えると、上述の例では、所定の間隔が２画素となり、所定行数である２行で割った値である１画素の整数倍（上述の例では１倍の１画素）の相違量を有している。

上述のように得られたＡＦ用Ａ像、Ｂ像の信号を用いて、第１の実施形態の図７、図８のフローで説明した処理を、第１の実施形態と同様に行う。画素数については、第１の実施形態ではＮ−１画素の対の信号で説明したが、第２の実施形態では、Ｎ画素の対の信号を用いる。

これにより、第１の実施形態に対して、高コストな構成とすることなく、位相差検出演算時のシフト量（デフォーカス状態）によらず、常に誤差の少ない高精度な位相差検出結果を得ることができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (9)

1. 被写体像を結像させる撮影光学系の第１の瞳領域を通過した光束を受光する画素が垂直方向に所定の行数配列された第１の画素群と、前記撮影光学系の前記第１の瞳領域とは異なる第２の瞳領域を通過した光束を受光する画素が垂直方向に所定の行数配列された第２の画素群とを有する撮像手段と、
   前記第１の画素群の画素の信号と前記第２の画素群の画素の信号とを用いて相関演算を行う相関演算手段とを備え、
   前記相関演算手段は、
   前記第１の画素群から水平方向に所定の間隔でサンプリングした第１のサンプリング画素の信号と、該第１のサンプリング画素と同じ行の前記第２の画素群から水平方向に前記所定の間隔でサンプリングした第２のサンプリング画素の信号とを用いて第１の相関演算を行い、
   前記第１のサンプリング画素とは異なる行の前記第１の画素群から水平方向に前記所定の間隔とは所定の位置ずれ量を有する間隔でサンプリングした第３のサンプリング画素の信号と、前記第２の画素群の前記第２のサンプリング画素の信号とを用いて第２の相関演算を行い、
   前記第１の相関演算の結果と前記第２の相関演算の結果とを用いてデフォーカス量を算出する
   ことを特徴とする撮像装置。
2. 前記所定の位置ずれ量は、前記撮像手段の受光面において、前記第１のサンプリング画素のサンプリングの間隔を前記所定の行数で割った値の整数倍の量であることを特徴とする請求項１に記載の撮像装置。
3. 前記第１の画素群を構成する第１の画素と、前記第２の画素群を構成する第２の画素は、同じ構造を有することを特徴とする請求項１に記載の撮像装置。
4. 前記第１の画素群を構成する第１の画素と、前記第２の画素群を構成する第２の画素は、異なる構造を有することを特徴とする請求項１に記載の撮像装置。
5. 前記第１の画素と、前記第２の画素は、前記撮像素子の撮像面上に離散的に配置されていることを特徴とする請求項４に記載の撮像装置。
6. 撮像用の信号を生成するための第３の画素をさらに有することを特徴とする請求項５に記載の撮像装置。
7. 被写体像を結像させる撮影光学系の第１の瞳領域を通過した光束を受光する画素が垂直方向に所定の行数配列された第１の画素群と、前記撮影光学系の前記第１の瞳領域とは異なる第２の瞳領域を通過した光束を受光する画素が垂直方向に所定の行数配列された第２の画素群とを有する撮像手段と、を備える撮像装置を制御する方法であって、
   前記第１の画素群の画素の信号と前記第２の画素群の画素の信号とを用いて相関演算を行う相関演算工程を備え、
   前記相関演算工程では、
   前記第１の画素群から水平方向に所定の間隔でサンプリングした第１のサンプリング画素の信号と、該第１のサンプリング画素と同じ行の前記第２の画素群から水平方向に前記所定の間隔でサンプリングした第２のサンプリング画素の信号とを用いて第１の相関演算を行い、
   前記第１のサンプリング画素とは異なる行の前記第１の画素群から水平方向に前記所定の間隔とは所定の位置ずれ量を有する間隔でサンプリングした第３のサンプリング画素の信号と、前記第２の画素群の前記第２のサンプリング画素の信号とを用いて第２の相関演算を行い、
   前記第１の相関演算の結果と前記第２の相関演算の結果とを用いてデフォーカス量を算出する
   ことを特徴とする撮像装置の制御方法。
8. 請求項７に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
9. 請求項７に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images