JP5786355B2 - デフォーカス量検出装置および電子カメラ - Google Patents

Description

本発明は、デフォーカス量検出装置および電子カメラに関する。

従来、二次元状に撮像用画素が配置された撮像素子の一部の領域にデフォーカス量検出用の瞳分割像を受光する瞳分割画素を配置し、撮像用画素によって画像を撮像すると同時に、瞳分割方向が異なる瞳分割画素の画素データ同士の位置ズレを検出することによりデフォーカス量を検出する技術が知られている。さらに、撮像画像の画質劣化を低減するために、デフォーカス検出用データの画素密度を維持しつつ撮像用の全瞳データの画素密度の低下を抑制する技術が提案されている（例えば特許文献１参照）。

特開２００９−１４１３９０号公報

しかしながら、従来技術では瞳分割画素の瞳分割データと撮像用画素の全瞳データとを用いて被写体像の位置ズレを検出する処理において、瞳分割画素と同じ列に交互に配置された全瞳データだけを用いるので、空間周波数成分が高い被写体に対して充分な位置ズレ検出ができず、デフォーカス量の精度が低下して撮影画像のピントが甘くなってしまうという問題があった。

本発明の目的は、瞳分割データと全瞳データとを用いた位置ズレ検出精度を向上することができるデフォーカス量検出装置および電子カメラを提供することである。

本発明に係るデフォーカス量検出装置は、二次元状に配置された撮像用画素の一部に瞳分割画素が配列された撮像素子から前記瞳分割画素の瞳分割データおよび前記瞳分割画素周辺の前記撮像用画素の全瞳データを読み込む画像データ入力部と、前記画像データ入力部が読み込んだ前記撮像用画素の前記全瞳データから前記瞳分割画素位置の全瞳データを補間生成する全瞳データ生成部と、前記全瞳データ生成部により補間生成された前記瞳分割画素位置の前記全瞳データおよび前記撮像用画素の全瞳データと、前記瞳分割画素から読み込まれた前記瞳分割データとの位置ズレ量を検出する位置ズレ検出部と、前記位置ズレ検出部が検出した位置ズレ量に応じてデフォーカス量を求めるデフォーカス量算出部とを有することを特徴とする。

特に、前記全瞳データ生成部は、前記撮像用画素から読み込まれた前記全瞳データに基づいて画像構造の方向を判定し、該判定結果に応じて前記瞳分割画素位置の全瞳データを補間生成する際に参照する前記撮像用画素を選択することを特徴とする。

さらに、前記全瞳データ生成部は、前記画像構造の方向を判定する際に、前記瞳分割画素に隣接する上下の前記全瞳データの差分と左右の前記全瞳データの差分とを比較し、差分が小さい方の前記全瞳データを用いて前記瞳分割画素位置の全瞳データを補間生成することを特徴とする。

また、前記全瞳データ生成部は、画像構造の方向を判定するための全瞳データと、前記瞳分割画素位置の全瞳データを補間生成する際に参照する全瞳データとに、前記瞳分割画素周辺の同じ範囲の前記撮像用画素の全瞳データを使用することを特徴とする。

さらに、前記全瞳データ生成部は、前記瞳分割画素が配置された列の全画素位置に対して全瞳データを生成することを特徴とする。

また、前記画像データ入力部は、前記瞳分割画素が配置された列から前記瞳分割データおよび前記全瞳データを、前記瞳分割画素が配置された列の上下の列から前記全瞳データをそれぞれ読み込むことを特徴とする。

或いは、前記画像データ入力部は、前記瞳分割画素周辺の複数の前記撮像用画素の全瞳データを前記撮像素子内で加算平均したデータを前記瞳分割画素位置の全瞳データとして読み出すことを特徴とする。

本発明に係る電子カメラは、前記デフォーカス量検出装置を有することを特徴とする電子カメラ。

本発明に係るデフォーカス量検出装置および電子カメラは、瞳分割データと全瞳データを用いた位置ズレ量の検出精度を向上することができる。

本実施形態に係る電子カメラ１０１の構成例を示す図である。 撮像素子１０４の画素配置例を示す図である。 瞳分割画素の配置例を示す図である。 制御部１０８の構成例を示す図である。 全瞳データの補間生成処理の説明図である。 補間生成後の瞳分割画素のデータ例を示す図である。 全瞳データと瞳分割データの様子を示す図である。 従来の全瞳データと瞳分割データの様子を示す図である。 位置ズレ検出処理の説明図である。 内挿法による位置ズレ量の求め方を示す図である。 ＡＦ処理のフローチャートである。 撮像素子１０４の画素配置の変形例１を示す図である。 撮像素子１０４の画素配置の変形例２を示す図である。 撮像素子１０４の変形例を示す図である。

以下、本発明に係るデフォーカス量検出装置および電子カメラの実施形態について図面を用いて詳しく説明する。尚、以下の実施形態では、本発明に係るデフォーカス量検出装置が搭載された電子カメラ１０１の例について説明するが、デフォーカス量検出を行う専用のデバイスに適用してもよい。

［電子カメラ１０１の構成］
先ず、電子カメラ１０１の構成について説明する。図１は電子カメラ１０１の構成例を示すブロック図で、電子カメラ１０１は、光学系１０２と、メカニカルシャッタ１０３と、撮像素子１０４と、Ａ／Ｄ変換部１０５と、画像バッファ１０６と、画像処理部１０７と、制御部１０８と、メモリ１０９と、表示部１１０と、操作部１１１と、メモリカードＩＦ（インターフェース）１１２とで構成される。

光学系１０２は、ズームレンズやフォーカスレンズなどの複数枚のレンズおよびレンズ位置駆動機構、絞りおよび絞り駆動機構などで構成される。そして、制御部１０８は、レンズ位置駆動機構および絞り駆動機構に指令してズームレンズやフォーカスレンズの位置制御および絞り制御などを行う。

メカニカルシャッタ１０３は、シャッタおよびシャッタ駆動機構とで構成される。そして、制御部１０８は、シャッタ速度に応じてシャッタ駆動機構を制御して所定時間だけシャッタを開閉し、光学系１０２の光束を撮像素子１０４に入射する。

撮像素子１０４は、例えばＣＭＯＳ型固体撮像素子で構成され、受光面に光電変換部を有する複数の画素が二次元状に配置されている。そして、制御部１０８の指令に応じて、各画素で光電変換された画像信号を読み出す。特に、本実施形態に係る電子カメラ１０１の撮像素子１０４は、デフォーカス量を求めるために、撮像素子１０４の撮像用画素の一部に瞳分割方式による焦点検出を行うための瞳分割画素が配置されている。

Ａ／Ｄ変換部１０５は、撮像素子１０４が出力するアナログの画像信号をデジタルの画像データに変換し、撮影画像１枚分の画像データを画像バッファ１０６に記憶する。例えば、撮像素子１０４から読み出される画像の解像度が１０００画素×１０００画素である場合、１００万画素分の画像データが画像バッファ１０６に取り込まれる。

画像バッファ１０６は、例えば揮発性の高速メモリで構成される。そして、Ａ／Ｄ変換部１０５が出力する画像データを取り込むだけでなく、画像処理部１０７が画像処理を行う際のバッファメモリとしても使用される。或いは、撮影画像およびメモリカードＩＦ１１２に接続されたメモリカード１１２ａに保存されている撮影済の画像を読み出して表示部１１０に表示するときの表示バッファとしても使用される。

画像処理部１０７は、画像バッファ１０６に取り込まれた画像データに対して、ホワイトバランス処理，色補間処理，ガンマ補正処理，彩度強調処理，輪郭輪郭強調処理などの画像処理を施す。また、ＪＰＥＧ規格などに準拠した画像圧縮方法で画像処理後の画像データに画像圧縮処理を施す。

制御部１０８は、例えば内部に記憶されたプログラムに従って動作するＣＰＵで構成され、電子カメラ１０１全体の動作を制御する。例えば制御部１０８は、操作部１１１のレリーズボタン押下時に光学系１０２のフォーカスレンズの位置制御や絞り制御を行ってメカニカルシャッタ１０３を開閉し、撮像素子１０４で被写体画像を撮像する。そして、制御部１０８は、撮像素子１０４から読み出した画像信号をＡ／Ｄ変換部１０５で画像データに変換し、１画面分の画像データを画像バッファ１０６に取り込む。さらに、制御部１０８は、画像バッファ１０６に取り込まれた画像データに対して所定の画像処理を施すよう画像処理部１０７に指令する。そして、制御部１０８は、画像処理後の画像データに所定のファイル名やヘッダ情報を付加してメモリカードＩ／Ｆ１１２に装着されているメモリカード１１２ａに保存する。或いは、画像処理後の画像データを撮影画像として表示部１１０に表示する。また、制御部１０８は、後に説明するオートフォーカス処理（ＡＦ処理）を実行する。

メモリ１０９は、例えばフラッシュメモリなどの不揮発性の半導体メモリで構成され、電子カメラ１０１の撮影モード、露出情報やフォーカス情報などのパラメータが記憶される。制御部１０８は、これらのパラメータを参照して電子カメラ１０１の動作を制御する。尚、これらのパラメータは、操作部１１１を介して行われるユーザー操作に応じて適宜更新される。特に本実施形態では、メモリ１０９には、フォーカス制御に用いられる被写体像の位置ズレ量をデフォーカス量に変換するためのテーブルまたは変換式が予め記憶されている。

表示部１１０は、液晶モニタなどで構成される。そして、制御部１０８は、撮影画像や電子カメラ１０１の動作設定に必要なメニュー画面などを表示する。

操作部１１１は、電源ボタン、レリーズボタン、撮影モード選択ダイヤル、メニュー画面操作用の十字ボタンなどで構成される。ユーザーは、これらの操作ボタンを操作して電子カメラ１０１を使用する。例えば撮影モード選択ダイヤルでは、撮影モードやフォーカスモードなどを選択する。そして、これらの操作ボタンの操作情報は制御部１０８に出力され、制御部１０８は操作情報に応じて電子カメラ１０１の動作を制御する。

メモリカードＩＦ１１２は、電子カメラ１０１にメモリカード１１２ａを接続するためのインターフェースである。そして、制御部１０８は、メモリカードＩＦ１１２を介してメモリカード１１２ａに画像データを読み書きする。

以上が電子カメラ１０１の構成および基本動作である。

［撮像素子１０４の画素配置］
次に、本実施形態に係る電子カメラ１０１で使用する撮像素子１０４の画素配置の一例について図２を用いて説明する。図２において、撮像素子１０４は、ｘ軸方向およびｙ軸方向の二次元状に複数の画素が配置されている。尚、各画素はｘ座標とｙ座標とを用いて画素ｐ（ｘ，ｙ）と表記する。例えば、ｘ座標がｘ０、ｙ座標がｙ０の位置の画素は、画素ｐ（ｘ０，ｙ０）となる。

また、図２において、二次元状に配置された複数の画素は、Ｒ、Ｇ、Ｂ、Ａの４種類の符号が付けられている。Ｒは赤色のフィルタを有する画素、Ｇは緑色のフィルタを有する画素、Ｂは青色のフィルタを有する画素をそれぞれ示し、これらのＲＧＢの各画素は撮像用画素としてベイヤー配列に従って配置されている。そして、本実施形態に係る電子カメラ１０１の撮像素子１０４では、撮像用画素の一部の画素に瞳分割方式による被写体像の位置ズレ量を検出するための瞳分割画素が配置されている。図２において、符号Ａで示された画素が瞳分割画素で、同図では画素ｐ（ｘ０−４，ｙ０）、画素ｐ（ｘ０−２，ｙ０）、画素ｐ（ｘ０，ｙ０）、画素ｐ（ｘ０＋２，ｙ０）、画素ｐ（ｘ０＋４，ｙ０）の５つの画素が瞳分割画素に該当し、瞳分割方向に対応する行ｙ０に１画素置きに配置されている。

尚、図２では５つの瞳分割画素しか描かれていないが、瞳分割方式による被写体像の位置ズレ量を検出可能な数の瞳分割画素が行ｙ０に同様に配置されている。また、図２の例では、ベイヤー配列のＢ画素の位置に瞳分割画素を配置したが、行（ｙ０＋１）のＲ画素の位置に瞳分割画素を配置してもよい。或いは、他の行のＧ画素の位置に配置してもよい。また、瞳分割方向が列方向である場合も同様である。また、本実施形態では、後で説明するように、瞳分割画素位置の全瞳データをＧ画素から補間生成して、位置ズレ量を求めるので、瞳分割画素を覆うカラーフィルターの分光透過率はＧ画素と同じであるものとする。但し、異なる色成分の構造は類似する傾向があるので、分光透過率が異なっても画像構造の判定や位置ズレ量の検出を行うことができるので、瞳分割画素を覆うカラーフィルターの分光透過率は、全瞳画素と異なっていてもよい。

ここで、撮像用画素と瞳分割画素について説明する。図３（ａ）は、図２の行ｙ０の各画素を光束の入射方向から見た図である。図３（ａ）において、行番号および列番号は図２に対応し、画素ｐ（ｘ０−４，ｙ０）、画素ｐ（ｘ０−２，ｙ０）、画素ｐ（ｘ０，ｙ０）、画素ｐ（ｘ０＋２，ｙ０）、画素ｐ（ｘ０＋４，ｙ０）の５つの画素が瞳分割画素である。例えば瞳分割画素ｐ（ｘ０，ｙ０）は、フォトダイオードなどで構成される光電変換部３６１と、マイクロレンズ３６２とを有し、光電変換部３６１は画素の左側に偏って配置されている。他の４つの瞳分割画素についても同様に光電変換部３６１は画素の左側に偏って配置されている。一方、瞳分割画素と交互に配置されている撮像用画素は、例えば撮像用画素ｐ（ｘ０＋１，ｙ０）のように、フォトダイオードなどで構成される光電変換部３６３と、マイクロレンズ３６４とを有し、光電変換部３６３は左右に偏ることなく画素全体に配置されている。これは、図４（ｂ）に示すように、他の行の撮像用画素Ｒ、Ｇ、Ｂのそれぞれについても同様である。また、図４（ａ）および図４（ｂ）の例では、瞳分割画素の光電変換部３６１は画素の左側に偏って配置されているが、図４（ｃ）に示すように、画素の右側に偏って配置されてもよい。尚、瞳分割画素のように左側または右側に偏って配置された光電変換部から得られる画像データを瞳分割データと称する。また、左側または右側に偏って配置されることなく全画素に均等に配置された光電変換部から得られる画像データを全瞳データと称する。

［オートフォーカス処理］
ここで、本実施形態に係る電子カメラ１０１は、オートフォーカス機能を有しており、制御部１０８により実行される。オートフォーカス機能を使用する場合、制御部１０８は、メカニカルシャッタ１０３を開放状態にして光学系１０２を介して入射する被写体像を撮像素子１０４で撮像し、デフォーカス量を検出する。そして、制御部１０８は、デフォーカス量に応じて光学系１０２のフォーカスレンズ位置を制御し、フォーカス位置に合わせる。

次に、制御部１０８のＡＦ処理部２００により実行されるオートフォーカス処理について詳しく説明する。図４は、制御部１０８のＡＦ処理部２００の構成を示すブロック図である。図４において、ＡＦ処理部２００は、画像データ入力部２０１と、全瞳データ生成部２０２と、位置ズレ量検出部２０３と、デフォーカス量算出部２０４と、フォーカスレンズ制御部２０５とで構成される。尚、図４の例ではわかり易いように５つのブロックに分けたが、いずれかのブロックを１つにまとめてもよいし、１つのブロックの処理を複数のブロックに分けてもよい。例えば位置ズレ量検出部２０３とデフォーカス量算出部２０４とフォーカスレンズ制御部２０５とを１つのブロックにまとめてフォーカス制御部としてもよい。以下、図４の各ブロックについて説明する。

画像データ入力部２０１は、撮像素子１０４から読み出す画素の範囲を指定して読み出す処理を行う。例えば図２の場合、画像データ入力部２０１は、瞳分割画素を含む行ｙ０を撮像素子１０４から読み出す。或いは、画像データ入力部２０１は、行ｙ０の前後の行（ｙ０−１）と行（ｙ０＋１）を含む３行分の画像信号を撮像素子１０４から読み出す。そして、撮像素子１０４から読み出された画像信号は、Ａ／Ｄ変換部１０５で画像データに変換されて、画像バッファ１０６に取り込まれる。そして、画像データ入力部２０１は、画像バッファ１０６に取り込まれた瞳分割画素およびその周辺の撮像用画素の画像データを全瞳データ生成部２０２に出力する。

全瞳データ生成部２０２は、デフォーカス量検出のために、画像データ入力部２０１が撮像素子１０４から読み込んだ撮像用画素の全瞳データから瞳分割画素位置の全瞳データを補間する。例えば図５に示すように、瞳分割画素ｐ（ｘ０，ｙ０）の全瞳データＤを周辺のＧ画素（画素ｐ（ｘ０，ｙ０−１）、画素ｐ（ｘ０，ｙ０＋１）、画素ｐ（ｘ０−１，ｙ０）、画素ｐ（ｘ０＋１，ｙ０））から補間する。特に本実施形態に係る電子カメラ１０１では、補間する際に画像の構造を判別して補間に使用する画素を決定する。ここで、画像の構造とは、画素値が変化する形を意味し、例えば縦線の場合は縦方向の変化が少なく、横方向の変化が大きくなる。逆に横線の場合は横方向の変化が少なく、縦方向の変化が大きくなる。

これにより、被写体像が縦線の場合には瞳分割画素の上下のＧ画素を用い、被写体像が横線の場合には瞳分割画素の左右のＧ画素を用いて瞳分割画素位置の全瞳データを補間するので、補間精度が高くなり細い線構造を正しく再現できる。

尚、本実施形態に係る電子カメラ１０１では、画像の構造を求める際に使用する撮像用画素に、補間生成に使用する撮像用画素と同じ範囲の画素を用いる。これにより、画像構造の判定のためだけに別に撮像素子１０４から画像データを読み出す必要がなくなり、処理負荷の低減と処理速度の向上を図ることができる。もちろん、画像構造をより正確に求めるために、処理速度に余裕がある場合は、瞳分割画素の行の上下２行の画素だけでなくさらに広い範囲の画素を読み出すようにしても構わない。また、補間に用いる画素についても上記には限定されず、さらに広い範囲の画素を参照して補間するようにしても良い。

次に、補間方法の一例について具体的に説明する。図５において、先ず、全瞳データ生成部２０２が瞳分割画素ｐ（ｘ０，ｙ０）の全瞳データＤを補間する際に、周辺のＧ画素（画素ｐ（ｘ０，ｙ０−１）、画素ｐ（ｘ０，ｙ０＋１）、画素ｐ（ｘ０−１，ｙ０）、画素ｐ（ｘ０＋１，ｙ０））から画像構造を判別する。画像構造の判別は、瞳分割画素ｐ（ｘ０，ｙ０）の上下のＧ画素（画素ｐ（ｘ０，ｙ０−１）および画素ｐ（ｘ０，ｙ０＋１））の差分の絶対値Ｄｖと（式１）、瞳分割画素ｐ（ｘ０，ｙ０）の左右のＧ画素（画素ｐ（ｘ０−１，ｙ０）および画素ｐ（ｘ０＋１，ｙ０））の差分の絶対値Ｄｈとを求め（式２）、差分の絶対値Ｄｖと差分の絶対値Ｄｈとを比較する。
Dv=|G(x0,y0-1)-G(x0,y0+1)| …（式１）
Dh=|G(x0-1,y0)-G(x0+1,y0)| …（式２）
・Ｄｖ≦Ｄｈの場合は、（式３）により、瞳分割画素ｐ（ｘ０，ｙ０）の全瞳データＤ（ｘ０，ｙ０）を求める。
D(x0,y0)=(G(x0,y0-1)+G(x0,y0+1))/2 …（式３）
・Ｄｖ＞Ｄｈの場合は、（式４）により、瞳分割画素ｐ（ｘ０，ｙ０）の全瞳データＤ（ｘ０，ｙ０）を求める。
D(x0,y0)=(G(x0-1,y0)+G(x0+1,y0))/2 …（式４）
同様に、他の瞳分割画素ｐ（ｘ０−４，ｙ０）、画素ｐ（ｘ０−２，ｙ０）、画素ｐ（ｘ０＋２，ｙ０）、画素ｐ（ｘ０＋４，ｙ０）についても周辺のＧ画素から補間して各瞳分割画素位置の全瞳データＤを求める。

また、瞳分割画素と同じ行の撮像用画素のＧ画素については、そのままＧ画素の画素データをそのＧ画素位置の全瞳データＤとする。これにより、図６に示すような、瞳分割画素位置には、瞳分割データＡと補間生成した全瞳データＤの２つの画像データと、瞳分割画素の間にあるＧ画素位置の全瞳データＤとを用いて、瞳分割方式による位置ズレ量の検出を行うことができる。

図７は、行ｙ０の各画素の画素値の例を示すグラフである。図７において、実線は光学系１０２から入射する全瞳像の明るさの変化を示し、点線は光学系１０２から入射する瞳分割像の明るさの変化を示している。そして、黒丸印はＧ画素位置の全瞳データＤまたは瞳分割画素位置の補間生成された全瞳データＤを示し、白三角印は瞳分割画素位置の瞳分割データＡを示している。尚、図３に示したように、瞳分割画素の受光面積は撮像用画素の受光面積の半分しかないので、撮像素子１０４から読み出される瞳分割画素の出力信号は撮像用画素の出力信号の１／２になるが、図７のグラフでは瞳分割データと全瞳データの値が同じになるように瞳分割データに約２倍の係数を掛けて出力レベルを調整している。但し、撮像用画素の全瞳データの大きさに対する瞳分割画素の瞳分割データの大きさの割合は、光学系１０２のＦ値、瞳距離、撮像素子１０４の受光面上の画素位置などに応じて変わる場合があるので、これらの光学条件に基づいて上記係数を調整してもよい。或いは、（近傍の撮像用画素の全瞳データの平均／近傍の瞳分割画素の瞳分割データの平均）を求めて、上記係数として用いてもよい。

このようにして、瞳位置が異なる全瞳データと瞳分割データとの被写体像の位置ズレ量を検出することができ、位置ズレ量からデフォーカス量を求めてフォーカス制御を行うことができる。例えば図７の場合、ｘ座標が４，５以外の画素値は約２００の明るさで、中央部の谷が約７０の明るさの画像構造を有している。図７において、実線で示した全瞳像と点線で示した瞳分割像との実際の位置ズレ量は、実線と点線の谷の位置に着目すると約０．５画素である。ここで、この位置ズレ量を正確に求められない場合、デフォーカス量に誤差が生じ、フォーカスが甘くなるなどの問題が生じるが、本実施形態に係る電子カメラ１０１の位置ズレ量検出部２０３は、正確な位置ズレ量を求めることができる。

次に、位置ズレ量検出部２０３の処理について説明する。位置ズレ量検出部２０３は全瞳データ生成部２０２が補間した瞳分割画素位置の全瞳データおよび瞳分割画素と交互に配置されている撮像用画素の全瞳データと、瞳分割画素位置の瞳分割データとを用いて被写体像の位置ズレ量を求める。

ここで、本実施形態に係る電子カメラ１０１の特徴がわかり易いように、従来の位置ズレ量の検出方法について、図８を用いて説明する。図８は、先に説明した図７に対応する図で、全瞳像の実線と瞳分割像の点線とで示された画像構造は図７と同じである。図８において、黒四角印は瞳分割画素と同じ行にあるＧ画素位置の全瞳データを示し、白三角印は図７と同様に瞳分割画素位置の瞳分割データを示している。尚、図８においても、図７と同様に、瞳分割データと全瞳データの値が同レベルになるように瞳分割データに約２倍の係数を掛けている。

このように、従来は、全瞳データの画素位置と、瞳分割データの画素位置とが１画素毎に交互に得られるだけなので、全瞳データから得られる谷の位置はｘ座標が４の位置で、瞳分割データから得られる谷の位置はｘ座標の５の位置であるという情報しか得られない。このため、全瞳データと瞳分割データとの位置ズレ量は１画素と判定される。そして、１画素の位置ズレ量に応じたデフォーカス量が求められフォーカス制御が実行される。ところが、実際の位置ズレ量は約０．５画素なので、デフォーカス量に誤差が生じ、フォーカス位置が甘くなってしまうという問題が生じる。

これに対して、本実施形態に係る電子カメラ１０１では、図７に示すように、瞳分割画素位置の全瞳データを周辺の撮像用画素の全瞳データから補間して生成するので、瞳分割画素を含む全ての画素位置で全瞳データが得られる。これにより、全瞳データによる画像の分解能が高くなり、従来より高精度の位置ズレ量の検出が可能になる。例えば図７の場合は、全瞳データのｘ座標４と５の画素値が約１００で、他の全瞳データの画素値が約２００なので、ｘ座標４と５の間に谷のピークがあると推定できる。これに対して、従来の図８の例では、全瞳データのｘ座標４の画素値が約１００で他の全瞳データの画素値が全て約２００なので、谷のピーク位置を高精度に求めることができない。

次に、本実施形態に係る電子カメラ１０１において、位置ズレ量を小数精度で高精度に求める方法について説明する。尚、図２の例ではｘ軸の列ｘ０を中心として、ｘ軸の（ｘ０−４）から（ｘ０＋４）に瞳分割画素を１画素置きに配置するようにしたが、ここでの説明では、わかり易いように、ｘ０から１画素置きにＬ個の瞳分割画素が配置されているものとする。この場合、１画素置きに配置される瞳分割画素は、ｐ（ｘ０，ｙ０），ｐ（ｘ０＋２，ｙ０），ｐ（ｘ０＋４，ｙ０），ｐ（ｘ０＋６，ｙ０），ｐ（ｘ０＋８，ｙ０），・・・・・・ｐ（ｘ０＋２・（Ｌ−１），ｙ０）のＬ個で、画素ｐ（ｘ０＋２・Ｉ，ｙ０）と表記できる。尚、Ｉは０から（Ｌ−１）までの整数である。

そして、各瞳分割画素の画素値（瞳分割データ）をＡで表す場合、Ｌ個の各瞳分割画素の瞳分割データは、Ａ（ｘ０，ｙ０），Ａ（ｘ０＋２，ｙ０），Ａ（ｘ０＋４，ｙ０），Ａ（ｘ０＋６，ｙ０），Ａ（ｘ０＋８，ｙ０），・・・・・・Ａ（ｘ０＋２・（Ｌ−１），ｙ０）となり、瞳分割データＡ（ｘ０＋２・Ｉ，ｙ０）と表記できる。尚、Ｉは先述の通りである。

また、各瞳分割画素の位置に対応する補間生成された全瞳データをＤで表す場合、Ｌ個の各瞳分割画素に対応する補間生成された全瞳データは、Ｄ（ｘ０，ｙ０），Ｄ（ｘ０＋２，ｙ０），Ｄ（ｘ０＋４，ｙ０），Ｄ（ｘ０＋６，ｙ０），Ｄ（ｘ０＋８，ｙ０），・・・・・・Ｄ（ｘ０＋２・（Ｌ−１），ｙ０）となり、全瞳データＤ（ｘ０＋２・Ｉ，ｙ０）と表記できる。尚、Ｉは先述の通りである。

上記の定義に従って、瞳分割データＡと全瞳データＤとの差分ｄ（Ｉ）を瞳分割画素毎に（式５）により求める。

さらに、Ｌ個の瞳分割画素毎の差分ｄ（Ｉ）の絶対値の総和Ｓを（式６）により求める。尚、差分の絶対値の総和Ｓは、瞳分割データＡと全瞳データＤとの相関が大きいほど小さくなり、相関が小さいほど大きくなるので、以降の説明において相関値Ｓと称する。

尚、（式６）で求められる相関値Ｓは、瞳分割データＡと全瞳データＤの位置関係が図７のように固定されているので、相関値Ｓが最小であるか否かは判定できない。そこで、瞳分割データまたは全瞳データを少しずつずらしていき、相関値Ｓが最小になった時のずらし量を求め、これを位置ズレ量とする。

次に説明する例では、先ず、全瞳データを１画素単位でｘ座標上をずらして行った時の相関値Ｓを求め、相関値Ｓが最小となる画素ずらし量を求める。ここで、画素ずらし量をＫ（Ｋは整数）とすると、Ｋ画素ずらした時の相関値ＳをＳ（Ｋ）と表記できるので、（式６）は変数Ｉ、Ｋを用いて（式７）となる。

ここで、Ｉは、座標Ｘ０の瞳分割画素をＩ＝０として、Ｉ＝０からＩ＝（Ｌ−１）までのＬ個の瞳分割画素の座標位置を示し、Ｋ画素ずらした時の差分ｄ（Ｉ，Ｋ）は（式８）で表すことができる。

そして、（式７）においてＳ（Ｋ）が最小になる時のＫを求め、これをＫ０とする。また、この時の相関値Ｓ（Ｋ）の最小値はＳ（Ｋ０）となる。尚、上記の場合、図７に示したように、瞳分割データは１画素置きのデータであるが、全瞳データＤはＧ画素から得られる全瞳データと補間生成された全瞳データとを有するので、１画素単位で全瞳データが必ず存在する。これにより、全瞳データを１画素ずつずらして上式の計算を行うことができるので、精度良く位置ズレ量を検出することができる。

図９は、上記の処理を模式的に示した図である。図９（ａ）は、Ｋ＝０の場合の瞳分割データＡと全瞳データＤとの差分ｄ（０，０）から差分ｄ（（Ｌ−１），０）までを各瞳分割画素位置で求める様子を示している。そして、差分ｄ（０，０）から差分ｄ（（Ｌ−１），０）までの各絶対値の総和を求めて相関値Ｓ（０）とする。同様に、図９（ｂ）ではＫ＝１の場合の相関値Ｓ（１）を求める時、図９（ｃ）ではＫ＝２の場合の相関値Ｓ（２）を求める時のそれぞれの瞳分割データと全瞳データの様子を示している。

このようにして、Ｋを１画素単位で変化させながら相関値Ｓ（Ｋ）を求め、相関値Ｓ（Ｋ）が最小となるＫを求める。例えば図９の場合、Ｋ＝０の時の相関値Ｓ（０）が最小になる。尚、上記の例ではＫを正の整数として、Ｋ＝０，＋１，＋２・・・のようにＫを変化させたが、Ｋ＝０，−１，−２，−３・・・のように負の方向にＫを変化させてもよいし、Ｋ＝・・・−３，−２，−１，０，＋１，＋２，＋３・・・のように、Ｋを正負に変化させてもよい。

このようにして、相関値Ｓ（Ｋ）が最小になるときのＫを求めることができる。

ここで、Ｋは整数なので画素単位でしか全瞳データと瞳分割データとの位置関係は変化しないので、例えば画素間に相関値Ｓがさらに小さくなる位置が存在してもＫに整数化されるため、位置ズレ量に誤差が生じてしまう。そこで、本実施形態に係る電子カメラ１０１では、画素間にある実際の像の位置ズレ量Ｚを小数精度で求めている。

図１０は、Ｋを変化させた時の相関値Ｓ（Ｋ）の値をの一例を示したグラフである。図１０において、相関値Ｓ（Ｋ）が最小になるときのＫ０とその前後の（Ｋ０＋１）および（Ｋ０−１）での相関値Ｓ（Ｋ０）、Ｓ（Ｋ０−１）、Ｓ（Ｋ０＋１）の大きさの例を描いてある。例えば図１０の場合、Ｓ（Ｋ０）はＳ（Ｋ０＋１）より小さく、Ｓ（Ｋ０−１）とＳ（Ｋ０）はほぼ同じ大きさなので、実際の像の位置ズレ量Ｚは、（Ｋ０−１）と（Ｋ０）の間にあることがわかる。

ここで、図１０において、小数精度の位置ズレ量Ｚは公知の内挿法により、例えば（式９）により求めることができる。

ここで、ｍａｘ（Ａ，Ｂ）は、ＡとＢの大きい方を選択することを意味する演算子である。
図１０の場合、Ｓ（Ｋ０）とＳ（Ｋ０−１）はほぼ同じなので、上記の式の分母と分子はほぼ同じ値になるので、Ｚ＝Ｋ０＋１／２となる。つまり、位置ズレ量Ｚは、Ｋ０の位置を基準（Ｋ０＝０）とした場合、Ｚ＝０．５となる。また、（Ｋ０−１）と（Ｋ０）の間は１画素分なので、位置ズレ量は０．５画素となる。

このようにして、本実施形態に係る電子カメラ１０１では、位置ズレ量Ｚを少数精度で求めることができる。例えば、先に説明した従来技術では位置ズレ量が１画素になってしまうが、本実施形態に係る電子カメラ１０１では、位置ズレ量は０．５画素となり、小数精度で正確に求めることができる。尚、内挿法は上記以外の方法を用いてもよい。また、相関値Ｓの算出式も上記には限定されず、他の方法を適用してもよい。特に、平均レベルが異なるデータ同士の位置ズレを検出する方法も知られており、このような方法を適用すれば瞳分割データに係数を掛けて全瞳データとのレベル合わせを行う処理を省略できるので、処理負荷の低減が可能になる。このようにして、位置ズレ量検出部２０３は、位置ズレ量を高精度で求めることができる。

次に、デフォーカス量算出部２０４は、位置ズレ量検出部２０３が求めた小数精度の位置ズレ量に対応するデフォーカス量を算出する。ここで、位置ズレ量からデフォーカス量を求める処理は、周知の技術なので詳しい説明は省略するが、例えば位置ズレ量に対応するデフォーカス量を予め計測して、位置ズレ量とデフォーカス量とを対応付けるテーブルを作成しておいてもよいし、変換式を用いて位置ズレ量からデフォーカス量を求めてもよい。このようにして、デフォーカス量算出部２０４は、位置ズレ検出部２０３が求めた位置ズレ量からデフォーカス量を求めることができる。

そして、フォーカスレンズ制御部２０５は、デフォーカス量算出部２０４が求めたデフォーカス量に応じてレンズ光学系１０２のフォーカスレンズの位置を制御する。

このようにして、本実施形態に係る電子カメラ１０１は、精度の高いオートフォーカス処理を行うことができる。

次に、本実施形態に係る電子カメラ１０１におけるオートフォーカス処理について、図１１のフローチャートを用いて説明する。尚、図１１に示したフローチャートは、制御部１０８の内部に予め記憶されたプログラムに従って実行される処理で、ＡＦ処理部２００に対応する。

（ステップＳ１０１）画像データ入力部２０１は、撮像素子１０４から瞳分割画素を含む行または列の周辺の画素から画像データを読み出し、画像バッファ１０６に取り込む。

（ステップＳ１０２）全瞳データ生成部２０２は、図５で説明したように、画像構造の検出を行う。

（ステップＳ１０３）全瞳データ生成部２０２は、画像構造に応じて選択した撮像用画素の全瞳データを用いて、瞳分割画素位置の全瞳データを補間生成する。

（ステップＳ１０４）位置ズレ量検出部２０３は、図９および図１０で説明したように、瞳分割画素の瞳分割データと、撮像用画素の全瞳データおよび瞳分割画素の補間生成された全瞳データおよび瞳分割画素と同じ行の撮像用画素の全瞳データとを用いて、瞳分割データと全瞳データとの位置ズレ量を検出する。

（ステップＳ１０５）デフォーカス量算出部２０４は、位置ズレ量検出部２０３が検出した位置ズレ量に基づいて、メモリ１０９などに予め記憶されている位置ズレ量とデフォーカス量とを対応付けたテーブルや変換式を用いてデフォーカス量を算出する。

（ステップＳ１０６）フォーカスレンズ制御部２０５は、デフォーカス量算出部２０４が算出したデフォーカス量に応じて、光学系１０２のフォーカスレンズの位置を動かし、被写体像が撮像素子１０４の受光面に合焦するように制御する。

このようにして、本実施形態に係る電子カメラ１０１は、精度の高いオートフォーカス処理を行うことができる。

［瞳分割画素の配置例］
（変形例１）
次に、瞳分割画素の画素配置の変形例１について説明する。上記の実施形態では、図２で説明したように、瞳分割画素と撮像用画素とを１画素ずつ交互に配置するようにしたが、変形例１では、図１２に示すように、列の一部に連続して瞳分割画素を配置する。例えば図１２の場合、瞳分割画素は、画素ｐ（ｘ０−３，ｙ０），ｐ（ｘ０−２，ｙ０），ｐ（ｘ０−１，ｙ０），ｐ（ｘ０，ｙ０），ｐ（ｘ０＋１，ｙ０），ｐ（ｘ０＋２，ｙ０），ｐ（ｘ０＋３，ｙ０）に連続して配置されている。尚、図１２の場合でも、先の実施形態と同様に、瞳分割画素位置の全瞳データを周辺の撮像用画素の全瞳データから補間することにより、位置ズレ量を高精度で求めることができる。尚、図１２の例では、画像構造を判定せずに例えば瞳分割画素の上下にある撮像用画素の全瞳データの平均値をその瞳分割画素の全瞳データとして補間することができる。例えば図１２の場合、瞳分割画素（ｘ０，ｙ０）の全瞳データは上の行のＧ画素の全瞳データと下の行のＧ画素の全瞳データとの平均値を瞳分割画素（ｘ０，ｙ０）の全瞳データとする。同様に、瞳分割画素（ｘ０＋１，ｙ０）の全瞳データは上の行のＲ画素の全瞳データと下の行のＲ画素の全瞳データとの平均値を瞳分割画素（ｘ０＋１，ｙ０）の全瞳データとする。尚、異なる色の撮像用画素から補間生成する場合は、被写体画像の色成分に応じてレベル差が生じる場合があるので、例えば瞳分割画素（ｘ０＋１，ｙ０）の全瞳データは斜め上のＧ画素（ｘ０，ｙ０−１）、Ｇ画素（ｘ０＋２，ｙ０−１）の全瞳データと斜め下のＧ画素（ｘ０，ｙ０＋１）、Ｇ画素（ｘ０＋２，ｙ０＋１）の４つの画素の平均値を瞳分割画素（ｘ０＋１，ｙ０）の全瞳データとしてもよい。

このようにして求めた全瞳データと瞳分割データとを用いて、先の実施形態と同様に、位置ズレ量を検出することができる。そして、位置ズレ量からデフォーカス量を求めてフォーカス制御を行う。特に、先の実施形態では、全瞳データが各画素毎に得られるので分解能が高くなり、高精度の位置ズレ検出を行うことができたが、本変形例では、全瞳データだけでなく瞳分割データも各画素毎に得られるので、さらに高精度の位置ズレ検出を行うことができる。
（変形例２）
次に、瞳分割画素の画素配置の変形例２について説明する。変形例２では、図１３に示すように、瞳分割画素を２画素置きに配置する。例えば図１３の場合、瞳分割画素は、画素ｐ（ｘ０−３，ｙ０），ｐ（ｘ０，ｙ０），ｐ（ｘ０＋３，ｙ０）のように２画素置きに配置されている。本変形例２においても、先の実施形態と同様に、画像構造を判定して瞳分割画素位置の全瞳データを周辺の撮像用画素の全瞳データから補間生成することにより、位置ズレ量を高精度で求めることができる。尚、変形例２では、瞳分割画素が２画素置きなので、瞳分割データの分解能は先の実施形態の場合より低くなるが、全瞳データは補間生成して各画素毎に得られるので、同じ画素配置で従来技術を適用するよりも高精度の位置ズレ検出が可能になる。逆に、本変形例では、撮像素子１０４の撮像用画素が瞳分割画素に置き換えられる部分が少なくなるので、画質劣化を防ぐことができる。

このようにして求めた全瞳データと瞳分割データとを用いて、先の実施形態と同様に、位置ズレ量を検出することができ、位置ズレ量からデフォーカス量を求めてフォーカス制御を行うことができる。
［撮像素子１０４の変形例］
次に、撮像素子１０４の変形例について説明する。先の実施形態では、撮像素子１０４から瞳分割画素位置の全瞳データを補間生成するための全瞳データを周辺の複数の撮像用画素から個別に全瞳データを読み出して画像バッファ１０６に取り込み、その後、加算平均などの演算処理を行うようにしたが、制御部１０８の処理負荷が増えるという問題がある。そこで、撮像素子１０４の変形例として、図１４に示すように、瞳分割画素の上下の２つの撮像用画素の画素値を加算平均する回路（加算平均回路３０１）を撮像素子１０４に設け、瞳分割画素位置の補間後の全瞳データを直接撮像素子１０４から読み出せるようにする。これにより、瞳分割画素の上下の撮像用画素から個別に全瞳データを読み出すための時間や瞳分割画素位置の全瞳データを求める処理を行う必要がなくなり、全瞳データ生成部２０２が不要になるので、処理負荷を大幅に低減することができる。

このようにして、撮像素子１０４から読み出した後で瞳分割画素位置の全瞳データを補間する必要がなく、先の実施形態と同様に、高精度で位置ズレ量を検出することができ、位置ズレ量からデフォーカス量を求めてフォーカス制御を行うことができる。

以上、本発明に係るデフォーカス量検出装置および電子カメラについて、各実施形態で例を挙げて説明してきたが、その精神またはその主要な特徴から逸脱することなく他の多様な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。

１０１・・・電子カメラ；１０２・・・光学系；１０３・・・メカニカルシャッタ；１０４・・・撮像素子；１０５・・・Ａ／Ｄ変換部；１０６・・・画像バッファ；１０７・・・画像処理部；１０８・・・制御部；１０９・・・メモリ；１１０・・・表示部；１１１・・・操作部；１１２・・・メモリカードＩＦ；１２ａ・・・メモリカード１；２００・・・ＡＦ処理部；２０１・・・画像データ入力部；２０２・・・全瞳データ生成部；２０３・・・位置ズレ量検出部；２０４・・・デフォーカス量算出部；２０５・・・フォーカスレンズ制御部

Claims (8)

1. 二次元状に配置された撮像用画素の一部に瞳分割画素が配列された撮像素子から前記瞳分割画素の瞳分割データおよび前記瞳分割画素周辺の前記撮像用画素の全瞳データを読み込む画像データ入力部と、
   前記画像データ入力部が読み込んだ前記撮像用画素の前記全瞳データから前記瞳分割画素位置の全瞳データを補間生成する全瞳データ生成部と、
   前記全瞳データ生成部により補間生成された前記瞳分割画素位置の前記全瞳データおよび前記撮像用画素の全瞳データと、前記瞳分割画素から読み込まれた前記瞳分割データとの位置ズレ量を検出する位置ズレ検出部と、
   前記位置ズレ検出部が検出した位置ズレ量に応じてデフォーカス量を求めるデフォーカス量算出部と
   を有することを特徴とするデフォーカス量検出装置。
2. 請求項１に記載のデフォーカス量検出装置において、
   前記全瞳データ生成部は、前記撮像用画素から読み込まれた前記全瞳データに基づいて画像構造の方向を判定し、該判定結果に応じて前記瞳分割画素位置の全瞳データを補間生成する際に参照する前記撮像用画素を選択する
   ことを特徴とするデフォーカス量検出装置。
3. 請求項２に記載のデフォーカス量検出装置において、
   前記全瞳データ生成部は、前記画像構造の方向を判定する際に、前記瞳分割画素に隣接する上下の前記全瞳データの差分と左右の前記全瞳データの差分とを比較し、差分が小さい方の前記全瞳データを用いて前記瞳分割画素位置の全瞳データを補間生成する
   ことを特徴とするデフォーカス量検出装置。
4. 請求項２または３に記載のデフォーカス量検出装置において、
   前記全瞳データ生成部は、画像構造の方向を判定するための全瞳データと、前記瞳分割画素位置の全瞳データを補間生成する際に参照する全瞳データとに、前記瞳分割画素周辺の同じ範囲の前記撮像用画素の全瞳データを使用する
   ことを特徴とするデフォーカス量検出装置。
5. 請求項１から３のいずれか一項に記載のデフォーカス量検出装置において、
   前記全瞳データ生成部は、前記瞳分割画素が配置された列の全画素位置に対して全瞳データを生成する
   ことを特徴とするデフォーカス量検出装置。
6. 請求項１から５のいずれか一項に記載のデフォーカス量検出装置において
   前記画像データ入力部は、前記瞳分割画素が配置された列から前記瞳分割データおよび前記全瞳データを、前記瞳分割画素が配置された列の上下の列から前記全瞳データをそれぞれ読み込む
   ことを特徴とするデフォーカス量検出装置。
7. 請求項１から５のいずれか一項に記載のデフォーカス量検出装置において
   前記画像データ入力部は、前記瞳分割画素周辺の複数の前記撮像用画素の全瞳データを前記撮像素子内で加算平均したデータを前記瞳分割画素位置の全瞳データとして読み出す
   ことを特徴とするデフォーカス量検出装置。
8. 請求項１から５のいずれか一項に記載のデフォーカス量検出装置を有することを特徴とする電子カメラ。
   

Images