JP6553881B2 - 画像処理装置 - Google Patents

Description

本発明は、画像処理装置に関する。

１つのマイクロレンズに対して複数の光電変換部が設けられた撮像素子により、瞳分割像を取得し、得られた複数の瞳分割像の位相差に基づいて焦点検出を行うＡＦ(autofocus)技術が知られている。

例えば、特許文献１では瞳分割した像の位相差に基づいて焦点検出を行うだけでなく、同一のマイクロレンズを共有する光電変換部からの信号を全て加算することで、複数の光電変換部を１つの光電変換部として扱うことが開示されている。これにより、光電変換部が１つの場合と同様に信号を扱うことが可能となり、従来の信号処理技術により観賞用の画像を作成し得る。

特開２００１−８３４０７号公報

しかしながら、上記技術の構成では、画像信号を生成するためには得られた信号を加算して生成する処理が必要となる。例えば、１つのマイクロレンズを共有する光電変換部の個数が４つである場合、所望の画像信号を得るため、撮像素子より読み出される信号の個数はマイクロレンズの個数の４倍となる。すなわち、読み出される信号の個数は、１つのマイクロレンズ内の光電変換部の個数に比例するので、ディジタルカメラ、ディジタルビデオカメラのような所定の時間ごとに画像信号を読み出すシステムにおいては、処理負荷が高くなり得る。

上記の問題の解決策として、瞳分割方向以外の方向については光電変換部からの信号を撮像素子内で加算することで、読み出される信号の個数を削減することが考えられる。しかしながら、この場合においても、２つの瞳分割像の位相差を演算して焦点検出を行う位相差焦点検出においては、瞳分割を行わない撮像素子配列における読み出し方式に対して読み出される信号の個数が２倍となるため、同様に処理負荷が高くなり得る。

上述の課題に鑑み、本発明は、光電変換部の数が多い場合であっても読み出す信号の個数の増加を抑制し、かつ瞳分割方向を切り換え可能とした位相差測距が可能な撮像装置を提供することを目的とする。

本発明の画像処理装置は、複数の光電変換部を有し、前記複数の光電変換部のうちの第１の群から出力される信号を加算して得られた第１の加算信号と、前記複数の光電変換部のうちの前記第１の群の一部である第２の群から出力される信号を加算して得られた第２の加算信号と、を出力する画素部を含む撮像素子と、前記第１の加算信号から前記第２の加算信号を減算して第３の加算信号を生成し、前記第２の加算信号及び前記第３の加算信号を出力する加算信号分離部と、前記第２の加算信号及び前記第３の加算信号に基づいて位相差測距を行う位相差測距部と、前記位相差測距部において行われる前記位相差測距のための瞳分割方向を少なくとも第１の瞳分割方向と第２の瞳分割方向のいずれかに切り替えるために、前記第２の群に含ませる光電変換部の組み合せを変更可能である撮像素子駆動部と、を備え、前記撮像素子駆動部は、前記第１の瞳分割方向及び前記第２の瞳分割方向のいずれか一方を通常状態とし、通常状態において前記位相差測距の精度が所定値以下の場合に前記瞳分割方向を切り替えることを特徴とする。

本発明によれば、光電変換部の数が多い場合であっても読み出す信号の個数の増加を抑制し、かつ瞳分割方向を切り換え可能とした位相差測距が可能となる。

第１の実施形態に係る画像処理装置の構成を示すブロック図である。 第１の実施形態に係る撮像素子の画素部の模式図である。 第１の実施形態に係る撮像素子の構成を示すブロック図である。 第１の実施形態に係る撮像素子の画素部の回路構成を示す図である。 第１の実施形態に係る撮像素子の駆動タイミングチャートである。 第１の実施形態に係る撮像素子の水平ブランキング期間における駆動タイミングチャートである。 第１の実施形態に係る撮像素子の焦点検出エリアの配置図である。 第１の実施形態に係る加算信号分離部の出力信号の生成方法を示すブロック図である。 第１の実施形態に係る画素部の断面図である。 第１の実施形態に係る位相差測距処理を説明するグラフである。 第２の実施形態に係る加算信号分離プログラムのフローチャートである。

（第１の実施形態）
以下、本発明の好適な実施形態について、図面を参照しながら詳細に説明する。各図面を通じて同一の構成要素には同一の符号を付し、その説明を簡略化又は省略することがある。

図１は、本発明の第１の実施形態に係る画像処理装置の構成を示すブロック図である。画像処理装置は、光学系１０１、光学系駆動部１０２、撮像素子１０３、撮像素子駆動部１０４、加算信号分離部１０５、カメラ信号処理部１０６、位相差測距部１０７、ＡＦ制御部１０８、及びシステム制御部１０９を有する。

光学系１０１は、入射光を撮像素子１０３に導く部分であり、ズームレンズ、絞り、フォーカスレンズのうち少なくとも１つ以上を有する。光学系駆動部１０２は、ＡＦ制御部１０８から出力されるフォーカス情報及びシステム制御部１０９から出力される光学系駆動情報に応じて光学系１０１を制御する。

撮像素子１０３は、光学系１０１を介して入射された被写体像を光電変換により電気信号に変換して、画像信号と瞳分割像の信号の２つの信号を加算信号分離部１０５に出力する。撮像素子駆動部１０４は、システム制御部１０９からの撮像素子駆動指示情報に応じて、撮像素子１０３を制御する駆動装置である。なお、撮像素子１０３は電子シャッタ機能を有していてもよい。その場合、撮像素子１０３は、撮像素子駆動部１０４から出力される制御信号に応じて所望の露光時間となるように電子シャッタ機能を実行しても良い。

加算信号分離部１０５は、撮像素子１０３から出力される画像信号から瞳分割像の信号のうちの一方を減算することにより他方の瞳分割像の信号を生成する。加算信号分離部１０５は、画像信号をカメラ信号処理部１０６に出力し、生成された２つの瞳分割像を位相差測距部１０７に出力する。

カメラ信号処理部１０６は、加算信号分離部１０５から入力された画像信号に対して画像処理を行い、表示／記録用の映像信号を生成する。生成された映像信号は画像処理装置の外部の表示装置、記録媒体等に出力される。

位相差測距部１０７は、加算信号分離部１０５から得られた２つの瞳分割像に基づいて位相差測距を行うための位相差評価値を算出して、ＡＦ制御部１０８に出力する。

ＡＦ制御部１０８は、位相差測距部１０７から入力された位相差評価値に基づいて、光学系１０１のフォーカス位置を制御するためのフォーカス情報を算出して、光学系駆動部１０２に出力する。

システム制御部１０９は、画像処理装置全体を制御する制御装置である。システム制御部１０９は、ユーザ指示、撮影シーン検出、被写体検出等により得られる撮影情報に基づいて、画像処理装置の各部の駆動情報を生成する。システム制御部１０９は、光学系駆動部１０２へズームや絞りなどの光学系１０１の駆動情報を送信する。また、システム制御部１０９は、撮像素子駆動部１０４へ瞳分割方向の切り換え指示、露光時間等の撮像素子１０３の駆動情報を送信する。

次に、本実施形態に係る撮像素子１０３の構成及びその駆動を説明する。

図２は、本実施形態に係る撮像素子１０３内の画素部２０６の構造を示す模式図である。撮像素子１０３は行列状に配置された複数の画素部２０６を有する。画素部２０６は、入射光に応じた電荷を生成するフォトダイオード（ＰＤ）等の光電変換部を複数個含む。本実施形態では、光電変換部を４個有する画素部２０６を例示する。

画素部２０６は、光電変換部２０１（第１の光電変換部）、光電変換部２０２（第２の光電変換部）、光電変換部２０３（第３の光電変換部）及び光電変換部２０４（第４の光電変換部）を有する。画素部２０６は、光電変換部２０１、２０２、２０３、２０４に共有されるマイクロレンズ２０５をさらに有する。すなわち、光電変換部２０１、２０２、２０３、２０４には、同一のマイクロレンズ２０５により導かれた光が入射される。撮像素子１０３内に配列されている他の画素部も、同様の光電変換部を有する。

光電変換部２０１から得られる信号をＡ像、光電変換部２０２から得られる信号をＢ像、光電変換部２０３から得られる信号をＣ像、光電変換部２０４から得られる信号をＤ像と呼ぶ。光電変換部２０１、２０２、２０３、２０４（第１の群）から出力される信号を加算することで、瞳分割されていない画像信号が得られる。これをＡ＋Ｂ＋Ｃ＋Ｄ像（第１の加算信号）と呼ぶ。

また、光電変換部２０１、２０２、２０３、２０４（第１の群）の一部である光電変換部２０１と２０２（第２の群）から得られる信号を加算することで、上側に配された光電変換部からの信号（上信号）が得られる。これをＡ＋Ｂ像（第２の加算信号）と呼ぶ。光電変換部２０３と２０４（第３の群）から得られる信号を加算することで、下側に配された光電変換部からの信号（下信号）が得られる。これをＣ＋Ｄ像（第３の加算信号）と呼ぶ。このようにして、上下（第１の瞳分割方向）に瞳分割された信号が得られる。

一方、光電変換部２０１、２０２、２０３、２０４（第１の群）の一部であって、上記と異なる組み合せである光電変換部２０１と２０３（第２の群）から得られる信号を加算することで、左側に配された光電変換部からの信号（左信号）が得られる。これをＡ＋Ｃ像（第２の加算信号）と呼ぶ。光電変換部２０２と２０４（第３の群）から得られる信号を加算することで、右側に配された光電変換部からの信号（右信号）が得られる。これをＢ＋Ｄ像（第３の加算信号）と呼ぶ。このようにして、左右（第２の瞳分割方向）に瞳分割された信号が得られる。

以上のように、加算対象となる各光電変換部からの信号を変えることで左右に瞳分割された信号又は上下に瞳分割された信号を得ることが可能であり、瞳分割方向を変更可能である。また、瞳分割されていない画像信号を得ることも可能である。

図３は、本実施形態に係る撮像素子１０３の構成を示すブロック図である。図３では説明の簡略化のため、４つの画素部の構造のみが示されているが、行数及び列数は図示されている個数と異なっていてもよく、任意の行数及び列数とすることができる。

撮像素子１０３は、撮像素子駆動部１０４からの入力部として、瞳分割方向指示入力端子１０４−１、水平同期信号入力端子１０４−２、垂直同期信号入力端子１０４−３、及び指示情報更新信号入力端子１０４−４を有する。また、撮像素子１０３は、加算信号分離部１０５への出力部として、第１の出力端子１０３−１及び第２の出力端子１０３−２を有する。

瞳分割方向指示入力端子１０４−１には、撮像素子駆動部１０４から瞳分割方向指示情報が入力される。水平同期信号入力端子１０４−２には、撮像素子駆動部１０４から水平同期信号ＨＤが入力される。垂直同期信号入力端子１０４−３には、撮像素子駆動部１０４から垂直同期信号ＶＤが入力される。指示情報更新信号入力端子１０４−４には、撮像素子駆動部１０４から指示情報更新信号が入力される。

撮像素子１０３は、上述の画素部２０６に加え、タイミング信号発生回路３０１、第１のバッファ３０２、第２のバッファ３０３、転送信号修正回路３０５、及び水平読み出し回路３１１を有する。また、撮像素子１０３は、転送信号共通バス３０４、転送信号線３０６、行読み出し制御信号線３０７、リセット信号線３０８、列読み出し信号線３０９、及び水平駆動制御信号線３１０を有する。第１のバッファ３０２、第２のバッファ３０３、及び転送信号修正回路３０５は、撮像素子１０３の画素列ごとに設けられている。

第１のバッファ３０２は、入力された瞳分割方向指示情報を保持し、第２のバッファ３０３に出力する。第２のバッファ３０３は、指示情報更新信号に基づくタイミングで、保持している情報を入力された瞳分割方向指示情報に更新し、転送信号修正回路３０５に出力する。

水平同期信号ＨＤ及び垂直同期信号ＶＤはタイミング信号発生回路３０１に入力される。タイミング信号発生回路３０１は、水平同期信号ＨＤ及び垂直同期信号ＶＤに基づくタイミングで、転送信号共通バス３０４、行読み出し制御信号線３０７、リセット信号線３０８、水平駆動制御信号線３１０に制御信号を出力する。

転送信号修正回路３０５は、瞳分割方向指示情報に基づいて、転送信号共通バス３０４から入力される転送信号の論理値を修正して、各列の転送信号線３０６に出力する。転送信号線３０６は、光電変換部２０１、２０２、２０３、２０４に対応する４本の転送信号線３０６−１、３０６−２、３０６−３、３０６−４で構成される。これらの転送信号線３０６−１、３０６−２、３０６−３、３０６−４は画素部２０６に接続される。

タイミング信号発生回路３０１は、行読み出し制御信号線３０７を介して各画素部２０６に行読み出し制御信号ＳＥＬを供給する。また、タイミング信号発生回路３０１は、リセット信号線３０８を介して各画素部２０６にリセット信号ＲＥＳを供給する。

画素部２０６は、これらの制御信号に基づいて、光電変換部２０１、２０２、２０３、２０４からの信号を列読み出し信号線３０９に出力する。各列の列読み出し信号線３０９からの出力信号は水平読み出し回路３１１に入力される。水平読み出し回路３１１は、タイミング信号発生回路３０１から水平駆動制御信号線３１０を介して入力される制御信号に基づいて、列読み出し信号線３０９からの信号を列ごとに第１の出力端子１０３−１及び第２の出力端子１０３−２から順次出力する。

図４は、本発明の第１の実施形態に係る撮像素子１０３の画素部の回路構成を示す図である。撮像素子１０３は、光電変換部２０１、２０２、２０３、２０４にそれぞれ接続された転送トランジスタ４０１、４０２、４０３、４０４を有する。光電変換部２０１、２０２、２０３、２０４の各々で生成された電荷は、転送トランジスタ４０１、４０２、４０３、４０４の各々を介してフローティングディフュージョン４０７に転送される。転送トランジスタ４０１、４０２、４０３、４０４は、転送信号線３０６−１、３０６−２、３０６−３、３０６−４により入力される転送信号ＴＸ１、ＴＸ２、ＴＸ３、ＴＸ４によりそれぞれ導通又は非導通に制御される。

撮像素子１０３は、さらにリセットトランジスタ４０６、行読み出しトランジスタ４０８、ソースフォロワトランジスタ４０９を有する。リセットトランジスタ４０６は、電源線４０５とフローティングディフュージョン４０７との間に接続される。行読み出しトランジスタ４０８は、フローティングディフュージョン４０７とソースフォロワトランジスタ４０９のゲートノードとの間に接続される。ソースフォロワトランジスタ４０９のドレインは電源線４０５に接続される。ソースフォロワトランジスタ４０９のソースは列読み出し信号線３０９に接続される。リセットトランジスタ４０６は、リセット信号線３０８から入力されるリセット信号ＲＥＳにより導通又は非導通に制御される。行読み出しトランジスタ４０８は、行読み出し制御信号線３０７から入力される行読み出し制御信号ＳＥＬにより導通又は非導通に制御される。

撮像素子駆動部１０４による撮像素子１０３への瞳分割指示と、信号読み出しの動作について、図３、図４及び図５を用いて説明する。

図５は、撮像素子１０３の駆動タイミングチャートである。図５には、水平同期信号ＨＤ、垂直同期信号ＶＤ、及び指示情報更新信号の動作タイミングが示されている。１垂直同期期間内には複数の水平同期期間が含まれる。各水平同期期間は、水平ブランキング期間（Ｈ−ＢＬＫ）と水平駆動期間（Ｈ駆動）からなる。ある水平同期期間の水平ブランキング期間と水平駆動期間をそれぞれ期間ｔ５０１、期間ｔ５０２とし、その次の水平同期期間の水平ブランキング期間と水平駆動期間をそれぞれ期間ｔ５０３、期間ｔ５０４とする。

期間ｔ５０２において、ある画素行に対応する瞳分割方向指示情報が瞳分割方向指示入力端子１０４−１に入力される。瞳分割方向指示情報は各画素列に対応する第１のバッファ３０２に保持される。第１のバッファ３０２に保持された瞳分割方向指示情報は第２のバッファ３０３に出力される。なお、瞳分割方向指示情報は、０又は１の論理値を有するディジタル信号である。０は上下方向の瞳分割を指示するための信号であり、１は左右方向の瞳分割を指定するための信号である。

期間ｔ５０３の初期において、指示情報更新信号入力端子１０４−４から第２のバッファ３０３に入力される指示情報更新信号に応じて、第２のバッファ３０３に保持される値が、第１のバッファ３０２から出力される値に更新される。これにより、瞳分割方向指示情報は、第２のバッファ３０３から転送信号修正回路３０５に入力される。

転送信号共通バス３０４からの転送信号は転送信号修正回路３０５に入力される。転送信号修正回路３０５は、瞳分割方向指示情報に基づいて、転送信号を瞳分割方向の指示に対応した動作となるように修正する。なお、瞳分割方向指示情報が、転送信号共通バス３０４からの転送信号をそのまま通過させるように動作させてもよく、この動作も「修正」に含まれるものとする。

図６は、水平ブランキング期間ｔ５０３における画素部２０６の駆動タイミングチャートである。図６（ａ）は、瞳分割方向指示情報の値が０の場合の駆動タイミングチャートであり、図６（ｂ）は、瞳分割方向指示情報の値が１の場合の駆動タイミングチャートである。各図には、転送信号ＴＸ１、ＴＸ２、ＴＸ３、ＴＸ４、行読み出し制御信号ＳＥＬ、リセット信号ＲＥＳ、フローティングディフュージョン（ＦＤ）４０７に蓄積される信号、及び列読み出し信号線（ＯＵＴ）３０９から出力される信号が示されている。

図６（ａ）を用いて、瞳分割方向指示情報の値が０の場合の駆動タイミングを説明する。期間ｔ５０３−１において、転送信号ＴＸ１をＨｉｇｈとする。これにより、転送トランジスタ４０１が導通し、光電変換部２０１に蓄積されたＡ像に対応する電荷がフローティングディフュージョン４０７に転送される。

期間ｔ５０３−２において、転送信号ＴＸ２をＨｉｇｈとする。これにより、転送トランジスタ４０２が導通し、光電変換部２０２に蓄積されたＢ像に対応する電荷がフローティングディフュージョン４０７に転送される。フローティングディフュージョン４０７において電荷の加算が行われ、蓄積される電荷はＡ＋Ｂ像に対応するものとなる。

期間ｔ５０３−３において、行読み出し制御信号ＳＥＬをＨｉｇｈとする。これにより、行読み出しトランジスタ４０８が導通し、ソースフォロワトランジスタ４０９のゲートノードにフローティングディフュージョン４０７の電圧が入力される。列読み出し信号線３０９にはＡ＋Ｂ像に対応する電圧信号が出力される。

期間ｔ５０３―５において、転送信号ＴＸ３をＨｉｇｈとする。これにより、転送トランジスタ４０３が導通し、光電変換部２０３に蓄積されたＣ像に対応する電荷がフローティングディフュージョン４０７に転送される。フローティングディフュージョン４０７において電荷の加算が行われ、蓄積される電荷はＡ＋Ｂ＋Ｃ像に対応するものとなる。

期間ｔ５０３―６において、転送信号ＴＸ４をＨｉｇｈとする。これにより、転送トランジスタ４０４が導通し、光電変換部２０４に蓄積されたＤ像に対応する電荷がフローティングディフュージョン４０７に転送される。フローティングディフュージョン４０７において電荷の加算が行われ、蓄積される電荷はＡ＋Ｂ＋Ｃ＋Ｄ像に対応するものとなる。

期間ｔ５０３−７において、期間ｔ５０３−３と同様に、行読み出し制御信号ＳＥＬをＨｉｇｈとすることで、列読み出し信号線３０９にはＡ＋Ｂ＋Ｃ＋Ｄ像に対応する電圧信号が出力される。

期間ｔ５０３−８において、リセット信号ＲＥＳ及び、全ての転送信号ＴＸ１、ＴＸ２、ＴＸ３、ＴＸ４をＨｉｇｈとする。これにより、全ての光電変換部２０１、２０２、２０３、２０４及びフローティングディフュージョン４０７の蓄積電荷は全て初期状態にリセットされる。その後、光電変換部２０１、２０２、２０３、２０４では次の読み出し駆動のための光電荷の蓄積が行われる。

このように、瞳分割指示情報の値が０の場合は、瞳分割されていない画像信号（Ａ＋Ｂ＋Ｃ＋Ｄ像）と上信号（Ａ＋Ｂ像）の２つの信号が撮像素子１０３から読み出され、水平読み出し回路３１１に入力される。

水平駆動期間ｔ５０４において、水平読み出し回路３１１は、第１の出力端子１０３−１から上信号（Ａ＋Ｂ像）を出力し、第２の出力端子１０３−２から瞳分割されていない画像信号（Ａ＋Ｂ＋Ｃ＋Ｄ像）を出力する。

次に図６（ｂ）を用いて、瞳分割方向指示情報の値が１の場合の駆動タイミングを説明する。図６（ａ）との相違点は期間ｔ５０３−２及び期間ｔ５０３−５の動作である。図６（ａ）と同様の動作については説明を省略する。

期間ｔ５０３−２において、転送信号ＴＸ３をＨｉｇｈとする。これにより、転送トランジスタ４０３が導通し、光電変換部２０３に蓄積されたＣ像に対応する電荷がフローティングディフュージョン４０７に転送される。フローティングディフュージョン４０７において電荷の加算が行われ、蓄積される電荷はＡ＋Ｃ像に対応するものとなる。そのため、期間ｔ５０３−３において、列読み出し信号線３０９に出力される電圧信号はＡ＋Ｃ像に対応したものとなる。

期間ｔ５０３−５において、転送信号ＴＸ２をＨｉｇｈとする。これにより、転送トランジスタ４０２が導通し、光電変換部２０２に蓄積されたＢ像に対応する電荷がフローティングディフュージョン４０７に転送される。フローティングディフュージョン４０７において電荷の加算が行われ、蓄積される電荷はＡ＋Ｂ＋Ｃ像に対応するものとなる。その後、期間ｔ５０３−７において、列読み出し信号線３０９に出力される電圧信号は、図６（ａ）の駆動タイミングチャートの場合と同様にＡ＋Ｂ＋Ｃ＋Ｄ像に対応したものとなる。

このように、瞳分割指示情報の値が１の場合は、瞳分割されていない画像信号（Ａ＋Ｂ＋Ｃ＋Ｄ像）と左信号（Ａ＋Ｃ像）の２つの信号が撮像素子１０３から読み出され、水平読み出し回路３１１に入力される。水平読み出し回路３１１は、水平駆動期間ｔ５０４において、第１の出力端子１０３−１から左信号（Ａ＋Ｃ像）を出力し、第２の出力端子１０３−２から瞳分割されていない画像信号（Ａ＋Ｂ＋Ｃ＋Ｄ像）を出力する。このようにして、撮像素子駆動部１０４から出力される瞳分割指示情報の値に基づいて、瞳分割像の生成のために加算信号の生成に供される光電変換部の組み合せが変更される。

なお、上述の駆動タイミングの説明では、１つの画素行に着目しているが、次行の瞳分割方向指示情報の入力が同期間に並行して行われ得る。また、上述の駆動は撮像素子１０３を構成する画素行に対し１垂直同期期間内に順次行われ、光電荷の蓄積及び読み出しが完結する。

撮像素子１０３から得られた画像信号は、加算信号分離部１０５へ入力される。加算信号分離部１０５は、カメラ信号処理部１０６に出力する画像信号と、位相差測距部１０７に出力する位相差検出用信号とを生成する。位相差検出用信号は、第１の出力端子１０３−１と第２の出力端子１０３−２から出力される、瞳分割されていない画像信号（Ａ＋Ｂ＋Ｃ＋Ｄ像）から左信号（Ａ＋Ｃ像）、又は上信号（Ａ＋Ｂ像）を減算して、位相差検出用の信号を生成する。

位相差測距部１０７は、瞳分割方向指示情報に基づき、縦方向の瞳分割像による焦点検出、あるいは横方向の瞳分割像による焦点検出のいずれを行うかを選択し、入力された位相差検出用信号を用いて位相差測距を実行する。

加算信号分離部１０５から出力された瞳分割されていない画像信号（Ａ＋Ｂ＋Ｃ＋Ｄ像）は、カメラ信号処理部１０６に入力される。カメラ信号処理部１０６は、Ａ＋Ｂ＋Ｃ＋Ｄ像に対し、例えば、色変換、ホワイトバランス、ガンマ補正等の画像処理、解像度変換処理、画像圧縮処理等を行い、表示／記録用の映像信号を生成する。

なお、瞳分割方向指示情報は、１垂直同期期間単位で０と１が順次切り替わるように設定することができる。これにより、横方向（左右）の瞳分割像と縦方向（上下）の瞳分割像をフレームごとに交互に得ることができ、高精度な位相差測距が可能となる。

図７は、第１の実施形態に係る撮像素子１０３の焦点検出エリアの配置図である。上述の焦点検出用の瞳分割像を取得できる画素部２０６が撮像素子１０３の全エリアに設けられていることは必須ではない。図７の矢印７０１で示される範囲は、有効画素が配置されるエリアである。すなわち、このエリアの画素部２０６からは、瞳分割されていない画像信号（Ａ＋Ｂ＋Ｃ＋Ｄ像）が読み出し可能である。

図７の矢印７０２で示される範囲は、瞳分割されていない画像信号（Ａ＋Ｂ＋Ｃ＋Ｄ像）に加えて、左信号（Ａ＋Ｃ像）及び上信号（Ａ＋Ｂ像）のいずれかを選択的に読み出すことが可能な画素部２０６が配置されるエリアである。このように、撮像素子１０３の一部のみから焦点検出用の信号を取得することで、読み出し時間の短縮が可能となる。

図８は、第１の実施形態に係る加算信号分離部１０５の出力信号の生成方法を示すブロック図である。図８（ａ）は瞳分割方向指示情報の値が０の場合の処理を示すものであり、図８（ｂ）は瞳分割方向指示情報の値が１の場合の処理を示すものである。

図８（ａ）において、加算信号分離部１０５への入力信号は上述のようにＡ＋Ｂ＋Ｃ＋Ｄ像とＡ＋Ｂ像である。加算信号分離部１０５は、Ａ＋Ｂ＋Ｃ＋Ｄ像からＡ＋Ｂ像を減算することによりＣ＋Ｄ像を生成する。また、これに加えて加算信号分離部１０５は、Ａ＋Ｂ＋Ｃ＋Ｄ像とＡ＋Ｂ像をそのまま出力する。したがって、加算信号分離部１０５は、Ａ＋Ｂ＋Ｃ＋Ｄ像、Ａ＋Ｂ像及びＣ＋Ｄ像の３つを出力する。このようにして、上下方向に分割された瞳分割像と瞳分割されていない像とが出力される。

図８（ｂ）において、加算信号分離部１０５への入力信号は上述のようにＡ＋Ｂ＋Ｃ＋Ｄ像とＡ＋Ｃ像である。加算信号分離部１０５は、Ａ＋Ｂ＋Ｃ＋Ｄ像からＡ＋Ｃ像を減算することによりＢ＋Ｄ像を生成する。また、これに加えて加算信号分離部１０５は、Ａ＋Ｂ＋Ｃ＋Ｄ像とＡ＋Ｃ像をそのまま出力する。したがって、加算信号分離部１０５は、Ａ＋Ｂ＋Ｃ＋Ｄ像、Ａ＋Ｃ像及びＢ＋Ｄ像の３つを出力する。このようにして、左右方向に分割された瞳分割像と瞳分割されていない像とが出力される。

次に、図９及び図１０を用いて、位相差測距部１０７において行われる瞳分割像を用いた位相差評価値の算出方法について説明する。

図９は、図２に示された画素部２０６のＳ−Ｓ’線断面を模式的に示した図である。図９には、画素部２０６と射出瞳の位置関係が示されている。画素部２０６の左側には光電変換部２０１、２０２が配置され、画素部２０６の右側には光電変換部２０３、２０４が配置されている。光電変換部２０１、２０２、２０３、２０４の上方にはこれらの光電変換部に共有されるマイクロレンズ２０５が配されている。マイクロレンズ２０５の頂部が合焦時の撮像レンズ（不図示）の結像面９０６となる。

さらに、図９には、射出瞳９０１、９０４、９０５が示されている。射出瞳９０１は、画素部２０６側から見た撮像レンズの射出瞳である。射出瞳９０４は、マイクロレンズ２０５によって射出瞳位置に投影された光電変換部２０３、２０４の射出瞳である。射出瞳９０５は、同様に射出瞳位置に投影された光電変換部２０１、２０２の射出瞳である。合焦時の撮像レンズの結像面９０６から射出瞳９０１までの距離を射出瞳位置と呼ぶ。射出瞳位置は、レンズの絞り（不図示）よりも後方（結像面側）にあるレンズ群の曲率や絞りとの位置関係などにより変化する。また、射出瞳の大きさは、絞りの径によって変化する。射出瞳９０５を通る光束９０３は光電変換部２０１、２０２へ入射し、射出瞳９０４を通る光束９０２は光電変換部２０３、２０４に入射するように設計される。

このように、左側に位置する光電変換部２０１、２０２には、撮像レンズの射出瞳９０１のうち右側の射出瞳９０５の領域で見た像が得られる。同様に、光電変換部２０３、２０４には、撮像レンズの射出瞳９０１のうち左側の射出瞳９０４の領域で見た像が得られる。なお、図示を省略した撮像素子１０３を構成する他の画素部２０６についても同様の光学設計がなされている。

光束９０２によって撮像素子１０３上で得られる像をＣ＋Ｄ像、光束９０３によって撮像素子１０３上で得られる像をＡ＋Ｂ像とすると、Ａ＋Ｂ像とＣ＋Ｄ像の差は光束９０２と光束９０３と視差に対応する。

図１０は、位相差測距を説明するグラフである。図１０には、前ピン状態（被写体よりも焦点が手前にある状態）における画像信号１００１（Ａ＋Ｂ像）と画像信号１００２（Ｃ＋Ｄ像）が図示されている。縦軸は信号強度であり、横軸は画素のＳ−Ｓ’線方向の位置である。位相差検出方式による被写体までの距離情報は、画像信号１００１と画像信号１００２による像間の距離１００３、及び焦点位置における結像面から射出瞳までの距離から算出される。位相差測距部１０７は、算出された被写体までの距離情報を位相差評価値として、ＡＦ制御部１０８へ出力する。

位相差測距部１０７からの位相差評価値に基づいて、ＡＦ制御部１０８は目標フォーカス位置を決定し、現在のフォーカス位置からの移動方向及び移動量をフォーカス情報として、光学系駆動部１０２に出力する。光学系駆動部１０２は、フォーカス情報に基づいて光学系１０１を駆動し、焦点位置調整を行う。

なお、上述の位相差測距の説明では、上下方向に瞳分割して読み出された画像信号（上信号と下信号）による位相差測距を例示したが、左右方向に瞳分割して読み出された画像信号（左信号と右信号）による位相差測距も同様にして実現可能である。

本実施形態によれば、光電変換部の数が多い場合であっても読み出す信号の個数の増加を抑制し、かつ瞳分割方向を切り換え可能とした位相差測距が可能な撮像装置が提供される。

（第２の実施形態）
図１１のフローチャートを参照して、本発明の第２の実施形態に係る画像処理方法について説明する。

第２の実施形態では瞳分割像の生成をコンピュータによって実施する構成を説明する。すなわち、本実施形態は、第１の実施形態における加算信号分離部１０５での瞳分割像の生成をコンピュータを用いて実現するものである。画像処理装置を構成するその他の要素については、第１の実施形態と同様の構成を採用することができる。

本実施形態の画像処理に用いられるコンピュータは、演算を行うＣＰＵ、撮像素子１０３からの出力及びプログラムを格納するメモリ等を有する。コンピュータは、メモリに記憶されたプログラムを実行することにより瞳分割像の生成を実現する。本実施形態では第１の実施形態で説明した撮像素子１０３からの出力（瞳分割されていない画像信号と瞳分割された信号）を一旦メモリ上に格納し、この出力データを用いて処理を行う。

図１１は、コンピュータのメモリに格納されたＡ＋Ｂ＋Ｃ＋Ｄ像とＡ＋Ｂ像をもとにＣ＋Ｄ像の生成を行うプログラムを説明するフローチャートである。

ステップＳ１１０１において、瞳分割像の生成が開始される。ステップＳ１１０２において、ポインタを設定して、Ａ＋Ｂ＋Ｃ＋Ｄ像、Ａ＋Ｂ像及びＣ＋Ｄ像を格納するメモリ領域を確保し、初期化する。

ステップＳ１１０３において、Ａ＋Ｂ像の読み込みを行いＡ＋Ｂ像のメモリ領域に格納する。ステップＳ１１０４において、Ａ＋Ｂ＋Ｃ＋Ｄ像の読み込みを行いＡ＋Ｂ＋Ｃ＋Ｄ像のメモリ領域に格納する。

ステップＳ１１０５において、Ａ＋Ｂ＋Ｃ＋Ｄ像からＡ＋Ｂ像を減算してＣ＋Ｄ像を生成し、Ｃ＋Ｄ像のメモリ領域に格納する。

ステップＳ１１０６において、全ての画素の処理が終了したかどうかを判断する。全ての画素の処理が終了していない場合、ステップＳ１１０７に進む。ステップＳ１１０７において、ポインタを進めて、Ｓ１１０３に戻る。これにより、次画素のデータに対して、同様の処理が反復実行される。

ステップＳ１１０６において、全ての画素の処理が終了したと判断された場合、Ｓ１１０８に進み処理が終了する。

以上のフローにより、第１の実施形態と同様にＡ＋Ｂ＋Ｃ＋Ｄ像及びＡ＋Ｂ像を用いたＣ＋Ｄ像の生成が行われる。なお、本実施形態において、瞳分割像の生成以外の構成は第１の実施形態と同様の構成が適用可能である。

以上により、本実施形態においても第１の実施形態と同様の効果が得られることに加え、瞳分割像の生成をコンピュータを用いて簡便に実現することができる。

なお、図１１のフローチャートでは上信号（Ａ＋Ｂ像）をメモリ上に格納し、下信号（Ｃ＋Ｄ像）を作成しているが、左信号（Ａ＋Ｃ像）をメモリ上に格納し、右信号（Ｂ＋Ｄ像）を作成する場合も同様である。

（その他の実施形態）
第１及び第２の実施形態では４つの光電変換部２０１、２０２、２０３、２０４が１つのマイクロレンズ２０５を共有しているが、光電変換部の個数は５個以上であってもよい。

瞳分割方向指示情報の値は、画素行又は画素列を単位として０又は１に切り替えを行ってもよい。この場合、横方向（左右）の瞳分割像と縦方向（上下）の瞳分割像を行又は列ごとに交互に得ることができ、横方向と縦方向の位相差を併用した高精度な位相差測距が可能となる。

瞳分割方向指示情報の値は、初期値を１として通常状態では横方向（左右）の瞳分割を行うものとし、所定の条件の場合のみ値を０に変更するよう構成してもよい。例えば、横方向（左右）の瞳分割では位相差測距の精度が所定値以下の場合にのみ瞳分割方向指示情報の値を０に変化させて縦方向（上下）の瞳分割を行うよう構成することができる。これにより撮影状況に応じた位相差測距が可能となる。なお、初期値を０として通常状態では縦方向（上下）の瞳分割を行い、位相差測距の精度が所定値以下の場合にのみ瞳分割方向指示情報の値を１に変化させて横方向（左右）の瞳分割を行うよう構成してもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０３ 撮像素子
１０４ 撮像素子駆動部
１０５ 加算信号分離部
１０７ 位相差測距部
２０１、２０２、２０３、２０４ 光電変換部
２０６ 画素部

Claims (8)

1. 複数の光電変換部を有し、前記複数の光電変換部のうちの第１の群から出力される信号を加算して得られた第１の加算信号と、前記複数の光電変換部のうちの前記第１の群の一部である第２の群から出力される信号を加算して得られた第２の加算信号と、を出力する画素部を含む撮像素子と、
   前記第１の加算信号から前記第２の加算信号を減算して第３の加算信号を生成し、前記第２の加算信号及び前記第３の加算信号を出力する加算信号分離部と、
   前記第２の加算信号及び前記第３の加算信号に基づいて位相差測距を行う位相差測距部と、
   前記位相差測距部において行われる前記位相差測距のための瞳分割方向を少なくとも第１の瞳分割方向と第２の瞳分割方向のいずれかに切り替えるために、前記第２の群に含ませる光電変換部の組み合せを変更可能である撮像素子駆動部と、
   を備え、
   前記撮像素子駆動部は、前記第１の瞳分割方向及び前記第２の瞳分割方向のいずれか一方を通常状態とし、通常状態において前記位相差測距の精度が所定値以下の場合に前記瞳分割方向を切り替えることを特徴とする画像処理装置。
2. 前記第１の群に含まれる複数の光電変換部は、同一のマイクロレンズにより導かれた光に基づく信号を出力することを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の群は、第１の光電変換部、第２の光電変換部、第３の光電変換部及び第４の光電変換部を含み、
   前記撮像素子駆動部が前記第１の瞳分割方向を選択した場合、
   前記第２の群は、第１の光電変換部及び第２の光電変換部を含み、
   前記撮像素子駆動部が前記第２の瞳分割方向を選択した場合、
   前記第２の群は、第１の光電変換部及び第３の光電変換部を含む、
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記撮像素子駆動部は、撮像のフレームごとに前記第１の瞳分割方向と前記第２の瞳分割方向を切り替えることを特徴とする請求項３に記載の画像処理装置。
5. 前記撮像素子の前記画素部は行列状に配置されており、
   前記撮像素子駆動部は、前記画素部の列ごと又は行ごとに前記第１の瞳分割方向と前記第２の瞳分割方向を切り替えることを特徴とする請求項３に記載の画像処理装置。
6. 撮像素子の画素部に含まれる複数の光電変換部のうちの第１の群から出力される信号を加算して得られた第１の加算信号と、前記複数の光電変換部のうちの前記第１の群の一部である第２の群から出力される信号を加算して得られた第２の加算信号と、を入力する工程と、
   前記第１の加算信号から前記第２の加算信号を減算して第３の加算信号を生成する工程と、
   前記第２の加算信号と前記第３の加算信号を出力する工程と
   を備え、
   前記第２の加算信号と前記第３の加算信号は位相差測距に用いられる信号であり、
   前記位相差測距のための瞳分割方向を少なくとも第１の瞳分割方向と第２の瞳分割方向のいずれかに切り替えるために前記第２の群に含まれる光電変換部の組み合せを変更可能であり、
   前記第１の瞳分割方向及び前記第２の瞳分割方向のいずれか一方を通常状態とし、通常状態において前記位相差測距の精度が所定値以下の場合に前記瞳分割方向を切り替えることが可能であることを特徴とする画像処理方法。
7. 請求項６に記載の画像処理方法をコンピュータに実行させるためのプログラム。
8. 請求項７に記載のプログラムを格納した、コンピュータが読み取り可能な記憶媒体。

Images