JP6706109B2 - 撮像装置、および信号処理方法 - Google Patents

Description

本発明は、撮像装置および撮像素子から出力された信号の信号処理方法に関する。

従来、マイクロレンズを通過する光束の一部を光電変換したり、光電変換部の一部を遮蔽したりすることで、撮影光学系の異なる瞳領域を通過した光に対応した瞳分割信号を取得することができる撮像センサが知られている。また、各マイクロレンズに対して複数の光電変換部を備えることにより、瞳分割信号を取得することができる撮像センサも知られている。そして、このようにして得られた瞳分割信号からデフォーカス量を算出し、合焦位置までレンズを駆動させるオートフォーカス（ＡＦ）技術が提案されている。特許文献１では、瞳分割信号を利用するＡＦ技術として、任意に設定された焦点検出領域からのみ瞳分割信号を取得することで、ＡＦ駆動に必要な信号読み出し数を削減する技術が開示されている。

一方、特許文献２には、瞳分割信号からデフォーカス量を算出するために、通常の画像信号とは別に、像高位置に応じて瞳分割信号にシェーディング補正を施す手段が開示されている。

特開２０１２−１５５０９５号公報 特開２０１３−１４８９１７号公報

しかしながら、特許文献１に開示された従来技術では、焦点検出領域の画素の読み出しが完了するまでＡＦの処理ができず、且つ、焦点検出領域の読み出し完了のタイミングが、焦点検出領域の大きさや位置により異なってしまう。

また、特許文献２にあるように、瞳分割信号に対し、撮像面の像高に応じたシェーディング補正を、画像信号と区別して処理する必要があるが、さらに、周辺光量補正など、従来の画像処理においても撮像面上の像高と関連付ける手段が必要である。

本発明は上記問題点を鑑みてなされたものであり、任意の行から先に瞳分割信号を読み出すと共に、瞳分割信号および画像信号に、それぞれ位置に依存した補正処理を行えるようにすることを目的とする。

上記目的を達成するために、本発明の撮像装置は、行列状に配置された複数のマイクロレンズそれぞれに対して複数の光電変換部を有する画素部と、前記複数の光電変換部から、前記各マイクロレンズに対応する前記複数の光電変換部のうち、一部の光電変換部に蓄積された電荷に対応する第１の瞳分割信号を読み出した後、該複数の光電変換部に蓄積された電荷を混合して混合信号を読み出す第１の読み出し制御と、各マイクロレンズごとに対応する前記複数の光電変換部に蓄積された電荷を混合して混合信号を読み出す第２の読み出し制御のいずれかにより、前記画素部の読み出しを行うように制御する制御手段と、行単位で前記画素部の読み出し順序を決定する決定手段と、前記決定された読み出し順序で読み出された行単位の信号に、前記第１の瞳分割信号を示す情報と、前記混合信号を示す情報とを含む、信号の種類を示す情報と、読み出した行番号を示す行情報とを付加する付加手段と、を有し、前記決定手段が、前記画素部の受光領域において、所定の期間で蓄積された電荷を前記第１の読み出し制御により読み出す行を、前記第２の読み出し制御により読み出す行よりも先に読み出すように、前記読み出し順序を決定する、撮像素子と、前記第１の読み出し制御により読み出された前記混合信号と、前記第２の読み出し制御により読み出された前記混合信号とを、前記行情報に応じて、行番号順となるように並べ替える処理手段とを有する。

本発明によれば、任意の行から先に瞳分割信号を読み出すと共に、瞳分割信号および画像信号に、それぞれ位置に依存した補正処理を行えるようにすることができる。

本発明の実施形態における撮像装置の機能構成例を示すブロック図。 実施形態における撮像素子の構成を示す図。 画素部における有効画素部とＯＢ画素部を示した図。 第１の実施形態における第１〜第３の読み出し順序を示す模式図。 第１の実施形態における行番号の決定方法を示すフローチャート。 第１の実施形態における垂直走査部の機能構成を示す図。 第１の実施形態における１行分のデータ配列を示す図。 第１の実施形態における信号処理部の構成の一部を示すブロック図。 第１の実施形態における並べ替え処理の模式図。 第２の実施形態における１行分のデータ配列を示す図。 第２の実施形態における信号処理部の構成の一部を示すブロック図。 第２の実施形態における並べ替え処理の模式図。

以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。

＜第１の実施形態＞
図１は、本発明の実施形態にかかわる撮像装置の機能構成例を示すブロック図である。撮像装置１００は、カメラ本体１０とレンズユニット２０から構成されており、レンズユニット２０全体の動作を制御するレンズ制御部２３と、撮像装置１００の動作を制御する信号処理部１２０とが、カメラ−レンズ接続端子２６を通じて通信を行う。

まず、レンズユニット２０の構成について説明する。絞り２２は、後述する撮像素子１０１への入射光量を制御する絞りであり、絞り駆動部２５によって駆動される。フォーカスレンズ２１は、後述する撮像素子１０１に結像する焦点の調節を行うためのレンズ群であり、フォーカスレンズ駆動部２４によって駆動される。なお、レンズユニット２０は、フォーカスレンズ２１以外にも、集光および収差補正のための複数のレンズ群（不図示）を備える。絞り駆動部２５およびフォーカスレンズ駆動部２４は、レンズ制御部２３の制御に基づいて、絞り２２の開口径やフォーカスレンズ２１のレンズ位置を決定する。

レンズ制御部２３は、レンズユニット２０全体を制御する制御部であり、信号処理部１２０から受信した制御信号に応じて、絞り駆動部２５やフォーカスレンズ駆動部２４を制御する。また、レンズユニット２０の状態や情報を信号処理部１２０に送信する。

カメラ本体１０は、撮像素子１０１、信号処理部１２０、撮影ボタン１３０、シャッタ１５０、シャッタ駆動部１５１を備える。ユーザによる撮影ボタン１３０の所定操作により、ＡＦ動作オン、撮影開始といった指示を信号処理部１２０が受け、撮像素子１０１、レンズ制御部２３に制御信号を送ることで、静止画撮影などの撮影動作を行う。

図２（ａ）は、撮像素子１０１の機能構成を示すブロック図である。撮像素子１０１は、画素１０２が行列状に配置された画素部１０３、垂直走査部１０４、タイミング制御部１０５、列ＡＤ部１０６、パラレル／シリアル変換部１０７、同期コード付加部１０８、読出行情報付加部１０９、シリアル伝送部１１０を含む。垂直走査部１０４による制御により、行単位で画素１０２から読み出された画素信号は、垂直信号線１１２を介して列ＡＤ部１０６に送られ、アナログ／デジタル（ＡＤ）変換される。

パラレル／シリアル変換部１０７は、例えばシフトレジスタなどで構成され、画素部左端の画素データから順次転送することにより、列ＡＤ部１０６でデジタル信号に変換された画像データをシリアル変換して、同期コード付加部１０８に転送する。同期コード付加部１０８では、シリアルデータの先頭に同期コードを付加する。

読出行情報付加部１０９は、読み出している行番号をシリアルデータ先頭の同期コードの次に付加する。読み出している行番号は、タイミング制御部１０５から、例えばパラレルの１６ｂｉｔデータとして取得する。シリアル伝送部１１０は、例えばＬＶＤＳなどのシリアルデータ転送形式を用いて、出力端子１１１から受信側となる信号処理部１２０にシリアルデータを送信する。

各画素１０２は、図２（ｂ）に示すように、一つのマイクロレンズ２００に対して、光電変換部Ａ２０１と光電変換部Ｂ２０２とを有し、それぞれマイクロレンズ２００の左側と右側を通過する光束を光電変換する。以下、光電変換部Ａ２０１で光電変換により得られた光信号を瞳分割信号Ａ、光電変換部Ｂ２０２で光電変換により得られた光信号を瞳分割信号Ｂと呼び、瞳分割信号Ａと瞳分割信号Ｂを混合した信号をＡＢ混合信号と呼ぶ。瞳分割信号Ａ、瞳分割信号Ｂ、およびＡＢ混合信号の読み出し方について、図２（ｃ）を用いて説明する。

図２（ｃ）は、画素１０２の詳細な構成を示す回路図である。画素１０２は、光電変換部Ａ２０１、光電変換部Ｂ２０２、スイッチＴＸＡ２０３、スイッチＴＸＢ２０４、フローティングディフュージョン（ＦＤ）領域２０５、リセットスイッチ２０６、ソースフォロワ（ＳＦ）アンプ２０７、行選択スイッチ２０８を有する。ＦＤ領域２０５、リセットスイッチ２０６、ＳＦアンプ２０７、行選択スイッチ２０８は、光電変換部Ａ２０１および光電変換部Ｂ２０２により共有される。制御信号ｐＴＸＡ，ｐＴＸＢ、リセット信号ｐＲＥＳ、および行選択信号ｐＳＥＬにより、本実施形態における瞳分割信号ＡとＡＢ混合信号の読み出し制御を行う。

瞳分割信号Ａの読み出しにおいては、まず、制御信号ｐＴＸＡ，ｐＴＸＢ、リセット信号ｐＲＥＳをアサートし、光電変換部Ａ２０１、光電変換部Ｂ２０２、ＦＤ領域２０５内の電荷をリセットする。電荷のリセット完了後に、制御信号ｐＴＸＡ，ｐＴＸＢをネゲートすることで、光電変換部Ａ２０１および光電変換部Ｂ２０２における電荷蓄積を開始する。

所定の蓄積時間をおいて、リセット信号ｐＲＥＳをネゲートすると共に、制御信号ｐＴＸＡをアサートすることで、光電変換部Ａ２０１の電荷をＦＤ領域２０５に転送し、十分な転送時間をおいて制御信号ｐＴＸＡをネゲートする。その後、行選択信号ｐＳＥＬをアサートすることで、ＦＤ領域２０５に読み出した瞳分割信号Ａを、垂直信号線１１２を介して列ＡＤ部１０６に送ることができる。

ＡＢ混合信号の読み出しは、瞳分割信号Ａの読み出し後に、制御信号ｐＴＸＡ，ｐＴＸＢを共にアサートすることで、光電変換部Ａ２０１と光電変換部Ｂ２０２の電荷をＦＤ領域２０５で混合する。十分な転送時間をおいて制御信号ｐＴＸＡ，ｐＴＸＢをネゲートする。その後、行選択信号ｐＳＥＬをアサートすることで、ＦＤ領域２０５に読み出したＡＢ混合信号を、垂直信号線１１２を介して列ＡＤ部１０６に送ることができる。

なお、以下の説明において、上述したようにして所定の蓄積期間で蓄積された電荷を瞳分割信号ＡおよびＡＢ混合信号としてそれぞれ読み出す制御を、第１の読み出し制御と呼ぶ。

また、上述したようにして得られたＡＢ混合信号から瞳分割信号Ａを減算して擬似瞳分割信号Ｃを求める。瞳分割信号Ａと擬似瞳分割信号Ｃとを用いて位相差方式の焦点検出処理により合焦位置までのレンズ駆動量を求めることは公知であるため、ここでは詳細説明は省略する。

一方、ＡＢ混合信号を単独で読み出しを行うことができる。その場合、まず、制御信号ｐＴＸＡ，ｐＴＸＢおよびリセット信号ｐＲＥＳをアサートし、光電変換部Ａ２０１、光電変換部Ｂ２０２、ＦＤ領域２０５内の電荷をリセットする。電荷のリセット完了後に、制御信号ｐＴＸＡ，ｐＴＸＢをネゲートすることで、光電変換部Ａ２０１および光電変換部Ｂ２０２における電荷蓄積を開始する。

所定の蓄積時間をおいて、リセット信号ｐＲＥＳをネゲートすると共に、制御信号ｐＴＸＡ，ｐＴＸＢを両方共アサートすることで、光電変換部Ａ２０１と光電変換部Ｂ２０２の電荷をＦＤ領域２０５に転送する。そして、十分な転送時間をおいて制御信号ｐＴＸＡ，ｐＴＸＢをネゲートし、その後、行選択信号ｐＳＥＬをアサートすることで、ＦＤ領域２０５に読み出したＡＢ混合信号を、垂直信号線１１２を介して列ＡＤ部１０６に送ることができる。

なお、以下の説明において、上述したようにして所定の蓄積期間で蓄積された電荷をＡＢ混合信号としてのみ読み出す制御を、第２の読み出し制御と呼ぶ。

上述した各読み出し制御は、制御信号ｐＴＸＡ，ｐＴＸＢ、行選択信号ｐＳＥＬ、リセット信号ｐＲＥＳを共有する行方向の画素で同時に行われる。どの行を読み出すかはタイミング制御部１０５が指定し、垂直走査部１０４が前述の読み出し制御を指定行で行う。垂直走査部１０４は、タイミング制御部１０５から指定行を取得する。

リセット信号ｐＲＥＳの制御は、行方向の画素で同時に行ってもよいが、シャッタの開閉により蓄積時間が制御できる場合、次のような駆動も可能である。ここでは一例として、瞳分割信号ＡとＡＢ混合信号を読み出す場合について説明する。

まず、シャッタ１５０を閉じた状態で、全画素１０２のリセット信号ｐＲＥＳをアサートし、シャッタ１５０を開ける。そして、所定の蓄積時間経過後にシャッタを閉じ、全画素１０２のリセット信号ｐＲＥＳをネゲートしてから、全画素１０２の制御信号ｐＴＸＡをアサートし、光電変換部Ａ２０１の電荷をＦＤ領域２０５に転送する。その後、行選択信号ｐＳＥＬを順次アサートすることで、ＦＤ領域２０５に読み出した瞳分割信号Ａを、垂直信号線１１２を介して列ＡＤ部１０６に送ることができる。

さらに遮光状態のまま、制御信号ｐＴＸＢをアサートし、光電変換部Ａ２０１と光電変換部Ｂ２０２の電荷をＦＤ領域２０５に転送した後に、行選択信号ｐＳＥＬをアサートする。これにより、ＦＤ領域２０５に読み出したＡＢ混合信号を、垂直信号線１１２を介して列ＡＤ部１０６に送ることができる。

また、画素部１０３は、図３に示すように、瞳分割信号Ａ、瞳分割信号Ｂ、ＡＢ混合信号を読み出すことのできる有効画素領域１３１（受光領域）と、画素の光電変換部を遮光し、光学的黒レベルを規定するＯＢ画素領域１３２ａ，１３２ｂとを有する。また、画素１０２のうち一部の画素を光電変換部の無い構造に置き換えたＮＵＬＬ画素を有してもよい。

図４（ａ）は、第１の実施形態における第１の読み出し順序を示す模式図である。図４（ａ）のグラフにおいて、横軸は時刻ｔ、縦軸は行番号Ｖを表している。またＶｓｔｒは画素部１０３の開始行、Ｖｅｎｄは画素部１０３の終了行、ＯｓｔｒはＯＢ画素領域１３２ａの開始行、ＯｅｎｄはＯＢ画素領域１３２ａの終了行を表す。また、Ａｓｔｒは、例えば焦点検出領域などの瞳分割信号の読み出し開始行、Ａｅｎｄは瞳分割信号の読み出し終了行を示す。Ａｓｔｒ〜Ａｅｎｄの読み出し期間以外ではＡＢ混合信号のみを読み出す第２の読み出し制御を行い、Ａｓｔｒ〜Ａｅｎｄの読み出し期間では、瞳分割信号ＡとＡＢ混合信号を読み出す第１の読み出し制御を行う。Ａｓｔｒ〜Ａｅｎｄの読み出し期間では、上述したように、第１の読み出し制御により、瞳分割信号ＡとＡＢ混合信号の２回の読み出しを行うため、他の行の２倍程度の時間、同じ行を指定する必要がある。

図４（ａ）で示すように、ＯＢ画素領域１３２ａの読み出しを終了した後に、瞳分割信号読み出し領域を含む行を、含まない行に先駆けて読み出すことで、瞳分割信号の読み出し完了を早めることが可能である。なお、瞳分割信号読み出し領域としては、例えば、焦点検出領域を設定することができる。

図４（ｂ）は、第１の実施形態における第２の読み出し順序を示す模式図である。図４（ｂ）に示す順序は、画素部１０３の上部から下部に向かって順に読み出す、通常の読み出し順序であり、第２の読み出し制御により読み出しを行う。

図４（ｃ）は、第１の実施形態における第３の読み出し順序を示す模式図である。図４（ｃ）に示す順序は、画素部１０３の上部から下部に向かって順に読み出す通常の読み出し順序であるが、特定の行のみ、第１の読み出し制御により読み出すようにしたものである。

第１〜第３の読み出し順序は、種々の撮影条件に合わせて信号処理部１２０が撮像素子１０１のタイミング制御部１０５に指示を送ることで制御される。

たとえば、動画記録時は、いわゆるスリットローリングシャッタ動作を行うため、第１の読み出し順序で駆動すると、蓄積時間が不連続となり、画像も不連続に歪むことになる。したがって、画質を優先して、位相差ＡＦを行わない場合は第２の読み出し順序で、位相差ＡＦを行う場合には第３の読み出し順序で駆動する。

また、ライブビュー表示時にユーザにより位相差ＡＦオンの指示がある場合は、画質よりもＡＦの速度や追従性を優先した方が好ましいため、第１の読み出し順序で駆動させる。

また、静止画を連続撮影する場合、十分な解像度を得るために多くの場合、全画素を読み出すので、瞳分割信号の読み出し位置によっては完了するまで時間を要する場合がある。したがって、第１の読み出し順序で駆動させることで、瞳分割信号ＡおよびＡＢ混合信号の読み出し完了時間が早まり、次の撮影のための合焦位置の演算開始を早めることができる。

ＡＦの応答をより早く行うためには、上述したように、第１の読み出し順序により瞳分割信号の読み出しを優先して読み出し完了を早めることが好ましい。しかしながら、瞳分割信号を優先して読み出しを行った場合、撮像面の読み出し順序が不連続となるため、行を適切に並べ替える必要があると共に、読み出した瞳分割信号に撮像面上の像高を関連づける必要がある。

そこで、本第１の実施形態では、デジタル変換後の瞳分割信号ＡおよびＡＢ混合信号は、撮像素子１０１の各行の開始を知るために、同期コード付加部１０８でシリアルデータの先頭に同期コードおよび行番号を付加する。このとき、瞳分割信号Ａ、ＡＢ混合信号のそれぞれに種類に応じた異なる同期コードを割り当てる。以降の説明では、瞳分割信号Ａに付加された同期コードを瞳分割同期コード、ＡＢ混合信号に付加された同期コードを混合同期コードと呼ぶ。

ここで、図５のフローチャートを用いて、タイミング制御部１０５が、垂直走査部１０４と読出行情報付加部１０９に送信する行番号Ｖ（指定行）の決定方法について説明する。なお、行番号Ｖは、図５に示す処理に従って１フレームの読み出しの間、変化していき、タイミング制御部１０５は、必要に応じて、そのときに設定されている行番号Ｖを垂直走査部１０４および読出行情報付加部１０９に送信する。

また、フローチャートに記載の変数Ｓｓｔｒ、Ｓｅｎｄ、Ｏｓｔｒ、Ｏｅｎｄ、Ａｓｔｒ、Ａｅｎｄは、図４（ａ）に示す行番号に対応し、撮影条件が決まった際に信号処理部１２０からの通信で設定して、１フレームを撮影する間、固定する。

Ｓ１０１において、信号処理部１２０の指示に従い、第１の読み出し順序が指示された場合はＳ１０２に進み、制御変数Ｍを１にする。第１の読み出し順序が指示されていない場合、すなわち、第２の読み出し順序または第３の読み出し順序が指示された場合にはＳ１０３に進み、制御変数Ｍを０にする。

次にＳ１０５において、行番号ＶをＶｓｔｒに初期化して、Ｓ１０６に進む。Ｓ１０６では、Ｖ≧Ｏｓｔｒを満たすかどうかを判断し、満たしている場合はＳ１０７に、満たしていない場合はＳ１０８に進む。Ｓ１０７では、Ｖ＜Ｏｅｎｄを満たすかどうかを判断する。満たしている場合はＳ１０８に進み、読み出し中の行の読み出し終了後にＶをインクリメントして、Ｓ１０６に戻る。一方、Ｓ１０７においてＶ＜Ｏｅｎｄを満たしていない場合はＳ１０９に進む。

Ｓ１０９では、Ｍが１であるかどうかを判断し、Ｍが１の場合はＳ１１４に、そうでない場合はＳ１１０に進む。これにより、Ｍが１の場合は以下に説明するＳ１１０〜Ｓ１１２における行番号Ｖ＝ＯｅｎｄからＡｓｔｒまでの行の指定をスキップし、Ｓ１１４で行番号Ｖ＝Ａｓｔｒから行を進めることになる。Ｓ１１０では、行番号ＶをＯｅｎｄで初期化して、Ｓ１１１に進む。Ｓ１１１では、Ｖ＜Ａｓｔｒを満たすかどうかを判断する。満たしている場合はＳ１１２に進み、読み出し中の行の読み出し終了後にＶをインクリメントして、Ｓ１１１に戻る。一方、Ｓ１１１においてＶ＜Ａｓｔｒを満たしていない場合はＳ１１３に進む。

Ｓ１１３では、Ｍが１であるかどうかを判断し、Ｍが１の場合はＳ１１８に、そうでない場合はＳ１１４に進む。Ｓ１１４では、行番号ＶをＡｓｔｒで初期化して、Ｓ１１５に進む。Ｓ１１５では、Ｖ＜Ａｅｎｄを満たすかどうかを判断し、満たしている場合はＳ１１６に進み、読み出し中の行の読み出し終了後にＶをインクリメントして、Ｓ１１５に戻る。一方、Ｓ１１５においてＶ＜Ａｅｎｄを満たしていない場合はＳ１１７に進む。

Ｓ１１７では、Ｍが１であるかどうかを判断し、Ｍが１の場合はＳ１１０に、そうでない場合はＳ１１８に進む。これにより、Ｍが１の場合は先にスキップしたＳ１１０〜Ｓ１１２における行番号Ｖ＝ＯｅｎｄからＡｓｔｒまでの行を指定することになる。そして、Ｓ１１１でＶ＜Ａｓｔｒを満たすと、Ｓ１１３を経て、Ｓ１１８に処理が進む。Ｓ１１８では、行番号ＶをＡｅｎｄで初期化して、Ｓ１１９に進む。Ｓ１１９では、Ｖ＜Ｖｅｎｄを満たすかどうかを判断し、満たしている場合はＳ１２０に進み、読み出し中の行の読み出し終了後にＶをインクリメントして、Ｓ１１９に戻る。一方、Ｓ１１９においてＶ＜Ｖｅｎｄを満たしていない場合は、処理を終了する。

上記のように行番号Ｖを決定し、かつ各変数の大小関係を図４（ａ）、図４（ｂ）、図４（ｃ）で示すように設定することで、第１〜第３の読み出し順序に応じた行番号を決定することができる。読出行情報付加部１０９では、このようにして決定された行番号Ｖを同期コードの後に付加する。

次に、行番号Ｖで垂直走査部１０４が画素部１０３に送る制御信号の制御について、図６を用いて説明する。垂直走査部１０４は、入力端子８０１と、デコーダ部８０２とＡＮＤゲート群８０３を有する。

入力端子８０１は、タイミング制御部１０５より、全行ＴＸＡ制御信号ｐＴＸＡ＿ＡＬＬ、全行ＴＸＢ制御信号ｐＴＸＢ＿ＡＬＬ、全行選択信号ｐＳＥＬ＿ＡＬＬ、全行リセット信号ｐＲＥＳ＿ＡＬＬ、および行番号Ｖを取得する。デコーダ部８０２は、行番号Ｖに対応する一つの出力だけをＨｉｇｈにして、残りの出力をＬｏｗとする機能を有する。ＡＮＤゲート群８０３の各ＡＮＤゲートは入力端子を２つ持ち、片方がデコーダ部８０２の出力線に接続され、もう一方がｐＴＸＡ＿ＡＬＬ、ｐＴＸＢ＿ＡＬＬ、ｐＣＥＬ＿ＡＬＬ、ｐＲＥＳ＿ＡＬＬのいずれかに接続される。

ｐＴＸＡ＿ＡＬＬ、ｐＴＸＢ＿ＡＬＬ、ｐＳＥＬ＿ＡＬＬ、ｐＲＥＳ＿ＡＬＬのＨｉｇｈかＬｏｗの信号と、行番号Ｖをタイミング制御部１０５から受け取ることにより、選択行だけに前述の読み出し制御を行うことができる。

上述の制御を行うことにより、撮像素子１０１から、瞳分割信号ＡとＡＢ混合信号を、それぞれ別の同期コードと同じ行番号が付加された状態で、一行ずつ信号処理部１２０に伝送することが可能である。

図７（ａ）は、第１の実施形態における第２の読み出し制御によりＡＢ混合データのみが読み出された行の１行分のデータ配列を模式的に表すものである。各行の先頭に混合同期コードがあり、その後に行番号Ｖがあり、その後に一行分のＡＢ混合信号が並ぶ。

図７（ｂ）は、第１の読み出し制御により瞳分割信号ＡとＡＢ混合データとが読み出された行の１行分のデータ配列を模式的に表すものである。まず、各行の先頭に瞳分割同期コードがあり、その後ろに行番号Ｖがあり、その後に１行分の瞳分割信号Ａが並ぶ。さらにその後ろに混合同期コードがあり、その後に行番号Ｖがあり、その後に一行分のＡＢ混合信号が並ぶ。瞳分割信号ＡとＡＢ混合信号には同じ行番号Ｖが付加される。

次に、第１の実施形態において第１の読み出し順序で読み出された場合に信号処理部１２０で行われる信号処理について、図８に示す信号処理部１２０の構成を示すブロック図を用いて説明する。信号処理部１２０は、シリアル伝送受信部１２１、擬似瞳分割信号演算部１２２、混合信号処理部１２３、画像信号処理部１２４、瞳分割信号処理部１２５、位相差ＡＦ演算部１２６、共有メモリ１２７、出力ポート１２８，１２９を有する。

シリアル伝送受信部１２１は、撮像素子１０１から、図７（ｂ）に示すようなシリアルデータを受信し、擬似瞳分割信号演算部１２２に送る。擬似瞳分割信号演算部１２２では、同じ画素から読み出したＡＢ混合信号と瞳分割信号Ａから、擬似瞳分割信号Ｃを計算する。計算は、瞳分割信号Ａが付加された瞳分割同期コードの有無を見て、瞳分割コードがある場合にのみ行われる。ＡＢ混合信号は、混合信号処理部１２３に送り、瞳分割信号Ａと擬似瞳分割信号Ｃは瞳分割信号処理部１２５に送る。入力に対して、擬似瞳分割信号Ｃの分だけ出力側の帯域が必要となる。瞳分割信号Ａおよび擬似瞳分割信号Ｃのビット数を落としてもよい。

混合信号処理部１２３は、混合同期コードとそれに続く行番号を見て、補正処理と、行の並べ換え処理を行う。

図９は、並べ変え処理の模式図である。各行の画素データの先頭に行番号があり、変数Ｖｓｔｒ、Ｏｅｎｄ、Ａｓｔｒ、Ａｅｎｄ、Ｖｅｎｄは決められた値であり、大小関係は、０≦Ｖｓｔｒ＜Ｏｅｎｄ＜Ａｓｔｒ＜Ａｅｎｄ＜Ｖｅｎｄである。

図９（ａ）は処理前の入力データの並びを示しており、上述したように、入力した画像データは、Ｏｅｎｄ−１とＡｓｔｒ、Ａｅｎｄ−１とＯｅｎｄ、およびＡｓｔｒ−１とＡｅｎｄとの間で不連続である。これを、図９（ｂ）のように並べ替え処理をする。この処理は、各行の先頭に付加された行番号Ｖに基づいて画像データを行番号順に共有メモリ１２７に展開することで、簡単に実現できる。

また、行の並べ替え処理の他に電気的な要因の補正処理を行う。ここでの処理には、例えば、カメラ本体１０内に記憶された画素毎のオフセットレベルの補正データの減算や、カメラ本体１０内に記憶された欠陥画素の補正、といった処理が含まれる。これらの処理は、補正データの画素の並びと、読み出した画素の並びが一致している必要があるため、行の並べ替え後に補正を行う方が好ましいが、行番号から画素と補正データの対応をとれば並べ替え前に行うことも可能である。すべての処理が完了したら画像信号処理部１２４に完了信号を送る。

画像信号処理部１２４は、混合信号処理部１２３から完了信号を受け取った後に、共有メモリ１２７内のデータからＪＰＥＧなどの公知のフォーマットの画像ファイルを作成する一連の処理を行う。この処理には、ホワイトバランス調整やノイズ処理の他、レンズ制御部２３より、撮影時のＦ値、瞳距離といったレンズユニット２０の光学特性データを取得し、その内容に基づいて行う周辺光量補正、画像回復処理等の画像処理が含まれる。画像信号処理部１２４の処理が済んだ画像データは、出力ポート１２８を介して出力され、カメラ本体１０に搭載されたＴＦＴなどの表示器（不図示）への表示や、記録メディアへの記録が行われる。

一方、瞳分割信号処理部１２５は、瞳分割信号Ａと擬似瞳分割信号Ｃに対し、行の並べ替え処理を除く、前述の混合信号処理部１２３でＡＢ混合信号に施した処理と同等の処理を行う。さらに、瞳分割信号Ａと擬似瞳分割信号Ｃに、画素の位置に応じた瞳分割光学シェーディング補正（画像処理）を行い、位相差ＡＦ演算部１２６に送る。瞳分割光学シェーディング補正は、画素に入射する光束の角度に依存して、光電変換部Ａ２０１および光電変換部Ｂ２０２が受ける光束が制限されることで、特に画素の周辺で大きくなる、瞳分割信号Ａと擬似瞳分割信号Ｃとの差を補正する。また、撮影レンズの絞りが小さいほど、また撮影レンズの瞳距離が小さいほど、光電変換部Ａ２０１と光電変換部Ｂ２０２の入射角が大きくなり、信号の差が顕著となる。そのため、レンズ制御部２３から、撮影時のＦ値、瞳距離を取得し、その条件下での瞳分割光学シェーディング補正データで補正をする。なお、事前にＦ値および瞳距離に応じた光学シェーディング補正データをカメラ本体１０内に記憶させておくことが好ましい。さらに、レンズ制御部２３からレンズ識別番号を取得し、光学シェーディング補正データをレンズの製品毎、あるいは個体毎に持ってもよい。

位相差ＡＦ演算部１２６は、瞳分割信号Ａと擬似瞳分割信号Ｃの２像一致度を見てレンズ駆動量を計算する。ＡＦ専用センサを用いた公知の位相差検出方式と原理は同じであり、読み出し時のフォーカスレンズ位置から合焦位置までの方向と移動量が得られる。合焦位置までの方向と移動量をレンズ制御部２３に送り、フォーカスレンズ駆動部２４でフォーカスレンズ２１を合焦位置に移動させる。

このように、第１の読み出し順序で読み出した場合に、瞳分割信号に対して像高に依存した補正処理を行うことができる。また、第２、第３の読み出し順序で読み出した場合においても、共通の瞳分割信号処理部１２５により、瞳分割信号に対して像高に依存した補正処理を行うことができる。

上記の通り本第１の実施形態によれば、任意の行から先に瞳分割信号を読み出し、瞳分割信号に像高に依存した補正処理を行うことが可能となる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。第２の実施形態における撮像素子１０１は、第１の実施形態の撮像素子１０１と同様の構成を有するが、撮像素子１０１からの信号の読み出し方法が異なる。以下、第２の実施形態における読み出し方法について説明する。

第２の実施形態では、第１の実施形態に記載した第１の読み出し順序および第３の読み出し順序で行われる第１の読み出し制御を、同一行の瞳分割信号Ａと瞳分割信号Ｂをそれぞれ単独で読み出すように変更する。

すなわち、図４（ａ）および図４（ｃ）に示すＡｓｔｒ〜Ａｅｎｄの行で、画素から瞳分割信号Ａの読み出し完了後に下記の要領で、瞳分割信号Ｂの読み出しを行う。まず、リセット信号ｐＲＥＳをアサートし、ＦＤ領域２０５内の電荷をリセットする。

ＦＤ領域２０５内の電荷のリセット完了後に、リセット信号ｐＲＥＳをネゲートすると共に、制御信号ｐＴＸＢをアサートし、光電変換部Ｂ２０２の電荷をＦＤ領域２０５に転送する。そして、十分な転送時間をおいてｐＴＸＢをネゲートする。その後、行選択信号ｐＳＥＬをアサートすることで、ＦＤ領域２０５に読み出したＡＢ混合信号を、垂直信号線１１２を介して列ＡＤ部１０６に送ることができる。

なお、以下の説明において、上述したようにして瞳分割信号ＡおよびＡＢ混合信号を読み出す制御を、第３の読み出し制御と呼ぶ。

なお、瞳分割信号Ａと瞳分割信号Ｂとから位相差方式の焦点検出処理を行って、合焦位置までのレンズ駆動量を求めることは公知であるため、ここでは詳細説明は省略する。また、第１の実施形態と同様に、その他の行ではＡＢ混合信号のみを読み出す、第２の読み出し制御を行う。

第２の実施形態では、同期コード付加部１０８で、瞳分割信号Ａ、瞳分割信号Ｂ、ＡＢ混合信号のそれぞれに種類に応じた異なる同期コードを割り当てる。以降の説明では、瞳分割信号Ａ、瞳分割信号Ｂ、ＡＢ混合信号に付加された同期コードを、それぞれ瞳分割（Ａ）同期コード、瞳分割（Ｂ）同期コード、混合同期コードと呼ぶ。

図１０（ａ）は、第２の実施形態における第２の読み出し制御によりＡＢ混合データのみが読み出された行の１行分のデータ配列を模式的に表すものであり、図７（ａ）と同様である。図１０（ｂ）は、第３の読み出し制御により瞳分割信号Ａと瞳分割信号Ｂが読み出された行の１行分のデータ配列を模式的に示したものである。

瞳分割信号Ａと瞳分割信号Ｂには、それぞれ瞳分割（Ａ）同期コードと、瞳分割（Ｂ）同期コードが付加される。また、各同期コードの後に同じ行番号Ｖがあり、その後ろに一行分の瞳分割信号Ａと瞳分割信号Ｂが並ぶ。

次に、第２の実施形態において第３の読み出し順序で読み出された場合に信号処理部１２０で行われる信号処理について、図１１に示す信号処理部１２０の構成を示すブロック図を用いて説明する。なお、図８に示す構成と同様の構成には同じ参照番号を付し、適宜説明を省略する。信号処理部１２０は、シリアル伝送受信部１２１、瞳分割信号混合部１１１０、混合信号処理部１２３、画像信号処理部１２４、瞳分割信号処理部１２５、位相差ＡＦ演算部１２６、共有メモリ１２７、出力ポート１２８，１２９を有する。

第２の実施形態では、擬似瞳分割信号Ｃを算出する必要がないため、擬似瞳分割信号演算部１２２が無い一方、Ａｓｔｒ〜Ａｅｎｄの行ではＡＢ混合信号が出力されないために、瞳分割信号混合部１１１０を追加している。瞳分割信号混合部１１１０は、図１２に示すように同一の行番号が付加された、第３の読み出し制御により読み出されたＡｓｔｒ〜Ａｅｎｄの行の瞳分割信号Ａと瞳分割信号Ｂを混合して、Ａ＋Ｂ信号を計算する。その他の構成に関しては、第１の実施形態で説明した機能の組み合わせにより実現可能である。

上記の通り第２の実施形態においても、任意の行から先に瞳分割信号を読み出し、瞳分割信号に像高に依存した補正処理を行うことが可能となる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

例えば、上述した第１および第２の実施形態では、１つのマイクロレンズに対して２つの光電変換部を有する構成としたが、３つ以上の光電変換部を有する構成であっても良い。

また、撮像装置１００が、カメラ本体１０とレンズユニット２０から構成されている場合について説明したが、カメラ本体とレンズとが一体的に構成された撮像装置に適用することができる。

また、撮像装置１００は、デジタルカメラ、デジタルビデオカメラのようなカメラはもとより、カメラ機能付き携帯電話、カメラ付きコンピュータなど、カメラ機能を備える任意の電子機器であっても良い。

また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０：カメラ本体、２０：レンズユニット、１００：撮像装置、１０１：撮像素子、１０２：画素、１０３：画素部、１０４：垂直走査部、１０５：タイミング制御部、１０８：同期コード付加部、１０９：読出行情報付加部、１２０：信号処理部、２０１：光電変換部Ａ、２０２：光電変換部Ｂ

Claims (15)

1. 行列状に配置された複数のマイクロレンズそれぞれに対して複数の光電変換部を有する画素部と、
   前記複数の光電変換部から、前記各マイクロレンズに対応する前記複数の光電変換部のうち、一部の光電変換部に蓄積された電荷に対応する第１の瞳分割信号を読み出した後、該複数の光電変換部に蓄積された電荷を混合して混合信号を読み出す第１の読み出し制御と、前記各マイクロレンズごとに対応する前記複数の光電変換部に蓄積された電荷を混合して混合信号を読み出す第２の読み出し制御のいずれかにより、前記画素部の読み出しを行うように制御する制御手段と、
   行単位で前記画素部の読み出し順序を決定する決定手段と、
   前記決定された読み出し順序で読み出された行単位の信号に、前記第１の瞳分割信号を示す情報と、前記混合信号を示す情報とを含む、信号の種類を示す情報と、読み出した行番号を示す行情報とを付加する付加手段と、を有し、
   前記決定手段が、前記画素部の受光領域において所定の期間で蓄積された電荷を前記第１の読み出し制御により読み出す行を、前記第２の読み出し制御により読み出す行よりも先に読み出すように、前記読み出し順序を決定する、撮像素子と、
   前記第１の読み出し制御により読み出された前記混合信号と、前記第２の読み出し制御により読み出された前記混合信号とを、前記行情報に応じて、行番号順となるように並べ替える処理手段と
   を有することを特徴とする撮像装置。
2. 前記第１の読み出し制御により読み出された前記混合信号から前記第１の瞳分割信号を減算して、第２の瞳分割信号を算出する算出手段を更に有することを特徴とする請求項１に記載の撮像装置。
3. 行列状に配置された複数のマイクロレンズそれぞれに対して複数の光電変換部を有する画素部と、
   前記複数の光電変換部から、前記各マイクロレンズに対応する前記複数の光電変換部のうち、一部の光電変換部に蓄積された電荷に対応する第１の瞳分割信号を読み出した後、残りの光電変換部に蓄積された電荷に対応する第２の瞳分割信号を読み出す第１の読み出し制御と、各マイクロレンズごとに対応する前記複数の光電変換部に蓄積された電荷を混合して混合信号を読み出す第２の読み出し制御のいずれかにより、前記画素部の読み出しを行うように制御する制御手段と、
   行単位で前記画素部の読み出し順序を決定する決定手段と、
   前記決定された読み出し順序で読み出された行単位の信号に、前記第１の瞳分割信号を示す情報と、前記第２の瞳分割信号を示す情報とを含む、信号の種類を示す情報と、読み出した行番号を示す行情報とを付加する付加手段と、を有し、
   前記決定手段が、前記画素部の受光領域において所定の期間で蓄積された電荷を前記第１の読み出し制御により読み出す行を、前記第２の読み出し制御により読み出す行よりも先に読み出すように、前記読み出し順序を決定する、撮像素子と、
   前記第１の瞳分割信号と前記第２の瞳分割信号を混合して、混合信号を算出する算出手段と、
   前記第２の読み出し制御により読み出された前記混合信号と、前記算出手段により算出された前記混合信号とを、前記行情報に応じて、行番号順となるように並べ替える処理手段と
   を有することを特徴とする撮像装置。
4. 前記第１の瞳分割信号と、前記第２の瞳分割信号とに基づいて、位相差方式の焦点検出処理を行う焦点検出手段を更に有することを特徴とする請求項２または３に記載の撮像装置。
5. 前記第１の読み出し制御により読み出す行は、焦点検出を行う領域を含む行であることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記行情報に基づいて、前記混合信号および第１および第２の瞳分割信号に対して、画素の位置に応じた画像処理を行う画像処理手段を更に有することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記画像処理手段は、前記処理手段により並び替えされた前記混合信号に対して前記画像処理を行うことを特徴とする請求項６に記載の撮像装置。
8. 前記画像処理は、シェーディング補正を含むことを特徴とする請求項６または７に記載の撮像装置。
9. 行列状に配置された複数のマイクロレンズそれぞれに対して複数の光電変換部を有する画素部と、
   前記複数の光電変換部から、前記各マイクロレンズに対応する前記複数の光電変換部のうち、一部の光電変換部に蓄積された電荷に対応する第１の瞳分割信号を読み出した後、該複数の光電変換部に蓄積された電荷を混合して混合信号を読み出す第１の読み出し制御と、各マイクロレンズごとに対応する前記複数の光電変換部に蓄積された電荷を混合して混合信号を読み出す第２の読み出し制御のいずれかにより、前記画素部の読み出しを行うように制御する制御手段と、
   行単位で前記画素部の読み出し順序を決定する決定手段と、
   前記決定された読み出し順序で読み出された行単位の信号に、前記第１の瞳分割信号を示す情報と、前記混合信号を示す情報とを含む、信号の種類を示す情報と、読み出した行番号を示す行情報とを付加する付加手段と、を有し、
   前記決定手段が、前記画素部の受光領域において所定の期間で蓄積された電荷を前記第１の読み出し制御により読み出す行を、前記第２の読み出し制御により読み出す行よりも先に読み出すように、前記読み出し順序を決定する、撮像素子から出力された信号を処理する信号処理方法であって、
   処理手段が、前記第１の読み出し制御により読み出された前記混合信号と、前記第２の読み出し制御により読み出された前記混合信号とを、前記行情報に応じて、行番号順となるように並べ替える工程を有することを特徴とする信号処理方法。
10. 算出手段が、前記第１の読み出し制御により読み出された前記混合信号から前記第１の瞳分割信号を減算して、第２の瞳分割信号を算出する工程を更に有することを特徴とする請求項９に記載の信号処理方法。
11. 行列状に配置された複数のマイクロレンズそれぞれに対して複数の光電変換部を有する画素部と、
    前記複数の光電変換部から、前記各マイクロレンズに対応する前記複数の光電変換部のうち、一部の光電変換部に蓄積された電荷に対応する第１の瞳分割信号を読み出した後、残りの光電変換部に蓄積された電荷に対応する第２の瞳分割信号を読み出す第１の読み出し制御と、各マイクロレンズごとに対応する前記複数の光電変換部に蓄積された電荷を混合して混合信号を読み出す第２の読み出し制御のいずれかにより、前記画素部の読み出しを行うように制御する制御手段と、
    行単位で前記画素部の読み出し順序を決定する決定手段と、
    前記決定された読み出し順序で読み出された行単位の信号に、前記第１の瞳分割信号を示す情報と、前記第２の瞳分割信号を示す情報とを含む、信号の種類を示す情報と、読み出した行番号を示す行情報とを付加する付加手段と、を有し、
    前記決定手段が、前記画素部の受光領域において所定の期間で蓄積された電荷を前記第１の読み出し制御により読み出す行を、前記第２の読み出し制御により読み出す行よりも先に読み出すように、前記読み出し順序を決定する、撮像素子から出力された信号を処理する信号処理方法であって、
    算出手段が、前記第１の瞳分割信号と前記第２の瞳分割信号を混合して、混合信号を算出する算出工程と、
    処理手段が、前記第２の読み出し制御により読み出された前記混合信号と、前記算出工程で算出された前記混合信号とを、前記行情報に応じて、行番号順となるように並べ替える工程と
    を有することを特徴とする信号処理方法。
12. 焦点検出手段が、前記第１の瞳分割信号と、前記第２の瞳分割信号とに基づいて、位相差方式の焦点検出処理を行う焦点検出工程を更に有することを特徴とする請求項１０または１１に記載の信号処理方法。
13. 画像処理手段が、前記行情報に基づいて、前記混合信号および第１および第２の瞳分割信号に対して、画素の位置に応じた画像処理を行う工程を更に有することを特徴とする請求項１０乃至１２のいずれか１項に記載の信号処理方法。
14. コンピュータに、請求項９乃至１３のいずれか１項に記載の信号処理方法の各工程を実行させるためのプログラム。
15. 請求項１４に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images