JP6727017B2 - 撮像装置及びその制御方法、及び、画像処理装置及び画像処理方法 - Google Patents

Description

本発明は撮像装置及びその制御方法、及び、画像処理装置及び画像処理方法に関し、特に、撮像素子を用いて撮像された画像信号の黒レベルを調整する撮像装置及びその制御方法、及び、画像処理装置及び画像処理方法に関する。

従来、集光光学系及び撮像素子を用いた撮像装置において、撮像素子上に形成された集光用マイクロレンズ配下に備えられた画素部の光電変換部を複数に分割し、集光光学系の射出瞳を分割した像を画像信号として取得するものがある。また、特許文献１には、射出瞳を分割した像を含む画像信号を元に焦点検出をするための技術が開示されている。

特開２００１−１２４９８４号公報

上述したような従来の撮像素子の構成では、全ての画素部の複数の光電変換部から独立して画像信号を取得するため、撮像素子から読み出す画素数が増大するといった問題が生じてしまう。そのため、焦点検出を行う撮像素子上の領域（焦点検出領域）に属するラインだけを複数の光電変換部からそれぞれ独立して読み出し、焦点検出領域に属さないラインについては、画素部で複数の光電変換部からの信号を加算して出力する方法が提案されている。これにより、撮像素子から読み出す画素数を低減させることが考えられる。これにより、撮像素子から得られた画像信号について、独立して読み出されたラインの画像信号を用いて焦点検出を行うと共に、画像信号を加算することで記録用の画像信号を生成することが可能となる。

しかしながら、上記構成を採ることで、新たな課題が生じてしまう。撮像素子からの画像信号の読み出しの駆動に起因して、読み出したラインごとに入射光量がゼロのときの信号レベルが異なることにより、黒レベル合わせ処理の精度が悪化し、ひいては、記録する画像信号の画質を悪化させる要因となりうる。

本発明は上記問題点を鑑みてなされたものであり、各画素の複数の光電変換部からそれぞれ画像信号を読み出した加算した加算信号と、複数の光電変換部の画像信号を各画素内で加算してから読み出した画像信号との間の黒レベルの差異を、精度よく補正することを目的とする。

上記目的を達成するために、本発明の撮像装置は、複数のマイクロレンズそれぞれに対して複数の光電変換部を備え、当該マイクロレンズが行列状に配置されている撮像素子と、前記撮像素子から、各行の読み出しごとに、前記各マイクロレンズに対応する前記複数の光電変換部を２つ以上に分けて複数の画像信号を読み出す第１の読み出し方法と、前記各マイクロレンズに対応する前記複数の光電変換部の画像信号を加算して読み出す第２の読み出し方法とのいずれかを選択して読み出し制御する読み出し制御手段と、前記撮像素子から読み出された画像信号が、前記第１の読み出し方法と前記第２の読み出し方法のいずれにより読み出されたかに基づいて、前記第１の読み出し方法により読み出された前記複数の画像信号を加算する加算手段と、前記加算手段により加算された画像信号から、当該加算により増加した黒レベルの増加分を調整値として調整する調整手段と、前記調整手段により調整された画像信号と、前記第２の読み出し方法により読み出された画像信号の黒レベルを合わせるクランプ手段と、を有する。

本発明によれば、各画素の複数の光電変換部からそれぞれ画像信号を読み出して加算した加算信号と、複数の光電変換部の画像信号を各画素内で加算してから読み出した画像信号との間の黒レベルの差異を、精度よく補正することができる。

本発明の第１の実施形態における撮像装置の概略構成を示すブロック図。 第１の実施形態における撮像素子を構成する単位画素の構成例を示す概念図及び回路図。 読み出した一部の画像信号の一例を示す模式図。 第１の実施形態における処理を示すフローチャート。 第１の実施形態における加算処理および調整値の切り替えタイミングを示すタイミングチャート。 第１の実施形態における画像信号の加算処理前後の黒レベルを示した図。 第１の実施形態における画像信号の加算処理後の黒レベルを示した模式図。 第２の実施形態における撮像装置の概略構成を示すブロック図。 第２の実施形態における処理を示すフローチャート。 第２の実施形態における加算処理および調整値の切り替えタイミングを示すタイミングチャート。 第３の実施形態における撮像装置の概略構成を示すブロック図。 第３の実施形態における処理を示すフローチャート。 第３の実施形態における画像信号の黒レベルを示した模式図。

以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。

＜第１の実施形態＞
図１は、本発明の第１の実施形態における撮像装置の概略構成を示すブロック図である。制御部１０１は撮像装置全体を制御するものであり、撮像素子１０２や判別部１０３の動作を制御する制御信号を生成する。撮像素子１０２は、制御部１０１からの制御信号に従って、被写体像を光電変換により電気信号に変換し、変換した電気信号を画像信号として出力する。

判別部１０３は、制御部１０１からの制御信号に従って、後述する加算部１０４、画像信号切替部１０６および調整部１０７に対して判別信号を出力する。なお、判別信号については、後述する。加算部１０４は、撮像素子１０２から得られた画像信号を判別部１０３からの判別信号に基づいてライン単位で加算して出力する。画像信号記憶部１０５は加算部１０４での加算処理の際に画像信号を記憶するために用いられる。画像信号切替部１０６は、撮像素子１０２から出力された画像信号と、加算部１０４により加算して得られた画像信号とを、判別部１０３からの判別信号に従って出力を切り替えて出力する。

調整部１０７は、判別部１０３からの判別信号に従って、画像信号切替部１０６から出力される画像信号の信号レベルを調整する。調整値記憶部１０８は、調整部１０７において信号レベルを調整する調整値を記憶する。クランプ部１０９は、調整部１０７から出力される画像信号に対して、画像信号が像を形成されていない、すなわち入射光量がゼロのときの信号レベル（以下、「黒レベル」と呼ぶ。）を合わせる。

次に、撮像素子１０２を構成する画素について、図２を参照して説明する。図２（ａ）は、撮像素子１０２を構成する複数の画素のうち、１つの単位画素２０１の構成例を示す模式図である。各単位画素２０１は、１つのマイクロレンズ２０２と、入射光を電荷に変換するフォト・ダイオードに代表される複数の光電変換部とを有する。図２では、２つの光電変換部２０３，２０４を有する例を示している。

図２（ｂ）は、単位画素２０１の等価回路図である。光電変換部２０３，２０４は、同一のマイクロレンズ２０２を通過した光を受光し、その受光量に応じた電荷を生成する。光電変換部２０３，２０４にはそれぞれ転送スイッチ２１３，２１４が接続され、転送パルスＰＴＸＡ，ＰＴＸＢによって制御される。転送スイッチ２１３がＯＮとなったときに、光電変換部２０３で生成された電荷がフローティングデフュージョン部（ＦＤ）２１５に転送され、転送スイッチ２１４がＯＮとなったときに、光電変換部２０４で生成された電荷がＦＤ２１５に転送される。このように、ＦＤ２１５は、光電変換部２０３，２０４で発生した電荷を一時的に蓄積しておく蓄積領域となる。

すなわち、転送スイッチ２１３のみをＯＮすることで光電変換部２０３の電荷のみをＦＤ２１５に読み出したり、転送スイッチ２１４のみをＯＮすることで光電変換部２０４の電荷のみをＦＤ２１５に読み出すことができる（第１の読み出し方法）。また、転送スイッチ２１３，２１４を同時にＯＮすることで、光電変換部２０３と光電変換部２０４の電荷をＦＤ２１５で加算することもできる（第２の読み出し方法）。上述した判別部１０３により出力される判別信号は、第１の読み出し方法で読み出したか、第２の読み出し方法で読み出したかを判別した判別結果を示す信号である。

リセットスイッチ２１７は、リセットパルスＰＲＥＳによって制御され、ＯＮとなったときにＦＤ２１５を不図示の電源ラインから供給される基準電位ＶＤＤにリセットする。また、リセットスイッチ２１７と転送スイッチ２１３，２１４を同時にＯＮすることで、光電変換部２０３，２０４を基準電位ＶＤＤにリセットすることができる。

増幅ＭＯＳアンプ２１６も不図示の電源ラインに接続され、ソースフォロアアンプとして機能し、ＦＤ２１５に保持された電荷に基づく電圧信号を増幅して、画像信号として出力する。選択スイッチ２１８は制御信号ＰＳＥＬによって制御され、ＯＮとなったときに増幅ＭＯＳアンプ２１６により増幅された画像信号を垂直出力線２２０に出力する。

上述した転送パルスＰＴＸＡ，ＰＴＸＢ、リセットパルスＰＲＥＳ、及び制御信号ＰＳＥＬは、撮像素子１０２中に備えられた不図示の垂直走査回路から出力される。

撮像素子１０２には、上記構成を有する複数の単位画素２０１が行列状に配置され、行単位で読み出される。読み出された画像信号は垂直出力線２２０を経て、撮像素子１０２から順次出力される。なお、得られた画像信号を撮像素子１０２内でアナログデジタル変換し、デジタル信号として出力するような構成としても良い。その場合、垂直出力線２２０ごとにアナログデジタル変換部を設け、画像信号をデジタル信号として出力する。

図３は、撮像素子１０２から読み出された画像信号のうち、一部の画像信号の例を示した模式図であり、水平方向に８列分、垂直方向に、Ｌｉｎｅ０〜Ｌｉｎｅ７の８行分の画像信号を示している。なお、各Ｌｉｎｅは、撮像素子における単位画素の行に必ずしも対応しておらず、第１の読み出し方法により光電変換部２０３，２０４の電荷をそれぞれ独立して読み出した場合には、単位画素２０１の１行分の信号が、２Ｌｉｎｅ分の画像信号となる。また、第１の読み出し方法により、ある単位画素の行では光電変換部２０３の電荷、次の単位画素の行では光電変換部２０４の電荷を読み出すようにしてもよい。

Ｌｉｎｅ０の画像信号３０１のＰ００からＰ０７は、単位画素２０１の光電変換部２０３と光電変換部２０４の電荷を第２の読み出し方法で読み出した場合の画像信号を示している。以下、Ｐで始まる画像信号は全て第２の読み出し方法で読み出した画像信号を示す。Ｌｉｎｅ２の画像信号３０２のＡ２０からＡ２７は、第１の読み出し方法により単位画素２０１の光電変換部２０３のみの電荷を読み出した画像信号を示しており、以下、Ａで始まる画像信号は全て同様の方法で読み出した画像信号を示す。Ｌｉｎｅ３の画像信号３０３のＢ３０からＢ３７は、第１の読み出し方法により単位画素２０１の光電変換部２０４のみの電荷を読み出した画像信号を示しており、以下、Ｂで始まる画素は全て同様の方法で読み出した画像信号を示す。撮像素子１０２は、単位画素２０１を構成する複数の光電変換部２０３，２０４で変換された電気信号を、制御部１０１からの制御信号に従って、第１の読み出し方法で読み出すか、第２の読み出し方法で読み出すか、を行単位で変更することができる。

次に図４のフローチャートを参照して、第１の実施形態における処理について説明する。

先ず、Ｓ１０１において、撮像素子１０２から画像信号を読み出す。ここでは、制御部１０１が、撮像素子１０２に対して撮像素子１０２の光電変換部上に形成された像に対応した電荷を、第１の読み出し方法または第２の読み出し方法で読み出すように行単位で制御信号を送信する。撮像素子１０２は制御信号に応じて読み出しを行い、電荷を画像信号として出力する。

次にＳ１０２では、加算部１０４において判別部１０３からの判別信号に従い、画像信号を加算する。ここで、Ｓ１０２で行われる処理について説明する。

図５は、加算部１０４において画像信号を加算する処理のタイミングを示すタイミングチャートであり、ここでは、一例として、図３に示すように信号を読み出した場合に対応している。図５において、入力画像信号は、撮像素子１０２から出力される画像信号をラインごとにＬｉｎｅ０からＬｉｎｅ７まで示したものである。Ｌｉｎｅ２、Ｌｉｎｅ３および、Ｌｉｎｅ６、Ｌｉｎｅ７は、単位画素２０１を構成する複数の光電変換部２０３，２０４のいずれか一方の電荷を画像信号として読み出したラインであるため、画像信号として記録するために加算処理を行う必要がある。書き込み制御信号は、画像信号記憶部１０５に一旦１ライン分の画像信号を保持するか否かを制御するために用いられ、加算部１０４で生成される。画像信号記憶部の信号は、画像信号記憶部１０５に１ライン分の画像信号が記憶されている様子を示しており、書き込み制御信号の信号レベルがＨｉのときに、そのときの入力画像信号が画像信号記憶部１０５に記憶されていく。

読み出し制御信号は、画像信号記憶部１０５に保持されている１ライン分の画像信号の読み出しを制御するための制御信号であり、加算部１０４で生成される。加算部１０４における加算処理は判別部１０３からの判別信号のレベルが第１の読み出し方法を示す間（ここでは、Ｈｉの間）、有効になる。この判別信号に応じて、加算部１０４ではＬｉｎｅ２とＬｉｎｅ３、Ｌｉｎｅ６とＬｉｎｅ７を加算することで、記録用の画像信号を生成する。加算部出力画像信号は、生成された画像信号を示している。図３に示す画像信号の例では、Ｌｉｎｅ２とＬｉｎｅ３の信号を各単位画素毎に加算するため、Ａ２０とＢ３０の加算、Ａ２１とＢ３１の加算、というように処理を重ね、新たに１ライン分の画像信号（Ｃ２＊）を得る。

なお、先述した書き込み制御信号や読み出し制御信号は、上述した判別信号を元に加算部１０４で生成する。例えば、判別信号がＬｏからＨｉになったラインは書き込み制御信号をＨｉにし、書き込み制御信号がＨｉからＬｏになったラインは読み出し制御信号をＨｉにすることで生成する。

次に、Ｓ１０３では、画像信号切替部１０６で出力信号を切り替える。図５の出力信号は、画像信号切替部１０６から出力される画像信号を示したもので、判別部１０３から送られてくる判別信号を元に、撮像素子１０２から得られる画像信号と、加算部１０４から得られる画像信号を切り替えて出力する。これにより、画像信号切替部１０６からは、記録画像として必要な画像信号が出力される。

Ｓ１０４では、調整部１０７において、画像信号の信号レベルを調整する。図６は、撮像素子１０２から読み出された画像信号の黒レベルと、加算部１０４で加算されたあとの画像信号の黒レベルの一例を示したものである。画像信号の黒レベルは、光電変換部２０３及び２０４からの電荷の読み出しの前に行われる、ＦＤ２１５のリセット動作によって決まるが、ＦＤ２１５のリセット動作に差が生じると、画像信号の黒レベルも変動することが知られている。例えば、図３のＬｉｎｅ０の読み出しと、Ｌｉｎｅ３の読み出しを比較すると、Ｌｉｎｅ０の読み出しでは、光電変換部２０３及び２０４からの電荷の読み出しの前ではＦＤ２１５は読み出し開始まで長い時間リセット状態にある。これに対し、Ｌｉｎｅ３の読み出しでは、直前のＬｉｎｅ２の読み出しの直後にＦＤ２１５をリセットして再びＦＤ２１５を利用して光電変換部２０４の電荷を読み出すため、ＦＤ２１５のリセットの時間が短くなる傾向にある。

このようなＦＤ２１５のリセット状態の違いによって、ＦＤ２１５のリセット時のレベルに差異が生じ、出力される画像信号としても、黒レベルの異なるラインが混在してしまう。図６はその一例を示したもので、Ｌｉｎｅ３と、Ｌｉｎｅ７では、他のラインと異なる黒レベルＹを持って出力される。それ以外のラインは、黒レベルＸを持って出力される。さらに、加算部１０４において対応するライン同士が加算されると、加算後の黒レベルは加算前にそれぞれのラインが持つ黒レベルの和、すなわち（Ｘ＋Ｙ）となる。

加算後の画像信号の信号レベルの様子を図７に示す。なお、図３に示すものと同一の符号については説明を省略する。画像信号７０１のＣ２０~Ｃ２７は、Ｌｉｎｅ２とＬｉｎｅ３を加算したときの画像信号を示したもので、加算部１０４から出力された加算後の画像信号（図５のＣ２＊）となる。画像信号７０２のＣ６０~Ｃ６７は、画像信号７０１と同様に、Ｌｉｎｅ６とＬｉｎｅ７を加算したときに加算部１０４から出力される画像信号である。このときの画像信号の黒レベルをラインごとに模式的に図示すると、７０５に示す様になる。７０３は各ラインの黒レベルの平均信号レベルを、７０４は各ライン位置を示しており、加算部１０４で加算したラインと加算していないラインとでは、黒レベルが異なる。

一般的に各ラインの黒レベルの調整は各ラインの左端または右端に設けられたオプティカルブラック（ＯＢ）領域（撮像素子１０２に構成された光電変換部の上部に金属などの遮光層を設けた領域）から出力される画像信号の信号レベルを元に調整する。しかしながら、左端または右端に設けることのできる画素数にも限りがあるため、ラインをまたいだフィルタ処理によって検出し、補正するのが一般的である。しかしながら、図７から明らかなように、ラインごとに黒レベルが異なると、ラインをまたいだフィルタ処理ができなくなってしまうという問題が生じるため、本実施形態においては、調整部１０７において、加算したラインの黒レベルの増加分のみを調整する。

図５に、調整部１０７における黒レベルの調整のタイミングを更に示す。加算部１０４で加算された画像信号であることを判別するために、判別部１０３は、調整値判別信号を調整部１０７に送る。調整部１０７は調整値判別信号に従って、調整値を選択する。調整値は、予め撮像素子１０２からの画像信号を数値処理して調整値記憶部１０８に記録しておき、調整値判別信号に応じて読み出す。図７から明らかなように、調整値は、加算部１０４で加算されたラインに対して、黒レベルＹを減算するように、調整値Ｙを入力された画像信号から減算する。

Ｓ１０５では、調整部１０７から出力される画像信号に対して、クランプ部１０９は、画像信号の黒レベルに基づき、画像信号を目標値にクランプする。撮像装置のシステムとして、黒レベルを内部演算処理上のどのコード値とするかが予め決められている。そのため、先述したＯＢ領域の画像信号を加算平均処理することによって黒レベルを検出し、黒レベルを目標のコード値になるように、画像信号の信号レベルをクランプする。

上記の通り本第１の実施形態によれば、加算したラインに対してのみ黒レベルを調整することで加算していないラインと黒レベルを合わせることにより、クランプ処理による黒レベル合わせの精度を向上させることが可能となる。

＜第２の実施形態＞
以下、本発明の第２の実施形態について説明する。図８は、第２の実施形態における撮像装置の概略構成を示すブロック図である。図８に示す構成は、図１の判別部１０３に代えて、付帯情報判別部８０１を有するところが異なる。それ以外の構成は図１に示す構成と同様であるので同じ参照番号を付し、説明を省略する。付帯情報判別部８０１は、撮像素子１０２から出力される画像信号に付帯された付帯情報を元に、加算部１０４、画像信号切替部１０６、調整部１０７に対して加算判別信号を出力する。

以下、図９のフローチャートを参照して、第２の実施形態における処理について説明する。

先ず、Ｓ２０１において、撮像素子１０２から画像信号を読み出す。ここでは第１の実施形態と同様に、制御部１０１が、撮像素子１０２に対して撮像素子１０２上の光電変換部に結像された像に対応した電荷を、第１の読み出し方法または第２の読み出し方法で読み出すように行単位で制御信号を送信する。撮像素子１０２は制御信号に応じて読み出しを行い、電荷を画像信号として出力する。ここで、第２の実施形態においては、画像信号を出力する際に、撮像素子１０２は出力される各ラインごとに、単位画素２０１からどのように画像信号を読み出したかを示す付帯情報を合わせて出力する。例えば、制御部１０１から撮像素子１０２には、単位画素２０１からの画像信号の読み出し方法の指示が送られているので、撮像素子１０２では、指示内容に従って画像信号を出力する際に、各ラインの先頭画素の出力直前に付帯情報を示す特定の値を埋め込む。そのため、第２の実施形態における撮像素子１０２は、この埋め込みを行うための回路を備えている。

Ｓ２０２では、付帯情報判別部８０１は、画像信号に付加された付帯情報を元に、加算部１０４に対して撮像素子１０２から出力される画像信号を加算するための加算判別信号を出力する。ここで、Ｓ２０２で行われる加算判別信号の出力方法について説明する。

図１０は、第２の実施形態における加算処理および調整値の切り替えタイミングを示すタイミングチャートであり、ここでは、一例として、図３に示すように信号を読み出した場合に対応している。図１０において、入力画像信号は、撮像素子１０２から出力される各ラインの付帯情報と画像信号を模式的に示したもので、付帯情報と画像信号はセットになって繰り返し出力される。付帯情報αは、第２の読み出し方法により画像信号の読み出しを行ったことを示しており、Ｌｉｎｅ０、Ｌｉｎｅ１、Ｌｉｎｅ４、Ｌｉｎｅ５にそれぞれ付帯している。また、付帯情報βは、第１の読み出し方法により、単位画素２０１の光電変換部２０３のみから画像信号を読み出したことを示しており、Ｌｉｎｅ２、Ｌｉｎｅ６にそれぞれ付帯している。さらに、付帯情報γは、第１の読み出し方法により、単位画素２０１の光電変換部２０４のみから画像信号を読み出したことを示しており、Ｌｉｎｅ３、Ｌｉｎｅ７にそれぞれ付帯している。付帯情報判別部８０１は、付帯情報βのラインと付帯情報γのラインの画像信号が入力されている間、加算判別信号をＨｉにする。

画像信号記憶部の信号は、画像信号記憶部１０５に１ライン分の画像信号が記憶されている様子を示しており、加算部１０４で生成される書き込み制御信号の信号レベルがＨｉのときに、そのときの入力画像信号が画像信号記憶部１０５に記憶されていく。このように、光電変換部２０３から読み出した画像信号であるＬｉｎｅ２と、光電変換部２０４から読み出した画像信号であるＬｉｎｅ３とを加算して、単位画素２０１の画像信号を得るために、一時的に画像信号記憶部１０５にＬｉｎｅ２を保持しておく。

次に、加算部１０４は、Ｌｉｎｅ３が入力したときに画像信号記憶部１０５からＬｉｎｅ２の画像信号を読み出すために、読み出し制御信号を出力する。画像信号記憶部１０５から読み出されたＬｉｎｅ２の画像信号はＬｉｎｅ３の画像信号と加算部１０４で加算される。以上の処理により、加算部１０４は画像信号を加算して出力する。加算部出力画像信号は加算後の画像信号が出力される様子を示したものである。Ｌｉｎｅ６、Ｌｉｎｅ７についても同様に、加算部１０２において加算処理を実行する。これにより、新たにそれぞれ１ライン分の単位画素２０１毎の画像信号（図１０のＣ２＊、Ｃ６＊）を得る。

なお、ここでは、加算判別信号がＬｏからＨｉになったラインは書き込み制御信号をＨｉにし、書き込み制御信号がＨｉからＬｏになったラインは読み出し制御信号をＨｉにしている。

次に、Ｓ２０３では、画像信号切替部１０６は、付帯情報判別部８０１から送られてくる加算判別信号を元に、撮像素子１０２から得られる画像信号と、加算部１０４から得られる画像信号とを切り替えて出力する。これにより、画像信号切替部１０６からは、記録画像として必要な画像信号が出力される。

Ｓ２０４とＳ２０５で行われる処理は、第１の実施形態の図４のＳ１０４とＳ１０５で行われる処理と同様であるので、ここでは説明を省略する。

上記の通り第２の実施形態によれば、第１の実施形態と同様の効果に加え、撮像素子１０２から画像信号と合わせて付帯情報を出力することで、付帯情報を解析して調正値を切り替えて適用することが可能となる。これにより、制御部１０１の介在を低減させ、撮像装置の制御の複雑さを低減することができる。

なお、撮像素子１０２のチップ温度が上昇することによって調整値に差が生じた場合は、予め温度に対する調整値の補償係数を撮像装置の不図示の記憶部に記憶しておき、調整値を補償してから調整してもよい。また、温度ごとの調整値を同様に不図示の記憶手段に記憶しておいて調整することで、より精度よく補正することが可能となる。

また、上述した第２の実施形態では、撮像装置内で画像信号の処理を行う場合について説明したが、付帯情報が付加された画像信号を記録媒体等に一旦記録し、これを画像処理装置で読み出して処理するようにしてもよい。

＜第３の実施形態＞
以下、本発明の第３の実施形態について説明する。図１１は、第３の実施形態における撮像装置の概略構成を示すブロック図である。図１１に示す構成は、図１に示す撮像装置の構成と比較して、調整値記憶部１０８が無く、検出部１１０１を有するところが異なる。それ以外の構成は図１に示す構成と同様であるので同じ参照番号を付し、説明を省略する。第３の実施形態では、検出部１１０１が、判別部１０３からの判別信号に基づいて、撮像素子１０２から出力される画像信号から黒レベル調整をするための調整値を検出し、調整部１０７に送る構成となっている。

以下、図１２のフローチャートを参照して、第３の実施形態における処理について説明する。

先ず、Ｓ３０１において、撮像素子１０２から画像信号を読み出す。ここでは、第１の実施形態と同様に、制御部１０１が、撮像素子１０２に対して撮像素子１０２の光電変換部上に形成された像に対応した電荷を、第１の読み出し方法または第２の読み出し方法で読み出すように行単位で制御信号を送信する。撮像素子１０２は制御信号に応じて読み出しを行い、電荷を画像信号として出力する。

次にＳ３０２において、第１の実施形態と同様に、判別部１０３からの判別信号を元に、加算部１０４は入力される画像信号の所定ラインに対して、画像信号記憶部１０５を用いてライン加算処理を行い、加算画像信号を出力する。そして、Ｓ３０３では、第１の実施形態と同様に、画像信号切替部１０６は、判別部１０３から送られてくる加算判別信号を元に、撮像素子１０２から得られる画像信号と、加算部１０４から得られる画像信号とを切り替えて出力する。

Ｓ３０４では、検出部１１０１が撮像素子１０２から得られた画像信号から、調整部１０７で信号レベルを調整するために用いる調整値を算出する。ここで、Ｓ３０４で行われる処理について説明する。

図１３は撮像素子１０２から得られた画像信号と、その信号レベルの様子を模式的に示したものである。なお、図３に示すものと同一の符号については説明を省略する。図１３において、１３０１は、得られた画像信号の各ラインの黒ベルの平均信号レベルを、１３０２は各ライン位置を示している。撮像素子１０２を構成する単位画素２０１のＦＤ２１５の駆動条件の違いにより、１３０３に示すように黒レベルに差異が生じる。検出部１１０１は、ＦＤ２１５の駆動条件が異なるＬｉｎｅ３及びＬｉｎｅ７に対して、ＯＢ領域の信号レベルを加算及び平均処理によって算出し、算出した信号レベルを調整値Ｙとして、調整部１０７に送る。

一般的にＯＢ領域は各ラインの左端ないし右端に設けられるが、該領域の画素数にも限りがあるため、ランダムノイズの影響を受けやすくなってしまい、検出される調整値の精度が悪くなってしまう。そこで、撮像素子１０２の有効領域の上端に複数ラインに渡ってライン全体を遮光するＯＢ領域を設け、該ＯＢ領域をＬｉｎｅ３及びＬｉｎｅ７と同じ読み出し方で画像信号を読み出し、検出部１１０１は該画像信号から調整値を算出する。このようにすることで、より精度よく調整値を算出することが可能となる。

Ｓ３０５では、加算部１０４で加算されたラインの画像信号に対して黒レベルを減算するように、Ｓ３０４で検出した調整値Ｙを入力画像信号から減算する。

Ｓ３０６では、調整部１０７から出力される画像信号に対して、クランプ部１０９は、画像信号の黒レベルに基づき、画像信号を目標値にクランプする。撮像装置のシステムとして、黒レベルを内部演算処理上のどのコード値とするかが予め決められている。そのため、先述したＯＢ領域の画像信号を加算平均処理することによって黒レベルを検出し、黒レベルを目標のコード値になるように、画像信号の信号レベルをクランプする。

上記の通り第３の実施形態によれば、第１の実施形態と同様の効果に加え、例えば、撮像素子のチップ温度が上昇することによって調整値に変化が生じた場合でも、常に黒レベルを検出して調整値を算出することで、より精度よく補正することが可能となる。

なお、上述した第１から第３の実施形態では単位画素２０１に形成された複数の光電変換部が２つの場合について説明した。しかしながら、本発明はこれに限るものではなく、各単位画素２０１が３つ以上の光電変換部を有する構成であっても良く、その場合、加算した画像信号のライン数に応じて調整処理を制御することで、加算したラインに対する黒レベル調整を行うことができる。

＜他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１：制御部、１０２：撮像素子、１０３：判別部、１０４：加算部、１０５：画像信号記憶部、１０６：画像信号切替部、１０７：調整部、１０８：クランプ回路、１１０１：検出部、１０８：補正値調整部、２０１：単位画素、２０２：マイクロレンズ、２０３，２０４：光電変換部、８０１：付帯情報判別部

Claims (19)

1. 複数のマイクロレンズそれぞれに対して複数の光電変換部を備え、当該マイクロレンズが行列状に配置されている撮像素子と、
   前記撮像素子から、各行の読み出しごとに、前記各マイクロレンズに対応する前記複数の光電変換部を２つ以上に分けて複数の画像信号を読み出す第１の読み出し方法と、前記各マイクロレンズに対応する前記複数の光電変換部の画像信号を加算して読み出す第２の読み出し方法とのいずれかを選択して読み出し制御する読み出し制御手段と、
   前記撮像素子から読み出された画像信号が、前記第１の読み出し方法と前記第２の読み出し方法のいずれにより読み出されたかに基づいて、前記第１の読み出し方法により読み出された前記複数の画像信号を加算する加算手段と、
   前記加算手段により加算された画像信号から、当該加算により増加した黒レベルの増加分を調整値として調整する調整手段と、
   前記調整手段により調整された画像信号と、前記第２の読み出し方法により読み出された画像信号の黒レベルを合わせるクランプ手段と、
   を有することを特徴とする撮像装置。
2. 前記読み出し制御手段による読み出し制御に基づいて、前記撮像素子から読み出された画像信号が、前記第１の読み出し方法と前記第２の読み出し方法のいずれにより読み出されたかを判別する判別手段をさらに備えることを特徴とする請求項１に記載の撮像装置。
3. 前記撮像素子は、前記第１の読み出し方法により読み出されたか、または、前記第２の読み出し方法により読み出されたかを示す付帯情報を、前記画像信号に付帯して出力し、
   前記判別手段は、前記付帯情報に基づいて前記判別を行うことを特徴とする請求項２に記載の撮像装置。
4. 前記付帯情報に基づいて、前記撮像素子から読み出された画像信号が、前記第１の読み出し方法と前記第２の読み出し方法のいずれにより読み出されたかを判別する判別手段をさらに備えることを特徴とする請求項３に記載の撮像装置。
5. 前記調整手段は、前記調整値を記憶する記憶手段を備え、当該記憶された調整値を用いて調整を行うことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記調整手段は、前記撮像素子の温度に応じて、前記調整値を変更することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記撮像素子は遮光された領域を含み、
   前記遮光された領域から読み出された画像信号から、前記調整値を検出する検出手段を更に有することを特徴とする請求項１に記載の撮像装置。
8. 前記加算手段は、画像信号を記憶する第１の記憶手段を備え、前記第１の読み出し方法により読み出された複数の画像信号のうち、先に読み出された画像信号を記憶し、該記憶した画像信号を後に読み出された画像信号に加算することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記判別手段による前記判別の結果に基づいて、前記第２の読み出し方法により読み出された画像信号と、前記加算手段により加算された画像信号とを切り替えて、前記調整手段に出力する切替手段を更に有することを特徴とする請求項２または４に記載の撮像装置。
10. 複数のマイクロレンズそれぞれに対して複数の光電変換部を備え、当該マイクロレンズが行列状に配置されている撮像素子を有する撮像装置の制御方法であって、
    前記撮像素子から、各行の読み出しごとに、前記各マイクロレンズに対応する前記複数の光電変換部を２つ以上に分けて複数の画像信号を読み出す第１の読み出し方法と、前記各マイクロレンズに対応する前記複数の光電変換部の画像信号を加算して読み出す第２の読み出し方法とのいずれかを選択して読み出し制御する読み出し制御工程と、
    前記撮像素子から読み出された画像信号が、前記第１の読み出し方法と前記第２の読み出し方法のいずれにより読み出されたかに基づいて、前記第１の読み出し方法により読み出された前記複数の画像信号を加算する加算工程と、
    前記加算工程で加算された画像信号から、当該加算により増加した黒レベルの増加分を調整値として調整する調整工程と、
    前記調整工程により調整された画像信号と、前記第２の読み出し方法により読み出された画像信号の黒レベルを合わせるクランプ工程と、
    を有することを特徴とする制御方法。
11. 前記読み出し制御工程における読み出し制御に基づいて、前記撮像素子から読み出された画像信号が、前記第１の読み出し方法と前記第２の読み出し方法のいずれにより読み出されたかを判別する判別工程をさらに備えることを特徴とする請求項１０に記載の制御方法。
12. 前記撮像素子は、前記第１の読み出し方法により読み出されたか、または、前記第２の読み出し方法により読み出されたかを示す付帯情報を、前記画像信号に付帯して出力することを特徴とする請求項１０に記載の制御方法。
13. 前記付帯情報に基づいて、前記撮像素子から読み出された画像信号が、前記第１の読み出し方法と前記第２の読み出し方法のいずれにより読み出されたかを判別する判別工程をさらに備えることを特徴とする請求項１２に記載の制御方法。
14. 前記撮像素子は遮光された領域を含み、
    前記遮光された領域から読み出された画像信号から、前記調整値を検出する検出工程を更に有することを特徴とする請求項１１乃至１３のいずれか１項に記載の制御方法。
15. 複数のマイクロレンズそれぞれに対して複数の光電変換部を備え、当該マイクロレンズが行列状に配置されている撮像素子から、各行の読み出しごとに、前記各マイクロレンズに対応する前記複数の光電変換部を２つ以上に分けて複数の画像信号を読み出す第１の読み出し方法と、前記各マイクロレンズに対応する前記複数の光電変換部の画像信号を加算して読み出す第２の読み出し方法とのいずれかを選択して読み出した画像信号を処理する画像処理装置であって、
    前記画像信号に付帯された付帯情報に基づいて、前記第１の読み出し方法により読み出されたか、または、前記第２の読み出し方法により読み出されたかを判別して、判別結果を出力する判別手段と、
    前記判別手段による前記判別結果に基づいて、前記第１の読み出し方法により読み出された前記複数の画像信号を加算する加算手段と、
    前記加算手段により加算された画像信号から、当該加算により増加した黒レベルの増加分を調整値として調整する調整手段と、
    前記調整手段により調整された画像信号と、前記第２の読み出し方法により読み出された画像信号の黒レベルを合わせるクランプ手段と、
    を有することを特徴とする画像処理装置。
16. 複数のマイクロレンズそれぞれに対して複数の光電変換部を備え、当該マイクロレンズが行列状に配置されている撮像素子から、各行の読み出しごとに、前記各マイクロレンズに対応する前記複数の光電変換部を２つ以上に分けて複数の画像信号を読み出す第１の読み出し方法と、前記各マイクロレンズに対応する前記複数の光電変換部の画像信号を加算して読み出す第２の読み出し方法とのいずれかを選択して読み出した画像信号を処理する画像処理方法であって、
    前記画像信号に付帯された付帯情報に基づいて、前記第１の読み出し方法により読み出されたか、または、前記第２の読み出し方法により読み出されたかを判別して、判別結果を出力する判別工程と、
    前記判別工程における前記判別結果に基づいて、前記第１の読み出し方法により読み出された前記複数の画像信号を加算する加算工程と、
    前記加算工程で加算された画像信号から、当該加算により増加した黒レベルの増加分を調整値として調整する調整工程と、
    前記調整工程により調整された画像信号と、前記第２の読み出し方法により読み出された画像信号の黒レベルを合わせるクランプ工程と、
    を有することを特徴とする画像処理方法。
17. コンピュータに、請求項１０乃至１４のいずれか１項に記載の制御方法の各工程を実行させるためのプログラム。
18. コンピュータに、請求項１６に記載の画像処理方法の各工程を実行させるためのプログラム。
19. 請求項１７または１８に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images