JP2024071225A - 撮像装置及びその制御方法 - Google Patents

Abstract

【課題】ゲインをかける回路に応じて画像を適切に補正することができる撮像装置を提供する。
【解決手段】光電変換により信号を生成する複数の画素と、複数の画素のうちの同じ画素の信号を複数の異なるゲインのうちの少なくともいずれかのゲインで増幅する第１の増幅手段と、第１の増幅手段とは異なる方式で、同じ画素の信号を複数の異なるゲインのうちの少なくともいずれかのゲインで増幅する第２の増幅手段と、第１の増幅手段と第２の増幅手段におけるゲインの設定を制御する制御手段と、第１の増幅手段および第２の増幅手段の出力を補正する補正手段と、制御手段による第１の増幅手段と第２の増幅手段におけるゲインの設定に基づいて、補正手段による補正処理を変更する変更手段と、を備える。
【選択図】 図２

Description

本発明は、撮像装置及びその制御方法に関する。

従来、一般的なデジタルカメラに使われているＣＭＯＳイメージセンサ等の撮像素子を用いて、階調に関するダイナミックレンジを拡大する技術が提案されている。

例えば、特許文献１には、同一画素の信号を複数の列回路によって異なるゲインで増幅することで、ダイナミックレンジを拡大する技術が開示されている。

また、特許文献２には、光電変換部から転送された信号の電荷を電圧に変換するＦＤ部と、ＦＤ部の拡張容量として機能するＦＤ拡張部とを有し、ＦＤ拡張部をオン／オフ切り替えすることで、同一画素の信号を異なるゲインで出力する技術が開示されている。

特開２０１５－１２８２５３号公報 特開２０２１－０２２９２１号公報

一方で、これらの技術は実現方式により特徴が異なる。一般的に撮像素子の回路構成では、画素信号に対して、画素内やＡＤ変換前の列回路でゲインをかけることが可能である。

撮像素子の後段の回路でゲインをかけると、前段部の回路部で発生したノイズ成分も増幅されることになるため、Ｓ／Ｎが悪化する傾向にある。その反面、画素信号を短時間で読み出すことが可能であり、フレームレートの面では有利である。

また、撮像素子の前段の回路でゲインをかける方式ではＳ／Ｎが良くなり、ノイズ面では有利であるが、画素信号の読み出しに時間がかかる。

従って、画質とフレームレートはトレードオフの関係となる。

ここで、上述の特許文献に記載の従来技術では、各増幅回路の特性のばらつきについては考慮されていない。そのため、各増幅回路の特性にばらつきがあると増幅後の画素信号に感度差が生じ、撮影画像の画質劣化につながる可能性があった。さらに、画素信号を複数の異なるゲインで増幅する場合、それぞれのゲインで特性のばらつきが異なるという課題があった。

本発明は上述した課題に鑑みてなされたものであり、その目的は、ゲインをかける回路に応じて画像を適切に補正することができる撮像装置を提供することである。

本発明に係わる撮像装置は、光電変換により信号を生成する複数の画素と、前記複数の画素のうちの同じ画素の信号を複数の異なるゲインのうちの少なくともいずれかのゲインで増幅する第１の増幅手段と、前記第１の増幅手段とは異なる方式で、前記同じ画素の信号を複数の異なるゲインのうちの少なくともいずれかのゲインで増幅する第２の増幅手段と、前記第１の増幅手段と前記第２の増幅手段におけるゲインの設定を制御する制御手段と、前記第１の増幅手段および前記第２の増幅手段の出力を補正する補正手段と、前記制御手段による前記第１の増幅手段と前記第２の増幅手段におけるゲインの設定に基づいて、前記補正手段による補正処理を変更する変更手段と、を備えることを特徴とする。

本発明によれば、ゲインをかける回路に応じて画像を適切に補正することが可能となる。

本発明の一実施形態における撮像装置の概略構成を示すブロック図。 一実施形態における撮像素子の概略構成を示すブロック図。 撮像素子における画素の構成を示す図。 撮像素子の列回路におけるＡＤ変換部の構成を示す図。 ＡＤ変換器に入力されるランプ信号の波形を示す図。 増幅回路の切り替え処理および補正値の切り替え処理を示すフローチャート。 撮像素子の増幅回路の設定テーブルを示す図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

本発明の一実施形態では、画素内の増幅手段と撮像素子の列回路に設けられた増幅手段を、撮像装置の撮影時の撮影モードや撮影時の設定により切り替える。そして、この切り替えにおいて生じる増幅回路の特性ばらつきを、駆動方法に応じて補正値を切り替えて補正する。

以下の実施形態では、２種類のゲインで増幅して出力する撮影処理を例に挙げて説明するが、本発明は、２種類のゲインに限定されるものではない。１回の撮影で得られた画素信号に対し、３種類以上のゲインで増幅して出力することによって明るさの異なる３枚以上の画像を取得するようにしてもよい。

＜構成の説明＞
図１は、本発明の一実施形態における撮像装置１００の概略構成を示すブロック図である。

図１において、撮影レンズ１０１は、撮像装置１００の本体部に装着可能な交換レンズユニット、または本体部に組み込まれたレンズ部であり、フォーカスレンズやズームレンズ等の複数のレンズ群、及び、絞り機構等から構成される。

撮像素子１０２は、複数の画素を有するＣＭＯＳイメージセンサであって、撮影レンズ１０１により結像された被写体の光学像に対し、各画素で光電変換を行って、入射光量に応じた電荷を生成する。さらに、生成された電荷に基づく画素信号を複数の異なるゲインで増幅した画素信号を出力することにより、１回の撮像で複数の異なる明るさの画像を取得することが出来る。

本実施形態の撮像装置１００は、撮像素子１０２において画素信号を増幅する手段を複数有しており、撮像装置１００の撮影モードや撮影時の設定により、画素信号を増幅する手段を切り替えることが出来る。

画像取得部１０３は、撮像素子１０２から出力された画像信号を取得し、取得した画像信号を一時的に保持すると共に、取得した画像信号を用いて測光を行う。また、画像取得部１０３は、取得した画像信号に基づいて、後述の画像処理部１０５において行われる補正処理に必要な補正値を生成し、生成した補正値を後述の記憶部１０８に記憶するように構成されていてもよい。

画像合成部１０４は、画像取得部１０３に一時的に保持されている撮像素子１０２の出力に基づく画像信号から、任意の合成方法を用いてＨＤＲ（高ダイナミックレンジ）画像を生成する。例えば、所定の信号レベル以下の画像部分については高ゲインで増幅した画素信号を用い、所定の信号レベルを超えた画像部分（明るく白飛びしている画像）については低ゲインで増幅した画素信号を用いて合成を行う方法がある。

なお、合成後の画像の暗部の信号に用いられる通常画像としては、暗部のランダムノイズが抑えられていることが好ましい。また、ＨＤＲ撮影を行わない場合には、画像取得部１０３に保持された画像信号をそのまま出力する。

画像処理部１０５は、画像合成部１０４から出力された画像信号に対して、ＣＭＯＳ特性の補正処理、ガンマ補正処理、色信号処理、露出補正処理などの各種信号処理を行って、処理した画像信号を出力する。なお、画像処理部１０５で行われる各種処理は、後述の記憶部１０８に予め記憶された補正値に基づいて行ってもよく、画像取得部１０３で取得した画像信号に基づいて補正値を生成して行ってもよい。

画像記録部１０６は、画像処理部１０５により処理された画像信号を記憶装置または記憶媒体に記録する。記憶装置または記憶媒体としては、例えば、撮像装置１００の本体部に装着可能なメモリデバイスが使用される。

操作部１０７を操作することにより、ユーザーは撮像装置１００に対する種々の指示を入力することができる。操作部１０７は、レリーズボタンやモード切り換えダイヤル、ズーム操作レバー等の操作部材やタッチパネルなどを含む。操作部１０７を介してユーザーが入力した指示は、システム制御部１１０に通知される。

記憶部１０８は、ユーザーが撮像装置１００に入力した指示の内容を記憶する。また、記憶部１０８は、ＣＭＯＳセンサの特性を補正するための補正値を記憶することが可能であり、電気的に消去及び記録可能な不揮発性メモリで構成される。

表示部１０９は、撮影画像や撮影時の情報、及び操作部１０７による操作用のユーザーインターフェース等を表示するための表示装置であり、例えば、ＴＦＴ－ＬＣＤ等で構成される。表示部１０９がタッチパネルで構成され、操作部１０７で入力可能なユーザーからの指示が、表示部１０９で入力可能であってもよい。もしくは視線入力機能を備えたＥＶＦ（電子ビューファインダー）等で構成され、操作部１０７で入力可能なユーザーからの指示が表示部１０９で入力可能であってもよい。

システム制御部１１０は、輝度差検出部１１０ａ、動き検出部１１０ｂ、露出制御部１１０ｃ等を含む。そして、画像取得部１０３に保持された画像信号や測光結果、及び、操作部１０７を介したユーザーからの入力に基づいて、撮像素子制御部１１１やレンズ制御部１１２を制御する。また、システム制御部１１０は、ＲＯＭ１１５に記憶されたプログラムをＲＡＭ１１６に展開して実行することにより、撮像装置１００全体を制御する。なお、輝度差検出部１１０ａ、動き検出部１１０ｂ、露出制御部１１０ｃは、独立した回路であってもよいし、システム制御部１１０がＲＯＭ１１５に記憶されたプログラムを実行することにより実現されてもよい。

輝度差検出部１１０ａは、画像取得部１０３に保持された画像信号を用いて、明部と暗部の輝度差を算出する。例えば、画面全体を複数エリアに分割し、エリア毎に輝度（明るさ）を測定して、明るいエリア（明部エリア）と暗いエリア（暗部エリア）との輝度差を算出する。

動き検出部１１０ｂは、画像取得部１０３に保持された現在のフレームの画像信号とその前のフレームの画像信号とから、被写体の動き量を検出する処理を行う。

露出制御部１１０ｃは、画像取得部１０３による測光結果に基づいて、画像撮影に用いる露出条件を算出する。

撮像素子制御部１１１は、システム制御部１１０からの制御信号に従って、撮像素子１０２の駆動制御を行う。また、レンズ制御部１１２は、システム制御部１１０からの制御信号に従って、撮影レンズ１０１の駆動制御を行う。

＜増幅回路の特徴と切り替え方法＞
次に、撮像装置１００に配置されている撮像素子１０２について図２を参照して説明する。図２は、撮像素子１０２の概略構成を示すブロック図である。

図２において、フォトダイオード２０１（以下、ＰＤ）に蓄積された電荷は、フローティングディフュージョン部（以下、ＦＤ部）から構成される画素ゲイン部２０２で増幅され、電圧信号である画素出力２０３として出力される。画素ゲイン部２０２は、画素信号をＬｏゲイン（低ゲイン）で増幅する画素ゲイン部（Ｌｏゲイン）２０２ａと、画素信号をＨｉゲイン（高ゲイン）で増幅する画素ゲイン部（Ｈｉゲイン）２０２ｂを有する。

画素ゲイン部２０２は、例えばＦＤ部の容量を切り替える機能を有し、ＰＤ２０１に蓄積された電荷量に対し、ＦＤ部の容量が増大するよう切り替えることによって電荷量に応じた電圧値を低減させることにより、Ｌｏゲインの画素信号を出力することが出来る。同様に、画素ゲイン部２０２は、ＦＤ容量が減少するよう切り替えることによって、電荷量に応じた電圧値を増大させることにより、Ｈｉゲインの画素信号を出力することが出来る。

なお、画素出力２０３は、画素のリセット解除信号であるＮ信号、画素の光蓄積信号であるＳ信号の順に読み出される。画素ゲイン部２０２においてＨｉゲイン／Ｌｏゲインの２つのゲインで増幅して読み出される場合は、Ｈｉゲインで増幅されたＮ信号とＳ信号、Ｌｏゲインで増幅されたＮ信号とＳ信号の順に読み出される。従って、画素ゲイン部２０２において２つのゲインで増幅する場合、画素出力２０３の読み出しにかかる時間が長くなる。

次に、画素出力２０３は、撮像素子１０２内の、画素ゲイン部２０２とは異なる方式のアナログゲイン部２０４で増幅される。本実施形態では、アナログゲイン部２０４はランプ回路を使用して画素信号を増幅する回路であり、ランプゲイン部（Ｌｏゲイン）２０４ａ、ランプゲイン部（Ｈｉゲイン）２０４ｂを有する。そして、Ｌｏゲイン（低ゲイン）とＨｉゲイン（高ゲイン）の少なくとも１つで増幅した画素信号を出力Ｉ／Ｆ２０５から画像信号として出力する。

アナログゲイン部２０４は、前述のようにランプ回路を使用して増幅する回路であり、ＡＤ変換器の一部によって構成される。そして、ＡＤ変換時に用いられるランプ信号の傾きを切り替えることによって、複数の異なるアナログゲインで画素信号を増幅することが出来る。

ここで一般的な撮像素子の特性として、ＰＤ２０１から出力Ｉ／Ｆ２０５までの各回路でノイズが発生することが知られている。また、増幅回路で画素信号を増幅することで、ノイズも増幅される。そのため、より前段で高いゲインで増幅し、後段ではゲインを抑えることで、ノイズの抑制を図ることができる。

従って、図２に示す本実施形態では、画素信号を画素ゲイン部２０２で増幅する方が、ランプゲイン部２０４で増幅する場合よりも、画素ノイズの点で有利となる。この様に、増幅回路毎に特徴があるため、使用する用途に応じて使用する増幅回路を切り替えることが望ましい。

一方で、増幅回路毎にゲインをかける構成が異なるため、それぞれの増幅回路を構成するＦＤ容量の製造ばらつきや、ＡＤ変換特性のばらつきから生じる画素信号の感度ばらつきを、使用する回路に応じて補正する必要がある。また、増幅回路に接続された各々の列出力線の製造ばらつきにより生じる、水平方向のシェーディングを補正する必要がある。本実施形態では、増幅回路を切り替えたときに適切に増幅回路の出力を補正する。

次に、画素ゲイン部２０２におけるゲインの切り替え方法について説明する。図３は、撮像素子１０２における画素３００の構成を示す図である。

図３において、ＰＤ２０１は、入射光を光電変換し、入射光量に応じた電荷を蓄積する。転送スイッチ３０２は、駆動信号ｔｘのレベルがＨｉｇｈレベルであるときに、ＰＤ２０１に蓄積されている電荷をＦＤ部３０３に転送する。ＦＤ部３０３は、ＦＤアンプ３０４を構成するトランジスタのゲートに接続されている。ＦＤアンプ３０４は、ＰＤ２０１からＦＤ部３０３に転送された電荷量を電圧値に変換する。

リセットスイッチ３０５は、ＦＤ部３０３をリセットするためのスイッチ素子であり、駆動信号ｒｅｓのレベルがＨｉｇｈレベルであるときに、ＦＤ部３０３のリセットを行う。また、駆動信号ｔｘと駆動信号ｒｅｓのレベルを同時にＨｉｇｈレベルにすると、転送スイッチ３０２およびリセットスイッチ３０５の両方がオンとなって、ＦＤ部３０３を経由してＰＤ２０１のリセットが行われる。

ＦＤｉｎｃスイッチ３０７は、駆動信号ｆｄｉｎｃのレベルがＨｉｇｈレベルであるときにオンになり、付加容量３０８をＦＤ部３０３と接続する。また、駆動信号ｆｄｉｎｃのレベルがＬｏｗレベルであるときには、ＦＤｉｎｃスイッチ３０７がオフになり、付加容量３０８とＦＤ部３０３とが非接続状態となる。これにより、ＦＤ部３０３に生じる容量が変化する。言い換えると、ＦＤｉｎｃスイッチ３０７および付加容量３０８は、入力ノードの容量値を可変とする容量可変手段として機能する。

ＦＤｉｎｃスイッチ３０７のオン・オフによって、ＦＤ部３０３に転送された電荷に対するＦＤアンプ３０４の出力電圧の変換比、すなわちＦＤ変換ゲイン（以下、ＦＤゲインという）を切り替えることができる。付加容量３０８がＦＤ部３０３に接続された接続状態では静電容量値が増加し、非接続状態の場合と比べてＦＤ変換ゲインが相対的に小さくなる。この状態が図２で説明した画素ゲイン部（Ｌｏゲイン）２０２ａに相当するものである。

逆に、付加容量３０８とＦＤ部３０３とが非接続状態になると静電容量値が減少し、接続状態と比べてＦＤ変換ゲインが相対的に大きくなる。この状態が図２で説明した画素ゲイン部（Ｈｉゲイン）２０２ｂに相当するものである。このように、本実施形態の撮像装置１００は、駆動信号ｆｄｉｎｃに応じてＦＤ部３０３に保持される電荷量を可変とし、画素３００のＦＤ変換ゲインを切り替える（アナログ増幅機能）ことができる。そのため、複数種類のアナログゲインの出力が可能となる。

次に、ランプゲイン部２０４において２種類のゲインで増幅する方法について説明する。図４は、撮像素子１０２の各画素列に設けられた列回路におけるＡＤ変換部４００の構成を示す図である。

図４において、ＡＤ変換器４０２ａは、比較器７０２ａ、カウンタ回路７０３ａ、ラッチ回路７０４ａ、演算回路７０５ａを備えている。同様に、ＡＤ変換器４０２ｂは、比較器７０２ｂ、カウンタ回路７０３ｂ、ラッチ回路７０４ｂ、演算回路７０５ｂを備えている。

比較器７０２ａおよび７０２ｂは、２つの入力がランプ信号線Ｖｒｍｐと画素出力２０３に接続され、比較結果を出力する比較器である。例えば、入力される２つの信号の大小関係が逆転した時に、ＨｉｇｈからＬｏｗに出力信号が変化することで、比較結果を出力する。

ここで、ランプ信号線Ｖｒｍｐに入力されるランプ信号ｒｍｐ（参照信号）は、初期電圧から徐々に変化する三角波である。そして、徐々に変化したランプ信号が、画素から出力される画素信号２０３と交差した時点で、比較器７０２ａおよび７０２ｂが比較結果を出力する。

カウンタ回路７０３ａおよび７０３ｂは、不図示のカウンタ制御線に接続され、カウンタ制御線から供給されるクロックを基にカウンタを動作させる。この時、カウンタ回路７０３ａおよび７０３ｂは、ランプ信号の開始に合わせてカウント動作を開始し、比較器７０２ａおよび７０２ｂからの比較結果の信号を受けて、その時のカウント値を出力する。このカウント値が、画素信号２０３をデジタル化した信号となる。

ラッチ回路７０４ａおよび７０４ｂは、不図示のラッチ制御線に接続され、カウンタ回路７０３ａおよび７０３ｂが出力するカウント値を一時的に保持するとともに、ラッチ制御線を介した制御により、保持しているカウント値を出力する。

演算回路７０５ａおよび７０５ｂは、不図示の演算制御線に接続され、演算制御線を介した制御により、ラッチ回路７０４ａおよび７０４ｂが出力するカウント値を画素信号のデジタル値として記憶する。また、演算回路７０５ａおよび７０５ｂは、不図示の選択線を介した制御により、記憶している画素のデジタル信号を、デジタル出力線ＤＳｉｇに出力する。

このように構成されるＡＤ変換器４０２ａ，４０２ｂに、例えば図５に示すような画素から出力される画素信号２０３と、２種類の傾きの異なるランプ信号ｒｍｐＶＬ，ｒｍｐＶＨがそれぞれ入力されるものとする。ここでは、ＡＤ変換器４０２ａにランプ信号ｒｍｐＶＬが入力され、ＡＤ変換器４０２ｂにランプ信号ｒｍｐＶＨが入力されるものとする。

この場合、画素信号２０３とランプ信号ｒｍｐＶＬ，ｒｍｐＶＨが交差した点でのカウント値がデジタル値となるため、デジタル値は、ランプ信号ｒｍｐＶＬ，ｒｍｐＶＨの傾きに応じて、カウント値Ｄ１，Ｄ２のように異なる値となる。

ランプ信号の傾きが小さいほどカウント値は大きくなり、ランプ信号の傾きが大きいほどカウント値は小さくなる。つまり、ランプ信号の傾きを変えることにより、ＡＤ変換ゲインを異ならせることが可能となる。このような原理により、ランプゲイン部２０４において、画素信号２０３に対するＡＤ変換ゲインを変更することが可能となる。

＜増幅回路の切り替えおよび増幅回路の出力の補正に関する説明＞
次に、撮像素子１０２の増幅回路の切り替え動作、および増幅回路の補正動作について図６、図７を参照して説明する。

図６は、被写体の状態によって、増幅回路を切り替える処理、および切り替えた増幅回路の出力信号の補正処理を示すフローチャートである。図７は、増幅回路の切り替え設定および増幅回路の切り替え設定に関連する補正値を定めた設定テーブルを示す図である。

図６のフローチャートは、操作部１０７に含まれる不図示のレリーズボタン等により、ＨＤＲ画像の撮影が指示されると開始される。

ステップＳ３０１では、システム制御部１１０は、本撮影前に予め決められた露出で撮影を行って、撮像素子１０２から出力された画像信号を画像取得部１０３により取得し、測光を行う。このときに取得される画像信号は、撮像素子１０２の全ての画素から読み出してもよいし、間引き読み出しや加算読み出しにより読み出してもよく、予め決められたゲインで増幅された上で出力される。さらに、システム制御部１１０は、取得した画像信号に基づき、輝度差検出部１１０ａを用いて被写体の明暗部の輝度差を算出し、また、動き検出部１１０ｂを用いて被写体の動き量を算出する。

ステップＳ３０２では、システム制御部１１０は、ステップＳ３０１で算出した評価値に基づいて、図７に示す増幅回路設定テーブルから増幅回路の設定を選択する。具体的には、輝度差検出部１１０ａで算出した輝度差、および動き検出部１１０ｂで算出した動き量に応じて、システム制御部１１０が最適な増幅回路の設定を選択する。なお、増幅回路の設定を選択する方法および補正値を選択する方法の詳細に関しては、図７を用いて後述する。

ステップＳ３０３では、システム制御部１１０は、ステップＳ３０２で選択した増幅回路設定に関連付けられた補正値を参照する。

ステップＳ３０４では、システム制御部１１０は、ステップＳ３０３で参照した補正値に基づいて、画像処理部１０５を用いて画像信号の補正処理を行う。補正処理としては、補正値を画像信号に乗算する、あるいは補正値を画像信号に加算する、減算するなどの処理が考えられる。ステップＳ３０４の補正処理が完了すると、増幅回路の切り替え処理および補正値の切り替え処理を終了する。

次に、図７を用いて、増幅回路の設定を選択する方法および補正値を選択する方法ついて説明する。

図７において、列４０１は、各増幅回路設定に付されたテーブルナンバーＡ～Ｄを、列４０２は、図６のステップＳ３０１で算出した被写体の動き量と輝度差を、列４０３は増幅回路設定をそれぞれ示している。

被写体の動き量が大きく、かつ輝度差が大きい場合には、テーブルナンバーＡに示す増幅回路の設定を選択する。被写体の動き量が大きい場合には、画素ゲイン部２０２において２つのゲインで増幅してしまうと、画素信号の読み出し時間が長くなるため、被写体のローリング歪みが目立ってしまう可能性がある。したがって、被写体の動き量が大きい場合には、画素ゲイン部２０２ではなく、アナログゲイン部２０４（ランプゲイン部２０４ａ，２０４ｂ）において２つのゲインで増幅するように制御する。

また、被写体の動き量が大きく、かつ輝度差が小さい場合には、テーブルナンバーＢに示す増幅回路の設定を選択する。この場合も画素ゲイン部２０２ではなく、アナログゲイン部２０４（ランプゲイン部２０４ａ，２０４ｂ）において２つのゲインで増幅する。ただし、アナログゲイン２０４で掛ける２つのゲインの差がテーブルナンバーＡの場合より小さくなるように、増幅回路を設定する。

さらに、被写体の動き量が小さく、かつ輝度差が大きい場合には、テーブルナンバーＣに示す増幅回路の設定を選択する。被写体の動き量が小さい場合には、画素信号の読み出し時間が長くなっても被写体のローリング歪みが目立つ可能性が低い。そのため、被写体の動き量が小さい場合には、画素ゲイン部２０２ａ，２０２ｂにおいて２つのゲインで増幅するように制御する。

ただし、被写体の輝度差が所定の値よりも大きい場合には、画素ゲイン部２０２で増幅するだけでは広いダイナミックレンジを確保することができない。このような場合には、画素ゲイン部２０２で２つのゲインで増幅するだけでなく、アナログゲイン部２０４でも２つのゲインで増幅するように制御することにより、より広いダイナミックレンジを実現する。

また、被写体の動き量が小さく、かつ輝度差が小さい場合には、テーブルナンバーＤに示す増幅回路の設定を選択する。この場合は、画素ゲイン部２０２ａ，２０２ｂにおいて２つのゲインで増幅するように制御する。

列４０４は、図６のフローチャートにおけるステップＳ３０３で参照した補正値であり、同じく図６のステップＳ３０４において増幅回路の出力の補正に用いられる補正値を示す。列４０４では、列４０３の増幅回路の設定に応じて適切な補正値が関連付けられている。

テーブルナンバーＡの場合、画素ゲイン部（Ｌｏゲイン）２０２ａで増幅した出力を補正する補正値ａ１と、アナログゲイン部２０４におけるランプゲイン部（Ｌｏゲイン）２０４ａおよびランプゲイン部（Ｈｉゲイン）２０４ｂで増幅した出力を補正する補正値ａ２が関連付けられる。

テーブルナンバーＢの場合、画素ゲイン部（Ｈｉゲイン）２０２ｂで増幅した出力を補正する補正値ｂ１と、アナログゲイン部２０４におけるランプゲイン部（Ｌｏゲイン）２０４ａおよびランプゲイン部（Ｈｉゲイン）２０４ｂで増幅した出力を補正する補正値ｂ２が関連付けられる。

ここで、テーブルナンバーＡおよびＢでは、アナログゲイン部２０４の２つのゲイン差が異なるため、アナログゲイン部２０４の増幅回路の設定が共通ではない。したがって、補正値ａ２と補正値ｂ２は異なる。なお、画素ゲイン部２０２の増幅回路の設定はテーブルナンバーＡおよびＢで共通であるため、これら２つの補正値は共通の値であってよい。

テーブルナンバーＣの場合、画素ゲイン部２０２における画素ゲイン部（Ｌｏゲイン）２０２ａと画素ゲイン部（Ｈｉゲイン）２０２ｂで増幅した出力を補正する補正値ｃ１と、アナログゲイン部２０４におけるランプゲイン部（Ｌｏゲイン）２０４ａおよびランプゲイン部（Ｈｉゲイン）２０４ｂで増幅した出力を補正する補正値ｃ２が関連付けられる。

テーブルナンバーＤの場合、画素ゲイン部２０２における画素ゲイン部（Ｌｏゲイン）２０２ａと画素ゲイン部（Ｈｉゲイン）２０２ｂで増幅した出力を補正する補正値ｄ１と、アナログゲイン部２０４におけるランプゲイン部（Ｌｏゲイン）２０４ａで増幅した出力を補正する補正値ｄ２が関連付けられる。

ここで、テーブルナンバーＣおよびＤでは、画素ゲイン部２０２の増幅回路の設定が共通であるため、補正値ｃ１および補正値ｄ１は共通の値であってよい。なお、アナログゲイン部２０４の増幅回路の設定は共通ではないため、補正値ｃ２と補正値ｄ２は異なる。

以上のような構成とすることで、増幅回路設定に応じて適切な増幅率の補正を行うことが可能となる。

以上説明したように、図６および図７に従って、それぞれの増幅回路を構成するＦＤ容量の製造ばらつきやＡＤ変換特性のばらつきから生じる感度ばらつきを補正する実施形態について説明したが、補正方法は上記の実施形態に限定されるものではない。前述の増幅回路のばらつきの補正だけではなく、例えば水平方向に特性が異なる水平シェーディングのように、増幅回路に接続された各々の列出力線のばらつきを補正するような補正値で補正するようにしてもよい。同様に、垂直方向に特性が異なる垂直シェーディングを補正するような補正値で補正するようにしてもよい。

また、上記の実施形態では、複数の補正値を予め記憶部に記憶しておく構成としたが、撮影した画像からリアルタイムに補正値を生成し、生成した補正値によって補正を行う構成であってもよい。その場合には、システム制御部１１０が、画像取得部１０３を用いて取得した画像から補正値を生成し、生成した補正値を記憶部１０８に記憶し、画像処理部１０５において補正処理を行うような構成が考えられる。このような構成とすれば、予め複数の補正値を記憶する必要がなくなるため、記憶部１０８の容量を削減することができる。

本明細書の開示は、以下の撮像装置、方法を含む。

（項目１） 光電変換により信号を生成する複数の画素と、
前記複数の画素のうちの同じ画素の信号を複数の異なるゲインのうちの少なくともいずれかのゲインで増幅する第１の増幅手段と、
前記第１の増幅手段とは異なる方式で、前記同じ画素の信号を複数の異なるゲインのうちの少なくともいずれかのゲインで増幅する第２の増幅手段と、
前記第１の増幅手段と前記第２の増幅手段におけるゲインの設定を制御する制御手段と、
前記第１の増幅手段および前記第２の増幅手段の出力を補正する補正手段と、
前記制御手段による前記第１の増幅手段と前記第２の増幅手段におけるゲインの設定に基づいて、前記補正手段による補正処理を変更する変更手段と、
を備えることを特徴とする撮像装置。

（項目２）
前記変更手段は、前記補正処理に使用する補正値を変更することにより、前記補正処理を変更することを特徴とする項目１に記載の撮像装置。

（項目３）
前記補正手段は、前記複数の画素における水平方向に並ぶ画素の出力の差を補正することを特徴とする項目１または２に記載の撮像装置。

（項目４）
前記補正手段は、前記複数の画素における垂直方向に並ぶ画素の出力の差を補正することを特徴とする項目１乃至３のいずれか１項目に記載の撮像装置。

（項目５）
前記補正値を記憶する記憶手段をさらに備えることを特徴とする項目２に記載の撮像装置。

（項目６）
前記補正値を生成する生成手段をさらに備えることを特徴とする項目２に記載の撮像装置。

（項目７）
前記制御手段は、撮像装置の撮影モードまたは撮影時の設定に基づいて、前記第１の増幅手段と前記第２の増幅手段におけるゲインの設定を制御することを特徴とする項目１乃至６のいずれか１項目に記載の撮像装置。

（項目８）
前記第１の増幅手段は、前記複数の画素のうちのそれぞれの画素のフローティングディフュージョン部に接続される付加容量を、前記フローティングディフュージョン部に接続する状態と切り離す状態を切り替えることにより、ゲインを切り替えることを特徴とする項目１乃至７のいずれか１項に記載の撮像装置。

（項目９）
前記第２の増幅手段は、前記第１の増幅手段よりも後段に配置されていることを特徴とする項目１乃至８のいずれか１項目に記載の撮像装置。

（項目１０）
前記第２の増幅手段は、前記第１の増幅手段よりも後段の列回路に配置されていることを特徴とする項目９に記載の撮像装置。

（項目１１）
前記第２の増幅手段は、ＡＤ変換器に入力するランプ信号を異ならせることにより前記同じ画素の信号を増幅するゲインを異ならせることを特徴とする項目１０に記載の撮像装置。

（項目１２）
前記第２の増幅手段は、ＡＤ変換器に入力するランプ信号の傾きを異ならせることにより前記同じ画素の信号を増幅するゲインを異ならせることを特徴とする項目１１に記載の撮像装置。

（項目１３）
前記第１の増幅手段および前記第２の増幅手段により生成されたゲインの異なる複数の信号を合成する合成手段をさらに備えることを特徴とする項目１乃至１２のいずれか１項目に記載の撮像装置。

（項目１４）
前記合成手段は、前記第１の増幅手段及び前記第２の増幅手段により生成されたゲインの異なる複数の信号を、ダイナミックレンジを拡大するように合成することを特徴とする項目１３に記載の撮像装置。

（項目１５）
光電変換により信号を生成する複数の画素と、前記複数の画素のうちの同じ画素の信号を複数の異なるゲインのうちの少なくともいずれかのゲインで増幅する第１の増幅手段と、前記第１の増幅手段とは異なる方式で、前記同じ画素の信号を複数の異なるゲインのうちの少なくともいずれかのゲインで増幅する第２の増幅手段と、を備える撮像装置を制御する方法であって、
記第１の増幅手段と前記第２の増幅手段におけるゲインの設定を制御する制御工程と、
前記第１の増幅手段および前記第２の増幅手段の出力を補正する補正工程と、
前記制御工程での前記第１の増幅手段と前記第２の増幅手段におけるゲインの設定に基づいて、前記補正工程における補正処理を変更する変更工程と、
を有することを特徴とする撮像装置の制御方法。

（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００：撮像装置、１０１：撮影レンズ、１０２：撮像素子、１０３：画像取得部、１０４：画像合成部、１０５：画像処理部、１０６：画像記録部、１０７：操作部、１０８：記憶部、１０９：表示部、１１０：システム制御部、１１１：撮像素子制御部、１１２：レンズ制御部

Claims (15)

1. 光電変換により信号を生成する複数の画素と、
   前記複数の画素のうちの同じ画素の信号を複数の異なるゲインのうちの少なくともいずれかのゲインで増幅する第１の増幅手段と、
   前記第１の増幅手段とは異なる方式で、前記同じ画素の信号を複数の異なるゲインのうちの少なくともいずれかのゲインで増幅する第２の増幅手段と、
   前記第１の増幅手段と前記第２の増幅手段におけるゲインの設定を制御する制御手段と、
   前記第１の増幅手段および前記第２の増幅手段の出力を補正する補正手段と、
   前記制御手段による前記第１の増幅手段と前記第２の増幅手段におけるゲインの設定に基づいて、前記補正手段による補正処理を変更する変更手段と、
   を備えることを特徴とする撮像装置。
2. 前記変更手段は、前記補正処理に使用する補正値を変更することにより、前記補正処理を変更することを特徴とする請求項１に記載の撮像装置。
3. 前記補正手段は、前記複数の画素における水平方向に並ぶ画素の出力の差を補正することを特徴とする請求項１に記載の撮像装置。
4. 前記補正手段は、前記複数の画素における垂直方向に並ぶ画素の出力の差を補正することを特徴とする請求項１に記載の撮像装置。
5. 前記補正値を記憶する記憶手段をさらに備えることを特徴とする請求項２に記載の撮像装置。
6. 前記補正値を生成する生成手段をさらに備えることを特徴とする請求項２に記載の撮像装置。
7. 前記制御手段は、撮像装置の撮影モードまたは撮影時の設定に基づいて、前記第１の増幅手段と前記第２の増幅手段におけるゲインの設定を制御することを特徴とする請求項１に記載の撮像装置。
8. 前記第１の増幅手段は、前記複数の画素のうちのそれぞれの画素のフローティングディフュージョン部に接続される付加容量を、前記フローティングディフュージョン部に接続する状態と切り離す状態を切り替えることにより、ゲインを切り替えることを特徴とする請求項１に記載の撮像装置。
9. 前記第２の増幅手段は、前記第１の増幅手段よりも後段に配置されていることを特徴とする請求項１に記載の撮像装置。
10. 前記第２の増幅手段は、前記第１の増幅手段よりも後段の列回路に配置されていることを特徴とする請求項９に記載の撮像装置。
11. 前記第２の増幅手段は、ＡＤ変換器に入力するランプ信号を異ならせることにより前記同じ画素の信号を増幅するゲインを異ならせることを特徴とする請求項１０に記載の撮像装置。
12. 前記第２の増幅手段は、ＡＤ変換器に入力するランプ信号の傾きを異ならせることにより前記同じ画素の信号を増幅するゲインを異ならせることを特徴とする請求項１１に記載の撮像装置。
13. 前記第１の増幅手段および前記第２の増幅手段により生成されたゲインの異なる複数の信号を合成する合成手段をさらに備えることを特徴とする請求項１に記載の撮像装置。
14. 前記合成手段は、前記第１の増幅手段及び前記第２の増幅手段により生成されたゲインの異なる複数の信号を、ダイナミックレンジを拡大するように合成することを特徴とする請求項１３に記載の撮像装置。
15. 光電変換により信号を生成する複数の画素と、前記複数の画素のうちの同じ画素の信号を複数の異なるゲインのうちの少なくともいずれかのゲインで増幅する第１の増幅手段と、前記第１の増幅手段とは異なる方式で、前記同じ画素の信号を複数の異なるゲインのうちの少なくともいずれかのゲインで増幅する第２の増幅手段と、を備える撮像装置を制御する方法であって、
    記第１の増幅手段と前記第２の増幅手段におけるゲインの設定を制御する制御工程と、
    前記第１の増幅手段および前記第２の増幅手段の出力を補正する補正工程と、
    前記制御工程での前記第１の増幅手段と前記第２の増幅手段におけるゲインの設定に基づいて、前記補正工程における補正処理を変更する変更工程と、
    を有することを特徴とする撮像装置の制御方法。

Images