JP4043379B2

JP4043379B2 - 撮像装置

Info

Publication number: JP4043379B2
Application number: JP2003035432A
Authority: JP
Inventors: 和也小田; 寛和小林
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2003-02-13
Filing date: 2003-02-13
Publication date: 2008-02-06
Anticipated expiration: 2023-02-13
Also published as: JP2004247948A

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像装置に関し、更に詳しくは広ダイナミックレンジでかつ高画質な画像を撮像できる撮像装置に関するものである。
【０００２】
【従来の技術】
ＣＣＤイメージセンサ等の固体撮像素子を用いた撮像装置、例えばデジタルスチルカメラ（以下デジタルカメラという）で、例えば室内風景を撮影した場合、室内にいる人物は適正露出になっても、窓から見える青い空が白飛びし、全体としては不自然な画像になる場合がある。これは画像のダイナミックレンジが狭いためであり、この問題を解決するため、従来から２枚の画像を撮像して合成することにより、画像のダイナミックレンジを広げることが行われている。
【０００３】
例えば、高速シャッタを切って１枚目の短時間露出画像（低感度画像）を撮影し、続いて低速シャッタを切って２枚目の長時間露出画像（高感度画像）を撮影する。そして、これら２枚の画像を合成することで、低感度画像中に写っている窓の外の風景が、室内風景が良く写っている高感度画像に重なるようにしている。
【０００４】
特許文献１記載の撮像装置では、２枚の画像を合成する際に、動きのある被写体部分が低感度画像と高感度画像とでピッタリ一致しないため、マスクを使って部分毎に低感度画像と高感度画像との置き換えを行って、画像合成を行うようにしている。
【０００５】
また、本出願人は、固体撮像素子の各画素の受光部を相対的に広い面積を有する主感光部と相対的に狭い面積を有する従感光部から構成し、主感光部と従感光部のいずれからも選択的に画像信号を取り出すことができる固体撮像装置を提案している（特願２００２−０１６８３５）。
【０００６】
【特許文献１】
特開２０００−３０７９６３
【０００７】
【発明が解決しようとする課題】
上記特許文献１記載の画像処理装置に、本出願人が提案している固体撮像素子を用いて、広ダイナミックレンジの画像を撮像できる撮像装置を提供することが考えられるが、被写体の最大輝度部と最小輝度部との輝度比（「被写体輝度域」または「被写体コントラスト」という）が大きい場合には、主感光部が飽和状態になっても従感光部が飽和しないため、画素の性能を十分に使い切ることができず、画質の面で不利になる（Ｓ／Ｎが悪くなる）という問題点がある。
【０００８】
本発明は、上記問題点を解決するためのもので、広ダイナミックレンジでかつ高画質な画像を撮像できる撮像装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記問題点を解決するために、本発明の撮像装置は、面積が相対的に広い主感光部と狭い従感光部とからなる感光部を有する画素を多数配列した固体撮像素子を用いる撮像装置において、被写体輝度域を測定する測定手段と、前記被写体輝度域に基づいて主感光部の露出時間に対する従感光部の露出時間を設定する設定手段とを備えたものである。また、面積が相対的に広い主感光部と狭い従感光部とからなる感光部を有する画素を多数配列した固体撮像素子を用いる撮像装置において、ＩＳＯ感度の設定を行うＩＳＯ感度設定手段と、前記ＩＳＯ感度に基づいて主感光部の露出時間に対する従感光部の露出時間を設定する設定手段とを備えたものである。
【００１０】
前記設定手段は、前記主感光部から出力される高感度画像信号が飽和しない範囲である主感光部再現域に対する被写体輝度域の大きさが１００％未満の時は、前記従感光部の露出時間を変更しないものである。また、前記設定手段は、前記主感光部から出力される高感度画像信号が飽和しない範囲である主感光部再現域に対する被写体輝度域の大きさが１００％未満の時は、前記高感度画像信号のみを画像信号とするものである。また、前記主感光部から出力される高感度画像信号が飽和しない範囲である主感光部再現域に対する被写体輝度域の大きさが１００％以上の時は、この値が大きい程、前記従感光部の露出時間を短くするものである。また、前記主感光部から出力される高感度画像信号が飽和しない範囲である主感光部再現域に対する被写体輝度域の大きさが１００％未満の時は、前記主感光部の露出時間を主感光部と従感光部の飽和レベル比で割ったものを従感光部の露出時間とするものである。また、前記設定手段は、前記ＩＳＯ感度を高く設定する程、前記従感光部の露出時間を短く設定するものである。
【００１１】
【発明の実施の形態】
本発明の一実施形態に係るデジタルカメラの構成を示す図１において、撮影レンズ１０の後方には、機械式のシャッタ（以下メカシャッタという）１１を介して固体撮像素子（ＣＣＤ）１２が設けてある。メカシャッタ１１，ＣＣＤ１２は、シャッタ駆動部１３，ドライバ１４によって駆動される。
【００１２】
シャッタ駆動部１３，ドライバ１４には、ＣＰＵ１５によって制御されるタイミングジェネレータ１７が接続され、このタイミングジェネレータ１７からタイミング信号（クロックパルス）が入力される。ＣＣＤ１２から出力された撮像信号は、ＣＤＳ（相関二重サンプリング）／ＧＣＡ（利得可変増幅器）２２に入力され、ＣＣＤ１２の各セルの蓄積電荷量に正確に対応したＲ、Ｇ、Ｂの画像信号として出力されてから増幅される。ＣＤＳ／ＧＣＡ２２から出力されたアナログ信号は、Ａ／Ｄ変換器２３でデジタル信号に変換される。なお、本実施形態では、ＧＣＡのゲインはデフォルトでＩＳＯ１００相当としている。
【００１３】
Ａ／Ｄ変換器２３から出力されたデジタル信号は、デジタル信号処理部２５に入力され、後述する画像合成等の処理がなされた後、ｊｐｅｇ圧縮等の処理を経てメモリカード２６に記憶される。また、液晶ドライバ（図示せず）を介して液晶モニタ２７に表示される。また、ＣＰＵ１５には、ＣＰＵ１５が参照する各種データを記憶した不揮発性メモリ２４が接続されている。また、ＣＰＵ１５には、操作部２８を通してユーザの指示信号が入力され、ＣＰＵ１５はこの指示に従って各種制御を行う。
【００１４】
ＣＣＤ１２の一部を拡大して示す図２において、ＣＣＤ１２は、いわゆるハニカム型ＣＣＤ（例えば特開平１０−１３６３９１号公報に記載）であり、光電変換素子である各画素１の受光部２が八角形をしている。各受光部２は、面積の約１／５を占める従感光部３と、残りの約４／５を占める主感光部４とからなる。従感光部３の面積は主感光部４の面積の１／４であり、主感光部４に対して、従感光部３の感度は１／１６，飽和レベルは１／４，ダイナミックレンジは４倍である。ＣＣＤ１２は、各従感光部３の信号電荷と、各主感光部４の信号電荷とを区別して垂直方向に転送する垂直転送路（図示せず）に読み出して転送することができるようになっている。
【００１５】
デジタル信号処理部２５は、図３に示すように、高感度画像信号（主感光部４から得られた画像信号）と低感度画像信号（従感光部３から得られた画像信号）とを各々ガンマ補正した後に加算処理する対数加算方式を採用している。すなわち、デジタル信号処理部２５は、Ａ／Ｄ変換器２３から出力される高感度画像，低感度画像の各ＲＧＢ色信号に対して、それぞれオフセット処理を行うオフセット補正回路３１ａ，３１ｂと、このオフセット補正回路３１ａ，３１ｂの出力信号のホワイトバランスをとるゲイン補正回路３２ａ，３２ｂと、ゲイン補正後の色信号に対してガンマ補正を行うガンマ補正回路３３ａ，３３ｂとを備えている。
【００１６】
また、デジタル信号処理部２５は、ガンマ補正回路３３ａから出力される高感度画像信号とガンマ補正回路３３ｂから出力される低感度画像信号とを画素単位に合成して出力する画像合成処理回路３４と、画像合成後のＲＧＢ色信号を補間演算して各受光部位置におけるＲＧＢ３色の信号を求めるＲＧＢ補間演算回路３５と、ＲＧＢ色信号から輝度信号Ｙと色差信号Ｃｒ，Ｃｂとを求めるＲＧＢ／ＹＣ変換回路３６と、輝度信号Ｙと色差信号Ｃｒ，Ｃｂからノイズを低減するノイズフィルタ３７と、ノイズ低減後の輝度信号Ｙに対して輪郭補正を行う輪郭補正回路３８と、色差信号Ｃｒ，Ｃｂに対して色差マトリクスを乗算して色調補正を行う色差マトリクス回路３９とを備える。
【００１７】
このように構成されたデジタルカメラの動作を図４に示すフローチャートに従って説明する。電源スイッチをオンした後、撮影レンズ１０を被写体に向けてシャッタボタンを押し下げると、デジタル信号処理部２５は従感光部３から出力される低感度画像信号の輝度信号を積分してＣＰＵ１５に送る。ＣＰＵ１５は、積分値の最大値と最小値との比である被写体輝度域と、主感光部４から出力される高感度画像信号が飽和しない範囲（主感光部再現域）との関係を判定する。なお、主感光部再現域はデジタルカメラのＩＳＯ感度設定によって決まる値である。
【００１８】
ＣＰＵ１５は、主感光部再現域に対する被写体輝度域の大きさ（％）によってタイミングジェネレータ１７を制御し、被写体輝度域が１００％以上の時に従感光部露出時間ｔを変更する。主感光部再現域に対する被写体輝度域の大きさ（％）と、従感光部露出時間ｔとの関係は、表１に示すように設定されており、ＣＰＵ１５が参照できるように不揮発性メモリ２４に記憶されている。なお、表１中のＴは主感光部露出時間である。
【００１９】
【表１】

【００２０】
被写体輝度域が１００％未満の時は、図５に示すように、主感光部再現域内であるから、主感光部４から出力される高感度画像信号は飽和せず、十分な階調を再現できるから、通常信号処理を行う。この通常信号処理では、従感光部露出時間ｔを変更することなく、デジタル信号処理部２５は高感度画像信号のみに画像処理を施して、低感度画像信号との合成を行わない。デジタル信号処理部２５から出力された高感度画像信号はｊｐｅｇ画像に圧縮されてメモリカード２６に書き込まれる。
【００２１】
被写体輝度域が１００％以上２００％未満の場合には、図５に示すように、主感光部４が飽和した後も従感光部３は飽和せず、低感度画像信号は十分な階調を有しているから、ＣＰＵ１５は不揮発性メモリ２４を参照し、従感光部４の露出時間ｔが主感光部４の露出時間Ｔの２倍となるように（表１参照）、タイミングジェネレータ１７を制御する。これにより、従感光部４の性能を十分に使い切ることができる。
【００２２】
図６のタイミングチャートに示すように、メカシャッタ１１の開放と同時に従感光部３の電荷を掃き出し、従感光部３の電荷蓄積（露出）を開始する。従感光部３の露出時間がＴに達した瞬間から主感光部４の電荷蓄積（露出）を開始する。更に時間Ｔ経過後、転送路の掃き出し駆動が行われ、主感光部４からの高感度画像信号の読み出し、続いて従感光部３からの低感度画像信号の読み出しが行われる。
【００２３】
ＣＣＤ１２から読み出された高感度画像信号，低感度画像信号は、それぞれＣＤＳ／ＧＣＡ２２によりＲ、Ｇ、Ｂの画像信号として出力されてから増幅され、Ａ／Ｄ変換器２３によってデジタル信号に変換される。このデジタル化された高感度画像信号，低感度画像信号は、デジタル信号処理部２５に入力され、画素単位に合成された後、輝度信号Ｙと色差信号Ｃｒ，Ｃｂに変換して出力される。これらの信号はｊｐｅｇ圧縮されてメモリカード２６に記憶される。
【００２４】
このように、高感度画像信号と低感度画像信号との合成により広ダイナミックレンジで、かつ従感光部４の性能を十分に使い切ることにより高画質な画像を得ることができる。
【００２５】
また、被写体輝度域が２００％以上３００％未満の場合には、従感光部４の露出時間ｔが主感光部４の露出時間Ｔの１．５倍となるように（表１参照）、タイミングジェネレータ１７が制御される。また、被写体輝度域が３００％以上４００％未満の場合には、従感光部４の露出時間ｔが主感光部４の露出時間Ｔと同じになるように（表１参照）、タイミングジェネレータ１７が制御される。
【００２６】
なお、被写体輝度域が８００％の場合には、図７に示すように、従感光部４の露出時間ｔが主感光部４の露出時間Ｔの１／２となるように、タイミングジェネレータ１７が制御される。また、前記通常信号処理を合成なしとしたが、従感光部３の露出時間ｔを主感光部４の露出時願Ｔの４倍として合成するようにしてもよい。この場合には、全体の露出時間が長くなるが、従感光部４の性能を十分に使うことができる。
【００２７】
以上説明した実施形態では、測定した被写体輝度域に基づいてデジタルカメラが自動的に従感光部４の露出時間ｔを設定したが、ユーザが操作部２８を操作してデジタルカメラのＩＳＯ感度を設定変更することにより、従感光部４の露出時間ｔを変更するようにしてもよい。
【００２８】
例えば、ユーザがデジタルカメラのＩＳＯ感度を通常のＩＳＯ１００からＩＳＯ２００に設定変更すると、ＣＤＳ／ＧＣＡ２２のＧＣＡのゲインが２倍に設定される。これに伴って画像のコントラストが２倍になるから、結果として被写体輝度域（被写体コントラスト）が２倍になった場合と同様の画像になる。したがって、デジタルカメラのＩＳＯ感度をＩＳＯ２００に設定した場合、従感光部４の露出時間ｔが主感光部４の露出時間Ｔの２倍となるようにＣＰＵ１５がタイミングジェネレータ１７を制御する。同様に、ＩＳＯ３００に設定した場合には、従感光部４の露出時間ｔが主感光部４の露出時間Ｔの１．５倍となるように、またＩＳＯ４００に設定した場合には、従感光部４の露出時間ｔが主感光部４の露出時間Ｔと同じになるように、それぞれタイミングジェネレータ１７が制御される。
【００２９】
上記実施形態では、ＣＣＤの各画素の受光部を主感光部の面積４，従感光部の面積１の割合で分割したが、本発明はこれに限定されることなく、この分割比を例えば５：１等としてもよい。この場合には、主感光部に対して、従感光部の感度は１／２５，飽和レベルは１／５，ダイナミックレンジは５倍となり、被写体輝度域１００％で従感光部露出時間ｔ＝５Ｔ（Ｔは主感光部露出時間），２００％でｔ＝２．５Ｔ，３００％でｔ＝１．６７Ｔ，４００％でｔ＝１．２５Ｔ，５００％でｔ＝Ｔとなる。
【００３０】
また、上記実施形態では、固体撮像素子としてハニカム型のＣＣＤを用いたが、本発明はこれに限定されることなく、ベイヤ型のＣＣＤやＣＭＯＳイメージ・センサを用いてもよい。また、上記実施形態はデジタルカメラであったが、本発明はこれに限定されることなく、固体撮像素子を用いるものであれば、画像入力装置や監視カメラ等でもよい。また、前記不揮発性メモリとしては、例えばＲＯＭやフラッシュメモリを用いることができる。
【００３１】
【発明の効果】
以上説明したように、本発明の撮像装置によれば、被写体輝度域を測定して固体撮像素子の主感光部の露出時間に対する従感光部の露出時間を設定するので、従感光部の性能を十分に使い切ることができ、広ダイナミックレンジでかつ高画質な画像を撮像できる。また、ＩＳＯ感度の設定により主感光部の露出時間に対する従感光部の露出時間を設定するので、従感光部の性能を十分に使い切ることができ、広ダイナミックレンジでかつ高画質な画像を撮像できる。
【図面の簡単な説明】
【図１】本発明のデジタルカメラの構成を示すブロック図である。
【図２】固体撮像素子の画素配列を示す説明図である。
【図３】デジタル信号処理部の構成を示すブロック図である。
【図４】デジタルカメラの撮影シーケンスを示すフローチャートである。
【図５】被写体輝度域と主感光部，従感光部の各出力との関係を示すグラフである。
【図６】ＩＳＯ１００で被写体輝度域２００％における露出制御を示すタイミングチャートである。
【図７】ＩＳＯ１００で被写体輝度域８００％における露出制御を示すタイミングチャートである。
【符号の説明】
１画素
２受光部
３従感光部
４主感光部
１２固体撮像素子
１５ＣＰＵ
１７タイミングジェネレータ
２５デジタル信号処理部

Claims

面積が相対的に広い主感光部と狭い従感光部とからなる感光部を有する画素を多数配列した固体撮像素子を用いる撮像装置において、
被写体輝度域を測定する測定手段と、前記被写体輝度域に基づいて主感光部の露出時間に対する従感光部の露出時間を設定する設定手段とを備えたことを特徴とする撮像装置。
面積が相対的に広い主感光部と狭い従感光部とからなる感光部を有する画素を多数配列した固体撮像素子を用いる撮像装置において、
ＩＳＯ感度の設定を行うＩＳＯ感度設定手段と、前記ＩＳＯ感度に基づいて主感光部の露出時間に対する従感光部の露出時間を設定する設定手段とを備えたことを特徴とする撮像装置。
前記設定手段は、前記主感光部から出力される高感度画像信号が飽和しない範囲である主感光部再現域に対する被写体輝度域の大きさが１００％未満の時は、前記従感光部の露出時間を変更しないことを特徴とする請求項１記載の撮像装置。
前記設定手段は、前記主感光部から出力される高感度画像信号が飽和しない範囲である主感光部再現域に対する被写体輝度域の大きさが１００％未満の時は、前記高感度画像信号のみを画像信号とすることを特徴とする請求項１または３記載の撮像装置。
前記設定手段は、前記主感光部から出力される高感度画像信号が飽和しない範囲である主感光部再現域に対する被写体輝度域の大きさが１００％以上の時は、この値が大きい程、前記従感光部の露出時間を短くすることを特徴とする請求項１，３，４いずれか記載の撮像装置。
前記設定手段は、前記主感光部から出力される高感度画像信号が飽和しない範囲である主感光部再現域に対する被写体輝度域の大きさが１００％未満の時は、前記主感光部の露出時間を主感光部と従感光部の飽和レベル比で割ったものを従感光部の露出時間とすることを特徴とする請求項１，３，４いずれか記載の撮像装置。
前記設定手段は、前記ＩＳＯ感度を高く設定する程、前記従感光部の露出時間を短く設定することを特徴とする請求項２記載の撮像装置。