JP4646392B2

JP4646392B2 - Imaging device

Info

Publication number: JP4646392B2
Application number: JP2000374576A
Authority: JP
Inventors: 英明吉田
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2000-12-08
Filing date: 2000-12-08
Publication date: 2011-03-09
Anticipated expiration: 2020-12-08
Also published as: JP2002185856A

Description

【０００１】
【発明の属する技術分野】
本発明はＣＣＤ等の撮像素子を用いた撮像装置に関し、特に画素加算後の画素情報に対して欠陥画素に関する補正を行う撮像装置に関する。
【０００２】
【従来の技術】
近年、ＣＣＤ等の撮像素子により被写体像を撮像して映像信号を得るデジタルスチルカメラ（電子カメラ）が盛んに開発されている。この種の電子カメラに用いられる撮像装置において、画素欠陥の補償及び画素加算読み出しはそれぞれ公知である。即ち、前者によって欠陥のある撮像素子でも実用に供されることが可能となり、市場に提供可能なコストが実現されている。また、後者によってＳＮ比やダイナミックレンジの向上を図ることができる。
【０００３】
このとき、例えば２行２列の４画素加算読み出しによって１つの画素（これを複画素と称する、これに対して原画素を単位画素と称する）を得る場合、複画素中に１画素でも欠陥画素が含まれていた場合はこの複画素は欠陥複画素となる。このため、従来の欠陥補償技術を適用したとすると、この欠陥複画素に対して隣接する複画素の情報をもって充当（代用）することになる。
【０００４】
【発明が解決しようとする課題】
上記例では、欠陥複画素の中にも、単位画素では欠陥でない有効な画素が含まれているにも関わらず、加算読み出しによって欠陥画素情報と混合されるためにこれらの画素情報が無効とされ、より遠い隣接複画素情報によって充当されている。従って解像度の劣化が大きいものであった。
【０００５】
なお、この課題に対して、画素信号加算読み出し方式として撮像素子からの信号読み出し部すなわちサンプルホールド回路を利用した画素信号加算を用いる場合に関しては、欠陥画素が含まれる部分だけを通常の加算動作と異なるサンプルホールド処理をすることで、有効な単位画素に相当する情報を得ることができるようにして、解像度劣化を防ぐようにした技術が提案されている（特開平１１−１２２５３８号公報）。
【０００６】
しかしながらこの方式も、
・技術的に高度な要素を含むデリケートなハード回路であり、基本性能の安定確保が困難な場合もあるサンプルホールド回路に、さらに特殊な切り換え動作を必要とするため、性能の確保が極めて困難になる可能性がある
・水平方向の加算に対してしか適用できないから、例えば最も一般的に垂直２ライン加算後にこの技術を適用した上記４画素加算の場合を考えれば、欠陥画素が１画素だけであった場合でも、有効に利用可能なのは高々２画素の情報までであり、無駄が大きい。また、このとき４画素のうち対角あるいは水平方向に隣接する２画素が欠陥であるだけで、この複画素は欠陥画素となってしまう
という不具合を有している。
【０００７】
本発明は上述の事情を考慮してなされたもので、その目的とするところは、複雑な負担の大きいハード回路を要することなく、また有効画素の情報を無駄無く利用し、従ってＳＮの劣化を最小限にとどめつつ解像度の劣化を事実上生じない効果的な欠陥補正が可能な撮像装置を提供することにある。
【０００８】
【課題を解決するための手段】
上述の課題を解決するため、本発明の撮像装置は、被写体像を撮像する撮像素子と、前記撮像素子を駆動する駆動手段と、前記駆動手段を用いて前記撮像素子の光電変換単位の画素である単位画素の画素情報を複数個加算しつつ読み出す加算読み出しが可能な読み出し手段と、前記単位画素に関する画素欠陥情報であって、少なくとも欠陥単位画素のアドレス情報および所定レベルの重畳信号出力を有するグレイ欠陥単位画素に関する重畳信号レベル情報を含んでなる単位画素欠陥情報を記憶する記憶手段と、前記加算読み出しによって読み出された加算後の画素である複画素の画素情報に対して、前記単位画素欠陥情報に基いて補正を施す画素情報補正手段と、前記複画素の画素情報に基いて、前記複画素内の前記グレイ欠陥単位画素に関する飽和の発生の有無を判別する飽和判別手段とを具備し、前記画素情報補正手段は、前記複画素のうちに前記グレイ欠陥単位画素が含まれている場合には、前記複画素の画素情報に対して、前記飽和判別手段の判別結果に基いて、前記グレイ欠陥単位画素のグレイ欠陥レベルおよび／または前記単位画素の飽和レベルに基いた補正を施すように構成されていることを特徴とする。
【０００９】
本発明によれば、グレイ欠陥画素のある撮像素子において画素加算読み出しを行う場合に、加算読み出し後の複画素の画素情報に対して、単位画素欠陥情報に基いた補正を行うことにより、同一複画素内の単位画素の情報に基づいた欠陥補正が可能となり、事実上の解像度の低下を防止することができる。特に、複画素の画素情報の補正に際しては、複画素の画素情報からグレイ欠陥単位画素に関するグレイ欠陥レベル分を減じたりあるいは複画素の画素情報から画素飽和レベル分を減じた後に所定の係数補正を施すといった、グレイ欠陥単位画素のグレイ欠陥レベルおよび／または単位画素の飽和レベルに基いた補正を用いているので、実際上問題となる中間レベルの欠陥画素を含む複画素に対してグレイ欠陥単位画素の飽和の有無を考慮した最適な補正を行うことが可能となる。つまり、グレイ欠陥単位画素についてはそれが飽和してない場合にはグレイ欠陥レベルを複画素の画素情報から差し引けばよいが、飽和している場合には、その画素出力全体を除外する必要があり、これが、グレイ欠陥単位画素のグレイ欠陥レベルおよび／または単位画素の飽和レベルに基いた補正により実現される。
【００１０】
また、複画素のうちにグレイ欠陥単位画素と、信号出力がほぼ零の黒欠陥単位画素とが含まれている場合には、複画素の画素情報に対して、グレイ欠陥単位画素のグレイ欠陥レベルおよび／または単位画素の飽和レベルと、複画素の構成画素数及び黒欠陥画素数とに基づいた補正を施すことが望ましい。これにより、複画素の構成画素数に対する黒欠陥画素の割合をも考慮した適切な補正を行うことが可能となる。
【００１１】
また、上述のグレイ欠陥単位画素のグレイ欠陥レベルおよび／または単位画素の飽和レベルに基いた補正に際しては、まず、複画素に対する平均的露光入力を仮定した場合における複画素内の単位画素に関する飽和の発生の有無を判別して、グレイ欠陥単位画素が飽和画素であるか否かを推定することが好ましい。このような推定を用いることにより、グレイ欠陥単位画素の飽和の有無に基づいてグレイ欠陥単位画素のグレイ欠陥レベルおよび／または単位画素の飽和レベルを用いた補正を適切に行うことが可能となる。すなわち、単純には、未飽和画素であれば、加算後の複画素の画素情報からそのグレイ欠陥レベルを減じるだけで正しい補正を行うことができる。また飽和画素である場合には、グレイ欠陥レベルを減じるのではなく、飽和画素の出力成分全てつまり画素飽和レベル分を減じて複画素の画素情報から飽和画素の影響を除外することにより、残りの単位画素からの信号成分を利用した正しい補正が可能となる。
【００１２】
実際には、複画素内には飽和画素と未飽和画素が混在することを考慮して、複画素に単位画素に関する飽和の発生が有った場合には、複画素の画素情報に対して、単位画素の飽和レベルおよび複画素の構成画素数および飽和発生画素数に基き、画素飽和レベル分および未飽和画素に関するグレイ欠陥レベルを減じた後に所定の係数を乗じる係数補正を施すことによって補正を行うことができる。
【００１３】
また、複画素の前記黒欠陥単位画素を除く構成単位画素すべてがグレイ欠陥画素であり、且つすべてグレイ欠陥画素について飽和が発生したと判断した場合には、これを欠陥複画素と判定し、隣接する非欠陥複画素の情報をもって当該欠陥複画素の情報に充当すればよい。これは、つまり１つでも未欠陥画素がある場合や、未飽和のグレイ欠陥画素がある場合には、その信号出力を利用して複画素の画素情報を得ることを意味するものである。
【００１４】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を説明する。
図１は、本発明の一実施形態に係わる電子カメラの概略構成を示すブロック図である。
【００１５】
図中１０１は各種レンズからなるレンズ系、１０２はレンズ系１０１を駆動するためのレンズ駆動機構、１０３はレンズ系１０１の絞りを制御するための露出制御機構、１０４はローパス及び赤外カット用のフィルタ、１０５はＣＣＤ撮像素子、１０６は撮像素子１０５を駆動するためのＣＣＤドライバ、１０７はＡ／Ｄ変換器等を含むプリプロセス回路、１０８は色信号生成処理，マトリックス変換処理，その他各種のデジタル処理を行うためのデジタルプロセス回路、１０９はカードインターフェース、１１０はメモリカード、１１１はＬＣＤ画像表示系を示している。
【００１６】
また、図中の１１２は各部を統括的に制御するためのシステムコントローラ（ＣＰＵ）、１１３は各種ＳＷからなる操作スイッチ系、１１４は操作状態及びモード状態等を表示するための操作表示系、１１５はレンズ駆動機構１０２を制御するためのレンズドライバ、１１６は発光手段としてのストロボ、１１７は露出制御機構１０３及びストロボ１１６を制御するための露出制御ドライバ、１１８は各種設定情報等を記憶するための不揮発性メモリ（ＥＥＰＲＯＭ）を示している。
【００１７】
本実施形態の電子カメラにおいては、システムコントローラ１１２が全ての制御を統括的に行っており、ＣＣＤドライバ１０６によりＣＣＤ撮像素子１０５の駆動を制御して露光（電荷蓄積）及び信号の読み出しを行い、それをプリプロセス回路１０７を介してデジタルプロセス回路１０８に取込んで、各種信号処理を施した後にカードインターフェース１０９を介してメモリカード１１０に記録するようになっている。
【００１８】
図２は、ＣＣＤ撮像素子１０５の素子構造を示す平面図である。受光素子としてフォトダイオード２０１がマトリクス配置され、フォトダイオード２０１間に縦列方向に複数本の垂直ＣＣＤ２０２が配置され、垂直ＣＣＤ２０２の端部に横列方向に１本の水平ＣＣＤ２０３が配置されている。そして、フォトダイオード２０１に蓄積された信号電荷は電荷移送パルスＴＧにより垂直ＣＣＤ２０２に読み出され、垂直ＣＣＤ２０２内を紙面下方向に転送される。垂直ＣＣＤ２０２を転送した信号電荷は水平ＣＣＤ２０３に移送され、この水平ＣＣＤ２０３を紙面左方向に転送され、最終的に読み出しアンプであるＦＤＡ（フローティングディフュージョンアンプ）２０４を介して出力されるようになっている。
【００１９】
ここまでの基本構成は従来装置と同様であるが、本実施形態ではこれに加え、ＣＣＤ１０５に対して単位画素の画素情報を複数個加算しつつ読み出す加算読み出し機能と、ＥＥＰＲＯＭ１１２に記憶されている単位画素欠陥情報に基づいて加算後の画素情報に対する補正を行う画素情報補正機能が設けられている。単位画素欠陥情報は、黒欠陥画素のアドレス情報とグレイ欠陥画素のアドレス情報及びそのグレイレベル情報とから構成されている。なお、撮像素子１０５における加算読み出しはシステムコントローラ１１２に設けられた画素加算駆動制御部１１２ａの制御下にＣＣＤドライバ１０６によって行われ、補正処理はシステムコントローラ１１２に設けられた画素情報補正部１１２ｂの制御下にデジタルプロセス回路１０８のデジタル演算により行われるようになっている。
【００２０】
本実施形態で用いる撮像素子１０５は、例えば順次走査（プログレシブスキャニング）型とし、縦横の画素ピッチが等しい正方画素タイプであるとする。そして、この撮像素子１０５は、図３に示すように２×２の隣接４画素を最小単位として加算読み出しされる。このように実質的な画像情報の最小単位が、撮像素子１０２の複数の画素（単位画素）から構成されている時に、これを複画素と名付ける。
【００２１】
次に、本実施形態における画素加算信号読み出し及び欠陥補正の動作について説明する。
【００２２】
画素信号の加算読み出しは、公知の垂直２画素加算と水平２画素加算の同時採用による隣接４画素加算読み出しにより行われる。垂直２画素加算は、図４（ａ）に示すように、毎回の水平ブランキング期間（Ｈblk）に２画素（２行）分の垂直転送クロック（φＶ）を出力することによって行われる。水平２画素加算は、図４（ｂ）に示すように、読み出しアンプ２０４におけるＣＤＳ（相関二重サンプリング回路）の１回のサンプリング期間、即ち各リセットゲートパルス（ＲＳＴ）間に２画素分の水平転送パルス（φＨ）を出力することによって行われる。
【００２３】
欠陥画素の補正処理において、対象とする「欠陥」は黒欠陥画素（信号出力がほぼ０の画素）とグレイ欠陥画素（信号成分に加え暗電流成分等からなる所定レベルの重畳信号出力を持つ画素）とする。グレイ欠陥画素のうち、重畳信号出力つまりグレイ欠陥レベルが単位画素の飽和レベルｗであるものは白欠陥画素となる。そして、欠陥画素を含む複画素については２×２の加算後の画像情報に対して以下の補正が行われる。
【００２４】
まず、グレイ欠陥画素を含む場合における２×２の加算後の画像情報に対する補正の原理について説明する。図５（ａ）は複画素を構成する２×２の４画素ｐ１，ｐ２，ｐ３，ｐ４の中でｐ４のみがグレイ欠陥画素であり、そのグレイ欠陥レベルがＤである場合を示している。この場合、２×２の加算後の画像情報の値Ａは、４画素ｐ１，ｐ２，ｐ３，ｐ４それぞれの本来の信号レベル成分をＳ１，Ｓ２，Ｓ３，Ｓ４とすると、
Ａ＝Ｓ１＋Ｓ２＋Ｓ３＋Ｓ４＋Ｄ …（１）
となる。よって、加算後の画像情報の値Ａからグレイ欠陥レベルＤを減ずることにより、補正後の複画素信号値Ｓを得ることができる。
【００２５】
Ｓ＝Ａ−Ｄ …（２）
しかし、入力信号レベル（被写体輝度レベル）が大きく、グレイ欠陥画素ｐ４が図５（ｂ）のように飽和（飽和レベル＝ｗ）している場合には、グレイ欠陥画素ｐ４からの出力は飽和レベルｗでクリップされてしまうので、加算後の画像情報の値Ａは
Ａ＝Ｓ１＋Ｓ２＋Ｓ３＋ｗ …（３）
となる。この場合、飽和レベルｗは、グレイ欠陥画素ｐ４に関する本来の出力レベルＳ４＋Ｄよりも小さいので、（２）式のように、加算後の画像情報の値Ａからグレイ欠陥レベルＤを単純に減ずる補正では正しい出力を得ることができなくなる。したがって、この場合には、飽和画素の出力を加算後の画像情報の値Ａから除外して、残りの画素出力のみで補正後の信号を得るために、
Ｓ＝（Ａ−ｗ） × ４／３ …（４）
という補正を行うことが必要となる。
【００２６】
よって、複画素内に含まれるグレイ欠陥画素の飽和の有無を推定し、その推定結果に基づいて（１）式と（４）式を切れ替えて使用することにより、加算後の画像情報の値Ａに対して正しい補正を施すことが可能となる。図５（ｂ）から分かるように、グレイ欠陥画素に関する信号の許容可能なダイナミックレンジはｗ−Ｄの範囲に限られる。このことを基に、グレイ欠陥画素ｐ４が飽和しているか否かを、加算後の画像情報の値Ａから推定する事ができる。この推定は、複画素を構成する２×２の４画素に対して平均的露光入力が与えられるという仮定の下でなされる。つまり、グレイ欠陥画素ｐ４の信号レベルＳ４は、
Ｓ４＝（Ａ−Ｄ）／４ …（５）
と推定することができる。
【００２７】
複画素の画像情報Ａに対する補正処理の手順を図６のフローチャートに示す。
【００２８】
まず、複画素の画像情報Ａを入力し（ステップＳ１０１）、複画素を構成する２×２の４画素に対して平均的露光入力が与えられることを仮定した場合におけるグレイ欠陥画素ｐ４の信号レベルＳ４（＝（Ａ−Ｄ）／４）が、ｗ−Ｄの範囲内であるか、あるいはそれよりも大きいかを判断する（ステップＳ１０２）。ｗ−Ｄの範囲内であればグレイ欠陥画素ｐ４は未飽和画素であるので、複画素の画像情報Ａに対して、Ｓ＝Ａ−Ｄの補正が施される（ステップＳ１０３）。一方、ｗ−Ｄよりも大きい場合にはグレイ欠陥画素ｐ４は飽和画素であるので、複画素の画像情報Ａに対して、Ｓ＝（Ａ−ｗ） × ４／３の補正が施される（ステップＳ１０４）。
【００２９】
また、複画素内にはグレイ欠陥画素のみならず、黒欠陥画素も含まれる場合があるので、この場合には複画素の構成画素数に対する黒欠陥画素の割合をも考慮して図７の手順で補正が行われる。ここでは、例えば当該１複画素（４画素）に含まれる黒欠陥の画素数をｎ_Ｂ（≦２）、グレイ欠陥の画素数を１個とする。
【００３０】
まず、複画素の画像情報Ａを入力し（ステップＳ１１１）、複画素を構成する２×２の４画素に対して平均的露光入力が与えられることを仮定した場合におけるグレイ欠陥画素ｐ４の信号レベルＳ４（＝（Ａ−Ｄ）／（４−ｎ_Ｂ））が、ｗ−Ｄの範囲内であるか、あるいはそれよりも大きいかを判断する（ステップＳ１１２）。黒欠陥の画素からの出力は零であるので、（Ａ−Ｄ）／（４−ｎ_Ｂ）は、黒欠陥の画素数を除外して１画素当たりの平均出力を求めたものである。
【００３１】
信号レベルＳ４がｗ−Ｄの範囲内であれば（（Ａ−Ｄ）／（４−ｎＢ）≦ ｗ−Ｄ）、グレイ欠陥画素ｐ４は未飽和画素であるので、複画素の画像情報Ａに対して、Ｓ＝（Ａ−Ｄ）・４／（４−ｎ_Ｂ）の補正が施される（ステップＳ１１３）。これはＡからＤを減算し、それに黒欠陥画素の割合を考慮した係数４／（４−ｎ_Ｂ）を乗じたものである。
【００３２】
一方、信号レベルＳ４がｗ−Ｄよりも大きい場合には（（Ａ−Ｄ）／（４−ｎ_Ｂ）＞ｗ−Ｄ）、グレイ欠陥画素ｐ４は飽和画素であるので、複画素の画像情報Ａに対して、Ｓ＝（Ａ−ｗ）・４／（４−ｎ_Ｂ−１）の補正が施される（ステップＳ１１４）。除数（４−ｎ_Ｂ−１）は、総画素数４から飽和しているグレイ欠陥画素数１と黒欠陥画素数ｎ_Ｂを減算したものである。
【００３３】
これを式で書き下すと、
（Ａ−Ｄ）／（４−ｎ_Ｂ）≦ ｗ−Ｄ
のときＳ＝（Ａ−Ｄ）・４／（４−ｎ_Ｂ） …（６）
（Ａ−Ｄ）／（４−ｎ_Ｂ）＞ｗ−Ｄ
のときＳ＝（Ａ−ｗ）・４／（４−ｎ_Ｂ−１）…（７）
と表すことができる。
【００３４】
また、実際には、複画素内には複数のグレイ欠陥画素が存在する場合があり、しかもそれらのグレイ欠陥レベルは互いに異なるので、飽和したグレイ欠陥画素と未飽和のグレイ欠陥画素とが混在する状況が考えられる。したがって、一般には、次のステップ（０）〜（６）の手順で示すように、グレイ欠陥画素毎に飽和の有無を推定しながら補正処理を行うことが必要となる。
【００３５】
ここでは、複画素を構成する２×２の４画素それぞれのグレイ欠陥レベルを欠陥レベルの大きいものから順にＤ_１，Ｄ_２，Ｄ_３，Ｄ_４とし（同値の場合も含む）、Ｄ_１，Ｄ_２，Ｄ_３，Ｄ_４の順で飽和しているか否かを推定しながら補正処理を行うものとする。なお、欠陥のない画素はＤ＝０であり、黒欠陥画素もＤ＝０である。
【００３６】
（０）ｎ_Ｂ＝４の場合は、この複画素を欠陥複画素とする。
【００３７】
（１）グレイ欠陥レベルＤ_１の画素の出力レベルは、
（Ａ−Σ［ｉ＝１ｔｏ４］Ｄ_ｉ）／（４−ｎ_Ｂ）
と推定できる。よって、
（Ａ−Σ［ｉ＝１ｔｏ４］Ｄ_ｉ）／（４−ｎ_Ｂ）≦ ｗ−Ｄ_１
のときはＳ＝（Ａ−Σ［ｉ＝１ｔｏ４］Ｄ_ｉ）・４／（４−ｎ_Ｂ）
それ以外（グレイ欠陥レベルＤ_１の画素が飽和している場合）は（２）
（ただしΣ［ｉ＝１ｔｏ４］Ｄ_ｉはＤ_１〜Ｄ_４の総和を示す、以下同じ）
（２）グレイ欠陥レベルＤ_１の画素が飽和しているので、グレイ欠陥レベルＤ_２の画素の出力レベルは、
（Ａ−ｗ−Σ［ｉ＝２ｔｏ４］Ｄ_ｉ）／（３−ｎ_Ｂ）
と推定できる。よって、
（Ａ−ｗ−Σ［ｉ＝２ｔｏ４］Ｄ_ｉ）／（３−ｎ_Ｂ）≦ ｗ−Ｄ_２
のときはＳ＝（Ａ−ｗ−Σ［ｉ＝２ｔｏ４］Ｄ_ｉ）・４／（３−ｎ_Ｂ）、
それ以外（グレイ欠陥レベルＤ_２の画素も飽和している場合）は（３）
（３）グレイ欠陥レベルＤ_１，Ｄ_２の２画素が飽和しているので、グレイ欠陥レベルＤ_３の画素の出力レベルは、
（Ａ−２ｗ−Σ［ｉ＝３ｔｏ４］Ｄ_ｉ）／（２−ｎ_Ｂ）
と推定できる。よって、
（Ａ−２ｗ−Σ［ｉ＝３ｔｏ４］Ｄ_ｉ）／（２−ｎ_Ｂ）≦ ｗ−Ｄ_３
のときはＳ＝（Ａ−２ｗ−Σ［ｉ＝３ｔｏ４］Ｄ_ｉ）・４／（２−ｎ_Ｂ）
それ以外（グレイ欠陥レベルＤ_３の画素も飽和している場合）は（４）
（４）グレイ欠陥レベルＤ_１，Ｄ_２，Ｄ_３の３画素が飽和しているので、グレイ欠陥レベルＤ_４の画素の出力レベルは、黒欠陥画素がない場合は、
（Ａ−３ｗ−Ｄ_４）／（１−ｎ_Ｂ）
と推定できる。よって、
（Ａ−３ｗ−Ｄ_４）／（１−ｎ_Ｂ）≦ ｗ−Ｄ_４
のときはＳ＝（Ａ−３ｗ−Ｄ_４）・４／（１−ｎ_Ｂ）
それ以外の場合（グレイ欠陥レベルＤ_４の画素も飽和している場合）は（５）
（５）グレイ欠陥レベルＤ_１，Ｄ_２，Ｄ_３，Ｄ_４の４画素が飽和しているが、グレイ欠陥レベルＤ_４の画素に欠陥がない場合、つまりＤ_４＝０
の場合はＳ＝４ｗ（４画素分の飽和＝白レベル）
それ以外の場合（４画素全てがグレイ欠陥画素であり、且つそれら全てが飽和している）はこの複画素を欠陥複画素とする。
【００３８】
なお、ステップ（１）〜（４）の各段階で除数（Ｐ−ｎ_Ｂ）が０になった場合（ステップ（１）ではＰ＝４、ステップ（２）ではＰ＝３、ステップ（３）ではＰ＝２、ステップ（４）ではＰ＝１）、つまり各段階で黒欠陥を除いた画素が全て飽和している場合には（６）に進む。
【００３９】
（６）Ｄ_４−Ｐ＝０の場合、つまり最後に飽和が確認された画素に欠陥がない場合はＳ＝４ｗ（４画素分の飽和＝白レベル）
それ以外の場合（黒欠陥を除く他の画素全てが飽和しており、且つそれら全てがグレイ欠陥画素である）はこの複画素を欠陥複画素とする。
【００４０】
なお、以上のステップ（０）〜（６）の補正後の出力Ｓを求める式は欠陥画素が含まれていない場合（（１）においてｎ_Ｂ＝０かつすべてのＤ_ｉ＝０の場合）も含んでおり、この場合にはＳ＝Ａとなる。
【００４１】
さらに上記においては極力統一的な処理を志向して白欠陥（飽和欠陥）はグレイ欠陥の特殊な場合として取扱う形式を採用しているが、実際の処理においてはこれに限らず、露光条件等によらず常に飽和レベルを出力するいわゆる（狭義の）白欠陥については、その個数によって場合分けを行なう処理なども採用し得る。具体的な一例（ただし話を簡単にするために黒欠陥が無いとしたとき）を示せば、白欠陥がｎ_ｗ個の場合は他のステップを経ずして直接ステップ（１＋ｎ_ｗ）に移行するものが挙げられ、これは狭義の白欠陥画素に関してはレベル推定演算および判断処理を省略することができるという利点を有している。
【００４２】
また、４画素に限らず一般のＮ画素加算の場合も同様に処理することができ、上述の（ステップ０および最終ステップを除く）各段階のステップ番号をｍとすれば、ステップ（ｍ）における式は、
（ｍ）（Ａ−（ｍ−１）ｗ−Σ［ｉ＝ｍｔｏＮ］Ｄ_ｉ）／（Ｎ−ｍ＋１−ｎ_Ｂ）≦ ｗ−Ｄｍ
のときはＳ＝（Ａ−（ｍ−１）ｗ−Σ［ｉ＝ｍｔｏＮ］Ｄ_ｉ）・Ｎ／（Ｎ−ｍ＋１−ｎＢ）
それ以外は（ｍ＋１）
と一般化できる。
【００４３】
また上記で、欠陥情報の取得については触れていないが、公知の任意の手法を用いることができる。例えば、事前に製造工程で調べたデータ（温度や露光時間依存も含む）をメモリに記憶しておいたものを、使用時の温度や露光時間を参照して用いても良い。また、撮影直前に、例えば使用予定露光時間で遮光状態でテスト撮像して求めたデータを利用しても良い。
【００４４】
なお上記において「黒欠陥画素（信号出力がほぼ０の画素）」と「重畳信号出力〜飽和レベルｗであるものは白欠陥画素」と記したところは必ずしもそれぞれ出力０、出力ｗを必須とするものではなく、近似的にそのような画素と見なされるものであっても良いことは言うまでも無い。
【００４５】
このように本実施形態によれば、４画素加算読み出しによって１つの複画素を得る方式において、複画素中に１画素でも中間レベルのグレイ欠陥画素が含まれていた場合に前記式に基づく補正演算を行うことにより、欠陥画素を簡易に補償することができる。そしてこの場合、欠陥複画素に対する補正は、隣接複画素情報ではなく同一複画素内の単位画素の情報に基づいて行われる。このため、有効画素の情報を無駄無く利用することができ、ＳＮの劣化を最小限にとどめつつ解像度の劣化を抑制することができる。また、サンプルホールド回路に特殊な切り換え動作を持たせる等の複雑なハード構成を要することなく、単純な計算式を用いて計算するのみで実現することができる。
【００４６】
なお、本発明は上述した実施形態に限定されるものではない。実施形態では、モノクロ撮像素子で説明したが、本発明はカラー撮像素子にも同様に適用できる。カラーの場合は元の加算が通常同色の加算処理となり、コーディングパターンによっては隣接加算以外の加算が用いられるが、その加算対象の複画素に対して全く同様に適用できる。また、デジタルスチルカメラ等の電子カメラに限らず、ビデオカメラ等のムービーにも全く同様に適用できる。
【００４７】
また、画素加算は内部で加算するのみに限らず、外部で加算することも可能である。例えば水平加算について、撮像素子から信号を読み出した後にデジタル演算で隣接２画素加算を行うようにしてもよい。その他、本発明の要旨を逸脱しない範囲で、種々変形して実施することができる。
【００４８】
【発明の効果】
以上詳述したように本発明によれば、画素加算により感度の向上をはかった撮像装置において、一般の中間レベルのグレイ欠陥に対しても、有効画素の情報を無駄無く利用した、従ってＳＮの劣化を最小限にとどめつつ解像度の劣化を事実上生じない効果的な欠陥補正を行うことが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る電子カメラの構成を示すブロック図。
【図２】同実施形態で用いられるＣＣＤ撮像素子の素子構造を示す平面図。
【図３】同実施形態で用いられるＣＣＤ撮像素子における単位画素と複画素との関係を示す図。
【図４】同実施形態で用いられる加算駆動読み出し動作を示すタイミングチャート。
【図５】同実施形態で用いられる補正処理の原理を説明するための図。
【図６】同実施形態で用いられる補正処理の手順を示す第１のフローチャート。
【図７】同実施形態で用いられる補正処理の手順を示す第２のフローチャート。
【符号の説明】
１０１…レンズ系
１０２…レンズ駆動機構
１０３…露出制御機構
１０４…フィルタ系
１０５…ＣＣＤカラー撮像素子
１０６…ＣＣＤドライバ
１０７…プリプロセス部
１０８…デジタルプロセス部
１０９…カードインターフェース
１１０…メモリカード
１１１…ＬＣＤ画像表示系
１１２…システムコントローラ（ＣＰＵ）
１１２ａ…画素加算駆動制御部
１１２ｂ…画素情報補正部
１１３…操作スイッチ系
１１４…操作表示系
１１５…レンズドライバ
１１６…ストロボ
１１７…露出制御ドライバ
１１８…不揮発性メモリ（ＥＥＰＲＯＭ）
２０１…フォトダイオード
２０２…垂直ＣＣＤ
２０３…水平ＣＣＤ
２０４…読み出しアンプ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image pickup apparatus using an image pickup device such as a CCD, and more particularly to an image pickup apparatus that corrects pixel information after pixel addition with respect to a defective pixel.
[0002]
[Prior art]
2. Description of the Related Art In recent years, digital still cameras (electronic cameras) that capture a subject image with an imaging element such as a CCD and obtain a video signal have been actively developed. In an imaging apparatus used for this type of electronic camera, pixel defect compensation and pixel addition readout are known. That is, even the image sensor having a defect can be put to practical use by the former, and the cost that can be provided to the market is realized. In addition, the latter can improve the SN ratio and dynamic range.
[0003]
At this time, for example, when one pixel (this is referred to as a double pixel, whereas the original pixel is referred to as a unit pixel) is obtained by adding and reading four pixels in two rows and two columns, even one pixel in the multiple pixels is a defective pixel. If this is included, this double pixel becomes a defective double pixel. For this reason, assuming that the conventional defect compensation technique is applied, information on multiple pixels adjacent to the defective multiple pixels is used (substitute).
[0004]
[Problems to be solved by the invention]
In the above example, although the defective complex pixel includes valid pixels that are not defective in the unit pixel, the pixel information is invalidated because it is mixed with the defective pixel information by addition reading. It is filled with information on adjacent multiple pixels that are farther away. Therefore, the resolution is greatly deteriorated.
[0005]
For this problem, when pixel signal addition using a signal readout unit from the image sensor, that is, a sample hold circuit, is used as the pixel signal addition readout method, only a portion including a defective pixel is regarded as a normal addition operation. A technique has been proposed in which information corresponding to effective unit pixels can be obtained by performing different sample and hold processes to prevent resolution degradation (Japanese Patent Laid-Open No. 11-122538).
[0006]
However, this method is also
-It is a delicate hardware circuit that includes technologically advanced elements, and it is difficult to ensure performance because it requires a special switching operation for the sample-and-hold circuit that may be difficult to ensure stable basic performance. Since it can be applied only to the addition in the horizontal direction, for example, in the case of the above-mentioned four-pixel addition in which this technique is applied after the vertical two-line addition most generally, there is only one defective pixel. Even in such a case, the information that can be effectively used is information of up to two pixels at most, which is wasteful. Further, at this time, only two pixels diagonally or horizontally adjacent to each other among the four pixels are defective, and this double pixel has a defect.
[0007]
The present invention has been made in consideration of the above-described circumstances. The object of the present invention is not to use a hardware circuit having a large complicated load and to use information of effective pixels without waste, and therefore, to reduce SN. An object of the present invention is to provide an imaging apparatus capable of effective defect correction that minimizes the resolution while minimizing the resolution.
[0008]
[Means for Solving the Problems]
In order to solve the above-described problems, an imaging apparatus according to the present invention includes an imaging element that captures a subject image, a driving unit that drives the imaging element, and a pixel in a photoelectric conversion unit of the imaging element using the driving unit. having an addition reading possible reading means for reading while a plurality adding pixel information of a certain unit pixel, I pixel defect information der about the unit pixel, at least the defective unit pixel address information and the predetermined level superimposed signal output storage means for storing the unit pixel defect information ing comprise superimposed signal level information about the gray defective unit pixel for pixel information of the multi-pixel is a pixel after the addition read by the addition reading, the unit and pixel information correction means for performing correction on the basis of pixel defect information, based on the pixel information of the multi-pixel, concerning the gray defective unit pixels of the multi the pixel ; And a saturated discriminating means for discriminating the presence or absence of the occurrence of saturation that, the pixel information correcting means, wherein when said gray defective unit pixel within the multi-pixel is included, the pixel information of the multi-pixel On the other hand, the correction is performed based on the gray defect level of the gray defect unit pixel and / or the saturation level of the unit pixel based on the determination result of the saturation determination means. .
[0009]
According to the present invention, when pixel addition reading is performed on an image sensor having a gray defective pixel, the pixel information of the plurality of pixels after the addition reading is corrected based on the unit pixel defect information, thereby performing the same pixel reading. Defect correction based on the information of the unit pixel in the pixel can be performed, and a practical decrease in resolution can be prevented. In particular, when correcting pixel information of multiple pixels, a predetermined coefficient correction is performed after subtracting the gray defect level for the gray defect unit pixel from the pixel information of the multiple pixels or subtracting the pixel saturation level from the pixel information of the multiple pixels. Since the correction based on the gray defect level of the gray defect unit pixel and / or the saturation level of the unit pixel is used, the gray defect unit pixel is compared with the double pixel including the defective pixel of the intermediate level which is a problem in practice. It is possible to perform optimum correction in consideration of the presence or absence of saturation. In other words, if the gray defect unit pixel is not saturated, the gray defect level may be subtracted from the pixel information of the multiple pixels, but if it is saturated, it is necessary to exclude the entire pixel output. Yes, this is achieved by a correction based on the gray defect level of the gray defect unit pixel and / or the saturation level of the unit pixel.
[0010]
In addition, when a gray defect unit pixel and a black defect unit pixel whose signal output is almost zero are included in the multiple pixels, the gray defect level of the gray defect unit pixel with respect to the pixel information of the multiple pixels It is desirable to perform correction based on the saturation level of the unit pixel and the number of constituent pixels of the multiple pixels and the number of black defective pixels. This makes it possible to perform appropriate correction in consideration of the ratio of black defective pixels to the number of constituent pixels of the multiple pixels.
[0011]
Further, in the correction based on the gray defect level of the gray defect unit pixel and / or the saturation level of the unit pixel, first, the saturation of the unit pixel in the multi-pixel when the average exposure input for the multi-pixel is assumed. It is preferable to determine whether or not a gray defect unit pixel is a saturated pixel by determining whether or not it has occurred. By using such estimation, it is possible to appropriately perform correction using the gray defect level of the gray defect unit pixel and / or the saturation level of the unit pixel based on whether the gray defect unit pixel is saturated. That is, for an unsaturated pixel, correct correction can be performed simply by subtracting the gray defect level from the pixel information of the added multiple pixels. In the case of a saturated pixel, instead of reducing the gray defect level, all the output components of the saturated pixel, that is, the pixel saturation level is reduced, and the influence of the saturated pixel is excluded from the pixel information of the multiple pixels. Correct correction using the signal component from the unit pixel becomes possible.
[0012]
Actually, in consideration of the fact that saturated pixels and unsaturated pixels are mixed in the multiple pixels, if there is a saturation related to the unit pixel in the multiple pixels, Based on the saturation level of the unit pixel, the number of constituent pixels of the multiple pixels, and the number of saturated pixels, correction is performed by performing coefficient correction by multiplying a predetermined coefficient after subtracting the gray defect level for the pixel saturation level and the unsaturated pixel. be able to.
[0013]
Further, when it is determined that all the constituent unit pixels except for the black defective unit pixel of the multi-pixel are gray defective pixels and all the gray defective pixels are saturated, this is determined as a defective multi-pixel and adjacent What is necessary is just to apply the information of the non-defective double pixel to the information of the defective double pixel. This means that when there is at least one non-defective pixel or when there is an unsaturated gray defective pixel, pixel information of multiple pixels is obtained using the signal output.
[0014]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing a schematic configuration of an electronic camera according to an embodiment of the present invention.
[0015]
In the figure, 101 is a lens system composed of various lenses, 102 is a lens driving mechanism for driving the lens system 101, 103 is an exposure control mechanism for controlling the diaphragm of the lens system 101, and 104 is for low-pass and infrared cut. Filter 105, CCD image sensor 106, CCD driver 106 for driving the image sensor 105, 107 preprocess circuit including A / D converter, 108 color signal generation process, matrix conversion process, various other digital A digital process circuit for performing processing, 109 is a card interface, 110 is a memory card, and 111 is an LCD image display system.
[0016]
Also, 112 in the figure is a system controller (CPU) 112 for overall control of each part, 113 is an operation switch system composed of various SWs, 114 is an operation display system for displaying operation states and mode states, 115 Is a lens driver for controlling the lens driving mechanism 102, 116 is a strobe as a light emitting means, 117 is an exposure control driver for controlling the exposure control mechanism 103 and the strobe 116, and 118 is for storing various setting information and the like. A non-volatile memory (EEPROM) is shown.
[0017]
In the electronic camera of the present embodiment, the system controller 112 performs all the control, and the CCD driver 106 controls the drive of the CCD image sensor 105 to perform exposure (charge accumulation) and signal readout, The data is taken into the digital process circuit 108 via the preprocess circuit 107 and subjected to various signal processing, and then recorded on the memory card 110 via the card interface 109.
[0018]
FIG. 2 is a plan view showing the element structure of the CCD image pickup element 105. Photodiodes 201 are arranged in a matrix as light receiving elements, a plurality of vertical CCDs 202 are arranged in the column direction between the photodiodes 201, and one horizontal CCD 203 is arranged in the row direction at the end of the vertical CCD 202. Then, the signal charge accumulated in the photodiode 201 is read to the vertical CCD 202 by the charge transfer pulse TG, and transferred in the vertical CCD 202 in the downward direction on the paper surface. The signal charge transferred from the vertical CCD 202 is transferred to the horizontal CCD 203, and the horizontal CCD 203 is transferred leftward on the paper surface, and finally outputted via an FDA (floating diffusion amplifier) 204 that is a read amplifier. .
[0019]
The basic configuration up to this point is the same as that of the conventional device. In this embodiment, in addition to this, an addition reading function for reading out the pixel information while adding a plurality of pieces of pixel information to the CCD 105 and the unit stored in the EEPROM 112. A pixel information correction function for correcting the pixel information after the addition based on the pixel defect information is provided. The unit pixel defect information includes address information of black defective pixels, address information of gray defective pixels, and gray level information thereof. The addition reading in the image sensor 105 is performed by the CCD driver 106 under the control of the pixel addition drive control unit 112a provided in the system controller 112, and the correction process is controlled by the pixel information correction unit 112b provided in the system controller 112. Below, the digital processing of the digital process circuit 108 is performed.
[0020]
The imaging element 105 used in the present embodiment is, for example, a progressive scanning type and is a square pixel type having equal vertical and horizontal pixel pitches. Then, the image sensor 105 performs addition reading with 2 × 2 adjacent four pixels as a minimum unit as shown in FIG. In this way, when the minimum unit of substantial image information is composed of a plurality of pixels (unit pixels) of the image sensor 102, this is named a multiple pixel.
[0021]
Next, pixel addition signal readout and defect correction operations in this embodiment will be described.
[0022]
Pixel signal addition reading is performed by adjacent four-pixel addition reading by simultaneously employing known vertical two-pixel addition and horizontal two-pixel addition. As shown in FIG. 4A, the vertical two-pixel addition is performed by outputting vertical transfer clocks (φV) for two pixels (two rows) in each horizontal blanking period (Hblk). As shown in FIG. 4B, the horizontal two-pixel addition is performed for one sampling period of CDS (correlated double sampling circuit) in the read amplifier 204, that is, horizontal for two pixels during each reset gate pulse (RST). This is done by outputting a transfer pulse (φH).
[0023]
In the defective pixel correction processing, the target “defect” is a pixel having a predetermined level of superimposed signal output including a black defective pixel (a pixel whose signal output is almost 0) and a gray defective pixel (a dark current component in addition to a signal component). ). Among the gray defect pixels, the superimposition signal output, that is, the one having the gray defect level equal to the saturation level w of the unit pixel is a white defect pixel. Then, for the multiple pixels including the defective pixel, the following correction is performed on the image information after the addition of 2 × 2.
[0024]
First, the principle of correction for image information after 2 × 2 addition in the case of including a gray defect pixel will be described. FIG. 5A shows a case where only p4 is a gray defect pixel among the 2 × 2 four pixels p1, p2, p3, and p4 constituting the double pixel, and the gray defect level is D. In this case, if the original signal level component of each of the four pixels p1, p2, p3, and p4 is S1, S2, S3, and S4, the value A of the image information after the addition of 2 × 2
A = S1 + S2 + S3 + S4 + D (1)
It becomes. Therefore, the corrected multiple pixel signal value S can be obtained by subtracting the gray defect level D from the value A of the image information after the addition.
[0025]
S = A−D (2)
However, when the input signal level (subject luminance level) is large and the gray defective pixel p4 is saturated (saturation level = w) as shown in FIG. 5B, the output from the gray defective pixel p4 is the saturation level. Since it is clipped by w, the value A of the image information after addition is A = S1 + S2 + S3 + w (3)
It becomes. In this case, since the saturation level w is smaller than the original output level S4 + D related to the gray defect pixel p4, in the correction that simply reduces the gray defect level D from the value A of the image information after the addition as shown in equation (2). The correct output cannot be obtained. Therefore, in this case, in order to obtain the corrected signal with only the remaining pixel output, by removing the output of the saturated pixel from the value A of the image information after the addition,
S = (A−w) × 4/3 (4)
It is necessary to perform such correction.
[0026]
Therefore, the value of the image information after the addition is estimated by estimating the presence / absence of saturation of the gray defect pixel included in the multi-pixel and switching the equations (1) and (4) based on the estimation result. It becomes possible to correct correctly A. As can be seen from FIG. 5 (b), the allowable dynamic range of the signal for the gray defective pixel is limited to the range w-D. Based on this, it can be estimated from the value A of the image information after the addition whether or not the gray defective pixel p4 is saturated. This estimation is made under the assumption that an average exposure input is given to 2 × 2 4 pixels constituting a multi-pixel. That is, the signal level S4 of the gray defect pixel p4 is
S4 = (AD) / 4 (5)
Can be estimated.
[0027]
The procedure of the correction process for the image information A of multiple pixels is shown in the flowchart of FIG.
[0028]
First, image information A of multiple pixels is input (step S101), and the signal level of the gray defective pixel p4 when it is assumed that an average exposure input is given to 2 × 2 4 pixels constituting the multiple pixels. It is determined whether S4 (= (A−D) / 4) is within the range of w−D or larger than that (step S102). If it is within the range of w−D, the gray defective pixel p4 is an unsaturated pixel, so that S = A−D is corrected for the image information A of the multi-pixel (step S103). On the other hand, if it is larger than w−D, the gray defective pixel p4 is a saturated pixel, so that the correction of S = (A−w) × 4/3 is performed on the image information A of the multi-pixel ( Step S104).
[0029]
In addition, not only gray defective pixels but also black defective pixels may be included in the multiple pixels. In this case, the procedure of FIG. 7 is also considered in consideration of the ratio of black defective pixels to the number of constituent pixels of the multiple pixels. The correction is performed. Here, for example, it is assumed that the number of black defects included in one compound pixel (four pixels) is n _B (≦ 2), and the number of gray defects is one.
[0030]
First, image information A of multiple pixels is input (step S111), and the signal level of the gray defective pixel p4 when it is assumed that an average exposure input is given to 2 × 2 4 pixels constituting the multiple pixels. It is determined whether S4 (= (A−D) / (4-n _B )) is within the range of w−D or larger than that (step S112). Since the output from the black defect pixel is zero, (AD) / (4-n _B ) is an average output per pixel excluding the number of black defect pixels.
[0031]
If the signal level S4 is within the range of w−D ((A−D) / (4-nB) ≦ w−D), the gray defective pixel p4 is an unsaturated pixel. On the other hand, a correction of S = (A−D) · 4 / (4-n _B ) is performed (step S113). This is obtained by subtracting D from A and multiplying it by a coefficient 4 / (4-n _B ) considering the proportion of black defective pixels.
[0032]
On the other hand, when the signal level S4 is higher than w−D ((AD) / (4-n _B )> w−D), the gray defect pixel p4 is a saturated pixel. A is corrected by S = (A−w) · 4 / (4-n _B −1) (step S114). The divisor (4-n _B −1) is obtained by subtracting the saturated gray defect pixel number 1 and the black defect pixel number n _B from the total pixel number 4.
[0033]
If you write this down with an expression,
(A−D) / (4-n _B ) ≦ w−D
When S = (A−D) · 4 / (4-n _B ) (6)
(AD) / (4-n _B )> wD
When S = (A−w) · 4 / (4-n _B −1) (7)
It can be expressed as.
[0034]
In practice, there may be a plurality of gray defect pixels in a plurality of pixels, and these gray defect levels are different from each other, so that saturated gray defect pixels and unsaturated gray defect pixels are mixed. The situation is possible. Therefore, in general, as shown in the procedures of the following steps (0) to (6), it is necessary to perform correction processing while estimating the presence or absence of saturation for each gray defective pixel.
[0035]
Here, the gray defect level of each of the 2 × 2 four pixels constituting the double pixel is set to D ₁ , D ₂ , D ₃ , D _{4 in} order from the highest defect level (including the case of the same value), D ₁ , It is assumed that correction processing is performed while estimating whether or not saturation is performed in the order of D ₂ , D ₃ , and D ₄ . It should be noted that a pixel having no defect is D = 0, and a black defective pixel is D = 0.
[0036]
(0) When n _B = 4, this double pixel is defined as a defective double pixel.
[0037]
(1) The output level of the pixel of gray defect level D ₁ is
(A-Σ [i = 1to4] D _i ) / (4-n _B )
Can be estimated. Therefore,
(A−Σ [i = 1 to 4] D _i ) / (4-n _B ) ≦ w−D ₁
When S = (A−Σ [i = 1to4] D _i ) · 4 / (4-n _B )
Otherwise (if the pixel gray defect levels D ₁ is saturated) is (2)
(Where Σ [i = 1to4] D _i represents the sum of D _{1 to} D ₄ , and so on)
2 because of the pixel gray defect levels D ₁ is saturated, the output level of the pixel gray defect level D ₂ is
(Aw-Σ [i = 2to4] D _i ) / (3-n _B )
Can be estimated. Therefore,
(A−w−Σ [i = 2to4] D _i ) / (3-n _B ) ≦ w−D ₂
S = (Aw-Σ [i = 2to4] D _i ) · 4 / (3-n _B ),
Otherwise (if also the pixel gray defect level D ₂ is saturated) is (3)
(3) Since the two pixels of the gray defect level D ₁ and D ₂ are saturated, the output level of the pixel of the gray defect level D ₃ is
(A-2w-Σ [i = 3to4] D _i ) / (2-n _B )
Can be estimated. Therefore,
(A-2w−Σ [i = 3to4] D _i ) / (2-n _B ) ≦ w−D ₃
When S = (A−2w−Σ [i = 3to4] D _i ) · 4 / (2-n _B )
Otherwise (if also a pixel of the gray defect levels D ₃ is saturated) is (4)
(4) Since the three pixels of the gray defect levels D ₁ , D ₂ and D ₃ are saturated, the output level of the pixel of the gray defect level D ₄ is
_{(A-3w-D 4)} / (1-n B)
Can be estimated. Therefore,
(A-3w-D ₄ ) / (1-n _B ) ≦ w-D ₄
When the _{S = (A-3w-D} 4) · 4 / (1-n B)
Otherwise (if also saturated pixel gray defect levels D ₄₎ is (5)
(5) When four pixels of gray defect levels D ₁ , D ₂ , D ₃ , and D ₄ are saturated, but pixels of gray defect level D ₄ are not defective, that is, D ₄ = 0.
In case of S = 4w (saturation for 4 pixels = white level)
In other cases (all four pixels are gray defective pixels and all of them are saturated), this double pixel is determined as a defective double pixel.
[0038]
In addition, when the divisor (Pn _B ) becomes 0 at each stage of steps (1) to (4) (P = 4 in step (1), P = 3 in step (2), step (3) Then, P = 2, and in step (4), P = 1), that is, when all pixels excluding black defects are saturated at each stage, the process proceeds to (6).
[0039]
(6) When D _4−P = 0, that is, when there is no defect in the pixel where saturation was confirmed last, S = 4w (saturation for four pixels = white level)
In other cases (all other pixels except the black defect are saturated and all of them are gray defective pixels), this double pixel is determined as a defective double pixel.
[0040]
It should be noted that the equation for obtaining the corrected output S in the above steps (0) to (6) also includes a case where no defective pixel is included (when n _B = 0 and all D _i = 0 in (1)). In this case, S = A.
[0041]
Furthermore, in the above, a method is adopted in which white defects (saturated defects) are handled as a special case of gray defects with the aim of unified processing as much as possible. Regardless of the so-called (narrowly defined) white defect that always outputs a saturation level, a process of dividing the case according to the number of defects can be adopted. If Shimese specific example (but when there is no black defect for simplicity), if the white defect of n _w pieces proceeds directly to step by höðr other steps (1 + n _w) This has the advantage that the level estimation calculation and determination processing can be omitted for white defective pixels in a narrow sense.
[0042]
Further, not only four pixels but also general N pixel addition can be processed in the same manner. If the step number of each stage (excluding step 0 and the final step) is m, step (m) ceremony,
(M) (A− (m−1) w−Σ [i = m toN] D _i ) / (N−m + 1−n _B ) ≦ w−Dm
When S = (A− (m−1) w−Σ [i = mtoN] D _i ) · N / (N−m + 1−nB)
Otherwise (m + 1)
And can be generalized.
[0043]
In the above, acquisition of defect information is not mentioned, but any known method can be used. For example, data stored in a memory in advance in the manufacturing process (including temperature and exposure time dependence) may be used with reference to the temperature and exposure time during use. Further, immediately before shooting, for example, data obtained by test imaging in a light-shielded state with a scheduled use exposure time may be used.
[0044]
In the above description, “black defective pixels (pixels whose signal output is substantially 0)” and “white defective pixels whose superimposition signal output is equal to the saturation level w” are described as necessarily requiring output 0 and output w, respectively. It goes without saying that the pixel may be approximately regarded as such a pixel.
[0045]
As described above, according to the present embodiment, in the method of obtaining one multi-pixel by four-pixel addition reading, when even one pixel includes an intermediate level gray defect pixel, the correction calculation based on the above formula is performed. By performing the above, defective pixels can be easily compensated. In this case, the correction for the defective multi-pixel is performed based on the information of the unit pixel in the same multi-pixel, not the adjacent multi-pixel information. For this reason, information on effective pixels can be used without waste, and resolution degradation can be suppressed while minimizing SN degradation. In addition, it can be realized only by calculating using a simple calculation formula without requiring a complicated hardware configuration such as giving a special switching operation to the sample hold circuit.
[0046]
In addition, this invention is not limited to embodiment mentioned above. Although the embodiment has been described with a monochrome image sensor, the present invention can be similarly applied to a color image sensor. In the case of color, the original addition is usually the same color addition processing, and additions other than adjacent addition are used depending on the coding pattern, but the same can be applied to the addition target multiple pixels. Further, the present invention is not limited to an electronic camera such as a digital still camera, and can be applied to a movie such as a video camera.
[0047]
In addition, pixel addition is not limited to internal addition, but external addition is also possible. For example, for horizontal addition, the adjacent two pixels may be added by digital calculation after reading a signal from the image sensor. In addition, various modifications can be made without departing from the scope of the present invention.
[0048]
【The invention's effect】
As described above in detail, according to the present invention, in an image pickup apparatus whose sensitivity is improved by pixel addition, information on effective pixels is used without waste even for a general intermediate level gray defect. It is possible to perform effective defect correction while minimizing the degradation and virtually causing no degradation of the resolution.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an electronic camera according to an embodiment of the present invention.
FIG. 2 is a plan view showing an element structure of a CCD image pickup element used in the embodiment.
FIG. 3 is a diagram showing a relationship between unit pixels and multiple pixels in the CCD image sensor used in the embodiment.
FIG. 4 is a timing chart showing an addition drive read operation used in the embodiment.
FIG. 5 is a view for explaining the principle of correction processing used in the embodiment;
FIG. 6 is a first flowchart showing a correction processing procedure used in the embodiment;
FIG. 7 is a second flowchart showing the procedure of correction processing used in the embodiment.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 101 ... Lens system 102 ... Lens drive mechanism 103 ... Exposure control mechanism 104 ... Filter system 105 ... CCD color image sensor 106 ... CCD driver 107 ... Pre-process part 108 ... Digital process part 109 ... Card interface 110 ... Memory card 111 ... LCD image Display system 112 ... System controller (CPU)
112a ... Pixel addition drive control unit 112b ... Pixel information correction unit 113 ... Operation switch system 114 ... Operation display system 115 ... Lens driver 116 ... Strobe 117 ... Exposure control driver 118 ... Non-volatile memory (EEPROM)
201: photodiode 202 ... vertical CCD
203 ... Horizontal CCD
204: Read amplifier

Claims

被写体像を撮像する撮像素子と、
前記撮像素子を駆動する駆動手段と、
前記駆動手段を用いて前記撮像素子の光電変換単位の画素である単位画素の画素情報を複数個加算しつつ読み出す加算読み出しが可能な読み出し手段と、
前記単位画素に関する画素欠陥情報であって、少なくとも欠陥単位画素のアドレス情報および所定レベルの重畳信号出力を有するグレイ欠陥単位画素に関する重畳信号レベル情報を含んでなる単位画素欠陥情報を記憶する記憶手段と、
前記加算読み出しによって読み出された加算後の画素である複画素の画素情報に対して、前記単位画素欠陥情報に基いて補正を施す画素情報補正手段と、
前記複画素の画素情報に基いて、前記複画素内の前記グレイ欠陥単位画素に関する飽和の発生の有無を判別する飽和判別手段とを具備し、
前記画素情報補正手段は、前記複画素のうちに前記グレイ欠陥単位画素が含まれている場合には、前記複画素の画素情報に対して、前記飽和判別手段の判別結果に基いて、前記グレイ欠陥単位画素のグレイ欠陥レベルおよび／または前記単位画素の飽和レベルに基いた補正を施すように構成されていることを特徴とする撮像装置。An image sensor for capturing a subject image;
Driving means for driving the image sensor;
Reading means capable of performing addition reading that adds a plurality of pieces of pixel information of unit pixels that are pixels of photoelectric conversion units of the image sensor using the driving means;
The I pixel defect information der about a unit pixel, a storage for storing the unit pixel defect information ing comprise superimposed signal level information about the gray defective unit pixel having a least defective unit pixel address information and the predetermined level superimposed signal output Means,
Pixel information correction means for correcting pixel information of a plurality of pixels, which are pixels after addition read out by the addition reading, based on the unit pixel defect information ;
Saturation determination means for determining presence or absence of occurrence of saturation with respect to the gray defect unit pixel in the multiple pixels based on pixel information of the multiple pixels ;
The pixel information correcting means, when said gray defective unit pixel is included, based on pixel information of the multi-pixel, based on a determination result of the saturation determining means within the multi-pixel, the gray An image pickup apparatus configured to perform correction based on a gray defect level of a defective unit pixel and / or a saturation level of the unit pixel.

前記画素情報補正手段は、前記複画素のうちに前記グレイ欠陥単位画素と信号出力がほぼ零の黒欠陥単位画素とが含まれている場合には、前記複画素の画素情報に対して、前記グレイ欠陥単位画素のグレイ欠陥レベルおよび／または前記単位画素の飽和レベルと、前記複画素の構成画素数及び黒欠陥画素数とに基づいた補正を施すように構成されていることを特徴とする請求項１記載の撮像装置。 When the gray defect unit pixel and the black defect unit pixel whose signal output is substantially zero are included in the multiple pixels, the pixel information correction unit is configured to calculate the pixel information of the multiple pixels with respect to the pixel information of the multiple pixels. The correction is performed based on a gray defect level of a gray defect unit pixel and / or a saturation level of the unit pixel, and the number of constituent pixels and the number of black defect pixels of the multiple pixels. Item 2. The imaging device according to Item 1.

前記飽和判別手段は、前記複画素に対する平均的露光入力を仮定することにより前記複画素内の単位画素に関する飽和の発生の有無を推定判別し、
前記画素情報補正手段は、前記飽和判別手段によるこの推定判別結果に基づいて、前記複画素の画素情報に対する補正を施すことを特徴とする請求項１記載の撮像装置。The saturation determination means estimates and determines whether saturation has occurred with respect to unit pixels in the multiple pixels by assuming an average exposure input for the multiple pixels,
The pixel information correcting means, the saturation determination means based on the estimation judgment result by the imaging apparatus according to claim 1, wherein applying a correction for pairs to pixel information of the multi-pixel.

前記画素情報補正手段は、前記複画素に前記単位画素に関する飽和の発生があった場合には、前記複画素の画素情報に対して、単位画素の飽和レベルおよび複画素の構成画素数および飽和発生画素数に基き、飽和画素に関する画素飽和レベル分および未飽和画素に関するグレイ欠陥レベルを減じた後に所定の係数を乗じる係数補正を施すように構成されていることを特徴とする請求項１記載の撮像装置。The pixel information correction means, when the multi-pixel has a saturation related to the unit pixel, with respect to the pixel information of the multi-pixel, the saturation level of the unit pixel, the number of constituent pixels of the multi-pixel and the saturation occurrence based on the number of pixels, the image pickup according to claim 1, characterized in that it is configured to perform the coefficient correction multiplying a predetermined coefficient after subtracting the gray defective level for pixel saturation level content and non-saturated pixels about a saturated pixel apparatus.

前記画素情報補正手段は、前記複画素の前記黒欠陥単位画素を除く構成単位画素すべてがグレイ欠陥画素であり、且つ存在するすべてのグレイ欠陥画素について飽和が発生したと前記飽和判別手段が判断した場合には、これを欠陥複画素と判定し、隣接する非欠陥複画素の情報をもって当該欠陥複画素の情報に充当するように構成されている請求項１記載の撮像装置。In the pixel information correction unit, the saturation determination unit determines that all the constituent unit pixels of the multi-pixel except the black defect unit pixel are gray defect pixels, and that all the gray defect pixels are saturated. 2. The imaging device according to claim 1 , wherein the imaging device is configured to determine that this is a defective multi-pixel and apply information on the adjacent non-defective multi-pixel to the information on the defective multi-pixel.