JP2009303020A - 撮像装置及び欠陥画素補正方法 - Google Patents

Abstract

【課題】欠陥画素を補正する際にかかる処理時間が長くなることを抑えることができる撮像装置及び欠陥画素補正方法を提供する。
【解決手段】複数の光電変換素子が複数の第１の光電変換素子と複数の第２の光電変換素子とから構成され、複数の第１の光電変換素子と複数の第２の光電変換素子とが同じ配列で、かつ、同じ色成分を検出する光電変換素子が互いに隣接するように配置され、第１の光電変換素子と第２の光電変換素子とのうちいずれか一方が欠陥画素である場合に、他方の光電変換素子のうち、欠陥画素に近接し、かつ、同じ色成分を検出する光電変換素子で検出された画素信号を取得し、該画素信号を欠陥画素の画素信号としてそのまま用いて、または、前記第１の光電変換素子と第２の光電変換素子の受光感度が異なる場合には該受光感度に応じた感度係数の乗算のみで、補正処理を行う。
【選択図】図３

Description

本発明は、デジタルカメラなどの撮像装置に備えられた撮像素子の欠陥画素を補正する撮像装置及び欠陥画素補正方法に関する。

デジタルカメラなどの撮像装置は、被写体を撮像素子上に結像させてその被写体を表す画像情報を取り込む撮影を行う。撮像素子としては、ＣＣＤ型撮像素子やＣＭＯＳ型撮像素子などが用いられている。撮像素子には、多数の画素が配列されており、当該撮像素子は半導体基板上に多数のフォトダイオード等の光電変換素子を形成することにより製造される。撮像素子を製造する際、半導体基板に不純物が混入する等の原因により画素信号の取り込みが不能な欠陥画素が発生する場合がある。

従来、撮像素子の欠陥画素を補正する方法としては、例えば下記特許文献に示すものがある。

特許文献１には、主画素と複画素の複合からなる画素が配列された撮像素子を備えたカメラが記載され、主画素が欠陥画素であって、その周囲の画素の信号レベルが所定の輝度レベル以上の輝度を表す信号レベルであったときは、副画素で得られた画素値に基づいて欠陥画素の画素値を求め、副画素の方が欠陥画素であり主画素の方が正常な画素である場合は、主画素で得られた画素値に基づいて欠陥画素の画素値を求めることが記載されている。主画素は相対的に面積が広く、入射光に対して感度の高い画素であり、副画素は、相対的に面積が狭く、入射光に対して感度の低い画素である。

特許文献２には、感度の異なる主画素と副画素とを有する複数の画素を備え、入射した被写体光を受光して電気信号に変換するＣＣＤ型撮像素子が記載されている。主画素と副画素とのうち一方が欠陥の場合には、他方の画素値を補正処理データの一部として用いて欠陥画素の画素値を補正する。

特開２００４−１２０５２５号公報 特開２００４−２４７９４６号公報

欠陥画素の補正を行う場合は、該欠陥画素の周囲の画素信号を用いて演算処理によって欠陥画素の画素値を算出するため、例え周囲の画素値の平均値で補正したとしても演算処理に時間を要してしまう。
また、感度が異なる画素同士で欠陥画素の補正を行う場合は、感度の差を考慮して補正を行ったうえで欠陥画素の画素値を算出するが、感度の差が大きいと補正を精度良く行なうことができない。

本発明は、上記事情に鑑みてなされたもので、その目的は、欠陥画素を補正する際にかかる処理時間が長くなることを抑えることができる撮像装置及び欠陥画素補正方法を提供することにある。

本発明の欠陥画素補正方法は、カラー画像データを生成するために必要な色成分の光を検出する複数の光電変換素子が設けられ、前記複数の光電変換素子が複数の第１の光電変換素子と複数の第２の光電変換素子とから構成され、前記複数の第１の光電変換素子と前記複数の第２の光電変換素子とが同じ配列で、かつ、同じ色成分を検出する光電変換素子が互いに隣接するように配置されている撮像素子の欠陥画素補正方法であって、前記第１の光電変換素子と前記第２の光電変換素子とのうちいずれか一方が欠陥画素である場合に、他方の光電変換素子のうち、前記欠陥画素に近接し、かつ、同じ色成分を検出する光電変換素子で検出された画素信号を取得し、該画素信号を前記欠陥画素の画素信号としてそのまま用いて、または、前記第１の光電変換素子と第２の光電変換素子の受光感度が異なる場合には該受光感度に応じた感度係数の乗算のみで、補正処理を行う。

本発明の欠陥画素補正方法は、前記欠陥画素に近接し、かつ、同じ色成分を検出する光電変換素子が欠陥である場合には、前記第１の光電変換素子又は前記第２の光電変換素子のうち前記欠陥画素が含まれている方の、該欠陥画素に最も近く、かつ、同じ色成分の光電変換素子から、画素信号を取得し、該画素信号に基づいて前記欠陥画素の画素信号を演算する。

本発明の欠陥画素補正方法は、前記第１の光電変換素子と前記第２の光電変換素子がそれぞれ正方格子状に行方向及び列方向に配列され、前記第１の光電変換素子と前記第２の光電変換素子が配列ピッチの約１／２だけ前記行方向及び前記列方向にずれた位置に配置されている。

本発明の欠陥画素補正方法は、前記第１の光電変換素子と前記第２の光電変換素子がそれぞれ行方向及び列方向に対して傾斜するように正方格子状に配列され、前記第１の光電変換素子の前記行方向及び前記列方向の間に各第２の光電変換素子が配置されている。

本発明の撮像装置は、カラー画像データを生成するために必要な色成分の光を検出する複数の光電変換素子が設けられ、前記複数の光電変換素子が複数の第１の光電変換素子と複数の第２の光電変換素子とから構成され、前記複数の第１の光電変換素子と前記複数の第２の光電変換素子とが同じ配列で、かつ、同じ色成分を検出する光電変換素子が互いに隣接するように配置されている撮像素子を備えた撮像装置であって、
前記第１の光電変換素子と前記第２の光電変換素子とのうちいずれか一方が欠陥画素である場合に、他方の光電変換素子のうち、前記欠陥画素に近接し、かつ、同じ色成分を検出する光電変換素子で検出された画素信号を取得し、該画素信号を前記欠陥画素の画素信号としてそのまま用いて、または、前記第１の光電変換素子と第２の光電変換素子の検出感度が異なる場合には該検出感度に応じた感度係数の乗算のみで、補正処理を行う欠陥画素補正手段を備える。

本発明によれば、欠陥画素に近接し、かつ、同じ色成分を検出する光電変換素子で検出された画素信号を取得し、該画素信号を前記欠陥画素の画素信号として用いるため、演算処理を行う必要がない。このため、欠陥画素を補正する際にかかる処理時間が長くなることを抑えることができる。

以下、本発明の実施形態を図面に基づいて詳しく説明する。

（第１実施形態）
図１は、本発明の欠陥画素補正方法を行う撮像装置の一例であるデジタルカメラの概略構成を示す図である。
デジタルカメラの撮像系は、撮影レンズ１と、ＣＣＤ型の固体撮像素子５と、この両者の間に設けられた絞り２と、赤外線カットフィルタ３と、光学ローパスフィルタ４とを備える。本実施形態ではＣＣＤ型の固体撮像素子５を用いた例を説明するが、本発明の欠陥画素補正方法で欠陥画素の補正が行われる撮像素子は、ＣＣＤ型の固体撮像素子５に限定されず、例えば、ＣＭＯＳ型の撮像素子に適用することができる。

デジタルカメラの電気制御系全体を統括制御するシステム制御部１１は、フラッシュ発光部１２及び受光部１３を制御し、レンズ駆動部８を制御して撮影レンズ１の位置をフォーカス位置に調整したりズーム調整を行ったりし、絞り駆動部９を介し絞り２の開口量を制御して露光量調整を行う。

システム制御部１１は、撮像素子駆動部１０を介して固体撮像素子５を駆動し、撮影レンズ１を通して撮像した被写体画像を色信号として出力させる。システム制御部１１には、操作部１４を通してユーザからの指示信号が入力される。

デジタルカメラの電気制御系は、更に、固体撮像素子５の出力に接続された相関二重サンプリング処理等のアナログ信号処理を行うアナログ信号処理部６と、このアナログ信号処理部６から出力されたＲＧＢの色信号をデジタル信号に変換するＡ／Ｄ変換回路７とを備え、これらはシステム制御部１１によって制御される。

デジタルカメラの電気制御系は、更に、メインメモリ１６と、メインメモリ１６に接続されたメモリ制御部１５と、黒レベル補正、補間演算やガンマ補正演算，ＲＧＢ／ＹＣ変換処理等を行って画像データを生成するデジタル信号処理部１７と、デジタル信号処理部１７で生成された画像データをＪＰＥＧ形式に圧縮したり圧縮画像データを伸張したりする圧縮伸張処理部１８と、測光データを積算しデジタル信号処理部１７が行うホワイトバランス補正のゲインを求める積算部１９と、着脱自在の記録媒体２１が接続される外部メモリ制御部２０と、カメラ背面等に搭載された液晶表示部２３が接続される表示制御部２２とを備え、これらは、制御バス２４及びデータバス２５によって相互に接続され、システム制御部１１からの指令によって制御される。

図２は、図１に示す固体撮像素子５の一構成例を示した平面模式図である。
固体撮像素子５は、半導体基板５０上の行方向Ｘとこれに直交する列方向Ｙとに正方格子状に配列された赤色（Ｒ）の波長域の光（Ｒ光）を検出する光電変換素子５１Ｒ（図中に“Ｒ”の文字を付してある）、緑色（Ｇ）の波長域の光（Ｇ光）を検出する光電変換素子５１Ｇ（図中に“Ｇ”の文字を付してある）、青色（Ｂ）の波長域の光（Ｂ光）を検出する光電変換素子５１Ｂ（図中に“Ｂ”の文字を付してある）からなる複数の第１の光電変換素子と、半導体基板５０上の行方向Ｘとこれに直交する列方向Ｙとに正方格子状に配列されたＲ光を検出する光電変換素子５１ｒ（図中に“ｒ”の文字を付してある）、Ｇ光を検出する光電変換素子５１ｇ（図中に“ｇ”の文字を付してある）、Ｂ光を検出する光電変換素子５１ｂ（図中に“ｂ”の文字を付してある）からなる複数の第２の光電変換素子とを備え、第１の光電変換素子と第２の光電変換素子とが、それぞれの光電変換素子配列ピッチの約１／２だけ、行方向Ｘ及び列方向Ｙにずれた位置に配置されている。

第１の光電変換素子と第２の光電変換素子の各光電変換素子は、同じ色成分を検出する光電変換素子同士が隣接するように配列されている。つまり、行方向Ｘ及び列方向Ｙの斜め方向に、光電変換素子５１Ｒは光電変換素子５１ｒと隣接し、光電変換素子５１Ｇは光電変換素子５１ｇと隣接し、光電変換素子５１Ｂは光電変換素子５１ｂと隣接する。

第１の光電変換素子の各光電変換素子の配列ピッチと第２の光電変換素子の各光電変換素子の配列ピッチとは同じである。光電変換素子は、例えばフォトダイオードで構成されている。

第１の光電変換素子の各光電変換素子の上方にはカラーフィルタが設けられており、このカラーフィルタの配列はベイヤー配列となっている。第２の光電変換素子の各光電変換素子の上方にも同様にカラーフィルタが設けられており、このカラーフィルタの配列もベイヤー配列となっている。

第１の光電変換素子の各光電変換素子の受光感度は、第２の光電変換素子の各光電変換素子の受光感度よりも高くなっている。光電変換素子の受光感度を変化させるには、第１の光電変換素子の各光電変換素子の受光面と第２の光電変換素子の各光電変換素子の受光面がそれぞれ異なる大きさの面積となるように構成してもよいし、光電変換素子上方に設けたマイクロレンズによって、集光面積を変化させてもよいし、光電変換素子の露光時間を変えてもよい。また、第１の光電変換素子の各光電変換素子の受光感度と、第２の光電変換素子の各光電変換素子の受光感度とは同じであってもよい。

第１の光電変換素子の各光電変換素子の配列は、列方向Ｙに並ぶ光電変換素子５１Ｇと光電変換素子５１Ｒとからなる光電変換素子列であるＧＲ光電変換素子列と、列方向Ｙに並ぶ光電変換素子５１Ｂと光電変換素子５１Ｇとからなる光電変換素子列であるＢＧ光電変換素子列とを、行方向Ｘに交互に配列したものである。また、第１の光電変換素子の各光電変換素子の配列は、行方向Ｘに並ぶ光電変換素子５１Ｇと光電変換素子５１Ｂとからなる光電変換素子行であるＧＢ光電変換素子行と、行方向Ｘに並ぶ光電変換素子５１Ｒと光電変換素子５１Ｇとからなる光電変換素子行であるＲＧ光電変換素子行とを、列方向Ｙに交互に配列したものでもある。

第２の光電変換素子の各光電変換素子の配列は、列方向Ｙに並ぶ光電変換素子５１ｇと光電変換素子５１ｒとからなる光電変換素子列であるｇｒ光電変換素子列と、列方向Ｙに並ぶ光電変換素子５１ｂと光電変換素子５１ｇとからなる光電変換素子列であるｂｇ光電変換素子列とを、行方向Ｘに交互に配列したものである。また、第２の光電変換素子の各光電変換素子の配列は、行方向Ｘに並ぶ光電変換素子５１ｇと光電変換素子５１ｂとからなる光電変換素子行であるｇｂ光電変換素子行と、行方向Ｘに並ぶ光電変換素子５１ｒと光電変換素子５１ｇとからなる光電変換素子行であるｒｇ光電変換素子行とを、列方向Ｙに交互に配列したものでもある。本実施形態では、光電変換素子５１Ｂと該光電変換素子５１Ｂの図２中右上の光電変換素子５１ｂとがペアとなり、光電変換素子５１Ｇと該光電変換素子５１Ｇの図２中右上の光電変換素子５１ｇとがペアとなり、光電変換素子５１Ｒと該光電変換素子５１Ｒの図２中右上の光電変換素子５１ｒとがペアとなる。

各光電変換素子列の右側部には、各光電変換素子列を構成する光電変換素子に蓄積された電荷を列方向Ｙに転送するための垂直電荷転送路５４（図２では一部のみ図示してある）が形成されている。垂直電荷転送路５４は、例えば、ｎ型シリコン基板上に形成されたｐウェル層内に注入されたｎ型不純物によって形成されている。

垂直電荷転送路５４上方には、垂直電荷転送路５４に読み出された電荷の転送を制御するための８相の転送パルスが撮像素子駆動部１０によって印加される転送電極Ｖ１〜Ｖ８が形成されている。

転送電極Ｖ１〜Ｖ８は、それぞれ、各光電変換素子行の間を、これらを構成する光電変換素子を避けるように行方向Ｘに蛇行して配設されている。ｇｂ光電変換素子行の上側部には、隣接する光電変換素子行との間に、該光電変換素子行側から順に転送電極Ｖ８と転送電極Ｖ１が配置されている。ｇｂ光電変換素子行の下側部には、隣接する光電変換素子行との間に、該ｇｂ光電変換素子行側から順に転送電極Ｖ２と転送電極Ｖ３が配置されている。ｒｇ光電変換素子行の上側部には、隣接する光電変換素子行との間に、該光電変換素子行側から順に転送電極Ｖ４と転送電極Ｖ５が配置されている。ｒｇ光電変換素子行の下側部には、隣接する光電変換素子行との間に、該ｒｇ光電変換素子行側から順に転送電極Ｖ６と転送電極Ｖ７が配置されている。

各光電変換素子と、それに対応する垂直電荷転送路５４との間には、各光電変換素子で発生した電荷を、該垂直電荷転送路５４に読み出すための電荷読出し部５５が設けられている。電荷読出し部５５は、例えば、ｎ型シリコン基板上に形成されたｐウェル層の一部分によって形成されている。電荷読出し部５５は、各光電変換素子に対して同一の方向（図中の斜め右下方向）に設けられている。

ｇｂ光電変換素子行の各光電変換素子に対応する電荷読出し部５５上方には転送電極Ｖ２が形成されており、ここに読み出しパルスを印加することで、ｇｂ光電変換素子行の各光電変換素子に蓄積されている電荷を、各光電変換素子の右側部にある垂直電荷転送路５４に読み出すことができる。

ＧＢ光電変換素子行の各光電変換素子に対応する電荷読出し部５５上方には転送電極Ｖ４が形成されており、ここに読み出しパルスを印加することで、ＧＢ光電変換素子行の各光電変換素子に蓄積されている電荷を、各光電変換素子の右側部にある垂直電荷転送路５４に読み出すことができる。

ｒｇ光電変換素子行の各光電変換素子に対応する電荷読出し部５５上方には転送電極Ｖ６が形成されており、ここに読み出しパルスを印加することで、ｒｇ光電変換素子行の各光電変換素子に蓄積されている電荷を、各光電変換素子の右側部にある垂直電荷転送路５４に読み出すことができる。

ＲＧ光電変換素子行の各光電変換素子に対応する電荷読出し部５５上方には転送電極Ｖ８が形成されており、ここに読み出しパルスを印加することで、ＲＧ光電変換素子行の各光電変換素子に蓄積されている電荷を、各光電変換素子の右側部にある垂直電荷転送路５４に読み出すことができる。

垂直電荷転送路５４には、垂直電荷転送路５４を転送されてきた電荷を行方向Ｘに転送するための水平電荷転送路５７が接続され、水平電荷転送路５７には、水平電荷転送路５７を転送されてきた電荷を電圧信号に変換して出力する出力アンプ５８が接続されている。

電荷読出し部５５上方の転送電極（Ｖ２，Ｖ４，Ｖ６，Ｖ８）には、それぞれ、垂直電荷転送路５４に電荷を蓄積するパケットを形成するためのミドルレベル（ＶＭ，例えば０Ｖ）の転送パルスＶＭと、垂直電荷転送路５４に該パケットのバリアを形成するためのＶＭよりもレベルの低いローレベル（ＶＬ，例えば−８Ｖ）の転送パルスＶＬと、各光電変換素子から垂直電荷転送路５４に電荷を読み出すためのパルスであってＶＭよりも高いレベル（ＶＨ，例えば１５Ｖ）の読み出しパルスとのいずれかが印加可能となっている。電荷読出し部５５上方の転送電極（Ｖ２，Ｖ４，Ｖ６，Ｖ８）以外の転送電極（Ｖ１，Ｖ３，Ｖ５，Ｖ７）には、ＶＬとＶＭとのいずれかの転送パルスが印加可能となっている。

本実施形態の固体撮像素子５は、第１の光電変換素子から得られる信号で第１画像情報を生成し、第２の光電変換素子から得られる信号で第２画像情報を生成する撮影モードを実行することができる。この撮影モードによれば、第１の光電変換素子と第２の光電変換素子の受光感度が異なるため、第１画像情報と第２画像情報を合成することでダイナミックレンジが広い画像を生成することができる。

次に、上記撮影モード時の固体撮像素子５の欠陥画素補正方法の手順を説明する。図３は、欠陥画素補正方法の手順を示すフローチャートである。
最初に撮影モードが設定されて撮影が行われ、この撮影による露光期間が終了すると、転送電極Ｖ４，Ｖ８に転送パルスＶＭが印加され、第１の光電変換素子の各光電変換素子に対応した電荷蓄積パケットが転送電極Ｖ４，Ｖ８下に形成される。この状態で、転送電極Ｖ４，Ｖ８にそれぞれ読み出しパルスが印加され、第１の光電変換素子の各光電変換素子で発生した電荷が、該各光電変換素子に対応して形成された電荷蓄積パケットに読み出される。次に、転送電極Ｖ１〜Ｖ８に所定パターンの転送パルスが印加され、電荷蓄積パケットに読み出された電荷が水平電荷転送路５７まで転送され、ここから出力部５８まで転送され、ここで信号に変換されて出力され、１フィールド目が終了する。１フィールド目で得られる信号を以下では第１画像情報とも言う。

次に、転送電極Ｖ２，Ｖ６にそれぞれ転送パルスＶＭが印加されて、第２の光電変換素子の各光電変換素子に対応した電荷蓄積パケットが転送電極Ｖ２，Ｖ６下に形成される。その後、転送電極Ｖ２，Ｖ６への読み出しパルスの印加は行われず、転送電極Ｖ１〜Ｖ８に、１フィールド目と同じ上記所定パターンの転送パルスが印加されて、該電荷蓄積パケットに存在する暗電流成分の電荷が１フィールド目の電荷と同じ転送パターンで水平電荷転送路５７まで転送され、ここから出力部５８まで転送され、ここで信号に変換されて出力され、２フィールド目が終了する。２フィールド目で得られる信号を以下では第２画像情報とも言う。

こうすることで、第１の光電変換素子で検出された第１画像情報と、第２の光電変換素子で検出された第２画像情報とを取得する（ステップＳ１１）。

１フィールド目と２フィールド目とで電荷蓄積パケットを同じ転送パターンで転送することで、第１画像情報と第２画像情報とをできるだけ同じ条件で得ることができる。

１フィールド目と２フィールド目でそれぞれ得られた画像情報は、デジタル変換された後、デジタル信号処理部１７に入力される。デジタル信号処理部１７は、１フィールド目で得られた第１画像情報に基づいて、第１の光電変換素子の欠陥画素の検出を行い、また、２フィールド目で得られた第２画像情報とに基づいて、第２の光電変換素子の欠陥画素の検出を行う（ステップＳ１２）。

次に、第１画像情報で検出された欠陥画素と、第２画像情報で検出された欠陥画素とを比較する処理を行う。図４から図６は、光電変換素子の配列の一部と、各光電変換素子で検出する光の色成分を示す模式図である。

図４は、第１の光電変換素子のＧ光を検出する光電変換素子が欠陥画素である場合を示す模式図である。
図４に示すように、斜線で示す光電変換素子が欠陥画素である場合には、該欠陥画素に隣接する、同じ色成分を検出する光電変換素子（図４において丸で囲ったｇ光を検出する光電変換素子）が欠陥であるか否かを判別する（ステップＳ１３）。そして、この隣接するｇ光を検出する光電変換素子が欠陥画素でないときには、該ｇ光を検出する光電変換素子で検出された画素信号を取得する（ステップＳ１５）。ここで、Ｇ光を検出する光電変換素子とｇ光を検出する光電変換素子は、図４中の右上方向から左下方向に交互に配列されているため、Ｇ光を検出する光電変換素子とペアとなる光電変換素子は、右上側及び左下側のいずれでもよく、一方が欠陥画素である場合には、反対側の画素をペアとなる光電変換素子の替わりとして用いてもよい。

図５は、第２の光電変換素子のｇ光を検出する光電変換素子が欠陥画素である場合を示す模式図である。
図５に示すように、斜線で示す光電変換素子が欠陥画素である場合には、該欠陥画素に隣接する、同じ色成分を検出する光電変換素子（図５において丸で囲ったＧ光を検出する光電変換素子）が欠陥であるか否かを判別する（ステップＳ１４）。そして、この隣接するＧ光を検出する光電変換素子が欠陥画素でないときには、該Ｇ光を検出する光電変換素子で検出された画素信号を取得する（ステップＳ１６）。

一方、図６に示すように、斜線で示すＧ光を検出する光電変換素子と該Ｇ光を検出する光電変換素子に隣接するｇ光を検出する光電変換素子がいずれも欠陥画素である場合には、該欠陥画素の周囲に配置された光電変換素子のうち、最も近くに位置し、同じＧ光を検出する光電変換素子（図６において丸で囲ったＧ光を検出する光電変換素子）の画素信号を取得する（ステップＳ１７）。なお、本実施形態では、Ｇ光又はｇ光を検出する光電変換素子が欠陥画素である場合を例に説明したが、Ｒ光又はｒ光を検出する光電変換素子が欠陥画素である場合やＢ光又はｂ光を検出する光電変換素子が欠陥画素である場合も同様に補正することができる。

その後、上記ステップＳ１５からＳ１７で取得した画素信号を使用して、該画素信号を欠陥画素の画素信号としてそのまま置き換えて用いることによって補正処理を行う（ステップＳ１８）。このとき、取得した画素信号を欠陥画素の画素信号としてそのまま使用するのみで、または、第１の光電変換素子と第２の光電変換素子の受光感度が異なる場合には該受光感度に応じた感度係数の乗算のみで、演算処理にかかる時間を削減することができる。第１の光電変換素子と第２の光電変換素子の受光感度が等しい場合には、感度係数の乗算が必要ないため、演算処理を全く必要としない。このように、欠陥画素に対してペアとなる正常な光電変換素子の画素信号をそのまま欠陥画素の画素信号と用いることで、補正処理にかかる演算処理を低減又は省略することができる。

デジタル信号処理部１７は、補正処理された第１画像情報と第２画像情報とを用いてカラー画像データを生成する。生成されたカラー画像データは圧縮された後、記録媒体２１に記録される。

本実施形態の補正方法によれば、第１の光電変換素子と第２の光電変換素子とで検出された画素信号に基づく第１画像情報及び第２画像情報とを比較することで、第１画像情報及び第２画像情報のうち一方の光電変換素子に欠陥画素がある場合に、該欠陥画素に隣接する他方の光電変換素子の画素信号を使用している。こうすれば、従来の補正方法のように欠陥画素の周囲の画素信号を用いて演算処理によって欠陥画素の画素値を算出する必要がない。

なお、本実施形態の固体撮像素子は、欠陥画素の補正処理を行わない場合には、第１の光電変換素子から得られる画像情報のみで画像データを生成する駆動と、第１の光電変換素子から得られる第１画像情報と第２の光電変換素子から得られる第２画像情報とで画像データを生成する場合の駆動とを、任意に切り替えることができる。

なお、上述したように第１の光電変換素子から得られる画像情報のみで画像データを生成する場合の駆動は、例えば動画撮影などの高速撮影モードにおいて実施するようにすればよい。

図２に示した構成において、第２の光電変換素子の各光電変換素子を、受光面上方に輝度フィルタを設けた光電変換素子に変更した構成としても、本発明を適用可能である。

輝度フィルタとは、光の輝度情報と相関のある分光特性を持ったフィルタである。この輝度フィルタは、ＮＤフィルタや、透明フィルタ、白色フィルタ、グレーのフィルタ等が該当するが、光電変換素子の受光面上方に何も設けずに光が直接該受光面に入射する構成も、輝度フィルタを設けたということができる。

（第２実施形態）
次に、本発明の第２実施形態を説明する。本実施形態では、撮像装置の構成は、上記第１実施形態と同じである。
図７は、本実施形態の撮像素子の光電変換素子の配列の一例を模式的に示す図である。図７に示すように、第１の光電変換素子と第２の光電変換素子がそれぞれ行方向Ｘ及び列方向Ｙに対して４５度傾斜するように正方格子状に配列され、第１の光電変換素子の行方向Ｘ及び列方向Ｙの間に各第２の光電変換素子が配置されている。また、各光電変換素子の上方に、行方向Ｘ及び列方向Ｙの斜め４５度方向にみたときの第１の光電変換素子の２×２の配列がＲＧＢのベイヤー配列となり、かつ、行方向Ｘ及び列方向Ｙの斜め４５度方向にみたときの第１の光電変換素子の２×２の配列がｒｇｂのベイヤー配列となるようにカラーフィルタが設けられている。

本実施形態では、光電変換素子５１Ｂと該光電変換素子５１Ｂの図７中下側に隣接する光電変換素子５１ｂとがペアとなり、光電変換素子５１Ｇと該光電変換素子５１Ｇの図７中下側に隣接する光電変換素子５１ｇとがペアとなり、光電変換素子５１Ｒと該光電変換素子５１Ｒの図７中下側に隣接する光電変換素子５１ｒとがペアとなる。

第１の光電変換素子と第２の光電変換素子の各光電変換素子は、同じ色成分を検出する光電変換素子同士が隣接するように配列されている。つまり、光電変換素子５１Ｒは光電変換素子５１ｒと列方向Ｙで隣接し、光電変換素子５１Ｇは光電変換素子５１ｇと列方向Ｙで隣接し、光電変換素子５１Ｂは光電変換素子５１ｂと列方向Ｙで隣接する。

図７に示すように光電変換素子が配列された撮像素子も、上記第１実施形態と同じ手順で欠陥画素を補正することができる。

図８は、図７の光電変換素子の配列において、欠陥画素と該欠陥画素に隣接する同じ色成分の光電変換素子とを示す模式図である。
図８に示すように、斜線で示す光電変換素子が欠陥画素である場合には、該欠陥画素に隣接するペアとなる光電変換素子（図８において丸で囲ったｇ光を検出する光電変換素子）が欠陥であるか否かを判別し、この隣接するｇ光を検出する光電変換素子が欠陥画素でないときには、該ｇ光を検出する光電変換素子で検出された画素信号を、欠陥画素の画素信号としてそのまま用いて、または、前記第１の光電変換素子と第２の光電変換素子の受光感度が異なる場合には該受光感度に応じた感度係数の乗算のみで、補正処理を行う。

図９は、図７の光電変換素子の配列において、欠陥画素と該欠陥画素に隣接する同じ色成分の光電変換素子とを示す模式図である。
図９に示すように、斜線で示す光電変換素子が欠陥画素である場合には、該欠陥画素に隣接するペアとなる光電変換素子（図９において丸で囲ったＧ光を検出する光電変換素子）が欠陥であるか否かを判別し、この隣接するＧ光を検出する光電変換素子が欠陥画素でないときには、該Ｇ光を検出する光電変換素子で検出された画素信号を、欠陥画素の画素信号として補正処理を行う。

一方、図１０に示すように、斜線で示すＧ光を検出する光電変換素子と該Ｇ光を検出する光電変換素子に隣接するｇ光を検出する光電変換素子がいずれも欠陥画素である場合には、該欠陥画素の周囲に配置された光電変換素子のうち、最も近くに位置し、同じＧ光を検出する光電変換素子（図１０において丸で囲ったＧ光を検出する光電変換素子）の画素信号を用いて欠陥画素を補正する。本実施形態では、Ｇ光又はｇ光を検出する光電変換素子が欠陥画素である場合を例に説明したが、Ｒ光又はｒ光を検出する光電変換素子が欠陥画素である場合やＢ光又はｂ光を検出する光電変換素子が欠陥画素である場合も同様に補正することができる。

本発明の欠陥画素補正方法を行う撮像装置の一例であるデジタルカメラの概略構成を示す図である。 図１に示す固体撮像素子５の一構成例を示した平面模式図である。 欠陥画素補正方法の手順を示すフローチャートである。 第１の光電変換素子のＧ光を検出する光電変換素子が欠陥画素である場合を示す模式図である。 第２の光電変換素子のｇ光を検出する光電変換素子が欠陥画素である場合を示す模式図である。 Ｇ光を検出する光電変換素子と該Ｇ光を検出する光電変換素子に隣接するｇ光を検出する光電変換素子がいずれも欠陥画素である場合を示す模式図である。 光電変換素子の配列の他の例を模式的に示す図である。 図７の光電変換素子の配列において、欠陥画素と該欠陥画素に隣接する同じ色成分の光電変換素子とを示す模式図である。 図７の光電変換素子の配列において、欠陥画素と該欠陥画素に隣接する同じ色成分の光電変換素子とを示す模式図である。 Ｇ光を検出する光電変換素子と該Ｇ光を検出する光電変換素子に隣接するｇ光を検出する光電変換素子がいずれも欠陥画素である場合を示す模式図である。

符号の説明

５ 撮像素子
５１Ｒ，５１Ｇ，５１Ｂ 第１の光電変換素子
５１ｒ，５１ｇ，５１ｂ 第２の光電変換素子

Claims (5)

1. カラー画像データを生成するために必要な色成分の光を検出する複数の光電変換素子が設けられ、前記複数の光電変換素子が複数の第１の光電変換素子と複数の第２の光電変換素子とから構成され、前記複数の第１の光電変換素子と前記複数の第２の光電変換素子とが同じ配列で、かつ、同じ色成分を検出する光電変換素子が互いに隣接するように配置されている撮像素子の欠陥画素補正方法であって、
   前記第１の光電変換素子と前記第２の光電変換素子とのうちいずれか一方が欠陥画素である場合に、他方の光電変換素子のうち、前記欠陥画素に近接し、かつ、同じ色成分を検出する光電変換素子で検出された画素信号を取得し、該画素信号を前記欠陥画素の画素信号としてそのまま用いて、または、前記第１の光電変換素子と第２の光電変換素子の受光感度が異なる場合には該受光感度に応じた感度係数の乗算のみで、補正処理を行う欠陥画素補正方法。
2. 前記欠陥画素に近接し、かつ、同じ色成分を検出する光電変換素子が欠陥である場合には、前記第１の光電変換素子又は前記第２の光電変換素子のうち前記欠陥画素が含まれている方の、該欠陥画素に最も近く、かつ、同じ色成分の光電変換素子から、画素信号を取得し、該画素信号に基づいて前記欠陥画素の画素信号を演算する請求項１に記載の欠陥画素補正方法。
3. 前記第１の光電変換素子と前記第２の光電変換素子がそれぞれ正方格子状に行方向及び列方向に配列され、前記第１の光電変換素子と前記第２の光電変換素子が配列ピッチの約１／２だけ前記行方向及び前記列方向にずれた位置に配置されている請求項１又は２に記載の欠陥画素補正方法。
4. 前記第１の光電変換素子と前記第２の光電変換素子がそれぞれ行方向及び列方向に対して傾斜するように正方格子状に配列され、前記第１の光電変換素子の前記行方向及び前記列方向の間に各第２の光電変換素子が配置されている請求項１又は２に記載の欠陥画素補正方法。
5. カラー画像データを生成するために必要な色成分の光を検出する複数の光電変換素子が設けられ、前記複数の光電変換素子が複数の第１の光電変換素子と複数の第２の光電変換素子とから構成され、前記複数の第１の光電変換素子と前記複数の第２の光電変換素子とが同じ配列で、かつ、同じ色成分を検出する光電変換素子が互いに隣接するように配置されている撮像素子を備えた撮像装置であって、
   前記第１の光電変換素子と前記第２の光電変換素子とのうちいずれか一方が欠陥画素である場合に、他方の光電変換素子のうち、前記欠陥画素に近接し、かつ、同じ色成分を検出する光電変換素子で検出された画素信号を取得し、該画素信号を前記欠陥画素の画素信号としてそのまま用いて補正処理を行う欠陥画素補正手段を備えた撮像装置。

Images