本発明の実施形態について、図面を参照して説明する。
なお、説明は、下記の順序で行う。
1.実施形態1(固体撮像素子を素子移動部が移動させる場合)
2.実施形態2(周辺の隣接画素のデータを用いて欠陥画素データを補正する場合)
3.実施形態3(欠陥画素の位置のある画素データをゲインアップ後、欠陥補正する場合)
4.実施形態4(固体撮像素子を素子移動部が移動させず、手ブレで移動する場合)
5.その他
<1.実施形態1>
(1)装置構成
(1−1)撮像装置の全体構成
図1は、本発明の実施形態1において、デジタルカメラ400の要部構成を模式的に示す構成図である。
図1に示すように、デジタルカメラ400は、カメラ本体部410と、撮影レンズ部420とを含む。
カメラ本体部410は、図1に示すように、固体撮像素子1と、制御部43と、信号処理部44と、素子移動部45とを有し、これらの各部を筐体の内部に収容している。
カメラ本体部410において、固体撮像素子1は、撮影レンズ部420の光軸に対して撮像面PSが垂直になるように配置されている。固体撮像素子1は、撮影レンズ部420を介して被写体像として入射する入射光Hを、撮像面PSで受光し光電変換することによって、信号電荷を生成する。固体撮像素子1は、制御部43から出力される制御信号に基づいて駆動し、各画素から信号電荷を読み出して画素データとして出力する。固体撮像素子1の詳細な構成については後述する。
カメラ本体部410において、制御部43は、たとえば、操作部(図示なし)に入力された操作データに基づいて、各種の制御信号を固体撮像素子1と信号処理部44と素子移動部45とに出力し、各部を駆動させる。制御部43は、CPUなどの演算処理装置(図示なし)と、RAM,ROMなどの記憶装置(図示なし)とを含み、記録装置で記憶されたプログラムを演算処理装置が用いて、各部の制御を実施する。
カメラ本体部410において、信号処理部44は、制御部43から出力された制御信号に基づいて、固体撮像素子1から出力された画素データについて信号処理を実施する。信号処理部44は、記録装置(図示なし)で記憶されたプログラムを演算処理装置(図示なし)が用いて、信号処理を実施する。信号処理部44は、記録装置(図示なし)が記憶した画素データによるRAW画像について、演算処理装置(図示なし)がデモザイク処理などの現像処理を実施する。これにより、被写体像についてデジタルカラー画像を撮像画像として生成し、そのカラー画像データを記録装置(図示なし)が記憶する。
カメラ本体部410において、素子移動部45は、制御部43から出力された制御信号に基づいて、固体撮像素子1を移動させる。ここでは、素子移動部45は、固体撮像素子1の撮像面PS(xy面)に沿った方向に固体撮像素子1を移動させる。たとえば、素子移動部45は、圧電素子やコイルを用いた素子などのアクチュエータを含み、水平方向xと垂直方向yとのそれぞれに、固体撮像素子1を移動させる。たとえば、素子移動部45は、固体撮像素子1の撮像面PSに設置されたローパスフィルタ(図示なし)の表面に付着するダストを落とすために、カメラの電源がオフされるときに固体撮像素子1を振動させる。つまり、アンチダスト機能を発揮させるために、素子移動部45が設けられている。
撮影レンズ部420は、結像レンズや絞り(図示なし)などの光学部材を含み、入射する被写体像による光を、固体撮像素子1の撮像面PSへ集光するように設けられている。
詳細については後述するが、本実施形態において撮像画像を生成する際には、デジタルカメラ400は、まず、制御部43が固体撮像素子1を制御することによって、被写体について1回目の撮像を実施する。そして、その1回目の撮像の実施で得た第1画像のデータを信号処理部44の記録装置(図示なし)が記憶する。
つぎに、制御部43が素子移動部45を制御することによって、固体撮像素子1を移動する。つまり、本実施形態では、アンチダスト機能を発揮させるために素子移動部45を用いる以外に、第2の撮像前に固体撮像素子1を移動させる手段として素子移動部45を用いる。
つぎに、制御部43が固体撮像素子1を制御することによって、1回目の撮像が実施した位置と異なる位置で、その被写体について2回目の撮像を実施する。そして、その2回目の撮像を実施で得た第2画像のデータを信号処理部44の記録装置(図示なし)が記憶する。
このように、2回、シャッターを切って、同一の被写体について連続的に撮影し、2枚の画像を得る。
つぎに、制御部43が信号処理部44を制御することによって、1回目の撮像による第1画像と、2回目の撮像による第2画像とを、信号処理部44が加算する処理を実施する。これにより、固体撮像素子1において欠陥画素として存在する画素Pから得られた画素データが補正され、最終画像が生成される。
(1−2)固体撮像素子の構成
デジタルカメラ400を構成する各部の詳細について説明する。
図2は、本発明の実施形態1において、固体撮像素子1の全体構成を示す上面図である。
本実施形態の固体撮像素子1は、たとえば、CMOS型イメージセンサであり、図2に示すように、半導体基板101を含む。この半導体基板101は、たとえば、単結晶シリコンで形成されており、図2に示すように、半導体基板101においては、画素領域PAと、周辺領域SAとが設けられている。
(a)画素領域PA
画素領域PAは、図2に示すように、矩形形状であり、複数の画素Pが水平方向xと垂直方向yとのそれぞれに、配置されている。つまり、画素領域PAには、画素Pがマトリクス状に並んでいる。
画素領域PAにおいて、画素Pは、入射光Hを受光して信号電荷を生成するように構成されている。そして、その生成した信号電荷が、画素トランジスタ(図示なし)によって読み出されて出力される。画素Pの詳細な構成については、後述する。
本実施形態では、画素領域PAは、有効画素領域PA1と、オプティカル・ブラック領域PA2とを含む。
画素領域PAにおいて、有効画素領域PA1は、画素Pが、いわゆる有効画素として配置されている。つまり、有効画素領域PA1では、画素Pの上方が開口しており、上方から入射した入射光Hを画素Pが受光する。
この有効画素領域PA1では、実効画素領域PA11が設定されており、その実効画素領域PA11に配置された有効画素から出力される信号を画素データとして用いて、撮像画像が生成される。具体的には、有効画素領域PA1の周辺部分以外が、実効画素領域PA11として設定される。つまり、有効画素領域PA1において実効画素領域PA11以外の有効画素は、入射光の受光によって映像信号を出力可能ではあるが、通常、撮像画像の生成に用いられない。
画素領域PAにおいて、オプティカル・ブラック領域PA2は、図2に示すように、たとえば、有効画素領域PA1の周囲に設けられている。
オプティカル・ブラック領域PA2では、画素Pが、いわゆるオプティカル・ブラック(OB)画素として配列されている。つまり、オプティカル・ブラック領域PA2では、画素Pの上方に遮光膜(図示なし)が設けられており、画素Pに入射光が直接的に入射しないように構成されている。そして、オプティカル・ブラック領域PA2は、画素Pから黒レベルの基準信号が出力される。この画素Pから出力される黒レベルの基準信号は、暗電流などのノイズ成分を除去するように、有効画素から出力された信号について補正処理をする際に用いられる。
(b)周辺領域SA
周辺領域SAは、図2に示すように、画素領域PAの周囲に位置している。そして、この周辺領域SAにおいては、周辺回路が設けられている。
具体的には、図2に示すように、垂直駆動回路13と、カラム回路14と、水平駆動回路15と、外部出力回路17と、タイミングジェネレータ(TG)18と、シャッター駆動回路19とが、周辺回路として設けられている。各部は、制御部43(図1参照)から入力される制御信号に基づいて駆動し、撮像動作が実行される。
垂直駆動回路13は、図2に示すように、周辺領域SAにおいて、画素領域PAの側部に設けられており、画素領域PAの画素Pを行単位で選択して駆動させるように構成されている。
カラム回路14は、図2に示すように、周辺領域SAにおいて、画素領域PAの下端部に設けられており、列単位で画素Pから出力される信号について信号処理を実施する。ここでは、カラム回路14は、CDS(Correlated Double Sampling;相関二重サンプリング)回路(図示なし)を含み、固定パターンノイズを除去する信号処理を実施する。
水平駆動回路15は、図2に示すように、カラム回路14に電気的に接続されている。水平駆動回路15は、たとえば、シフトレジスタを含み、カラム回路14において画素Pの列ごとに保持されている信号を、順次、外部出力回路17へ出力させる。
外部出力回路17は、図2に示すように、カラム回路14に電気的に接続されており、カラム回路14から出力された信号について信号処理を実施後、外部へ出力する。外部出力回路17は、AGC(Automatic Gain Control)回路17aとADC回路17bとを含む。外部出力回路17においては、AGC回路17aが信号にゲインをかけた後に、ADC回路17bがアナログ信号からデジタル信号へ変換して、外部へ出力する。
タイミングジェネレータ18は、図2に示すように、垂直駆動回路13、カラム回路14、水平駆動回路15,外部出力回路17,シャッター駆動回路19のそれぞれに電気的に接続されている。タイミングジェネレータ18は、各種のタイミング信号を生成し、垂直駆動回路13、カラム回路14、水平駆動回路15,外部出力回路17,シャッター駆動回路19に出力することで、各部について駆動制御を行う。
シャッター駆動回路19は、画素Pを行単位で選択して、画素Pにおける露光時間を調整するように構成されている。
(1−3)画素の構成
画素Pの詳細な構成について説明する。
図3〜図5は、本発明の実施形態1において、画素Pの要部を示す図である。
ここで、図3は、画素領域PAの有効画素領域PA1に設けられた画素Pの断面を示している。つまり、図3では、有効画素として設けられた画素Pの断面を示している。
そして、図4は、画素Pの回路図を示している。
そして、図5は、画素Pの上面を示している。図3では、図5に示すY1−Y2部分およびX1−X2部分の断面について示している。
画素領域PAのオプティカル・ブラック領域PA2の詳細については、図示を省略しているが、オプティカル・ブラック領域PA2では、図3,図4で示す有効画素領域PA1の画素Pに対して、カラーフィルタCF,オンチップレンズMLが設けられていない。オプティカル・ブラック領域PA2では、上述したように、画素Pに入射する入射光Hを遮光する遮光膜(図示なし)が設けられている。この点を除いて、オプティカル・ブラック領域PA2では、有効画素領域PA1と同様に、各部が構成されている。
各図に示すように、画素Pは、フォトダイオード21と、画素トランジスタTrとを含む。ここで、画素トランジスタTrは、転送トランジスタ22と、増幅トランジスタ23と、選択トランジスタ24と、リセットトランジスタ25とを含み、フォトダイオード21から信号電荷を読み出すように構成されている。
本実施形態においては、図3に示すように、半導体基板101の表面側(図では上面側)に、転送トランジスタ22などの画素トランジスタTrが設けられている。そして、その半導体基板101の表面側には、配線層111が設けられている。そして、その表面側とは反対側の裏面側(図では下面側)から入射する入射光Hを、フォトダイオード21が受光面JSで受光するように設けられている。つまり、本実施形態の固体撮像素子1は、「裏面照射型」のCMOSイメージセンサである。
画素Pを構成する各部について下記に示す。
(a)フォトダイオード21
画素Pにおいて、フォトダイオード21は、図3に示すように、入射光Hを受光面JSで受光し、光電変換することによって、信号電荷を生成して蓄積するように構成されている。
ここでは、フォトダイオード21は、単結晶シリコン半導体である半導体基板101内に設けられている。フォトダイオード21は、n型電荷蓄積領域101na,101nbを含み、n型電荷蓄積領域101na,101nbが、半導体基板101のp型半導体領域101pa,101pb内に設けられている。つまり、p型半導体領域101paとn型電荷蓄積領域101na,101nbとが、半導体基板101において裏面側(図3では、下面)から表面側(図3では、上面)へ向かって、順次、形成されている。また、n型電荷蓄積領域101na,101nbにおいては、半導体基板101の裏面側から表面側へ向かって、不純物濃度が高くなるように形成されている。そして、n型電荷蓄積領域101na,101nbにおいて、半導体基板101の表面側には、p型半導体領域101pa,101pbよりも不純物濃度が高いp型半導体領域101pcが、正孔蓄積層として設けられている。このように、フォトダイオード21は、いわゆるHAD(Hall Acumulated Diode)構造で形成されている。
(b)画素トランジスタTr
画素Pにおいて、画素トランジスタTrは、図3〜図5に示すように、転送トランジスタ22と、増幅トランジスタ23と、選択トランジスタ24と、リセットトランジスタ25とを含み、信号電荷を読み出して信号として出力する。
ここでは、画素トランジスタTrを構成する各トランジスタ22〜25は、図3に示すように、半導体基板101の表面側に設けられている。各トランジスタ22〜25は、たとえば、NチャネルのMOSトランジスタとして構成されている。たとえば、各トランジスタ22〜25は、半導体基板101において画素Pの間を分離する領域に、活性化領域(図示なし)が形成されており、ゲート電極が、たとえば、ポリシリコンを用いて形成されている。
画素トランジスタTrにおいて、転送トランジスタ22は、図4に示すように、フォトダイオード21で生成された信号電荷を、増幅トランジスタ23のゲートへ電気信号として出力するように構成されている。具体的には、転送トランジスタ22は、転送線26からゲートに転送信号TGが与えられることによって、フォトダイオード21において蓄積された信号電荷を、フローティング・ディフュージョンFDに転送する。フローティング・ディフュージョンFDにおいては、電荷から電圧に変換されて、増幅トランジスタ23のゲートへ電気信号として入力される。
画素トランジスタTrにおいて、増幅トランジスタ23は、図4に示すように、フローティング・ディフュージョンFDにおいて、電荷から電圧へ変換された電気信号を増幅して出力するように構成されている。具体的には、増幅トランジスタ23では、ゲートが、フローティング・ディフュージョンFDと配線によって電気的に接続されている。また、増幅トランジスタ23では、ドレインに電源電位Vddが印加されている。また、ソースが選択トランジスタ24のドレインに電気的に接続されている。増幅トランジスタ23は、選択トランジスタ24が選択信号によってオン状態になったときには、定電流が供給されソースフォロアとして動作する。このため、増幅トランジスタ23では、フローティング・ディフュージョンFDにおいて、電荷から電圧へ変換された電気信号が増幅される。
画素トランジスタTrにおいて、選択トランジスタ24は、図4に示すように、選択トランジスタ24は、選択信号が入力された際に、増幅トランジスタ23から出力された電気信号を、垂直信号線(図示なし)へ出力するように構成されている。具体的には、選択トランジスタ24は、選択信号SELが供給されるアドレス線28にゲートが電気的に接続されている。そして、選択トランジスタ24は、選択信号SELが供給されてオン状態になった際に、上記のように増幅トランジスタ23によって増幅された出力信号を、垂直信号線27に出力する。
画素トランジスタTrにおいて、リセットトランジスタ25は、図4に示すように、リセットトランジスタ25は、増幅トランジスタ23のゲート電位をリセットするように構成されている。具体的には、リセットトランジスタ25は、リセット信号RSTが供給されるリセット線29にゲートが接続されている。また、リセットトランジスタ25は、ドレインに電源電位Vddが印加されている。また、ソースがフローティング・ディフュージョンFDに電気的に接続されている。そして、リセットトランジスタ25は、リセット線29からリセット信号RSTがゲートに供給されオン状態になった際に、フローティング・ディフュージョンFDを介して、増幅トランジスタ23のゲート電位を、電源電圧VDDにリセットする。
(c)その他の部材
上記の他に、図3に示すように、画素Pにおいては、半導体基板101の裏面側(図3では下面側)に、カラーフィルタCFとオンチップレンズMLとが設けられている。
図6は、本発明の実施形態1において、カラーフィルタCFを示す上面図である。
カラーフィルタCFは、図6に示すように、レッドフィルタ層CFRと、グリーンフィルタ層CFGと、ブルーフィルタ層CFBとを含む。レッドフィルタ層CFRと、グリーンフィルタ層CFGと、ブルーフィルタ層CFBとのそれぞれは、隣接して配置されており、いずれかが、複数の画素Pのそれぞれに対応して設けられている。
ここでは、図6に示すように、レッドフィルタ層CFRと、グリーンフィルタ層CFGと、ブルーフィルタ層CFBとのそれぞれが、ベイヤー配列で並ぶように配置されている。すなわち、複数のグリーンフィルタ層CFGが市松状になるように、対角方向へ並んで配置されている。そして、レッドフィルタ層CFRとブルーフィルタ層CFBとが、複数のグリーンフィルタ層CFGにおいて、対角方向に並ぶように配置されている。たとえば、カラーフィルタCFは、着色顔料とフォトレジスト樹脂とを含む塗布液を、スピンコート法などのコーティング方法によって塗布して塗膜を形成後、リソグラフィ技術によって、その塗膜をパターン加工して形成される。
オンチップレンズMLは、図3に示すように、中心が縁よりも厚く形成された凸型レンズであり、カラーフィルタCFを介して、入射光Hをフォトダイオード21の受光面JSへ集光するように構成されている。たとえば、オンチップレンズMLは、スチレン樹脂、アクリル樹脂、ノボラック樹脂などの透明な有機材料を用いて形成されている。この他に、SiO2,SiN,SiON,SiCNなどのように透明な無機材料を用いて形成しても良い。
また、図3に示すように、半導体基板101の表面においては、画素トランジスタTrを被覆するように、配線層111が設けられている。この配線層111においては、各素子に電気的に接続された複数の配線111hが、絶縁層111z内を構成する複数の層間絶縁膜(図示なし)の間に設けられている。つまり、層間絶縁膜(図示なし)と配線111hとを交互に積み重ねることで、配線層111が形成されている。各配線111hは、画素トランジスタTrに電気的に接続する転送線,アドレス線,垂直信号線,リセット線などの配線として機能するように積層して形成されている。また、配線層111において半導体基板101が設けられた面とは反対側の面には、支持基板(図示なし)が貼り合わされており、補強されている。
(2)動作
上記のデジタルカメラ400の動作について説明する。
図7は、本発明の実施形態1において、デジタルカメラ400の動作の概要を示すフロー図である。
(a)1回目の撮像(ST11)
撮像画像を生成する際には、まず、図7に示すように、1回目の撮像を実施する。
ここでは、デジタルカメラ400においては、制御部43が固体撮像素子1に制御信号を送信し、固体撮像素子1の動作を制御して、被写体について1回目の撮像を実施する。そして、その1回目の撮像を実施で得た第1画像のデータを信号処理部44の記録装置(図示なし)が記憶する(図1参照)。
つまり、固体撮像素子1が第1の位置にある状態で、被写体について、この第1の撮像を実施することで、第1画像を取得する。
図8は、本発明の実施形態1において、デジタルカメラ400において撮像を実施する際に、画素Pの画素トランジスタTrへ送信する制御信号を示すタイミングチャートである。
図8において、(a)は、選択トランジスタ24のゲートへ入力する選択信号SELを示している。そして、(b)は、転送トランジスタ22のゲートへ入力する転送信号TGを示している。そして、(c)は、リセットトランジスタ25のゲートへ入力するリセット信号RSTを示している(図4参照)。
図8に示すように、撮像を実施する際には、第1の時点T1において、ハイレベルの選択信号SELおよびリセット信号RSTを送信し、選択トランジスタ24およびリセットトランジスタ25をオン状態にする。これにより、増幅トランジスタ23のゲート電位をリセットする(図4参照)。
そして、図8に示すように、第2の時点T2においては、リセット信号RSTをローレベルとして、リセットトランジスタ25をオフ状態にする。そして、この後、リセットレベルに対応した電圧を、出力信号として、カラム回路14へ読み出す(図2,図4参照)。
そして、図8に示すように、第3の時点T3においては、ハイレベルの転送信号TGを送信し、転送トランジスタ22をオン状態にする。これにより、フォトダイオード21で蓄積された信号電荷を、フローティング・ディフュージョンFDへ転送する(図4参照)。
そして、図8に示すように、第4の時点T4においては、転送信号TGをローレベルとし、転送トランジスタ22をオフ状態にする。そして、この後、その転送された信号電荷の量に応じた信号レベルの電圧を、出力信号として、カラム回路14へ読み出す(図2,図4参照)。
そして、図8に示すように、第5の時点T5においては、転送信号TGおよびリセット信号RSTをハイレベルとして、転送トランジスタ22およびリセットトランジスタ25をオン状態にする(図4参照)。
その後、図8に示すように、第6の時点T6においては、選択信号SEL、転送信号TG、および、リセット信号RSTをローレベルとして、選択トランジスタ24、転送トランジスタ22、および、リセットトランジスタ25をオフ状態にする(図4参照)。
カラム回路14においては、先に読み出したリセットレベルの信号と、後に読み出した信号レベルの信号とを差分処理して信号を蓄積する(図2,図4参照)。これにより、画素Pごとに設けられた各トランジスタのVthのバラツキ等によって発生する固定的なパターンノイズが、キャンセルされる。
上記のように画素Pを駆動する動作は、各トランジスタ22,24,25の各ゲートが、水平方向xに並ぶ複数の画素Pからなる行単位で接続されていることから、その行単位に並ぶ複数の画素Pについて同時に行われる。
具体的には、上述した垂直駆動回路13によって供給される選択信号によって、水平ライン(画素行)単位で垂直な方向に順次選択される。そして、タイミングジェネレータ18から出力される各種タイミング信号によって各画素Pのトランジスタが制御される。これにより、各画素における信号が垂直信号線27を通して画素Pの列毎にカラム回路14に読み出される(図2,図4参照)。
そして、カラム回路14で蓄積された信号が、水平駆動回路15によって選択されて、外部出力回路17へ順次出力される。そして、この撮像で得た信号を第1画像のデータとして信号処理部44の記録装置(図示なし)が記憶する(図2参照)。
(b)固体撮像素子の移動(ST21)
つぎに、図7に示すように、固体撮像素子1を移動する。
ここでは、制御部43が素子移動部45に制御信号を送信して制御することで、素子移動部45が固体撮像素子1を移動する。
図9,図10は、本発明の実施形態1において、撮像時における固体撮像素子1を示す上面図である。
図9,図10においては、図2の上面図において有効画素領域PA1の部分を示しており、説明の都合で、水平方向xと垂直方向yとのそれぞれに6つの画素Pが実効画素領域PA11に含まれると仮定した場合を示している。
ここで、図9は、1回目の撮像が実施された際の固体撮像素子1を示しており、図10は、2回目の撮像が実施された際の固体撮像素子1を示している。また、図10では、1回目の撮像が実施された際の固体撮像素子1について、破線で示している。
図9,図10に示すように、画素Pは、水平方向xと垂直方向yとのそれぞれに複数が配列されている。画素Pは、赤色画素Rと緑色画素Gと青色画素Bとを含む。赤色画素Rは、レッドフィルタ層CFR(図6参照)を介して入射する赤色の波長帯域の光を受光して、赤色画素信号を出力する。緑色画素Gは、グリーンフィルタ層CFG(図6参照)を介して入射する緑色の波長帯域の光を受光して、緑色画素信号を出力する。青色画素Bは、ブルーフィルタ層CFB(図6参照)を介して入射する青色の波長帯域の光を受光して青色画素信号を出力する。
赤色画素Rと緑色画素Gと青色画素Bとのそれぞれは、図9,図10に示すように、ベイヤー配列で配列されている。すなわち、緑色画素Gが市松状になるように、対角方向へ並んで配置されている。そして、赤色画素Rと青色画素Bとが、複数の緑色画素Gにおいて、対角方向に並ぶように配置されている。
このとき、図9,図10において太線で囲って示しているように、複数の画素Pのうち、たとえば、一つの青色画素Bが欠陥画素KPとして形成される場合がある。
このような固体撮像素子1を用いて撮像を実施する際には、まず、図9に示すように、固体撮像素子1が、第1の位置PJ1に配置された状態で、1回目の撮像を実施する。
具体的には、図9に示すように、水平方向xにおける座標番号が[1]〜[6]の間であって、垂直方向yにおける座標番号が[1]〜[6]に位置するように、実効画素領域PA11内の画素Pが配置された状態で、1回目の撮像を実施する。たとえば、実効画素領域PA11において左上端部に位置する緑色画素Gが、水平方向xにおける座標番号が[1]であって、垂直方向yにおける座標番号が[1]に位置するように配置された状態で、1回目の撮像を実施する。
このとき、欠陥画素KPは、図9に示すように、水平方向xにおける座標番号が[4]であって、垂直方向yにおける座標番号が[3]に位置するように配置された状態になる(つまり、[x,y]=[4,3])。
1回目の撮像の実施後には、図10に示すように、固体撮像素子1を第1の位置PJ1(破線部分)から第2の位置PJ2へ移動する。
ここでは、図10に示すように、1回目の撮像において欠陥画素KPが配置された座標位置([x,y]=[4,3])に、欠陥画素KPが配置されておらず、欠陥がない画素Pが配置された状態になるように、固体撮像素子1を移動する。
このとき、図10に示すように、1回目の撮像において欠陥画素KPが配置された座標位置([x,y]=[4,3])において、その欠陥画素KPが受光する光と同一の波長帯域の光を受光する画素Pが配置された状態になるように、固体撮像素子1を移動する。つまり、第2の撮像において固体撮像素子1を第2の位置に移動したときの赤色画素Rの位置が、第1の撮像において固体撮像素子1が第1の位置にあるときに赤色画素Rが配置された位置にあるように、固体撮像素子を移動する。また、第2の撮像において固体撮像素子1を第2の位置に移動したときの緑色画素Gの位置が、第1の撮像において固体撮像素子1が第1の位置にあるときに緑色画素Gが配置された位置にあるように、固体撮像素子を移動する。また、第2の撮像において固体撮像素子1を第2の位置に移動したときの青色画素Bの位置が、第1の撮像において固体撮像素子1が第1の位置にあるときに青色画素Bが配置された位置にあるように、固体撮像素子を移動する。
さらに、図10に示すように、1回目の撮像において有効画素領域PA1が配置された座標範囲内に、2回目の撮像の実効画素領域PA11が配置されるように、固体撮像素子1を移動する。つまり、固体撮像素子1が第1の位置にあるときに有効画素領域PA1が配置された座標範囲内に、固体撮像素子1が第2の位置にあるときの実効画素領域PA11が配置されるように、素子移動部45が固体撮像素子1を移動する。
具体的には、有効画素領域PA1(図2参照)において欠陥画素KPが存在する座標位置を記憶装置(図示なし)に座標データとして記憶させておき、その座標データに基づいて、上記の状態になるように、固体撮像素子1を移動させる。たとえば、固体撮像素子1の製造において各画素Pについて検査を実施して検出した欠陥画素KPの位置情報を用いて、固体撮像素子1を移動させる。
たとえば、図10に示すように、水平方向xと垂直方向yとのそれぞれへ2つの画素P分、移動するように、固体撮像素子1の配置を変更する。
すなわち、図10に示すように、水平方向xにおける座標番号が[3]〜[8]の間であって、垂直方向yにおける座標番号が[3]〜[8]に位置するように、実効画素領域PA11内の画素Pが配置された状態にする。たとえば、実効画素領域PA11において左上端部に位置する緑色画素Gが、水平方向xにおける座標番号が[3]であって、垂直方向yにおける座標番号が[3]に位置するように配置された状態にする。
このとき、欠陥画素KPは、図10に示すように、水平方向xにおける座標番号が[6]であって、垂直方向yにおける座標番号が[5]に位置するように配置された状態になる。
一方で、1回目の撮像において欠陥画素KPが配置された座標位置([x,y]=[4,3])(破線部分)には、欠陥画素KPが配置されておらず、欠陥がない青色画素Bが配置された状態になる。
(c)2回目の撮像(ST31)
つぎに、図7に示すように、2回目の撮像を実施する。
ここでは、制御部43が固体撮像素子1に制御信号を送信して制御することによって、1回目の撮像が実施した位置と異なる位置で、その被写体像について2回目の撮像を実施する。そして、この2回目の撮像を実施で得た第2画像のデータを信号処理部44の記録装置(図示なし)が記憶する(図1参照)。
すなわち、図10に示すように、固体撮像素子1が第1の位置PJ1とは異なる第2の位置PJ2にある状態で、第1の撮像と同じ被写体について第2の撮像を実施することで第2画像を取得する。
2回目の撮像についても、1回目の撮像と同様に、図8に示したように、画素Pの画素トランジスタTrへ制御信号を送信することで、第2画像のデータが生成される。そして、そのデータが信号処理部44の記録装置(図示なし)で記憶される。
たとえば、1/1000s〜30minの露光時間で、1回目の撮像と2回目の撮像とが連続的に実施される。なお、この露光時間は、これに限定されず、適宜設定可能である。
(d)欠陥補正演算処理の実施(ST41)
つぎに、図7に示すように、欠陥補正演算処理について実施する。
ここでは、制御部43が信号処理部44に制御信号を送信して制御することによって、欠陥補正演算処理について実施する。
具体的には、1回目の撮像による第1画像と、2回目の撮像による第2画像とについて被写体に対して互いに同じ位置になるように位置合わせをした状態にする。そして、その位置合わせをした状態で、その第1画像と第2画像とについて画素ごとにデータ(信号)を加算する。これにより、固体撮像素子1において欠陥画素として存在する画素Pから出力された欠陥データを補正する欠陥補正処理を実施し、撮像画像を生成する。
図11,図12は、本発明の実施形態1において、欠陥補正演算処理を示す図である。
図11において、(a)は、1回目の撮像による第1画像RD1を示しており、(b)は、2回目の撮像による第2画像RD2を示している。図12において、(c)は、1回目の撮像による第1画像RD1と、2回目の撮像による第2画像RD2とを加算する加算処理を示しており、(d)は、その加算処理によって得られた第3画像RD3を示している。図11,図12では、画素Pの配列で各画像を示すと共に、説明の都合で、被写体である三角形状の物体500の位置を重ねて示している。
1回目の撮像は、図9に示したように実効画素領域PA11が配置された状態で実施される。このため、図11(a)に示すように、1回目の撮像では、この実効画素領域PA11に含まれる赤色画素Rと緑色画素Gと青色画素Bとのそれぞれから、赤色画素信号と緑色画素信号と青色画素信号とが出力されて、第1画像RD1が得られる。つまり、水平方向xにおける座標番号が[1]〜[6]であって、垂直方向yにおける座標番号が[1]〜[6]に位置する各画素Pから画素データが出力されて、第1画像RD1がロー(RAW)画像データとして得られる。
このとき、図11(a)に示すように、欠陥画素KPは、水平方向xの座標番号が[4]であって、垂直方向yの座標番号が[3]に位置しているので、この欠陥画素KPからは、欠陥画素データKD1が得られる。たとえば、欠陥画素KPからは、信号強度が低い信号が、欠陥画素データKD1として出力される。
上記の1回目の撮像は、図11(a)に示すように、たとえば、被写体である三角形状の物体500が、固体撮像素子1において欠陥画素KPの下方に位置した状態で実施される。
これに対して、2回目の撮像は、図10に示したように実効画素領域PA11が1回目の撮像とは異なった位置に配置された状態で実施される。そして、この状態で、図11(b)に示すように、この実効画素領域PA11に含まれる赤色画素Rと緑色画素Gと青色画素Bとのそれぞれから、赤色画素信号と緑色画素信号と青色画素信号とが出力され、第2画像RD2が得られる。つまり、水平方向xにおける座標番号が[3]〜[8]であって、垂直方向yにおける座標番号が[3]〜[8]に位置する各画素Pから画素データが出力されて、第2画像RD2がロー(RAW)画像データとして得られる。
このとき、図11(b)に示すように、欠陥画素KPは、水平方向xの座標番号が[6]であって、垂直方向yの座標番号が[5]に位置しているので、この欠陥画素KPからは、欠陥画素データKD2が得られる。たとえば、欠陥画素KPからは、信号強度が低い信号が、欠陥画素データKD2として出力される。
一方で、2回目の撮像では、1回目の撮像において欠陥画素データKD1を出力する座標位置([x,y]=[4,3])(破線部分)には、欠陥画素KPが配置されていないので、この座標位置の画素Pからは、欠陥画素データが出力されない。
上記の2回目の撮像は、図11(b)に示すように、1回目の撮像と同じ位置にある三角形状の物体500を被写体として実施される。しかし、上記したように、2回目の撮像は、固体撮像素子1が、その三角形状の物体500に対して移動されているので、固体撮像素子1を基準にすると、欠陥画素KPの左側に三角形状の物体500が位置した状態で実施される。
そして、図12(c)に示すように、1回目の撮像による第1画像RD1と2回目の撮像による第2画像RD2とを加算する加算処理を実施する。
ここでは、1回目の撮像による第1画像RD1と2回目の撮像による第2画像RD2とについて、撮像の際の座標位置が各画素Pにおいて同じになるように位置合わせをする。つまり、第1画像RD1と第2画像RD2とが、被写体である三角形状の物体500に対して互いに同じ位置になるように、位置合わせされた状態にする。この位置合わせをした状態では、第1画像RD1における三角形状の物体500の部分と、第2画像RD2における三角形状の物体500の部分とがオーバーラップされた状態になる。そして、その位置合わせをした状態において、第1画像RD1のデータと第2画像RD2のデータとを、画素Pごとに加算する。
たとえば、2回目の撮像の際の実効画素領域PA11において左上端部に位置する緑色画素Gは、水平方向xの座標番号が[3]であって、垂直方向yの座標番号が[3]に位置しており、緑色画素信号を出力する。この緑色画素信号については、1回目の撮像において、これと同じ座標位置に配置された緑色画素Gから出力された緑色画素信号と加算する。
また、1回目の撮像では、図12(a)に示すように、欠陥画素データKD1は、水平方向xの座標番号が[4]であって、垂直方向yの座標番号が[3]に位置する欠陥画素KPから青色信号として出力されている。この欠陥画素データKD1については、2回目の撮像において、これと同じ座標位置に配置された青色画素Bから出力された青色画素信号と加算する。このため、欠陥画素データKD1については、実際に撮像された画素データによって補正される。
また、2回目の撮像では、図12(a)に示すように、欠陥画素データKD2は、水平方向xの座標番号が[6]であって、垂直方向yの座標番号が[5]に位置する欠陥画素KPから青色信号として出力されている。この欠陥画素データKD2については、1回目の撮像において、これと同じ座標位置に配置された青色画素Bから出力された青色画素信号と加算する。このため、欠陥画素データKD2については、実際に撮像された画素データによって補正される。
上記のように加算処理を実施することによって、図11(d)に示すように、欠陥補正がされた第3画像RD3が得られる。
たとえば、図11(d)に示すように、1回目の撮像において実効画素領域PA11として設定された座標範囲について、第3画像RD3を得る。
この第3画像RD3では、図11(d)に示すように、1回目の撮像による第1画像RD1と2回目の撮像による第2画像RD2とがオーバーラップした領域OLについては、第1画像RD1と第2画像RD2との両者が加算された値になる。
このため、図11(d)に示すように、第3画像RD3において1回目の撮像で欠陥画素データKD1が出力された座標位置については、上記の加算処理によって補正された補正画素データKH1が得られる。同様に、第3画像RD3において2回目の撮像で欠陥画素データKD2が出力された座標位置については、上記の加算処理によって補正された補正画素データKH2が得られる。
なお、1回目の撮像による第1画像RD1と2回目の撮像による第2画像RD2とがオーバーラップした領域OLに関しては、加算処理と共に、画素Pごとに平均化処理さしても良い。つまり、オーバーラップした領域OLについては、第1画像RD1と第2画像RD2の画素Pごとの平均値を求めて、第3画像RD3を得ても良い。
(e)画像(最終画像)の生成(ST51)
つぎに、図7に示すように、画像(最終画像)を生成する。
ここでは、制御部43が信号処理部44に制御信号を送信して制御することによって、信号処理部44が、上記のように補正されたロー(RAW)画像データとして得た第3画像RD3から、デジタルカラー画像を最終画像として生成する。
たとえば、上記のように得た第3画像RD3についてデモザイク処理などの現像処理を実施することで、デジタルカラー画像を撮像画像として生成する。そして、その最終画像のデータを記録装置(図示なし)で記憶する。
(f)欠陥画素KPが複数連続的に存在する場合
上記のデジタルカメラ400において、複数の欠陥画素KPが連続的に存在する場合について説明する。
図13,図14は、本発明の実施形態1において、撮像時における固体撮像素子1を示す上面図である。
図13,図14は、図9,図10と同様に、図2の上面図において有効画素領域PA1の部分を示しており、説明の都合で、水平方向xと垂直方向yとのそれぞれに6つの画素Pが実効画素領域PA11に含まれると仮定した場合を示している。
ここで、図13は、図9と同様に、1回目の撮像が実施された際の固体撮像素子1を示しており、図14は、2回目の撮像が実施された際の固体撮像素子1を示している。また、図14では、1回目の撮像が実施された際の固体撮像素子1について、破線で示している。
図13,図14において太線で囲って示しているように、複数の画素Pにおいては、複数の欠陥画素KPが連続的に存在する場合がある。たとえば、水平方向xに連続して並ぶ赤色画素R,緑色画素G,赤色画素Rが、欠陥画素KPとして存在すると共に、垂直方向yに連続して並ぶ青色画素B,緑色画素G,青色画素Bが、欠陥画素KPとして存在する場合がある。
この固体撮像素子1を用いて撮像を実施する際には、まず、図13に示すように、図9の場合と同様に、固体撮像素子1が、第1の位置PJ1に配置された状態で、1回目の撮像を実施する(図7のST11)。
このとき、複数の欠陥画素KPは、図13において太線で示した座標位置に配置された状態になる。
1回目の撮像の実施後には、図14に示すように、固体撮像素子1を第1の位置PJ1(破線部分)から第2の位置PJ2へ移動する(図7のST21)。
ここでは、上記の場合と同様に、1回目の撮像において欠陥画素KPが配置された座標位置に、欠陥画素KPが配置されておらず、欠陥がない画素Pが配置された状態になるように、固体撮像素子1を移動する。また、1回目の撮像において欠陥画素KPが配置された座標位置において、その欠陥画素KPが受光する光と同一の波長帯域の光を受光する画素Pが配置された状態になるように、固体撮像素子1を移動する。さらに、1回目の撮像において有効画素領域PA1が配置された座標範囲内に、2回目の撮像の実効画素領域PA11が配置されるように、固体撮像素子1を移動する。
たとえば、図14に示すように、右方向と下方向とのそれぞれにおいて、2つの画素P分、実効画素領域PA11が移動するように、固体撮像素子1の配置を変更する。
これにより、1回目の撮像において欠陥画素KPが配置された座標位置(破線部分)には、欠陥画素KPが配置されておらず、欠陥がない画素Pが配置された状態になる。
そして、この位置で、上記の場合と同様にして、2回目の撮像を実施する(図7のST31)。
つぎに、上記の場合と同様に、欠陥補正演算処理について実施する(図7のST41)。
図15,図16は、本発明の実施形態1において、欠陥補正演算処理を示す図である。
図15において、(a)は、1回目の撮像による第1画像RD1を示しており、(b)は、2回目の撮像による第2画像RD2を示している。図16において、(c)は、1回目の撮像による第1画像RD1と、2回目の撮像による第2画像RD2とを加算する加算処理を示しており、(d)は、その加算処理によって補正された第3画像RD3を示している。
1回目の撮像は、図13に示したように実効画素領域PA11が配置された状態で実施される。このため、欠陥画素KPは、図15(a)において太線で示した座標位置に存在しており、その欠陥画素KPからは、欠陥画素データKD1が得られる。
これに対して、2回目の撮像は、図14に示したように実効画素領域PA11が1回目の撮像とは異なった位置に配置された状態で実施される。このため、欠陥画素KPは、図15(b)において太線で示した座標位置に存在しており、その欠陥画素KPからは、欠陥画素データKD2が得られる。
2回目の撮像では、1回目の撮像において欠陥画素データKD1を出力する座標位置(破線部分)には、欠陥画素KPが配置されていないので、この座標位置の画素Pからは、欠陥画素データが出力されない。
そして、図16(c)に示すように、1回目の撮像による第1画像RD1と2回目の撮像による第2画像RD2とを加算する加算処理を実施する。
ここでは、上記と同様に、1回目の撮像による第1画像RD1と2回目の撮像による第2画像RD2とについて、撮像の際の座標位置が同じになるように位置合わせをして加算する。
そして、この加算処理を実施することによって、図16(d)に示すように、第3画像RD3が得られる。たとえば、1回目の撮像において実効画素領域PA11として設定された座標範囲について、第3画像RD3を得る。
ここでは、図16(d)に示すように、第1画像RD1と第2画像RD2とがオーバーラップした領域OLについては、第1画像RD1と第2画像RD2との各画素のデータが加算された値になる。
このため、図16(d)に示すように、第3画像RD3において1回目の撮像で欠陥画素データKD1が出力された座標位置については、上記の加算処理によって補正された補正画素データKH1が得られる。同様に、第3画像RD3において2回目の撮像で欠陥画素データKD2が出力された座標位置については、上記の加算処理によって補正された補正画素データKH2が得られる。
その後、上記のようにロー(RAW)画像として得た第3画像RD3についてデモザイク処理などの現像処理を実施することで、デジタルカラー画像を撮像画像として生成する(図7のST51)。そして、その最終画像のデータを記録装置(図示なし)で記憶する。
(3)まとめ
以上のように、本実施形態では、固体撮像素子1は、被写体を撮像する画素Pが撮像面PSに複数設けられている(図1,図2,図9などを参照)。信号処理部44は、この固体撮像素子1から出力された信号について信号処理を実施する(図1参照)。この他に、固体撮像素子1を移動する素子移動部45を有する(図1参照)。
ここでは、固体撮像素子1は、その被写体について第1画像RD1を取得するように、第1の位置PJ1で第1の撮像を実施する(図7,図9,図11などを参照)。これと共に、固体撮像素子1は、撮像面PSにおいて複数の画素Pに含まれる欠陥画素KPが第1の位置PJ1とは異なる第2の位置PJ2で、その被写体について第2画像RD2を取得するように、第2の撮像を実施する(図7,図10,図11などを参照)。本実施形態では、第1の撮像の実施後であって第2の撮像の実施前に、固体撮像素子1において欠陥画素KPが位置する位置情報に基づいて、素子移動部45が固体撮像素子1を第1の位置から第2の位置へ移動する(図1参照)。この後、信号処理部44は、その第1画像RD1と第2画像RD2とについて、被写体に対して互いに同じ位置になるように位置合わせをした状態で、第1画像RD1と第2画像RD2とについて画素Pごとに信号を加算する。これにより、欠陥画素KPによる欠陥画素データKD1,KD2を補正する欠陥補正処理を実施して、第3画像RD3を生成する(図7,図12などを参照)。そして、補正された第3画像RD3から最終画像を生成する。
このように、本実施形態は、固体撮像素子で被写体を撮像した後に、その被写体に対して固体撮像素子を移動させた状態で、更に、その被写体について撮像する。そして、一方の画像における欠陥画素の画素値を、他方の画像において欠陥画素以外の正常な画素の画素値を用いて補正する。
よって、撮像画像において解像度が低下する等の不具合の発生を抑制できる。特に、夜空の星を撮影する場合において、星による高輝度部分が低輝度になることを防止できるので、画像品質を向上できる。その他、複数の画像を加算しているので、ランダムノイズについても低減が可能である。
したがって、本実施形態では、撮像画像の画像品質が低下することを防止できる。また、欠陥画素に起因して、撮像素子を不良チップとして廃棄することを抑制可能であるので、製品歩留まりの低下を防止できる。
なお、上記においては、デモザイク処理などの現像処理を実施する前に、欠陥画素による欠陥画素データを補正する場合について示したが、これに限定されない。たとえば、デモザイク処理などの現像処理を実施した後に、上記と同様にして、欠陥画素による欠陥画素データを補正してもよい。
また、上記においては、2回の撮像で得た2枚の画像のデータを用いて、1枚の最終画像を生成する場合について説明したが、これに限定されない。3回以上の撮像で得た3枚以上の画像のデータを用いて、上記のように、1枚の最終画像を生成してもよい。
また、固体撮像素子1の製造において各画素Pについて検査を実施して予め検出した欠陥画素KPの位置情報を用いて、固体撮像素子1を移動させる場合について説明したが、これに限定されない。たとえば、撮像時にリアルタイムで欠陥画素KPの位置情報を取得し、その位置情報を用いて、固体撮像素子1を移動させてもよい。
<2.実施形態2>
(1)動作
図17は、本発明の実施形態2において、欠陥補正演算処理を示す図である。
図17において、(a)は、第3画像RD3について、さらに補正する補正処理を示しており、(b)は、その補正処理によって補正された第4画像RD4を示している。
本実施形態においては、図17に示すように、図11,図12に示した欠陥補正演算処理(図7のST41)の他に、さらに欠陥補正演算処理を実施する。この点、および、これに関連する点を除き、本実施形態は、実施形態1と同様である。このため、重複する部分については、記載を省略する。
本実施形態においては、図17(a)に示すように、第3画像RD3において、1回目の撮像で欠陥画素KPから出力され、上記のように補正された補正画素データKH1を更に補正する。また、これと共に、第3画像RD3において、2回目の撮像で欠陥画素KPから出力され、上記のように補正された補正画素データKH2を更に補正する。
ここでは、欠陥画素KPが受光する光と同一の波長帯域の光を受光する画素Pのうち、その欠陥画素KPの隣りに位置する画素Pから得られた隣接画素データAPを用いて、上記において得られた補正画素データKH1,KH2を更に補正する。
具体的には、複数の撮像において欠陥画素KPから出力されて補正された補正画素データKH1,KH2と、その欠陥画素KPに対して水平方向xと垂直方向yに隣接する隣接画素RPから得た各隣接画素データAPとを加算平均処理する。
たとえば、第1回目の撮像で欠陥画素KPから出力されて補正された補正画素データKH1については、その欠陥画素KPに対して上下方向と左右方向で隣接する他の青色画素Bが位置する部分のデータを用いる。
第2回目の撮像で欠陥画素KPから出力されて補正された補正画素データKH2については、たとえば、その欠陥画素KPに対して上方向と左方向で隣接する他の青色画素Bが位置する部分のデータを用いる。
これにより、図17(b)に示すように、欠陥画素KPの部分のデータが、補正画素データKH11,KH21として更に補正されたものが、第4画像RD4として得られる。
そして、この第4画像RD4についてデモザイク処理などの現像処理を実施することで、デジタルカラー画像を撮像画像として生成する(図7のST51)。そして、そのカラー画像データを記録装置(図示なし)で記憶する。
(2)まとめ
以上のように、本実施形態では、実施形態1と同様に、欠陥画素KPによる欠陥画素データKD1,KD2を補正する欠陥補正処理を実施して、第3画像RD3を生成する。その後、その補正された補正画素データKH2を更に補正する。
ここでは、信号処理部44が、第3画像RD3において欠陥画素に隣接する他の画素による画素データを用いて、その補正画素データKH11,KH21について補正する。
したがって、本実施形態では、欠陥画素に起因して、撮像画像の画像品質が低下することを防止できる。また、欠陥画素に起因して、撮像素子を不良チップとして廃棄することを抑制可能であるので、製品歩留まりの低下を防止できる。
<3.実施形態3>
(1)動作
図18は、本発明の実施形態3において、デジタルカメラ400の動作の概要を示すフロー図である。
本実施形態においては、図18に示すように、さらに、ゲインアップ処理を実施する(ST32)。この点、および、これに関連する点を除き、本実施形態は、実施形態1と同様である。このため、重複する部分については、記載を省略する。
本実施形態では、図18に示すように、1回目の撮像(ST11),固体撮像素子の移動(ST21),2回目の撮像(ST31)を、順次、実施する。ここでは、実施形態1の場合と同様にして、1回目の撮像(ST11),固体撮像素子の移動(ST21),2回目の撮像(ST31)のそれぞれを実施する。
その後、図18に示すように、ゲインアップ処理を実施する(ST32)。
図19は、本発明の実施形態3において、ゲインアップ処理を示す図である。
図19は、図11と同様であり、(a)は、1回目の撮像による第1画像RD1を示しており、(b)は、2回目の撮像による第2画像RD2を示している。
ここでは、図19(a)において破線で示すように、1回目の撮像による第1画像RD1のうち、2回目の撮像で欠陥画素KPが配置される座標位置([x,y]=[5,6])(図10参照)の画素データKD1aについて、ゲインアップ処理を実施する。
具体的には、2回目の撮像において欠陥画素KPが配置される座標位置([x,y]=[5,6])の画素データKD1aに対してゲインアップをするように、その画素値と、予め定めた係数Cとを積算する処理を実施する。これにより、この座標位置の画素データKD1aの画素値が、本処理の実施前よりも高い値になる。
これと共に、図19(b)において破線で示すように、2回目の撮像による第2画像RD2のうち、1回目の撮像で欠陥画素KPが配置される座標位置([x,y]=[3,4])(図9参照)の画素データKD2aについて、ゲインアップ処理を実施する。
具体的には、1回目の撮像において欠陥画素KPが配置される座標位置([x,y]=[3,4])の画素データKD2aに対してゲインアップをするように、その画素値と、予め定めた係数と積算する処理を実施する。これにより、この座標位置の画素データKD2aの画素値が、本処理の実施前よりも高い値になる。
ここでは、たとえば、元の画素値に対して、1.001〜2倍の画素値がなるように、上記のゲインアップ処理を実施する(2枚の足しあわせの場合)。
そして、図18に示すように、ゲインアップ処理の実施(ST32)後には、実施形態1の場合と同様に、欠陥補正演算処理が実施される(ST41)。
図20は、本発明の実施形態3において、欠陥補正演算処理を示す図である。
図20は、図12と同様であり、(a)は、1回目の撮像による第1画像RD1と、2回目の撮像による第2画像RD2とを加算する加算処理を示しており、(b)は、その加算処理によって得られた第3画像RD3を示している。
欠陥補正演算処理の実施においては、まず、図20(a)に示すように、1回目の撮像による第1画像RD1と2回目の撮像による第2画像RD2とを加算する加算処理を実施する。
ここでは、実施形態1の場合と同様に、第1画像RD1と第2画像RD2とについて、撮像の際の座標位置が同じになるように位置合わせをして加算する。
1回目の撮像では、図20(a)に示すように、欠陥画素データKD1は、水平方向xの座標番号が[4]であって、垂直方向yの座標番号が[3]に位置する欠陥画素KPから青色信号として出力されている。この欠陥画素データKD1については、2回目の撮像において、これと同じ座標位置の青色画素Bから出力された画素データKD2a(図19(b)参照)についてゲインアップ処理がされた後の画素データGD2aと加算する。このように、欠陥画素データKD1は、同じ座標位置で実際に撮像された画素データを用いて補正される。
また、2回目の撮像では、図20(a)に示すように、欠陥画素データKD2は、水平方向xの座標番号が[6]であって、垂直方向yの座標番号が[5]に位置する欠陥画素KPから青色信号として出力されている。この欠陥画素データKD2については、1回目の撮像において、これと同じ座標位置の青色画素Bから出力された画素データKD1a(図19(a)参照)についてゲインアップ処理がされた後の画素データGD1aと加算する。このため、欠陥画素データKD2については、同じ座標位置で実際に撮像された画素データを用いて補正される。
上記のように加算処理を実施することによって、図20(b)に示すように、第3画像RD3が得られる。
たとえば、図20(d)に示すように、実施形態1の場合と同様に、1回目の撮像において実効画素領域PA11として設定された座標範囲について、第3画像RD3を得る。
なお、1回目の撮像による第1画像RD1と2回目の撮像による第2画像RD2とがオーバーラップした領域OLについては、加算処理と共に、画素Pごとに平均化処理さしても良い。つまり、オーバーラップした領域OLについては、2つの画像RD1,RD2の画素Pごとの平均値を画素データとして、第3画像RD3を得ても良い。
この後、図19に示すように、実施形態1の場合と同様に、第3画像RD3を用いて最終画像を生成する。
(2)まとめ
以上のように、本実施形態では、実施形態1と同様に、欠陥画素KPによる欠陥画素データKD1,KD2を補正する欠陥補正処理を実施して、第3画像RD3を生成する。その後、その補正された補正画素データKH2を更に補正する。
ここでは、上記の欠陥補正処理の実施前に、第1画像RD1の複数の画素のうち、第2画像RD2において欠陥画素が位置する部分の画素の信号を信号処理部44がゲインアップする。これと共に、第2画像RD2の複数の画素のうち、第1画像RD1において欠陥画素が位置する部分の画素の信号をゲインアップする。そして、このゲインアップ処理の実施後に、上記の欠陥補正処理を実施する。
したがって、本実施形態では、欠陥画素に起因して、撮像画像の画像品質が低下することを防止できる。また、欠陥画素に起因して、撮像素子を不良チップとして廃棄することを抑制可能であるので、製品歩留まりの低下を防止できる。
なお、実施形態2で示した欠陥補正演算処理を、本実施形態において、さらに実施しても良い。
<4.実施形態4>
(1)動作
図21は、本発明の実施形態4において、デジタルカメラ400の動作の概要を示すフロー図である。
本実施形態においては、図21に示すように、固体撮像素子の移動動作(ST21)(図7参照)を実施しない。本実施形態では、図21に示すように、固体撮像素子の移動情報の取得(ST33)を実施する(ST33)。このように、本実施形態では、デジタルカメラ400の動作が、実施形態1と異なる。この点、および、これに関連する点を除き、本実施形態は、実施形態1と同様である。このため、重複する部分については、記載を省略する。
(a)1回目の撮像(ST11)
撮像画像を生成する際には、まず、図21に示すように、1回目の撮像を実施する。
ここでは、実施形態1の場合と同様に、この1回目の撮像を実施する。
(b)2回目の撮像(ST31)
つぎに、図21に示すように、2回目の撮像を実施する。
ここでは、実施形態1では実施した固体撮像素子の移動動作(ST21)(図7参照)について実施しない。すなわち、制御部43は、固体撮像素子1を移動させるための制御信号を、素子移動部45に送信しない。
しかし、デジタルカメラ400を操作する操作者の手ブレによって、1回目の撮像が実施された位置と異なる位置で、その被写体像について2回目の撮像が実施される。たとえば、操作者の手ブレによって、固体撮像素子1が1回目の撮像の位置に対して、数μm〜数百μmの距離が離れた位置で2回目の撮像が実施される。
(c)固体撮像素子の移動情報の取得(ST41)
つぎに、図21に示すように、固体撮像素子の移動情報の取得を実施する。
ここでは、制御部43が信号処理部44に制御信号を送信して制御することによって、1回目の撮像による第1画像と、2回目の撮像による第2画像とから、固体撮像素子1の移動情報の取得を実施する。
具体的には、1回目の撮像で得られる第1画像中の特定部分が位置する座標情報と、2回目の撮像で得られる第2画像中において上記と同じ特定部分が位置する座標情報との間の変位データを信号処理部44が算出する。この変位データが、固体撮像素子の移動情報として取得される。つまり、複数の画像について画像認識処理を実施し、その認識された部分の変位を、固体撮像素子の移動情報として取得する。
図22は、本発明の実施形態4において、固体撮像素子の移動情報の取得動作を示す図である。
図22において、(a)は、1回目の撮像によって得られた第1画像IM1を示している。(b)は、2回目の撮像によって得られた第2画像IM2を実線で示しており、破線を用いて、第1画像IM1を示している。なお、本実施形態では、第1画像IM1,第2画像IM2は、各撮像で得たロー(RAW)画像データについて現像処理を実施することで、デジタルカラー画像として生成されている。
図22(a)に示すように、1回目の撮像では、たとえば、三角形状の物体500の像を含むように、第1画像IM1が得られる。このとき、固体撮像素子において欠陥画素が存在する部分に欠陥画素データKD1を含むように、第1画像IM1が生成される。たとえば、三角形状の物体500の上部に位置する角の上方に、欠陥画素データKD1が存在するように、第1画像IM1が生成される。
2回目の撮像においても、1回目の撮像と同一の被写体を撮影しているので、たとえば、図22(b)に示すように、三角形状の物体500の像を含むように、第2画像IM2が得られる。また、固体撮像素子において欠陥画素が存在する部分に欠陥画素データKD2を含むように、第2画像IM2が生成される。
2回目の撮像は、上記したように、たとえば、操作者の手ブレによって、1回目の撮像が実施した位置と異なる位置で実施される。このため、第2画像IM2において三角形状の物体500の像が存在する位置は、第1画像IM1において、その三角形状の物体500の像が存在する位置と異なる。しかし、第2画像IM2において欠陥画素データKD2が存在する位置は、第1画像IM1において欠陥画素データKD1が存在する位置と同じ位置になる。したがって、第2画像IM2では、三角形状の物体500の上部に位置する角の右側に、欠陥画素データKD2が存在するように、第2画像IM2が生成される。
固体撮像素子の移動情報の取得動作では、上記のような第1画像IM1と第2画像IM2とを用いて、第1の撮像と第2の撮像との間において固体撮像素子が変位したデータを信号処理部44が算出する。
まず、第1画像IM1において三角形状の物体500が位置する座標情報を求める。そして、第2画像IM2において、その三角形状の物体500が位置する座標情報を求める。たとえば、第1画像IM1と第2画像IM2とのそれぞれについて、エッジ検出処理を実施することで、三角形状の物体500が位置する座標情報を求める。
つぎに、第1画像IM1において三角形状の物体500が位置する座標情報と、第2画像IM2において、その三角形状の物体500が位置する座標情報とから、固体撮像素子が変位した情報を求める。
たとえば、三角形状の物体500の上部に位置する角に着目すると、第1画像IM1では、左端部と下端部を基準位置とした場合、水平方向xの座標位置が[X1]であって、垂直方向yの座標位置が[Y1]である。これに対して、第2画像IM2では、その角は、水平方向xの座標位置が[X2]であって、垂直方向yの座標位置が[Y2]であり、第1画像IM1における座標位置と異なる。
このため、第1の撮像と第2の撮像とにおいて、固体撮像素子は、水平方向xについては、右方向へ[X1−X2]分、移動したことが求められる。また、第1の撮像と第2の撮像とにおいて、固体撮像素子は、垂直方向yについては、下方向へ[Y2−Y1]分、移動したことが求められる。
(d)欠陥補正演算処理の実施(ST41),画像(最終画像)の生成(ST51)
つぎに、図21に示すように、欠陥補正演算処理について実施する。
ここでは、制御部43が信号処理部44に制御信号を送信して制御することによって、1回目の撮像で得た第1画像IM1と、2回目の撮像で得た第2画像IM2とを、信号処理部44が加算する処理を実施する。これにより、固体撮像素子1において欠陥画素として存在する画素Pから出力された画素データが補正され、最終画像が生成される。
図23は、本発明の実施形態4において、欠陥補正演算処理を示す図である。
図23において、(a)は、1回目の撮像で得た第1画像IM1(破線部分)と、2回目の撮像で得た第2画像IM2(実線部分)とを加算する加算処理を示しており、(b)は、その加算処理によって補正された最終画像IM3を示している。
図23(a)に示すように、1回目の撮像で得た第1画像IM1と、2回目の撮像で得た第2画像IM2とを加算する加算処理を実施する。
ここでは、1回目の撮像で得た第1画像IM1と、2回目の撮像で得た第2画像IM2とについて、撮像の際の被写体に対する座標位置が同じになるように、位置合わせをして加算する。
具体的には、上記において求めた固体撮像素子の移動情報に基づいて、1回目の撮像で得た第1画像IM1と、2回目の撮像で得た第2画像IM2とを互いにシフトさせることによって、撮像の際の被写体に対する座標位置を同じにする。
つまり、第1画像IM1に対して、第2画像IM2が、右側へ[X1−X2]分、移動し、下方へ[Y2−Y1]分、移動するように、両者を位置合わせする。これにより、第1画像IM1の欠陥画素データKD1と第2画像IM2の欠陥画素データKD2とは、画像内において、互いに異なる部分に位置することになる。そして、第1画像IM1と第2画像IM2とが位置合わせされた状態で、同一の波長帯域の画素データが、画素ごとに加算される。
よって、第1画像IM1に含まれる欠陥画素データKD1は、第2画像IM2において欠陥画素以外の画素による画素データと加算される。このため、欠陥画素データKD1については、実際に撮像された画素データによって補正される。
また、第2画像IM2に含まれる欠陥画素データKD2は、第1画像IM1において欠陥画素以外の画素による画素データと加算される。このため、欠陥画素データKD2についても、実際に撮像された画素データによって補正される。
上記のように加算処理を実施することによって、図23(b)に示すように、補正された最終画像IM3が得られる。
たとえば、図23(b)に示すように、第1画像IM1と同様に、1回目の撮像において実効画素領域PA11として設定された座標範囲について、最終画像IM3が得られる。
図23(b)に示すように、最終画像IM3において、1回目の撮像で欠陥画素データKD1が出力された座標位置については、上記の加算処理によって補正された補正画素データKH1が得られる。同様に、2回目の撮像で欠陥画素データKD2が出力された座標位置については、上記の加算処理によって補正された補正画素データKH2が得られる。
(2)まとめ
以上のように、本実施形態においては、欠陥画素KPによる欠陥画素データKD1,KD2を補正する欠陥補正処理を実施して、最終画像IM3を生成する。
本実施形態では、固体撮像素子1が第1の位置から第2の位置へ移動したときの変位データを、第1画像IM1と第2画像IM2とから検出する移動情報取得処理を、信号処理部44が実施する。そして、その変位データに基づいて、第1画像IM1と第2画像IM2とについて被写体に対して互いに同じ位置になるように位置合わせをした状態で、上記のように欠陥補正処理を実施する。
したがって、本実施形態では、欠陥画素に起因して、撮像画像の画像品質が低下することを防止できる。また、欠陥画素に起因して、撮像素子を不良チップとして廃棄することを抑制可能であるので、製品歩留まりの低下を防止できる。
なお、本実施形態では、撮像によって得たロー画像データについて現像処理を実施した後に、それにより得た画像において欠陥画素に起因して含まれる欠陥画素データを補正する場合について示したが、これに限定されない。たとえば、実施形態1と同様に、デモザイク処理などの現像処理を実施する前に、欠陥画素による欠陥画素データを補正してもよい。
また、実施形態2で示した欠陥補正演算処理を、本実施形態において実施しても良い。
さらに、実施形態3で示したゲインアップ処理を、本実施形態において実施しても良い。
また、上記においては、2回の撮像で得た2枚の画像を用いて、1枚の最終画像を生成する場合について説明したが、これに限定されない。3回以上の撮像で得た複数の画像を用いて、上記のように、1枚の最終画像を生成してもよい。また、複数の画像から欠陥画素データの位置が異なる画像を少なくとも2枚選択する処理を実施し、その選択した画像間を上記のように加算することで、最終画像を生成しても良い。
<5.その他>
本発明の実施に際しては、上記した実施形態に限定されるものではなく、種々の変形例を採用することができる。
上記の実施形態においては、裏面照射型のCMOSイメージセンサを固体撮像素子として用いる場合について説明したが、これに限定されない。表面照射型のイメージセンサの場合に本発明を適用しても良い。また、CCDイメージセンサの場合に本発明を適用しても良い。
上記の実施形態では、CMOSイメージセンサにおいて、転送トランジスタと増幅トランジスタと選択トランジスタとリセットトランジスタとの4種を、画素トランジスタとして設ける場合について説明したが、これに限定されない。たとえば、転送トランジスタと増幅トランジスタとリセットトランジスタとの3種を、画素トランジスタとして設ける場合に適用しても良い。
上記の実施形態では、CMOSイメージセンサにおいて、1つのフォトダイオードに対して、転送トランジスタと増幅トランジスタと選択トランジスタとリセットトランジスタとのそれぞれを1つずつ設ける場合について説明したが、これに限定されない。たとえば、複数のフォトダイオードに対して、増幅トランジスタと選択トランジスタとリセットトランジスタのそれぞれを1つずつ設ける場合に適用しても良い。
上記の実施形態では、3原色のフィルタがベイヤー配列で配列されたカラーイメージセンサの場合について説明したが、これに限定されない。イエロ−,マゼンダ,シアンの補色系のフィルタを用いた場合に適用しても良い。カラー画像を撮像する場合以外に、グレースケール画像を撮像する場合に適用しても良い。可視光像を撮像する以外に、赤外線画像など、他の波長帯域の像を撮像する場合に適用しても良い。
上記の実施形態においては、デジタルカメラに本発明を適用する場合について説明したが、これに限定されない。スキャナーやコピー機などのように、撮像装置を備える他の電子機器に、本発明を適用しても良い。
また、上記の実施形態では、素子移動部45がアンチダスト機能を発揮させるために設けられている場合について説明したが、これに限定されない。素子移動部45としては、アンチダスト機能を発揮しなくとも、固体撮像素子1を上記したように移動させるものであれば好適に使用可能である。
また、上記の実施形態において、固体撮像素子を移動する際には、固体撮像素子が第1の位置にあるときに有効画素領域が配置された座標範囲内に、固体撮像素子が第2の位置にあるときの実効画素領域を配置させる。しかしながら、これに限定されない。第1の位置にあるときに有効画素領域が配置された座標範囲以外の部分に、第2の位置における実効画素領域を配置させるように、固体撮像素子を移動させてもよい。
また、上記の実施形態においては、固体撮像素子と、外付けの撮像レンズとが一体に設けられていない場合について説明したが、これに限定されない(図1参照)。固体撮像素子に外付けの撮像レンズが固定されており、素子移動部が固体撮像素子を移動する際には、撮像レンズも同様に移動されるように構成されていても良い。
その他、各実施形態の構成を、適宜、組み合わせても良い。
なお、上記の実施形態において、固体撮像素子1は、本発明の固体撮像素子に相当する。また、上記の実施形態において、信号処理部44は、本発明の信号処理部に相当する。また、上記の実施形態において、素子移動部45は、本発明の素子移動部に相当する。また、上記の実施形態において、デジタルカメラ400は、本発明の電子機器に相当する。また、上記の実施形態において、カメラ本体部410は、本発明の撮像装置に相当する。また、上記の実施形態において、第1画像RD1,IM1は、本発明の第1画像に相当する。また、上記の実施形態において、第2画像RD2,IM2は、本発明の第2画像に相当する。また、上記の実施形態において、欠陥画素KPは、本発明の欠陥画素に相当する。また、上記の実施形態において、画素Pは、本発明の画素に相当する。また、上記の実施形態において、有効画素領域PA1は、本発明の有効画素領域に相当する。また、上記の実施形態において、実効画素領域PA11は、本発明の実効画素領域に相当する。また、上記の実施形態において、第1の位置PJ1は、本発明の第1の位置に相当する。また、上記の実施形態において、第2の位置PJ2は、本発明の第2の位置に相当する。また、上記の実施形態において、画素領域PA,撮像面PSは、本発明の撮像面に相当する。