JP4097332B2

JP4097332B2 - Ｃｃｄ撮像素子の画素欠陥補正装置及び画素欠陥補正方法

Info

Publication number: JP4097332B2
Application number: JP26415198A
Authority: JP
Inventors: 和行益金
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 1998-09-18
Filing date: 1998-09-18
Publication date: 2008-06-11
Anticipated expiration: 2018-09-18
Also published as: JP2000101925A

Description

【０００１】
【発明の属する技術分野】
本発明は、ＣＣＤ撮像素子の画素欠陥を補正する画素欠陥補正装置及び画素欠陥補正方法に関するものである。
【０００２】
【従来の技術】
従来、ＣＣＤ撮像素子の性能向上を阻む要因として、黒キズ、明時白キズ、温度白キズと呼ばれる各種の画素欠陥が知られている。
【０００３】
黒キズと呼ばれる画素欠陥は、画素の光入射面に付着する塵などに起因して、その画素への入射光が遮られることにより生じる。明時白キズと呼ばれる画素欠陥は、画素の光入射面に形成されるカラーマイクロフィルタやマイクロレンズの欠損などに起因して、部分的に本来の光学特性が得られなくなることにより生じる。温度白キズと呼ばれる画素欠陥は、半導体ウェーハの結晶欠陥などに起因して生じるものである。
【０００４】
これらの画素欠陥のうち、黒キズと明時白キズはＣＣＤ撮像素子の動作環境とは関係なく生じる静的な欠陥要因であり、製造プロセスにおけるＶＬＳＩ技術の進展に歩調をあわせる形でその改善が講じられている。
【０００５】
【発明が解決しようとする課題】
しかし、温度白キズは、黒キズや明時白キズとは異なり、ＣＣＤ撮像素子の温度が上昇するほど、また露光時間が長くなるほど影響が大きくなるという動的な欠陥要因であり、また、その発生も不均一である。
【０００６】
例えば、温度白キズによる問題点として、夜間などの低照度環境下で撮影するためにＣＣＤ撮像素子の露光時間を長くすると、温度白キズに該当する欠陥画素にノイズ成分が発生し、このノイズ成分によって再生画像中に輝点が発生する結果、画像劣化を招来するという問題がある。また、環境温度が高くなるほど上記のノイズ成分が増大して画像劣化を招来する。
【０００７】
このような温度白キズの発生を抑制するＣＣＤ撮像素子として、温度依存性の強い暗電流の発生を抑制するための冷却装置を備えた冷却ＣＣＤ撮像素子が知られているが、この冷却ＣＣＤ撮像素子は、高価な暗視カメラやバイオアナリシス用の超高感度カメラなどに適用される特殊なものであるため、量産化や小型化などが困難で、民生用カメラなどに適用できないという問題がある。
【０００８】
本発明はこのような課題に鑑みてなされたものであり、冷却装置のような特殊な付帯装置を設けることなく、温度白キズを補正することができる画素欠陥補正装置及び画素欠陥補正方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
このような目的を達成するため本発明は、ＣＣＤ撮像素子の温度白キズを補正するＣＣＤ撮像素子の画素欠陥補正装置において、通常の環境温度且つ通常のシャッター速度の第１の欠陥補正条件で撮影が行われると温度白キズを生じさせる欠陥画素を特定する第１の補正情報と、高い環境温度又は低シャッター速度の第２の欠陥補正条件で撮影が行われると温度白キズを生じさせる欠陥画素を特定する前記第１の補正情報とは重複しない第２の補正情報とを予め記憶する記憶手段と、撮影時に前記ＣＣＤ撮像素子から読み出される画素信号中の温度白キズに該当する欠陥画素信号を、前記撮影時の実際の環境温度とシャッター速度が前記第１の欠陥補正条件である場合には前記記憶手段中の前記第１の補正情報のみに基づいて特定し、前記撮影時の実際の環境温度とシャッター速度が前記第２の欠陥補正条件である場合には前記記憶手段中の前記第１の補正情報および前記第２の補正情報に基づいて特定し、前記特定された欠陥画素信号について欠陥補正を行う欠陥補正手段とを備える構成とした。
【００１０】
また、ＣＣＤ撮像素子の温度白キズを補正するＣＣＤ撮像素子の画素欠陥補正方法において、通常の環境温度且つ通常のシャッター速度の第１の欠陥補正条件で撮影が行われると温度白キズを生じさせる欠陥画素を特定する第１の補正情報と、高い環境温度又は低シャッター速度の第２の欠陥補正条件で撮影が行われると温度白キズを生じさせる欠陥画素を特定する前記第１の補正情報とは重複しない第２の補正情報とを予め求め、撮影時に前記ＣＣＤ撮像素子から読み出される画素信号中の温度白キズに該当する欠陥画素信号を、前記撮影時の実際の環境温度とシャッター速度が前記第１の欠陥補正条件である場合には前記第１の補正情報のみに基づいて特定し、前記撮影時の実際の環境温度とシャッター速度が前記第２の欠陥補正条件である場合には前記第１の補正情報および前記第２の補正情報に基づいて特定し、前記特定された欠陥画素信号について欠陥補正を行うこととした。
【００１１】
これらのＣＣＤ撮像素子の画素欠陥補正装置及び画素欠陥補正方法によると、いわゆる通常の温度環境の下で且つ一般的に設定されるシャッター速度の下での第１の欠陥補正条件で通常撮影が行われる場合には温度白キズがあまり顕著に現れず、高温環境下又は低シャッター速度の下での第２の欠陥補正条件で撮影が行われる場合に温度白キズが顕著に現れるという、温度白キズの動的な発生特性に応じて、温度白キズの欠陥補正が行われる。
【００１２】
これにより、温度白キズがあまり顕著に現れない第１の欠陥補正条件での撮影時では、不要な（過度な）欠陥補正が行われないため、画質劣化が防止され、温度白キズが顕著に現れる高温環境又は低シャッター速度の下での第２の欠陥補正条件で撮影が行われるときには、温度白キズが確実に補正される。
【００１３】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。図１は、デジタルカメラに適用した場合の構成を示すブロック図である。
【００１４】
同図において、撮像レンズ系１とメカニカルシャッター２の後方にＣＣＤ撮像素子３が配設されている。更に、ＣＣＤ撮像素子３の出力端子に、前置増幅回路とＡ／Ｄ変換器を備えた前置回路４が接続され、前置回路４の出力端子に欠陥補正回路５が接続されている。そして、これらのメカニカルシャッター２とＣＣＤ撮像素子３と前置回路４及び欠陥補正回路５は、マイクロプロセッサを有する中央制御回路６の指示に従ってタイミング発生回路７から出力されるタイミング制御信号Ｃ１〜Ｃ４に同期して動作する。
【００１５】
タイミング制御信号Ｃ１は、メカニカルシャッター２のシャッタータイミングとシャッター速度Ｓを設定する。タイミング制御信号Ｃ２は、ＣＣＤ撮像素子３の撮像動作を制御することにより、ＣＣＤ撮像素子３に形成されている多数の画素に生じる各信号電荷を、画素の配列に対応した画素信号Ｐixに変換させて点順次に読み出させる。
【００１６】
タイミング制御信号Ｃ３は、前置回路４に対し点順次読み出しに同期した処理を行わせ、ＣＣＤ撮像素子３から読み出される各画素信号Ｐixを、信号処理可能なレベルに増幅させると共にデジタル画素データＤixに変換させる。
【００１７】
タイミング制御信号Ｃ４は、欠陥補正回路５に対し、上記の点順次読み出しタイミングに同期して画素欠陥補正処理を行わせる。すなわち、欠陥補正回路５は、前置回路４から転送されてくるデジタル画素データＤixのうち、後述するルックアップテーブルＬＵＴに記憶されている欠陥画素の情報に該当するデジタル画素データＤix’について画素欠陥補正を施すようになっている。
【００１８】
中央制御回路６には、欠陥画素の情報が予め記憶されている読み出し専用メモリ（ＲＯＭ）から成るルックアップテーブルＬＵＴが備えられ、更に、欠陥補正回路５を介して出力されるデジタル画素データを記憶するためのフレームメモリ８と、露出検出用のＡＥセンサ９、温度センサ１０、ストロボユニット１１が接続されている。
【００１９】
図２は、ルックアップテーブルＬＵＴのメモリマップを示している。同図において、ルックアップテーブルＬＵＴには、４種類の位置データを格納する第１〜第４の補正情報記憶領域（Ａ）〜（Ｄ）が設けられている。
【００２０】
第１の補正情報記憶領域（Ａ）には、黒キズを生じさせる各欠陥画素の位置を示す位置データ（Ｘa1，Ｙa1），（Ｘa2，Ｙa2）…が記憶されている。すなわち、画素の光入射面に付着するゴミなどに起因して、その画素への入射光が遮られることにより生じる画素欠陥（黒キズ）を補正するための補正情報が、欠陥画素の位置データとして記憶されている。
【００２１】
第２の補正情報記憶領域（Ｂ）には、明時白キズを生じさせる各欠陥画素の位置を示す位置データ（Ｘb1，Ｙb1），（Ｘb2，Ｙb2）…が記憶されている。すなわち、画素の光入射面に形成されるカラーマイクロフィルタやマイクロレンズの欠損などに起因して、部分的に本来の光学特性が得られなくなることにより生じる画素欠陥（明時白キズ）を補正するための補正情報が、欠陥画素の位置データとして記憶されている。
【００２２】
第３の補正情報記憶領域（Ｃ）と第４の補正情報記憶領域（Ｄ）には、半導体ウェーハの結晶欠陥などに起因して生じる画素欠陥（温度白キズ）を補正するための補正情報が、温度白キズを生じさせる各欠陥画素の位置を示す位置データ（Ｘc1，Ｙc1），（Ｘc2，Ｙc2）…と位置データ（Ｘd1，Ｙd1），（Ｘd2，Ｙd2）…としてそれぞれ記憶されている。
【００２３】
すなわち、第３の補正情報記憶領域（Ｃ）には、撮影時におけるメカニカルシャッター２のシャッター速度Ｓが予め決められた境界シャッター速度Ｓthより高速（Ｓ≦Ｓth）、且つ環境温度Ｔが予め決められた境界温度Ｔthより低温（Ｔ≦Ｔth）のときに温度白キズを生じさせる欠陥画素の位置を示す位置データ（Ｘc1，Ｙc1），（Ｘc2，Ｙc2）…が記憶されている。
【００２４】
尚、シャッター速度Ｓと境界シャッター速度Ｓthは、シャッターの露出時間をいう。よって、Ｓ≦Ｓthとは、シャッターの露出時間Ｓが、予め決められた境界露出時間Ｓthより短い（但し、Ｓ＝Ｓthを含む）ことを意味する。
【００２５】
一方、第４の補正データ記憶領域（Ｄ）には、撮影時におけるメカニカルシャッター２のシャッター速度Ｓが境界シャッター速度Ｓthより低速（Ｓ＞Ｓth）、または、環境温度Ｔが境界温度Ｔthより高温（Ｔth＜Ｔ）のときに温度白キズを生じさせる欠陥画素の位置を示す位置データ（Ｘd1，Ｙd1），（Ｘd2，Ｙd2）…が記憶されている。尚、上記同様に、Ｓ＞Ｓthとは、シャッターの露出時間Ｓが、予め決められた境界露出時間Ｓthより長い（但し、Ｓ＝Ｓthを除く）ことを意味する。
【００２６】
但し、第３の補正情報記憶領域（Ｃ）の位置データ（Ｘc1，Ｙc1），（Ｘc2，Ｙc2）…と第４の補正情報記憶領域（Ｄ）の位置データ（Ｘd1，Ｙd1），（Ｘd2，Ｙd2）…は、互いに重複しない欠陥画素を示している。
【００２７】
すなわち、温度白キズを生じさせる欠陥画素には、シャッター速度Ｓが長くなるほどノイズ成分が増加し、時間温度が８℃上昇する毎にノイズ成分が約２倍ずつ増加するという特性がある。このため、Ｓ≦Ｓth且つＴ≦Ｔthのときに温度白キズを生じさせる欠陥画素は、Ｓ＞ＳthまたはＴth＜Ｔのときにも欠陥画素となって発生する。また、Ｓ≦Ｓth且つＴ≦Ｔthのときには温度白キズを生じさせない画素が、Ｓ＞ＳthまたはＴth＜Ｔのときに初めて欠陥画素となって温度白キズを生じさせるものがある。
【００２８】
そこで、Ｓ＞ＳthまたはＴth＜Ｔのときに初めて顕著な欠陥画素となる位置データ（Ｘd1，Ｙd1），（Ｘd2，Ｙd2）…のみを第４の補正情報記憶領域（Ｄ）に記憶させることで、第３の補正情報記憶領域（Ｃ）中の位置データ（Ｘc1，Ｙc1），（Ｘc2，Ｙc2）…に該当する欠陥画素と、第４の補正情報記憶領域（Ｄ）中の（Ｘd1，Ｙd1），（Ｘd2，Ｙd2）…に該当する欠陥画素とが重複しないようになっている。
【００２９】
そして、環境温度Ｔとシャッター速度Ｓを様々に変化させたときに温度白キズを生じさせる欠陥画素の発生頻度を実測し、この実測結果に、本デジタルカメラが使用されるときの通常の環境温度の上限温度や、温度が８℃上昇する毎に温度白キズにより生じるノイズ成分の発生量が約２倍ずつ増加するという温度白キズ特有の特性などを加味して、境界シャッター速度Ｓthと境界温度Ｔthが決められている。例えば、境界シャッター速度Ｓthは１／１５秒、境界温度Ｔthは５０℃に設定されている。
【００３０】
次に、かかる構成を有する本デジタルカメラの画素欠陥補正動作について説明する。まず、中央制御回路６が、温度センサ１０の計測出力に基づいて撮影時の環境温度Ｔを判定し、更に、自動露出モードでは、ＡＥセンサ９の計測出力とストロボ撮影の有無とに基づいて自動的にシャッター速度Ｓを決定し、手動露出モードでは、操作者の指定するシャッター速度Ｓを設定する。
【００３１】
更に、中央制御回路６は、環境温度Ｔと境界温度Ｔth、シャッター速度Ｓと境界シャッター速度Ｓthをそれぞれ比較し、欠陥補正すべき条件が、Ｓ≦Ｓth且つＴ≦Ｔthに該当するか、Ｓ＞ＳthまたはＴth＜Ｔに該当するか判定する。
【００３２】
図３に示すように、Ｓ≦Ｓth且つＴ≦Ｔthに該当する場合（以下、第１の欠陥補正条件という）には、第１〜第３の補正情報記憶領域（Ａ）〜（Ｃ）に記憶されている上記の位置データに基づいて欠陥補正し、Ｓ＞ＳthまたはＴth＜Ｔに該当する場合（以下、第２の欠陥補正条件という）には、第１〜第４の補正情報記憶領域（Ａ）〜（Ｄ）に記憶されている上記の位置データに基づいて欠陥補正するように初期設定が行われる。
【００３３】
そして、操作者によるシャッターレリーズ釦の押下に同期して、タイミング発生回路７から各タイミング制御信号Ｃ１〜Ｃ４が出力され、上記のシャッター速度Ｓの下で撮影が行われる。更に、ＣＣＤ撮像素子３の各画素に発生する画素信号Ｐixが前置回路４でデジタル画素データＤixに変換され、欠陥補正回路５を介してフレームメモリ８に転送される。
【００３４】
ここで、欠陥補正回路５は、第１の欠陥補正条件が初期設定されていると、欠陥画素から読み出されるデジタル画素データＤix’を第１〜第３の補正情報記憶領域（Ａ）〜（Ｃ）に記憶されている位置データに基づいて識別する。
【００３５】
そして、正常なデジタル画素データＤixについては、そのままフレームメモリ８に格納させ、画素欠陥に該当するデジタル画素データＤix’については、その前後に読み出される正常なデジタル画素データＤixの単純平均値をデジタル画素データＤix’に置き換えたり、デジタル画素データＤix’に所定の加重係数を乗算するなどの欠陥補正を行った後、フレームメモリ８に格納させる。
【００３６】
一方、第２の欠陥補正条件が初期設定されていると、欠陥補正回路５は、欠陥画素から読み出されたデジタル画素データＤix’を第１〜第４の補正情報記憶領域（Ａ）〜（Ｄ）に記憶されている位置データに基づいて識別し、上記第１の欠陥補正条件の場合と同様の欠陥補正を行う。すなわち、第２の欠陥補正条件が初期設定されている場合には、第１〜第３の補正情報記憶領域（Ａ）〜（Ｃ）中の位置データに基づく欠陥補正のほか、第４の補正情報記憶領域（Ｄ）中の位置データに基づく欠陥補正が追加して行われる。
【００３７】
このように、本実施の形態によれば、画素信号Ｐixの読み出しタイミングに同期して画素欠陥の補正が行われるので、撮影処理の遅延を防止することができる。
【００３８】
更に、デジタル画素データＤixに対し、環境温度Ｔとシャッター速度Ｓをパラメータとして欠陥補正を施すこととしたので、動的な欠陥要因である温度白キズを的確に補正し、画質を向上させることができる。
【００３９】
特に、第１の欠陥補正条件では、第３の補正情報記憶領域（Ｃ）の補正情報に基づいて温度白キズの欠陥補正を行い、第２の欠陥補正条件では、第３，第４の補正情報記憶領域（Ｃ），（Ｄ）の補正情報に基づいて温度白キズの欠陥補正を行うようにしたので、温度白キズの発生特性に応じた欠陥補正を行うことができる。
【００４０】
すなわち、温度白キズは、通常の温度環境の下で且つ一般的に設定されるシャッター速度の下での通常撮影が行われる場合にはあまり顕著に現れず、通常撮影とは異なる高温環境下又は低シャッター速度の下で撮影が行われる場合に顕著になるという特性を有している。そして、温度白キズの欠陥補正条件を、境界温度Ｔthと境界シャッター速度Ｓthを基準にして第１，第２の欠陥補正条件に分けたので、温度白キズの発生特性に合わせた形での欠陥補正が可能となっている。
【００４１】
この結果、通常撮影時では、不要な（過度な）欠陥補正が行われないため、画質劣化を防止することができ、高温環境又は低シャッター速度の下で撮影が行われるときには、温度白キズを確実に補正することができる。
【００４２】
尚、以上の説明では、境界温度Ｔthと境界シャッター速度Ｓthをそれぞれ１個ずつ設定して、温度白キズの欠陥補正を行う場合を説明したが、境界温度Ｔthと境界シャッター速度Ｓthをそれぞれ複数個ずつ設定し、それら複数個の境界温度と境界シャッター速度で分けられる複数の補正条件に基づいて欠陥補正を行ってもよい。かかる構成によれば、温度白キズの発生特性に合わせたより精密な欠陥補正を行うことができる。
【００４３】
また、上記のルックアップテーブルＬＵＴに欠陥画素の位置データを予め格納する場合を述べたが、本発明はかかる構成に限定されるものではない。例えば、ＣＣＤ撮像素子３に形成されている画素の配列に対応させて、欠陥画素を示すフラグデータ“１”と正常画素を示すフラグデータ“０”とから成るビット列の補正データを半導体メモリに記憶させ、この半導体メモリのアドレスを画素信号Ｐixの読み出しタイミングに同期して順次にカウントアップすることにより、欠陥画素から読み出される欠陥画素信号を特定するようにしてもよい。
【００４４】
また、補正情報を記憶したルックアップテーブルや上記の半導体メモリなどをカメラ内の中央制御回路に付随して設けてもよいが、ＣＣＤ撮像素子毎に固有の補正情報を記憶したルックアップテーブルなどを予めＣＣＤ撮像素子に一体化させてもよい。このようにＣＣＤ撮像素子にルックアップテーブルなどを一体化させると、素子間ばらつきなどによりＣＣＤ撮像素子毎に画素欠陥の特性が異なっても、ＣＣＤ撮像素子毎に確実な補正情報が得られる。このため、カメラの製造工程においてＣＣＤ撮像素子毎に欠陥画素を特定するための調整を行う必要がなくなり、製造工程の簡素化に寄与することができるなどの効果が得られる。
【００４５】
【発明の効果】
以上説明したように本発明によれば、いわゆる通常の温度環境の下で且つ一般的に設定されるシャッター速度の下での第１の欠陥補正条件で通常撮影が行われる場合には温度白キズがあまり顕著に現れず、高温環境下又は低シャッター速度の下での第２の欠陥補正条件で撮影が行われる場合に温度白キズが顕著に現れるという、温度白キズの動的な発生特性に合わせて、温度白キズの欠陥補正を行うようにしたので、確実且つ適切に温度白キズの欠陥補正を行うことができる。
【００４６】
更に、温度白キズがあまり顕著に現れない第１の欠陥補正条件での撮影時では、不要な（過度な）欠陥補正が行われないため、画質劣化を防止することができ、温度白キズが顕著に現れる高温環境又は低シャッター速度の下での第２の欠陥補正条件で撮影が行われるときには、温度白キズを確実に補正することができる。
【００４７】
更に、従来の冷却ＣＣＤ撮像素子のような特殊な装置を設けることなく、温度白キズを補正することができるので、量産化や小型化が可能であり、特に民生用の撮像機器等へ適用することができる。
【図面の簡単な説明】
【図１】本発明をデジタルカメラに適用した実施形態の構成を示すブロック図である。
【図２】補正情報を記憶したルックアップテーブルのメモリマップを示す説明図である。
【図３】画素欠陥の補正条件を示す説明図である。
【符号の説明】
２…メカニカルシャッター
３…ＣＣＤ撮像素子
５…欠陥補正回路
ＬＵＴ…ルックアップテーブル

Claims

ＣＣＤ撮像素子の温度白キズを補正するＣＣＤ撮像素子の画素欠陥補正装置において、
通常の環境温度且つ通常のシャッター速度の第１の欠陥補正条件で撮影が行われると温度白キズを生じさせる欠陥画素を特定する第１の補正情報と、高い環境温度又は低シャッター速度の第２の欠陥補正条件で撮影が行われると温度白キズを生じさせる欠陥画素を特定する前記第１の補正情報とは重複しない第２の補正情報とを予め記憶する記憶手段と、
撮影時に前記ＣＣＤ撮像素子から読み出される画素信号中の温度白キズに該当する欠陥画素信号を、前記撮影時の実際の環境温度とシャッター速度が前記第１の欠陥補正条件である場合には前記記憶手段中の前記第１の補正情報のみに基づいて特定し、前記撮影時の実際の環境温度とシャッター速度が前記第２の欠陥補正条件である場合には前記記憶手段中の前記第１の補正情報および前記第２の補正情報に基づいて特定し、前記特定された欠陥画素信号について欠陥補正を行う欠陥補正手段と、
を備えることを特徴とするＣＣＤ撮像素子の画素欠陥補正装置。
前記記憶手段は、前記ＣＣＤ撮像素子に一体化されていることを特徴とする請求項１に記載のＣＣＤ撮像素子の画素欠陥補正装置。
ＣＣＤ撮像素子の温度白キズを補正するＣＣＤ撮像素子の画素欠陥補正方法において、
通常の環境温度且つ通常のシャッター速度の第１の欠陥補正条件で撮影が行われると温度白キズを生じさせる欠陥画素を特定する第１の補正情報と、高い環境温度又は低シャッター速度の第２の欠陥補正条件で撮影が行われると温度白キズを生じさせる欠陥画素を特定する前記第１の補正情報とは重複しない第２の補正情報とを予め求め、
撮影時に前記ＣＣＤ撮像素子から読み出される画素信号中の温度白キズに該当する欠陥画素信号を、前記撮影時の実際の環境温度とシャッター速度が前記第１の欠陥補正条件である場合には前記第１の補正情報のみに基づいて特定し、前記撮影時の実際の環境温度とシャッター速度が前記第２の欠陥補正条件である場合には前記第１の補正情報および前記第２の補正情報に基づいて特定し、
前記特定された欠陥画素信号について欠陥補正を行うことを特徴とするＣＣＤ撮像素子の画素欠陥補正方法。