JP2010272916A - 固体撮像素子の白キズ補正装置 - Google Patents

Abstract

【課題】撮像画像における被写体の再現性を大きく損なうことなく、固体撮像素子の欠陥画素に起因して生じる白キズを補正する技術を提供する。
【解決手段】固体撮像素子を遮光しかつ一定の露光時間で撮像を行った場合において、固体撮像素子の複数の画素の各々を注目画素とし、当該注目画素の周辺画素の画素値の平均値と当該注目画素の画素値との差分から当該注目画素が撮像画像にて白キズとなって現れる欠陥画素であるか否かを判定する。そして、欠陥画像である場合には、固体撮像素子の撮像面における当該注目画素の位置を示す位置情報を記憶する。一方、利用者により指定された露光時間での撮像を行う際には、当該位置情報の示す欠陥画素については、当該欠陥画素の原画素値と周辺画素の画素値の平均値とを露光時間に応じた比率（露光時間が短いほど前者の比率が高い）で重み付け平均した値に置き換えて画素値を補正する。
【選択図】図２

Description

本発明は、イメージセンサにより撮像した画像の白キズを補正する技術に関する。

ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの固体撮像素子を用いた撮像装置が一般に普及している。この種の固体撮像素子の撮像面は複数の画素をマトリクス状に配列して構成されている。固体撮像素子を用いた撮像装置では、その撮像面に被写体の光学像を結像させ、一定時間長のフレーム（垂直走査期間）毎に各画素から画素信号を読み出す処理が繰り返し実行される。固体撮像素子の撮像面を構成する各画素に着目すると、前回の画素信号の読み出しから今回の画素信号の読み出しまでの期間である１フレームが露光時間となり、今回読み出される画素信号の信号値である画素値は、露光時間内における画素の受光量を反映したものとなる。

ところで、固体撮像素子の撮像面を構成する複数の画素のなかには、ダストの付着や結晶欠陥等により、画素信号を正常に出力せず、撮像画像に白キズを生じさせるもの（以下、欠陥画素）が含まれている場合がある。このような欠陥画素は全くないことが好ましいのであるが、固体撮像素子には数十万〜数百万個の画素が含まれているため、欠陥画素が全く無いように固体撮像素子を製造することは極めて困難である。そこで、固体撮像素子に含まれる複数の画素のなかには、ある程度の数の欠陥画素が含まれていることを前提に、各画素から読み出される画素信号に後処理を施すことで、欠陥画素に起因して生じる白キズを補正し、その影響を緩和する技術が提案されている（例えば、特許文献１参照）。

特許文献１に開示された技術では、撮像装置の工場出荷時に欠陥画素の位置を検出しておき、ユーザがその撮像装置を用いて撮像を行う際には、欠陥画素の周辺に位置する画素（以下、周辺画素）の画素値を用いてその欠陥画素の画素値を補正（例えば周辺画素の画素値の平均値で欠陥画素の画素値を置き換える等）することで白キズの影響が緩和される。より詳細に説明すると、特許文献１に開示された技術では、撮像装置の工場出荷時に、各々異なる長さの露光時間で真っ暗な画像を撮像し（固体撮像素子を遮光した状態で撮像する等）、各画像にて白キズとなって現れる欠陥画素の位置を検出し、その欠陥画素の位置を示す白キズ情報を露光時間毎に記憶する。ここで、各々異なる長さの露光時間で欠陥画素の位置を検出するのは、白キズは結晶欠陥に起因して生じるため、固体撮像素子の使用状況（露光時間等）に応じて発生頻度が変化する（露光時間が長くなるほど白キズは増加する）からである。また、真っ暗な画像を撮像して白キズの検出を行うのは、このような状態では、固体撮像素子に含まれる複数の画素が全て正常であれば、各画素の画素値は一定になるため、欠陥画素を検出し易くなるからである。

特開平１１−２３９２９８号公報

白キズとなって現れる欠陥画素の数が露光時間の長さに応じて変動するということは、欠陥画素毎に不具合の程度が異なり、その不具合が顕在化し始める露光時間が欠陥画素毎に異なるということを意味している。したがって、ある長さの露光時間で検出される欠陥画素のなかには、さほど顕著な白キズとなって現れず、画素値の補正を殆ど要しないものが含まれている場合がある。このように画素値の補正を殆ど要しない欠陥画素であれば、原画素値をそのまま用いるほうが被写体を忠実に再現するという観点からは好ましい。しかし、特許文献１に開示された技術では、白キズの程度（欠陥画素の不具合の程度）によらず、一律に欠陥画素の画素値を周辺画素の画素値を用いて補正するため、不具合の程度が低い欠陥画素についても補正が行われ、撮像画像における被写体の再現性が大きく損なわれる虞がある。

本発明は上記課題に鑑みて為されたものであり、撮像画像における被写体の再現性を大きく損なうことなく、固体撮像素子の欠陥画素に起因して生じる白キズを補正する技術を提供することを目的とする。

上記課題を解決するために本発明は、複数の画素をマトリクス状に配列した撮像面を有する固体撮像素子に、遮光した状態で予め定められた露光時間の撮像を行わせた場合において、前記複数の画素の各々を注目画素とし、当該注目画素の周辺画素の画素値の平均値と当該注目画素の画素値との差分から当該注目画素が欠陥画素であるか否かを判定し、欠陥画素と判定される場合には、前記撮像面における当該注目画素の位置を示す位置情報を欠陥画素管理テーブルに書き込む欠陥画素検出手段と、利用者により指示された露光時間の撮像を前記固体撮像素子に行わせ、前記複数の画素の各々の画素値が得られた場合において、前記欠陥画素管理テーブルに記憶されている位置情報の示す画素については、当該画素の原画素値を、当該画素の周辺画素の画素値の平均値と当該原画素値との重み付け平均に置き換えて補正する画素値補正手段と、前記利用者により指示された露光時間が長いほど、前記重み付け平均における前記周辺画素の画素値の平均値の重みを大きくする重み調整手段とを有することを特徴とする固体撮像素子の白キズ補正装置を提供する。なお、本発明の別の態様においては、コンピュータを上記各手段として機能させることを特徴とするプログラムを提供する態様であっても良い。

このような白キズ補正装置およびプログラムによれば、固体撮像素子の撮像面を構成する複数の画素の各々について、その画素値と周辺画素の画素値の平均値との差に基づいて欠陥画素であるか否かが判定され、欠陥画素と判定される場合には、撮像面における当該画素の位置が欠陥画素管理テーブルに記録される。そして、上記固体撮像素子を用いた撮像の際には、欠陥画素管理テーブルに位置が記録されている画素については、その画素値を当該画素値と周辺画素の画素値の平均値との重み付け平均（露光時間が長いほど後者の重みを大きくした重み付け平均（換言すれば、露光時間が短いほど前者の重みを大きくした重み付け平均））に置き換える補正が行われる。つまり、本発明によれば欠陥画素の原画素値を露光時間が短いほど大きな重みで生かしつつ、その欠陥画素の画素値を補正することができる。

より好ましい態様においては、前記白キズ補正装置の欠陥画素検出手段は、欠陥画素と判定される画素の位置情報を前記欠陥画素管理テーブルに書き込む際に、当該欠陥画素の不具合の程度を当該欠陥画素の画素値とその周辺画素の画素値の平均値との差分に応じて判定し、その不具合の程度を示す指標値を前記位置情報に対応付けて前記欠陥画素管理テーブルへ書き込み、前記画素値補正手段は、前記位置情報に対応付けて前記欠陥画素管理テーブルに格納されている指標値の示す不具合の程度が低い欠陥画素については、前記重み付け平均による置き換えで画素値を補正し、不具合の程度が高い欠陥画素については、周辺画素の画素値の平均値による置き換えで画素値を補正することを特徴とする。このような態様によれば、不具合の程度が低い欠陥画素については露光時間の長さに応じた態様で画素値が補正される一方、不具合の程度が高い欠陥画素については、露光時間の長さによらず、その画素値を常に周辺画素の画素値の平均値で置き換える補正が行われる。つまり、本態様によれば、欠陥画素の不具合の程度に応じて異なる態様で画素値を補正することが可能になる。

また、別の好ましい態様においては、前記白キズ補正装置の欠陥画素検出手段は、前記複数の画素の各々について欠陥画素か否かを判定する際には、前記固体撮像素子を使用した撮像にて指定し得る最長の露光時間で撮像を行うことを特徴とする。前述したように、欠陥画素が有する不具合は露光時間が長くなるほど顕在化するので、このような態様によれば、撮像画像において白キズとなって現れ得る全ての欠陥画素を検出することができると期待される。

本発明の一実施形態であるＣＭＯＳ固体撮像装置の構成例を示す図である。 同ＣＭＯＳ固体撮像装置の画像処理部７０の構成例を示す図である。 露光時間の違いによるＳ／Ｎ比の変化の様子、および注目画素と周辺画素の位置関係を示す図である。 同画像処理部７０の欠陥画素検出手段７１２が実行する欠陥画素検出処理の流れを示すフローチャートである。 欠陥画素管理テーブル７１４の一例を示す図である。 同画像処理部７０の画素値補正手段７１６が実行する画素値補正処理の流れを示す図である。 同画像処理部７０の重み調整手段７１８により算出される重み比率ｋと露光時間ｔとの関係を示す図である。 露光時間ｔが短い場合および長い場合の白キズ補正の具体的な様子を説明するための図である。

以下、図面を参照しつつ本発明の実施の形態について説明する。
（Ａ：実施形態）
図１は、本発明の一実施形態である白キズ補正部を含むＣＭＯＳ固体撮像装置の構成例を示すブロック図である。なお、本実施形態では、図１に示す構成のＣＭＯＳ固体撮像装置に本発明を適用するが、他の構成のＣＭＯＳ固体撮像装置に本発明を適用しても良いことは勿論である。
撮像部１０Ａは、図１に示すように、複数の画素１０をマトリクス状に配列して構成されている。各列をなす複数の画素１０は、列毎に設けられた列信号線１１に接続される。各列信号線１１は、図１に示すように、カラムＣＤＳ（Correlated Double Sampling；相関２重サンプリング）部２０に接続されている。

カラムＣＤＳ部２０は、撮像部１０Ａにおける画素１０の列毎に設けられたＣＤＳ回路の集合体である。各ＣＤＳ回路は、タイミングジェネレータ５０から２種類のサンプリングパルスが与えられる各タイミングにおいて、撮像部１０Ａの各列信号線１１に読み出される電圧を各々サンプリングして差分を検出し、アナログ画素信号を各々出力する。カラムＡＤＣ部３０は、撮像部１０Ａにおける画素１０の列毎に設けられたＡＤＣ（Analog to Digital Converter）の集合体である。各ＡＤＣは、タイミングジェネレータ５０による制御の下、各ＣＤＳ回路から出力されるアナログ画素信号をデジタル画素信号に変換する。

水平走査回路４０は、撮像部１０Ａの列数と同じステージ数のシフトレジスタである。この水平走査回路４０は、タイミングジェネレータ５０による制御の下、水平走査期間毎にカラムＡＤＣ部３０から出力される１行分のデジタル画素信号を取り込み、画像処理部７０にシリアル転送する動作を繰り返す。タイミングジェネレータ５０は、垂直走査回路６０、カラムＣＤＳ部２０、カラムＡＤＣ部３０、水平走査回路４０等、ＣＭＯＳ固体撮像装置の各部のタイミング制御のための信号を発生する回路である。垂直走査回路６０は、タイミングジェネレータ５０による制御の下、露光のための撮像部１０Ａの駆動制御、すなわち、撮像部１０Ａの各行の選択および画素信号の読み出し制御を行う回路である。

画像処理部７０は、水平走査回路４０から供給される１行分のデジタル画素信号を蓄積しつつ処理し、フレーム毎に一画面分の画像データを合成する装置である。本実施形態のＣＭＯＳ固体撮像装置は、欠陥画素検出モードと撮像モードの２つの動作モードを有しており、画像処理部７０は、これら２つの動作モードの各々で異なる処理を実行する。欠陥画素検出モードは、ＣＭＯＳ固体撮像装置の工場出荷時に製品検査などで実行される動作モードである。この欠陥画素検出モードにおいては、画像処理部７０は上記一画面分の画像データを解析して撮像画像にて白キズとなって現れ得る欠陥画素を検出し、その欠陥画素の位置を示す位置情報（撮像面の左上隅の画素を一行一列目の画素とした場合における当該画素の行番号および列番号等）を記憶する処理（以下、欠陥画素検出処理）を実行する。一方、撮像モードは、ユーザがＣＭＯＳ固体撮像装置を用いて実際に撮像を行う際の動作モードである。この撮像モードにおいては、画像処理部７０は、一画面分の画像データに対して、欠陥画素として記憶した画素の画素値をその周辺画素の画素値を利用して補正する処理（以下、画素値補正処理）を施し、後段の装置へ出力する。画像処理部７０の後段の装置が液晶ディスプレイ等の表示装置であれば、画像処理部７０から出力される一画面分の画像データに応じた画像がこの表示装置に表示される。また、画像処理部７０の後段の装置が、ハードディスなどの記録媒体であれば、画像処理部７０から出力される一画面分の画像データはこの記録媒体に記録される。

Ｕ／Ｉ（ユーザインタフェース）部８０は、液晶表示パネル等の表示装置と押しボタン等の各種の操作子により構成されている。Ｕ／Ｉ部８０は、ＣＭＯＳ固体撮像装置の操作に関する各種の案内情報を表示し、操作子を介して撮像条件等に関する各種の情報をユーザから取得する役割や動作モードの指示を行わせる役割を果たす。制御部９０は、Ｕ／Ｉ部８０を介して与えられる指示に従い、ＣＭＯＳ固体撮像装置の各部の制御を行う装置である。より詳細に説明すると、制御部９０は、Ｕ／Ｉ部８０を介して与えられる指示にしたがってＣＭＯＳ固体撮像装置の動作モードの切り換えや、その切り換えに伴う各部の駆動制御、撮像条件等に関する各種情報の受け渡しを行う。

例えば、欠陥画素検出モードでの作動を指示された場合には、制御部９０は、撮像部１０Ａが遮光された状態となるように絞り（図示省略）の調整を行い、ＣＭＯＳ固体撮像装置に設定し得る最長の露光時間を設定する。このように撮像部１０Ａを遮光した状態で撮像を行うのは、特許文献１に開示された技術と同様に、撮像部１０Ａに含まれる複数の画素１０の各々が全て正常であれば各画素１０の画素値は一定になり、欠陥画素を検出し易くなるからである。また、露光時間を最長に設定するのは、撮像画像にて白キズとなって現れ得る欠陥画素を全て検出することができるようにするためである。これに対して、撮像モードでの作動を指示された場合には、制御部９０は、利用者により指示された露光時間を示すデータを画像処理部７０に与える。これは、露光時間に応じた態様で欠陥画素の画素値を補正する画素値補正処理を画像処理部７０に実行させるためである。

図２は、画像処理部７０の構成例を示す機能ブロック図である。
図２に示すように、画像処理部７０は、白キズ補正部７１０と、画像合成部７２０と、画像メモリ７３０とを含んでいる。画像合成部７２０は、水平走査回路４０から順次与えられる１行分のデジタル画素信号からフレーム毎に一画面分の画像データを合成する装置である。画像メモリ７３０は所謂フレームメモリであり、画像合成部７２０により合成された一画面分の画像データを記憶する。これら画像合成部７２０および画像メモリ７３０については一般的な固体撮像装置が備えるものと何ら変るところはないため詳細な説明を省略し、以下では白キズ補正部７１０を中心に説明する。

白キズ補正部７１０は、ＣＰＵ（Central Processing Unit）や、ＲＡＭ（Random Access Memory）等の揮発性メモリ、ＲＯＭ（Read
Only Memory）やＥＥＰＲＯＭ（Erasable Programmable ROM）等からなる不揮発性メモリで構成されたコンピュータ装置である（図２では、何れも図示省略）。上記ＲＡＭは、上記ＣＰＵに各種プログラムを実行させる際のワークエリアの役割を果たす。上記ＥＥＰＲＯＭには、欠陥画素管理テーブル７１４が格納されている。この欠陥画素管理テーブル７１４の詳細については後に明らかにする。上記ＲＯＭには、上記ＣＰＵに欠陥画素検出処理や画素値補正処理を実行させるための画像処理プログラムが格納されている。上記ＣＰＵは上記画像処理プログラムを実行することにより、図２に示すスイッチＳＷ、欠陥画素検出手段７１２、画素値補正手段７１６および重み調整手段７１８として機能する。図２のスイッチＳＷの切り換えは、制御部９０によって行われる。より詳細に説明すると、欠陥画素検出モードにおいては、画像メモリ３０から読み出した画像データが欠陥画素検出手段７１２に与えられるようにスイッチＳＷの切り換えが行われ、撮像モードにおいては、同画像データが画素値補正手段７１６に与えられるようにスイッチＳＷの切り換えが行われる。

欠陥画素検出手段７１２は、画像メモリ３０に記憶されている画像データを解析し、撮像部１０Ａを構成する複数の画素１０のうち撮像画像にて白キズとなって現れる得る欠陥画素を検出する欠陥画素検出処理を実行する。より詳細に説明すると、欠陥画素検出手段７１２は、撮像部１０Ａの撮像面において欠陥画素が連続していないことを前提に、撮像部１０Ａを構成する複数の画素１０の各々を注目画素とし、その注目画素の画素値Ｘ_０と周辺画素（図３（ｂ）に示すように、注目画素の上下左右に隣接する画素）の画素値（図３（ｂ）：Ｘ_１〜Ｘ_４）の平均値（本実施形態では、相加平均）とを比較し、両者が大きく異なるときにその注目画素を欠陥画素と判定する。

ここで、欠陥画素が連続していないことを前提とするのは、欠陥画素が連続しているようなＣＭＯＳ固体撮像装置は不良品であり、工場出荷時の製品検査にて排除されておくべきものだからである。また、注目画素の画素値と周辺画素の画素値の平均値とを比較することで、その注目画素が欠陥画素であるか否かを判定することができる理由は以下の通りである。前述したように、欠陥画素検出モードにおいては、撮像部１０Ａを遮光した状態で撮像が行われ、その撮像画像に対応する画像データが画像メモリ３０に格納される。撮像部１０Ａに含まれる画素１０が全て正常であれば、各画素１０の画素値のＳ／Ｎ比（被写体の輝度に対応した信号成分Ｓとノイズ成分Ｎとの比）は露光時間の長さに依らず略一定となる。これに対して、結晶欠陥等を有する欠陥画素の場合は、図３（ａ）に示すように、露光時間ｔが長くなるほどノイズ成分Ｎの比率が高くなり、同一の撮像条件（露光時間）において正常な画素が出力する画素値とは異なる画素値を出力すると考えられる。このように欠陥画素は正常な周辺画素とは異なる画素値を出力すると考えられるため、注目画素の画素値を周辺画素の画素値の平均値と比較することでその注目画素が欠陥画素であるか否かを判定することができるのである。なお、撮像面にて最上段、最下段、左端列或いは右端列に位置する画素については、その配置位置に応じた態様で周辺画素の画素値の平均値を算出しても良く（例えば、左上隅の画素については、下側および右隣の画素の画素値Ｘ_２およびＸ_４の相加平均と比較して欠陥画素か否かを判定すれば良い）、また、これらの画素に欠陥画素が含まれていても、画像全体の画質等に与える影響が小さいため、欠陥画素の検出対象から除外しても勿論良い。

図４は、欠陥画素検出手段７１２が注目画素毎に実行する欠陥画素検出処理の流れを示すフローチャートである。欠陥画素検出手段７１２は、まず、画像メモリ７３０から注目画素の画素値Ｘ_０および周辺画素の画素値Ｘ_１〜Ｘ_４を読み出す。次いで、欠陥画素検出手段７１２は、周辺画素の画素値の平均値Ｙ（Ｙ＝（Ｘ_１＋Ｘ_２＋Ｘ_３＋Ｘ_４）／４）と注目画素の画素値Ｘ_０との差の絶対値が閾値ｔｈ_１を超えているか否かを判定し（ステップＳＡ１００）、その判定結果が“Ｎｏ”である場合には、欠陥画素検出処理を終了する。周辺画素の画素値の平均値Ｙと画素値Ｘ_０との差分の絶対値が閾値ｔｈ_１以下である（すなわち、両者が大きく異ならない）ならば、注目画素は欠陥画素ではないと考えられるからである。この閾値ｔｈ_１については、画像処理プログラム内に固定値を予め埋め込んでおいても良く、また、欠陥画素検出モードへの動作モードの切り換えの際に、撮像部１０Ａの特性との関係で適切な値を制御部９０に設定させるようにしても良い。

ステップＳＡ１００の判定結果が“Ｙｅｓ”である場合、欠陥画素検出手段７１２は、Ｘ_０―Ｙの絶対値が所定の閾値ｔｈ_２（ｔｈ_２＞ｔｈ_１）を下回っているか否かを判定する（ステップＳＡ１１０）。前述したように、欠陥画素については、欠陥（不具合）の程度が高いほど、同一の撮像条件（露光時間）において正常な画素が出力する画素値とは異なる画素値を出力すると考えられる。つまり、このステップＳＡ１１０では、ステップＳＡ１００にて欠陥画素であると判定された注目画素について、不具合の程度が高い欠陥画素であるか否かが判定されるのである。この閾値ｔｈ_２についても、画像処理プログラム内に固定値を予め埋め込んでおいても良く、また、欠陥画素検出モードへの動作モードの切り換えの際に、撮像部１０Ａの特性との関係で適切な値を制御部９０に設定させるようにしても良い。

そして、欠陥画素検出手段７１２は、ステップＳＡ１１０の判定結果が“Ｙｅｓ”である場合には、不具合の程度が低い欠陥画素であることを示す指標値（本実施形態では、０）と当該注目画素の撮像面における位置を示す位置情報（前述したように、本実施形態では、撮像面の左上隅を１行１列目の画素とした場合における注目画素の行番号および列番号を示す情報）とを対応付けて欠陥画素管理テーブル７１４に書き込む（ステップＳＡ１２０）。逆に、ステップＳＡ１１０の判定結果が“Ｎｏ”である場合には、不具合の程度が高い欠陥画素であることを示す指標値（本実施形態では、１）と上記位置情報とを対応付けて欠陥画素管理テーブル７１４に書き込む（ステップＳＡ１３０）。

図５は、欠陥画素管理テーブル７１４の一例を示す図である。
この欠陥画素管理テーブル７１４には、欠陥画素検出手段７１２により欠陥画素であると判定された画素の位置情報に対応付けてその不具合の程度を示す指標値が格納される。つまり、欠陥画素検出手段７１２により欠陥画素検出処理が実行された後においては、欠陥画素管理テーブル７１４の格納内容を参照することによって、撮像部１０Ａの撮像面における欠陥画素の位置および不具合の程度を把握することができるのである。この欠陥画素管理テーブル７１４の格納内容は、画素値補正処理にて利用される。

図２に戻って、画素値補正手段７１６は、画像メモリ３０に記憶されている画像データを後段の装置へ出力する際に、欠陥画素の画素値をその不具合の程度に応じた態様で補正しつつ出力する手段である。より詳細に説明すると、画素値補正手段７１６は、不具合の程度が高い欠陥画素については、その画素値を周辺画素の画素値の平均値に置き換えることでその補正を行う一方、不具合の程度が低い欠陥画素については、その画素値と上記平均値とを重み比率ｋで重み付け平均した値に置き換えることでその補正を行う。

図６は、画素値補正手段７１６が実行する画素値補正処理の流れを示すフローチャートである。画素値補正手段７１６は、撮像部１０Ａに含まれる複数の画素１０の各々を処理対象画素とし、処理対象画素毎に画素値補正処理を実行する。図６に示すように、画素値補正手段７１６は、まず、処理対象画素が欠陥画素であるか否かを判定する（ステップＳＢ１００）。より詳細に説明すると、画素値補正手段７１６は、処理対象画素の位置と同一の位置を示す位置情報が欠陥画素管理テーブル７１４に格納されている場合には、その処理対象画素は欠陥画素であると判定し、逆に、同位置情報が欠陥画素管理テーブル７１４に格納されていない場合には、欠陥画素ではないと判定する。

ステップＳＢ１００の判定結果が“Ｎｏ”である場合（すなわち、欠陥画素ではないと判定された場合）には、画素値補正手段７１６は、処理対象画素の原画素値（画像メモリ３０に記憶されている画像データにおける当該画素の画素値）に補正を加えることなく、後段の装置へ出力する（ＳＢ１１０）。欠陥画素でなければ、特段の補正は不要だからである。これに対して、ステップＳＢ１００の判定結果が“Ｙｅｓ”である場合（すなわち、処理対象画素が欠陥画素である場合）には、画素値補正手段７１６は、処理対象画素の位置情報に対応付けて欠陥画素管理テーブル７１４に格納されている指標値を読み出し、その処理対象画素についての不具合の程度を判定する（ステップＳＢ１２０）。具体的には、画素値補正手段７１６は、上記指標値が“０”であるか否かを判定する。

ステップＳＢ１２０の判定結果が“Ｎｏ”である場合（すなわち、処理対象画素についての指標値が“１”である場合）には、画素値補正手段７１６は、処理対象画素の原画素値を破棄し、周辺画素の画素値の平均値Ｙで置き換えて出力する（ステップＳＢ１３０）。前述したように、指標値が“１”であることは、不具合の程度が高く、原画素値Ｘ_０を使用することはできないからである。これに対して、ステップＳＢ１２０の判定結果が“Ｙｅｓ”である場合は、画素値補正手段７１６は、処理対象画素の画素値を、原画素値Ｘ_０と上記周辺画素の画素値の平均値Ｙを以下の式（１）にしたがって重み付け平均した値Ｚに置き換えて出力する（ステップＳＢ１４０）。
Ｚ＝（１―ｋ）×Ｘ_０＋ｋ×Ｙ…（１）

式（１）の重み比率ｋは０から１の範囲の値であって、重み調整手段７１８によって露光時間ｔの長さに応じて算出される。図７（ａ）は、重み調整手段７１８が算出する重み比率ｋと露光時間ｔの長さとの関係を示すグラフである。図７（ａ）に示すように、重み比率ｋの値は、露光時間ｔの対数値（１０を底とする対数値）に対して０から１まで線形に増加し、露光時間ｔが所定の長さ（図７（ａ）では１０ミリ秒）に達した後は、一定値（１）となる。なお、本実施形態では、露光時間ｔが一定値に達するまで、露光時間ｔの対数値に応じて線形に増加するように重み比率ｋを算出したが、図７（ｂ）や図７（ｃ）に示すように露光時間ｔの対数値に対して非線形に増加するように重み比率ｋを算出しても勿論良い。図７（ａ）、図７（ｂ）および図７（ｃ）の何れの態様で重み比率ｋを算出するのかについては、撮像部１０Ａの特性との関係で定めるようにすれば良い。

図８は、欠陥画素管理テーブル７１４の格納内容が図５に示す状態となっているＣＭＯＳ固体撮像装置で、露光時間を０．００１ミリ秒、０．１ミリ秒および１００ミリ秒として撮像を行った場合における欠陥画素の補正の様子を示す図である。図８では、＃１の欠陥画素（２行４列目に位置する欠陥画素）と＃２の欠陥画素（１５行１０列目に位置する欠陥画素）の補正の様子が示されている。

図５を参照すれば明らかように、＃１の欠陥画素は、指標値が０であるから、不具合の程度が低い欠陥画素である。＃１の欠陥画素についての画素値補正処理では、ステップＳＢ１２０の判定結果は“Ｙｅｓ”となり、前掲式（１）にしたがって画素値の補正（ステップＳＢ１４０）が実行される。図７（ａ）に示すように、露光時間が０．００１ミリ秒の場合は重み比率ｋは０．２となり、露光時間が０．１ミリ秒の場合は重み比率ｋは０．５となり、露光時間が１００ミリ秒の場合は重み比率ｋは１．０となる。このため、＃１の欠陥画素の画素値は、露光時間が０．００１ミリ秒の場合は“（４／５）Ｘ_０＋（１／５）Ｙ”と補正され、露光時間が０．１ミリ秒の場合は“（１／２）Ｘ_０＋（１／２）Ｙと補正され、露光時間が１００ミリ秒の場合は“Ｙ”と補正される。つまり、＃１の欠陥画素については、露光時間が短いほど原画素値を大きな比率で生かしつつ画素値の補正が行われるのである。これに対して、＃２の欠陥画素は、指標値が１であるから、不具合の程度が高い欠陥画素である。＃２の欠陥画素についての画素値補正処理では、ステップＳＢ１２０の判定結果は“Ｎｏ”となり、その画素値を周辺画素の平均値Ｙに置き換える補正（ステップＳＢ１３０）が実行される。このため、＃２の欠陥画素については、露光時間の長さによらず、補正後の画素値は常に“Ｙ”となるのである。

以上説明したように本実施形態によれば、欠陥画素の不具合の程度に応じて異なる態様で画素値の補正が行われるとともに、不具合の程度が低い欠陥画素については、露光時間の長さに応じた重みで原画素値を生かしつつ画素値の補正が行われる。このように本実施形態によれば、不具合の程度が低い欠陥画素については、露光時間の長さに応じた重みで原画素値を生かしつつ画素値の補正が行われるため、撮像画像における被写体の再現性を大きく損なうことはない。つまり、本実施形態によれば、撮像画像における被写体の再現性を大きく損なうことなく、固体撮像装置の欠陥画素に起因して生じる白キズを補正することが可能になるのである。

（Ｂ：変形）
以上、本発明の一実施形態について説明したが、この実施形態を以下のように変形しても勿論良い。
（１）上述した実施形態では、ＣＭＯＳ固体撮像装置に本発明を適用したが、ＣＣＤ固体撮像装置に本発明を適用しても勿論良い。要は、撮像面が複数の画素で構成されており、かつ、白キズの発生頻度が露光時間の長さに依存するような固体撮像装置であれば、本発明の適用により、白キズ補正を効果的に行うことができる。

（２）上述した実施形態では、欠陥画素検出手段７１２、画素値補正手段７１６および重み調整手段７１８の各々をソフトウェアモジュールで実現したが、これら各手段を電子回路で実現し、これら電子回路と欠陥画素管理テーブル７１４とを組み合わせて白キズ補正部７１０を構成しても勿論良い。また、上述した実施形態では、本発明の一実施形態たる白キズ補正部７１０を、ＣＭＯＳ撮像装置の画像処理部７０に組み込んだが、各々電子回路で構成された欠陥画素検出手段７１２、画素値補正手段７１６および重み調整手段７１８と、欠陥画素管理テーブル７１４と、を組み合わせて白キズ補正装置を構成し、この白キズ補正装置の各部を固体撮像装置の各部にケーブル等で接続することで、図２に示す構成となるようにしても勿論良い。

（３）上述した実施形態では、注目画素が欠陥画素であると判定される場合（すなわち、注目画素の画素値Ｘ_０と周辺画素の画素値の平均値Ｙとの差の絶対値が閾値ｔｈ_１を上回る場合）には、さらに、Ｘ_０−Ｙの絶対ちと閾値ｔｈ_２との比較により、その欠陥画素の不具合の程度を判定した。しかし、欠陥画素の不具合の程度によらず、露光時間ｔに応じて定まる重み比率ｋで原画素値と上記平均値とを重み付け平均した値で画素値の補正を行うようにしても良い。具体的には、図４に示す欠陥画素検出処理にてステップＳＡ１００の判定結果が“Ｙｅｓ”である場合には、ステップＳＡ１１０の判定を行うことなく欠陥画素の位置情報を欠陥画素管理テーブル７１４に書き込む処理を欠陥画素検出手段７１２に実行させる。一方、画素値補正手段７１６には、ステップＳＢ１００の判定結果が“Ｙｅｓ”である場合には、ステップＳＢ１２０の判定を行うことなく、ステップＳＢ１３０の処理を実行させるようにするのである。

（４）上述した実施形態では、欠陥画素検出処理および画素値補正処理を実現する画像処理プログラムが白キズ補正部７１０の不揮発性メモリに予め格納されていたが、ＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）などのコンピュータ読み取り可能な記録媒体に上記プログラムを書き込んで配布しても良く、また、インターネットなどの電気通信回線経由のダウンロードにより上記プログラムを配布しても良い。

１０Ａ…撮像部、１０…画素、２０…カラムＣＤＳ部、３０…カラムＡＤＣ部、４０…水平走査回路、５０…タイミングジェネレータ、６０…垂直走査回路、７０…画像処理部、７１０…白キズ補正部、７１２…欠陥画素検出手段、７１４…欠陥画素管理テーブル、７１６…画素値補正手段、７１８…重み調整手段、７２０…画像合成部、７３０…画像メモリ、８０…Ｕ／Ｉ部、９０…制御部。

Claims (3)

1. 複数の画素をマトリクス状に配列した撮像面を有する固体撮像素子に、遮光した状態で予め定められた露光時間の撮像を行わせた場合において、前記複数の画素の各々を注目画素とし、当該注目画素の周辺画素の画素値の平均値と当該注目画素の画素値との差分から当該注目画素が欠陥画素であるか否かを判定し、欠陥画素と判定される場合には、前記撮像面における当該注目画素の位置を示す位置情報を欠陥画素管理テーブルに書き込む欠陥画素検出手段と、
   利用者により指示された露光時間の撮像を前記固体撮像素子に行わせ、前記複数の画素の各々の画素値が得られた場合において、前記欠陥画素管理テーブルに記憶されている位置情報の示す画素については、当該画素の原画素値を、当該画素の周辺画素の画素値の平均値と当該原画素値との重み付け平均に置き換えて補正する画素値補正手段と、
   前記利用者により指示された露光時間が長いほど、前記重み付け平均における前記周辺画素の画素値の平均値の重みを大きくする重み調整手段と、
   を有することを特徴とする固体撮像素子の白キズ補正装置。
2. 前記欠陥画素検出手段は、
   欠陥画素と判定される画素の位置情報を前記欠陥画素管理テーブルに書き込む際に、当該欠陥画素の不具合の程度を当該欠陥画素の画素値とその周辺画素の画素値の平均値との差分に応じて判定し、その不具合の程度を示す指標値を前記位置情報に対応付けて前記欠陥画素管理テーブルへ書き込み、
   前記画素値補正手段は、
   前記位置情報に対応付けて前記欠陥画素管理テーブルに格納されている指標値の示す不具合の程度が低い欠陥画素については、前記重み付け平均との置き換えにより画素値を補正し、不具合の程度が高い欠陥画素については、周辺画素の画素値の平均値との置き換えにより画素値を補正する
   ことを特徴とする請求項１に記載の固体撮像素子の白キズ補正装置。
3. 前記欠陥画素検出手段は、
   前記複数の画素の各々について欠陥画素か否かを判定する際には、前記固体撮像素子を使用した撮像にて指定し得る最長の露光時間で撮像を行う
   ことを特徴とする請求項１または２に記載の固体撮像素子の白キズ補正装置。
   

Images