JP2010272916A - 固体撮像素子の白キズ補正装置 - Google Patents
固体撮像素子の白キズ補正装置 Download PDFInfo
- Publication number
- JP2010272916A JP2010272916A JP2009120643A JP2009120643A JP2010272916A JP 2010272916 A JP2010272916 A JP 2010272916A JP 2009120643 A JP2009120643 A JP 2009120643A JP 2009120643 A JP2009120643 A JP 2009120643A JP 2010272916 A JP2010272916 A JP 2010272916A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- defective
- value
- pixels
- defective pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
【課題】撮像画像における被写体の再現性を大きく損なうことなく、固体撮像素子の欠陥画素に起因して生じる白キズを補正する技術を提供する。
【解決手段】固体撮像素子を遮光しかつ一定の露光時間で撮像を行った場合において、固体撮像素子の複数の画素の各々を注目画素とし、当該注目画素の周辺画素の画素値の平均値と当該注目画素の画素値との差分から当該注目画素が撮像画像にて白キズとなって現れる欠陥画素であるか否かを判定する。そして、欠陥画像である場合には、固体撮像素子の撮像面における当該注目画素の位置を示す位置情報を記憶する。一方、利用者により指定された露光時間での撮像を行う際には、当該位置情報の示す欠陥画素については、当該欠陥画素の原画素値と周辺画素の画素値の平均値とを露光時間に応じた比率(露光時間が短いほど前者の比率が高い)で重み付け平均した値に置き換えて画素値を補正する。
【選択図】図2
【解決手段】固体撮像素子を遮光しかつ一定の露光時間で撮像を行った場合において、固体撮像素子の複数の画素の各々を注目画素とし、当該注目画素の周辺画素の画素値の平均値と当該注目画素の画素値との差分から当該注目画素が撮像画像にて白キズとなって現れる欠陥画素であるか否かを判定する。そして、欠陥画像である場合には、固体撮像素子の撮像面における当該注目画素の位置を示す位置情報を記憶する。一方、利用者により指定された露光時間での撮像を行う際には、当該位置情報の示す欠陥画素については、当該欠陥画素の原画素値と周辺画素の画素値の平均値とを露光時間に応じた比率(露光時間が短いほど前者の比率が高い)で重み付け平均した値に置き換えて画素値を補正する。
【選択図】図2
Description
本発明は、イメージセンサにより撮像した画像の白キズを補正する技術に関する。
CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの固体撮像素子を用いた撮像装置が一般に普及している。この種の固体撮像素子の撮像面は複数の画素をマトリクス状に配列して構成されている。固体撮像素子を用いた撮像装置では、その撮像面に被写体の光学像を結像させ、一定時間長のフレーム(垂直走査期間)毎に各画素から画素信号を読み出す処理が繰り返し実行される。固体撮像素子の撮像面を構成する各画素に着目すると、前回の画素信号の読み出しから今回の画素信号の読み出しまでの期間である1フレームが露光時間となり、今回読み出される画素信号の信号値である画素値は、露光時間内における画素の受光量を反映したものとなる。
ところで、固体撮像素子の撮像面を構成する複数の画素のなかには、ダストの付着や結晶欠陥等により、画素信号を正常に出力せず、撮像画像に白キズを生じさせるもの(以下、欠陥画素)が含まれている場合がある。このような欠陥画素は全くないことが好ましいのであるが、固体撮像素子には数十万〜数百万個の画素が含まれているため、欠陥画素が全く無いように固体撮像素子を製造することは極めて困難である。そこで、固体撮像素子に含まれる複数の画素のなかには、ある程度の数の欠陥画素が含まれていることを前提に、各画素から読み出される画素信号に後処理を施すことで、欠陥画素に起因して生じる白キズを補正し、その影響を緩和する技術が提案されている(例えば、特許文献1参照)。
特許文献1に開示された技術では、撮像装置の工場出荷時に欠陥画素の位置を検出しておき、ユーザがその撮像装置を用いて撮像を行う際には、欠陥画素の周辺に位置する画素(以下、周辺画素)の画素値を用いてその欠陥画素の画素値を補正(例えば周辺画素の画素値の平均値で欠陥画素の画素値を置き換える等)することで白キズの影響が緩和される。より詳細に説明すると、特許文献1に開示された技術では、撮像装置の工場出荷時に、各々異なる長さの露光時間で真っ暗な画像を撮像し(固体撮像素子を遮光した状態で撮像する等)、各画像にて白キズとなって現れる欠陥画素の位置を検出し、その欠陥画素の位置を示す白キズ情報を露光時間毎に記憶する。ここで、各々異なる長さの露光時間で欠陥画素の位置を検出するのは、白キズは結晶欠陥に起因して生じるため、固体撮像素子の使用状況(露光時間等)に応じて発生頻度が変化する(露光時間が長くなるほど白キズは増加する)からである。また、真っ暗な画像を撮像して白キズの検出を行うのは、このような状態では、固体撮像素子に含まれる複数の画素が全て正常であれば、各画素の画素値は一定になるため、欠陥画素を検出し易くなるからである。
白キズとなって現れる欠陥画素の数が露光時間の長さに応じて変動するということは、欠陥画素毎に不具合の程度が異なり、その不具合が顕在化し始める露光時間が欠陥画素毎に異なるということを意味している。したがって、ある長さの露光時間で検出される欠陥画素のなかには、さほど顕著な白キズとなって現れず、画素値の補正を殆ど要しないものが含まれている場合がある。このように画素値の補正を殆ど要しない欠陥画素であれば、原画素値をそのまま用いるほうが被写体を忠実に再現するという観点からは好ましい。しかし、特許文献1に開示された技術では、白キズの程度(欠陥画素の不具合の程度)によらず、一律に欠陥画素の画素値を周辺画素の画素値を用いて補正するため、不具合の程度が低い欠陥画素についても補正が行われ、撮像画像における被写体の再現性が大きく損なわれる虞がある。
本発明は上記課題に鑑みて為されたものであり、撮像画像における被写体の再現性を大きく損なうことなく、固体撮像素子の欠陥画素に起因して生じる白キズを補正する技術を提供することを目的とする。
上記課題を解決するために本発明は、複数の画素をマトリクス状に配列した撮像面を有する固体撮像素子に、遮光した状態で予め定められた露光時間の撮像を行わせた場合において、前記複数の画素の各々を注目画素とし、当該注目画素の周辺画素の画素値の平均値と当該注目画素の画素値との差分から当該注目画素が欠陥画素であるか否かを判定し、欠陥画素と判定される場合には、前記撮像面における当該注目画素の位置を示す位置情報を欠陥画素管理テーブルに書き込む欠陥画素検出手段と、利用者により指示された露光時間の撮像を前記固体撮像素子に行わせ、前記複数の画素の各々の画素値が得られた場合において、前記欠陥画素管理テーブルに記憶されている位置情報の示す画素については、当該画素の原画素値を、当該画素の周辺画素の画素値の平均値と当該原画素値との重み付け平均に置き換えて補正する画素値補正手段と、前記利用者により指示された露光時間が長いほど、前記重み付け平均における前記周辺画素の画素値の平均値の重みを大きくする重み調整手段とを有することを特徴とする固体撮像素子の白キズ補正装置を提供する。なお、本発明の別の態様においては、コンピュータを上記各手段として機能させることを特徴とするプログラムを提供する態様であっても良い。
このような白キズ補正装置およびプログラムによれば、固体撮像素子の撮像面を構成する複数の画素の各々について、その画素値と周辺画素の画素値の平均値との差に基づいて欠陥画素であるか否かが判定され、欠陥画素と判定される場合には、撮像面における当該画素の位置が欠陥画素管理テーブルに記録される。そして、上記固体撮像素子を用いた撮像の際には、欠陥画素管理テーブルに位置が記録されている画素については、その画素値を当該画素値と周辺画素の画素値の平均値との重み付け平均(露光時間が長いほど後者の重みを大きくした重み付け平均(換言すれば、露光時間が短いほど前者の重みを大きくした重み付け平均))に置き換える補正が行われる。つまり、本発明によれば欠陥画素の原画素値を露光時間が短いほど大きな重みで生かしつつ、その欠陥画素の画素値を補正することができる。
より好ましい態様においては、前記白キズ補正装置の欠陥画素検出手段は、欠陥画素と判定される画素の位置情報を前記欠陥画素管理テーブルに書き込む際に、当該欠陥画素の不具合の程度を当該欠陥画素の画素値とその周辺画素の画素値の平均値との差分に応じて判定し、その不具合の程度を示す指標値を前記位置情報に対応付けて前記欠陥画素管理テーブルへ書き込み、前記画素値補正手段は、前記位置情報に対応付けて前記欠陥画素管理テーブルに格納されている指標値の示す不具合の程度が低い欠陥画素については、前記重み付け平均による置き換えで画素値を補正し、不具合の程度が高い欠陥画素については、周辺画素の画素値の平均値による置き換えで画素値を補正することを特徴とする。このような態様によれば、不具合の程度が低い欠陥画素については露光時間の長さに応じた態様で画素値が補正される一方、不具合の程度が高い欠陥画素については、露光時間の長さによらず、その画素値を常に周辺画素の画素値の平均値で置き換える補正が行われる。つまり、本態様によれば、欠陥画素の不具合の程度に応じて異なる態様で画素値を補正することが可能になる。
また、別の好ましい態様においては、前記白キズ補正装置の欠陥画素検出手段は、前記複数の画素の各々について欠陥画素か否かを判定する際には、前記固体撮像素子を使用した撮像にて指定し得る最長の露光時間で撮像を行うことを特徴とする。前述したように、欠陥画素が有する不具合は露光時間が長くなるほど顕在化するので、このような態様によれば、撮像画像において白キズとなって現れ得る全ての欠陥画素を検出することができると期待される。
以下、図面を参照しつつ本発明の実施の形態について説明する。
(A:実施形態)
図1は、本発明の一実施形態である白キズ補正部を含むCMOS固体撮像装置の構成例を示すブロック図である。なお、本実施形態では、図1に示す構成のCMOS固体撮像装置に本発明を適用するが、他の構成のCMOS固体撮像装置に本発明を適用しても良いことは勿論である。
撮像部10Aは、図1に示すように、複数の画素10をマトリクス状に配列して構成されている。各列をなす複数の画素10は、列毎に設けられた列信号線11に接続される。各列信号線11は、図1に示すように、カラムCDS(Correlated Double Sampling;相関2重サンプリング)部20に接続されている。
(A:実施形態)
図1は、本発明の一実施形態である白キズ補正部を含むCMOS固体撮像装置の構成例を示すブロック図である。なお、本実施形態では、図1に示す構成のCMOS固体撮像装置に本発明を適用するが、他の構成のCMOS固体撮像装置に本発明を適用しても良いことは勿論である。
撮像部10Aは、図1に示すように、複数の画素10をマトリクス状に配列して構成されている。各列をなす複数の画素10は、列毎に設けられた列信号線11に接続される。各列信号線11は、図1に示すように、カラムCDS(Correlated Double Sampling;相関2重サンプリング)部20に接続されている。
カラムCDS部20は、撮像部10Aにおける画素10の列毎に設けられたCDS回路の集合体である。各CDS回路は、タイミングジェネレータ50から2種類のサンプリングパルスが与えられる各タイミングにおいて、撮像部10Aの各列信号線11に読み出される電圧を各々サンプリングして差分を検出し、アナログ画素信号を各々出力する。カラムADC部30は、撮像部10Aにおける画素10の列毎に設けられたADC(Analog to Digital Converter)の集合体である。各ADCは、タイミングジェネレータ50による制御の下、各CDS回路から出力されるアナログ画素信号をデジタル画素信号に変換する。
水平走査回路40は、撮像部10Aの列数と同じステージ数のシフトレジスタである。この水平走査回路40は、タイミングジェネレータ50による制御の下、水平走査期間毎にカラムADC部30から出力される1行分のデジタル画素信号を取り込み、画像処理部70にシリアル転送する動作を繰り返す。タイミングジェネレータ50は、垂直走査回路60、カラムCDS部20、カラムADC部30、水平走査回路40等、CMOS固体撮像装置の各部のタイミング制御のための信号を発生する回路である。垂直走査回路60は、タイミングジェネレータ50による制御の下、露光のための撮像部10Aの駆動制御、すなわち、撮像部10Aの各行の選択および画素信号の読み出し制御を行う回路である。
画像処理部70は、水平走査回路40から供給される1行分のデジタル画素信号を蓄積しつつ処理し、フレーム毎に一画面分の画像データを合成する装置である。本実施形態のCMOS固体撮像装置は、欠陥画素検出モードと撮像モードの2つの動作モードを有しており、画像処理部70は、これら2つの動作モードの各々で異なる処理を実行する。欠陥画素検出モードは、CMOS固体撮像装置の工場出荷時に製品検査などで実行される動作モードである。この欠陥画素検出モードにおいては、画像処理部70は上記一画面分の画像データを解析して撮像画像にて白キズとなって現れ得る欠陥画素を検出し、その欠陥画素の位置を示す位置情報(撮像面の左上隅の画素を一行一列目の画素とした場合における当該画素の行番号および列番号等)を記憶する処理(以下、欠陥画素検出処理)を実行する。一方、撮像モードは、ユーザがCMOS固体撮像装置を用いて実際に撮像を行う際の動作モードである。この撮像モードにおいては、画像処理部70は、一画面分の画像データに対して、欠陥画素として記憶した画素の画素値をその周辺画素の画素値を利用して補正する処理(以下、画素値補正処理)を施し、後段の装置へ出力する。画像処理部70の後段の装置が液晶ディスプレイ等の表示装置であれば、画像処理部70から出力される一画面分の画像データに応じた画像がこの表示装置に表示される。また、画像処理部70の後段の装置が、ハードディスなどの記録媒体であれば、画像処理部70から出力される一画面分の画像データはこの記録媒体に記録される。
U/I(ユーザインタフェース)部80は、液晶表示パネル等の表示装置と押しボタン等の各種の操作子により構成されている。U/I部80は、CMOS固体撮像装置の操作に関する各種の案内情報を表示し、操作子を介して撮像条件等に関する各種の情報をユーザから取得する役割や動作モードの指示を行わせる役割を果たす。制御部90は、U/I部80を介して与えられる指示に従い、CMOS固体撮像装置の各部の制御を行う装置である。より詳細に説明すると、制御部90は、U/I部80を介して与えられる指示にしたがってCMOS固体撮像装置の動作モードの切り換えや、その切り換えに伴う各部の駆動制御、撮像条件等に関する各種情報の受け渡しを行う。
例えば、欠陥画素検出モードでの作動を指示された場合には、制御部90は、撮像部10Aが遮光された状態となるように絞り(図示省略)の調整を行い、CMOS固体撮像装置に設定し得る最長の露光時間を設定する。このように撮像部10Aを遮光した状態で撮像を行うのは、特許文献1に開示された技術と同様に、撮像部10Aに含まれる複数の画素10の各々が全て正常であれば各画素10の画素値は一定になり、欠陥画素を検出し易くなるからである。また、露光時間を最長に設定するのは、撮像画像にて白キズとなって現れ得る欠陥画素を全て検出することができるようにするためである。これに対して、撮像モードでの作動を指示された場合には、制御部90は、利用者により指示された露光時間を示すデータを画像処理部70に与える。これは、露光時間に応じた態様で欠陥画素の画素値を補正する画素値補正処理を画像処理部70に実行させるためである。
図2は、画像処理部70の構成例を示す機能ブロック図である。
図2に示すように、画像処理部70は、白キズ補正部710と、画像合成部720と、画像メモリ730とを含んでいる。画像合成部720は、水平走査回路40から順次与えられる1行分のデジタル画素信号からフレーム毎に一画面分の画像データを合成する装置である。画像メモリ730は所謂フレームメモリであり、画像合成部720により合成された一画面分の画像データを記憶する。これら画像合成部720および画像メモリ730については一般的な固体撮像装置が備えるものと何ら変るところはないため詳細な説明を省略し、以下では白キズ補正部710を中心に説明する。
図2に示すように、画像処理部70は、白キズ補正部710と、画像合成部720と、画像メモリ730とを含んでいる。画像合成部720は、水平走査回路40から順次与えられる1行分のデジタル画素信号からフレーム毎に一画面分の画像データを合成する装置である。画像メモリ730は所謂フレームメモリであり、画像合成部720により合成された一画面分の画像データを記憶する。これら画像合成部720および画像メモリ730については一般的な固体撮像装置が備えるものと何ら変るところはないため詳細な説明を省略し、以下では白キズ補正部710を中心に説明する。
白キズ補正部710は、CPU(Central Processing Unit)や、RAM(Random Access Memory)等の揮発性メモリ、ROM(Read
Only Memory)やEEPROM(Erasable Programmable ROM)等からなる不揮発性メモリで構成されたコンピュータ装置である(図2では、何れも図示省略)。上記RAMは、上記CPUに各種プログラムを実行させる際のワークエリアの役割を果たす。上記EEPROMには、欠陥画素管理テーブル714が格納されている。この欠陥画素管理テーブル714の詳細については後に明らかにする。上記ROMには、上記CPUに欠陥画素検出処理や画素値補正処理を実行させるための画像処理プログラムが格納されている。上記CPUは上記画像処理プログラムを実行することにより、図2に示すスイッチSW、欠陥画素検出手段712、画素値補正手段716および重み調整手段718として機能する。図2のスイッチSWの切り換えは、制御部90によって行われる。より詳細に説明すると、欠陥画素検出モードにおいては、画像メモリ30から読み出した画像データが欠陥画素検出手段712に与えられるようにスイッチSWの切り換えが行われ、撮像モードにおいては、同画像データが画素値補正手段716に与えられるようにスイッチSWの切り換えが行われる。
Only Memory)やEEPROM(Erasable Programmable ROM)等からなる不揮発性メモリで構成されたコンピュータ装置である(図2では、何れも図示省略)。上記RAMは、上記CPUに各種プログラムを実行させる際のワークエリアの役割を果たす。上記EEPROMには、欠陥画素管理テーブル714が格納されている。この欠陥画素管理テーブル714の詳細については後に明らかにする。上記ROMには、上記CPUに欠陥画素検出処理や画素値補正処理を実行させるための画像処理プログラムが格納されている。上記CPUは上記画像処理プログラムを実行することにより、図2に示すスイッチSW、欠陥画素検出手段712、画素値補正手段716および重み調整手段718として機能する。図2のスイッチSWの切り換えは、制御部90によって行われる。より詳細に説明すると、欠陥画素検出モードにおいては、画像メモリ30から読み出した画像データが欠陥画素検出手段712に与えられるようにスイッチSWの切り換えが行われ、撮像モードにおいては、同画像データが画素値補正手段716に与えられるようにスイッチSWの切り換えが行われる。
欠陥画素検出手段712は、画像メモリ30に記憶されている画像データを解析し、撮像部10Aを構成する複数の画素10のうち撮像画像にて白キズとなって現れる得る欠陥画素を検出する欠陥画素検出処理を実行する。より詳細に説明すると、欠陥画素検出手段712は、撮像部10Aの撮像面において欠陥画素が連続していないことを前提に、撮像部10Aを構成する複数の画素10の各々を注目画素とし、その注目画素の画素値X0と周辺画素(図3(b)に示すように、注目画素の上下左右に隣接する画素)の画素値(図3(b):X1〜X4)の平均値(本実施形態では、相加平均)とを比較し、両者が大きく異なるときにその注目画素を欠陥画素と判定する。
ここで、欠陥画素が連続していないことを前提とするのは、欠陥画素が連続しているようなCMOS固体撮像装置は不良品であり、工場出荷時の製品検査にて排除されておくべきものだからである。また、注目画素の画素値と周辺画素の画素値の平均値とを比較することで、その注目画素が欠陥画素であるか否かを判定することができる理由は以下の通りである。前述したように、欠陥画素検出モードにおいては、撮像部10Aを遮光した状態で撮像が行われ、その撮像画像に対応する画像データが画像メモリ30に格納される。撮像部10Aに含まれる画素10が全て正常であれば、各画素10の画素値のS/N比(被写体の輝度に対応した信号成分Sとノイズ成分Nとの比)は露光時間の長さに依らず略一定となる。これに対して、結晶欠陥等を有する欠陥画素の場合は、図3(a)に示すように、露光時間tが長くなるほどノイズ成分Nの比率が高くなり、同一の撮像条件(露光時間)において正常な画素が出力する画素値とは異なる画素値を出力すると考えられる。このように欠陥画素は正常な周辺画素とは異なる画素値を出力すると考えられるため、注目画素の画素値を周辺画素の画素値の平均値と比較することでその注目画素が欠陥画素であるか否かを判定することができるのである。なお、撮像面にて最上段、最下段、左端列或いは右端列に位置する画素については、その配置位置に応じた態様で周辺画素の画素値の平均値を算出しても良く(例えば、左上隅の画素については、下側および右隣の画素の画素値X2およびX4の相加平均と比較して欠陥画素か否かを判定すれば良い)、また、これらの画素に欠陥画素が含まれていても、画像全体の画質等に与える影響が小さいため、欠陥画素の検出対象から除外しても勿論良い。
図4は、欠陥画素検出手段712が注目画素毎に実行する欠陥画素検出処理の流れを示すフローチャートである。欠陥画素検出手段712は、まず、画像メモリ730から注目画素の画素値X0および周辺画素の画素値X1〜X4を読み出す。次いで、欠陥画素検出手段712は、周辺画素の画素値の平均値Y(Y=(X1+X2+X3+X4)/4)と注目画素の画素値X0との差の絶対値が閾値th1を超えているか否かを判定し(ステップSA100)、その判定結果が“No”である場合には、欠陥画素検出処理を終了する。周辺画素の画素値の平均値Yと画素値X0との差分の絶対値が閾値th1以下である(すなわち、両者が大きく異ならない)ならば、注目画素は欠陥画素ではないと考えられるからである。この閾値th1については、画像処理プログラム内に固定値を予め埋め込んでおいても良く、また、欠陥画素検出モードへの動作モードの切り換えの際に、撮像部10Aの特性との関係で適切な値を制御部90に設定させるようにしても良い。
ステップSA100の判定結果が“Yes”である場合、欠陥画素検出手段712は、X0―Yの絶対値が所定の閾値th2(th2>th1)を下回っているか否かを判定する(ステップSA110)。前述したように、欠陥画素については、欠陥(不具合)の程度が高いほど、同一の撮像条件(露光時間)において正常な画素が出力する画素値とは異なる画素値を出力すると考えられる。つまり、このステップSA110では、ステップSA100にて欠陥画素であると判定された注目画素について、不具合の程度が高い欠陥画素であるか否かが判定されるのである。この閾値th2についても、画像処理プログラム内に固定値を予め埋め込んでおいても良く、また、欠陥画素検出モードへの動作モードの切り換えの際に、撮像部10Aの特性との関係で適切な値を制御部90に設定させるようにしても良い。
そして、欠陥画素検出手段712は、ステップSA110の判定結果が“Yes”である場合には、不具合の程度が低い欠陥画素であることを示す指標値(本実施形態では、0)と当該注目画素の撮像面における位置を示す位置情報(前述したように、本実施形態では、撮像面の左上隅を1行1列目の画素とした場合における注目画素の行番号および列番号を示す情報)とを対応付けて欠陥画素管理テーブル714に書き込む(ステップSA120)。逆に、ステップSA110の判定結果が“No”である場合には、不具合の程度が高い欠陥画素であることを示す指標値(本実施形態では、1)と上記位置情報とを対応付けて欠陥画素管理テーブル714に書き込む(ステップSA130)。
図5は、欠陥画素管理テーブル714の一例を示す図である。
この欠陥画素管理テーブル714には、欠陥画素検出手段712により欠陥画素であると判定された画素の位置情報に対応付けてその不具合の程度を示す指標値が格納される。つまり、欠陥画素検出手段712により欠陥画素検出処理が実行された後においては、欠陥画素管理テーブル714の格納内容を参照することによって、撮像部10Aの撮像面における欠陥画素の位置および不具合の程度を把握することができるのである。この欠陥画素管理テーブル714の格納内容は、画素値補正処理にて利用される。
この欠陥画素管理テーブル714には、欠陥画素検出手段712により欠陥画素であると判定された画素の位置情報に対応付けてその不具合の程度を示す指標値が格納される。つまり、欠陥画素検出手段712により欠陥画素検出処理が実行された後においては、欠陥画素管理テーブル714の格納内容を参照することによって、撮像部10Aの撮像面における欠陥画素の位置および不具合の程度を把握することができるのである。この欠陥画素管理テーブル714の格納内容は、画素値補正処理にて利用される。
図2に戻って、画素値補正手段716は、画像メモリ30に記憶されている画像データを後段の装置へ出力する際に、欠陥画素の画素値をその不具合の程度に応じた態様で補正しつつ出力する手段である。より詳細に説明すると、画素値補正手段716は、不具合の程度が高い欠陥画素については、その画素値を周辺画素の画素値の平均値に置き換えることでその補正を行う一方、不具合の程度が低い欠陥画素については、その画素値と上記平均値とを重み比率kで重み付け平均した値に置き換えることでその補正を行う。
図6は、画素値補正手段716が実行する画素値補正処理の流れを示すフローチャートである。画素値補正手段716は、撮像部10Aに含まれる複数の画素10の各々を処理対象画素とし、処理対象画素毎に画素値補正処理を実行する。図6に示すように、画素値補正手段716は、まず、処理対象画素が欠陥画素であるか否かを判定する(ステップSB100)。より詳細に説明すると、画素値補正手段716は、処理対象画素の位置と同一の位置を示す位置情報が欠陥画素管理テーブル714に格納されている場合には、その処理対象画素は欠陥画素であると判定し、逆に、同位置情報が欠陥画素管理テーブル714に格納されていない場合には、欠陥画素ではないと判定する。
ステップSB100の判定結果が“No”である場合(すなわち、欠陥画素ではないと判定された場合)には、画素値補正手段716は、処理対象画素の原画素値(画像メモリ30に記憶されている画像データにおける当該画素の画素値)に補正を加えることなく、後段の装置へ出力する(SB110)。欠陥画素でなければ、特段の補正は不要だからである。これに対して、ステップSB100の判定結果が“Yes”である場合(すなわち、処理対象画素が欠陥画素である場合)には、画素値補正手段716は、処理対象画素の位置情報に対応付けて欠陥画素管理テーブル714に格納されている指標値を読み出し、その処理対象画素についての不具合の程度を判定する(ステップSB120)。具体的には、画素値補正手段716は、上記指標値が“0”であるか否かを判定する。
ステップSB120の判定結果が“No”である場合(すなわち、処理対象画素についての指標値が“1”である場合)には、画素値補正手段716は、処理対象画素の原画素値を破棄し、周辺画素の画素値の平均値Yで置き換えて出力する(ステップSB130)。前述したように、指標値が“1”であることは、不具合の程度が高く、原画素値X0を使用することはできないからである。これに対して、ステップSB120の判定結果が“Yes”である場合は、画素値補正手段716は、処理対象画素の画素値を、原画素値X0と上記周辺画素の画素値の平均値Yを以下の式(1)にしたがって重み付け平均した値Zに置き換えて出力する(ステップSB140)。
Z=(1―k)×X0+k×Y…(1)
Z=(1―k)×X0+k×Y…(1)
式(1)の重み比率kは0から1の範囲の値であって、重み調整手段718によって露光時間tの長さに応じて算出される。図7(a)は、重み調整手段718が算出する重み比率kと露光時間tの長さとの関係を示すグラフである。図7(a)に示すように、重み比率kの値は、露光時間tの対数値(10を底とする対数値)に対して0から1まで線形に増加し、露光時間tが所定の長さ(図7(a)では10ミリ秒)に達した後は、一定値(1)となる。なお、本実施形態では、露光時間tが一定値に達するまで、露光時間tの対数値に応じて線形に増加するように重み比率kを算出したが、図7(b)や図7(c)に示すように露光時間tの対数値に対して非線形に増加するように重み比率kを算出しても勿論良い。図7(a)、図7(b)および図7(c)の何れの態様で重み比率kを算出するのかについては、撮像部10Aの特性との関係で定めるようにすれば良い。
図8は、欠陥画素管理テーブル714の格納内容が図5に示す状態となっているCMOS固体撮像装置で、露光時間を0.001ミリ秒、0.1ミリ秒および100ミリ秒として撮像を行った場合における欠陥画素の補正の様子を示す図である。図8では、#1の欠陥画素(2行4列目に位置する欠陥画素)と#2の欠陥画素(15行10列目に位置する欠陥画素)の補正の様子が示されている。
図5を参照すれば明らかように、#1の欠陥画素は、指標値が0であるから、不具合の程度が低い欠陥画素である。#1の欠陥画素についての画素値補正処理では、ステップSB120の判定結果は“Yes”となり、前掲式(1)にしたがって画素値の補正(ステップSB140)が実行される。図7(a)に示すように、露光時間が0.001ミリ秒の場合は重み比率kは0.2となり、露光時間が0.1ミリ秒の場合は重み比率kは0.5となり、露光時間が100ミリ秒の場合は重み比率kは1.0となる。このため、#1の欠陥画素の画素値は、露光時間が0.001ミリ秒の場合は“(4/5)X0+(1/5)Y”と補正され、露光時間が0.1ミリ秒の場合は“(1/2)X0+(1/2)Yと補正され、露光時間が100ミリ秒の場合は“Y”と補正される。つまり、#1の欠陥画素については、露光時間が短いほど原画素値を大きな比率で生かしつつ画素値の補正が行われるのである。これに対して、#2の欠陥画素は、指標値が1であるから、不具合の程度が高い欠陥画素である。#2の欠陥画素についての画素値補正処理では、ステップSB120の判定結果は“No”となり、その画素値を周辺画素の平均値Yに置き換える補正(ステップSB130)が実行される。このため、#2の欠陥画素については、露光時間の長さによらず、補正後の画素値は常に“Y”となるのである。
以上説明したように本実施形態によれば、欠陥画素の不具合の程度に応じて異なる態様で画素値の補正が行われるとともに、不具合の程度が低い欠陥画素については、露光時間の長さに応じた重みで原画素値を生かしつつ画素値の補正が行われる。このように本実施形態によれば、不具合の程度が低い欠陥画素については、露光時間の長さに応じた重みで原画素値を生かしつつ画素値の補正が行われるため、撮像画像における被写体の再現性を大きく損なうことはない。つまり、本実施形態によれば、撮像画像における被写体の再現性を大きく損なうことなく、固体撮像装置の欠陥画素に起因して生じる白キズを補正することが可能になるのである。
(B:変形)
以上、本発明の一実施形態について説明したが、この実施形態を以下のように変形しても勿論良い。
(1)上述した実施形態では、CMOS固体撮像装置に本発明を適用したが、CCD固体撮像装置に本発明を適用しても勿論良い。要は、撮像面が複数の画素で構成されており、かつ、白キズの発生頻度が露光時間の長さに依存するような固体撮像装置であれば、本発明の適用により、白キズ補正を効果的に行うことができる。
以上、本発明の一実施形態について説明したが、この実施形態を以下のように変形しても勿論良い。
(1)上述した実施形態では、CMOS固体撮像装置に本発明を適用したが、CCD固体撮像装置に本発明を適用しても勿論良い。要は、撮像面が複数の画素で構成されており、かつ、白キズの発生頻度が露光時間の長さに依存するような固体撮像装置であれば、本発明の適用により、白キズ補正を効果的に行うことができる。
(2)上述した実施形態では、欠陥画素検出手段712、画素値補正手段716および重み調整手段718の各々をソフトウェアモジュールで実現したが、これら各手段を電子回路で実現し、これら電子回路と欠陥画素管理テーブル714とを組み合わせて白キズ補正部710を構成しても勿論良い。また、上述した実施形態では、本発明の一実施形態たる白キズ補正部710を、CMOS撮像装置の画像処理部70に組み込んだが、各々電子回路で構成された欠陥画素検出手段712、画素値補正手段716および重み調整手段718と、欠陥画素管理テーブル714と、を組み合わせて白キズ補正装置を構成し、この白キズ補正装置の各部を固体撮像装置の各部にケーブル等で接続することで、図2に示す構成となるようにしても勿論良い。
(3)上述した実施形態では、注目画素が欠陥画素であると判定される場合(すなわち、注目画素の画素値X0と周辺画素の画素値の平均値Yとの差の絶対値が閾値th1を上回る場合)には、さらに、X0−Yの絶対ちと閾値th2との比較により、その欠陥画素の不具合の程度を判定した。しかし、欠陥画素の不具合の程度によらず、露光時間tに応じて定まる重み比率kで原画素値と上記平均値とを重み付け平均した値で画素値の補正を行うようにしても良い。具体的には、図4に示す欠陥画素検出処理にてステップSA100の判定結果が“Yes”である場合には、ステップSA110の判定を行うことなく欠陥画素の位置情報を欠陥画素管理テーブル714に書き込む処理を欠陥画素検出手段712に実行させる。一方、画素値補正手段716には、ステップSB100の判定結果が“Yes”である場合には、ステップSB120の判定を行うことなく、ステップSB130の処理を実行させるようにするのである。
(4)上述した実施形態では、欠陥画素検出処理および画素値補正処理を実現する画像処理プログラムが白キズ補正部710の不揮発性メモリに予め格納されていたが、CD−ROM(Compact Disk-Read Only Memory)などのコンピュータ読み取り可能な記録媒体に上記プログラムを書き込んで配布しても良く、また、インターネットなどの電気通信回線経由のダウンロードにより上記プログラムを配布しても良い。
10A…撮像部、10…画素、20…カラムCDS部、30…カラムADC部、40…水平走査回路、50…タイミングジェネレータ、60…垂直走査回路、70…画像処理部、710…白キズ補正部、712…欠陥画素検出手段、714…欠陥画素管理テーブル、716…画素値補正手段、718…重み調整手段、720…画像合成部、730…画像メモリ、80…U/I部、90…制御部。
Claims (3)
- 複数の画素をマトリクス状に配列した撮像面を有する固体撮像素子に、遮光した状態で予め定められた露光時間の撮像を行わせた場合において、前記複数の画素の各々を注目画素とし、当該注目画素の周辺画素の画素値の平均値と当該注目画素の画素値との差分から当該注目画素が欠陥画素であるか否かを判定し、欠陥画素と判定される場合には、前記撮像面における当該注目画素の位置を示す位置情報を欠陥画素管理テーブルに書き込む欠陥画素検出手段と、
利用者により指示された露光時間の撮像を前記固体撮像素子に行わせ、前記複数の画素の各々の画素値が得られた場合において、前記欠陥画素管理テーブルに記憶されている位置情報の示す画素については、当該画素の原画素値を、当該画素の周辺画素の画素値の平均値と当該原画素値との重み付け平均に置き換えて補正する画素値補正手段と、
前記利用者により指示された露光時間が長いほど、前記重み付け平均における前記周辺画素の画素値の平均値の重みを大きくする重み調整手段と、
を有することを特徴とする固体撮像素子の白キズ補正装置。 - 前記欠陥画素検出手段は、
欠陥画素と判定される画素の位置情報を前記欠陥画素管理テーブルに書き込む際に、当該欠陥画素の不具合の程度を当該欠陥画素の画素値とその周辺画素の画素値の平均値との差分に応じて判定し、その不具合の程度を示す指標値を前記位置情報に対応付けて前記欠陥画素管理テーブルへ書き込み、
前記画素値補正手段は、
前記位置情報に対応付けて前記欠陥画素管理テーブルに格納されている指標値の示す不具合の程度が低い欠陥画素については、前記重み付け平均との置き換えにより画素値を補正し、不具合の程度が高い欠陥画素については、周辺画素の画素値の平均値との置き換えにより画素値を補正する
ことを特徴とする請求項1に記載の固体撮像素子の白キズ補正装置。 - 前記欠陥画素検出手段は、
前記複数の画素の各々について欠陥画素か否かを判定する際には、前記固体撮像素子を使用した撮像にて指定し得る最長の露光時間で撮像を行う
ことを特徴とする請求項1または2に記載の固体撮像素子の白キズ補正装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009120643A JP2010272916A (ja) | 2009-05-19 | 2009-05-19 | 固体撮像素子の白キズ補正装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009120643A JP2010272916A (ja) | 2009-05-19 | 2009-05-19 | 固体撮像素子の白キズ補正装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010272916A true JP2010272916A (ja) | 2010-12-02 |
Family
ID=43420632
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009120643A Withdrawn JP2010272916A (ja) | 2009-05-19 | 2009-05-19 | 固体撮像素子の白キズ補正装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010272916A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013225772A (ja) * | 2012-04-20 | 2013-10-31 | Canon Inc | 画像処理装置及び方法 |
WO2022210152A1 (ja) * | 2021-03-30 | 2022-10-06 | パナソニックIpマネジメント株式会社 | 固体撮像装置および固体撮像システム |
-
2009
- 2009-05-19 JP JP2009120643A patent/JP2010272916A/ja not_active Withdrawn
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013225772A (ja) * | 2012-04-20 | 2013-10-31 | Canon Inc | 画像処理装置及び方法 |
WO2022210152A1 (ja) * | 2021-03-30 | 2022-10-06 | パナソニックIpマネジメント株式会社 | 固体撮像装置および固体撮像システム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5028075B2 (ja) | 撮像装置及び撮像方法 | |
JP5615155B2 (ja) | 画像処理装置及び方法 | |
JP2010068049A (ja) | 撮像装置 | |
JP2020022135A (ja) | 欠陥画素補正装置、撮像装置、欠陥画素補正方法 | |
JP2010272916A (ja) | 固体撮像素子の白キズ補正装置 | |
JP5978636B2 (ja) | 撮像装置、及びプログラム | |
JP2008306565A (ja) | 撮像装置及びその信号補正方法 | |
JP2006166194A (ja) | 画素欠陥検出回路及び画素欠陥検出方法 | |
JP2008288723A (ja) | 撮像装置、撮像方法、プログラムおよび集積回路 | |
JP5043400B2 (ja) | 撮像装置及びその制御方法 | |
JP5299159B2 (ja) | 撮像装置およびプログラム | |
JP2008131546A (ja) | 固定パターンノイズ除去装置 | |
US20080266423A1 (en) | Image sensing apparatus and control method therefor | |
JP2006217113A (ja) | 電子カメラおよび電子カメラの検査方法 | |
JP5477035B2 (ja) | 撮像装置 | |
JP2009284392A (ja) | 撮像装置 | |
JP6748979B2 (ja) | 撮像装置及びその制御方法 | |
JP5968145B2 (ja) | 画像処理装置及びその制御方法 | |
JP2008148115A (ja) | 方向検出を用いた撮像デバイスの画像欠陥補正システム | |
JP4952548B2 (ja) | ノイズ検出装置、撮像装置、およびノイズ検出方法 | |
JP2006005500A (ja) | 撮像装置及び撮像方法、撮像素子 | |
JP6223166B2 (ja) | 画像合成装置、画像合成方法、撮像装置、プログラム及び記憶媒体 | |
US10368020B2 (en) | Image capturing apparatus and control method therefor | |
JP2005341261A (ja) | 撮像装置 | |
JP4745680B2 (ja) | 撮像装置および撮像方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20120807 |