JP3601908B2 - Image processing device defective pixel correction processing device, X-ray diagnostic device - Google Patents
Image processing device defective pixel correction processing device, X-ray diagnostic device Download PDFInfo
- Publication number
- JP3601908B2 JP3601908B2 JP20041996A JP20041996A JP3601908B2 JP 3601908 B2 JP3601908 B2 JP 3601908B2 JP 20041996 A JP20041996 A JP 20041996A JP 20041996 A JP20041996 A JP 20041996A JP 3601908 B2 JP3601908 B2 JP 3601908B2
- Authority
- JP
- Japan
- Prior art keywords
- defective pixel
- pixel
- defective
- image signal
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、X線診断装置、内視鏡装置に搭載される撮像素子の欠陥画素を補正する撮像素子の欠陥画素補正処理装置、及びこの欠陥画素補正処理装置を備えるX線診断装置に関するものである。
【0002】
【従来の技術】
近年、X線診断装置、内視鏡装置等では、撮像素子を用いたTVカメラを搭載しており、このTVカメラによって被検体を撮像している。このTVカメラに使われている撮像素子、例えばCCDでは欠陥画素の数が少ないほどその価格は高価となるため、ある程度の欠陥画素を含む素子を使用する必要がある。このため、欠陥画素を補正する欠陥画素補正処理装置が用いられている。
【0003】
このようなTVカメラと欠陥画素補正処理装置を搭載したX線診断装置を図18に示す。
図18に示すようにTVカメラを搭載したX線診断装置100は、X線を被検体Pに対して曝射するX線ビーム発生源101と、被検体Pを通過したX線を光学像に変換するイメージインテンシファイア103と、イメージインテンシファイア103により変換された光学像を撮像して画素毎の画像信号(画素値)を得るTVカメラ105と、TVカメラ105により得られた画像信号をディジタル信号に変換するA/D変換器107と、された画像信号の内、欠陥画素の画像信号を補正する欠陥画素補正処理装置109と、欠陥画素補正処理装置109により補正された画像信号および正常画素の画像信号をアナログ信号に変換するD/A変換器111と、D/A変換器111によりアナログ信号に変換された画像信号を表示するモニタ113と、欠陥画素補正処理装置109により欠陥画素の値が補正された画像信号を用いてしきい値処理等の画像処理を行う画像処理装置115とを有する。
【0004】
ここでTVカメラ105に用いられるCCDに発生する欠陥画素の特性は様々であるため、欠陥画素補正処理装置109では、その特性に応じた補正処理方法により補正を行っている。この欠陥画素補正処理方法の代表例を以下に説明する。
【0005】
画像上で周囲の画素よりもわずかに白っぽく浮き出て見える白色の欠陥画素(白点欠陥、白線欠陥、白点欠陥群等)は、CCDに発生する暗電流が原因の欠陥である。これは、欠陥画素に発生する暗電流分のレベルだけ周囲の画素より画像信号がわずかに大きくなるために起こる。この暗電流は入射光量に依存せず一定となる特徴を有する。このため、予め所定の入射光量時、具体的にはカメラに光を入射させない状態で撮像したときの暗電流を測定しておき、その値を撮像したX線画像信号からリアルタイムで差し引く方法が試みられており、良好な結果が得られている。
【0006】
また、暗電流が極端に大きく画素が白色に飽和してしまった場合(画素の電荷が飽和した場合)、その画素の情報が完全に失われているため、前記の減算処理による欠陥画素補正の効果は望めず、欠陥画素の周辺画素を利用した画素置換法または補間処理法が行われている。
【0007】
さらに、周囲の画素に比べて極端に黒く見える黒色の欠陥画素(黒点欠陥、黒点欠陥群)は、CCD製造過程において、チップ上にごみ等が付着し、入射光が遮られるために発生する欠陥である。この欠陥画素も前記の飽和した白色の欠陥画素と同様にその画素の情報が含まれていない画素であるため、欠陥画素の周辺画素を利用して画素置換法または補間処理法が試みられている。
【0008】
画素置換法としては、欠陥画素に隣接する正常画素を欠陥画素に置き換える隣接画素置換法や近隣の画像信号の中間値で置換するメディアンフィルタ処理法が試みられている。
【0009】
また、欠陥画素を近隣の画素より補間を行う補間処理法としては、共1次内挿法や高次補間処理(スプライン補間、ラグランジェ補間、SINC関数)等が行われている。
【0010】
【発明が解決しようとする課題】
しかしながら、前述した補正処理方法では、滑らかな画素分布(淡いコントラスト)を有する領域に対しては有効な処理であるが、画像信号が大きく変化する領域(コントラストが極端に強い領域)では、その補正跡が明瞭に確認される場合がある。例えば、上部消化管検査において、被検体に入れられたバリュウムによる像と背景像との境界、胃のヒダ等の部分では、補正跡が明瞭に見えてしまう。このように補正が良好にできない理由は次のように説明できる。
【0011】
隣接画素置換法では、図19(a)に示すように1列目の画素列と2列目の画素列でコントラストが急激に変化する場合に、2列目の画素列で欠陥画素があるとき、これを明るい領域の画素(1列目の画素)で補間すると、欠陥画素の画像信号は本来10と予想されるが、図19(b)に示すように置換後の画像信号は100となり、補正跡が明瞭に確認できてしまう。
【0012】
メディアン処理では、用いる関心領域(ROI)内に複数の欠陥画素がある場合等では選択されるメディアン値が欠陥画素である確率が高まり、欠陥画素を欠陥画素で置換するという現象が発生する場合がある。例えば、図20に示す例で、画像信号90の画素が欠陥画素である場合、その行の画像信号でメディアン処理を行うと、画像信号100,90,50の内、中間値の画像信号、即ち2番目に大きい値の画像信号がメディアン値となる。この場合、メディアン値は、欠陥画素の画像信号値90となり、欠陥画素の画像信号がそのままその画素の画像信号となり、全く処理しない場合と同一となる。
【0013】
共1次内挿法では、水平または垂直方向に伸びる被写体に対応する領域の欠陥画素に対しては、被写体の情報が全く含まれていない画素で欠陥画素を補間することになり、不適切な補間となる。例えば図21(a)に示す例で、被写体が垂直方向に伸びる細長い物体である場合に、この被写体に対応する領域の画像信号値5の画素が欠陥画素のとき、共1次内挿法では図21(b)に白丸で示す画素の画像信号を用いて補間するため、図21(c)に示すように欠陥画素の画像信号が被写体の情報と無関係な値100に補間されてしまう。
【0014】
その他の手法に関しても、アルゴリズムが複雑で処理回路の規模が大きくなる割には前記の補間処理法と比較して効果が顕著に現れない。この中でSINC関数による高次元補間処理法では、欠陥画素から離れた画素も考慮して補間処理を行うため、欠陥画素から離れた位置に全く異なる画像信号がある場合にはその情報が補間結果に加えられ、不適当な補間になってしまう。例えば図22に示す例で、×印で示す画素が欠陥画素である場合、では、白丸で示す画素の画像信号を用いて補間する。しかし、補間に用いる画素の領域が広く、その領域に2つ以上の被写体が含まれる可能性があり、×印で示す部分の被写体とは別の被写体の画像信号で欠陥画素の画像信号を補間する可能性がある。
【0015】
本発明は、上記課題に鑑みてなされたもので、X線診断装置、内視鏡装置に搭載される撮像素子の欠陥画素を補正する撮像素子の欠陥画素補正処理装置、及びこの欠陥画素補正処理装置を備えるX線診断装置を提供することを目的とする。
【0016】
【課題を解決するための手段】
上述の課題を解決するために、請求項1に記載の発明によれば、複数の画素を有する撮像素子の欠陥画素の画像信号を補正する撮像素子の欠陥画素補正処理装置であって、
欠陥画素を検出する欠陥画素検出手段と、
欠陥画素をハイレベル、正常画素をローレベルとした正常・欠陥ラベル像を作成し、この正常・欠陥ラベル像を基に所定数の画素群毎の欠陥画素のパターンによる分類を行い、この分類に対応させて前記所定数の画素群毎にラベリングを行う欠陥画素分類手段と、
この欠陥画素分類手段によるラベリングに対応させ、前記欠陥画素に隣接する画素の画像信号を用いて該欠陥画素の画像信号を補間する欠陥画素補正処理手段とを有することを特徴とする撮像素子の欠陥画素補正処理装置をもって解決手段とする。
【0017】
また、請求項2に記載の発明によれば、複数の画素を有する撮像素子の欠陥画素の画像信号を補正する撮像素子の欠陥画素補正処理装置であって、
欠陥画素を検出する欠陥画素検出手段と、
欠陥画素をハイレベル、正常画素をローレベルとした正常・欠陥ラベル像を作成し、この正常・欠陥ラベル像を基に所定数の画素群毎の欠陥画素のパターンによる分類を行い、この分類に対応させて前記所定数の画素群毎にラベリングを行う欠陥画素分類手段と、
前記欠陥分類手段によるラベリングに対応した補正係数を前記所定数の画素群毎に発生する補正係数発生部と、
前記欠陥分類手段によるラベリングに対応させ、前記所定数の画素群毎に欠陥画素を除き欠陥画素と隣接した画素の画像信号と、前記補正係数発生部により発生された補正係数とを用いて欠陥画素の画像信号を補間する欠陥画素補正処理手段とを有することを特徴とする撮像素子の欠陥画素補正処理装置をもって解決手段とする。
【0018】
また、請求項3に記載の発明によれば、被検体に対してX線を曝射するX線源と、
被検体を透過したX線を検出し画像信号を出力する複数の画素を有する撮像手段と、
この撮像手段における欠陥画素を検出する欠陥画素検出手段と、
欠陥画素をハイレベル、正常画素をローレベルとした正常・欠陥ラベル像を作成し、この正常・欠陥ラベル像を基に所定数の画素群毎の欠陥画素のパターンによる分類を行い、この分類に対応させて前記所定数の画素群毎にラベリングを行う欠陥画素分類手段と、
この欠陥画素分類手段によるラベリングに対応させ、前記欠陥画素に隣接する画素の画像信号を用いて該欠陥画素の画像信号を補間する欠陥画素補正処理手段と、
この欠陥画素補正処理手段にて補正された画像信号を表示する表示手段とを有することを特徴とするX線診断装置をもって解決手段とする。
【0019】
また、請求項4に記載の発明によれば、被検体に対してX線を曝射するX線源と、
被検体を透過したX線を検出し画像信号を出力する複数の画素を有する撮像手段と、
この撮像手段における欠陥画素を検出する欠陥画素検出手段と、
欠陥画素をハイレベル、正常画素をローレベルとした正常・欠陥ラベル像を作成し、この正常・欠陥ラベル像を基に所定数の画素群毎の欠陥画素のパターンによる分類を行い、この分類に対応させて前記所定数の画素群毎にラベリングを行う欠陥画素分類手段と、
前記欠陥分類手段によるラベリングに対応した補正係数を前記所定数の画素群毎に発生する補正係数発生部と、
前記欠陥分類手段によるラベリングに対応させ、前記所定数の画素群毎に欠陥画素を除き欠陥画素と隣接した画素の画像信号と、前記補正係数発生部により発生された補正係数とを用いて欠陥画素の画像信号を補間する欠陥画素補正処理手段と、
この欠陥画素補正処理手段にて補正された画像信号を表示する表示手段とを有することを特徴とするX線診断装置をもって解決手段とする。
【0020】
【発明の実施の形態】
以下、本発明に係る実施の形態を図面を参照して説明する。本実施形態の撮像素子の欠陥画素補正処理装置は、従来と同様、例えば図18に示すようにX線診断装置100内に設けられ、被検体Pを通過したX線を基に変換された光学像をTVカメラ105により撮像して得られた画像信号の内、欠陥画素の画像信号を補間する。
【0021】
特に、本実施形態では、TVカメラ105に使用されるCCDの欠陥画素を検出し、この検出結果を基に欠陥画素と正常画素とに分けた正常・欠陥ラベル像を作成し、さらに正常・欠陥ラベル像を基に欠陥画素をそのパターンにより分類したラベリング像を作成する。そして、このラベリング像を基に、欠陥画素を除き、欠陥画素と隣接した画素の画像信号(画素値)を用いて欠陥画素の画像信号を補間するようにしている。
【0022】
図1は本発明に係る撮像素子の欠陥画素補正処理装置の一実施形態を示したブロック図である。
図1に示すように、本実施形態の撮像素子の欠陥画素補正処理装置10は、スイッチ11と、欠陥画素検出手段と欠陥画素分類手段としての欠陥画素検出部13と、補正データROM15と、補正係数発生部17と、バッファメモリ19と、欠陥画素補正処理手段としての欠陥画素補正処理部21とを有している。
【0023】
スイッチ11は、図18に示すA/D変換器107によりディジタル信号に変換された画像信号の供給先を欠陥画素検出部13側(端子B)もしくはバッファメモリ19側(端子A)に切り換える。尚、この切り換えは図示しない制御手段により行われる。
【0024】
欠陥画素検出部13は、図2に示すように、フレーム加算処理器23と、ローパスフィルタ処理器(LPF処理器)25と、減算器27と、正常/欠陥画素の分離器29と、欠陥画素の分類器31とを有し、欠陥画素を検出してその分類を行う。
【0025】
フレーム加算処理器23は、A/D変換器107からスイッチ11を介して供給される任意の数フレームの画像信号を加算することにより、画像信号中のノイズ成分を除去する。
【0026】
LPF処理器25は、フレーム加算器23によりノイズ成分の除去された画像信号中の空間的な高周波成分、即ち欠陥画素により生じる急峻な変化をローパスフィルタ処理することにより除去して空間的に低周波成分のみにする。
【0027】
減算器27は、フレーム加算器23によりノイズ成分の除去された画像信号とLPF処理器25により空間的に低周波成分のみにされた画像信号との差分を求めて欠陥画素のみを抽出する。
【0028】
正常/欠陥画素の分離器29は、減算器27により抽出された欠陥画素を「1」それ以外の正常画素を「0」とした正常・欠陥ラベル像を作成する。例えば、減算器27により、図3(a)に示す×印の画素が欠陥画素として抽出された場合、正常/欠陥画素の分離器29は、×印の欠陥画素を「1」、それ以外を「0」とした図3(b)に示すような正常・欠陥ラベル像を作成する。
【0029】
欠陥画素の分類器31は、正常/欠陥画素の分離器29により作成された正常・欠陥ラベル像を基に、欠陥画素をさらに種類分けし、その種類に対応させてさらにラベリングを行う。
【0030】
このラベリングの方法としては、所定のROI、例えば図4に示すように3×3の画素群毎に欠陥画素に隣接する画素を調べ、図4(a)に示すように「1」の数が0個の場合は孤立点欠陥、図4(b)に示すように「1」の数が1個の場合は2連続点欠陥、図4(c)に示すように「1」の数が2個の場合はライン欠陥または点欠陥群、図4(d)に示すように「1」の数が3個以上の場合は点欠陥群と分類し、これらの種類に対応させてラベリングするというものである。
【0031】
この具体的方法として、前記ROIの欠陥画素に隣接する各画素の名称を図5に示すように1行1列目から順にI11,I12,I13,I21,I23,I31,I32,133とすると、隣接画素の合計値SUM(=I11+I12+I13+I21+I23+I31+I32+133)を求め、SUM=0の場合は孤立点欠陥、SUM=1の場合は2連続点欠陥、SUM=2の場合はライン欠陥または点欠陥群、SUM≧3の場合は点欠陥群と分類する。
【0032】
さらに、2連続点欠陥(SUM=2)の場合は、図6(a)〜(h)に示すように8種類の型(type)に分類できる。この分類法は、特定画素を除く隣接画素の合計を調べて次のように分類する。
【0033】
【数1】
また、SUM≧2の場合はほとんどが図6(i),(j)に示すライン欠陥(CCD内で電荷を水平または垂直方向に転送する際に起きる転送不良の欠陥)であり、それ以外の欠陥パターンは他の欠陥パターンと比較して発生する確率が非常に低く、これを補正する回路を設けることは無駄である。言い換えれば、点欠陥群があるCCDは品質としては低い製品であるため、TVカメラ105用のCCDとして使用することができないと考えて良い。
【0034】
ライン欠陥の分類法は、2連続点欠陥の場合と同様に特定画素を除く隣接画素の合計を調べて次のように分類する。
【0035】
【数2】
また、前述の分類法は正常・欠陥ラベル像を用いて欠陥画素に隣接する画素のラベルの合計より分類したが、隣接画素をI11,I12,I13,…の順に調べ、「1」の個数をカウントする方法でも可能である。
【0036】
そして、前述のように分類された欠陥画素に対し、ラベリングを行い、それらを合わせることにより欠陥画素のラベリング像を作成する。例えば図7(a)に示すように孤立点欠陥は2、図7(b)に示すように2連続点欠陥のtype1は3、図7(c)に示すように2連続点欠陥のtype2は4、図7(d)に示すように2連続点欠陥のtype3は5、図7(e)に示すように2連続点欠陥のtype4は6、図7(f)に示すように2連続点欠陥のtype5は7、図7(g)に示すように2連続点欠陥のtype6は8、図7(h)に示すように2連続点欠陥のtype7は9、図7(i)に示すように2連続点欠陥のtype8は10、図7(j)に示すようにライン欠陥のtype9は11、図7(k)に示すようにライン欠陥のtype10は12、図7(l)に示すように点欠陥群は13とする。
【0037】
補正データROM15は、欠陥画素の分類器31により作成されたラベリング像を記憶する。また、補正データROM15は、通常のX線撮影またはX線透視の場合に欠陥画素を補間する際、前記記憶したラベリング像を補正係数発生部17に対して出力する。
【0038】
補正係数発生部17は、補正データROM15から出力されるラベリング像に対応させ、欠陥画素補正処理部21により欠陥画素を補間する際の重みを補正係数として発生する。ここで、最も簡単な方法としては補間に用いる画素全てに同じ重みを付ける、即ち、隣接する正常画素の平均値で欠陥画素を補間させる。
【0039】
例えば、図8(a)に示すように孤立点欠陥の場合、隣接する正常画素全てについて重み0.125とし、図8(b)〜(i)に示すように2連続点欠陥の場合、隣接する正常画素全てについて重み0.142857とし、図8(j),(k)に示すようにライン欠陥の場合、隣接する正常画素全てについて重み0.166667とする。
【0040】
また、欠陥画素の上下左右隣までの距離と斜め4隅の画素までの距離とでは前者の方が小さく、欠陥画素の特性により近いという考えから、重みの値を距離に反比例(逆比)する大きさとしても良い。この場合、例えば図9(a)に示すように孤立点欠陥の場合、上下左右の隣接画素は0.103553、斜め方向の隣接画素は重み0.146445とし、図9(b),(d),(f),(h)に示すように2連続点欠陥のtype1,3,5,7の場合、上下左右の隣接画素は重み0.163363、斜め方向の隣接画素は重み0.115515とし、図9(c),(e),(g),(i)に示すように2連続点欠陥のtype2,4,6,8の場合、上下左右の隣接画素は重み0.171573、斜め方向の隣接画素は重み0.12132とし、図9(j),(k)に示すようにライン欠陥の場合、上下左右の隣接画素は重み0.207107、斜め方向の隣接画素は重み0.146447とする。また、図8、9において、太枠内の画素は欠陥画素を表し、その中の*印のある画素は補間対象となる画素である。補間対象外の欠陥画素の補間係数は0とする。
【0041】
バッファメモリ19は、垂直方向のタイミングを合わせる目的で用いられ、画像信号を2ライン以上保存できる容量を有し、かつ、複数ラインの画像信号を同時に出力できる構造になっている。例えば、3ライン同時に出力する場合、図10に示すように、1ライン毎に画像信号を書き込む4つのラインメモリLM1〜LM4と3ライン同時に読み出すためのマルチプレクサMPとから成る。
【0042】
ここで、3ライン同時に出力する場合の動作例を図11のタイミングチャートを用いて説明する。ライン番号1,2,3のライン画像信号はラインメモリLM1,LM2,LM3の順に書き込まれる(タイミングチャートW1,W2,W3)。次いでライン番号4のライン画像信号がラインメモリLM4に書き込まれると同時に(タイミングチャートW4)、ラインメモリLM1,LM2,LM3からライン番号1,2,3のライン画像信号が同時に出力される(タイミングチャートR1,R2,R3)。次いで、ライン番号5のライン画像信号がラインメモリLM1に書き込まれると同時に(タイミングチャートW5)、ラインメモリLM2,LM3,LM4からライン番号2,3,4のライン画像信号が同時に出力される(タイミングチャートR2,R3,R4)。以降、同様にして動作する。
【0043】
欠陥画素補正処理部21は、図12に示すようにバッファメモリ19から出力されたライン画像信号と補正係数発生部17から発生された補正係数との乗算を行う乗算器33−11 ,33−12 ,…,33−nm と、乗算器33−11 ,33−12 ,…,33−nm と、乗算器33−11 ,33−12 ,…,33−nm と、乗算器33−11 ,33−12 ,…,33−nm により乗算された結果を所定の画素数(前記ROI内の正常画素の数)分だけ加算し、欠陥画素の画像信号として出力する水平・垂直加算処理部35とを有する。
【0044】
例えば、3×3のROI内の画素を使って欠陥画素の補間処理を行う場合、欠陥画素補正処理部21は、図13に示すように9つの乗算器33−11 ,33−12 ,33−13 ,33−21 ,33−22 ,33−23 ,33−31 ,33−32 ,33−33 と、水平方向と垂直方向野タイミングを合わせるための3つのラッチ37−1,37−237−3と、各ライン毎に3つのデータを加算するための各ライン2つ(合計6つ)の加算器39−1,41−1,39−2,41−2,39−3,41−3と、1ライン目と2ライン目の加算データを加算する加算器43と、1ライン目と2ライン目の加算データを加算器43により加算している間、3ライン目の加算データをラッチするラッチ45と、加算器43により加算されたデータに3ライン目の加算データをさらに加算する加算器47とを有する。このラッチ37−1,37−2,37−3と、加算器37−1,39−1,37−2,39−2,37−3,39−3と、加算器43と、ラッチ45と、加算器47とにより水平・垂直加算処理部35を構成する。
【0045】
ここで、3×3のROI内の画素を使って欠陥画素の補間処理を行う場合の欠陥画素補正処理部21の動作例を図14に示すタイミングチャートを用いて説明する。尚、このとき図15に示すように1番目(1行目)の1ライン目の画像信号をP11、1番目の2ライン目の画像信号をP12、…として説明する。また、欠陥画素補正処理部21は、図示しない制御手段から送信されるクロックに対応して動作する。
【0046】
まず、クロックC1で最初のROIの1番目の画像信号P11,P21,P31が各ラインの乗算器33−11 ,33−21 ,33−31 に入力される。
次いでクロックC2で最初のROIの2番目の画像信号P12,P22,P32が各ラインの乗算器33−12 ,33−22 ,33−32 に入力される。この時、乗算器33−11 ,33−21 ,33−31 には最初のROIの1番目の画像信号が入力されている。
【0047】
次いでロックC3で最初のROIの3番目の画像信号P13,P23,P33が各ラインの乗算器33−13 ,33−23 ,33−33 に入力される。この時、乗算器33−11 ,33−21 ,33−31 には最初のROIの1番目の画像信号が入力され、乗算器33−12 ,33−22 ,33−32 には最初のROIの2番目の画像信号が入力されている。
【0048】
次いでクロックC4で1番目の補正係数が各ライン毎に補正係数発生部17から入力されると共に乗算器33−11 ,33−21 ,33−31 に次のROIの1番目の画像信号P14,P24,P34が入力される。この時、乗算器33−12 ,33−22 ,33−32 には最初のROIの2番目の画像信号が入力され、乗算器33−13 ,33−23 ,33−33 には最初のROIの3番目の画像信号が入力されている。
【0049】
次いでクロックC5で2番目の補正係数が各ライン毎に補正係数発生部17から入力されると共に乗算器33−12 ,33−22 ,33−32 に次のROIの2番目の画像信号P15,P25,P35が入力される。この時、乗算器33−11 ,33−21 ,33−31 には次のROIの1番目の画像信号が入力され、乗算器33−13 ,33−23 ,33−33 には最初のROIの3番目の画像信号が入力されている。
【0050】
次いでクロックC6で3番目の補正係数が各ライン毎に補正係数発生部17から入力されると共に乗算器33−13 ,33−23 ,33−33 に次のROIの3番目の画像信号P16,P26,P36が入力される。この時、乗算器33−11 ,33−21 ,33−31 には次のROIの1番目の画像信号が入力され、乗算器33−12 ,33−22 ,33−32 には次のROIの2番目の画像信号が入力されている。
【0051】
そしてクロックC7で最初のROIの水平・垂直加算処理の結果D1が出力される。以降、同様にして動作する。
【0052】
尚、撮像素子の欠陥画素補正処理装置10の回路規模が制限されている場合等の理由で乗算器33−11 ,33−12 ,33−13 ,33−21 ,33−22 ,33−23 ,33−31 ,33−32 ,33−33 を使うことができない場合には、図16に示すように乗算器33−11 ,33−12 ,33−13 ,33−21 ,33−22 ,33−23 ,33−31 ,33−32 ,33−33 の代わりに、画像信号と補正係数を入力し、これらの値に対応する乗算結果を出力するROM、即ちルックアップテーブル(LUT)49−1,49−2,…,49−n(n=ライン数)を設置するようにしても良い。
【0053】
次に、本実施形態の撮像素子の欠陥画素補正処理装置10の動作を説明する。まず、TVカメラ105に使用されているCCDの欠陥画素を検出するため、スイッチ11を端子B側に切り換えた後、被検体の無い状態でTVカメラ105により撮像して画像信号を得る。このTVカメラ105により得られた画像信号はA/D変換器107によりディジタル信号に変換され、スイッチ11を介して欠陥画素検出部13に供給される。
【0054】
ディジタル信号に変換された画像信号が供給されると欠陥画素検出部13では、フレーム加算処理器23により任意の数フレームの画像信号が加算されてノイズ成分が除去され、LPF処理器25により空間的に低周波成分のみにされる。そして、フレーム加算器23によりノイズ成分の除去された画像信号とLPF処理器25により空間的に低周波成分のみにされた画像信号との差分が減算器27により求められて欠陥画素が抽出される。
【0055】
そして、抽出された欠陥画素を「1」それ以外の正常画素を「0」とした正常・欠陥ラベル像が欠陥画素の分離器29により作成され、さらに、この正常・欠陥ラベル像を基に欠陥画素がROI(例えば3×3の画素群)毎に種類分けされ、その種類に対応させたラベリングが欠陥画素の検出器31により行われる。そしてこのラベリングによりえら得たラベリング像は一端補正データROM15に記憶される。以降、この補正データROM15に記憶されているラベリング像を基に欠陥画素の補正処理が欠陥画素補正処理部21により行われる。尚、この欠陥画素の検出動作は撮像素子の欠陥画素補正処理装置10を製造する際にまず行われ、以降、CCDの経年変化による劣化のため、新たに発生した欠陥画素を補間する目的で補正データROM15を書き換える場合等に行われる。
【0056】
この状態で、スイッチ11を図示しない制御手段により端子A側に切り換えさせて通常のX線撮影またはX線透視を行う。
通常のX線撮影またはX線透視が行われると、補正データROM15により記憶されているラベリング像が補正係数発生部17に供給され、このラベリング像に対応する補正係数が補正係数発生部17から欠陥画素補正処理部21に対して出力される。
【0057】
欠陥画素補正処理部21では補正係数発生部17から出力される補正係数とそれに対応する画像信号を乗算し、その結果をROI内の画素数分加算したものを欠陥画素の値とする。この動作をラベリング像に対応する欠陥画素を有するROI全てについて行い、欠陥画素の画像信号を補間する。
【0058】
この補間された画像信号はD/A変換器111によりアナログ信号に変換されて正常画素の画像信号と共にモニタ113に表示される。また、しきい値処理等の画像処理を行う場合は画像処理装置115に前記補間された画像信号が供給される。
【0059】
このように、本実施形態の撮像素子の欠陥画素補正処理装置10は、CCDの欠陥画素を検出し、この検出結果を基に欠陥画素と正常画素とに分けた正常・欠陥ラベル像を作成し、さらに正常・欠陥ラベル像を基に欠陥画素をそのパターンにより分類したラベリング像を作成し、そして、このラベリング像を基に、欠陥画素を除き、欠陥画素と隣接した画素の画像信号を用いて欠陥画素の画像信号を補間するようにしているので、欠陥画素の画像信号を適切に補正することができる。
【0060】
また、本実施形態の撮像素子の欠陥画素補正処理装置10は、欠陥画素と隣接する正常画素のみで補間するので、他の欠陥画素の影響および遠方の画素の影響を小さくすることができ、補間跡が目立たなくなる。
さらに、本実施形態の撮像素子の欠陥画素補正処理装置10は、検出された欠陥画素から正常・欠陥ラベル像を作成し、これを基に欠陥画素を分類してラベリングするようにしているので、ラベリングが効果的に行える。
【0061】
尚、本実施形態の撮像素子の欠陥画素補正処理装置10では、フレーム加算処理器23と、LPF処理器25と、減算器27と、正常/欠陥画素の分離器29と、欠陥画素の分類器31とから欠陥画素検出部13が構成されているが、回路規模が制限されている場合等は、欠陥画素検出部13と同等の機能を有するソフトウェアまたはハードウェアを用いるようにしても良い。この場合、図1に示す撮像素子の欠陥画素補正処理装置10から図17に示すように欠陥画素検出部13を除いた構成とし、前記ソフトウェアまたはハードウェアから直接ラベリング像を補正データROM15に記憶させるようにする。
【0062】
また、本実施形態の撮像素子の欠陥画素補正処理装置10では、TVカメラ105に使用されているCCDの欠陥画素を補間する場合を例にして説明したが、本発明はこれに限定されることなく、他の撮像素子、例えばMOS型撮像素子の欠陥画素を補間する場合にも適用することができる。
【0063】
さらに、本実施形態の撮像素子の欠陥画素補正処理装置10では、3×3の画素群のROIを用いて補間処理等を行っているが、本発明はこれに限定されることなく、他の画素群のROIを用いても良い。
【0064】
さらに、本実施形態の撮像素子の欠陥画素補正処理装置10では、X線診断装置100に搭載されるTVカメラ105のCCDの欠陥画素を補間する場合を例にして説明したが、本発明はこれに限定されることなく、内視鏡装置に使用され撮像素子の欠陥画素を補間する場合等、いずれの装置に使用される撮像素子についても適用することができる。
【0065】
【発明の効果】
以上説明したように本発明によれば、欠陥画素を検出した結果に基づき欠陥画素の分類を行い、この分類結果に応じて欠陥画素に隣接した画素の画素信号を用いて欠陥画素の画素信号を補間するようにしているので、欠陥画素の画素信号を適切に補正することができる。
【図面の簡単な説明】
【図1】本発明に係る撮像素子の欠陥画素補正処理装置の一実施形態を示したブロック図である。
【図2】図1に示した撮像素子の欠陥画素補正処理装置の欠陥画素検出部を示したブロック図である。
【図3】正常/欠陥画素の分離器により抽出された欠陥画素と正常/欠陥ラベル像を示した図である。
【図4】所定のROI(3×3画素)内での欠陥画素の分類例を示した図である。
【図5】ラベリングを説明する際に用いるROI(3×3画素)内の画素の名称を示した図である。
【図6】所定のROI(3×3画素)内での欠陥画素を10のtypeに分けた分類例を示した図である。
【図7】図6に示した欠陥画素のtype別にラベリングした場合の例を示した図である。
【図8】図6に示した欠陥画素のtype別に補正係数(単純平均)を示した図である。
【図9】図6に示した欠陥画素のtype別に補正係数(距離の逆比)を示した図である。
【図10】図1に示した撮像素子の欠陥画素補正処理装置のバッファメモリを示したブロック図である。
【図11】バッファメモリの3ライン同時に出力する場合の動作タイミング示したタイミングチャートである。
【図12】図1に示した撮像素子の欠陥画素補正処理装置の欠陥画素補正処理部を示したブロック図である。
【図13】3×3のROI内の画素を使って欠陥画素の補正処理を行う場合、欠陥画素補正処理部を示したブロック図である。
【図14】3×3のROI内の画素を使って欠陥画素の補正処理を行う場合の欠陥画素補正処理部の動作タイミングを示すブロック図である。
【図15】図14に示す動作タイミングを説明するために用いる画素の名称を示す図である。
【図16】欠陥画素補正処理部の他の構成を示す図である。
【図17】欠陥画素検出部をハードウェアもしくはソフトウェアに置き換えた場合の本発明に係る撮像素子の欠陥画素補正処理装置を示したブロック図である。
【図18】TVカメラと欠陥画素補正処理装置を搭載したX線診断装置の概略の構成を示すブロック図である。
【図19】隣接画素置換法による置換前後の画像信号値を示す図である。
【図20】メディアン処理による置換前後の画像信号値を示す図である。
【図21】共1次内挿法による補間前の画像信号値を示す図と、共1次内挿法で用いる画素を示す図と、共1次内挿法による補間後の画像信号値を示す図である。
【図22】SINC関数による高次元補間処理に用いる画素を示す図である。
【符号の説明】
10 撮像素子の欠陥画素補正処理装置
11 スイッチ
13 欠陥画素検出部
15 補正データROM
17 補正係数発生部
19 バッファメモリ
21 欠陥画素補正処理部
23 フレーム加算処理器
25 LPF処理器
27 減算器
29 正常/欠陥画素の分離器
31 欠陥画素の分類器
33−11 ,33−12 ,33−13 ,33−21 ,33−22 ,33−23 ,33−31 ,33−32 ,33−33 33 減算器
35 水平・垂直加算処理部
37−1,37−237−3,45 ラッチ
39−1,41−1,39−2,41−2,39−3,41−3,43,47 加算器
LM ラインメモリ
MP マルチプレクサ
P 被検体[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an X-ray diagnostic apparatus, a defective pixel correction processing apparatus for an image sensor that corrects a defective pixel of an image sensor mounted on an endoscope apparatus, and an X-ray diagnostic apparatus including the defective pixel correction processing apparatus. is there.
[0002]
[Prior art]
2. Description of the Related Art In recent years, X-ray diagnostic apparatuses, endoscope apparatuses, and the like are equipped with a TV camera using an image sensor, and an image of a subject is captured by the TV camera. As the number of defective pixels in an image pickup device used in this TV camera, for example, a CCD, becomes higher as the number of defective pixels becomes smaller, it is necessary to use an element including a certain number of defective pixels. For this reason, a defective pixel correction processing device that corrects a defective pixel is used.
[0003]
FIG. 18 shows an X-ray diagnostic apparatus equipped with such a TV camera and a defective pixel correction processing device.
As shown in FIG. 18, an X-ray
[0004]
Here, since the characteristics of defective pixels generated in the CCD used in the
[0005]
A white defective pixel (white spot defect, white line defect, white spot defect group, etc.) that appears to appear slightly whitish than the surrounding pixels on the image is a defect caused by dark current generated in the CCD. This occurs because the image signal is slightly larger than the surrounding pixels by the level of the dark current generated in the defective pixel. This dark current is characterized by being constant without depending on the amount of incident light. For this reason, an attempt has been made to measure in advance a dark current when a predetermined amount of incident light is emitted, specifically, when an image is captured with no light incident on the camera, and to subtract the value in real time from the captured X-ray image signal. And good results have been obtained.
[0006]
When the dark current is extremely large and the pixel is saturated with white (when the charge of the pixel is saturated), the information of the pixel is completely lost. No effect can be expected, and a pixel replacement method or an interpolation processing method using pixels around the defective pixel is performed.
[0007]
Furthermore, black defective pixels (black dot defects, black dot defect group) that look extremely black compared to the surrounding pixels are defects that are generated due to dust adhering to a chip in a CCD manufacturing process and blocking incident light. It is. Since this defective pixel is a pixel that does not contain information on the pixel, as in the case of the saturated white defective pixel, a pixel replacement method or an interpolation processing method using the peripheral pixels of the defective pixel has been attempted. .
[0008]
As the pixel replacement method, an adjacent pixel replacement method in which a normal pixel adjacent to a defective pixel is replaced with a defective pixel and a median filter processing method in which a normal pixel adjacent to the defective pixel is replaced with an intermediate value of a nearby image signal have been attempted.
[0009]
As an interpolation processing method for interpolating a defective pixel from neighboring pixels, a bilinear interpolation method, a higher-order interpolation processing (spline interpolation, Lagrange interpolation, SINC function), and the like are performed.
[0010]
[Problems to be solved by the invention]
However, the above-described correction processing method is effective for an area having a smooth pixel distribution (light contrast), but is effective for an area where an image signal greatly changes (an extremely strong contrast area). Traces may be clearly seen. For example, in an upper gastrointestinal tract examination, a correction mark is clearly visible at a boundary between an image formed by barium and a background image in a subject, a fold of a stomach, and the like. The reason why the correction cannot be performed well can be explained as follows.
[0011]
In the adjacent pixel replacement method, as shown in FIG. 19A, when the contrast rapidly changes between the first pixel column and the second pixel column, when the defective pixel exists in the second pixel column, When this is interpolated with pixels in a bright region (pixels in the first column), the image signal of the defective pixel is originally expected to be 10, but the image signal after replacement becomes 100 as shown in FIG. Correction marks can be clearly seen.
[0012]
In the median processing, when there are a plurality of defective pixels in a region of interest (ROI) to be used, the probability that the selected median value is a defective pixel increases, and a phenomenon that the defective pixel is replaced with the defective pixel may occur. is there. For example, in the example shown in FIG. 20, when the pixel of the
[0013]
In the bilinear interpolation method, defective pixels in an area corresponding to a subject extending in the horizontal or vertical direction are interpolated with defective pixels using pixels that do not include any information on the subject. Interpolation. For example, in the example shown in FIG. 21A, when the subject is an elongated object extending in the vertical direction, and when the pixel of the
[0014]
Regarding other methods, the effect is not remarkably exhibited as compared with the above-mentioned interpolation processing method, although the algorithm is complicated and the scale of the processing circuit becomes large. Among them, in the high-dimensional interpolation processing method using the SINC function, the interpolation processing is performed in consideration of the pixels distant from the defective pixel. Therefore, when there is a completely different image signal at a position distant from the defective pixel, the information is used as the interpolation result. And results in improper interpolation. For example, in the example shown in FIG. 22, if the pixel indicated by the mark x is a defective pixel, interpolation is performed using the image signal of the pixel indicated by the white circle. However, the pixel area used for interpolation is large, and there is a possibility that two or more subjects are included in the area. The image signal of the defective pixel is interpolated with the image signal of the subject different from the subject indicated by the cross mark. there's a possibility that.
[0015]
The present invention has been made in view of the above problems, and has an X-ray diagnostic apparatus, an image sensor defective pixel correction processing apparatus that corrects a defective pixel of an image sensor mounted on an endoscope device, and the defective pixel correction processing. An object of the present invention is to provide an X-ray diagnostic apparatus including the apparatus.
[0016]
[Means for Solving the Problems]
In order to solve the above-mentioned problem, according to the invention described in
Defective pixel detecting means for detecting a defective pixel;
Create a normal / defective label image with a defective pixel at a high level and a normal pixel at a low level.Based on the normal / defect label image, classify a defective pixel pattern for each of a predetermined number of pixel groups based on this pattern. Defective pixel classification means for performing labeling for each of the predetermined number of pixel groups in association with each other;
Defective pixel correction processing means for interpolating an image signal of the defective pixel using an image signal of a pixel adjacent to the defective pixel in correspondence with labeling by the defective pixel classification means;A solution to the problem is a defective pixel correction processing device for an image sensor, characterized by having the following.
[0017]
According to the second aspect of the present invention,An image sensor defective pixel correction processing device for correcting an image signal of a defective pixel of the image sensor having a plurality of pixels,
Defective pixel detecting means for detecting a defective pixel;
Create a normal / defective label image with a defective pixel at a high level and a normal pixel at a low level.Based on the normal / defect label image, classify a defective pixel pattern for each of a predetermined number of pixel groups based on this pattern. Defective pixel classification means for performing labeling for each of the predetermined number of pixel groups in association with each other;
A correction coefficient generation unit that generates a correction coefficient corresponding to labeling by the defect classification unit for each of the predetermined number of pixel groups;
Corresponding to the labeling by the defect classifying means, a defective pixel is determined by using an image signal of a pixel adjacent to the defective pixel except for the defective pixel for each of the predetermined number of pixel groups and a correction coefficient generated by the correction coefficient generator. Defective pixel correction processing means for interpolating the image signal ofA solution to the problem is a defective pixel correction processing device for an image sensor, characterized by having the following.
[0018]
According to the third aspect of the present invention,An X-ray source that emits X-rays to the subject;
Imaging means having a plurality of pixels for detecting an X-ray transmitted through the subject and outputting an image signal;
Defective pixel detecting means for detecting defective pixels in the imaging means;
Create a normal / defective label image with a defective pixel at a high level and a normal pixel at a low level.Based on the normal / defect label image, classify a defective pixel pattern for each of a predetermined number of pixel groups based on this pattern. Defective pixel classification means for performing labeling for each of the predetermined number of pixel groups in association with each other;
Defective pixel correction processing means for corresponding to the labeling by the defective pixel classification means and interpolating an image signal of the defective pixel using an image signal of a pixel adjacent to the defective pixel;
Display means for displaying an image signal corrected by the defective pixel correction processing means.Is the solution.
[0019]
According to the invention described in
Imaging means having a plurality of pixels for detecting an X-ray transmitted through the subject and outputting an image signal;
Defective pixel detecting means for detecting defective pixels in the imaging means;
Create a normal / defective label image with a defective pixel at a high level and a normal pixel at a low level.Based on the normal / defect label image, classify a defective pixel pattern for each of a predetermined number of pixel groups based on this pattern. Defective pixel classification means for performing labeling for each of the predetermined number of pixel groups in association with each other;
A correction coefficient generation unit that generates a correction coefficient corresponding to labeling by the defect classification unit for each of the predetermined number of pixel groups;
Corresponding to the labeling by the defect classifying means, a defective pixel is determined by using an image signal of a pixel adjacent to the defective pixel except for the defective pixel for each of the predetermined number of pixel groups and a correction coefficient generated by the correction coefficient generator. Defective pixel correction processing means for interpolating the image signal of
A display means for displaying an image signal corrected by the defective pixel correction processing means is provided as an X-ray diagnostic apparatus.
[0020]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings. The defect pixel correction processing device of the image sensor of the present embodiment is provided in an X-ray
[0021]
In particular, in the present embodiment, a defective pixel of a CCD used in the
[0022]
FIG. 1 is a block diagram showing one embodiment of a defective pixel correction processing device for an image sensor according to the present invention.
As shown in FIG. 1, a defective pixel
[0023]
The
[0024]
As shown in FIG. 2, the defective
[0025]
The
[0026]
The
[0027]
The
[0028]
The normal /
[0029]
The
[0030]
As a method of this labeling, a pixel adjacent to a defective pixel is checked for a predetermined ROI, for example, for each 3 × 3 pixel group as shown in FIG. 4, and the number of “1” is determined as shown in FIG. If the number is “0”, an isolated point defect is present. If the number of “1” is one as shown in FIG. 4B, two consecutive point defects are present. As shown in FIG. 4 (c), the number of “1” is two. If the number of “1” is three or more, as shown in FIG. 4D, it is classified as a point defect group, and labeling is performed in correspondence with these types. It is.
[0031]
As a specific method, assuming that the names of the pixels adjacent to the defective pixel of the ROI are I11, I12, I13, I21, I23, I31, I32, and 133 in order from the first row and the first column as shown in FIG. The total value SUM (= I11 + I12 + I13 + I21 + I23 + I31 + I32 + 133) of the adjacent pixels is obtained. When SUM = 0, an isolated point defect, when SUM = 1, two continuous point defects, when SUM = 2, a line defect or point defect group, and SUM ≧ 3 Is classified as a point defect group.
[0032]
Further, in the case of a two-point defect (SUM = 2), it can be classified into eight types as shown in FIGS. 6 (a) to 6 (h). According to this classification method, the total of adjacent pixels excluding a specific pixel is checked and classified as follows.
[0033]
(Equation 1)
Most of the cases where SUM ≧ 2 are line defects shown in FIGS. 6 (i) and 6 (j) (transfer defects occurring when charges are transferred in the horizontal or vertical direction in the CCD). A defect pattern has a very low probability of occurrence as compared with other defect patterns, and it is useless to provide a circuit for correcting this. In other words, it can be considered that a CCD having a point defect group cannot be used as a CCD for the
[0034]
In the method of classifying line defects, as in the case of a two-point defect, the sum of adjacent pixels excluding a specific pixel is checked and classified as follows.
[0035]
(Equation 2)
Further, in the above-described classification method, classification is performed based on the sum of the labels of the pixels adjacent to the defective pixel using the normal / defective label image. However, the adjacent pixels are examined in the order of I11, I12, I13,. A counting method is also possible.
[0036]
Then, labeling is performed on the defective pixels classified as described above, and a labeling image of the defective pixels is created by combining them. For example, as shown in FIG. 7 (a), the number of isolated point defects is 2, as shown in FIG. 7 (b),
[0037]
The
[0038]
The correction
[0039]
For example, in the case of an isolated point defect as shown in FIG. 8A, the weight is set to 0.125 for all adjacent normal pixels, and in the case of two continuous point defects as shown in FIGS. The weight is set to 0.142857 for all normal pixels to be processed, and is set to 0.166667 for all adjacent normal pixels in the case of a line defect as shown in FIGS. 8 (j) and 8 (k).
[0040]
Further, the weight value is inversely proportional (inverse ratio) to the distance, based on the idea that the distance between the defective pixel and the adjacent pixels at the upper, lower, left and right sides and the distance to the pixels at the four diagonal corners are smaller and closer to the characteristics of the defective pixel. It may be large. In this case, for example, as shown in FIG. 9A, in the case of an isolated point defect, the upper, lower, left, and right neighboring pixels are set to 0.103553, and the diagonally adjacent pixels are set to 0.146445, and FIGS. 9B and 9D. , (F), and (h), in the case of
[0041]
The
[0042]
Here, an operation example when three lines are output simultaneously will be described with reference to a timing chart of FIG. Line image signals of
[0043]
The defective
[0044]
For example, when performing the interpolation process of the defective pixel using the pixels in the 3 × 3 ROI, the defective pixel
[0045]
Here, an example of the operation of the defective pixel
[0046]
First, the first image signals P11, P21, and P31 of the first ROI are input to the multipliers 33-11, 33-21, and 33-31 of each line at the clock C1.
Next, at the clock C2, the second image signals P12, P22, and P32 of the first ROI are input to the multipliers 33-12, 33-22, and 33-32 of each line. At this time, the first image signal of the first ROI is input to the multipliers 33-11, 33-21, and 33-31.
[0047]
Next, the third image signal P13, P23, P33 of the first ROI is input to the multipliers 33-13, 33-23, 33-33 of each line in the lock C3. At this time, the first image signal of the first ROI is input to multipliers 33-11, 33-21, and 33-31, and the first ROI of the first ROI is input to multipliers 33-12, 33-22, and 33-32. The second image signal is input.
[0048]
Next, at the clock C4, the first correction coefficient is input from the correction
[0049]
Next, at the clock C5, the second correction coefficient is input from the correction
[0050]
Next, at the clock C6, the third correction coefficient is input from the correction
[0051]
Then, the result D1 of the first horizontal / vertical addition processing of the ROI is output at the clock C7. Thereafter, the same operation is performed.
[0052]
Note that the multipliers 33-11, 33-12, 33-13, 33-21, 33-22, 33-23, and 33 are used because the circuit scale of the defective pixel
[0053]
Next, the operation of the image sensor defective pixel
[0054]
When the image signal converted into the digital signal is supplied, in the defective
[0055]
Then, a normal / defective label image in which the extracted defective pixel is “1” and the other normal pixels are “0” is created by the
[0056]
In this state, the
When normal X-ray imaging or X-ray fluoroscopy is performed, the labeling image stored in the
[0057]
The defective
[0058]
The interpolated image signal is converted into an analog signal by the D /
[0059]
As described above, the defective pixel
[0060]
In addition, since the defective pixel
Furthermore, the defective pixel
[0061]
In the image sensor defective pixel
[0062]
Further, in the defective pixel
[0063]
Furthermore, in the defective pixel
[0064]
Further, in the defective pixel
[0065]
【The invention's effect】
As described above, according to the present invention, the result of detecting a defective pixelBased onDefective pixels are classified and the classification resultAccordingly adjacent to the defective pixelSince the pixel signal of the defective pixel is interpolated using the pixel signal of the pixel, the pixel signal of the defective pixel can be appropriately corrected.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating an embodiment of a defective pixel correction processing device for an image sensor according to the present invention.
FIG. 2 is a block diagram illustrating a defective pixel detection unit of the defective pixel correction processing device of the image sensor illustrated in FIG. 1;
FIG. 3 is a diagram showing a defective pixel extracted by a normal / defective pixel separator and a normal / defective label image.
FIG. 4 is a diagram showing a classification example of defective pixels within a predetermined ROI (3 × 3 pixels).
FIG. 5 is a diagram showing names of pixels in an ROI (3 × 3 pixels) used for describing labeling.
FIG. 6 is a diagram illustrating a classification example in which defective pixels within a predetermined ROI (3 × 3 pixels) are divided into 10 types.
FIG. 7 is a diagram illustrating an example of a case where labeling is performed for each type of defective pixel illustrated in FIG. 6;
FIG. 8 is a diagram showing correction coefficients (simple averages) for each type of defective pixel shown in FIG. 6;
9 is a diagram showing correction coefficients (reverse ratios of distances) for each type of defective pixel shown in FIG. 6;
FIG. 10 is a block diagram showing a buffer memory of the defective pixel correction processing device of the image sensor shown in FIG. 1;
FIG. 11 is a timing chart showing operation timing when three lines of the buffer memory are simultaneously output.
12 is a block diagram illustrating a defective pixel correction processing unit of the defective pixel correction processing device of the image sensor illustrated in FIG. 1;
FIG. 13 is a block diagram illustrating a defective pixel correction processing unit when performing correction processing of a defective pixel using a pixel in a 3 × 3 ROI.
FIG. 14 is a block diagram illustrating operation timings of a defective pixel correction processing unit when performing correction processing of a defective pixel using pixels in a 3 × 3 ROI.
FIG. 15 is a diagram showing names of pixels used to explain the operation timing shown in FIG. 14;
FIG. 16 is a diagram illustrating another configuration of the defective pixel correction processing unit.
FIG. 17 is a block diagram showing a defective pixel correction processing device for an image sensor according to the present invention when a defective pixel detection unit is replaced with hardware or software.
FIG. 18 is a block diagram illustrating a schematic configuration of an X-ray diagnostic apparatus equipped with a TV camera and a defective pixel correction processing device.
FIG. 19 is a diagram showing image signal values before and after replacement by an adjacent pixel replacement method.
FIG. 20 is a diagram showing image signal values before and after replacement by median processing.
FIG. 21 is a diagram illustrating an image signal value before interpolation by the bilinear interpolation method, a diagram illustrating pixels used in the bilinear interpolation method, and an image signal value after interpolation by the bilinear interpolation method. FIG.
FIG. 22 is a diagram illustrating pixels used for high-dimensional interpolation processing using a SINC function.
[Explanation of symbols]
10. Image processing device for defective pixel correction
11 switch
13 Defective pixel detector
15 Correction data ROM
17 Correction coefficient generator
19 Buffer memory
21 Defective pixel correction processing unit
23 frame addition processor
25 LPF processor
27 Subtractor
29 Normal / Defective pixel separator
31 Defective Pixel Classifier
33-11, 33-12, 33-13, 33-21, 33-22, 33-23, 33-31, 33-32, 33-33 33 Subtractor
35 Horizontal / vertical addition processing unit
37-1, 37-237-3, 45 Latch
39-1, 41-1, 39-2, 41-2, 39-3, 41-3, 43, 47 Adder
LM line memory
MP multiplexer
P subject
Claims (4)
欠陥画素を検出する欠陥画素検出手段と、
欠陥画素をハイレベル、正常画素をローレベルとした正常・欠陥ラベル像を作成し、この正常・欠陥ラベル像を基に所定数の画素群毎の欠陥画素のパターンによる分類を行い、この分類に対応させて前記所定数の画素群毎にラベリングを行う欠陥画素分類手段と、
この欠陥画素分類手段によるラベリングに対応させ、前記欠陥画素に隣接する画素の画像信号を用いて該欠陥画素の画像信号を補間する欠陥画素補正処理手段とを有することを特徴とする撮像素子の欠陥画素補正処理装置。An image sensor defective pixel correction processing device for correcting an image signal of a defective pixel of the image sensor having a plurality of pixels,
Defective pixel detecting means for detecting a defective pixel;
Create a normal / defective label image with a defective pixel at a high level and a normal pixel at a low level.Based on the normal / defect label image, classify a defective pixel pattern for each of a predetermined number of pixel groups based on this pattern. Defective pixel classification means for performing labeling for each of the predetermined number of pixel groups in association with each other ;
Defective pixel correction processing means for interpolating an image signal of the defective pixel using an image signal of a pixel adjacent to the defective pixel in correspondence with the labeling by the defective pixel classification means. Pixel correction processing device.
欠陥画素を検出する欠陥画素検出手段と、
欠陥画素をハイレベル、正常画素をローレベルとした正常・欠陥ラベル像を作成し、この正常・欠陥ラベル像を基に所定数の画素群毎の欠陥画素のパターンによる分類を行い、この分類に対応させて前記所定数の画素群毎にラベリングを行う欠陥画素分類手段と、
前記欠陥分類手段によるラベリングに対応した補正係数を前記所定数の画素群毎に発生する補正係数発生部と、
前記欠陥分類手段によるラベリングに対応させ、前記所定数の画素群毎に欠陥画素を除き欠陥画素と隣接した画素の画像信号と、前記補正係数発生部により発生された補正係数とを用いて欠陥画素の画像信号を補間する欠陥画素補正処理手段とを有することを特徴とする撮像素子の欠陥画素補正処理装置。 An image sensor defective pixel correction processing device for correcting an image signal of a defective pixel of the image sensor having a plurality of pixels,
Defective pixel detecting means for detecting a defective pixel;
Create a normal / defective label image with a defective pixel at a high level and a normal pixel at a low level.Based on the normal / defect label image, classify a defective pixel pattern for each of a predetermined number of pixel groups based on this pattern. Defective pixel classification means for performing labeling for each of the predetermined number of pixel groups in association with each other;
A correction coefficient generation unit that generates a correction coefficient corresponding to labeling by the defect classification unit for each of the predetermined number of pixel groups;
Corresponding to the labeling by the defect classifying means, a defective pixel is determined by using an image signal of a pixel adjacent to the defective pixel except for the defective pixel for each of the predetermined number of pixel groups and a correction coefficient generated by the correction coefficient generator. And a defective pixel correction processing means for interpolating the image signal .
被検体を透過したX線を検出し画像信号を出力する複数の画素を有する撮像手段と、Imaging means having a plurality of pixels for detecting an X-ray transmitted through the subject and outputting an image signal;
この撮像手段における欠陥画素を検出する欠陥画素検出手段と、Defective pixel detecting means for detecting defective pixels in the imaging means;
欠陥画素をハイレベル、正常画素をローレベルとした正常・欠陥ラベル像を作成し、この正常・欠陥ラベル像を基に所定数の画素群毎の欠陥画素のパターンによる分類を行い、この分類に対応させて前記所定数の画素群毎にラベリングを行う欠陥画素分類手段と、Create a normal / defective label image with a defective pixel at a high level and a normal pixel at a low level. Defective pixel classification means for performing labeling for each of the predetermined number of pixel groups in association with each other;
この欠陥画素分類手段によるラベリングに対応させ、前記欠陥画素に隣接する画素の画像信号を用いて該欠陥画素の画像信号を補間する欠陥画素補正処理手段と、Defective pixel correction processing means for interpolating an image signal of the defective pixel using an image signal of a pixel adjacent to the defective pixel in correspondence with labeling by the defective pixel classification means,
この欠陥画素補正処理手段にて補正された画像信号を表示する表示手段とを有することを特徴とするX線診断装置。An X-ray diagnostic apparatus comprising: display means for displaying an image signal corrected by the defective pixel correction processing means.
被検体を透過したX線を検出し画像信号を出力する複数の画素を有する撮像手段と、
この撮像手段における欠陥画素を検出する欠陥画素検出手段と、
欠陥画素をハイレベル、正常画素をローレベルとした正常・欠陥ラベル像を作成し、この正常・欠陥ラベル像を基に所定数の画素群毎の欠陥画素のパターンによる分類を行い、この分類に対応させて前記所定数の画素群毎にラベリングを行う欠陥画素分類手段と、
前記欠陥分類手段によるラベリングに対応した補正係数を前記所定数の画素群毎に発生する補正係数発生部と、
前記欠陥分類手段によるラベリングに対応させ、前記所定数の画素群毎に欠陥画素を除き欠陥画素と隣接した画素の画像信号と、前記補正係数発生部により発生された補正係数とを用いて欠陥画素の画像信号を補間する欠陥画素補正処理手段と、
この欠陥画素補正処理手段にて補正された画像信号を表示する表示手段とを有することを特徴とするX線診断装置。An X-ray source that emits X-rays to the subject;
Imaging means having a plurality of pixels for detecting an X-ray transmitted through the subject and outputting an image signal;
Defective pixel detecting means for detecting defective pixels in the imaging means;
Create a normal / defective label image with a defective pixel at a high level and a normal pixel at a low level.Based on the normal / defect label image, classify a defective pixel pattern for each of a predetermined number of pixel groups based on this pattern. Defective pixel classification means for performing labeling for each of the predetermined number of pixel groups in association with each other ;
A correction coefficient generation unit that generates a correction coefficient corresponding to labeling by the defect classification unit for each of the predetermined number of pixel groups;
Corresponding to the labeling by the defect classifying means, a defective pixel is determined by using an image signal of a pixel adjacent to the defective pixel except for the defective pixel for each of the predetermined number of pixel groups and a correction coefficient generated by the correction coefficient generator. Defective pixel correction processing means for interpolating the image signal of
An X-ray diagnostic apparatus comprising: display means for displaying an image signal corrected by the defective pixel correction processing means.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP20041996A JP3601908B2 (en) | 1996-07-30 | 1996-07-30 | Image processing device defective pixel correction processing device, X-ray diagnostic device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP20041996A JP3601908B2 (en) | 1996-07-30 | 1996-07-30 | Image processing device defective pixel correction processing device, X-ray diagnostic device |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH1051693A JPH1051693A (en) | 1998-02-20 |
JP3601908B2 true JP3601908B2 (en) | 2004-12-15 |
Family
ID=16424005
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP20041996A Expired - Lifetime JP3601908B2 (en) | 1996-07-30 | 1996-07-30 | Image processing device defective pixel correction processing device, X-ray diagnostic device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3601908B2 (en) |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002101343A (en) * | 2000-09-22 | 2002-04-05 | Toshiba Medical System Co Ltd | X-ray plane detector and x-ray diagnostic system |
JP4646392B2 (en) * | 2000-12-08 | 2011-03-09 | オリンパス株式会社 | Imaging device |
JP4532730B2 (en) * | 2000-12-26 | 2010-08-25 | キヤノン株式会社 | Imaging apparatus and imaging method |
KR100966689B1 (en) | 2003-09-09 | 2010-06-29 | 엘지전자 주식회사 | A method and a apparatus of compensation defect pixel for digital camera |
JP2005354278A (en) * | 2004-06-09 | 2005-12-22 | Seiko Epson Corp | Image data processing apparatus for processing image data of image picked up by imaging means |
JP4533124B2 (en) * | 2004-12-21 | 2010-09-01 | イーストマン コダック カンパニー | Pixel defect correction device |
JP2006230484A (en) * | 2005-02-22 | 2006-09-07 | Toshiba Corp | X-ray diagnostic apparatus, image processing method and image processing program |
JP4557795B2 (en) * | 2005-05-18 | 2010-10-06 | 富士フイルム株式会社 | Data correction processing apparatus and data correction processing method |
JP4857877B2 (en) | 2006-04-11 | 2012-01-18 | 株式会社ニコン | Imaging device and camera |
JP5043400B2 (en) * | 2006-11-07 | 2012-10-10 | キヤノン株式会社 | Imaging apparatus and control method thereof |
JP5028077B2 (en) * | 2006-12-12 | 2012-09-19 | キヤノン株式会社 | Imaging device, method for determining defective pixel thereof, and program |
JP5089210B2 (en) * | 2007-03-22 | 2012-12-05 | 富士フイルム株式会社 | Image sensor image processing method |
KR100915970B1 (en) | 2007-09-10 | 2009-09-10 | 연세대학교 산학협력단 | Method and apparatus for compensating color of image obtained from image sensor |
JP5147517B2 (en) * | 2008-04-22 | 2013-02-20 | 富士フイルム株式会社 | Image photographing apparatus and image defect detection method |
JP5361267B2 (en) * | 2008-07-18 | 2013-12-04 | 富士フイルム株式会社 | Signal line correction method and apparatus |
JP5248385B2 (en) * | 2009-03-25 | 2013-07-31 | 富士フイルム株式会社 | Defective pixel detection method and radiographic imaging apparatus |
US8463035B2 (en) * | 2009-05-28 | 2013-06-11 | Gentex Corporation | Digital image processing for calculating a missing color value |
WO2012150660A1 (en) * | 2011-05-02 | 2012-11-08 | コニカミノルタアドバンストレイヤー株式会社 | Image capture device |
US9769430B1 (en) | 2011-06-23 | 2017-09-19 | Gentex Corporation | Imager system with median filter and method thereof |
US9041838B2 (en) | 2012-02-14 | 2015-05-26 | Gentex Corporation | High dynamic range imager system |
JP5458223B1 (en) * | 2012-04-10 | 2014-04-02 | オリンパスメディカルシステムズ株式会社 | Imaging device |
US20200244950A1 (en) * | 2017-06-28 | 2020-07-30 | Gopro, Inc. | Image Sensor Blemish Detection |
CN114009007A (en) * | 2019-06-28 | 2022-02-01 | 索尼半导体解决方案公司 | Transmission device, reception device, and transmission system |
CN116030030B (en) * | 2023-02-13 | 2023-08-29 | 中建科技集团有限公司 | Integrated assessment method for internal and external defects of weld joint of prefabricated part |
-
1996
- 1996-07-30 JP JP20041996A patent/JP3601908B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JPH1051693A (en) | 1998-02-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3601908B2 (en) | Image processing device defective pixel correction processing device, X-ray diagnostic device | |
JP4828776B2 (en) | Method and apparatus for digital image defect correction and noise filtering | |
JP2006013558A (en) | Image processing apparatus and image processing program | |
CN101198965A (en) | Defect pixel correction in an image sensor | |
JP2004048465A (en) | Apparatus and program for image processing | |
JP3866957B2 (en) | Image synthesizer | |
JPS6370689A (en) | Motion detecting circuit | |
US10319083B2 (en) | Image artifact detection and correction in scenes obtained from multiple visual images | |
JPH03131173A (en) | Picture processing system | |
JPH0362689A (en) | Television system converter moving correction | |
WO2013051314A1 (en) | Image correction device, image correction method and endoscopic device | |
JP4050498B2 (en) | Image synthesizer | |
JPH041866A (en) | Method and device for image processing | |
JP2001197512A (en) | Color component generator and multi-color image pickup device using it, and color component generating method | |
JP3817635B2 (en) | Color image processing apparatus and processing method | |
JP4276817B2 (en) | Imaging device | |
Hammadou et al. | Novel image enhancement technique using shunting inhibitory cellular neural networks | |
JPH0779372A (en) | Electronic camera device | |
JP3990059B2 (en) | Apparatus and method for correcting defective pixel of imaging device | |
JP5704069B2 (en) | Image input device | |
JPH02224745A (en) | Defect compensating device for x-ray fluoroscopic image | |
JP2843232B2 (en) | Apparatus and method for contrast enhancement | |
JP2006166030A (en) | Color noise reduction method and color imaging apparatus | |
JPH04205572A (en) | Signal processor | |
JP2023082340A (en) | Image processing device and image processing method, imaging apparatus and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040917 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040921 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081001 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081001 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091001 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091001 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101001 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111001 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111001 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121001 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121001 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131001 Year of fee payment: 9 |
|
EXPY | Cancellation because of completion of term |