JP2003116060A - 欠陥画素補正装置 - Google Patents

欠陥画素補正装置

Info

Publication number
JP2003116060A
JP2003116060A JP2001307367A JP2001307367A JP2003116060A JP 2003116060 A JP2003116060 A JP 2003116060A JP 2001307367 A JP2001307367 A JP 2001307367A JP 2001307367 A JP2001307367 A JP 2001307367A JP 2003116060 A JP2003116060 A JP 2003116060A
Authority
JP
Japan
Prior art keywords
defective pixel
pixel
value
pixels
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001307367A
Other languages
English (en)
Other versions
JP4054184B2 (ja
JP2003116060A5 (ja
Inventor
Yoshinori Ono
義典 大野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Optical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Optical Co Ltd filed Critical Olympus Optical Co Ltd
Priority to JP2001307367A priority Critical patent/JP4054184B2/ja
Priority to US10/262,093 priority patent/US20030063203A1/en
Publication of JP2003116060A publication Critical patent/JP2003116060A/ja
Publication of JP2003116060A5 publication Critical patent/JP2003116060A5/ja
Application granted granted Critical
Publication of JP4054184B2 publication Critical patent/JP4054184B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Image Input (AREA)

Abstract

(57)【要約】 【課題】 複雑なエッジ構造や連続した欠陥画素がある
場合においても、正確な補正が可能な欠陥画素補正装置
を提供する。 【解決手段】 CCD102 で撮影された画像信号をA/
D変換器103 によりデジタル化して画像用バッファ104
上に記録し、欠陥位置記録ROM205 上に記録されてい
る欠陥画素の位置情報に基づき、所定サイズの周囲画素
を入出力制御部200 によってラインバッファ201 に取り
込み、指標値算出部202 で所定方向における複数の指標
値から統合された指標値を求め、方向算出部203 で相関
が最大となる方向を求め、補正値算出部204 で前記相関
のある方向に属する周囲画素を用いて欠陥画素の補正値
を算出する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、固体撮像素子に
存在する欠陥画素の補正装置に関し、特に欠陥画素が連
続する場合でも高品位な補正を可能とする欠陥画素補正
装置に関する。
【0002】
【従来の技術】近年、ディジタルカメラなど固体撮像素
子を用いた撮像装置が様々な用途に使用されている。使
用される固体撮像素子の画素数は、年々増大する傾向に
あり、これに伴い欠陥画素の発生も増大することにな
る。このような問題に対して、従来は製造時の検査によ
り欠陥画素の位置をあらかじめ記録しておき、その記録
された画素を隣接する画素と置き換える手法や、周囲画
素の中央値や平均値で補間するなどの手法がとられてき
た。しかし、これらの手法では、欠陥画素近傍に濃淡の
境界が存在する場合やコントラストが急激に変化してい
る場合などでは、補正跡が不連続となってしまうことが
あった。
【0003】この問題を解決するため、従来特許公報第
2808813号に示すような手法が提案されている。
この手法は、欠陥画素の1画素前と後ろに隣接する画素
と、欠陥画素の1ライン前で隣接する3画素の合計5画
素について、それぞれ隣接する2画素間の信号レベルの
差分の絶対値を算出して、この差の大小関係を比較して
欠陥画素周囲をパターン分類し、分類結果に応じた欠陥
画素の補正を行うものである。また、表示画像に悪影響
を及ぼさずに高品質の画像を表示するために、特開平8
−9394号公報に示すように、欠陥画素周囲の各色画
素の強度平均値を計算し、注目色画素の強度平均値と他
の色画素の強度平均値との比を求め、この比演算値を原
画像信号に乗算してメディアンフィルタをかけること
で、傷信号が除去された信号を得るという方法がとられ
てきた。
【0004】
【発明が解決しようとする課題】しかしながら、前記特
許公報第2808813号に示される補正回路では、欠
陥画素に隣接する前後の画素と1ライン前で隣接する3
画素のレベル差のみでパターンを識別しているため、こ
のパターン認識を誤る可能性がある。例えば、図12の
(A)に示すように、欠陥画素(?マーク付き画素)に
隣接する前の画素,左上の画素,上の画素の輝度レベル
差が小さいような場合、パターンは垂直方向であると判
定される。このため、欠陥画素の位置は上に隣接する画
素の値で補間されるが、実際には図12の(B)に示すよ
うに右上がりのパターンである場合も考えられ、正確な
パターン分類を行うことができない。また、欠陥画素が
連続して発生しているような場合では、参照する隣接画
素に欠陥画素が含まれてしまうため、パターン識別がで
きないという問題もある。
【0005】本発明はこの点に着目し、欠陥画素の周辺
に複雑なエッジ構造がある場合や、欠陥画素が連続して
発生している場合においても、正確な補正を可能とする
欠陥画素補正装置を提供することを目的とする。
【0006】また、欠陥画素には、入射光のレベルにか
かわりなく、白レベル又は黒レベルの信号を出力する白
傷や黒点欠陥などがある。上記特開平8−9394号に
示される補正方法においては、欠陥画素は入射光のレベ
ルに応じて出力値が増大すると仮定して欠陥補正を行っ
ているため、白傷や黒点欠陥などの欠陥画素は補正する
ことができない。また、Bayer 型などの出現頻度が異な
る色フィルタを前面に配置した撮像素子の場合、出現頻
度の多い色の画素の欠陥に対しても同色の離れた画素信
号の平均値を用いて補正するため、画素に含まれる高周
波成分が失われてしまうという問題があった。更に、欠
陥画素周囲中に別の欠陥画素が含まれている場合、欠陥
画素を含む平均値を求めてしまうため、精度の高い補正
を行うことができないという問題があった。
【0007】本発明はこの点に着目し、白傷や黒点欠陥
の欠陥画素に対しても補正が可能な欠陥画素補正装置を
提供することを目的とする。
【0008】更に、本発明は、出現頻度が異なる色フィ
ルタの撮像素子において高周波成分を失うことなく高精
度な補正を可能とし、欠陥画素周囲に別の欠陥画素が存
在する場合においても誤動作することのない欠陥画素補
正装置を提供することを目的とする。
【0009】
【課題を解決するための手段】上記問題点を解決するた
め、請求項1に係る発明は、固体撮像素子の欠陥画素を
補正する欠陥画素補正装置において、前記欠陥画素の位
置情報を記憶する欠陥記憶手段と、該欠陥記憶手段に記
憶されている前記位置情報に基づき欠陥画素の周囲画素
を取り込む画素取り込み手段と、該画素取り込み手段で
取り込まれた前記周囲画素において所定方向に関する複
数のエッジ強度指標値から統合された指標値を算出する
指標値算出手段と、該指標値算出手段で算出された前記
統合された指標値に基づき相関が最大となる方向を算出
する方向算出手段と、該方向算出手段で算出された前記
方向に基づき選択された周囲画素から前記欠陥画素の補
正値を算出する補正値算出手段とを備えていることを特
徴とするものである。
【0010】この請求項1に係る発明に関する実施の形
態には、図1〜図7に示す第1の実施の形態が対応す
る。そして、請求項1における構成要件の欠陥記憶手
段、画素取り込み手段、指標値算出手段、方向算出手
段、補正値算出手段には、第1の実施の形態における欠
陥位置記録ROM205 ,入出力制御部200 ,指標値算出
部202 ,方向算出部203 ,補正値算出部204 が、それぞ
れ対応している。
【0011】この発明を適用した図1に示した第1の実
施の形態においては、CCD102 にて撮影された画像信
号をA/D変換器103 にてデジタル化して画像用バッフ
ァ104 上に記録し、欠陥位置記録ROM205 上に記録さ
れた欠陥画素の位置情報に基づき、所定サイズの周囲画
素を入出力制御部200 にてラインバッファ201 に取り込
み、指標値算出部202 にて所定方向における複数の指標
値から統合された指標値を求め、方向算出部203 にて相
関が最大となる方向を求め、補正値算出部204にて前記
相関のある方向に属する周囲画素を用いて欠陥画素の補
正値が算出される。
【0012】このように、欠陥画素の周囲画素から相関
性の高い方向を求め、この方向に属する周囲画素を用い
て補正値を算出し、その際、所定方向に関して複数の指
標値を求め、これを統合することで、この方向の指標値
としているので、得られる指標値の精度が高く方向検出
が高性能となり、エッジ領域などの複雑な画像において
も高精度の欠陥画素の補正が可能となる。
【0013】請求項2に係る発明は、色フィルタを前面
に配置した固体撮像素子の欠陥画素を補正する欠陥画素
補正装置において、前記欠陥画素の位置情報を記憶する
欠陥記憶手段と、該欠陥記憶手段に記憶されている前記
位置情報に基づき、固体撮像素子の前面に配置された色
フィルタの各色のうち欠陥画素と同色の周囲画素を取り
込む画素取り込み手段と、該画素取り込み手段で取り込
まれた前記欠陥画素と同色の周囲画素において所定方向
に関する複数のエッジ強度指標値から統合された指標値
を算出する指標値算出手段と、該指標値算出手段で算出
された前記統合された指標値に基づき相関が最大となる
方向を算出する方向算出手段と、該方向算出手段で算出
された前記方向に基づき選択された周囲画素から前記欠
陥画素の補正値を算出する補正値算出手段とを備えてい
ることを特徴とするものである。
【0014】この請求項2に係る発明に関する実施の形
態には、図1〜図7に示す第1の実施の形態が対応す
る。そして、請求項2における構成要件の欠陥記憶手
段、画素取り込み手段、指標値算出手段、方向算出手
段、補正値算出手段には、第1の実施の形態における欠
陥位置記録ROM205 ,入出力制御部200 ,指標値算出
部202 ,方向算出部203 ,補正値算出部204 が、それぞ
れ対応している。
【0015】この発明を適用した図1に示した第1の実
施の形態においては、色フィルタを前面に配置されたC
CD102 にて撮影された画像信号をA/D変換器103 に
てデジタル化して画像用バッファ104 上に記録し、欠陥
位置記録ROM205 上に記録された欠陥画素の位置情報
に基づき、所定サイズの欠陥画素と同色の周囲画素を入
出力制御部200 にてラインバッファ201 に取り込み、指
標値算出部202 にて所定方向における複数の指標値から
統合された指標値を求め、方向算出部203 にて相関が最
大となる方向を求め、補正値算出部204 にて前記相関の
ある方向に属する周囲画素を用いて欠陥画素の補正値が
算出される。
【0016】このように、欠陥画素と同色の周囲画素か
ら相関性の高い方向を求め、この方向に属する周囲画素
を用いて補正値を算出し、その際、所定方向に関して複
数の指標値を求め、これを統合することで、この方向の
指標値としているので、得られる指標値の精度が高く方
向検出が高性能となり、エッジ領域などの複雑な画像に
おいても高精度の欠陥画素の補正が可能となる。
【0017】請求項3に係る発明は、出現頻度が不均一
な色フィルタを前面に配置した固体撮像素子の欠陥画素
を補正する欠陥画素補正装置において、前記欠陥画素の
位置情報を記憶する欠陥記憶手段と、該欠陥記憶手段に
記憶されている前記位置情報に基づき欠陥画素の周囲画
素を取り込む画素取り込み手段と、該画素取り込み手段
で取り込まれた前記周囲画素において出現頻度が多い色
の画素の所定方向に関する複数のエッジ強度指標値から
統合された指標値を算出する指標値算出手段と、該指標
値算出手段で算出された前記複数の指標値に基づき出現
頻度が多い色の画素の相関が最大となる方向を算出する
方向算出手段と、該方向算出手段で算出された前記方向
に基づき選択された周囲画素中の出現頻度が多い色の画
素から前記欠陥画素の補正値を算出する第1の補正値算
出手段と、前記欠陥画素周囲の画素中の出現頻度が多い
色の画素と出現頻度が少ない色の画素から色比率を算出
する色比率算出手段と、前記欠陥画素周囲の画素中の出
現頻度が多い色の画素から算出した補間値、及び前記色
比率算出手段で算出された色比率に基づき前記欠陥画素
の補正値を算出する第2の補正値算出手段と、前記欠陥
画素の色に基づき前記第1の補正値算出手段と前記第2
の補正値算出手段を切り換える切換手段とを備えている
ことを特徴とするものである。
【0018】この請求項3に係る発明に関する実施の形
態には、図8〜図11に示される第2の実施の形態が対応
する。そして、請求項3における構成要件の欠陥記憶手
段、画素取り込み手段、指標値算出手段、方向算出手
段、第1の補正値算出手段、色比率算出手段、第2の補
正値算出手段及び切換手段には、第2の実施の形態にお
ける欠陥位置記憶ROM205 ,入出力制御部200 ,指標
値算出部202 ,方向算出部203 ,補正値算出部204 ,色
比率算出部207 ,第2補正値算出部208 及び制御部108
が、それぞれ対応している。
【0019】この発明を適用した図8に示した第2の実
施の形態においては、色フィルタ109 を前面に配置した
CCD102 にて撮影された画像信号をA/D変換器103
にてデジタル化して画像用バッファ104 上に記録し、欠
陥位置記録ROM205 上に記録された欠陥画素の位置情
報に基づき、所定サイズの周囲画素を入出力制御部200
にてラインバッファ201 に取り込み、欠陥画素が出現頻
度の多い色の画素の場合は、指標値算出部202 にて所定
方向における複数の指標値から統合された指標値を求
め、方向算出部203 にて相関が最大となる方向を求め、
補正値算出部204にて前記相関のある方向に属する周囲
画素を用いて欠陥画素の補正値を算出し、欠陥画素が出
現頻度の少ない色の画素の場合は、色比率算出部207 に
て欠陥画素周囲における出現頻度の少ない色の画素と出
現頻度の多い色の画素間の色比率を求め、第2補正値算
出部208 にて出現頻度の多い色の画素から求めた補間値
と上記色比率を乗算することで、欠陥画素の補正値が算
出される。
【0020】このように、欠陥画素が出現頻度の多い色
の画素の場合、その色の画素のみを用いて相関性の高い
方向を求め、この方向に属する周囲画素を用いて補正値
を算出し、一方、出現頻度の少ない色の画素の場合、欠
陥画素の周囲画素を用いて出現頻度の多い色の画素と少
ない色の画素間で色比率を求め、更に欠陥画素位置にお
ける出現頻度の多い色の画素値を補間により求め、両者
を乗算することで補正値を算出するようにしている。
【0021】これにより、出現頻度の多い色の画素の場
合、その色の画素のみを用いて補正値を算出するため、
出現頻度の少ない色の影響を受けずに高周波成分を維持
した高精度な補正が可能となり、また出現頻度の少ない
色の画素の場合、多い色の画素との色比率に基づき補正
値を算出するため、出現頻度の多い色の画素の情報を利
用してより精度の高い補正が可能となる。
【0022】請求項4に係る発明は、請求項1に係る欠
陥画素補正装置において、前記エッジ強度指標値は、前
記欠陥画素の周囲の正常な画素において前記欠陥画素と
近接する2画素間の画素値の絶対値差であることを特徴
とするものであり、この発明に係る実施の形態には、第
1の実施の形態が対応する。
【0023】請求項5に係る発明は、請求項1又は2に
係る欠陥画素補正装置において、前記エッジ強度指標値
は、前記欠陥画素の周囲の正常な画素において前記欠陥
画素と同色の近接する2画素間の画素値の絶対値差であ
ることを特徴とするものであり、この発明に係る実施の
形態には、第1及び第2の実施の形態が対応する。
【0024】請求項6に係る発明は、請求項1〜3のい
ずれか1項に係る欠陥画素補正装置において、前記統合
された指標値は、前記エッジ強度指標値を所定の方向毎
に加算した値であることを特徴とするものであり、この
発明に係る実施の形態には、第1及び第2の実施の形態
が対応する。
【0025】請求項7に係る発明は、請求項1〜3のい
ずれか1項に係る欠陥画素補正装置において、前記画素
取り込み手段は、前記欠陥画素の位置情報に基づき周囲
画素中に欠陥画素が含まれている場合に該欠陥画素を除
去する除去手段を備えていることを特徴とするものであ
る。この発明に関する実施の形態には、第1及び第2の
実施の形態が対応し、そして請求項7における構成要件
の除去手段には、第1及び第2の実施の形態における周
囲欠陥除去部206 が対応する。
【0026】この発明を適用した図1及び図8に示した
第1及び第2の実施の形態においては、欠陥位置記録R
OM205 上に記録された欠陥画素の位置情報に基づき入
出力制御部200 にて所定サイズの周囲画素を取り込み、
周囲欠陥除去部206 にてこの周囲画素中から欠陥位置記
録ROM205 上に記録された欠陥画素の位置情報に基づ
き欠陥画素を除去する。そして、欠陥画素の周囲画素に
存在する欠陥画素を除去した後に補正値を求める。これ
により、欠陥画素が連続する場合でも、その影響を除去
し、精度の高い補正が可能となる。
【0027】請求項8に係る発明は、請求項1〜3のい
ずれか1項に係る欠陥画素補正装置において、前記指標
値算出手段は、前記所定方向に属する周囲画素から所定
距離にある2つの画素の組合せを複数抽出する抽出手段
と、該抽出手段で抽出された前記複数の組合せに対する
画素間の絶対値差を算出する絶対値差算出手段と、該絶
対値差算出手段で算出された前記複数の絶対値差を前記
複数の所定方向毎に加算する加算手段とを備えているこ
とを特徴とするものである。
【0028】この発明に関する実施の形態には、第1及
び第2の実施の形態が対応し、そして請求項8における
構成要件の抽出手段、絶対値差算出手段及び加算手段に
は、第1及び第2の実施の形態の指標値算出部202 にお
ける抽出位置記録ROM300,絶対値差算出部301 及び
加算部302 が、それぞれ対応している。
【0029】この発明を適用した図1及び図8に示した
第1及び第2の実施の形態においては、指標値算出部20
2 内で、抽出位置記録ROM300 に記録された位置情報
に基づき欠陥画素の周囲画素から特定方向に属する2つ
の画素の組を複数抽出し、絶対値差算出部301 で上記組
に関して絶対値差を求め、加算部302 にて絶対値差を加
算することで所定方向の指標値とする。このように、一
つの方向の指標値を複数の指標値の加算にて算出するよ
うにしているので、欠陥画素が連続する場合でも指標値
の算出が可能となり、相関性の高い方向を利用した精度
の高い補正が可能となる。
【0030】請求項9に係る発明は、請求項1〜3のい
ずれか1項に係る欠陥画素補正装置において、前記方向
算出手段は、算出された前記複数の所定方向における指
標値の各方向別の割合を求める割合算出手段と、該割合
算出手段で求められた前記複数の所定方向における指標
値の割合を各方向毎にそれぞれ比較する比較手段と、該
比較手段の比較結果から最も相関性の高い方向を出力す
る出力手段とを備えていることを特徴とするものであ
る。
【0031】この発明に関する実施の形態には、第1及
び第2の実施の形態が対応し、そして請求項9における
構成要件の割合算出手段、比較手段及び出力手段には、
第1及び第2の実施の形態の方向算出部203 における割
合算出部400 ,比較部401 及び出力部402 が、それぞれ
対応している。
【0032】この発明を適用した図1及び図8に示した
第1及び第2の実施の形態においては、方向算出部203
内で、指標値算出部202 にて算出された各方向の指標値
から割合算出部400 にて方向別の割合を求め、比較部40
1 にて方向別の割合比を比較し、出力部402 にて比較結
果に基づき相関性の高い方向もしくは特定の方向には相
関性がないという情報を出力する。
【0033】以上のように、方向毎の指標値からそれぞ
れの割合を求め、その比を比較することで相関性のある
方向、又は相関性がないという情報を出力する。このよ
うに、各方向の指標値の比の値を比較するため、画像の
階調幅などに依存せず、閾値設定などの調整が不要で、
且つノイズなどに影響されにくく、相関性の高い方向を
高精度に検出することが可能となる。
【0034】請求項10に係る発明は、請求項1〜3のい
ずれか1項に係る欠陥画素補正装置において、前記請求
項1又は2に記載の補正値算出手段及び請求項3に記載
の第1の補正値算出手段は、前記所定方向に属する周囲
画素から補間により補正値を算出する補間算出手段と、
前記周囲画素から平均により補正値を算出する平均算出
手段と、前記方向に基づき前記補間算出手段と前記平均
算出手段を選択する選択手段とを備えていることを特徴
とするものである。
【0035】この発明に関する実施の形態には、第1及
び第2の実施の形態が対応し、そして請求項10における
構成要件の補間算出手段、平均算出手段及び選択手段に
は、第1及び第2の実施の形態の補正値算出部204 にお
ける補間算出部501 ,平均算出部502 及び選択部500
が、それぞれ対応する。
【0036】この発明を適用した図1及び図8に示した
第1及び第2の実施の形態においては、補正値算出部20
4 内で、方向算出部203 からの情報に基づきに選択部50
0 にて補間算出部501 又は平均算出部502 を選択する。
このように、相関性の有無に基づき特定方向の周囲画素
を用いた補間又は全ての周囲画素を用いた平均を切り換
える。そしてエッジなどの特定方向に相関性が高い場合
はその方向の周囲画素を用い、平坦な場合は全周囲画素
を用いるため、入力画像に対し最適な補正が可能とな
る。
【0037】請求項11に係る発明は、請求項3に係る欠
陥画素補正装置において、前記色比率算出手段は、前記
欠陥画素周囲の画素において出現頻度が多い色の画素の
平均値及び出現頻度が少ない色の画素の平均値との比を
算出する比算出手段を備えていることを特徴とするもの
である。この発明に関する実施の形態には、第2の実施
の形態が対応し、そして請求項11における構成要件の比
算出手段には、第2の実施の形態の色比率算出部207 に
おける比算出部 602が対応する。
【0038】この発明を適用した図8に示す第2の実施
の形態においては、色比率算出部207 内で、方向算出部
203 からの情報に基づき第1平均算出部600 にて出現頻
度の多い色の画素の平均を算出し、方向算出部 203から
の情報に基づき第2平均算出部601 にて出現頻度の少な
い色の画素の平均を算出し、比算出部 602にて両者の平
均値の比を算出する。このように、相関性の高い方向に
属する周囲画素から出現頻度の多い色の画素と少ない色
の画素の色比率を算出する。したがって、エッジ領域な
どの複雑な画像においても高精度な色比率の算出が可能
となる。
【0039】請求項12に係る発明は、請求項3に係る欠
陥画素補正装置において、前記第2の補正値算出手段
は、前記所定方向に属する周囲画素中の出現頻度が多い
色の画素から補間により補間値を算出する補間算出手段
と、前記周囲画素中の出現頻度が多い色の画素から平均
により補間値を算出する平均算出手段と、相関のある方
向を調べ、前記補間算出手段と前記平均算出手段を選択
する選択手段と、前記補間値と前記色比率を乗算する乗
算手段とを備えていることを特徴とするものである。こ
の発明に関する実施の形態には、第2の実施の形態が対
応し、そして請求項12における構成要件の補間算出手
段、平均算出手段、選択手段及び乗算手段には、第2の
実施の形態の第2補正値算出部208 における補間算出部
701 ,平均算出部702 ,選択部700 及び乗算部703 が、
それぞれ対応する。
【0040】この発明を適用した図8に示す第2の実施
の形態においては、第2補正値算出部208 内で、選択部
700 にて補間算出部701 又は平均算出部702 を選択し出
現頻度の多い色の画素の補間値を求め、色比率算出部 2
07からの色比率と乗算する。このように、相関性の高い
方向に属する周囲画素から出現頻度の多い色の画素の補
間値を求め色比率と乗算する。したがって、エッジなど
の特定方向に相関性が高い場合はその方向の周囲画素を
用い、平坦な場合は全周囲画素を用いて出現頻度の多い
色の画素の補間値を求め、これに基づき出現頻度の少な
い色の画素の補正値を求めるため、出現頻度の多い色の
画素の情報を最大限利用した最適な補正が可能となる。
【0041】
【発明の実施の形態】次に、実施の形態について説明す
る。図1は、本発明に係る欠陥画素補正装置の第1の実
施の形態を示すブロック構成図である。図1において、
100 はレンズ系、101 はローパスフィルタ、102 はCC
Dで、該CCD102 を介して撮影された映像は、A/D
変換器103 にてデジタル信号へ変換される。そして、A
/D変換器103 からの映像信号は、画像用バッファ104
を介して欠陥画素補正部105 へ転送され、補正後の信号
が再度画像用バッファ104 へ送られるようになってい
る。画像用バッファ104 からの信号は、信号処理部106
を介してメモリカードやディスクなどの記録部107 へ入
力接続されている。
【0042】欠陥画素補正部105 は、画像用バッファ10
4 に接続している入出力制御部200を介して接続されて
いるラインバッファ201 ,指標値算出部202 ,方向算出
部203 ,補正値算出部204 を備えており、補正値算出部
204 の出力は入出力制御部200 を介して画像用バッファ
104 へ接続されている。また、欠陥位置記録ROM205
は入出力制御部200 と周囲欠陥除去部206 へ接続され、
周囲欠陥除去部206 はラインバッファ 201へ接続され、
更にラインバッファ201 は補正値算出部204 へ接続され
ている。また、マイクロコンピュータなどからなる制御
部108 は、信号処理部106 ,記録部107 ,入出力制御部
200 に相互に接続されている。
【0043】次に、図1に示した第1の実施の形態の概
略動作を信号の流れに基づいて説明する。なお、図1に
おいて太線は映像信号、細線は制御信号、点線はその他
のデータをそれぞれ示している。また、以下の各ブロッ
ク図においても、同様の信号を示している。まず、図示
しないシャッターボタンを押すことで撮像モードに入
る。レンズ系100 ,ローパスフィルタ101 ,CCD102
を介して撮影された映像は、A/D変換器103 にてデジ
タル信号へ変換されて画像用バッファ104 へ転送され
る。本実施の形態では、デジタル化された映像信号の階
調幅を、例えば10bit とする。画像用バッファ104 内の
映像信号は、制御部108 の制御に基づき、欠陥画素補正
部105 へ転送され、欠陥画素の補正が行われ、この補正
結果は画像用バッファ104 へ転送される。全欠陥画素の
補正が完了すると、制御部108 の制御に基づき、画像用
バッファ104 内の映像信号は信号処理部106 へ転送さ
れ、エッジ強調処理やγ補正などの公知の信号処理が行
われ、記録部107 へ転送され記録される。
【0044】次に、本実施の形態における欠陥画素補正
について説明する。図2は、本実施の形態で用いられて
いるCCD102 における欠陥画素の一例を示す図であ
る。なお、この図示例では、色フィルタのない白黒用C
CDを用いている。図2の(A)は、欠陥画素W0 と隣
接する3×3画素サイズの周囲画素Wij(i=1〜3,
j=1〜3)を示す。この図示例では、注目する欠陥画
素W0 に隣接するW32も欠陥画素であり、ハッチングを
付して示している。欠陥画素補正部105 内の欠陥位置記
録ROM205 には、事前の検査により入手された欠陥画
素の位置情報が記録されている。入出力制御部200 は、
制御部108 の制御に基づき、欠陥位置記録ROM205 か
ら欠陥画素の位置情報を順次読みとり、欠陥画素を中心
とする所定サイズの周囲画素、この例では3×3画素を
ラインバッファ201 へ転送する。また、周囲欠陥除去部
206 は欠陥位置記録ROM205 から欠陥画素の位置情報
を読みとり、周囲画素に欠陥画素が存在する場合は、こ
の周囲画素の値を特定の識別値に置き換える。識別値
は、A/D変換器103 が出力する値以外であれば任意で
あり、本例では例えば−1を用いる。その後、指標値算
出部202 は、ラインバッファ201 上の欠陥画素及び周囲
画素を読みとり、所定の方向に関する指標値を算出す
る。
【0045】図3は、指標値算出部202 の構成の一例を
示すブロック図で、抽出位置記録ROM300 ,絶対値差
算出部301 ,加算平均部302 ,指標値記録バッファ303
からなる。ラインバッファ201 からの信号は、絶対値差
算出部301 ,加算部302 ,指標値記録バッファ303 を介
して方向算出部203 へ接続されている。また、抽出位置
記録ROM300 は絶対値差算出部301 へ接続されてい
る。ラインバッファ201内の欠陥画素及び周囲画素は、
絶対値差算出部301 に取り込まれ、抽出位置記録ROM
300 に記録される位置情報に基づき特定方向毎に絶対値
差に基づく指標値が算出される。
【0046】図4は、抽出位置記録ROM300 に記録さ
れる位置情報の一例を示すもので、水平と垂直方向、及
び斜め45度方向の位置情報が記録されている。位置情報
は、注目する欠陥画素の座標を原点とした場合の相対座
標で記載されている。絶対値差算出部301 は、まず抽出
位置記録ROM300 から水平方向の位置情報を読み込
み、絶対値差を算出する。図2の(B)は、本例におけ
る水平方向の4組の指標値算出画素を示す。上記絶対値
差は加算部302 にて加算され、指標値記録バッファ303
上に記録される。水平方向の指標値rh は、(1)式で
示される。 rh = (|W11−W21|+|W21−W31|+|W13−W23| +|W23−W33|)/4 ・・・・・・・・・・・・・・・・(1)
【0047】次に、絶対値差算出部301 は、抽出位置記
録ROM300 から垂直方向の位置情報を読み込み、絶対
値差を算出する。なお、本例では欠陥画素W0 に隣接す
るW 32も欠陥画素であり、周囲欠陥除去部206 により識
別値、−1が代入されている。絶対値差算出部301 は、
上記識別値が代入された画素が検出された場合、絶対値
差の算出を中止し、別の組へ移行する。図2の(C)
は、本例における垂直方向の2組の指標値算出画素を示
す。この後、水平方法と同様に指標値が算出され指標値
記録バッファ303 上に記録される。垂直方向の指標値r
v は、(2)式で示される。 rv =(|W11−W12|+|W12−W13|)/2 ・・・・・・・・(2)
【0048】指標値記録バッファ303 上の方向別の指標
値は、方向算出部203 へ転送される。同様に絶対値差算
出部301 は、抽出位置記録ROM300 から斜め45度方向
の位置情報を読み込み、絶対値差を算出する。本例で
は、欠陥画素W0 に隣接するW 32も欠陥画素であるた
め、絶対値差の算出を中止し、別の組へ移行する。図2
の(D)及び(E)が、本例における斜め45度方向の2
組の指標値算出画素を示す。この後、算出された指標値
が記録バッファ303 上に記録される。斜め45度方向の指
標値ru ,rd は、(3),(4)式で示される。 ru =|W21−W12| ・・・・・・・・・・・(3) rd =|W12−W23| ・・・・・・・・・・・(4)
【0049】図5は、方向算出部203 の構成の一例を示
すブロック図で、割合算出部400 ,比較部401 ,出力部
402 で構成されている。指標値算出部202 からの指標値
は、割合算出部400 ,比較部401 ,出力部402 を介して
補正値算出部204 へ接続されている。指標値算出部202
からの方向別の指標値は、割合算出部400 にて複数の所
定の方向に関する指標値の割合が算出され、比較部401
へ転送される。比較部401 では、所定方向に関する指標
値の割合を各方向毎に比較する。この結果は出力部402
へ転送される。出力部402 は、最も相関性の高い方向を
出力する。比較の結果、どの方向に関しても相関性があ
まり高くない場合には、特定の方向に関して相関性がな
いという情報を補正値算出部204 へ出力する。
【0050】図6は、補正値算出部204 の構成の一例を
示すブロック図で、選択部500 ,補間算出部501 ,平均
算出部502 で構成されている。ラインバッファ201 から
の信号は、選択部500 を介して補間算出部501 又は平均
算出部502 へ接続されており、補間算出部501 ,平均算
出部502 はラインバッファ201 へ接続されている。ま
た、方向算出部203 の方向情報は、選択部500 及び補間
算出部501 へ接続されている。選択部500 は、方向算出
部203 の方向情報に基づき、特定方向が指定された場合
は、その方向の周囲画素を選択し、これを補間算出部50
1 へ転送する。一方、方向算出部が特定の方向を出力し
なかった場合には、全周囲画素を選択し、これを平均算
出部502 へ転送する。補間算出部501 は公知の線形補間
などを用いて、また平均算出部502 は加算平均、あるい
は周囲画素の中央値、最頻値などにより欠陥画素の補正
値を算出する。なお、周囲画素に周囲欠陥除去部206 に
より識別値が代入されていた場合は、この周囲画素は利
用されない。
【0051】欠陥画素の補正値vは、 v=W12 水平方向 ・・・・・・・・・・・・・(5) v=(W21+W23)/2 垂直方向 ・・・・・・・(6) v=(W31+W13)/2 +45度方向 ・・・・・・(7) v=(W11+W33)/2 −45度方向 ・・・・・・(8) v=(W11+W21+W31+W12+W13+W23+W33)/7 平坦( 平均値) ・・・・(9) のいずれかとなる。また(9) 式は(10)式と置き換えられ
る場合もある。 v=median〔W11,W21,W31,W12,W13,W23,W33〕 平坦( 中央値) ・・・・(10)
【0052】補正値は、入出力制御部200 を介して画像
用バッファ104 へ転送される。制御部108 は、上記過程
を欠陥位置記録ROM205上の全欠陥画素に対して繰り返す
よう制御を行う。上記構成により、欠陥画素が連続する
ような場合でも、指標値に基づく特定方向の周囲画素か
ら補正値を求めることが可能となり、高品位な欠陥画素
の補正が可能になる。
【0053】また、相関性があまりない場合には、平坦
であるとみなして全周囲画素から補正値を求めるため、
画像に適用した最適な補正が可能となり、ノイズによる
誤動作を低減することもできる。
【0054】なお、本実施の形態では白黒CCDの場合
を想定して説明したが、これに限定される必要はない。
例えば、図7の(A)に示すように、CCD前面にシア
ン(C),マゼンタ(M),イエロー(Y),グリーン
(G)の色フィルタを配置した補色単板CCDにおいて
も適用できる。図7の(A)においては、注目する欠陥
画素C0 と、C51及びG42が欠陥画素となっている。こ
の例では、入出力制御部200 は周囲画素として5×5画
素サイズを取り込んでいるものとする。図7の(B),
(C)は、指標値算出部202 における方向別の指標値を
算出する際の組の位置情報を示す。各方向の指標値
h ,rv ,ru ,rd は、 rh =(|C11−C31|+|C15−C35|+|C35−C55|)/3 水平方向 ・・・・・・・(11) rv =(|C11−C13|+|C13−C15|+|C53−C55|)/3 垂直方向 ・・・・・・・(12) ru =(|C31−C13|+|C53−C35|)/2 +45度方向 ・・・・・・(13) rd =(|C31−C53|+|C13−C35|)/2 −45度方向 ・・・・・・(14) となる。これらの座標情報は色フィルタの配置に基づき
抽出位置記録ROM300に記録しておく。
【0055】また、欠陥画素の補正値vは、 v=(C13+C53)/2 水平方向 ・・・・・・・(15) v=(C31+C35)/2 垂直方向 ・・・・・・・(16) v=C15 +45度方向 ・・・・・・(17) v=(C11+C55)/2 −45度方向 ・・・・・・ (18) v=(C11+C31+C13+C53+C15+C35+C55)/7 平坦( 平均値) ・・・・・ (19) のいずれかとなる。また、(19)式は(20)式と置き換えら
れる場合もある。 v=median〔C11,C31,C13,C53,C15,C35,C55〕 平坦( 中央値) ・・・・・ (20)
【0056】上記のように、色フィルタが前面に配置さ
れた撮像素子に対しても適用可能である。なお、本実施
の形態においては、指標値を求めるのに2画素の絶対値
差を用いたがこれに限定される必要はない。2画素の比
を用いるなどの他の方法も利用できる。また、各指標値
を統合するに加算平均を用いたが、これに限定される必
要はない。注目する欠陥画素からの距離に応じて重み付
けをするなどの他の方法も利用できる。
【0057】次に、本発明の第2の実施の形態を図8の
ブロック構成図に基づいて説明する。本実施の形態は、
第1の実施の形態におけるCCD102 に対して色フィル
タ109 を付加し、欠陥画素補正部105 において色比率算
出部207 及び第2補正値算出部208 を付加した構成にな
っている。基本構成は、第1の実施の形態と同等であ
り、同一の構成要素には同一の符号と名称を付して示し
ている。
【0058】以下、第1の実施の形態と異なる部分の構
成を主に説明する。ローパスフィルタ101 とCCD102
間に、色フィルタ109 が配置されている。欠陥画素補正
部105 においては、画像用バッファ104 に接続している
入出力制御部200 を介してラインバッファ201 ,指標値
算出部202 ,方向算出部203 ,補正値算出部204 が接続
されており、補正値算出部204 の出力は入出力制御部20
0 を介して画像用バッファ104 へ接続されている。更に
ラインバッファ201 から色比率算出部207 ,第2 補正値
算出部208 が接続されており、第2 補正値算出部208 の
出力は入出力制御部200 を介して画像用バッファ104 へ
接続されている。ラインバッファ201 は、補正値算出部
204 及び第2補正値算出部208 へも接続している。ま
た、欠陥位置記録ROM205 は入出力制御部200 と周囲
欠陥除去部206 へ接続しており、周囲欠陥除去部206 は
ラインバッファ201 へ接続している。
【0059】次に、このように構成されている第2の実
施の形態の動作について説明する。本実施の形態の動作
は、基本的には第1の実施の形態と同等であり、異なる
部分を主に説明する。図8において、図示しないシャッ
ターボタンを押すことで撮像モードに入る。レンズ系10
0, ローパスフィルタ101, 色フィルタ109 ,CCD10
2 を介して撮影された映像は、A/D変換器103 にてデ
ジタル信号へ変換されて、画像用バッファ104 へ転送さ
れる。画像用バッファ104 内の映像信号は、制御部108
の制御に基づき、欠陥画素補正部105 へ転送され、欠陥
画素の補正が行われ、この補正結果は画像用バッファ10
4 へ転送される。全欠陥画素の補正が完了すると、制御
部108 の制御に基づき、画像用バッファ104 内の映像信
号は信号処理部106 へ転送され、補間、ホワイトバラン
ス、エッジ色強調処理、γ補正などの公知の信号処置が
行われ、記録部107 へ転送され記録される。
【0060】図9は、本実施の形態において用いられて
いるCCD102 における欠陥画素の一例を示す図であ
る。なお本例では、レッド(R),グリーン(G),ブ
ルー(B)からなるBayer型の原色CCDを用いてい
る。Bayer型のCCDは、G画素の出現頻度がR,B画
素の2倍という不均一な出現頻度を有する。図9の
(A)は、欠陥画素R0 ,G43,B42を含むその近傍6
×5画素サイズの周囲画素を示す。まず、出現頻度が高
い信号が欠陥である場合の補正について説明する。本例
では、図9の(A)欠陥画素G43を補正する場合を考え
る。欠陥画素補正部105内の欠陥位置記録ROM205 に
は、事前の検査により入手された欠陥画素の位置情報
が、出現頻度の多い色の画素であるGと少ない色の画素
であるR,Bと区別され記録されている。
【0061】入出力制御部200 は、制御部108 の制御に
基づき、欠陥位置記録ROM205 からG画素に関する欠
陥画素の位置情報を順次読みとり、欠陥画素を中心とす
る所定サイズの周囲画素、本例では5×5画素サイズ中
のG画素のみをラインバッファ201 へ転送する。また、
周囲欠陥除去部206 は欠陥位置記録ROM205 から欠陥
画素の位置情報を読みとり、G画素の周囲画素に欠陥画
素が存在する場合は、この周囲画素の値を特定の識別値
に置き換える。図9の(B),(C)は水平、垂直、+
45度、−45度の4方向で指標値を算出する際の組の画素
位置情報を示す。その後、補正値算出部204 にて方向算
出部203 の出力する方向の画素を用いて、あるいは方向
算出部が特定の方向を出力しなかった場合には、欠陥画
素に隣接する全ての画素(本例では、G32,G52
34,G54)を用いて欠陥画素の補正値が算出され、入
出力制御部200 を介して画像用バッファ104 へ転送され
る。制御部108 は、上記過程を欠陥位置記録ROM205
上のG画素の全欠陥画素に対して繰り返すように制御を
行う。
【0062】次に、出現頻度の少ない色の画素である
R,B画素の欠陥画素の補正について説明する。以下で
はR画素に関して説明するが、B画素に関しても同様に
適用できる。図9の(A)のR0 を補正する場合を例に
とる。入出力制御部200 は、制御部108 の制御に基づ
き、欠陥位置記録ROM205 からR,及びG画素に関す
る欠陥画素の位置情報を順次読みとり、欠陥画素を中心
とする所定サイズの周囲画素、本例では5×5画素中の
R画素及びG画素をラインバッファ201 へ転送する。ま
た、周囲欠陥除去部206 は、欠陥位置記録ROM205 か
ら欠陥画素の位置情報を読みとり、周囲画素に欠陥画素
が存在する場合は、この周囲画素の値を特定の識別値に
置き換える。取り込まれたラインバッファ201 上の5×
5画素サイズの画素で、色比率算出部207 において、出
現頻度の低いR画素の加算値と出現頻度の多いG画素の
加算値から、RとGの色比率を算出する。第2補正値算
出部208 では、補正する欠陥に隣接する出現頻度の高い
信号から、欠陥画素のある位置における出現頻度の高い
信号の補間値を求め、色比率算出部207 が出力する色比
率と乗算することで、欠陥画素の補正値を求める。但
し、使用する画素に欠陥画素が含まれる場合には、その
画素は使用しない。
【0063】図10は、色比率算出部207 の構成の一例を
示すブロック図で、第1平均算出部600 ,第2平均算出
部601 ,比算出部602 で構成されている。ラインバッフ
ァ201 からの信号は、第1平均算出部600 ,第2平均算
出部601 を介し比算出部602へ接続しており、比算出部6
02 は第2 補正値算出部208 へ接続している。ラインバ
ッファ201 内の周囲画素中のG画素は第1平均算出部60
0 へ取り込まれ、欠陥と隣接しないG画素から平均値が
算出される。同様に、ラインバッファ201 内の周囲画素
中のR画素は第2平均算出部601 へ取り込まれ、欠陥と
隣接しないR画素から平均値が算出される。第1平均算
出部600 及び第2平均算出部601 からの平均値は、比算
出部602 にて除算されて色比率が算出され、第2補正値
算出部208 へ転送される。図9の(D)は、上記色比率
を求める際に使用されるR,G画素を示す。本例では色
比率rC は、 rC ={(R11+R31+R51+R13+R53+R15+R35+R55)/8} /{(G21+G41+G12+G52+G14+G54+G25+G45)/8} ・・・・・・・・・(21) となる。但し、(21)式で使用する画素に欠陥画素が含ま
れる場合には、その画素は使用しない。
【0064】図11は、第2補正値算出部208 の構成の一
例を示すブロック図で、選択部700,補間算出部701 ,
平均算出部702 ,乗算部703 で構成されている。ライン
バッファ201 からの信号は、選択部700 を介して補間算
出部701 ,平均算出部702 へ接続されており、補間算出
部701 ,平均算出部702 は乗算部703 へ接続している。
乗算部703 はラインバッファ201 へ接続されている。ま
た、色比率算出部207の信号は、乗算部703 へ接続して
いる。ラインバッファ201 内の周囲画素中のG画素は、
選択部700 を介して補間算出部701 又は平均算出部702
へ取り込まれる。選択部700 では、欠陥を挟む2画素の
画素差を比較し、水平方向又は垂直方向に相関性が認め
られた場合には、その方向に属する欠陥画素に隣接する
G画素を補間算出部701 へ、特定の方向に相関性がない
場合は、欠陥画素に隣接する全G画素を平均算出部702
へ転送する。補間算出部701 では公知の線形補間などで
補間値が算出され、平均算出部702 では平均値が算出さ
れ、乗算部703 へ転送される。図9の(E)は、出現頻
度の高いG画素の欠陥位置における補間値を求める際に
使用する画素を示している。本例ではG43が欠陥画素で
あるため、垂直方向に相関がある場合にはG32,G34
使用し、水平方向に相関がある場合にはG23を使用し、
特定方向に相関がない場合はG32,G34,G23を使用す
る。
【0065】乗算部703 では、補間算出部701 又は平均
算出部702 からの信号と、色比率算出部207 からの色比
率を乗算する事で、欠陥画素の補正値を求める。本例の
場合、補正値vは v=rC ×G23 水平方向 ・・・(22) v=rC ×(G32+G34)/2 垂直方向 ・・・ (23) v=rC ×(G32+G23+G34)/3 平均 ・・・・・ (24) のいずれかとなる。なお、(24)式では隣接する画素の平
均値を使用したが、隣接する画素の中央値、最頻値など
が使用される場合もある。制御部108 は、上記過程を欠
陥位置記録ROM205 上のR,B画素の全欠陥画素に対
して繰り返すように制御を行う。
【0066】上記構成により、出現頻度が不均一な色フ
ィルタが前面に配置された撮像素子に対し、出現頻度の
高い色の画素は、その画素のみを用いてエッジ強度の指
標値に基づく特定方向の周囲画素から補正値を求めるこ
とが可能となり、出現頻度の少ない色の画素の影響を受
けず高品位な欠陥画素の補正が可能になる。出現頻度の
少ない色の画素は、出現頻度の高い色の画素との色比率
に基づき、その情報を利用することで、より精度の高い
補正値を求めることが可能となる。
【0067】なお、上記各実施の形態ではハードウェア
により処理を行うようにしたものを示したが、これに限
定される必要はない。例えば、撮像素子からの信号をそ
のままの形態で出力する rawフォーマットで画像を出力
し、計算機上でソフトウェア的に処理を行う形態にも、
本発明を適用することが可能である。
【0068】
【発明の効果】以上実施の形態に基づいて説明したよう
に、請求項1に係る発明によれば、欠陥画素の周囲画素
から相関性の高い方向を求め、その方向に属する周囲画
素を用いて補正値を算出する際に、所定方向に関して複
数の指標値を求め統合してその方向の指標値としている
ので、方向検出が高性能となり、エッジ領域などの複雑
な画像においても高精度の欠陥画素の補正が可能とな
る。また請求項2に係る発明によれば、色フィルタを前
面に配置した固体撮像素子の欠陥画素の補正に関して
も、欠陥画素と同色の周囲画素から相関性の高い方向を
求めるようにしているので、同様にエッジ領域などの複
雑な画像においても高精度の欠陥画素の補正が可能とな
る。また請求項3に係る発明によれば、出現頻度が不均
一な色フィルタを前面に配置した固体撮像素子の欠陥画
素の補正に関しても、出現頻度の多い画素の場合は、そ
の色の画素のみを用いて補正値を算出するようにしてい
るので出現頻度の少ない色の影響を受けずに高周波成分
を維持した高精度の補正が可能となり、また出現頻度の
少ない色の画素の場合は、多い色の画素との色比率に基
づいて補正値を算出するようにしているので、出現頻度
の多い色の画素の情報を利用してより高精度の欠陥補正
が可能となる。また請求項4及び5に係る発明によれ
ば、欠陥画素が連続する場合でも、その影響を除去した
指標値の算出が可能となり、精度の高い指標値を算出す
ることが可能となる。また請求項6に係る発明によれ
ば、一つの方向の指標値を複数の指標値の加算にて算出
するため、ノイズなどの影響を受けにくく、高精度な指
標値を安定して得ることが可能となる。
【0069】また請求項7に係る発明によれば、欠陥画
素の周囲画素に存在する欠陥画素を除去して補正値を求
めるようにしているので、欠陥画素が連続する場合で
も、その影響を除去し精度の高い欠陥補正が可能とな
る。また請求項8に係る発明によれば、一つの方向の指
標値を複数の指標値の加算で算出するようにしているの
で、欠陥画素が連続する場合でも指標値の算出が可能と
なり、相関性の高い方向を利用した精度の高い欠陥補正
が可能となる。また請求項9に係る発明によれば、各方
向の指標値の比の値を比較するようにしているので、画
像の階調幅などに依存せず、閾値設定などの調整が不要
で、且つノイズなどに影響されにくく、相関性の高い方
向を高精度で検出することが可能となる。また請求項10
に係る発明によれば、エッジなどの特定方向に相関性が
高い場合はその方向の周囲画素を用い、平坦な場合は全
周囲画素を用いるようにしているので、入力画像に対し
て最適な欠陥補正が可能となる。また、請求項11に係る
発明によれば、エッジ領域などの複雑な画像においても
精度の高い色比率の算出が行われ、高精度の欠陥補正が
可能となる。また請求項12に係る発明によれば、エッジ
などの特定方向に相関性が高い場合はその方向の周囲画
素を用い、平坦な場合は全周囲画素を用いて出現頻度の
多い色の画素の補間値を求め、これに基づき出現頻度の
少ない色の画素の補正値を求めるようにしているので、
出現頻度の多い色の画素の情報を最大限利用した最適な
補正が可能となる。
【図面の簡単な説明】
【図1】本発明に係る欠陥画素補正装置の第1の実施の
形態を示すブロック構成図である。
【図2】図1に示した第1の実施の形態における白黒C
CDの欠陥画素の配置例及び各方向の指標値算出画素を
示す図である。
【図3】図1に示した第1の実施の形態における指標値
算出部の構成例を示すブロック図である。
【図4】図3に示した指標値算出部における抽出位置記
録ROMに記録される位置情報の一例を示す図である。
【図5】図1に示した第1の実施の形態における方向算
出部の構成例を示すブロック図である。
【図6】図1に示した第1の実施の形態における補正値
算出部の構成例を示すブロック図である。
【図7】補色CCDにおける欠陥画素の配置例及び各方
向の指標値算出画素を示す図である。
【図8】本発明の第2の実施の形態を示すブロック構成
図である。
【図9】原色CCDにおける欠陥画素の配置例及び指標
値算出画素並びに欠陥位置のGの補間値を示す図であ
る。
【図10】図8に示した第2の実施の形態における色比率
算出部の構成例を示すブロック図である。
【図11】図8に示した第2の実施の形態における第2補
正値算出部の構成例を示すブロック図である。
【図12】従来手法によるパターン認識で対応できないパ
ターン例を示す図である。
【符号の説明】
100 レンズ系 101 ローパスフィルタ 102 CCD 103 A/D変換器 104 画像用バッファ 105 欠陥画素補正部 106 信号処理部 107 記録部 108 制御部 109 色フィルタ 200 入出力制御部 201 ラインバッファ 202 指標値算出部 203 方向算出部 204 補正値算出部 205 欠陥位置記録ROM 206 周囲欠陥除去部 207 色比率算出部 208 第2補正値算出部 300 抽出位置記録ROM 301 絶対値差算出部 302 加算平均部 303 指標値記録バッファ 400 割合算出部 401 比較部 402 出力部 500 選択部 501 補間算出部 502 平均算出部 600 第1平均算出部 601 第2平均算出部 602 比算出部 700 選択部 701 補間算出部 702 平均算出部 703 乗算部

Claims (12)

    【特許請求の範囲】
  1. 【請求項1】 固体撮像素子の欠陥画素を補正する欠陥
    画素補正装置において、前記欠陥画素の位置情報を記憶
    する欠陥記憶手段と、該欠陥記憶手段に記憶されている
    前記位置情報に基づき欠陥画素の周囲画素を取り込む画
    素取り込み手段と、該画素取り込み手段で取り込まれた
    前記周囲画素において所定方向に関する複数のエッジ強
    度指標値から統合された指標値を算出する指標値算出手
    段と、該指標値算出手段で算出された前記統合された指
    標値に基づき相関が最大となる方向を算出する方向算出
    手段と、該方向算出手段で算出された前記方向に基づき
    選択された周囲画素から前記欠陥画素の補正値を算出す
    る補正値算出手段とを備えていることを特徴とする欠陥
    画素補正装置。
  2. 【請求項2】 色フィルタを前面に配置した固体撮像素
    子の欠陥画素を補正する欠陥画素補正装置において、前
    記欠陥画素の位置情報を記憶する欠陥記憶手段と、該欠
    陥記憶手段に記憶されている前記位置情報に基づき、固
    体撮像素子の前面に配置された色フィルタの各色のうち
    欠陥画素と同色の周囲画素を取り込む画素取り込み手段
    と、該画素取り込み手段で取り込まれた前記欠陥画素と
    同色の周囲画素において所定方向に関する複数のエッジ
    強度指標値から統合された指標値を算出する指標値算出
    手段と、該指標値算出手段で算出された前記統合された
    指標値に基づき相関が最大となる方向を算出する方向算
    出手段と、該方向算出手段で算出された前記方向に基づ
    き選択された周囲画素から前記欠陥画素の補正値を算出
    する補正値算出手段とを備えていることを特徴とする欠
    陥画素補正装置。
  3. 【請求項3】 出現頻度が不均一な色フィルタを前面に
    配置した固体撮像素子の欠陥画素を補正する欠陥画素補
    正装置において、前記欠陥画素の位置情報を記憶する欠
    陥記憶手段と、該欠陥記憶手段に記憶されている前記位
    置情報に基づき欠陥画素の周囲画素を取り込む画素取り
    込み手段と、該画素取り込み手段で取り込まれた前記周
    囲画素において出現頻度が多い色の画素の所定方向に関
    する複数のエッジ強度指標値から統合された指標値を算
    出する指標値算出手段と、該指標値算出手段で算出され
    た前記複数の指標値に基づき出現頻度が多い色の画素の
    相関が最大となる方向を算出する方向算出手段と、該方
    向算出手段で算出された前記方向に基づき選択された周
    囲画素中の出現頻度が多い色の画素から前記欠陥画素の
    補正値を算出する第1の補正値算出手段と、前記欠陥画
    素周囲の画素中の出現頻度が多い色の画素と出現頻度が
    少ない色の画素から色比率を算出する色比率算出手段
    と、前記欠陥画素周囲の画素中の出現頻度が多い色の画
    素から算出した補間値、及び前記色比率算出手段で算出
    された色比率に基づき前記欠陥画素の補正値を算出する
    第2の補正値算出手段と、前記欠陥画素の色に基づき前
    記第1の補正値算出手段と前記第2の補正値算出手段を
    切り換える切換手段とを備えていることを特徴とする欠
    陥画素補正装置。
  4. 【請求項4】 前記エッジ強度指標値は、前記欠陥画素
    の周囲の正常な画素において前記欠陥画素と近接する2
    画素間の画素値の絶対値差であることを特徴とする請求
    項1に係る欠陥画素補正装置。
  5. 【請求項5】 前記エッジ強度指標値は、前記欠陥画素
    の周囲の正常な画素において前記欠陥画素と同色の近接
    する2画素間の画素値の絶対値差であることを特徴とす
    る請求項2又は3に係る欠陥画素補正装置。
  6. 【請求項6】 前記統合された指標値は、前記エッジ強
    度指標値を所定の方向毎に加算した値であることを特徴
    とする請求項1〜3のいずれか1項に係る欠陥画素補正
    装置。
  7. 【請求項7】 前記画素取り込み手段は、前記欠陥画素
    の位置情報に基づき周囲画素中に欠陥画素が含まれてい
    る場合に該欠陥画素を除去する除去手段を備えているこ
    とを特徴とする請求項1〜3のいずれか1項に係る欠陥
    画素補正装置。
  8. 【請求項8】 前記指標値算出手段は、前記所定方向に
    属する周囲画素から所定距離にある2つの画素の組合せ
    を複数抽出する抽出手段と、該抽出手段で抽出された前
    記複数の組合せに対する画素間の絶対値差を算出する絶
    対値差算出手段と、該絶対値差算出手段で算出された前
    記複数の絶対値差を前記複数の所定方向毎に加算する加
    算手段とを備えていることを特徴とする請求項1〜3の
    いずれか1項に係る欠陥画素補正装置。
  9. 【請求項9】 前記方向算出手段は、算出された前記複
    数の所定方向における指標値の各方向別の割合を求める
    割合算出手段と、該割合算出手段で求められた前記複数
    の所定方向における指標値の割合を各方向毎にそれぞれ
    比較する比較手段と、該比較手段の比較結果から最も相
    関性の高い方向を出力する出力手段とを備えていること
    を特徴とする請求項1〜3のいずれか1項に係る欠陥画
    素補正装置。
  10. 【請求項10】 前記請求項1又は2に記載の補正値算出
    手段及び請求項3に記載の第1の補正値算出手段は、前
    記所定方向に属する周囲画素から補間により補正値を算
    出する補間算出手段と、前記周囲画素から平均により補
    正値を算出する平均算出手段と、前記方向に基づき前記
    補間算出手段と前記平均算出手段を選択する選択手段と
    を備えていることを特徴とする請求項1〜3のいずれか
    1項に係る欠陥画素補正装置。
  11. 【請求項11】 前記色比率算出手段は、前記欠陥画素周
    囲の画素において出現頻度が多い色の画素の平均値及び
    出現頻度が少ない色の画素の平均値との比を算出する比
    算出手段を備えていることを特徴とする請求項3に係る
    欠陥画素補正装置。
  12. 【請求項12】 前記第2の補正値算出手段は、前記所定
    方向に属する周囲画素中の出現頻度が多い色の画素から
    補間により補間値を算出する補間算出手段と、前記周囲
    画素中の出現頻度が多い色の画素から平均により補間値
    を算出する平均算出手段と、相関のある方向を調べ、前
    記補間算出手段と前記平均算出手段を選択する選択手段
    と、前記補間値と前記色比率を乗算する乗算手段とを備
    えていることを特徴とする請求項3に係る欠陥画素補正
    装置。
JP2001307367A 2001-10-03 2001-10-03 欠陥画素補正装置 Expired - Fee Related JP4054184B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2001307367A JP4054184B2 (ja) 2001-10-03 2001-10-03 欠陥画素補正装置
US10/262,093 US20030063203A1 (en) 2001-10-03 2002-10-01 Fault pixel correcting apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001307367A JP4054184B2 (ja) 2001-10-03 2001-10-03 欠陥画素補正装置

Publications (3)

Publication Number Publication Date
JP2003116060A true JP2003116060A (ja) 2003-04-18
JP2003116060A5 JP2003116060A5 (ja) 2005-06-23
JP4054184B2 JP4054184B2 (ja) 2008-02-27

Family

ID=19126839

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001307367A Expired - Fee Related JP4054184B2 (ja) 2001-10-03 2001-10-03 欠陥画素補正装置

Country Status (2)

Country Link
US (1) US20030063203A1 (ja)
JP (1) JP4054184B2 (ja)

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005000666A (ja) * 2003-06-12 2005-01-06 General Electric Co <Ge> デジタルx線撮影において非機能画素をリアルタイムで修正する方法
JP2006023981A (ja) * 2004-07-08 2006-01-26 Megachips Lsi Solutions Inc ノイズリダクション装置
JP2006180099A (ja) * 2004-12-21 2006-07-06 Eastman Kodak Co 画素欠陥補正装置
JP2006186472A (ja) * 2004-12-27 2006-07-13 Canon Inc 画像処理装置および画像処理方法
JP2007251698A (ja) * 2006-03-16 2007-09-27 Sharp Corp 欠陥画素補正方法、及び欠陥画素補正回路
JP2008263521A (ja) * 2007-04-13 2008-10-30 Canon Inc 撮像装置及び画像処理方法
JP2008278243A (ja) * 2007-04-27 2008-11-13 Toshiba Corp 撮像装置
US7542082B2 (en) 2004-03-30 2009-06-02 Canon Kabushiki Kaisha Method and apparatus for correcting a defective pixel
JP2010035114A (ja) * 2008-07-31 2010-02-12 Elmo Co Ltd 撮像装置
US7671909B2 (en) 2005-04-27 2010-03-02 Samsung Electronics Co., Ltd. Method and apparatus for processing Bayer-pattern digital color video signal
JP2010081177A (ja) * 2008-09-25 2010-04-08 Toshiba Corp エッジ検出装置及びその方法
JP2011044820A (ja) * 2009-08-19 2011-03-03 Nikon Corp 撮像装置
JP2011071616A (ja) * 2009-09-24 2011-04-07 Toshiba Corp 画像処理装置
JP2011120202A (ja) * 2009-11-02 2011-06-16 Sony Corp 画素欠陥補正装置、撮像装置、画素欠陥補正方法、およびプログラム
US8089537B2 (en) 2005-08-23 2012-01-03 Nikon Corporation Image processing system and image processing program for defective pixel correction
JP2012100166A (ja) * 2010-11-04 2012-05-24 Canon Inc 信号処理装置
JP2013038654A (ja) * 2011-08-09 2013-02-21 Canon Inc 画像処理装置及びその制御方法
JP2013038655A (ja) * 2011-08-09 2013-02-21 Canon Inc 画像処理装置及びその制御方法
JP2013055640A (ja) * 2011-08-09 2013-03-21 Canon Inc 画像処理装置及びその制御方法
WO2013154105A1 (ja) 2012-04-10 2013-10-17 オリンパスメディカルシステムズ株式会社 撮像装置
US8854510B2 (en) 2011-02-18 2014-10-07 Canon Kabushiki Kaisha Image pickup apparatus, focus detection method, image generation method, and storage medium
JP2015220710A (ja) * 2014-05-21 2015-12-07 株式会社ソシオネクスト 欠陥画素補正方法及び画像処理装置
JP2016019245A (ja) * 2014-07-10 2016-02-01 キヤノン株式会社 画像処理装置および画像処理方法
WO2016031597A1 (ja) * 2014-08-27 2016-03-03 ソニー株式会社 画像処理装置、画像処理方法、及び、画像処理システム
WO2019150731A1 (ja) * 2018-02-02 2019-08-08 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP7499695B2 (ja) 2020-12-24 2024-06-14 ゼタテクノロジーズ株式会社 固体撮像装置、固体撮像装置の信号処理方法、および電子機器

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004501575A (ja) * 2000-06-23 2004-01-15 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像感知器信号欠陥修正
CN1732682B (zh) 2002-12-27 2010-04-21 株式会社尼康 图像处理装置
JP3960965B2 (ja) * 2003-12-08 2007-08-15 オリンパス株式会社 画像補間装置及び画像補間方法
US7613363B2 (en) * 2005-06-23 2009-11-03 Microsoft Corp. Image superresolution through edge extraction and contrast enhancement
US7667747B2 (en) * 2006-03-15 2010-02-23 Qualcomm Incorporated Processing of sensor values in imaging systems
US20080215261A1 (en) * 2006-10-27 2008-09-04 International Business Machines Corporation Design structure for enhancing yield and performance of cmos imaging sensors
US20080100725A1 (en) * 2006-10-27 2008-05-01 Abadeer Wagdi W Circuits for enhancing yield and performance of cmos imaging sensors
EP2026563A1 (en) * 2007-08-14 2009-02-18 Deutsche Thomson OHG System and method for detecting defective pixels
WO2011002391A1 (en) * 2009-07-02 2011-01-06 Scint-X Ab Reduction of noise caused by absorption of x-ray photons in pixelated image sensors
JP5541718B2 (ja) * 2010-08-19 2014-07-09 キヤノン株式会社 撮像装置及びその欠陥画素検出方法
US8351696B2 (en) 2010-09-17 2013-01-08 Foveon, Inc. Correcting defective pixels in digital color images
KR101243363B1 (ko) * 2010-11-12 2013-03-13 에스케이하이닉스 주식회사 불량픽셀 제거 장치 및 방법
JP2012209709A (ja) * 2011-03-29 2012-10-25 Sony Corp 画像処理装置および方法、記録媒体並びにプログラム
TWI492621B (zh) * 2012-02-10 2015-07-11 Novatek Microelectronics Corp 適應性影像處理方法及其相關裝置
CN107431741B (zh) * 2015-03-25 2020-05-01 奥林巴斯株式会社 图像处理装置、图像处理方法以及记录介质
US10923516B2 (en) * 2018-03-22 2021-02-16 Ricoh Company, Ltd. Image capturing device, image capturing method, image processing device, image processing method, and storage medium
CN113038092B (zh) * 2021-03-24 2023-06-02 成都国科微电子有限公司 一种去马赛克方法、装置、设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3125124B2 (ja) * 1994-06-06 2001-01-15 松下電器産業株式会社 欠陥画素傷補正回路
US6900836B2 (en) * 2001-02-19 2005-05-31 Eastman Kodak Company Correcting defects in a digital image caused by a pre-existing defect in a pixel of an image sensor

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4636526B2 (ja) * 2003-06-12 2011-02-23 ゼネラル・エレクトリック・カンパニイ デジタルx線撮影において非機能画素をリアルタイムで修正する方法
JP2005000666A (ja) * 2003-06-12 2005-01-06 General Electric Co <Ge> デジタルx線撮影において非機能画素をリアルタイムで修正する方法
US7542082B2 (en) 2004-03-30 2009-06-02 Canon Kabushiki Kaisha Method and apparatus for correcting a defective pixel
JP2006023981A (ja) * 2004-07-08 2006-01-26 Megachips Lsi Solutions Inc ノイズリダクション装置
JP2006180099A (ja) * 2004-12-21 2006-07-06 Eastman Kodak Co 画素欠陥補正装置
JP4533124B2 (ja) * 2004-12-21 2010-09-01 イーストマン コダック カンパニー 画素欠陥補正装置
JP2006186472A (ja) * 2004-12-27 2006-07-13 Canon Inc 画像処理装置および画像処理方法
JP4695871B2 (ja) * 2004-12-27 2011-06-08 キヤノン株式会社 画像処理装置および画像処理方法
US7671909B2 (en) 2005-04-27 2010-03-02 Samsung Electronics Co., Ltd. Method and apparatus for processing Bayer-pattern digital color video signal
JP4985403B2 (ja) * 2005-08-23 2012-07-25 株式会社ニコン 画像処理システムおよび画像処理プログラム
US8089537B2 (en) 2005-08-23 2012-01-03 Nikon Corporation Image processing system and image processing program for defective pixel correction
JP2007251698A (ja) * 2006-03-16 2007-09-27 Sharp Corp 欠陥画素補正方法、及び欠陥画素補正回路
JP2008263521A (ja) * 2007-04-13 2008-10-30 Canon Inc 撮像装置及び画像処理方法
JP2008278243A (ja) * 2007-04-27 2008-11-13 Toshiba Corp 撮像装置
JP4703601B2 (ja) * 2007-04-27 2011-06-15 株式会社東芝 撮像装置
US8212899B2 (en) 2007-04-27 2012-07-03 Kabushiki Kaisha Toshiba Imaging apparatus capable of highly accurate defective pixel correction processing
JP2010035114A (ja) * 2008-07-31 2010-02-12 Elmo Co Ltd 撮像装置
JP2010081177A (ja) * 2008-09-25 2010-04-08 Toshiba Corp エッジ検出装置及びその方法
JP2011044820A (ja) * 2009-08-19 2011-03-03 Nikon Corp 撮像装置
US8964069B2 (en) 2009-09-24 2015-02-24 Kabushiki Kaisha Toshiba Image processing device and solid-state imaging device including a defect correcting function
JP2011071616A (ja) * 2009-09-24 2011-04-07 Toshiba Corp 画像処理装置
JP2011120202A (ja) * 2009-11-02 2011-06-16 Sony Corp 画素欠陥補正装置、撮像装置、画素欠陥補正方法、およびプログラム
JP2012100166A (ja) * 2010-11-04 2012-05-24 Canon Inc 信号処理装置
US8854510B2 (en) 2011-02-18 2014-10-07 Canon Kabushiki Kaisha Image pickup apparatus, focus detection method, image generation method, and storage medium
JP2013038654A (ja) * 2011-08-09 2013-02-21 Canon Inc 画像処理装置及びその制御方法
JP2013038655A (ja) * 2011-08-09 2013-02-21 Canon Inc 画像処理装置及びその制御方法
JP2013055640A (ja) * 2011-08-09 2013-03-21 Canon Inc 画像処理装置及びその制御方法
WO2013154105A1 (ja) 2012-04-10 2013-10-17 オリンパスメディカルシステムズ株式会社 撮像装置
US8866940B2 (en) 2012-04-10 2014-10-21 Olympus Medical Systems Corp. Image pickup apparatus
JP2015220710A (ja) * 2014-05-21 2015-12-07 株式会社ソシオネクスト 欠陥画素補正方法及び画像処理装置
JP2016019245A (ja) * 2014-07-10 2016-02-01 キヤノン株式会社 画像処理装置および画像処理方法
WO2016031597A1 (ja) * 2014-08-27 2016-03-03 ソニー株式会社 画像処理装置、画像処理方法、及び、画像処理システム
US10348989B2 (en) 2014-08-27 2019-07-09 Sony Semiconductor Solutions Corporation Image processing device, image processing method, and image processing system
WO2019150731A1 (ja) * 2018-02-02 2019-08-08 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP7499695B2 (ja) 2020-12-24 2024-06-14 ゼタテクノロジーズ株式会社 固体撮像装置、固体撮像装置の信号処理方法、および電子機器

Also Published As

Publication number Publication date
JP4054184B2 (ja) 2008-02-27
US20030063203A1 (en) 2003-04-03

Similar Documents

Publication Publication Date Title
JP4054184B2 (ja) 欠陥画素補正装置
US7916937B2 (en) Image processing device having color shift correcting function, image processing program and electronic camera
US6724945B1 (en) Correcting defect pixels in a digital image
JP4374488B2 (ja) デモザイク処理及び不良ピクセル補正を組み合わせるためのディジタル画像システム及び方法
JP4709084B2 (ja) 画像処理装置及び画像処理方法
JP4815807B2 (ja) Rawデータから倍率色収差を検出する画像処理装置、画像処理プログラム、および電子カメラ
JP5454075B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP4465002B2 (ja) ノイズ低減システム、ノイズ低減プログラム及び撮像システム。
US20070013794A1 (en) Image pickup system and image processing program
WO2013111449A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
CN102055988B (zh) 图像处理设备及其控制方法
WO2006004151A1 (ja) 信号処理システム及び信号処理プログラム
JP6172935B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
CN112887693B (zh) 图像紫边消除方法、设备及存储介质
JP4329542B2 (ja) 画素の類似度判定を行う画像処理装置、および画像処理プログラム
JP5052189B2 (ja) 映像処理装置及び映像処理プログラム
JP2005056374A (ja) 映像処理におけるエッジ強調のための装置および方法
US7623705B2 (en) Image processing method, image processing apparatus, and semiconductor device using one-dimensional filters
US7489822B2 (en) Image processing apparatus and method for detecting a direction of an edge in the vicinity of a pixel of interest and generating all color signals for each pixel by interpolation using color signals of a pixel of interest and its neighbor pixels, and a recording medium having a program recorded thereon for causing the apparatus to perform the method
US11816858B2 (en) Noise reduction circuit for dual-mode image fusion architecture
KR20110130266A (ko) 영상 처리 장치, 영상 처리 방법, 및 이를 실행하기 위해 프로그램을 저장한 기록 매체
JP2008219198A (ja) 画像処理装置及び画像処理プログラム
KR101327790B1 (ko) 영상 보간 방법 및 장치
JP3730063B2 (ja) 色成分生成装置および色成分生成方法並びにこれを用いた多色画像撮像装置
JP5228929B2 (ja) 画像処理装置、撮像装置及び画像処理プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040929

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040929

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070906

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070918

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071207

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101214

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4054184

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101214

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111214

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111214

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121214

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131214

Year of fee payment: 6

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees