JP3773773B2 - 画像信号処理装置及び画素欠陥の検出方法 - Google Patents

画像信号処理装置及び画素欠陥の検出方法 Download PDF

Info

Publication number
JP3773773B2
JP3773773B2 JP2000282166A JP2000282166A JP3773773B2 JP 3773773 B2 JP3773773 B2 JP 3773773B2 JP 2000282166 A JP2000282166 A JP 2000282166A JP 2000282166 A JP2000282166 A JP 2000282166A JP 3773773 B2 JP3773773 B2 JP 3773773B2
Authority
JP
Japan
Prior art keywords
defect
image signal
pixel
circuit
determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2000282166A
Other languages
English (en)
Other versions
JP2001197372A (ja
Inventor
透 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2000282166A priority Critical patent/JP3773773B2/ja
Priority to TW089120201A priority patent/TW479432B/zh
Priority to US09/696,393 priority patent/US7092018B1/en
Priority to KR10-2000-0063103A priority patent/KR100437434B1/ko
Priority to CNB001337181A priority patent/CN1164083C/zh
Publication of JP2001197372A publication Critical patent/JP2001197372A/ja
Application granted granted Critical
Publication of JP3773773B2 publication Critical patent/JP3773773B2/ja
Priority to US11/426,754 priority patent/US7755680B2/en
Priority to US11/426,759 priority patent/US7746393B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/006—Electronic inspection or testing of displays and display drivers, e.g. of LED or LCD displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/148—Charge coupled imagers
    • H01L27/14806—Structural or functional details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H04N25/683—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/10—Dealing with defective pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Image Input (AREA)
  • Facsimile Heads (AREA)
  • Image Processing (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は、画像信号に含まれる欠陥を検出して補正する画像信号処理装置及び画素欠陥を検出する検出方法に関する。
【０００２】
【従来の技術】
ＣＣＤイメージセンサ等の固体撮像素子においては、画素の受光レベルには関係なく、常に一定の電荷が蓄積されて固定レベルを出力するようになる、いわゆる画素欠陥を生じる場合がある。このため、固体撮像素子から得られる画像信号に対する信号処理の過程において、再生画面上に画素欠陥が現れないようする欠陥補正処理が行われる。
【０００３】
図１５は、画素欠陥の補正処理を行うようにした撮像装置の構成を示すブロック図である。
【０００４】
ＣＣＤイメージセンサ１は、複数の受光画素が行列配置され、受光した被写体画像に応じて各受光画素に情報電荷を蓄積する。このＣＣＤ１は、垂直駆動信号φv及び水平駆動信号φhによって駆動され、各受光画素に蓄積された情報電荷が１ライン単位で順次転送出力されて、所定のフォーマットに従う画像信号Ｙ0を出力する。駆動回路２は、垂直同期信号ＶＤ及び水平同期信号ＨＤに従い、ＣＣＤ１を駆動する垂直駆動信号φv及び水平駆動信号φhを生成し、ＣＣＤ１に供給する。
【０００５】
タイミング制御回路３は、一定周期の基準クロックを分周し、垂直走査のタイミングを決定する垂直同期信号ＶＤ及び水平走査のタイミングを決定する水平同期信号ＨＤを生成し、駆動回路２に供給する。例えば、ＮＴＳＣフォーマットの場合、１４．３２ＭＨｚの基準クロックを９１０分周して水平同期信号ＨＤを生成し、この水平同期信号を５２５／２分周して垂直同期信号ＶＤを生成する。また、タイミング制御回路３は、後述する信号処理回路４及び欠陥補正回路５に対して、それぞれの動作タイミングをＣＣＤ１の動作タイミングに同期させるためのタイミング信号を供給する。
【０００６】
信号処理回路４は、ＣＣＤ１から出力される画像信号Ｙ0に対して、サンプルホールド、レベル補正等の信号処理を施し、画像信号Ｙ1として出力する。例えば、サンプルホールド処理においては、信号レベルとリセットレベルとを繰り返す画像信号Ｙ0に対して、リセットレベルをクランプした後に信号レベルを取り出すようにして、信号レベルを継続する画像信号Ｙ1を生成する。また、レベル補正処理においては、出力される画像信号Ｙ1の平均レベルを目標範囲内に収めるようにしてゲインの帰還制御が施される。この信号処理回路４においては、画像信号Ｙ0をサンプルホールドした後、サンプルホールド値がＡ／Ｄ変換され、それ以降はデジタル処理が採用される傾向にある。
【０００７】
欠陥補正回路５は、補正情報メモリ６に記憶された補正情報に基づいて、画像信号Ｙ1に対して欠陥補正処理を施す。例えば、欠陥が生じた画素の情報を、その前後の画素の情報の平均値に置き換えるように構成される。補正情報メモリ６は、ＣＣＤ１の画素欠陥の位置を記憶するもので、例えば、予めＣＣＤ１の出力をモニタして画素欠陥の位置を検出し、その検出結果を補正アドレス情報として記憶する。
【０００８】
【発明が解決しようとする課題】
ＣＣＤ１は、同一工程で製造されたチップであっても、各チップ毎に画素欠陥の発生する位置が異なるため、撮像装置に用いるＣＣＤ１は、個々に画素欠陥の位置を検出し、補正情報メモリ６に記憶する補正アドレス情報を生成する必要がある。このため、素子の組立工程、さらには、素子を組み込む撮像装置の組み立て工程におけるコストの増大を招いている。
【０００９】
また、ＣＣＤ１の画素欠陥は、経時変化によって増えることがあり、そのような経時変化が生じた場合には、補正情報メモリ６の補正アドレス情報を書き換えなければならない。しかしながら、撮像装置の一般的な使用者は、補正情報メモリ６の内容を書き換えるための手段を備えていないため、補正情報メモリ６の補正情報アドレスを書き換えることは、事実上困難である。
【００１０】
そこで本発明は、組立工程のコストを増大させることなく、素子の経時変化による画素欠陥の変化にも対応できるようにすることを目的とする。
【００１１】
【課題を解決するための手段】
本発明の画像信号処理装置は、画面を構成する複数の画素に含まれる画素欠陥を検出するものであって、目標画素の信号レベルを目標画素に隣接する複数の周辺画素の信号レベルに基づいて設定される判定基準値と比較して欠陥候補を検出する検出回路と、上記検出回路により検出された欠陥候補の複数の画面にわたる連続性に基づいて画素欠陥を判定する判定回路と、上記判定回路で判定された画素欠陥の位置を示す欠陥情報を記憶するメモリ回路と、を備え、上記メモリ回路に記憶された欠陥情報に応じて上記目標画素を補正することを特徴としている。
【００１２】
これにより、目標画素に対して、その周辺画素と比較して欠陥の可能性がある画素欠陥候補を検出し、その検出結果の連続性に基づいて画素欠陥を判定することで、再生画面上で視覚的に認識される画素欠陥を的確に検出することができるようになる。
【００１３】
そして、本発明の画素欠陥の検出方法は、１画面を表示する画像信号から、画面を構成する複数の画素に含まれる画素欠陥を検出するものであって、目標画素の信号レベルを目標画素に隣接する複数の周辺画素の信号レベルに基づいて設定される判定基準値と比較して欠陥候補を検出し、欠陥候補の位置を記憶する第１のステップと、上記第１のステップで記憶された位置の目標画素の信号レベルを上記判定基準値と比較して上記欠陥候補の中から画素欠陥を抽出する第２のステップと、上記第１のステップで記憶した欠陥候補の位置を上記第２のステップで抽出した画素欠陥に応じて更新する第３のステップと、を含み、上記第２及び第３のステップを複数回繰り返して画素欠陥を検出することを特徴としている。
【００１４】
さらに本発明の画素欠陥の検出方法は、目標画素の信号レベルを目標画素に隣接する複数の周辺画素の信号レベルに基づいて設定される判定基準値と比較して欠陥候補を検出する第１のステップと、欠陥候補となった目標画素の信号レベルを複数の画面で上記判定基準値と繰り返し比較する第２のステップと、繰り返し得られる上記第２のステップの比較結果が上記第１のステップの比較結果と一致するか否かを判定する第３のステップと、を含み、上記第３のステップで所定の回数以上一致すると判定された目標画素を画素欠陥とすることを特徴としている。
【００１５】
これにより、画面が一時的に画素欠陥を検出しにくい状態となったとしても、画素欠陥の検出、判定の動作を継続することで、誤った検出が成される可能性を低くすることができる。
【００１６】
【発明の実施の形態】
図１は、本発明の画像信号処理装置の第１の実施形態を示すブロック図である。
【００１７】
本発明の画像信号処理装置は、画像メモリ回路１１、欠陥検出回路１２、位置メモリ回路１３、欠陥判定回路１４、欠陥登録回路１５及び欠陥補正回路１６より構成される。この画像信号処理装置は、撮像素子の出力に対して所定の処理が施され、Ａ／Ｄ変換されてデジタルデータとして与えられる画像信号Ｙ(n)に対して画素欠陥の補正処理を施すように構成される。
【００１８】
画像メモリ回路１１は、複数のラインメモリと複数のラッチとを備え、１行単位で連続して入力される画像信号Ｙ(n)を取り込み、目標画素Ｐ0に対応する画像信号Ｙ(P0)と、その周辺画素Ｐ1〜Ｐ8に対応する画像信号Ｙ(P1)〜Ｙ(P8)とを出力する。
【００１９】
欠陥検出回路１２は、画像メモリ回路１１から入力される周辺画素Ｐ1〜Ｐ8の画像信号Ｙ(P1)〜Ｙ(P8)に基づいて白欠陥を判定するための判定基準値Ｌwと黒欠陥を判定するための判定基準値Ｌbとを生成し、これらの判定基準値Ｌw、Ｌbと目標画素Ｐ0の画像信号Ｙ(P0)とを比較して画素欠陥を検出する。この欠陥検出回路１２では、画像信号Ｙ(n)を得る固体撮像素子の物理的な欠陥に起因する真の画素欠陥と、被写体の都合で偶発的に画素欠陥と見なされる見かけ上の画素欠陥とが区別なく検出され、それらが全て欠陥候補となる。この欠陥検出回路１２の検出動作においては、画素欠陥の位置がアドレス情報として出力される。例えば、画像信号Ｙ(n)の入力に同期して画素数をカウントし、画素欠陥が検出されたときのカウント値をアドレス情報として出力するように構成される。
【００２０】
位置メモリ回路１３は、スタティックメモリ（ＳＲＡＭ）など高速動作に対応できる揮発性の一次メモリ部１３ａ及びプログラマブルメモリ（ＥＥＰＲＯＭ）などの不揮発性の二次メモリ部１３ｂからなり、欠陥検出回路１２や欠陥判定回路１４から出力されるアドレス情報を画素欠陥の位置情報として記憶する。一次メモリ部１３ａは、画素欠陥の判定動作を行う過程で一時的に生成されるアドレス情報を記憶する。二次メモリ部１３ｂは、画素欠陥の判定動作の結果、最終的に画素欠陥であると判定されたアドレス情報を記憶する。
【００２１】
欠陥判定回路１４は、位置メモリ回路１３に記憶されたアドレス情報について、画素欠陥の複数の画面にわたる連続性に基づいて、各アドレス情報によって示される位置の画素が、真の画素欠陥かどうかを判定する。即ち、被写体の都合で偶発的に画素欠陥として検出された場合には、ある程度の時間を経過した段階で画素欠陥としては検出されなくなるため、ある程度のフィールド期間継続して欠陥と判定されたアドレスのみを真の画素欠陥と判定するように構成される。例えば、位置メモリ回路１３に記憶されたアドレス情報が示す画素について、複数の画面で欠陥検出回路１２における検出動作と同一の検出動作を繰り返すことや、欠陥検出回路１２を複数の画面で連続して動作させながら、各画面毎に得られる画素欠陥を示すアドレス情報を対比することで、画素欠陥の連続性を判断するように構成される。なお、欠陥判定回路１４における検出動作が欠陥検出回路１２の検出動作と同一の場合、検出回路の一部を共有にするようにしてもよい。
【００２２】
欠陥登録回路１５は、欠陥判定回路１４において、真の画素欠陥であると判定された画素のアドレス情報を抽出して位置メモリ回路１３に記憶させる。そして、欠陥補正回路１６は、欠陥登録回路１５によって位置メモリ回路１３に記憶されたアドレス情報に基づいて、画像信号Ｙ(P0)を補正信号Ｙ(c)に置き換える。ここで、補正信号Ｙ(c)は、例えば、目標画素Ｐ0の周辺に位置する複数の周辺画素の画像信号を平均することにより生成される。これにより、欠陥補正回路１６からは、白欠陥及び黒欠陥が補正された画像信号Ｙ'(n)が出力されることになる。
【００２３】
ところで、欠陥検出回路１２における画素欠陥の検出については、判定基準値Ｌw、Ｌbを多段階に設定し、画素欠陥候補に重み付けをするようにしてもよい。即ち、欠陥として判定された画素でも、所定の判定基準値Ｌw、Ｌbから大きくはずれた場合と、わずかにはずれた場合とでは、表示される画面上での目立ち方が異なるため、画素欠陥の程度をレベル付けして位置メモリ回路１３に記憶させるようにする。このように画素欠陥の程度をレベル付けして位置メモリ回路１３に記憶しておけば、位置メモリ回路１３に登録できる画素欠陥の数に制限があるとき、欠陥登録回路１５が画素欠陥のレベルが高いものから優先して登録するように構成することができる。また、既に位置メモリ回路１３に新しい画素欠陥を登録する余裕がないときには、新たに登録しようとする画素欠陥と既に登録されている画素欠陥との欠陥レベルを比較し、その比較結果に応じて書き換えをすることで、画面上で目立ちやすい画素欠陥から優先して補正することができる。
【００２４】
図２は、画像メモリ回路１１の一例を示すブロック図である。このメモリ回路１１は、第１、第２のラインメモリ２１、２２及び第１〜第６のラッチ２３〜２８より構成され、図３に示すように、目標画素Ｐ0と、その周辺に隣接する８個の周辺画素Ｐ1〜Ｐ8に対応する画像信号Ｙ(0)、Ｙ(1)〜Ｙ(8)を同時に出力する。
【００２５】
第１及び第２のラインメモリ２１、２２は、互いに直列に接続され、順次入力される画像信号Ｙ(n)が第１のラインメモリ２１に書き込まると共に、第１のラインメモリ２１から順次読み出される画像信号Ｙ(n)が第２のラインメモリ２２に書き込まれる。これにより、順次入力されてくる画像信号Ｙ(n)に対して、第１のラインメモリ２１からは、１行前の画像信号Ｙ(n)が読み出され、第２のラインメモリ２２からは、２行前の画像信号Ｙ(n)が読み出される。
【００２６】
第１及び第２のラッチ２３、２４は、画像信号Ｙ(n)の入力に対して直列に接続され、１画素前の画像信号Ｙ(n)が第１のラッチ２３に保持され、２画素前の画像信号Ｙ(n)が第２のラッチ２４に保持される。これより、入力される画像信号Ｙ(n)が、そのまま周辺画素Ｐ8に対応する画像信号Ｙ(P8)として出力され、第１及び第２のラッチ２３、２４に保持された画像信号Ｙ(n)が、それぞれ周辺画素Ｐ7、Ｐ6に対応する画像信号Ｙ(P7)、Ｙ(P6)として出力される。
【００２７】
第３及び第４のラッチ２５、２６は、第１のラインメモリ２１の入力に対して直列に接続され、１行前で且つ１画素前の画像信号Ｙ(n)が第３のラッチ２５に保持され、２画素前の画像信号Ｙ(n)が第４のラッチ２６に保持される。これより、第１のラインメモリから読み出される画像信号Ｙ(n)が、周辺画素Ｐ5に対応する画像信号Ｙ(P5)として出力され、第３及び第４のラッチ２５、２６に保持された画像信号Ｙ(n)が、それぞれ目標画素Ｐ0に対応する画像信号Ｙ(P0)及び周辺画素Ｐ4に対応する画像信号Ｙ(P4)として出力される。
【００２８】
同様に、第５及び第６のラッチ２７、２８は、第２のラインメモリ２２の入力に対して直列に接続され、２行前で且つ１画素前の画像信号Ｙ(n)が第５のラッチ２７に保持され、２画素前の画像信号Ｙ(n)が第６のラッチ２８に保持される。これより、第２のラインメモリから読み出される画像信号Ｙ(n)が、周辺画素Ｐ3に対応する画像信号Ｙ(P3)として出力され、第５及び第６のラッチ２７、２８に保持された画像信号Ｙ(n)が、それぞれ周辺画素Ｐ2、Ｐ1に対応する画像信号Ｙ(P2)、Ｙ(P2)として出力される。
【００２９】
従って、画像メモリ回路１１においては、画像信号Ｙ(n)を順次取り込みながら、目標画素Ｐ0の画像信号Ｙ(P0)と、その周辺に位置する周辺画素Ｐ1〜Ｐ8の画像信号Ｙ(P1)〜Ｙ(P8)とが並列に出力されるようになる。
【００３０】
図４は、欠陥検出回路１２の構成を示すブロック図である。この欠陥検出回路１２は、平均値算出部３１、最大値検出部３２、最小値検出部３３、第１及び第２の減算器３４、３５、加算器３６、第１及び第２の比較器３７、３８より構成される。
【００３１】
平均値算出部３１は、周辺画素Ｐ1〜Ｐ8の画像信号Ｙ(P1)〜Ｙ(P8)をそれぞれ取り込み、それらの平均レベルＬavを算出する。最大値検出部３２及び最小値検出部３３は、画像信号Ｙ(P1)〜Ｙ(P8)のうちの最大レベルＬmax及び最小レベルＬminをそれぞれ検出する。
【００３２】
第１の減算器３４は、最小値検出部３３から入力される最小レベルＬminを最大値検出部３２から入力される最大レベルＬmaxから減算し、それらの差ΔＬを算出する。そして、加算器３６は、平均値算出部３１から入力される平均レベルＬavに差ΔＬを加算し、白欠陥を判定するための判定基準値Ｌwを生成する。また、第２の減算器３５は、平均値算出部３１から入力される平均レベルＬavから第１の減算器３４から入力される差ΔＬを減算し、黒欠陥を判定するための判定基準値Ｌbを生成する。
【００３３】
第１の比較器３７は、第２の減算器３５から入力される判定基準値Ｌbと目標画素Ｐ0に対応する画像信号Ｙ(P0)とを比較し、画像信号Ｙ(P 0)のレベルが判定基準値Ｌbに達していなかったとき、即ち、目標画素Ｐ0が黒欠陥であると判定されたときに立ち上げられる検出出力Ｄbを発生する。第２の比較器３８は、加算器３６から入力される判定基準値Ｌwと目標画素Ｐ0に対応する画像信号Ｙ(P0)とを比較し、画像信号Ｙ(P0)のレベルが判定基準値Ｌwに達しなかったとき、即ち、目標画素Ｐ0が白欠陥であると判定されたときに立ち上げられる検出出力Ｄwを発生する。
【００３４】
図５は、周辺画素を表す画像信号のレベルと、これらのレベルから算出される画素欠陥の判定レベルとの関係を示す図であり、図６は、欠陥判定動作の動作ステップを示すフローチャートである。これらの図においては、図３に示すように、目標画素Ｐ0に対して、目標画素Ｐ0に隣接する８個の周辺画素Ｐ1〜Ｐ8を参照して画素欠陥の判定を行う場合を示している。
【００３５】
第１のステップＳ１では、平均値算出回路３１において、周辺画素Ｐ1〜Ｐ8を表す８画素分の画像信号Ｙ(P1)〜Ｙ(P8)の平均レベルＬavを算出する。第２のステップＳ２では、最大値検出部３２及び最小値検出部３３において、周辺画素Ｐ1〜Ｐ8を表す８画素分の画像信号Ｙ(P1)〜Ｙ(P8 )の最大レベルＬmax及び最小レベルＬminを検出する。以上の第１のステップＳ１及び第２のステップＳ２については、順不同で差し支えない。
【００３６】
第３のステップＳ３では、第１の減算器３４において、最大レベルＬmaxから最小レベルＬminを減算し、両レベルの差ΔＬを算出する。第４のステップＳ４では、第２の減算器３５において、平均レベルＬavから差ΔＬを減算し、黒欠陥を検出するための第１の判定基準値Ｌbを生成し、加算器３６において、平均レベルＬavに差ΔＬを加算し、白欠陥を検出するための第２の判定基準値Ｌwを生成する。そして、第５のステップＳ５では、第１及び第２の比較器３７、３８において、第１及び第２の判定基準値Ｌb、Ｌwを目標画素Ｐ0の画像信号Ｙ(P0)と比較して画素欠陥を判定し、検出出力Ｄb、Ｄwを発生する。
【００３７】
第１〜第５のステップによって生成された第１の判定基準値Ｌｂ及び第２の判定基準値Ｌｗは、周辺画素の状況によって変化し、常に最適な値に保たれることになる。ここで、判定基準値Ｌｂ、Ｌｗについては、周辺画素のレベル差が小さいとき、平均レベルＬａｖに近い値となり、周辺画素のレベル差が大きいときには、平均レベルＬａｖから離れた値となる。従って、画面上で濃淡の差が小さい領域では判定基準値Ｌｂ、Ｌｗの範囲が狭くなり、逆に、濃淡の差が大きい領域では判定基準値Ｌｂ、Ｌｗの範囲が広くなるため、視覚的に目立ちやすい画素欠陥を効率よく検出できる。
【００３８】
図７は、欠陥検出回路１２において、アドレス情報を生成するための回路の一例を示すブロック図である。このアドレス情報を生成する回路は、水平カウンタ５１、垂直カウンタ５２、水平データラッチ５３及び垂直データラッチ５４より構成される。
【００３９】
水平カウンタ５１は、水平同期信号ＨＤ1に従うタイミングでリセットされ、欠陥検出回路１２の検出動作に同期した一定周期のクロックＣＫ1に従うタイミングでカウントアップされる。これにより、水平カウンタ５１は、各水平走査期間に、１ライン分の画素数だけカウント動作を繰り返し、水平方向の画素番号をカウントする。垂直カウンタ５２は、垂直同期信号ＶＤ1に従うタイミングでリセットされ、水平同期信号ＨＤ1に従うタイミングでカウントアップされる。これにより、垂直カウンタ５２は、各垂直走査期間に、１画面分の水平走査線数だけカウント動作を繰り返し、垂直方向の画素番号をカウントする。
【００４０】
水平データラッチ５３は、水平カウンタ５１に接続され、検出出力Ｄb、Ｄwの何れかに応答して水平カウンタ５１のカウント値を取り込む。これにより、水平データラッチ５３から、検出出力Ｄb、Ｄwの立ち上がりのタイミング、即ち、欠陥検出回路１２で検出された画素欠陥の水平方向の位置を示す水平アドレス信号Ｆhが取り出される。垂直データラッチ５４は、垂直カウンタ５２に接続され、水平データラッチ５３と同様に、検出出力Ｄb、Ｄwの何れかに応答して垂直カウンタ５２のカウント値を取り込む。これにより、垂直データラッチ５４から、検出出力Ｄb、Ｄwの立ち上がりのタイミング、即ち、欠陥検出回路１２で検出された画素欠陥の垂直方向の位置を示す垂直アドレス信号Ｆvが取り出される。
【００４１】
例えば、図８に示すように、６行×８列の画面を考えた場合、水平カウンタ５１は、「１」〜「８」の範囲でカウントを繰り返し、垂直カウンタ５２は、「１」〜「６」の範囲でカウントを繰り返す。そこで、３行３列目に画素欠陥があったとすれば、検出出力Ｄb、Ｄwの立ち上がりで水平カウンタ５１のカウント値を水平データラッチ５３に取り込むと、水平アドレス信号Ｆhとして「３」が出力される。そして、検出出力Ｄb、Ｄwの立ち上がりで垂直カウンタ５２のカウント値を垂直データラッチ５４に取り込むと、垂直アドレス信号Ｆvとして「３」が出力される。このようにして出力されるアドレス信号Ｆh、Ｆvは、画素欠陥である可能性を含む候補を示すもので、欠陥判定回路１４に供給される。
【００４２】
図９は、欠陥補正回路１６の構成の一例を示すブロック図である。この欠陥補正回路１６は、第１〜第４の除算器６１〜６４、第１〜第３の加算器６５〜６７、セレクタ６８及び比較器６９より構成される。この欠陥補正回路１６においては、目標画素Ｐ０の上下に位置する周辺画素Ｐ２、Ｐ７の画像信号Ｙ（Ｐ２）、Ｙ（Ｐ７）と、左右に位置する周辺画素Ｐ４、Ｐ５の画像信号Ｙ（Ｐ４）、Ｙ（Ｐ５）とに基づいて補正信号Ｙ（ｃ）を生成する場合を示している。
【００４３】
第１〜第４の除算器６１〜６４は、メモリ回路１１から入力される画像信号Ｙ(P2)、Ｙ(P7)、Ｙ(P4)、Ｙ(P5)をそれぞれ１／４にする。第１の加算器６５は、第１及び第２の除算器６１、６２の除算結果を加算し、第２の加算器６６は、第３及び第４の除算器６３、６４の除算結果を加算する。そして、第３の加算器６７は、第１の加算器６５の加算結果と第２の加算器６６に加算結果とを加算し、補正信号Ｙ(c)を生成する。
【００４４】
セレクタ６８は、比較器６９から入力される選択制御信号Ｓに応答して、目標画素Ｐ0の画像信号Ｙ(P0)または補正信号Ｙ(c)の何れかを選択し、画素欠陥を補正した画像信号Ｙ'(P0)として出力する。
【００４５】
比較器６９は、位置メモリ回路１３に記憶されたアドレス情報に基づく水平位置情報Ｆh及び垂直位置情報Ｆvを、水平走査周期で変化する水平参照情報Ｒh及び垂直参照情報Ｒvと比較し、それらが互いに一致したときに立ち上げられる選択制御信号Ｓを発生する。ここで用いられる水平参照情報Ｒh及び垂直参照情報Ｒvについては、図７に示すアドレス発生回路の水平カウンタ５１及び垂直カウンタ５２を用いて生成することができる。
【００４６】
従って、セレクタ６８は、位置メモリ回路１３に記憶された、画素欠陥の位置を示すアドレス情報に従う位置情報Ｆh、Ｆvと参照情報Ｒh、Ｒvとが一致したタイミングで、目標画素Ｐ0の画像信号Ｙ(P0)が補正信号Ｙ(c)に置き換えられる。この結果、画素欠陥は、その周辺画素の情報によって補正されることになる。
【００４７】
図１０は、本発明の画像信号処理装置の第２の実施形態を示すブロック図である。この実施形態においては、欠陥判定回路１４’が、目標画素の欠陥を判定するとき、画素欠陥の連続性に加えて、画像信号Ｙ(n)を得る撮像装置の撮像条件を用いるように構成している。なお、欠陥判定回路１４’以外の各部については、図１に示す第１の実施形態の画像信号処理装置と同一である。
【００４８】
欠陥判定回路１４’は、位置メモリ回路１３に記憶された欠陥候補のアドレス情報に基づいて、欠陥画素の判定を繰り返し、アドレス情報を更新する。この欠陥画素の判定においては、欠陥検出回路１２における画素欠陥の判定と同様の判定を行うと共に、画像信号Ｙ(n)を得る撮像装置の動作状態を示す情報を受け取り、それぞれの情報の内容に応じて判定基準を変更するように構成している。即ち、被写体画像の輝度が高いときには白欠陥が目立たず、逆に、被写体画像の輝度が低いときには黒欠陥が目立たないことから、単純に画像信号Ｙ(n)のレベルのみで画素欠陥の判定を行うと、真の欠陥が欠陥として判定されないおそれがある。そこで、画像信号Ｙ(n)を得る撮像装置の動作状態を示す露光制御情報Ｅ(m)や利得制御情報Ｇ(m)等に基づいて、画素欠陥の判定基準を変更したり、被写体の状態によっては画素欠陥の判定動作自体を一時的に停止するように構成している。例えば、露光制御情報Ｅ(m)や利得制御情報Ｇ(m)によって推定される被写体輝度がある基準を超えるときに白欠陥の判定動作を停止し、ある基準に達していないときに黒欠陥の判定動作を停止するように構成する。
【００４９】
なお、露光制御情報Ｅ(m)や利得制御情報Ｇ(m)の他、撮像装置において撮像制御に用いられる情報であれば、判定動作に用いることが可能である。例えば、撮像装置の光学系の焦点を制御するためのフォーカス制御情報を用い、焦点が定まる前に集中して欠陥判定を行うように構成する。真の画素欠陥であれば、撮像装置の光学系の焦点が定まっていないときでも、周辺の画素とは明らかな差が生じるため、焦点が定まる前に欠陥判定を行えば、より正確な判定をすることが可能になる。
【００５０】
また、欠陥判定回路１４’では、画素欠陥を画像信号Ｙ(n)のレベルのみで判定し、その判定結果から得られるアドレス情報に露光制御情報Ｅ(m)や利得制御情報Ｇ(m)等の制御情報を付加するようにしてもよい。即ち、画素欠陥を示すアドレス情報に、撮像制御情報を付加しておくことにより、欠陥補正を行う時点でアドレス情報によって示される画素に対して画素欠陥としての補正処理を施すか否かを選択することができるようになる。
【００５１】
図１１は、本発明の画像信号処理装置の第３の実施形態を示すブロック図である。この実施形態においては、図１に示す第１の実施形態の画像信号処理装置の構成に加えて、エリア指定回路１７を設け、欠陥検出回路１２の検出動作を画像の特定エリア毎に制限するようにしている。ここで、欠陥判定回路１４については、図１０に示す第２の実施形態と同様に、画素欠陥の判定を行う際、画像信号Ｙ(n)のレベルに加えて、画像信号Ｙ(n )を得る撮像装置の撮像情報を用いるようにすることも可能である。
【００５２】
エリア指定回路１７は、画像信号Ｙ(n)の水平走査及び垂直走査のタイミングに同期し、１画面を複数の領域に分割するように欠陥検出回路１２に対して指示を与える。例えば、水平走査期間を４分割すると共に、垂直走査期間を３分割することで、１画面を３行×４列からなる１２の領域に分割し、そのうちの１つの分割領域のみで欠陥検出回路１２の欠陥検出動作を許可するように構成される。そして、エリア指定回路１７は、欠陥登録回路１５からの指示、即ち、１つの分割領域の画素欠陥のアドレスが確定し、欠陥登録回路１５が画素欠陥のアドレス情報の登録を完了したとき、画素欠陥の検出を行う分割領域を変更する。なお、分割領域内に画素欠陥が検出されず、欠陥登録回路１５が画素欠陥の登録を行わなかった場合でも、所定の欠陥検出動作が完了した時点で、画素欠陥の検出を行う分割領域が変更される。これにより、欠陥検出回路１２では、画面上の複数の分割領域に対して、時分割で順次画素欠陥の検出が行われるようになる。
【００５３】
欠陥検出回路１２を各分割領域毎に時分割で動作させるようにすれば、欠陥検出回路１２で検出される欠陥候補を記憶する位置メモリ１３の容量を節約することができる。即ち、欠陥検出回路１２では、最終的に画素欠陥として登録される画素よりも多くの画素が検出されるため、その画素のアドレスを一時的に記憶しておくためには、位置メモリ回路１３、特に一次メモリ部１３ａの容量を大きく設定しなければならなくなる。そこで、欠陥検出回路１２を時分割で動作させるようにすれば、一次メモリ部１３ａの容量を節約でき、回路規模の増大を防止することができる。
【００５４】
図１２は、本発明の画像信号処理装置の第４の実施形態を示すブロック図である。この実施形態においては、図１に示す第１の実施形態の画像信号処理装置の構成に加えて、インタフェース回路１８を設けるようにしている。ここで、欠陥判定回路１４については、図１０に示す第２の実施形態と同様に、画素欠陥の判定を行う際、画像信号Ｙ(n)のレベルに加えて、画像信号Ｙ(n)を得る撮像装置の撮像情報を用いるようにすることも可能である。さらには、図１１に示す第３の実施形態と同様に、エリア指定回路１７を設け、欠陥検出回路１２を画面上の分割領域毎に動作させるようにしてもよい。
【００５５】
インタフェース回路１８は、シリアルバス１９に接続され、そのシリアルバス１９を介して画像信号処理装置を外部のコンピュータ機器と接続でできるようにしている。これにより、シリアルバス１９に接続されるコンピュータ機器から、位置メモリ回路１３のアドレス情報や欠陥判定回路１４の判定基準の設定を変更できるようになる。例えば、第２の実施形態において、欠陥判定回路１４に与えられる露光制御情報Ｅ（ｍ）や利得制御情報Ｇ（ｍ）を判定に用いるか否かの選択や、用いる場合には、何れの情報を優先させるか等をシリアルバス及びインタフェース回路１８を介してコンピュータ機器から設定できるようになる。また、第３の実施形態においては、エリア指定回路１７の分割範囲をシリアルバス及びインタフェース回路１８を介してコンピュータ機器から供給して変更できるようになる。
【００５６】
ところで、インタフェース回路１８については、バスラインを介して各部に接続する他に、欠陥判定回路１４や欠陥登録回路１５に対して直接接続するようにしてもよい。
【００５７】
図１３は、本発明の画像欠陥の第１の検出方法を示すフローチャートである。この検出方法は、図１（または図１０、図１１、図１２の何れか）に示す欠陥検出回路１２、位置メモリ回路１３、欠陥判定回路１４、欠陥登録回路１５及び欠陥補正回路１６により実行される。
【００５８】
第１のステップＳ１では、欠陥検出回路１２において、画素欠陥候補とすべきかどうかを検出し、画素欠陥の可能性があるもののみ、その位置を示すアドレス情報を位置メモリ回路１３に記憶させる。続く第２のステップＳ２では、位置メモリ回路１３に記憶されたアドレス情報によって指定される画素の画像信号Ｙ(n)について、欠陥判定回路１４が欠陥検出回路１２と同様の検出処理を行うことで、画素欠陥候補が真の画素欠陥であるか否かの判定を行う。そして、第３のステップＳ３では、画素欠陥であると判定された画素について、判定結果が記憶される。
【００５９】
第４のステップＳ４では、欠陥候補の判定が何回目かを判定し、予め設定される規定回数以内であれば第２のステップＳ２に戻って欠陥候補の判定を繰り返し、規定回数に達していれば、第５のステップＳ５に進む。第２のステップＳ２に戻った場合、再度、画素欠陥候補に対する判定が行われ、続く第３のステップＳ３において、その判定結果が記憶される。この第３のステップＳ３における判定結果の記憶は、第２のステップＳ２で判定が繰り返される回数分だけ順次追加するように行われる。
【００６０】
第５のステップＳ５では、規定回数繰り返された画素欠陥候補の判定で、所定の基準値を超えているか否かが判定される。即ち、規定回数だけ画素欠陥候補の判定を行い、そのうち、画素欠陥であると（真である）判定された回数が基準値として設定される回数を越えたものについて、真の画素欠陥であるとして、欠陥登録回路１５が補正処理を施すべきアドレスを位置メモリ回路１３に記憶させる。そして、第６のステップＳ６では、位置メモリ回路１３に登録されたアドレスの画素に対し、欠陥補正回路１６によって補正処理が施され、画素欠陥が補正された画像信号Ｙ'(n)が生成される。
【００６１】
以上の第１のステップＳ１から第６のステップＳ６によれば、１画面の画素の状況のみでなく、複数の画面にわたる画素の状況から画素欠陥を判定できるため、被写体の状態に起因する偶発的な画素欠陥を区別することができる。
【００６２】
ここで、欠陥候補の判定の繰り返しの回数については、回数を多くするほど判定に要する時間は長くなるが、より正確な判定結果を得られるようになる。また、第５のステップＳ５における欠陥登録動作では、判定回数から画素欠陥が真であるか否かを決定する他、図１０に示す第２の実施形態において得られるような露光制御情報Ｅ(m)や利得制御情報情報Ｇ(m)、さらには、フォーカス制御情報等の各種制御情報を含めて判定すれば、判定制度をさらに向上できる。
【００６３】
図１４は、本発明の画像欠陥の第２の検出方法を示すフローチャートである。この検出方法は、図１３の場合と同様、図１（または図１０、図１１、図１２の何れか）に示す欠陥検出回路１２、位置メモリ回路１３、欠陥判定回路１４、欠陥登録回路１５及び欠陥補正回路１６により実行される。
【００６４】
第１のステップＳ１では、欠陥検出回路１２において、初期画面の画素欠陥候補を検出し、１画面（あるいは分割領域）の全ての画素欠陥候補を示すアドレス情報を位置メモリ回路１３に記憶する。第２のステップＳ２では、欠陥判定回路１４において、次の画面の画素欠陥候補を検出し、続く第３のステップＳ３で、第２のステップＳ２で検出された画素欠陥候補が第１のステップＳ１で位置メモリ回路１３に記憶された最初の画面の画素欠陥のアドレス情報と一致するか否かを判定する。
【００６５】
第４のステップＳ４では、第３のステップＳ３において一致が確認されたアドレス情報を残し、一致が確認できなかったアドレス情報を廃棄するようにして欠陥情報、即ち、位置メモリ回路１３の情報を更新する。あるいは、第３のステップＳ３において、所定の回数（画面数）連続して一致が確認できたアドレス情報のみを残すか、所定の回数（画面数）連続して一致が確認できなかったアドレス情報のみを廃棄する。このアドレス情報を残すか廃棄するかの選択についても、位置メモリ回路１３の情報を書き換えるか否かによって行われる。
【００６６】
第５のステップＳ５では、欠陥情報の更新が何回目かを判定し、予め設定される規定回数以内であれば第２のステップＳ２に戻って欠陥候補の検出を繰り返し、規定回数に達していれば、第６のステップＳ６に進む。第６のステップＳ６では、位置メモリ回路１３に記憶されたアドレス情報が欠陥登録回路１５に取り込まれて真の画素欠陥であるとして登録される。そして、第７のステップＳ７では、欠陥登録回路１５に登録されたアドレスの画素に対して、欠陥補正回路１６によって補正処理が施され、画素欠陥が補正された画像信号Ｙ'(n)が生成される。
【００６７】
以上の第１のステップＳ１から第７のステップＳ７によれば、図１３に示す検出方法と同様、１画面の画素の状況のみでなく、複数の画面にわたる画素の状況から画素欠陥を判定できるため、被写体の状態に起因する偶発的な画素欠陥を区別することができる。
【００６８】
以上の実施形態においては、判定基準値を目標画素に隣接する３行×３列の合計８個の周辺画素のレベルに基づいて決定する場合を例示したが、それ以上、例えば、３行×５列の１４個の周辺画素や、５行×５列の２４個の周辺画素のレベルに基づいて判定基準値を設定するようにしてもよい。
【００６９】
【発明の効果】
本発明によれば、画素欠陥の情報を逐次更新することができるため、撮像素子の経時変化によって画素欠陥が増えた場合でも、特に設定を変更する必要なく、画素欠陥の補正ができる。
【００７０】
また、画素欠陥の判定基準に、画像信号を生成する撮像装置の制御情報を用いるようにしたことで、より的確な判定が可能になる。そして、画素欠陥の判定を、画面を分割して行うようにしたことで、画素欠陥情報を記憶する位置メモリ回路の容量を節約することができる。さらに、各制御情報の読み出し及び書き込みが可能なインタフェース回路を接続したことで、外付けされるコンピュータ機器から制御情報を容易に変更することができるようになり、装置の汎用性を拡大できる。
【図面の簡単な説明】
【図１】本発明の画像信号処理装置の第１の実施形態を示すブロック図である。
【図２】メモリ回路の構成を示すブロック図である。
【図３】目標画素と周辺画素との位置関係を示す平面図である。
【図４】欠陥検出回路の構成を示すブロック図である。
【図５】判定基準値と周辺画素のレベルとの関係を示す図である。
【図６】欠陥判定回路の動作を説明するフローチャートである。
【図７】アドレス発生回路の構成を示すブロック図である。
【図８】画面上の画素欠陥のアドレスを説明する平面図である。
【図９】欠陥補正回路の構成を示すブロック図である。
【図１０】本発明の画像信号処理装置の第２の実施形態を示すブロック図である。
【図１１】本発明の画像信号処理装置の第３の実施形態を示すブロック図である。
【図１２】本発明の画像信号処理装置の第４の実施形態を示すブロック図である。
【図１３】本発明の画素欠陥の第１の検出方法を説明するフローチャートである。
【図１４】本発明の画素欠陥の第２の検出方法を説明するフローチャートである。
【図１５】固体撮像装置の構成を示すブロック図である。
【符号の説明】
１ ＣＣＤイメージセンサ
２ 駆動回路
３ タイミング制御回路
４ 信号処理回路
５ 欠陥補正回路
６ 補正情報メモリ
１１ 画像メモリ回路
１２ 欠陥検出回路
１３ 位置メモリ回路
１４、１４’ 欠陥判定回路
１５ 欠陥登録回路
１６ 欠陥補正回路
１７ エリア指定回路
１８ インタフェース回路
２１、２２ ラインメモリ
２３〜２８ ラッチ
３１ 平均値算出部
３２ 最大値検出部
３３ 最小値検出部
３４、３５ 減算器
３６ 加算器
３７、３８ 比較器
５１ 水平カウンタ
５２ 垂直カウンタ
５３ 水平データラッチ
５４ 垂直データラッチ
６１〜６４ 除算器
６５〜６７ 加算器
６８ セレクタ
６９ 比較器

Claims (6)

  1. 画面を表示する画像信号に基づいて、画面上の画素欠陥を検出する画像信号処理装置であって、目標画素に対応する画像信号のレベルを目標画素に隣接する複数の周辺画素の画像信号のレベルの最大値と最小値との差を上記複数の周辺画素の画像信号レベルの平均値に対して加算または減算して設定される判定基準値と比較して欠陥候補を検出する検出回路と、上記検出回路により検出された欠陥候補の複数の画面にわたる連続性に基づいて画素欠陥を判定する判定回路と、上記判定回路で判定された画素欠陥の位置を示す欠陥情報を記憶するメモリ回路と、を備え、上記メモリ回路に記憶された欠陥情報に応じて上記目標画素を補正することを特徴とする画像信号処理装置。
  2. 上記判定回路は、複数フィールドで欠陥判定動作を継続して画素欠陥の位置を決定した後、上記検出回路と共に動作を停止することを特徴とする請求項１に記載の画像信号処理装置。
  3. 上記判定回路は、所定の周期で欠陥判定動作を繰り返すことを特徴とする請求項１乃至２のいずれかに記載の画像信号処理装置。
  4. 上記判定回路及び上記メモリ回路の少なくとも一方は、外部機器が接続可能なバスに接続され、外部機器から画素欠陥の判定条件が変更されることを特徴とする請求項１乃至３のいずれかに記載の画像信号処理装置。
  5. １画面を表示する画像信号に基づいて、画面を構成する複数の画素に含まれる画素欠陥を検出する検出方法であって、目標画素の画像信号のレベルを目標画素に隣接する複数の周辺画素の画像信号のレベルの最大値と最小値との差を上記複数の周辺画素の画像信号レベルの平均値に対して加算または減算して設定される判定基準値と比較して欠陥候補を検出し、欠陥候補の位置を記憶する第１のステップと、上記第１のステップで記憶された位置の目標画素の画像信号のレベルを上記判定基準値と再度比較する第２のステップと、上記第２のステップの比較結果を記憶する第３のステップと、を含み、上記第２及び第３のステップを複数回繰り返して得られる複数の比較結果に応じて画素欠陥を検出することを特徴とする画素欠陥の検出方法。
  6. １画面を表示する画像信号から、画面を構成する複数の画素に含まれる画素欠陥を検出する検出方法であって、目標画素の画像信号のレベルを目標画素に隣接する複数の周辺画素の画像信号のレベルの最大値と最小値との差を上記複数の周辺画素の画像信号のレベルの平均値に対して加算または減算して設定される判定基準値と比較して第１の欠陥候補を検出し、上記第１の欠陥候補の位置を記憶する第１のステップと、目標画素の画像信号のレベルを目標画素に隣接する複数の周辺画素の画像信号のレベルの最大値と最小値との差を上記複数の周辺画素の画像信号のレベルの平均値に対して加算または減算して設定される判定基準値と比較して第２の欠陥候補を検出する第２のステップと、上記第１の画素欠陥候補の位置と上記第２の欠陥候補の位置との一致を判定する第３のステップと、上記第１のステップで記憶された第１の欠陥候補の位置を、上記第３のステップで一致すると判定された位置を残して更新する第４のステップと、を含み、上記第２乃至第３のステップを繰り返すことを特徴とする画素欠陥の検出方法。
JP2000282166A 1999-10-27 2000-09-18 画像信号処理装置及び画素欠陥の検出方法 Expired - Lifetime JP3773773B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2000282166A JP3773773B2 (ja) 1999-10-27 2000-09-18 画像信号処理装置及び画素欠陥の検出方法
TW089120201A TW479432B (en) 1999-10-27 2000-09-29 Picture signal processing apparatus and method for detecting pixel defect
US09/696,393 US7092018B1 (en) 1999-10-27 2000-10-25 Image signal processor and deficient pixel detection method
KR10-2000-0063103A KR100437434B1 (ko) 1999-10-27 2000-10-26 화상 신호 처리 장치 및 화소 결함의 검출 방법
CNB001337181A CN1164083C (zh) 1999-10-27 2000-10-27 影像信号处理装置及像素缺陷的检测方法
US11/426,754 US7755680B2 (en) 1999-10-27 2006-06-27 Image signal processor and deficient pixel detection method
US11/426,759 US7746393B2 (en) 1999-10-27 2006-06-27 Image signal processor and deficient pixel detection method

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP30580599 1999-10-27
JP11-305805 1999-10-27
JP30712599 1999-10-28
JP11-307125 1999-10-28
JP2000282166A JP3773773B2 (ja) 1999-10-27 2000-09-18 画像信号処理装置及び画素欠陥の検出方法

Related Child Applications (2)

Application Number Title Priority Date Filing Date
JP2006002720A Division JP2006174497A (ja) 1999-10-27 2006-01-10 画像信号処理装置
JP2006002721A Division JP4166246B2 (ja) 1999-10-27 2006-01-10 画像信号処理装置及び画素欠陥の検出方法

Publications (2)

Publication Number Publication Date
JP2001197372A JP2001197372A (ja) 2001-07-19
JP3773773B2 true JP3773773B2 (ja) 2006-05-10

Family

ID=27338788

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000282166A Expired - Lifetime JP3773773B2 (ja) 1999-10-27 2000-09-18 画像信号処理装置及び画素欠陥の検出方法

Country Status (5)

Country Link
US (3) US7092018B1 (ja)
JP (1) JP3773773B2 (ja)
KR (1) KR100437434B1 (ja)
CN (1) CN1164083C (ja)
TW (1) TW479432B (ja)

Families Citing this family (88)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7365783B2 (en) * 2001-03-16 2008-04-29 Olympus Corporation Image pickup apparatus which stores initial defect data concerning image pickup device and data on later developed defects
JP5057618B2 (ja) * 2001-07-25 2012-10-24 オリンパス株式会社 撮像装置
JP2003046871A (ja) * 2001-08-01 2003-02-14 Olympus Optical Co Ltd 撮像装置
KR20040038193A (ko) * 2002-10-31 2004-05-08 주식회사 하이닉스반도체 이미지센서의 불량픽셀 보상장치
TWI248297B (en) * 2003-01-17 2006-01-21 Fuji Photo Film Co Ltd Method and imaging apparatus for correcting defective pixel of solid-state image sensor, and method for creating pixel information
JP3914216B2 (ja) * 2003-05-15 2007-05-16 松下電器産業株式会社 画像欠陥補正装置、及び、画像欠陥補正方法
US8471852B1 (en) 2003-05-30 2013-06-25 Nvidia Corporation Method and system for tessellation of subdivision surfaces
KR20050015723A (ko) * 2003-08-07 2005-02-21 삼성전자주식회사 동영상 화면 재생시 발생하는 불량 요소 검출 장치 및검출 방법
JP2005101829A (ja) * 2003-09-24 2005-04-14 Sanyo Electric Co Ltd 信号処理装置
JP4347721B2 (ja) * 2004-02-27 2009-10-21 オリンパス株式会社 画素欠陥検出装置と方法および撮像装置
JP2005284355A (ja) * 2004-03-26 2005-10-13 Pioneer Electronic Corp 画像情報補正装置、補正方法、補正プログラム、画像入力装置
JP2005354278A (ja) * 2004-06-09 2005-12-22 Seiko Epson Corp 撮像手段の撮像した画像の画像データを処理する画像データ処理
JP4508740B2 (ja) * 2004-06-22 2010-07-21 キヤノン株式会社 画像処理装置
JP2006025148A (ja) * 2004-07-07 2006-01-26 Sony Corp 信号処理装置及び方法
US7812867B2 (en) * 2004-10-29 2010-10-12 Canon Kabushiki Kaisha Image processing apparatus adapted to correct image signal
JP2006166194A (ja) * 2004-12-09 2006-06-22 Sony Corp 画素欠陥検出回路及び画素欠陥検出方法
JP4548128B2 (ja) * 2005-01-26 2010-09-22 ソニー株式会社 欠陥検出装置および欠陥検出方法、ならびに撮像装置
CN100366053C (zh) * 2005-04-08 2008-01-30 北京中星微电子有限公司 一种对数字图像进行坏点补偿的方法
JP2006345279A (ja) * 2005-06-09 2006-12-21 Fujifilm Holdings Corp 固体撮像素子の画素欠陥検出方法
US7545396B2 (en) * 2005-06-16 2009-06-09 Aurora Systems, Inc. Asynchronous display driving scheme and display
KR100779312B1 (ko) * 2005-09-27 2007-11-23 샤프 가부시키가이샤 결함 검출 장치, 이미지 센서 디바이스, 이미지 센서 모듈,화상 처리 장치, 디지털 화상 품질 테스터, 및 결함 검출방법
JP4657869B2 (ja) * 2005-09-27 2011-03-23 シャープ株式会社 欠陥検出装置、イメージセンサデバイス、イメージセンサモジュール、画像処理装置、デジタル画像品質テスタ、欠陥検出方法、欠陥検出プログラム、およびコンピュータ読取可能な記録媒体
US8571346B2 (en) * 2005-10-26 2013-10-29 Nvidia Corporation Methods and devices for defective pixel detection
US7885458B1 (en) 2005-10-27 2011-02-08 Nvidia Corporation Illuminant estimation using gamut mapping and scene classification
US7750956B2 (en) 2005-11-09 2010-07-06 Nvidia Corporation Using a graphics processing unit to correct video and audio data
US8588542B1 (en) 2005-12-13 2013-11-19 Nvidia Corporation Configurable and compact pixel processing apparatus
US8737832B1 (en) 2006-02-10 2014-05-27 Nvidia Corporation Flicker band automated detection system and method
KR100761797B1 (ko) * 2006-05-12 2007-09-28 엠텍비젼 주식회사 결함 픽셀의 위치 어드레스 저장 방법 및 장치
JP4440239B2 (ja) * 2006-08-18 2010-03-24 富士フイルム株式会社 距離画像作成方法及び距離画像センサ、及び撮影装置
US8594441B1 (en) 2006-09-12 2013-11-26 Nvidia Corporation Compressing image-based data using luminance
JP4305777B2 (ja) * 2006-11-20 2009-07-29 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
CN101212703B (zh) * 2006-12-29 2010-05-19 华晶科技股份有限公司 影像坏点像素实时检测方法
US8723969B2 (en) 2007-03-20 2014-05-13 Nvidia Corporation Compensating for undesirable camera shakes during video capture
JP4686496B2 (ja) * 2007-03-30 2011-05-25 株式会社東芝 撮像装置
JP5260979B2 (ja) * 2007-05-02 2013-08-14 キヤノン株式会社 撮像システム、信号処理回路、及び信号処理方法
US8564687B2 (en) * 2007-05-07 2013-10-22 Nvidia Corporation Efficient determination of an illuminant of a scene
JP2008301142A (ja) * 2007-05-31 2008-12-11 Fujitsu Microelectronics Ltd 固体撮像素子および画素補正方法
US8698917B2 (en) * 2007-06-04 2014-04-15 Nvidia Corporation Reducing computational complexity in determining an illuminant of a scene
CN101329281B (zh) 2007-06-20 2011-08-10 佛山普立华科技有限公司 影像感测晶片污点检测***及其检测方法
US8724895B2 (en) 2007-07-23 2014-05-13 Nvidia Corporation Techniques for reducing color artifacts in digital images
US8570634B2 (en) 2007-10-11 2013-10-29 Nvidia Corporation Image processing of an incoming light field using a spatial light modulator
US8395638B2 (en) * 2007-11-29 2013-03-12 Datacolor Holding Ag Method and apparatus for calibrating a display-coupled color measuring device
US9177368B2 (en) 2007-12-17 2015-11-03 Nvidia Corporation Image distortion correction
US8780128B2 (en) 2007-12-17 2014-07-15 Nvidia Corporation Contiguously packed data
US8698908B2 (en) 2008-02-11 2014-04-15 Nvidia Corporation Efficient method for reducing noise and blur in a composite still image from a rolling shutter camera
US9379156B2 (en) 2008-04-10 2016-06-28 Nvidia Corporation Per-channel image intensity correction
WO2009128194A1 (ja) * 2008-04-16 2009-10-22 パナソニック株式会社 固体撮像装置、撮像システム、及び固体撮像装置の駆動方法
JP2009302722A (ja) * 2008-06-11 2009-12-24 Nec Electronics Corp 欠陥画素処理装置および欠陥画素処理方法
JP5222654B2 (ja) * 2008-07-31 2013-06-26 株式会社エルモ社 撮像装置の欠陥画素検出装置および撮像装置のマーキング装置
CN101764926B (zh) * 2008-09-29 2012-05-30 凹凸电子（武汉）有限公司 缺陷像素检测纠正设备、***及检测纠正缺陷像素的方法
US8373718B2 (en) 2008-12-10 2013-02-12 Nvidia Corporation Method and system for color enhancement with color volume adjustment and variable shift along luminance axis
US8749662B2 (en) 2009-04-16 2014-06-10 Nvidia Corporation System and method for lens shading image correction
EP2257044A1 (en) * 2009-05-29 2010-12-01 Thomson Licensing SA Method and device for processing a raw output value of a target pixel
KR100947486B1 (ko) * 2009-07-14 2010-03-17 주식회사 코아로직 결함 픽셀 보정 장치 및 방법
US8698918B2 (en) 2009-10-27 2014-04-15 Nvidia Corporation Automatic white balancing for photography
JP2011097404A (ja) * 2009-10-30 2011-05-12 Sony Corp 固体撮像装置及びデータ処理装置
JP2011097542A (ja) * 2009-11-02 2011-05-12 Sony Corp 画素欠陥検出補正装置、撮像装置、画像欠陥検出補正方法、およびプログラム
JP2010187408A (ja) * 2010-05-17 2010-08-26 Sony Corp 欠陥検出装置および欠陥検出方法、ならびに撮像装置
JP5269841B2 (ja) * 2010-07-22 2013-08-21 株式会社東芝 画像処理装置
CN102401906B (zh) * 2010-09-19 2014-03-12 同方威视技术股份有限公司 辐射探测器及其成像装置、电极结构和获取图像的方法
KR20120114021A (ko) * 2011-04-06 2012-10-16 삼성디스플레이 주식회사 불량 픽셀 보정 방법
US8717567B2 (en) 2011-08-31 2014-05-06 Datacolor Holding Ag Method and apparatus for calibrating a color measurement device
JP2014022801A (ja) * 2012-07-13 2014-02-03 Sony Corp 情報処理装置、情報処理方法、および情報処理プログラム
US9798698B2 (en) 2012-08-13 2017-10-24 Nvidia Corporation System and method for multi-color dilu preconditioner
US9508318B2 (en) 2012-09-13 2016-11-29 Nvidia Corporation Dynamic color profile management for electronic devices
US9307213B2 (en) 2012-11-05 2016-04-05 Nvidia Corporation Robust selection and weighting for gray patch automatic white balancing
JP2014110592A (ja) * 2012-12-04 2014-06-12 Toshiba Corp 画像処理装置
US9870598B2 (en) 2013-04-26 2018-01-16 Nvidia Corporation Low complexity adaptive filtering for mobile captures
US9317736B1 (en) * 2013-05-08 2016-04-19 Amazon Technologies, Inc. Individual record verification based on features
US9418400B2 (en) 2013-06-18 2016-08-16 Nvidia Corporation Method and system for rendering simulated depth-of-field visual effect
US9756222B2 (en) 2013-06-26 2017-09-05 Nvidia Corporation Method and system for performing white balancing operations on captured images
US9826208B2 (en) 2013-06-26 2017-11-21 Nvidia Corporation Method and system for generating weights for use in white balancing an image
WO2015069566A1 (en) * 2013-11-05 2015-05-14 Arizona Board Of Regents For And On Behalf Of Arizona State University Adaptive detection sensor array and method of providing and using the same
JP6579744B2 (ja) * 2014-11-28 2019-09-25 キヤノン株式会社 撮像装置、撮像システム、撮像装置の駆動方法、及び撮像装置の検査方法
JP2017055308A (ja) 2015-09-10 2017-03-16 キヤノン株式会社 撮像装置及びその制御方法
JP2017055309A (ja) * 2015-09-10 2017-03-16 キヤノン株式会社 撮像装置及びその制御方法
JP6981416B2 (ja) * 2016-08-31 2021-12-15 ソニーグループ株式会社 画像処理装置と画像処理方法
CN106791852B (zh) * 2016-12-14 2019-08-16 深圳市迪威码半导体有限公司 图像处理方法及装置
CN106878636B (zh) * 2017-02-13 2019-11-29 建荣半导体（深圳）有限公司 缺陷像素点检测方法、装置及图像处理芯片
CN106908716B (zh) * 2017-03-23 2019-05-31 赵杰 一种用于线性传感器的测试方法
US10270995B1 (en) * 2017-10-19 2019-04-23 Kromek Group, PLC Automated non-conforming pixel masking
CN108198150B (zh) * 2018-01-30 2022-03-18 努比亚技术有限公司 一种图像坏点的消除方法、终端及存储介质
JP7180079B2 (ja) * 2018-02-28 2022-11-30 セイコーエプソン株式会社 回路装置及び電子機器
JP7286309B2 (ja) * 2018-12-18 2023-06-05 キヤノン株式会社 光電変換装置、光電変換システムおよび信号処理装置
CN111161264B (zh) * 2019-10-29 2022-10-28 福州大学 一种对含有缺陷的tft电路图像的分割方法
CN110940679A (zh) * 2019-12-09 2020-03-31 南京理工大学 基于fpga的电子内窥镜裂纹检测***及方法
TWI753410B (zh) * 2020-04-24 2022-01-21 晶相光電股份有限公司 影像感測系統以及缺陷感光元件偵測以及修正方法
CN114023250A (zh) * 2021-11-10 2022-02-08 成都利普芯微电子有限公司 一种驱动芯片、显示组件及驱动方法

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0797838B2 (ja) * 1986-09-30 1995-10-18 キヤノン株式会社 撮像装置
US5008698A (en) * 1987-09-28 1991-04-16 Kyocera Corporation Control apparatus for image sensor
US4920428A (en) * 1988-07-08 1990-04-24 Xerox Corporation Offset, gain and bad pixel correction in electronic scanning arrays
US5185883A (en) * 1990-10-26 1993-02-09 Data Translation, Inc. System for locating failure signals by comparing input data with stored threshold value and storing failure addresses in alternating buffers
EP0496573B1 (en) * 1991-01-24 1995-12-20 Matsushita Electric Industrial Co., Ltd. Pixel defect removing circuit for solid-state image pickup device
EP0543980A1 (en) * 1991-05-10 1993-06-02 Eastman Kodak Company Customizable timing and control asic for electronic imaging
US5394525A (en) * 1991-07-16 1995-02-28 Canon Kabushiki Kaisha Image memorizing device utilizing the significance of unavailable data
US5526092A (en) * 1992-09-11 1996-06-11 Nikon Corporation Photometric control device for camera
JP3257131B2 (ja) * 1993-03-30 2002-02-18 ソニー株式会社 固体撮像装置の自動欠陥検出装置及び固体撮像装置
JP3014895B2 (ja) * 1993-06-02 2000-02-28 株式会社日立製作所 ビデオカメラ
JPH0723297A (ja) 1993-06-29 1995-01-24 Sony Corp 固体撮像素子の欠陥検出装置
KR970003744B1 (en) 1993-11-26 1997-03-21 Lg Semicon Co Ltd Semiconductor device
JP3125124B2 (ja) * 1994-06-06 2001-01-15 松下電器産業株式会社 欠陥画素傷補正回路
KR0144820B1 (ko) 1994-09-30 1998-07-15 김광호 영상의 노이즈 제거 및 디테일 개선장치
US6509927B1 (en) * 1994-12-16 2003-01-21 Hyundai Electronics America Inc. Programmably addressable image sensor
JPH08317292A (ja) 1995-05-19 1996-11-29 Sony Corp 固体撮像素子の欠陥検出方法
KR0152048B1 (ko) 1995-06-22 1998-10-01 김광호 고체촬상소자의 결함 자동판별장치
US6002433A (en) * 1995-08-29 1999-12-14 Sanyo Electric Co., Ltd. Defective pixel detecting circuit of a solid state image pick-up device capable of detecting defective pixels with low power consumption and high precision, and image pick-up device having such detecting circuit
US5854655A (en) * 1995-08-29 1998-12-29 Sanyo Electric Co., Ltd. Defective pixel detecting circuit of a solid state image pick-up device capable of detecting defective pixels with low power consumption and high precision, and image pick-up device having such detecting circuit
JPH09205586A (ja) 1996-01-29 1997-08-05 Sony Corp Ｃｃｄ固体撮像素子の欠陥画素検出補正システム
JP3755921B2 (ja) * 1996-02-29 2006-03-15 株式会社コダックデジタルプロダクトセンター 撮像デバイスのラインノイズ除去方法及びそれを用いたラインノイズ除去装置
US5982946A (en) * 1996-09-20 1999-11-09 Dainippon Screen Mfg. Co., Ltd. Method of identifying defective pixels in digital images, and method of correcting the defective pixels, and apparatus and recording media therefor
JP3785520B2 (ja) * 1997-03-19 2006-06-14 コニカミノルタホールディングス株式会社 電子カメラ
JPH1127585A (ja) * 1997-06-30 1999-01-29 Hitachi Denshi Ltd 固体撮像素子の欠陥画素検出方法
KR19990041744A (ko) * 1997-11-24 1999-06-15 구자홍 화소 결함 보정 회로
JPH11167641A (ja) * 1997-12-05 1999-06-22 Canon Inc パターン検出装置、パターン検出方法及びコンピュータ読み取り可能な記憶媒体
JPH11183323A (ja) 1997-12-25 1999-07-09 Canon Inc 欠陥画素検出装置、欠陥画素検出方法、撮像装置、撮像方法および記憶媒体
JP4115574B2 (ja) * 1998-02-02 2008-07-09 オリンパス株式会社 撮像装置
JP3544304B2 (ja) * 1998-08-04 2004-07-21 日本ビクター株式会社 画素欠陥補正装置及び画素欠陥補正方法
US6381357B1 (en) * 1999-02-26 2002-04-30 Intel Corporation Hi-speed deterministic approach in detecting defective pixels within an image sensor
JP3717725B2 (ja) * 1999-10-07 2005-11-16 三洋電機株式会社 画素欠陥検出方法及び画像処理装置

Also Published As

Publication number Publication date
CN1295255A (zh) 2001-05-16
KR20010067343A (ko) 2001-07-12
TW479432B (en) 2002-03-11
JP2001197372A (ja) 2001-07-19
KR100437434B1 (ko) 2004-06-25
US20060233431A1 (en) 2006-10-19
CN1164083C (zh) 2004-08-25
US7746393B2 (en) 2010-06-29
US7092018B1 (en) 2006-08-15
US7755680B2 (en) 2010-07-13
US20060232691A1 (en) 2006-10-19

Similar Documents

Publication Publication Date Title
JP3773773B2 (ja) 画像信号処理装置及び画素欠陥の検出方法
JP3984936B2 (ja) 撮像装置および撮像方法
JP3785520B2 (ja) 電子カメラ
JP4528850B2 (ja) 欠陥検出装置、欠陥検出方法、欠陥検出プログラム、及び該プログラムを記録したコンピュータ読み取り可能な記録媒体
US20030179418A1 (en) Producing a defective pixel map from defective cluster pixels in an area array image sensor
US20050243181A1 (en) Device and method of detection of erroneous image sample data of defective image samples
JP3717725B2 (ja) 画素欠陥検出方法及び画像処理装置
JP2007053634A (ja) 撮像装置、欠陥画素補正装置および方法
CN103369265A (zh) 像素信息管理装置及使用该管理装置的图像拍摄装置
JP2011151792A (ja) 画像処理装置及び方法
JP2003023570A (ja) 画像データの修正方法及び画像信号処理装置
JP3866017B2 (ja) 欠陥画素検出装置及び欠陥画素検出プログラムが記録された記録媒体
JP4252045B2 (ja) 画素欠陥補正方法
JP4166246B2 (ja) 画像信号処理装置及び画素欠陥の検出方法
JP2008011567A (ja) 画像信号処理装置
JP2006174497A (ja) 画像信号処理装置
JP2010212788A (ja) 撮像装置、欠陥画素補正方法、および電子情報機器
JP4313860B2 (ja) 欠陥画素補正装置及び欠陥画素補正方法
JP3947328B2 (ja) 固体撮像素子の欠陥画素データ補正装置
JP2000101924A (ja) 画像入力装置における欠陥検出補正装置
JP4390940B2 (ja) 欠陥画素検出装置
JP3990059B2 (ja) 撮像デバイスの欠陥画素補正装置および方法
JP2002204396A (ja) 画素補正装置
KR20150107563A (ko) 화상 처리 장치 및 고체 촬상 장치
JP2005175987A (ja) 画像処理装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051129

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20051227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060131

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060215

R151 Written notification of patent or utility model registration

Ref document number: 3773773

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090224

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100224

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110224

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110224

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120224

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120224

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130224

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130224

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140224

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term