JP2003319120A - 画像認識システムにおける異常の診断装置 - Google Patents
画像認識システムにおける異常の診断装置Info
- Publication number
- JP2003319120A JP2003319120A JP2002124615A JP2002124615A JP2003319120A JP 2003319120 A JP2003319120 A JP 2003319120A JP 2002124615 A JP2002124615 A JP 2002124615A JP 2002124615 A JP2002124615 A JP 2002124615A JP 2003319120 A JP2003319120 A JP 2003319120A
- Authority
- JP
- Japan
- Prior art keywords
- image
- diagnostic device
- abnormality
- pixel
- abnormal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
- G06V10/507—Summing image-intensity values; Histogram projection analysis
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Input (AREA)
- Facsimiles In General (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】
【課題】 画像認識システムにおいて、迅速かつ正確
に、イメージセンサの出力の断線やイメージセンサの焼
付きを検出できる診断装置を提供する。 【解決手段】 第１の態様においては、画像認識部３に
取り込まれる画像信号に対して所定の計算を行い、濃度
ヒストグラムを生成するヒストグラム計算手段１１と、
ヒストグラム計算手段１１により生成された濃度ヒスト
グラムを解析して、異常の有無を判定する異常判定手段
１２と、からなり、第２の態様においては、画像認識部
３に取り込まれる画像信号の情報を入力としてこれを記
憶するメモリ手段２１と、時間的に異なる複数の画像の
各々について、着目画素に係る各該画像での画像信号の
情報をメモリ手段２１から読み出して相互に比較し、か
つ、相互の異同を判定する比較／判定手段２２と、から
なり、当該情報相互間が同一であるとき、異常ありと判
定する。
に、イメージセンサの出力の断線やイメージセンサの焼
付きを検出できる診断装置を提供する。 【解決手段】 第１の態様においては、画像認識部３に
取り込まれる画像信号に対して所定の計算を行い、濃度
ヒストグラムを生成するヒストグラム計算手段１１と、
ヒストグラム計算手段１１により生成された濃度ヒスト
グラムを解析して、異常の有無を判定する異常判定手段
１２と、からなり、第２の態様においては、画像認識部
３に取り込まれる画像信号の情報を入力としてこれを記
憶するメモリ手段２１と、時間的に異なる複数の画像の
各々について、着目画素に係る各該画像での画像信号の
情報をメモリ手段２１から読み出して相互に比較し、か
つ、相互の異同を判定する比較／判定手段２２と、から
なり、当該情報相互間が同一であるとき、異常ありと判
定する。
Description
【０００１】
【発明の属する技術分野】本発明は画像認識システムに
おける異常の診断装置に関する。
おける異常の診断装置に関する。
【０００２】
【従来の技術】画像認識システムは、車両に搭載されて
車両の安全走行を支援したり、あるいはロボットに搭載
されてロボットの自動制御に重要な役割を果たしたり等
々、多種の分野において使用されている。以下、上記の
車両に搭載される画像認識システムを例にとって説明す
る。
車両の安全走行を支援したり、あるいはロボットに搭載
されてロボットの自動制御に重要な役割を果たしたり等
々、多種の分野において使用されている。以下、上記の
車両に搭載される画像認識システムを例にとって説明す
る。
【０００３】車両搭載の画像認識システムは、車両前方
の走行環境を認識したり、また、車両前方にある障害物
までの測距や方位測定等を行うために利用される。この
場合、画像入力部（カメラ）と画像認識部（画像認識セ
ンサ）は、その画像認識システムにとって必須の構成要
件である。
の走行環境を認識したり、また、車両前方にある障害物
までの測距や方位測定等を行うために利用される。この
場合、画像入力部（カメラ）と画像認識部（画像認識セ
ンサ）は、その画像認識システムにとって必須の構成要
件である。
【０００４】なお上記画像認識センサは、ミリ波等のレ
ーダと組合せた複合センサとしても利用され、車両走行
支援のために応用されている。またその画像認識センサ
は、他の制御機器例えば車両の自動走行装置の一部とし
ても利用され、同様に車両走行支援のために応用されて
いる。
ーダと組合せた複合センサとしても利用され、車両走行
支援のために応用されている。またその画像認識センサ
は、他の制御機器例えば車両の自動走行装置の一部とし
ても利用され、同様に車両走行支援のために応用されて
いる。
【０００５】
【発明が解決しようとする課題】上記の画像入力部（カ
メラ）および画像認識部のうち、特に、画像入力部およ
びこれと画像認識部とを接続するためのケーブル（通
常、８ビットのコード）は、上記の車両に搭載される場
合、きわめて苛酷な使用環境下に置かれる。したがっ
て、これらの画像入力部とケーブルには障害の発生確率
が高くなる。そうすると、当該画像認識システムが上記
の車両走行支援のために利用されるような場合、その障
害等の異常によって車両走行の安全性が損なわれるおそ
れがある、という問題が生ずる。
メラ）および画像認識部のうち、特に、画像入力部およ
びこれと画像認識部とを接続するためのケーブル（通
常、８ビットのコード）は、上記の車両に搭載される場
合、きわめて苛酷な使用環境下に置かれる。したがっ
て、これらの画像入力部とケーブルには障害の発生確率
が高くなる。そうすると、当該画像認識システムが上記
の車両走行支援のために利用されるような場合、その障
害等の異常によって車両走行の安全性が損なわれるおそ
れがある、という問題が生ずる。
【０００６】例えば、上記８ビットのコードのうち少な
くとも１本が断線するといった異常が生じたような場合
や、上記画像入力部（カメラ）をなすイメージセンサに
焼付きを起こすといった異常が生じたような場合、等に
上記の問題が発生する可能性がある。
くとも１本が断線するといった異常が生じたような場合
や、上記画像入力部（カメラ）をなすイメージセンサに
焼付きを起こすといった異常が生じたような場合、等に
上記の問題が発生する可能性がある。
【０００７】したがって本発明は、上述の問題点に鑑
み、上記の異常を迅速かつ正確に捉えることのできる、
画像認識システムにおける異常の診断装置を提供するこ
とを目的とするものである。
み、上記の異常を迅速かつ正確に捉えることのできる、
画像認識システムにおける異常の診断装置を提供するこ
とを目的とするものである。
【０００８】
【課題を解決するための手段】図１は本発明に係る画像
認識システムにおける異常の診断装置の基本構成を示す
図である。なお本発明では、上記コードの断線異常に対
処する第１の態様と、上記イメージセンサの焼付きに対
処する第２の態様と、を個別に提案するが、この図１で
はこれら２つの態様を合わせた構成で示している。ただ
し本発明は、該第１の態様だけを実施することもできる
し、該第２の態様だけを実施することもできる。もちろ
ん両態様を併せて実施すれば、より良い異常診断結果を
得ることができる。
認識システムにおける異常の診断装置の基本構成を示す
図である。なお本発明では、上記コードの断線異常に対
処する第１の態様と、上記イメージセンサの焼付きに対
処する第２の態様と、を個別に提案するが、この図１で
はこれら２つの態様を合わせた構成で示している。ただ
し本発明は、該第１の態様だけを実施することもできる
し、該第２の態様だけを実施することもできる。もちろ
ん両態様を併せて実施すれば、より良い異常診断結果を
得ることができる。
【０００９】図１において、参照番号１は画像認識シス
テムを示しており、これは、画像入力部（カメラ）２
と、この画像入力部２からの画像信号ＩＭ（ｉｍａｇ
ｅ）を入力として当該画像に対する画像認識を行う画像
認識部３と、を含んでなり、さらにこの画像認識システ
ム１における異常の診断を行う診断装置４を有する。
テムを示しており、これは、画像入力部（カメラ）２
と、この画像入力部２からの画像信号ＩＭ（ｉｍａｇ
ｅ）を入力として当該画像に対する画像認識を行う画像
認識部３と、を含んでなり、さらにこの画像認識システ
ム１における異常の診断を行う診断装置４を有する。
【００１０】この診断装置４は、図の左側に示すとお
り、画像認識部３に取り込まれる画像信号ＩＭに対して
所定の計算を行い、濃度ヒストグラムを生成するヒスト
グラム計算手段１１と、このヒストグラム計算手段１１
により生成された濃度ヒストグラムを解析して、異常の
有無を判定する異常判定手段１２と、を備えている。
り、画像認識部３に取り込まれる画像信号ＩＭに対して
所定の計算を行い、濃度ヒストグラムを生成するヒスト
グラム計算手段１１と、このヒストグラム計算手段１１
により生成された濃度ヒストグラムを解析して、異常の
有無を判定する異常判定手段１２と、を備えている。
【００１１】上記の構成は既述の第１の態様をなすもの
であって、その異常は、例えば８ビットのコードＣ１，
Ｃ２，Ｃ３…Ｃ８のいずれかに生ずる断線である。
であって、その異常は、例えば８ビットのコードＣ１，
Ｃ２，Ｃ３…Ｃ８のいずれかに生ずる断線である。
【００１２】また診断装置４は、図１の右側に示すとお
り、画像認識部３に取り込まれる画像信号ＩＭの情報を
入力としてこれを記憶するメモリ手段２１と、上記の画
像を構成する複数の画素のうちの１画素に着目し、時間
的に異なる複数の画像（フレーム）の各々について、当
該着目画素に係る各画像での画像信号ＩＭの情報をメモ
リ手段２１から読み出して相互に比較し、かつ、相互の
異同を判定する比較／判定手段２２と、を備えていて、
当該情報相互間が同一であるとき、異常ありと判定する
ものである。
り、画像認識部３に取り込まれる画像信号ＩＭの情報を
入力としてこれを記憶するメモリ手段２１と、上記の画
像を構成する複数の画素のうちの１画素に着目し、時間
的に異なる複数の画像（フレーム）の各々について、当
該着目画素に係る各画像での画像信号ＩＭの情報をメモ
リ手段２１から読み出して相互に比較し、かつ、相互の
異同を判定する比較／判定手段２２と、を備えていて、
当該情報相互間が同一であるとき、異常ありと判定する
ものである。
【００１３】上記の構成は既述の第２の態様をなすもの
であって、その異常は、画像入力部（カメラ）２をなす
既述のイメージセンサ内で生ずる焼付きである。
であって、その異常は、画像入力部（カメラ）２をなす
既述のイメージセンサ内で生ずる焼付きである。
【００１４】なお診断装置４の第１の態様も第２の態様
も、理解しやすいように、図１の中央に引き出して独立
のものとして示したが、実際には、画像認識部３の中の
一部としてこれと一体に構成することができる。
も、理解しやすいように、図１の中央に引き出して独立
のものとして示したが、実際には、画像認識部３の中の
一部としてこれと一体に構成することができる。
【００１５】これら第１の態様および第２の態様の各作
用については、それぞれ、後述する実施例１〜７および
実施例Ａ〜Ｈにおいて詳しく説明する。
用については、それぞれ、後述する実施例１〜７および
実施例Ａ〜Ｈにおいて詳しく説明する。
【００１６】図１について若干説明を補足すると、診断
装置４による診断の結果、既述の異常が検出されると、
その異常の発生は警報ＡＬとして直ちに車両の運転者に
伝えられると共に、図示する制御対象５にもその警報信
号が瞬時に印加される。
装置４による診断の結果、既述の異常が検出されると、
その異常の発生は警報ＡＬとして直ちに車両の運転者に
伝えられると共に、図示する制御対象５にもその警報信
号が瞬時に印加される。
【００１７】制御対象５は既述した制御機器であって、
この制御機器が例えば前方の車両に対する追従制御装置
であったとすると、該装置は上記の警報信号を受信して
直ちにブレーキ操作その他の安全操作を始動させること
になる。
この制御機器が例えば前方の車両に対する追従制御装置
であったとすると、該装置は上記の警報信号を受信して
直ちにブレーキ操作その他の安全操作を始動させること
になる。
【００１８】
【発明の実施の形態】図２は実施例１を説明するための
濃度ヒストグラムを示す図（その１）であり、図３は同
図（その２）であり、図４は同図（その３）であり、図
５は同図（その４）である。また、図６は図２〜図５に
示すヒストグラムを得るための一例として用いた入力画
像を示す図であり、図７は入力画像を出力するイメージ
センサ上の画素群を示す図である。
濃度ヒストグラムを示す図（その１）であり、図３は同
図（その２）であり、図４は同図（その３）であり、図
５は同図（その４）である。また、図６は図２〜図５に
示すヒストグラムを得るための一例として用いた入力画
像を示す図であり、図７は入力画像を出力するイメージ
センサ上の画素群を示す図である。
【００１９】当該車両に搭載された画像入力部（カメ
ラ）２のイメージセンサ（図７）が、前方を走行する車
両のリア側を捕らえた一例が、上記の図６に入力画像と
して示される。
ラ）２のイメージセンサ（図７）が、前方を走行する車
両のリア側を捕らえた一例が、上記の図６に入力画像と
して示される。
【００２０】この図６に示す入力画像は、図１に示す画
像入力部２の受光部分をなすイメージセンサの各画素
（ホトダイオード）の出力によって生成されるものであ
り、これらの画素は、図７に示すＰのごとく、例えば、
６４０画素×４８０画素のマトリクス状に配列される。
そしてこれらの画素Ｐの各々の出力は、８ビットの信号
として表される。これら８ビットの信号を並列に転送す
るのが、８ビットのコードＣ１，Ｃ２，Ｃ３…Ｃ８（図
１）である。
像入力部２の受光部分をなすイメージセンサの各画素
（ホトダイオード）の出力によって生成されるものであ
り、これらの画素は、図７に示すＰのごとく、例えば、
６４０画素×４８０画素のマトリクス状に配列される。
そしてこれらの画素Ｐの各々の出力は、８ビットの信号
として表される。これら８ビットの信号を並列に転送す
るのが、８ビットのコードＣ１，Ｃ２，Ｃ３…Ｃ８（図
１）である。
【００２１】これらのコートＣ１〜Ｃ８のいずれにも断
線がないとき、つまりコードが正常なときは、濃度ヒス
トグラムは、図２に示すようにきれいな山形の曲線を呈
する。なお濃度ヒストグラムは、周知のように、横軸に
濃度値をとり、縦軸に、１つの画像内での、各濃度値を
示す画素Ｐの出現数をとって表したものである。１画素
が８ビットで表される場合には、上記濃度値は０〜２５
５の２５６種に分けられ、通常その各々を「階調」と呼
んでいる。本発明では、この諧調の語を主として用い
る。
線がないとき、つまりコードが正常なときは、濃度ヒス
トグラムは、図２に示すようにきれいな山形の曲線を呈
する。なお濃度ヒストグラムは、周知のように、横軸に
濃度値をとり、縦軸に、１つの画像内での、各濃度値を
示す画素Ｐの出現数をとって表したものである。１画素
が８ビットで表される場合には、上記濃度値は０〜２５
５の２５６種に分けられ、通常その各々を「階調」と呼
んでいる。本発明では、この諧調の語を主として用い
る。
【００２２】コードＣ１，Ｃ２，Ｃ３…Ｃ８のいずれに
も断線がないとき（正常時）、濃度ヒストグラムは上記
のようにきれいな山形の曲線（図２）を呈するが、これ
らコードＣ１，Ｃ２，Ｃ３…Ｃ８のいずれかに断線が生
ずると（異常時）、その山形の曲線は失なわれる。その
いくつかの例を示したのが図３〜図５である。
も断線がないとき（正常時）、濃度ヒストグラムは上記
のようにきれいな山形の曲線（図２）を呈するが、これ
らコードＣ１，Ｃ２，Ｃ３…Ｃ８のいずれかに断線が生
ずると（異常時）、その山形の曲線は失なわれる。その
いくつかの例を示したのが図３〜図５である。
【００２３】図３は、８ビットのコードのうちコードＣ
１が断線した場合の濃度ヒストグラムを示す。ここにコ
ードＣ１はＬＳＢである。この場合は、１本ずつ歯抜け
状の分布となる。
１が断線した場合の濃度ヒストグラムを示す。ここにコ
ードＣ１はＬＳＢである。この場合は、１本ずつ歯抜け
状の分布となる。
【００２４】図４は、８ビットのコードのうちコードＣ
２が断線した場合である。ここにコードＣ２は第２ビッ
トである。この場合は、２本ずつ歯抜け状の分布とな
る。
２が断線した場合である。ここにコードＣ２は第２ビッ
トである。この場合は、２本ずつ歯抜け状の分布とな
る。
【００２５】図５は、８ビットのコードのうちコードＣ
８が断線した場合である。ここにコードＣ８はＭＳＢで
ある。この場合は、図２の山形曲線の半分が切り取られ
たような分布となる。
８が断線した場合である。ここにコードＣ８はＭＳＢで
ある。この場合は、図２の山形曲線の半分が切り取られ
たような分布となる。
【００２６】かくして実施例１においては、図１の異常
判定手段１２は、各階調（０〜２５５）毎の、画像を構
成する画素の出現数により規定される濃度ヒストグラム
を解析し、「全ての階調について、対応する画素Ｐが出
現していること」（図２相当）を検出しないとき（図３
〜図５相当）、異常があるものと判定するようにする。
判定手段１２は、各階調（０〜２５５）毎の、画像を構
成する画素の出現数により規定される濃度ヒストグラム
を解析し、「全ての階調について、対応する画素Ｐが出
現していること」（図２相当）を検出しないとき（図３
〜図５相当）、異常があるものと判定するようにする。
【００２７】実施例２においては、「全ての階調（０〜
２５５）について、対応する画素Ｐが出現しているこ
と」の検出が、複数回連続してなされないことを確認し
たとき、異常があるものと判定するようにする。
２５５）について、対応する画素Ｐが出現しているこ
と」の検出が、複数回連続してなされないことを確認し
たとき、異常があるものと判定するようにする。
【００２８】たまたま階調の値が現れない画素があるこ
とをもって異常と即断するのは正確性に欠けるので、図
３や図４のような結果が得られることを、あるいは図２
のような結果が得られないことを複数回連続して確認し
てから、異常と判断するようにする。これにより、異常
判断の精度を向上させることができる。
とをもって異常と即断するのは正確性に欠けるので、図
３や図４のような結果が得られることを、あるいは図２
のような結果が得られないことを複数回連続して確認し
てから、異常と判断するようにする。これにより、異常
判断の精度を向上させることができる。
【００２９】図８は実施例２の動作例を示すフローチャ
ートである。ステップＳ１１〜Ｓ１７からなる。
ートである。ステップＳ１１〜Ｓ１７からなる。
【００３０】Ｓ１１：ヒストグラム計算手段１１（図
１）による計算を開始する。
１）による計算を開始する。
【００３１】Ｓ１２：出力されない階調があるかないか
判定する。
判定する。
【００３２】Ｓ１３：出力されない階調がなければ（Ｓ
１２の「なし」）、カウンタを初期化する。このカウン
タは図示しないが、図１の異常判定手段１２内にソフト
あるいはハードとして設けることができる。
１２の「なし」）、カウンタを初期化する。このカウン
タは図示しないが、図１の異常判定手段１２内にソフト
あるいはハードとして設けることができる。
【００３３】Ｓ１４：この場合は、正常であると判断さ
れる。
れる。
【００３４】Ｓ１５：Ｓ１２において、出力されない階
調があると判定されたとき（Ｓ１２の「あり」）、上記
カウンタをカウントアップして、当該判定が規定の連続
回数Ｔだけ行われたか判断する。
調があると判定されたとき（Ｓ１２の「あり」）、上記
カウンタをカウントアップして、当該判定が規定の連続
回数Ｔだけ行われたか判断する。
【００３５】Ｓ１６：Ｔ回以上の連続であれば、このと
きは、断線異常ありと判断する。
きは、断線異常ありと判断する。
【００３６】Ｓ１７：Ｔ回以下であれば、このときは、
上記カウンタをカウントアップして、上記Ｓ１２を続行
する。
上記カウンタをカウントアップして、上記Ｓ１２を続行
する。
【００３７】実施例３においては、「全ての階調（０〜
２５５）について、対応する画素Ｐが出現しているこ
と」の検出を、所定のサンプリング間隔で離散的に実行
するようにする。
２５５）について、対応する画素Ｐが出現しているこ
と」の検出を、所定のサンプリング間隔で離散的に実行
するようにする。
【００３８】上記の検出をほぼ連続的に行うと、繊細な
検出が行えるがその反面、診断装置４の主要部をなすＣ
ＰＵの処理負荷が増大してしまう。そこで実施例３で
は、その検出をサンプリングにより離散的に間引いて実
行するようにする。
検出が行えるがその反面、診断装置４の主要部をなすＣ
ＰＵの処理負荷が増大してしまう。そこで実施例３で
は、その検出をサンプリングにより離散的に間引いて実
行するようにする。
【００３９】図９は実施例３の動作例を示すフローチャ
ートである。ステップＳ２１〜Ｓ２６からなる。
ートである。ステップＳ２１〜Ｓ２６からなる。
【００４０】Ｓ２１：図１の画像入力部（カメラ）２か
ら画像認識部３に入力画像を取り込む。
ら画像認識部３に入力画像を取り込む。
【００４１】Ｓ２２：現在の時間ｔがＴ1 に達したか否
か判定する。ここにＴ1 は離散的サンプリングの時間間
隔である。
か判定する。ここにＴ1 は離散的サンプリングの時間間
隔である。
【００４２】Ｓ２３：Ｓ２２においてｔがＴ1 を超えな
いときは（Ｙｅｓ）、現在時間を計測し続ける。
いときは（Ｙｅｓ）、現在時間を計測し続ける。
【００４３】Ｓ２４：ｔがＴ1 を超えたならば（Ｎ
ｏ）、断線判断処理（例えば図８）を実行する。
ｏ）、断線判断処理（例えば図８）を実行する。
【００４４】Ｓ２５：上記断線判断処理が実行される毎
に、上記の時間ｔを０に戻す。
に、上記の時間ｔを０に戻す。
【００４５】Ｓ２６：ここで本来の画像認識処理に入
る。
る。
【００４６】これにより、ＣＰＵの負荷処理を軽減する
離散的な異常診断が行える。
離散的な異常診断が行える。
【００４７】実施例４においては、「全ての階調（０〜
２５５）について、対応する画素Ｐが出現しているこ
と」の検出を、電源投入以降に適宜実行することに加え
て、それ以前の電源投入時にも、画像入力部２および画
像認識部３に対する既存のイニシャルチェックと兼ねて
実行するようにする。
２５５）について、対応する画素Ｐが出現しているこ
と」の検出を、電源投入以降に適宜実行することに加え
て、それ以前の電源投入時にも、画像入力部２および画
像認識部３に対する既存のイニシャルチェックと兼ねて
実行するようにする。
【００４８】断線異常は通常、車両の走行中に発生する
ことが多いが、車両の電源投入時に既に発生しているこ
と（または発生すること）もある。この事実に着目した
のが本実施例４である。
ことが多いが、車両の電源投入時に既に発生しているこ
と（または発生すること）もある。この事実に着目した
のが本実施例４である。
【００４９】図１０は実施例４の動作例を示すフローチ
ャートである。特にステップＳ３１〜Ｓ３３が本実施例
の特徴ステップであり、ステップＳ３４〜Ｓ３８は、前
述の図９と実質的に同じである。
ャートである。特にステップＳ３１〜Ｓ３３が本実施例
の特徴ステップであり、ステップＳ３４〜Ｓ３８は、前
述の図９と実質的に同じである。
【００５０】Ｓ３１：車両の電源をオンにする。
【００５１】Ｓ３２：断線判断処理（例えば図８）を実
行する。
行する。
【００５２】Ｓ３３：断線異常「あり」（Ｙｅｓ）のと
きは終了し、「なし」（Ｎｏ）のときはＳ３４へ進む。
このＳ３４以降は、上記のとおり、図９と同じである。
きは終了し、「なし」（Ｎｏ）のときはＳ３４へ進む。
このＳ３４以降は、上記のとおり、図９と同じである。
【００５３】したがって本実施例４では、断線判断処理
は２回（Ｓ３２とＳ３５）行われることになる。これは
一見ＣＰＵの処理負荷の増大を招くように見えるが、通
常車両の始動時には、画像認識システム特に図１の画像
入力部２と画像認識部３に対してイニシャルチェックを
自動的に実行するルーチンがあるので、このルーチンに
便乗して当該断線判断処理Ｓ３２を実行すれば、ＣＰＵ
の処理負荷をそれ程大きくすることはない。
は２回（Ｓ３２とＳ３５）行われることになる。これは
一見ＣＰＵの処理負荷の増大を招くように見えるが、通
常車両の始動時には、画像認識システム特に図１の画像
入力部２と画像認識部３に対してイニシャルチェックを
自動的に実行するルーチンがあるので、このルーチンに
便乗して当該断線判断処理Ｓ３２を実行すれば、ＣＰＵ
の処理負荷をそれ程大きくすることはない。
【００５４】ここで先行断線判断処理Ｓ３２と、通常断
線判断処理Ｓ３５とについてみると、車両の置かれる環
境が両者全く相違する。すなわち後者（Ｓ３５）では車
両が走行中であるのに対し、前者（Ｓ３２）では車両が
通常車庫に入っている、ということである。
線判断処理Ｓ３５とについてみると、車両の置かれる環
境が両者全く相違する。すなわち後者（Ｓ３５）では車
両が走行中であるのに対し、前者（Ｓ３２）では車両が
通常車庫に入っている、ということである。
【００５５】そうすると車庫に入っている状態では十分
な濃度ヒストグラムを得ることができず、有効な断線判
断処理（Ｓ３２）は行えないように思われる。確かに、
処理（Ｓ３５）に対し処理（Ｓ３２）の処理効果は小さ
い。しかし通常、入力画像は常に微細な変動をしている
ものであり、断線異常の有無判断は可能である。
な濃度ヒストグラムを得ることができず、有効な断線判
断処理（Ｓ３２）は行えないように思われる。確かに、
処理（Ｓ３５）に対し処理（Ｓ３２）の処理効果は小さ
い。しかし通常、入力画像は常に微細な変動をしている
ものであり、断線異常の有無判断は可能である。
【００５６】実施例５においては、「全ての階調（０〜
２５５）について、対応する画素Ｐが出現しているこ
と」の検出を、周囲の状況に応じて濃度ヒストグラムの
変動が大きいと判断されるときにのみ、選択的に実行す
るようにする。
２５５）について、対応する画素Ｐが出現しているこ
と」の検出を、周囲の状況に応じて濃度ヒストグラムの
変動が大きいと判断されるときにのみ、選択的に実行す
るようにする。
【００５７】夜間などのように暗い階調しか画像の出力
が得られないような周囲の状況に車両が置かれていると
きは、全ての階調が出力されない可能性がある。
が得られないような周囲の状況に車両が置かれていると
きは、全ての階調が出力されない可能性がある。
【００５８】そこで、（ｉ）入力画像の信号から、ある
いは（ii）暗い周囲環境のもとでは自動的に車両のヘッ
ドライトをオンにするセンサいわゆるコンライトなどの
信号から、それぞれ昼夜の判断を行い、濃度ヒストグラ
ムの変動が大きい昼の場合にのみ選択的に、断線検出を
行うようにすることもできる。あるいは車速センサの信
号をもとに、濃度ヒストグラムの変動が大きい車両の走
行中にのみ選択的に断線検出を行うようにしてもよい。
いは（ii）暗い周囲環境のもとでは自動的に車両のヘッ
ドライトをオンにするセンサいわゆるコンライトなどの
信号から、それぞれ昼夜の判断を行い、濃度ヒストグラ
ムの変動が大きい昼の場合にのみ選択的に、断線検出を
行うようにすることもできる。あるいは車速センサの信
号をもとに、濃度ヒストグラムの変動が大きい車両の走
行中にのみ選択的に断線検出を行うようにしてもよい。
【００５９】実施例６においては、周囲の状況により濃
度ヒストグラムの変動が小さいと判断されるときには、
「全ての階調（０〜２５５）について、対応する画素Ｐ
が出現していること」の検出を、画像入力部２に対し
て、シャッター速度か、ＡＧＣか、アイリスか、のいず
れかが操作されるときを捉えて実行するようにする。
度ヒストグラムの変動が小さいと判断されるときには、
「全ての階調（０〜２５５）について、対応する画素Ｐ
が出現していること」の検出を、画像入力部２に対し
て、シャッター速度か、ＡＧＣか、アイリスか、のいず
れかが操作されるときを捉えて実行するようにする。
【００６０】上述したように、車両の周囲状況が暗かっ
たり、車両が停車中であったりすると、どうしても濃度
ヒストグラムの変動は小さくならざるを得ない。したが
ってこのようなときは有効な断線判断処理を実現し難
い。
たり、車両が停車中であったりすると、どうしても濃度
ヒストグラムの変動は小さくならざるを得ない。したが
ってこのようなときは有効な断線判断処理を実現し難
い。
【００６１】そこで本実施例６では、入力画像の濃度が
必然的に大きくなるようなときを捉えて、そのときに断
線判断処理を実行する。
必然的に大きくなるようなときを捉えて、そのときに断
線判断処理を実行する。
【００６２】図１１は実施例６を実施するのに効果的な
場合を例示する図である。
場合を例示する図である。
【００６３】本図は図１の画像入力部（カメラ）２のイ
メージセンサ部分、特にその前段および後段部分の構造
を示す。図において、参照番号３１はレンズであり、そ
の後段にイメージセンサ３３への入射光量を調整するア
イリス３２と、その入射光量の総量を調整するシャッタ
ーと、イメージセンサ３３からの入力画像信号に対しＡ
ＧＣを加えるＡＧＣ回路３４とがある。なお上記シャッ
ターは、典型的な機械式シャッターでもよいが、本図で
は露光時間を制御する電子式シャッター３５を例示して
いる。
メージセンサ部分、特にその前段および後段部分の構造
を示す。図において、参照番号３１はレンズであり、そ
の後段にイメージセンサ３３への入射光量を調整するア
イリス３２と、その入射光量の総量を調整するシャッタ
ーと、イメージセンサ３３からの入力画像信号に対しＡ
ＧＣを加えるＡＧＣ回路３４とがある。なお上記シャッ
ターは、典型的な機械式シャッターでもよいが、本図で
は露光時間を制御する電子式シャッター３５を例示して
いる。
【００６４】これらの構成要素３２，３４および３５の
いずれが操作されても、そのときに濃度ヒストグラムの
大きな変動が得られるから、そのときだけを捉えて断線
判断処理を実行するようにすればよい。
いずれが操作されても、そのときに濃度ヒストグラムの
大きな変動が得られるから、そのときだけを捉えて断線
判断処理を実行するようにすればよい。
【００６５】この実施例６も既述の実施例３と同様に、
ＣＰＵの処理負荷を低減可能という利点がある。
ＣＰＵの処理負荷を低減可能という利点がある。
【００６６】実施例７は、「全ての階調（０〜２５５）
について、対応する画素Ｐが出現していること」を検出
したとき、その検出時における濃度ヒストグラムの示す
濃度分布パターンが、予め想定した複数の異常パターン
のいずれかに近い傾向を有するか否か判断し、その傾向
を有するときに、当該異常パターンから一意に想定され
る異常の発生箇所を特定する異常箇所特定手段をさらに
備えるものである。
について、対応する画素Ｐが出現していること」を検出
したとき、その検出時における濃度ヒストグラムの示す
濃度分布パターンが、予め想定した複数の異常パターン
のいずれかに近い傾向を有するか否か判断し、その傾向
を有するときに、当該異常パターンから一意に想定され
る異常の発生箇所を特定する異常箇所特定手段をさらに
備えるものである。
【００６７】図１２は実施例７に係る異常の診断装置を
示す図である。
示す図である。
【００６８】実施例７の構成は、図１の構成に上記の異
常箇所特定手段４１を付加したものに相当する。この異
常箇所特定手段をもう少し具体的に説明すると、次の
（ｉ）または（ii）のとおりである。
常箇所特定手段４１を付加したものに相当する。この異
常箇所特定手段をもう少し具体的に説明すると、次の
（ｉ）または（ii）のとおりである。
【００６９】（ｉ）異常箇所特定手段４１は、いずれか
の階調（０〜２５５）において対応する画素Ｐが出現し
ないことを異常判定手段１２が検出したとしても、その
検出時における濃度ヒストグラムの示す濃度分布パター
ンが、前述した複数の異常パターンのいずれにも近い傾
向を有しないと判断したときは、異常の発生はなく正常
と認定するようにする。また、（ii）異常判定手段４１
は、階調（０〜２５５）が、初段の階調０から最終段の
階調２５５までの複数段の各々に対応して設定されてい
るとき、例えば、その初段の階調０と最終段の階調２５
５にのみ着目してそれぞれ対応する画素Ｐの出現の有無
を判定し、このとき該異常箇所特定手段４１は、当該画
素Ｐの出現がないと判断したとき、この場合に固有の異
常の発生箇所を特定するようにする。
の階調（０〜２５５）において対応する画素Ｐが出現し
ないことを異常判定手段１２が検出したとしても、その
検出時における濃度ヒストグラムの示す濃度分布パター
ンが、前述した複数の異常パターンのいずれにも近い傾
向を有しないと判断したときは、異常の発生はなく正常
と認定するようにする。また、（ii）異常判定手段４１
は、階調（０〜２５５）が、初段の階調０から最終段の
階調２５５までの複数段の各々に対応して設定されてい
るとき、例えば、その初段の階調０と最終段の階調２５
５にのみ着目してそれぞれ対応する画素Ｐの出現の有無
を判定し、このとき該異常箇所特定手段４１は、当該画
素Ｐの出現がないと判断したとき、この場合に固有の異
常の発生箇所を特定するようにする。
【００７０】前述した８ビットのコード（Ｃ１〜Ｃ８）
の場合、出力は２５６階調（０〜２５５）を有する。断
線が発生した場合は、あるビットの信号の階調だけが出
力されなくなる。８ビットのうちのＭＳＢのコードＣ８
の断線であれば、入力画像上の階調は０〜１２８までと
なる。同様にＬＳＢのコードＣ１の断線であれば、出力
される階調は１つ飛びの０，２，４…２５４の１２８階
調となる。このように断線の場合は、何らかの傾向が現
れるから、この傾向を元に断線を判断することができ
る。
の場合、出力は２５６階調（０〜２５５）を有する。断
線が発生した場合は、あるビットの信号の階調だけが出
力されなくなる。８ビットのうちのＭＳＢのコードＣ８
の断線であれば、入力画像上の階調は０〜１２８までと
なる。同様にＬＳＢのコードＣ１の断線であれば、出力
される階調は１つ飛びの０，２，４…２５４の１２８階
調となる。このように断線の場合は、何らかの傾向が現
れるから、この傾向を元に断線を判断することができ
る。
【００７１】これと反対に、出力されない階調が存在し
ても、画素出力の階調に傾向がない場合には、正常と判
断することができる。
ても、画素出力の階調に傾向がない場合には、正常と判
断することができる。
【００７２】さらに階調０と階調２５５を見れば、全て
のコードのＨＩＧＨ／ＬＯＷが逆転する。このことか
ら、検索する階調を減らしても、同様に断線の有無を判
断することは可能である。これによれば、少ない階調の
出力結果から、正常／異常の判断をすることが可能とな
る。
のコードのＨＩＧＨ／ＬＯＷが逆転する。このことか
ら、検索する階調を減らしても、同様に断線の有無を判
断することは可能である。これによれば、少ない階調の
出力結果から、正常／異常の判断をすることが可能とな
る。
【００７３】以上第１の態様について詳述したので、次
に第２の態様について詳述する。既に述べたとおり、こ
の第２の態様が対象とする異常は、画像入力部（カメ
ラ）２をなすイメージセンサ３３内で生ずる焼付きであ
る。そしてこの焼付き異常の検出のために、前述した図
１の右側に示すとおり、画像認識部３に取り込まれる画
像信号ＩＭの情報を入力としてこれを記憶するメモリ手
段２１と、上記の画像を構成する複数の画素のうちの１
画素に着目し、時間的に異なる複数の画像（フレーム）
の各々について、当該着目画素に係る各画像での画像信
号ＩＭの情報をメモリ手段２１から読み出して相互に比
較し、かつ、相互の異同を判定する比較／判定手段２２
と、を備える。もしこれら情報相互間が同一であるなら
ば、異常ありと判定するものである。
に第２の態様について詳述する。既に述べたとおり、こ
の第２の態様が対象とする異常は、画像入力部（カメ
ラ）２をなすイメージセンサ３３内で生ずる焼付きであ
る。そしてこの焼付き異常の検出のために、前述した図
１の右側に示すとおり、画像認識部３に取り込まれる画
像信号ＩＭの情報を入力としてこれを記憶するメモリ手
段２１と、上記の画像を構成する複数の画素のうちの１
画素に着目し、時間的に異なる複数の画像（フレーム）
の各々について、当該着目画素に係る各画像での画像信
号ＩＭの情報をメモリ手段２１から読み出して相互に比
較し、かつ、相互の異同を判定する比較／判定手段２２
と、を備える。もしこれら情報相互間が同一であるなら
ば、異常ありと判定するものである。
【００７４】ここで理解を早めるために、「焼付き」に
よる異常の形態を図で表す。
よる異常の形態を図で表す。
【００７５】図１３の（ａ）および（ｂ）は焼付きを起
こしたときの入力画像の一例を示す図である。
こしたときの入力画像の一例を示す図である。
【００７６】この例は図６と同様に車両のリア側を捕え
た入力画像で示す。図１３において注目すべきところ
は、円Ｒで囲んだ部分であり、３つの黒点が現れてい
る。そしてこれらの黒点は、時間ｔにおいても、それか
ら時間経過した後の時間ｔ＋１においても、同一画素の
部分に現れている。これが焼き付きである。
た入力画像で示す。図１３において注目すべきところ
は、円Ｒで囲んだ部分であり、３つの黒点が現れてい
る。そしてこれらの黒点は、時間ｔにおいても、それか
ら時間経過した後の時間ｔ＋１においても、同一画素の
部分に現れている。これが焼き付きである。
【００７７】実施例Ａにおいては、比較／判定手段２２
（図１）は、同一画素について、予め定めた一定時間
（例えば１秒）内での今回の画像信号の情報とそれ以前
の前回の画像信号の情報との間の変化を検出し、当該変
化がないときに異常ありと判定するものである。
（図１）は、同一画素について、予め定めた一定時間
（例えば１秒）内での今回の画像信号の情報とそれ以前
の前回の画像信号の情報との間の変化を検出し、当該変
化がないときに異常ありと判定するものである。
【００７８】実施例Ｂにおいては、比較／判定手段２２
は、画像を予め複数の小画像領域に分割しておいて、各
小画像領域毎に時間をずらして、比較および判定をそれ
ぞれ実行することを特徴とするものである。
は、画像を予め複数の小画像領域に分割しておいて、各
小画像領域毎に時間をずらして、比較および判定をそれ
ぞれ実行することを特徴とするものである。
【００７９】図１４は画像の分割例を示す図である。な
お対象とする入力画像は、図６および図１３に示すもの
と同じである。
お対象とする入力画像は、図６および図１３に示すもの
と同じである。
【００８０】図１４の例では、画像を、小画像領域５
１，５２，５３および５４に４分割したことを表してい
る。ここに上記の比較および判定は、４つの小画像領域
５１〜５４の各々に対して時分割で行われる。このた
め、メモリ手段２１（図１）のメモリ容量は１／４で済
む。以下に動作を説明する。
１，５２，５３および５４に４分割したことを表してい
る。ここに上記の比較および判定は、４つの小画像領域
５１〜５４の各々に対して時分割で行われる。このた
め、メモリ手段２１（図１）のメモリ容量は１／４で済
む。以下に動作を説明する。
【００８１】図１５は実施例Ｂの動作例を示すフローチ
ャートである。ステップＳ４１〜Ｓ４７からなる。
ャートである。ステップＳ４１〜Ｓ４７からなる。
【００８２】Ｓ４１：図１４に示す４つの検索領域（５
１〜５４）のうちの１つを設定する。最初は領域５１を
設定する。
１〜５４）のうちの１つを設定する。最初は領域５１を
設定する。
【００８３】Ｓ４２：その領域５１について焼付き異常
の判断処理を行う。
の判断処理を行う。
【００８４】Ｓ４３：既述した「時間のずらし」を行う
ために時間カウント（比較／判定手段２２内にソフトま
たはハードとして形成されるカウンタ）を進める。
ために時間カウント（比較／判定手段２２内にソフトま
たはハードとして形成されるカウンタ）を進める。
【００８５】Ｓ４４：その時間が上記の一定時間（例え
ば１秒）Ｔｃを超えたか否か判定する。
ば１秒）Ｔｃを超えたか否か判定する。
【００８６】Ｓ４５：超えていなければ（Ｓ４４のＹｅ
ｓ）、焼き付き判断処理を継続する。
ｓ）、焼き付き判断処理を継続する。
【００８７】Ｓ４６：超えていれば（Ｓ４４のＮｏ）、
焼き付き判断処理の結果（焼付きあり／焼付きなし）が
確定する。
焼き付き判断処理の結果（焼付きあり／焼付きなし）が
確定する。
【００８８】Ｓ４７：上記時間ｔを再び０にリセットす
ると共に、Ｓ４２での検索領域を領域５１から領域５２
に切り換え、上記と同様にＳ４３→Ｓ４４→Ｓ４５→Ｓ
４６→Ｓ４７を繰り返し、このＳ４７にて、次は領域５
２から領域５３に切り換える。
ると共に、Ｓ４２での検索領域を領域５１から領域５２
に切り換え、上記と同様にＳ４３→Ｓ４４→Ｓ４５→Ｓ
４６→Ｓ４７を繰り返し、このＳ４７にて、次は領域５
２から領域５３に切り換える。
【００８９】実施例Ｃにおいては、比較／判定手段２２
により異常ありと一旦判定された複数の異常画素候補の
みを保存する異常画素候補メモリ手段をさらに備え、比
較／判定手段２２は、その異常画素候補メモリ手段内の
各異常画素候補に対してのみ、引き続き比較および判定
を繰り返して実行し、当該情報相互が異なると判定する
都度、当該異常画素候補をその異常画素候補メモリ手段
から消去していくことを特徴とするものである。
により異常ありと一旦判定された複数の異常画素候補の
みを保存する異常画素候補メモリ手段をさらに備え、比
較／判定手段２２は、その異常画素候補メモリ手段内の
各異常画素候補に対してのみ、引き続き比較および判定
を繰り返して実行し、当該情報相互が異なると判定する
都度、当該異常画素候補をその異常画素候補メモリ手段
から消去していくことを特徴とするものである。
【００９０】図１６は実施例Ｃに係る異常の診断装置を
示す図である。
示す図である。
【００９１】実施例Ｃの構成は、図１の構成（第２の態
様）に上記の異常画素候補メモリ手段６１を付加したも
のに相当する。
様）に上記の異常画素候補メモリ手段６１を付加したも
のに相当する。
【００９２】比較／判定手段２２による焼付き判断処理
（例えば図１５のＳ４５，Ｓ４６）をある一定周期で繰
り返し、階調変化がない画素の候補を最初にメモリ手段
６１に記録すると共に、その周期を繰り返す毎に、それ
らの候補の中で階調変化のあった画素は順次消去してい
く。そして最後に残った候補画素が求める真正な焼付き
画素となる。この動作を図１７に示す。
（例えば図１５のＳ４５，Ｓ４６）をある一定周期で繰
り返し、階調変化がない画素の候補を最初にメモリ手段
６１に記録すると共に、その周期を繰り返す毎に、それ
らの候補の中で階調変化のあった画素は順次消去してい
く。そして最後に残った候補画素が求める真正な焼付き
画素となる。この動作を図１７に示す。
【００９３】図１７（ａ）および（ｂ）は実施例Ｃの動
作例を示すフローチャートである。ステップＳ５１〜Ｓ
５３からなる。
作例を示すフローチャートである。ステップＳ５１〜Ｓ
５３からなる。
【００９４】Ｓ５１：比較／判定手段２２により、階調
変化のある座標の位置を抽出する。
変化のある座標の位置を抽出する。
【００９５】Ｓ５２：メモリ手段２１を参照して、前回
のデータとの比較を行う。
のデータとの比較を行う。
【００９６】Ｓ５３：その比較結果により、階調変化の
ない画素について、図１７（ｂ）のようなデータ形式
で、異常画素候補のデータをメモリ手段６１に格納す
る。
ない画素について、図１７（ｂ）のようなデータ形式
で、異常画素候補のデータをメモリ手段６１に格納す
る。
【００９７】実施例Ｄにおいては、比較／判定手段２２
により情報相互間に変化なしと一旦判定されたことを示
す変化なしフラグを各画素対応に記録する変化なしフラ
グ記録手段をさらに備え、比較／判定手段２２は、その
変化なしフラグ記録手段内の各変化なしフラグにそれぞ
れ対応する各画素に対してのみ、引き続き比較および判
定を繰り返して実行し、当該情報相互が異なると判定す
る都度、当該画素に対応する変化なしフラグを変化なし
フラグ記録手段から消去していくことを特徴とするもの
である。
により情報相互間に変化なしと一旦判定されたことを示
す変化なしフラグを各画素対応に記録する変化なしフラ
グ記録手段をさらに備え、比較／判定手段２２は、その
変化なしフラグ記録手段内の各変化なしフラグにそれぞ
れ対応する各画素に対してのみ、引き続き比較および判
定を繰り返して実行し、当該情報相互が異なると判定す
る都度、当該画素に対応する変化なしフラグを変化なし
フラグ記録手段から消去していくことを特徴とするもの
である。
【００９８】図１８は実施例Ｄに係る異常の診断装置を
示す図である。
示す図である。
【００９９】実施例Ｄの構成は、図１の構成（第２の態
様）に上記の変化なしフラグ記録手段７１を付加したも
のに相当する。
様）に上記の変化なしフラグ記録手段７１を付加したも
のに相当する。
【０１００】この実施例Ｄは、上述の実施例Ｃが図１７
（ｂ）に示すデータを記録するのに対し、各画素対応に
変化があったかなかったかを示すフラグを記録手段７１
に記録するようにしたものである。このフラグは変化の
あり／なしを示すものであるから単なる１ビットでよ
い。したがって実施例Ｄは、メモリ量の大幅な削減が可
能である。
（ｂ）に示すデータを記録するのに対し、各画素対応に
変化があったかなかったかを示すフラグを記録手段７１
に記録するようにしたものである。このフラグは変化の
あり／なしを示すものであるから単なる１ビットでよ
い。したがって実施例Ｄは、メモリ量の大幅な削減が可
能である。
【０１０１】図１９（ａ），（ｂ），（ｃ）および
（ｄ）は、実施例Ｄの動作を簡略に示す図である。
（ｄ）は、実施例Ｄの動作を簡略に示す図である。
【０１０２】図１９の（ｂ）は、今回の焼付き判断処理
により得られた変化なしフラグ（ハッチングで示す）の
記録である。
により得られた変化なしフラグ（ハッチングで示す）の
記録である。
【０１０３】この変化なしフラグの記録（ｂ）を、前回
の変化なしフラグの記録（同図（ａ））と比較し、
（ａ）と（ｂ）の双方に存在する変化なしフラグの記録
（同図（ｃ））を得る。
の変化なしフラグの記録（同図（ａ））と比較し、
（ａ）と（ｂ）の双方に存在する変化なしフラグの記録
（同図（ｃ））を得る。
【０１０４】この変化なしフラグの記録（ｃ）は、次回
の焼付き判断処理に利用される。このとき着目すべき画
素は、本図（ｃ）の例では２つに減少している。したが
って処理負荷は軽くなる。
の焼付き判断処理に利用される。このとき着目すべき画
素は、本図（ｃ）の例では２つに減少している。したが
って処理負荷は軽くなる。
【０１０５】図１９（ｄ）は、「前回の焼付き判断処
理」による結果の他の例である。要するに、今回の処理
を全画素に対して実施しなくても、前回変化のなかった
３画素のみ比較処理することで効率的に処理することが
できる。
理」による結果の他の例である。要するに、今回の処理
を全画素に対して実施しなくても、前回変化のなかった
３画素のみ比較処理することで効率的に処理することが
できる。
【０１０６】実施例Ｅにおいては、上述の比較および判
定を、電源投入以降に適宜実行することに加えて、それ
以前の電源投入時にも、画像入力部２および画像認識部
３に対する既存のイニシャルチェックと兼ねて実行する
ようにする。
定を、電源投入以降に適宜実行することに加えて、それ
以前の電源投入時にも、画像入力部２および画像認識部
３に対する既存のイニシャルチェックと兼ねて実行する
ようにする。
【０１０７】なお本実施例Ｅは、既述の実施例４の内容
および効果と全く同じである。
および効果と全く同じである。
【０１０８】実施例Ｆにおいては、前述の比較および判
定を、周囲の状況に応じて前記画像信号の情報が有効に
得られると判断されるときにのみ、選択的に実行するよ
うにする。
定を、周囲の状況に応じて前記画像信号の情報が有効に
得られると判断されるときにのみ、選択的に実行するよ
うにする。
【０１０９】なお本実施例Ｆは、既述の実施例５の内容
および効果と全く同じである。
および効果と全く同じである。
【０１１０】実施例Ｇにおいては、前述の比較および判
定を、画像入力部２に対して、シャッター速度か、ＡＧ
Ｃか、アイリスか、のいずれかが操作されるときを捉え
て実行するようにする。
定を、画像入力部２に対して、シャッター速度か、ＡＧ
Ｃか、アイリスか、のいずれかが操作されるときを捉え
て実行するようにする。
【０１１１】なお本実施例Ｇは、既述の実施例６の内容
および効果と全く同じである。
および効果と全く同じである。
【０１１２】最後に実施例Ｈを説明する。この実施例Ｈ
においては、異常ありと判定された画素Ｐから得るべき
であった画素信号の情報を、画素Ｐの周辺画素から得ら
れた該画像信号の情報から補間により再生する画素情報
再生手段をさらに備えるようにする。
においては、異常ありと判定された画素Ｐから得るべき
であった画素信号の情報を、画素Ｐの周辺画素から得ら
れた該画像信号の情報から補間により再生する画素情報
再生手段をさらに備えるようにする。
【０１１３】図２０は実施例Ｈに係る異常の診断装置を
示す図である。
示す図である。
【０１１４】実施例Ｈの構成は、図１の構成（第２の態
様）に上記の画素情報再生手段８１を付加したものに相
当する。なお、警報（ＡＬ）信号線の記載は省略した。
様）に上記の画素情報再生手段８１を付加したものに相
当する。なお、警報（ＡＬ）信号線の記載は省略した。
【０１１５】図２１（ａ），（ｂ）および（ｃ）は実施
例Ｈにおける補間について説明するための図である。
例Ｈにおける補間について説明するための図である。
【０１１６】本図において、（ａ）は座標（ｘ＋１，
ｙ）にある画素が焼き付いた画素Ｐ′になったことを示
す。
ｙ）にある画素が焼き付いた画素Ｐ′になったことを示
す。
【０１１７】この焼付き画素Ｐ′の階調を、その周辺画
素すなわちＰ（ｘ，ｙ）およびＰ（ｘ＋２，ｙ）の階調
から補間した様子を示すのが同図（ｂ）である。
素すなわちＰ（ｘ，ｙ）およびＰ（ｘ＋２，ｙ）の階調
から補間した様子を示すのが同図（ｂ）である。
【０１１８】このとき用いた補間式の一例が同図（ｃ）
に示される。この式によれば、再生された階調は８１
（＝（１３６＋２５）／２）である。
に示される。この式によれば、再生された階調は８１
（＝（１３６＋２５）／２）である。
【０１１９】なお、この実施例Ｈは、画像認識に余り影
響を及ぼさない画像の部分に適用することが望ましい。
例えば図１３の（ａ），（ｂ）のＲで示すような画像の
中心から外れた部分である。
響を及ぼさない画像の部分に適用することが望ましい。
例えば図１３の（ａ），（ｂ）のＲで示すような画像の
中心から外れた部分である。
【０１２０】
【発明の効果】以上説明したように本発明によれば、画
像認識システムにおいて、イメージセンサからの出力コ
ードに生じた断線や該イメージセンサ内での焼付きとい
った異常を、迅速かつ正確に検出可能な診断装置を実現
することができる。
像認識システムにおいて、イメージセンサからの出力コ
ードに生じた断線や該イメージセンサ内での焼付きとい
った異常を、迅速かつ正確に検出可能な診断装置を実現
することができる。
【図１】本発明に係る画像認識システムにおける異常の
診断装置の基本構成を示す図である。
診断装置の基本構成を示す図である。
【図２】実施例１を説明するための濃度ヒストグラムを
示す図（その１）である。
示す図（その１）である。
【図３】実施例１を説明するための濃度ヒストグラムを
示す図（その２）である。
示す図（その２）である。
【図４】実施例１を説明するための濃度ヒストグラムを
示す図（その３）である。
示す図（その３）である。
【図５】実施例１を説明するための濃度ヒストグラムを
示す図（その４）である。
示す図（その４）である。
【図６】図２〜図５に示すヒストグラムを得るための一
例として用いた入力画像を示す図である。
例として用いた入力画像を示す図である。
【図７】入力画像を出力するイメージセンサ上の画素群
を示す図である。
を示す図である。
【図８】実施例２の動作例を示すフローチャートであ
る。
る。
【図９】実施例３の動作例を示すフローチャートであ
る。
る。
【図１０】実施例４の動作例を示すフローチャートであ
る。
る。
【図１１】実施例６を実施するのに効果的な場合を例示
する図である。
する図である。
【図１２】実施例７に係る異常の診断装置を示す図であ
る。
る。
【図１３】（ａ）および（ｂ）は焼付きを起こしたとき
の入力画像の一例を示す図である。
の入力画像の一例を示す図である。
【図１４】画像の分割例を示す図である。
【図１５】実施例Ｂの動作例を示すフローチャートであ
る。
る。
【図１６】実施例Ｃに係る異常の診断装置を示す図であ
る。
る。
【図１７】（ａ）および（ｂ）は実施例Ｃの動作例を示
すフローチャートである。
すフローチャートである。
【図１８】実施例Ｄに係る異常の診断装置を示す図であ
る。
る。
【図１９】（ａ），（ｂ），（ｃ）および（ｄ）は、実
施例Ｄの動作を簡略に示す図である。
施例Ｄの動作を簡略に示す図である。
【図２０】実施例Ｈに係る異常の診断装置を示す図であ
る。
る。
【図２１】（ａ），（ｂ）および（ｃ）は、実施例Ｈに
おける補間について説明するための図である。
おける補間について説明するための図である。
１…画像認識システム
２…画像入力部
３…画像認識部
４…異常の診断装置
５…制御対象
１１…ヒストグラム計算手段
１２…異常判定手段
２１…メモリ手段
２２…比較／判定手段
３１…レンズ
３２…アイリス
３３…イメージセンサ
３４…ＡＧＣ回路
３５…シャッター
４１…異常箇所特定手段
５１〜５４…小画像領域
６１…異常画素候補メモリ手段
７１…変化なしフラグ記録手段
８１…画素情報再生手段
Claims (19)
- 【請求項１】 画像入力部と、該画像入力部からの画像
信号を入力として当該画像に対する画像認識を行う画像
認識部と、を含んでなる画像認識システムにおける異常
の診断を行う診断装置であって、 前記画像認識部に取り込まれる前記画像信号に対して所
定の計算を行い、濃度ヒストグラムを生成するヒストグ
ラム計算手段と、 前記ヒストグラム計算手段により生成された前記濃度ヒ
ストグラムを解析して、前記異常の有無を判定する異常
判定手段と、 を備えることを特徴とする、画像認識システムにおける
異常の診断装置。 - 【請求項２】 前記異常判定手段は、各階調毎の、前記
画像を構成する画素の出現数により規定される前記濃度
ヒストグラムを解析し、「全ての該階調について、対応
する前記画素が出現していること」を検出しないとき、
前記異常があるものと判定することを特徴とする請求項
１に記載の診断装置。 - 【請求項３】 前記の「全ての該階調について、対応す
る前記画素が出現していること」の検出が、複数回連続
してなされないことを確認したとき、前記異常があるも
のと判定することを特徴とする請求項２に記載の診断装
置。 - 【請求項４】 前記の「全ての該階調について、対応す
る前記画素が出現していること」の検出を、所定のサン
プリング間隔で離散的に実行することを特徴とする請求
項２に記載の診断装置。 - 【請求項５】 前記の「全ての該階調について、対応す
る前記画素が出現していること」の検出を、電源投入以
降に適宜実行することに加えて、それ以前の電源投入時
にも、前記画像入力部および前記画像認識部に対する既
存のイニシャルチェックと兼ねて実行することを特徴と
する請求項２に記載の診断装置。 - 【請求項６】 前記の「全ての該階調について、対応す
る前記画素が出現していること」の検出を、周囲の状況
に応じて前記濃度ヒストグラムの変動が大きいと判断さ
れるときにのみ、選択的に実行することを特徴とする請
求項２に記載の診断装置。 - 【請求項７】 周囲の状況により前記濃度ヒストグラム
の変動が小さいと判断されるときには、前記の「全ての
該階調について、対応する前記画素が出現しているこ
と」の検出を、前記画像入力部に対して、シャッター速
度か、ＡＧＣか、アイリスか、のいずれかが操作される
ときを捉えて実行することを特徴とする請求項２に記載
の診断装置。 - 【請求項８】 前記の「全ての該階調について、対応す
る前記画素が出現していること」を検出したとき、その
検出時における前記濃度ヒストグラムの示す濃度分布パ
ターンが、予め想定した複数の異常パターンのいずれか
に近い傾向を有するか否か判断し、該傾向を有するとき
に、当該異常パターンから一意に想定される異常の発生
箇所を特定する異常箇所特定手段をさらに備えることを
特徴とする請求項２に記載の診断装置。 - 【請求項９】 前記異常箇所特定手段は、いずれかの前
記階調において対応する前記画素が出現しないことを前
記異常判定手段が検出したとしても、その検出時におけ
る前記濃度ヒストグラムの示す濃度分布パターンが、前
記複数の異常パターンのいずれにも近い傾向を有しない
と判断したときは、前記異常の発生はなく正常と認定す
ることを特徴とする請求項８に記載の診断装置。 - 【請求項１０】 前記異常判定手段は、前記階調が、初
段の階調から最終段の階調までの複数段の各々に対応し
て設定されているとき、前記初段の階調と前記最終段の
階調にのみ着目してそれぞれ対応する前記画素の出現の
有無を判定し、前記異常箇所特定手段は、当該画素の出
現がないと判断したとき、この場合に固有の異常の発生
箇所を特定することを特徴とする請求項８に記載の診断
装置。 - 【請求項１１】 画像入力部と、該画像入力部からの画
像信号を入力として当該画像に対する画像認識を行う画
像認識部と、を含んでなる画像認識システムにおける異
常の診断を行う診断装置であって、 前記画像認識部に取り込まれる前記画像信号の情報を入
力としてこれを記憶するメモリ手段と、 前記画像を構成する複数の画素のうちの１画素に着目
し、時間的に異なる複数の前記画像の各々について、当
該着目画素に係る各該画像での前記画像信号の情報を前
記メモリ手段から読み出して相互に比較し、かつ、相互
の異同を判定する比較／判定手段と、を備え、当該情報
相互間が同一であるとき、異常ありと判定することを特
徴とする、画像認識システムにおける異常の診断を行う
診断装置。 - 【請求項１２】 前記比較／判定手段は、予め定めた一
定時間内での今回の前記画像信号の情報とそれ以前の前
回の前記画像信号の情報との間の変化を検出し、当該変
化がないときに前記の異常ありと判定することを特徴と
する請求項１１に記載の診断装置。 - 【請求項１３】 前記比較／判定手段は、前記画像を予
め複数の小画像領域に分割しておいて、各該小画像領域
毎に時間をずらして、前記の比較および判定をそれぞれ
実行することを特徴とする請求項１１に記載の診断装
置。 - 【請求項１４】 前記比較／判定手段により前記の異常
ありと一旦判定された複数の異常画素候補のみを保存す
る異常画素候補メモリ手段をさらに備え、 該比較／判定手段は、前記異常画素候補メモリ手段内の
各前記異常画素候補に対してのみ、引き続き前記の比較
および判定を繰り返して実行し、当該情報相互が異なる
と判定する都度、当該異常画素候補を前記異常画素候補
メモリ手段から消去していくことを特徴とする請求項１
１に記載の診断装置。 - 【請求項１５】 前記比較／判定手段により前記情報相
互間に変化なしと一旦判定されたことを示す変化なしフ
ラグを各前記画素対応に記録する変化なしフラグ記録手
段をさらに備え、 該比較／判定手段は、前記変化なしフラグ記録手段内の
各変化なしフラグにそれぞれ対応する各前記画素に対し
てのみ、引き続き前記の比較および判定を繰り返して実
行し、当該情報相互が異なると判定する都度、当該画素
に対応する前記変化なしフラグを前記変化なしフラグ記
録手段から消去していくことを特徴とする請求項１１に
記載の診断装置。 - 【請求項１６】 前記の比較および判定を、電源投入以
降に適宜実行することに加えて、それ以前の電源投入時
にも、前記画像入力部および前記画像認識部に対する既
存のイニシャルチェックと兼ねて実行することを特徴と
する請求項１１に記載の診断装置。 - 【請求項１７】 前記の比較および判定を、周囲の状況
に応じて前記画像信号の情報が有効に得られると判断さ
れるときにのみ、選択的に実行することを特徴とする請
求項１１に記載の診断装置。 - 【請求項１８】 前記の比較および判定を、前記画像入
力部に対して、シャッター速度か、ＡＧＣか、アイリス
か、のいずれかが操作されるときを捉えて実行すること
を特徴とする請求項１１に記載の診断装置。 - 【請求項１９】 前記の異常ありと判定された画素から
得るべきであった前記画素信号の情報を、該画素の周辺
画素から得られた該画像信号の情報から補間により再生
する画素情報再生手段をさらに備えることを特徴とする
請求項１１に記載の診断装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002124615A JP3901573B2 (ja) | 2002-04-25 | 2002-04-25 | 画像認識システムにおける異常の診断装置 |
| US10/421,083 US7174041B2 (en) | 2002-04-25 | 2003-04-23 | Diagnostic apparatus for abnormalities in image recognition system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002124615A JP3901573B2 (ja) | 2002-04-25 | 2002-04-25 | 画像認識システムにおける異常の診断装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003319120A true JP2003319120A (ja) | 2003-11-07 |
| JP3901573B2 JP3901573B2 (ja) | 2007-04-04 |
Family
ID=29243724
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002124615A Expired - Fee Related JP3901573B2 (ja) | 2002-04-25 | 2002-04-25 | 画像認識システムにおける異常の診断装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7174041B2 (ja) |
| JP (1) | JP3901573B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007102417A (ja) * | 2005-10-03 | 2007-04-19 | Fujitsu Ten Ltd | 画像処理装置 |
| WO2015104915A1 (ja) * | 2014-01-10 | 2015-07-16 | 日立オートモティブシステムズ株式会社 | 車載カメラ画像処理装置 |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4738778B2 (ja) * | 2003-10-15 | 2011-08-03 | 富士通テン株式会社 | 画像処理装置、運転支援装置および運転支援システム |
| JP4130434B2 (ja) * | 2004-11-30 | 2008-08-06 | 本田技研工業株式会社 | 撮像装置の異常検知装置 |
| US8768938B2 (en) * | 2009-06-25 | 2014-07-01 | Hewlett-Packard Development Company, L.P. | Histogram processing by trend and pattern removal |
| JP6264173B2 (ja) * | 2014-04-18 | 2018-01-24 | 富士通株式会社 | 撮像方向の正常性判定方法、撮像装置取り付け状態評価プログラムおよび撮像装置取り付け状態評価装置 |
| JP6299371B2 (ja) | 2014-04-18 | 2018-03-28 | 富士通株式会社 | 撮像方向の傾き検出方法、撮像方向の傾き検出プログラムおよび撮像方向の傾き検出装置 |
| JP6299373B2 (ja) | 2014-04-18 | 2018-03-28 | 富士通株式会社 | 撮像方向の正常性の判定方法、撮像方向の正常性の判定プログラムおよび撮像方向の正常性の判定装置 |
| US10810728B2 (en) * | 2018-11-19 | 2020-10-20 | The Boeing Company | Method for using a vision system to evaluate shield trims on shielded cables |
| CN111722074B (zh) * | 2020-06-03 | 2023-06-20 | 四川蓝景光电技术有限责任公司 | 一种led标识标牌故障定位方法、装置和*** |
| CN113701890A (zh) * | 2021-08-09 | 2021-11-26 | 国网上海市电力公司 | 一种用于电缆热点和破损跟踪的传感监控方法和*** |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS62203461A (ja) | 1986-03-04 | 1987-09-08 | Canon Inc | 画像読取方式 |
| US4933983A (en) | 1986-02-14 | 1990-06-12 | Canon Kabushiki Kaisha | Image data reading apparatus |
| JPH0642882B2 (ja) * | 1987-04-20 | 1994-06-08 | 富士写真フイルム株式会社 | 所望画像信号範囲決定方法 |
| JPH06164846A (ja) | 1992-11-19 | 1994-06-10 | Mita Ind Co Ltd | 画像読取装置における異常検出装置 |
| JPH06308036A (ja) | 1993-04-22 | 1994-11-04 | Takamisawa Denki Seisakusho:Kk | 液晶表示画像検査方法 |
| JPH07131651A (ja) | 1993-10-29 | 1995-05-19 | Canon Inc | 画像形成装置 |
| US5734740A (en) * | 1994-10-31 | 1998-03-31 | University Of Florida | Method for automated radiographic quality assurance |
| JP2001512607A (ja) * | 1997-02-21 | 2001-08-21 | ディレクト レディオグラフィ コーポレーション | ディジタル式ｘ線検出器に使用する画像データ処理法 |
| US6353674B1 (en) * | 1997-06-05 | 2002-03-05 | Agfa-Gevaert | Method of segmenting a radiation image into direct exposure area and diagnostically relevant area |
| US5999639A (en) * | 1997-09-04 | 1999-12-07 | Qualia Computing, Inc. | Method and system for automated detection of clustered microcalcifications from digital mammograms |
| US6449390B1 (en) * | 1997-09-24 | 2002-09-10 | Canon Kabushiki Kaisha | Image processing apparatus and method therefor |
| US6088473A (en) * | 1998-02-23 | 2000-07-11 | Arch Development Corporation | Method and computer readable medium for automated analysis of chest radiograph images using histograms of edge gradients for false positive reduction in lung nodule detection |
| JP2001016446A (ja) | 1999-06-30 | 2001-01-19 | Oki Electric Ind Co Ltd | イメージ読取装置 |
| JP3312729B2 (ja) | 1999-07-14 | 2002-08-12 | 富士重工業株式会社 | フェールセーフ機能を有する車外監視装置 |
| JP3272696B2 (ja) | 1999-07-30 | 2002-04-08 | 富士重工業株式会社 | フェールセーフ機能を有する車外監視装置 |
| US6990222B2 (en) * | 2001-11-21 | 2006-01-24 | Arnold Ben A | Calibration of tissue densities in computerized tomography |
-
2002
- 2002-04-25 JP JP2002124615A patent/JP3901573B2/ja not_active Expired - Fee Related
-
2003
- 2003-04-23 US US10/421,083 patent/US7174041B2/en not_active Expired - Fee Related
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007102417A (ja) * | 2005-10-03 | 2007-04-19 | Fujitsu Ten Ltd | 画像処理装置 |
| WO2015104915A1 (ja) * | 2014-01-10 | 2015-07-16 | 日立オートモティブシステムズ株式会社 | 車載カメラ画像処理装置 |
| JP6060282B2 (ja) * | 2014-01-10 | 2017-01-11 | 日立オートモティブシステムズ株式会社 | 車載カメラ画像処理装置 |
| US10154255B2 (en) | 2014-01-10 | 2018-12-11 | Hitachi Automotive Systems, Ltd. | In-vehicle-camera image processing device |
Also Published As
| Publication number | Publication date |
|---|---|
| US7174041B2 (en) | 2007-02-06 |
| JP3901573B2 (ja) | 2007-04-04 |
| US20030202694A1 (en) | 2003-10-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7035430B2 (en) | Intruding object detection method and intruding object monitor apparatus which automatically set a threshold for object detection | |
| US5801765A (en) | Scene-change detection method that distinguishes between gradual and sudden scene changes | |
| JP4241709B2 (ja) | 画像処理装置 | |
| JP3756452B2 (ja) | 赤外線画像処理装置 | |
| JP4631096B2 (ja) | 車両周辺監視装置 | |
| CA2396233C (en) | Moving object detecting method, apparatus, and computer program product | |
| CN102985957B (zh) | 车辆周围监测装置 | |
| JP4937029B2 (ja) | 物体検出装置及びプログラム | |
| JP2003319120A (ja) | 画像認識システムにおける異常の診断装置 | |
| JP2000339597A (ja) | 物体検出装置 | |
| US10791252B2 (en) | Image monitoring device, image monitoring method, and recording medium | |
| JP4389602B2 (ja) | 物体検出装置、物体検出方法、プログラム | |
| US20130194424A1 (en) | Exposure controller for on-vehicle camera | |
| US20080012942A1 (en) | Imaging System | |
| JP5407920B2 (ja) | 点灯色識別装置及びプログラム | |
| JP3034101B2 (ja) | 動きベクトルによる識別方法及び装置 | |
| US6433859B1 (en) | Distance measuring apparatus and distance measuring method | |
| CN110121055B (zh) | 用于对象识别的方法和设备 | |
| US20050128298A1 (en) | Method for following at least one object in a scene | |
| JP2011221630A (ja) | 車両の周辺監視装置 | |
| JP2985558B2 (ja) | 運転状態検出装置 | |
| JP4127808B2 (ja) | 測距装置 | |
| JP3671460B2 (ja) | ランプ点灯検出方法およびストップランプ点灯検出装置 | |
| JP2008040724A (ja) | 画像処理装置、及び画像処理方法 | |
| JP2966683B2 (ja) | 車両用障害物検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050309 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060901 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060905 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061106 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061128 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061226 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100112 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110112 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120112 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130112 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140112 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150112 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |