JP3349077B2 - 画像処理システム - Google Patents
画像処理システムInfo
- Publication number
- JP3349077B2 JP3349077B2 JP29002897A JP29002897A JP3349077B2 JP 3349077 B2 JP3349077 B2 JP 3349077B2 JP 29002897 A JP29002897 A JP 29002897A JP 29002897 A JP29002897 A JP 29002897A JP 3349077 B2 JP3349077 B2 JP 3349077B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- value
- video signal
- processing system
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Image Input (AREA)
- Image Processing (AREA)
Description
撮像素子の異常あるいは画像処理上で不都合な状況を自
己診断によって検出する画像処理システムに関する。
の車両や障害物を検知し、それらに衝突する危険度を判
定して運転者に警報を発したり、自動的にブレーキを作
動させて停止させる、あるいは、先行車との車間距離を
安全に保つよう自動的に走行速度を増減する等の技術が
積極的に開発されており、その有力な手段の一つとし
て、車載のカメラで撮像した画像による画像認識技術が
ある。
して、本出願人は、先に、特開平5−265547号公
報において、車両に搭載したステレオカメラで撮像した
画像を処理して道路形状、先行車両、障害物等の三次元
位置を計測し、先行車や障害物との衝突・接触可能性を
判断して警報を発する等の運転支援を行う技術を提案し
ている。
像を扱う装置は、最終的に人間が画像を見ることを前提
に作られていることが多く、故障が発生した場合にも、
最終的に人間が故障を判断できることから、特別な故障
診断機能を備えていない場合が多い。
は、計測した画像を処理して障害物との接触や衝突の危
険度を運転者に報知したり、車両を制御するための装置
に信号を送ることを目的とし、直接人間が画像を見るこ
とを前提としていないため、ワイヤハーネスや撮像素子
等の不良、あるいは、レンズの汚れやくもり、夜間の照
明の不備等の画像処理上で不都合な状況が発生しても、
直接画像を見て確認することができない。
で、ワイヤハーネスや撮像素子の不良あるいは画像処理
上で不都合な状況を、システム内部で自己診断すること
のできる画像処理システムを提供することを目的として
いる。
撮像装置から出力される画像信号を同期信号と映像信号
とに分離し、分離した映像信号を処理する画像処理シス
テムにおいて、上記画像信号から分離された同期信号が
入力される毎に、入力後の経過時間を計時する手段と、
上記経過時間が設定時間以上になったとき、異常と判定
する手段とを備えたことを特徴とする。
される画像信号を同期信号と映像信号とに分離し、分離
した映像信号を処理する画像処理システムにおいて、上
記画像信号の振幅を一定の時定数でホールドする手段
と、上記画像信号の振幅のホールド値が設定値以下にな
ったとき、異常と判定する手段とを備えたことを特徴と
する。
される画像信号を同期信号と映像信号とに分離し、分離
した映像信号を処理する画像処理システムにおいて、上
記映像信号の1画面中で互いに隣接する画素間の輝度変
化量の最大値を計測する手段と、上記輝度変化量の最大
値が設定値以下のとき、異常と判定する手段とを備えた
ことを特徴とする。
される画像信号を同期信号と映像信号とに分離し、分離
した映像信号を処理する画像処理システムにおいて、上
記映像信号の1画面の輝度最大値及び輝度最小値を計測
する手段と、上記輝度最大値と上記輝度最小値との差分
を算出する手段と、上記差分が設定値以下のとき、異常
と判定する手段とを備えたことを特徴とする。
備えた撮像装置から出力される各画像信号を、それぞれ
同期信号と映像信号とに分離し、分離した各映像信号を
処理する画像処理システムにおいて、各撮像素子から得
られる映像信号の1画面の輝度最大値を、それぞれ計測
する手段と、各撮像素子から得られる映像信号の1画面
の輝度最大値のうち、少なくとも1つが第1の設定値以
上で少なくとも1つが第2の設定値以下のとき、異常と
判定する手段とを備えたことを特徴とする。
備えた撮像装置から出力される各画像信号を、それぞれ
同期信号と映像信号とに分離し、分離した各映像信号を
処理する画像処理システムにおいて、各撮像素子から得
られる映像信号の1画面中で互いに隣接する画素間の輝
度変化量の最大値を、それぞれ計測する手段と、各撮像
素子から得られる映像信号の1画面の輝度変化量の最大
値のうち、少なくとも1つが第1の設定値以上で少なく
とも1つが第2の設定値以下のとき、異常と判定する手
段とを備えたことを特徴とする。
備えた撮像装置から出力される各画像信号を、それぞれ
同期信号と映像信号とに分離し、分離した各映像信号を
処理する画像処理システムにおいて、各撮像素子から得
られる映像信号の1画面の輝度最大値及び輝度最小値
を、それぞれ計測する手段と、各撮像素子から得られる
映像信号の1画面の輝度最大値と輝度最小値との差分
を、それぞれ算出する手段と、各撮像素子から得られる
映像信号の1画面の輝度最大値と輝度最小値との差分の
うち、少なくとも1つが第1の設定値以上で少なくとも
1つが第2の設定値以下のとき、異常と判定する手段と
を備えたことを特徴とする。
5,6,7のいずれか一に記載の発明において、異常と
判定された状態が設定画面数連続したとき、警報を発す
ることを特徴とする。
5,6,7のいずれか一に記載の発明において、異常と
判定された状態が設定時間連続したとき、警報を発する
ことを特徴とする。
3,4,5,6,7のいずれか一に記載の発明におい
て、上記撮像装置は、被写体を異なる視点から撮像した
ステレオ画像対の画像信号を出力することを特徴とす
る。
では、撮像装置から出力される画像信号を同期信号と映
像信号とに分離し、分離した映像信号を処理する際、自
己診断により異常発生を判定する。この自己診断では、
画像信号から分離された同期信号が入力される毎に入力
後の経過時間を計時し、経過時間が設定時間以上になっ
たとき、異常と判定しても良く、あるいは、画像信号の
振幅を一定の時定数でホールドし、この振幅のホールド
値が設定値以下になったとき、異常と判定しても良い。
る画素間の輝度変化量の最大値を計測し、この輝度変化
量の最大値が設定値以下のとき、異常と判定する自己診
断でも良く、さらには、映像信号の1画面の輝度最大値
及び輝度最小値を計測して輝度最大値と輝度最小値との
差分を算出し、この差分が設定値以下のとき、異常と判
定する自己診断でも良い。この場合、異常と判定された
状態が設定画面数連続したとき、あるいは、設定時間連
続したとき、警報を発することが望ましい。
毎に映像信号の1画面の輝度最大値を計測し、各映像信
号の1画面の輝度最大値のうち、少なくとも1つが第1
の設定値以上で少なくとも1つが第2の設定値以下のと
き、異常と判定しても良く、各撮像素子毎に映像信号の
1画面中で互いに隣接する画素間の輝度変化量の最大値
を計測し、各映像信号の1画面の輝度変化量の最大値の
うち、少なくとも1つが第1の設定値以上で少なくとも
1つが第2の設定値以下のとき、異常と判定しても良
い。さらには、各撮像素子毎に映像信号の1画面の輝度
最大値及び輝度最小値を計測して輝度最大値と輝度最小
値との差分を算出し、各映像信号の1画面の輝度最大値
と輝度最小値との差分のうち、少なくとも1つが第1の
設定値以上で少なくとも1つが第2の設定値以下のと
き、異常と判定しても良い。この場合においても、異常
と判定された状態が設定画面数連続したとき、あるい
は、設定時間連続したとき、警報を発することが望まし
い。
点から撮像したステレオ画像対の画像信号を出力する撮
像装置を有する画像処理システムに適用することで、処
理精度を高めることができる。
施の形態を説明する。図1〜図4は本発明の実施の第1
形態に係わり、図1は画像処理システムの構成図、図2
は車両への搭載例を示す説明図、図3は各部の波形図、
図4は異常判定ルーチンのフローチャートである。
この撮像装置2にケーブル3を介して接続される画像処
理装置4とからなる画像処理システムであり、上記撮像
装置2には、処理内容に応じて1系統以上の撮像系統が
備えられ、また、上記画像処理装置4には、上記撮像装
置2の撮像系統に対応した数の画像処理系統が備えられ
ている。
撮像系統として、光学系を構成するレンズ5、このレン
ズ5で結像した像を電気信号に変換する撮像素子6、こ
の撮像素子6からの信号を増幅するアンプ7、このアン
プ7から出力される信号(映像信号)と同期信号とを合
成した画像信号(複合映像信号)を上記ケーブル3を介
して上記画像処理装置4に出力する同期信号合成器8が
備えられ、さらに、各系統の撮像素子6やアンプ7を制
御するタイミング信号を発生するタイミング信号発生器
9、上記画像処理装置4との同期をとるための同期信号
を発生する同期信号発生器10が備えられている。
画像処理系統として、上記撮像装置2からの画像信号を
同期信号と映像信号とに分離する同期信号分離器11、
この同期信号分離器11で分離された映像信号を増幅す
るアンプ12、このアンプ12で増幅されたアナログ映
像信号をデジタル画像データに変換するAD変換器1
3、デジタル画像データを貯える画像メモリ14が備え
られ、この画像メモリ14に貯えられた画像データがビ
デオプロセッサ15で処理される。また、上記画像処理
装置4には、上記同期信号分離器11で分離された同期
信号に基づいて、各系統のAD変換器13や画像メモリ
14、及び、上記ビデオプロセッサ15の同期制御を行
うタイミングコントローラ16が備えられている。
ム異常を検出して警報を発するための自己診断機能が備
えられている。この自己診断機能としては、上記同期信
号分離器11で分離された同期信号によってリセットさ
れ、同期信号パルス入力後の経過時間を計測するための
計時カウンタ17、この計時カウンタ17の値と設定値
VREF1とを比較する比較器18、この比較器18の出力
によって異常を報知する警報器19が各画像処理系統毎
に備えられ、各画像処理系統毎に異常発生の有無が監視
される。
ム等のように、2つの撮像素子6,6を対として使用す
るシステムを車両20に搭載した例を示す。この例で
は、撮像装置4として2台のカメラからなるステレオカ
メラ21が搭載され、このステレオカメラ21で撮像し
た画像を画像処理装置4としての画像認識装置22で処
理して車外の対象物の三次元位置を求め、先行車両や障
害物を認識して接触あるいは衝突の可能性を判断する。
そして、接触あるいは衝突の危険性が有ると判断したと
き、警報器19に該当する警報ランプ23によって運転
者に警報を発し、また、図示しない他の装置に認識結果
を渡して、自動的にブレーキを作動させて停止させる、
あるいは、先行車との車間距離を安全に保つよう自動的
に走行速度を増減する等の制御が行われる。
は、撮像装置2内で、タイミング信号発生器9からのタ
イミング信号に同期して撮像素子6から定期的に結像光
が電気信号に変換されて出力される。そして、図3に示
すように、アンプ7によって増幅された撮像素子6から
の映像信号が同期信号合成器8で同期信号発生器10か
らの水平同期信号及び垂直同期信号と合成され、画像信
号としてケーブル3を介して画像処理装置4へ出力され
る。
信号とは走査線毎に、垂直同期信号とは画面毎に行わ
れ、各同期信号の間隔は、例えば、水平同期信号で約6
5usec、垂直同期信号で約16.7msecであ
る。尚、垂直同期信号は、パルス幅の異なる複数の水平
同期信号を特定のパターンに組み合わせる一般的な手法
によって生成する。
期信号分離器11によって映像信号と同期信号とに分離
される。タイミングコントローラ16では、分離された
同期信号に基づいて、AD変換器13におけるAD変換
のタイミング、画像メモリ14のデータ書き込みタイミ
ング、ビデオプロセッサ15による画像メモリ14から
のデータ読み出しタイミング等の画像処理に必要なタイ
ミングを制御し、分離された映像信号がアンプ12で増
幅された後、AD変換器13でデジタルデータに変換さ
れ、画像メモリ14を介してビデオプロセッサ15に送
られる。そして、このビデオプロセッサ15で画像認識
等の処理が行われる。
期信号は、上述のタイミングコントローラ16によるタ
イミング制御に用いられる一方、計時カウンタ17のリ
セット信号として使用される。この計時カウンタ17で
は、常に水平同期信号が入力されてからの経過時間を計
測しており、そのカウント値が比較器18に送られ、比
較器18で設定値VREF1と比較される。正常時には、計
時カウンタ17に一定間隔で水平同期信号が入力される
ため、計時カウンタ17のカウント値が設定値VREF1以
上となる前にリセットされて設定値VREF1以上となるこ
とはなく、比較器18の出力はOFF状態に保たれ、警
報器19は作動しない。
ト、あるいはコネクタはずれ等の異常が発生し、水平同
期信号が計時カウンタ17に入力されなくなると、図3
に示すように、計時カウンタ17のカウント値が設定値
VREF1以上となり、比較器18の出力がONとなる。そ
の結果、警報器19が作動して警報が発せられ、運転者
に異常発生を知らせる。
8による同期信号の監視は、ビデオプロセッサ15によ
るソフトウエア処理で行っても良く、その場合には、警
報器19をビデオプロセッサ15の出力ポートに接続す
る。このビデオプロセッサ15による異常判定では、計
時カウンタ17及び比較器18の両方の機能をビデオプ
ロセッサ15によって実現することも可能であるが、図
4の異常判定ルーチンでは、計時カウンタ17を使用
し、比較器18の機能をビデオプロセッサ15で代用し
ている。
プS10で、計時カウンタ17からカウント値を読み込ん
で水平同期信号が入力されてからの経過時間を調べ、ス
テップS11で、カウント値に相当する経過時間が設定値
VREF1に相当する設定時間以上か否かを調べる。そし
て、経過時間が設定時間に達していないときには、上記
ステップS11からステップS12へ進んで警報出力をOFF
状態とした後、ステップS10へ戻って計時カウンタ17
のカウント値を読み込む処理を続ける。
るケーブル3の断線やショートあるいはコネクタはずれ
等の異常が発生して水平同期信号が計時カウンタ17に
入力されなくなり、計時カウンタ17のカウント値が設
定時間以上になると、上記ステップS11からステップS13
へ進んで警報出力をONにして警報器19を作動させ、
運転者に異常発生を知らせる。
コネクタはづれ等の異常をシステム内部で自己診断して
運転者に異常を知らせることができ、速やかな修理作業
を可能とすることができる。
わり、図5は画像処理システムの構成図、図6は各部の
波形図、図7は異常判定ルーチンのフローチャートであ
る。
てからの経過時間が設定時間以上となったとき、異常発
生と判定するものであるのに対し、本形態では、画像信
号の振幅をホールドし、そのホールド値が一定時間内に
設定値以下に減衰したとき、異常発生と判定するもので
ある。
は、図5に示すように、第1形態の画像処理装置4の異
常診断に係わる構成を変更して画像処理装置4Aとし、
計時カウンタ17に代えて、撮像装置2から画像信号が
入力される同期信号分離器11に並列接続される振幅検
出器25を採用し、この振幅検出器25の出力を比較器
18で設定値VREF2と比較するようになっている。
像処理装置4A内に、振幅検出器25、比較器18、警
報器19が複数組用意される。
力される画像信号(同期信号を含む複合映像信号)の振
幅のピーク値をホールドするものであり、そのホールド
値が所定の時定数で減衰するように設定されている。正
常時には、撮像装置2から一定間隔で画像信号が入力さ
れるため、上記振幅検出器25における振幅ホールド値
が比較器18の設定値VREF2以下になることはない。本
形態では、比較器18における比較関係は第1形態と逆
になっており、上記振幅検出器25の振幅ホールド値が
比較器18の設定値VREF2以下のときには、比較器18
の出力はOFF状態に保たれ、警報器19は作動しな
い。
いはコネクタはずれ等の異常が発生し、画像信号が画像
処理装置4Aに入力されなくなると、図6に示すよう
に、振幅検出器25の振幅ホールド値が減衰してゆき、
やがて設定値VREF2以下になる。すると、比較器18の
出力がONとなって警報器19が作動し、警報を発して
運転者に異常を知らせる。
画像信号の監視は、第1形態と同様、警報器19をビデ
オプロセッサ15の出力ポートに接続し、ビデオプロセ
ッサ15によるソフトウエア処理で行うことも可能であ
る。
器25の出力値を読み込んで異常判定を行う異常判定ル
ーチンであり、ステップS20で、画像信号の振幅ホール
ド値を振幅検出器25から読み込み、ステップS21で、
読み込んだ振幅ホールド値が設定値VREF2以下か否かを
調べる。そして、画像信号の振幅ホールド値が設定値V
REF2を超えているときには、上記ステップS21からステ
ップS22へ進んで警報出力をOFF状態とした後、ステ
ップS20へ戻って振幅検出器25から振幅ホールド値を
読み込み、同様の処理を続ける。
いはコネクタはずれ等の異常が発生し、画像信号が入力
されなくなって振幅検出器25の振幅ホールド値が減衰
してしまい、設定値VREF2以下になると、上記ステップ
S21からステップS23へ進んで警報出力をONにし、警報
器19を作動させて運転者に異常発生を報知する。
診断機能により、ケーブルの断線やショート、コネクタ
はづれ等の異常を検出することができる。
係わり、図8は画像処理システムの構成図、図9及び図
10は異常判定基本ルーチンのフローチャート、図11
及び図12は2つの撮像素子を有する画像処理システム
に対する異常判定ルーチンのフローチャートである。
(最も明るい値)を計測し、この輝度最大値が設定値以
下になったとき、異常と判定するものである。すなわ
ち、通常、車載の撮像装置では、撮像風景が映像信号と
して捉えられるため、映像信号の輝度最大値は、正常時
には比較的大きな値となるが、撮像素子の故障時等に
は、映像信号の輝度最大値が小さい状態(真っ暗な状
態)が連続するようになる。この特性の変化は、露光調
整機能を備えた撮像装置では、より顕著に現れる。
状態が連続することは、照明のない夜間の風景等を撮像
した場合にも起こり得るが、このような場合には、正常
な画像認識処理ができない状況であり、運転者に前照灯
の点灯を促す警告として利用できる。
テム1Bにおける画像処理装置4Bでは、ビデオプロセ
ッサ15の出力ポートに警報器19を接続し、ビデオプ
ロセッサ15で通常の画像処理と並行して1画面の輝度
最大値を計測し、異常判定を行う。
び図10に示されるルーチンによって行われる。このル
ーチンでは、まず、ステップS30で映像信号の画像メモ
リ14への取り込みを許可し、ステップS31で輝度最大
値のメモリ値を0に初期化すると、ステップS32で、最
初に読み出す画素の画像メモリ14のアドレスを設定す
る。
4から画像データを1画素読み込むと、ステップS34
で、今回読み込んだ画像データが現時点での輝度最大値
を超えているか否かを調べる。そして、輝度最大値を超
えていないときには、ステップS34からステップS36へジ
ャンプし、輝度最大値を超えているとき、ステップS34
からステップS35へ進んで、今回読み込んだ画像データ
を新しい輝度最大値として更新し、ステップS36へ進
む。
を終了したか否かを調べ、1画面分のデータ処理が終了
していないときには、ステップS37へ進んで、次に読み
出す画素の画像メモリ14のアドレスを設定し、前述の
ステップS33へ戻って同様の処理を繰り返す。
と、上記ステップS36からステップS38へ進み、輝度最大
値が設定値CR以下か否かを調べ、輝度最大値>設定値
CRのときには、ステップS39で、輝度最大値≦設定値
CRの状態が連続する画面数をカウントする判定カウン
タの値を0にクリアしてステップS41へ進み、輝度最大
値≦設定値CRのときには、異常と判定してステップS4
0へ進んで上記判定カウンタに1を加算してステップS41
へ進む。
定回数以上となったか否かを調べ、設定回数に達してい
ないときには、ステップS42で、警報出力をOFF状態
とした後、ステップS30へ戻って次の映像信号の画像メ
モリ14への取り込みを指示し、同様の処理を繰り返
す。
撮像素子6の異常、あるいは、照明の不備等によって画
像認識処理が正常にできない状況が続き、1画面の輝度
最大値が設定値CR以下の状態が連続して判定カウンタ
がクリアされることなく加算され続け、その値が設定回
数以上になると、上記ステップS41からステップS43へ進
んで警報出力をONにし、警報器19を作動させて運転
者に異常発生を報知する。
撮像素子を備えた画像処理システムでは、個々の撮像素
子から得られる映像信号毎に行うことになり、個々の撮
像素子毎に異常判定を行うことができるが、例えば、2
つの撮像素子6,6を対として使用するステレオ画像処
理システム等の場合には、以下に説明する異常判定処理
を行うことで、より安定した診断を行うことができる。
6による1組のステレオ画像信号に対して異常を判定す
るルーチンであり、いずれか一方の撮像素子から入力さ
れる1画面の映像信号の輝度最大値が設定値CR1以上
で、もう一方の撮像素子から入力される1画面の映像信
号の輝度最大値が設定値CR2(但し、CR1>CR
2)以下であり、互いの撮像素子の出力状態がアンバラ
ンスであるとき、異常と判定する。尚、以下の説明で
は、一方の撮像素子による画像を右画像、他方の撮像素
子による画像を左画像とする。
信号の画像メモリ14,14への取り込みを許可し、ス
テップS51〜S57で、前述の図9のルーチンのステップS3
1〜S37と同様の処理を右画像に対して行って右画像にお
ける1画面の輝度最大値を求めると、ステップS58で、
左画像の輝度最大値のメモリ値を0に初期化し、ステッ
プS59〜S64で左画像に対して同様の処理を行い、左画像
における1画面の輝度最大値を求める。
値、左画像における1画面の輝度最大値を求めた後は、
ステップS65で、まず、右画像の輝度最大値が設定値C
R1より大きいか否かを調べる。そして、右画像の輝度
最大値>設定値CR1のとき、ステップS65からステッ
プS66へ進んで左画像の輝度最大値が設定値CR2以下
か否かを調べ、左画像の輝度最大値>設定値CR2のと
きには、ステップS70へ分岐して判定カウンタを0にク
リアし、左画像の輝度最大値≦設定値CR2のとき、す
なわち、右画像の輝度最大値>設定値CR1且つ左画像
の輝度最大値≦設定値CR2のときには、異常と判定し
てステップ69へ進んで判定カウンタに1を加算する。
最大値≦設定値CR1のときには、上記ステップS65か
らステップS67へ分岐して、左画像の輝度最大値が設定
値CR1より大きいか否かを調べる。そして、左画像の
輝度最大値≦設定値CR1のときには、ステップS67か
ら前述のステップS70へ分岐し、左画像の輝度最大値>
設定値CR1のとき、ステップS67からステップS68へ進
んで右画像の輝度最大値が設定値CR2以下か否かを調
べる。
輝度最大値>設定値CR2のときには、前述のステップ
S70へ分岐して判定カウンタを0にクリアし、右画像の
輝度最大値≦設定値CR2のとき、すなわち、左画像の
輝度最大値>設定値CR1且つ右画像の輝度最大値≦設
定値CR2のときには、異常と判定して前述のステップ
69へ進んで判定カウンタに1を加算する。
テップS70からステップS71へ進んで判定カウンタの値が
設定回数以上となったか否かを調べ、設定回数に達して
いないときには、ステップS72で、警報出力をOFF状
態とした後、ステップS50へ戻って次の映像信号の画像
メモリ14,14への取り込みを指示し、同様の処理を
繰り返す。
やショート、撮像素子の異常、あるいは、照明の不備等
によって画像認識処理が正常にできない状況が続き、2
つの撮像素子6,6のうち、いずれか一方の撮像素子か
ら入力される1画面の映像信号の輝度最大値が設定値C
R1以上で、もう一方の撮像素子から入力される1画面
の映像信号の輝度最大値が設定値CR2(但し、CR1
>CR2)以下である状態が連続して判定カウンタの値
が設定回数以上になると、上記ステップS71からステッ
プS73へ進んで警報出力をONにし、警報器19を作動
させて運転者に異常発生を報知する。
によって異常と判定された画面数をカウントしている
が、判定カウンタあるいはタイマによって異常と判定さ
れた状態が連続する時間を計時し、設定時間以上になっ
たとき、警報出力をONにするようにしても良い。
コネクタはづれ、撮像素子の異常を検出できるばかりで
なく、夜間での照明の不備等による画像処理上で不都合
な状況をも検出することができ、画像処理システム外の
原因による誤認識を防止することができる。
に係わり、図13及び図14は異常判定基本ルーチンの
フローチャート、図15〜図17は2つの撮像素子を有
する画像処理システムに対する異常判定ルーチンのフロ
ーチャートである。
を計測して異常を判定する前述の第3形態に対し、映像
信号の1画面の輝度変化量の最大値(最も明るさが変わ
る値)を計測して異常を判定するものであり、システム
構成は、第3形態と同様である。
値は比較的大きな値となるが、撮像素子の異常時、ある
いは、レンズ5やレンズ5前面にあるガラスが汚れた
り、曇ったりした場合、映像がシャープでなくなり、映
像信号の輝度変化量が小さい状態が連続するようにな
る。従って、ビデオプロセッサ15では、1画面の映像
信号の輝度変化量の最大値を計測し、この輝度変化量の
最大値が設定値VR以下の状態が設定画面数(あるいは
設定時間)連続した場合、警報を発する。
び図14に示され、このルーチンでは、ステップS80で
映像信号の画像メモリ14への取り込みを許可し、ステ
ップS81で輝度変化量最大値のメモリ値を0に初期化す
ると、ステップS82で、最初に読み出す画素の画像メモ
リ14のアドレスを設定すると、ステップS83で、画像
メモリ14の該当するアドレスから画像データを1画素
読み込み、レジスタAに格納する。
の画像メモリ14のアドレスを設定すると、ステップS8
5で、画像メモリ14の該当するアドレスから画像デー
タを1画素読み込んでレジスタBに格納し、ステップS8
6で、レジスタAとレジスタBとの差の絶対値を演算
し、輝度変化量としてレジスタCに格納する。
容すなわち輝度変化量が現時点での輝度変化量最大値を
超えているか否かを調べ、輝度変化量最大値を超えてい
ないときには、ステップS89へジャンプし、輝度変化量
最大値を超えているとき、ステップS88へ進んで、レジ
スタCの内容を新しい輝度変化量最大値として更新し、
ステップS89へ進む。
を終了したか否かを調べ、1画面分のデータ処理が終了
していないときには、ステップS90へ進んで、次に読み
出す画素の画像メモリ14のアドレスを設定し、前述の
ステップS83へ戻って同様の処理を繰り返す。
と、上記ステップS89からステップS91へ進み、輝度変化
量最大値が設定値VR以下か否かを調べ、輝度変化量最
大値>設定値VRのときには、ステップS92で、輝度変
化量最大値≦設定値VRの状態が連続する画面数をカウ
ントする判定カウンタの値を0にクリアしてステップS9
4へ進み、輝度変化量最大値≦設定値VRのときには、
異常と判定してステップS93で上記判定カウンタに1を
加算してステップS94へ進む。
定回数以上となったか否かを調べ、設定回数に達してい
ないときには、ステップS95で、警報出力をOFF状態
とした後、ステップS80へ戻って次の映像信号の画像メ
モリ14への取り込みを指示し、同様の処理を繰り返
す。
レンズ5あるいはレンズ5前面にあるガラスの汚れや曇
り、撮像素子6の異常、照明の不備等によって画像認識
処理が正常にできない状況が続き、1画面の輝度変化量
最大値が設定値VR以下の状態が連続して判定カウンタ
の値が設定回数以上になると、上記ステップS94からス
テップS96へ進んで警報出力をONにし、警報器19を
作動させて運転者に異常発生を報知する。
で説明したように、複数の撮像素子を備えた画像処理シ
ステムでは個々の撮像素子を対象として行っても良い
が、2つの撮像素子6,6を対として使用するステレオ
画像処理システム等に対しては、以下の図15〜図17
の異常判定ルーチンを適用し、2つの撮像素子6,6の
うち、いずれか一方の撮像素子から入力される1画面の
映像信号の輝度変化量最大値が設定値VR1以上で、も
う一方の撮像素子から入力される1画面の映像信号の輝
度変化量最大値が設定値VR2(但し、VR1>VR
2)以下であるとき、異常と判定することで、より安定
した診断を行うことができる。
画像メモリ14,14への取り込みを許可し、ステップ
S101〜S110で、前述の図13のルーチンのステップS81
〜S90と同様の処理を右画像に対して行って右画像にお
ける1画面の輝度変化量最大値を求めると、ステップS1
11で、左画像の輝度変化量最大値のメモリ値を0に初期
化し、ステップS112〜S120で左画像に対して同様の処理
を行い、左画像における1画面の輝度変化量最大値を求
める。
値、左画像における1画面の輝度変化量最大値を求めた
後は、ステップS121で、まず、右画像の輝度変化量最大
値が設定値VR1を超えているか否かを調べる。そし
て、右画像の輝度変化量最大値>設定値VR1のとき、
ステップS121からステップS122へ進んで左画像の輝度変
化量最大値が設定値VR2以下か否かを調べ、左画像の
輝度変化量最大値>設定値VR2のときには、ステップ
S126へ分岐して判定カウンタを0にクリアし、左画像の
輝度変化量最大値≦設定値VR2のとき、すなわち、右
画像の輝度変化量最大値>設定値VR1且つ左画像の輝
度変化量最大値≦設定値VR2のときには、異常と判定
してステップS125へ進んで判定カウンタに1を加算す
る。
変化量最大値≦設定値VR1のときには、上記ステップ
S121からステップS123へ分岐して、左画像の輝度変化量
最大値が設定値VR1を超えているか否かを調べる。そ
して、左画像の輝度変化量最大値≦設定値VR1のとき
には、ステップS123から前述のステップS126へ分岐し、
左画像の輝度変化量最大値>設定値VR1のとき、ステ
ップS123からステップS124へ進んで右画像の輝度変化量
最大値が設定値VR2以下か否かを調べる。
輝度変化量最大値>設定値VR2のときには、前述のス
テップS126へ分岐して判定カウンタを0にクリアし、右
画像の輝度変化量最大値≦設定値VR2のとき、すなわ
ち、左画像の輝度変化量最大値>設定値VR1且つ右画
像の輝度変化量最大値≦設定値VR2のときには、異常
と判定して前述のステップS125へ進んで判定カウンタに
1を加算する。
テップS126からステップS127へ進んで判定カウンタの値
が設定回数以上となったか否かを調べ、設定回数に達し
ていないときには、ステップS128で、警報出力をOFF
状態とした後、ステップS100へ戻って次の映像信号の画
像メモリ14,14への取り込みを指示し、同様の処理
を繰り返す。
やショート、撮像素子の異常、あるいは、照明の不備等
によって画像認識処理が正常にできない状況が続き、2
つの撮像素子6,6のうち、いずれか一方の撮像素子か
ら入力される1画面の映像信号の輝度変化量最大値が設
定値VR1以上で、もう一方の撮像素子から入力される
1画面の映像信号の輝度変化量最大値が設定値VR2
(但し、VR1>VR2)以下である状態が連続して判
定カウンタの値が設定回数以上になると、上記ステップ
S127からステップS129へ進んで警報出力をONにし、警
報器19を作動させて運転者に異常発生を報知する。
カウンタあるいはタイマによって異常と判定された状態
が連続する時間を計時し、設定時間以上になったとき、
警報出力をONにするようにしても良い。
ート、コネクタはづれ、撮像素子の異常を検出できるば
かりでなく、レンズあるいはレンズ前面のガラスの汚れ
や曇り、夜間での照明の不備等による画像処理上で不都
合な状況をも検出することができ、画像処理システム外
の原因による誤認識を防止することができる。
に係わり、図18及び図19は異常判定基本ルーチンの
フローチャート、図20〜図22は2つの撮像素子を有
する画像処理システムに対する異常判定ルーチンのフロ
ーチャートである。
号の1画面の輝度変化量の最大値に代えて、映像信号の
1画面の輝度最大値(最も明るい値)と輝度最小値(最
も暗い値)との差によって異常を判定するものである。
大値と輝度最小値との差は、比較的大きな値となるが、
撮像素子の異常時、レンズやレンズ前面にあるガラスが
汚れたり曇ったりした場合、あるいは、夜間等であるに
も拘わらず照明が不備な場合には、コントラストが不足
し、輝度最大値と輝度最小値との差が小さい状態が連続
するようになる。
面の映像信号の輝度最大値と輝度最小値との差を計測
し、この差が設定値以下の状態が設定画面数(あるいは
設定時間)連続した場合、警報器19を作動させて異常
を知らせる。
本ルーチンでは、ステップS130で映像信号の画像メモリ
14への取り込みを許可し、ステップS131で輝度最大値
のメモリ値を0に初期化するとともに、輝度最小値のメ
モリ値を255に初期化すると、ステップS132で、最初
に読み出す画素の画像メモリ14のアドレスを設定す
る。
14の該当するアドレスから画像データを1画素読み込
むと、ステップS134で、今回読み込んだ画像データが現
時点での輝度最大値より大きいか否かを調べる。そし
て、輝度最大値を超えていないときには、ステップS136
へジャンプし、輝度最大値より大きいとき、ステップS1
35へ進んで、今回読み込んだ画像データを新しい輝度最
大値として更新し、ステップS136へ進む。
ータが輝度最小値より小さいか否かを調べ、輝度最小値
以上のときには、ステップS138へジャンプし、輝度最小
値より小さいとき、ステップS137へ進んで、今回読み込
んだ画像データを新しい輝度最小値として更新し、ステ
ップS138へ進む。
タ処理を終了したか否かを調べ、1画面分のデータ処理
が終了していないときには、ステップS139へ進んで、次
に読み出す画素の画像メモリ14のアドレスを設定し、
前述のステップS133へ戻って同様の処理を繰り返す。
と、上記ステップS138からステップS140へ進み、輝度最
大値と輝度最小値との差分を演算し、ステップS141で、
この差分が設定値DR以下か否かを調べる。そして、差
分>設定値DRのときには、上記ステップS141からステ
ップS142へ進んで差分≦設定値DRの状態が連続する画
面数をカウントする判定カウンタの値を0にクリアして
ステップS144へ進み、差分≦設定値DRのときには、異
常と判定して上記ステップS141からステップS143へ進ん
で上記判定カウンタに1を加算し、ステップS144へ進
む。
定回数以上となったか否かを調べ、設定回数に達してい
ないときには、ステップS145で、警報出力をOFF状態
とした後、ステップS130へ戻って次の映像信号の画像メ
モリ14への取り込みを指示し、同様の処理を繰り返
す。
レンズ5あるいはレンズ5前面にあるガラスの汚れや曇
り、撮像素子6の異常、照明の不備等によって画像認識
処理が正常にできない状況が続き、1画面の輝度最大値
と輝度最小値との差が設定値DR以下の状態が連続して
判定カウンタの値が設定回数以上になると、上記ステッ
プS144からステップS146へ進んで警報出力をONにし、
警報器19を作動させて運転者に異常発生を報知する。
撮像素子6,6を配したステレオ画像処理システム等に
適用する場合には、図20〜図22に示す異常判定ルー
チンを用いることで、より安定した診断を行うことがで
きる。
像素子6,6のうち、いずれか一方の撮像素子から入力
される1画面の映像信号の輝度最大値と輝度最小値との
差が設定値DR1以上で、もう一方の撮像素子から入力
される1画面の映像信号の輝度最大値と輝度最小値との
差が設定値DR2(但し、DR1>DR2)以下である
とき、異常と判定する。
像メモリ14,14への取り込みを許可し、ステップS1
51〜S159で、前述の図18のルーチンのステップS131〜
S139と同様の処理を右画像に対して行って右画像におけ
る1画面の輝度最大値及び輝度最小値を求めると、ステ
ップS160で、右画像の輝度最大値と輝度最小値との差分
を演算し、ステップS161〜S169で左画像に対して同様の
処理を行って左画像における1画面の輝度最大値及び輝
度最小値を求め、ステップS170で、左画像の輝度最大値
と輝度最小値との差分を演算する。
値と輝度最小値との差分、左画像における1画面の輝度
最大値と輝度最小値との差分を求めた後は、ステップS1
71で、まず、右画像の差分が設定値DR1を超えている
か否かを調べる。そして、右画像の差分>設定値DR1
のとき、ステップS171からステップS172へ進んで左画像
の差分が設定値DR2以下か否かを調べ、左画像の差分
>設定値DR2のときには、ステップS176へ分岐して判
定カウンタを0にクリアし、左画像の差分≦設定値DR
2のとき、すなわち、右画像の差分>設定値DR1且つ
左画像の差分≦設定値DR2のときには、異常と判定し
てステップS175へ進んで判定カウンタに1を加算する。
≦設定値DR1のときには、上記ステップS171からステ
ップS173へ分岐して、左画像の差分が設定値DR1を超
えてているか否かを調べる。そして、左画像の差分≦設
定値DR1のときには、ステップS173から前述のステッ
プS176へ分岐し、左画像の差分>設定値DR1のとき、
ステップS173からステップS174へ進んで右画像の差分が
設定値DR2以下か否かを調べる。
差分>設定値DR2のときには、前述のステップS176へ
分岐して判定カウンタを0にクリアし、右画像の差分≦
設定値DR2のとき、すなわち、左画像の差分>設定値
DR1且つ右画像の差分≦設定値DR2のときには、異
常と判定して前述のステップS175へ進んで判定カウンタ
に1を加算する。
テップS176からステップS177へ進んで判定カウンタの値
が設定回数以上となったか否かを調べ、設定回数に達し
ていないときには、ステップS178で、警報出力をOFF
状態とした後、ステップS150へ戻って次の映像信号の画
像メモリ14,14への取り込みを指示し、同様の処理
を繰り返す。
やショート、撮像素子の異常、あるいは、照明の不備等
によって画像認識処理が正常にできない状況が続き、2
つの撮像素子6,6のうち、いずれか一方の撮像素子か
ら入力される1画面の映像信号の輝度最大値と輝度最小
値との差が設定値DR1以上で、もう一方の撮像素子か
ら入力される1画面の映像信号の輝度最大値と輝度最小
値との差が設定値DR2(但し、DR1>DR2)以下
である状態が連続して判定カウンタの値が設定回数以上
になると、上記ステップS177からステップS179へ進ん
で、警報出力をONにし、警報器19を作動させて運転
者に異常発生を報知する。
カウンタあるいはタイマによって異常と判定された状態
が連続する時間を計時し、設定時間以上になったとき、
警報出力をONにするようにしても良い。
ブルの断線やショート、コネクタはづれ、撮像素子の異
常を検出できるばかりでなく、レンズあるいはレンズ前
面のガラスの汚れや曇り、夜間での照明の不備等による
画像処理上で不都合な状況をも検出することができ、画
像処理システム外の原因による誤認識を防止することが
できる。
イヤハーネスや撮像素子の不良あるいは画像処理上で不
都合な状況をシステム内部で自己診断することができ、
速やかな故障修理を可能とするばかりでなく、システム
外の不具合による画像認識の誤りを防止し、画像処理の
処理精度を高めて信頼性を向上することができる等優れ
た効果が得られる。
ステムの構成図
ステムの構成図
ステムの構成図
(その1)
ト(その2)
テムに対する異常判定ルーチンのフローチャート(その
1)
テムに対する異常判定ルーチンのフローチャート(その
2)
基本ルーチンのフローチャート(その1)
ト(その2)
テムに対する異常判定ルーチンのフローチャート(その
1)
テムに対する異常判定ルーチンのフローチャート(その
2)
テムに対する異常判定ルーチンのフローチャート(その
3)
基本ルーチンのフローチャート(その1)
ト(その2)
テムに対する異常判定ルーチンのフローチャート(その
1)
テムに対する異常判定ルーチンのフローチャート(その
2)
テムに対する異常判定ルーチンのフローチャート(その
3)
Claims (10)
- 【請求項1】 撮像装置から出力される画像信号を同期
信号と映像信号とに分離し、分離した映像信号を処理す
る画像処理システムにおいて、 上記画像信号から分離された同期信号が入力される毎
に、入力後の経過時間を計時する手段と、 上記経過時間が設定時間以上になったとき、異常と判定
する手段とを備えたことを特徴とする画像処理システ
ム。 - 【請求項2】 撮像装置から出力される画像信号を同期
信号と映像信号とに分離し、分離した映像信号を処理す
る画像処理システムにおいて、 上記画像信号の振幅を一定の時定数でホールドする手段
と、 上記画像信号の振幅のホールド値が設定値以下になった
とき、異常と判定する手段とを備えたことを特徴とする
画像処理システム。 - 【請求項3】 撮像装置から出力される画像信号を同期
信号と映像信号とに分離し、分離した映像信号を処理す
る画像処理システムにおいて、 上記映像信号の1画面中で互いに隣接する画素間の輝度
変化量の最大値を計測する手段と、 上記輝度変化量の最大値が設定値以下のとき、異常と判
定する手段とを備えたことを特徴とする画像処理システ
ム。 - 【請求項4】 撮像装置から出力される画像信号を同期
信号と映像信号とに分離し、分離した映像信号を処理す
る画像処理システムにおいて、 上記映像信号の1画面の輝度最大値及び輝度最小値を計
測する手段と、上記輝度最大値と上記輝度最小値との差分を算出する手
段と、 上記差分が設定値以下のとき、異常と判定する手段とを
備えたことを特徴とする画像処理システム。 - 【請求項5】 複数の撮像素子を備えた撮像装置から出
力される各画像信号を、それぞれ同期信号と映像信号と
に分離し、分離した各映像信号を処理する画像処理シス
テムにおいて、各撮像素子から得られる 映像信号の1画面の輝度最大値
を、それぞれ計測する手段と、各撮像素子から得られる映像信号の1画面の輝度最大値
のうち、少なくとも1つが第1の設定値以上で少なくと
も1つが第2の設定値以下のとき、 異常と判定する手段
とを備えたことを特徴とする画像処理システム。 - 【請求項6】 複数の撮像素子を備えた撮像装置から出
力される各画像信号を、それぞれ同期信号と映像信号と
に分離し、分離した各映像信号を処理する画像処理シス
テムにおいて、 各撮像素子から得られる映像信号の1画面中で互いに隣
接する画素間の輝度変化量の最大値を、それぞれ計測す
る手段と、 各撮像素子から得られる映像信号の1画面の輝度変化量
の最大値のうち、少なくとも1つが第1の設定値以上で
少なくとも1つが第2の設定値以下のとき、異常と判定
する手段とを備えたことを特徴とする画像処理システ
ム。 - 【請求項7】 複数の撮像素子を備えた撮像装置から出
力される各画像信号を、それぞれ同期信号と映像信号と
に分離し、分離した各映像信号を処理する画像処理シス
テムにおいて、 各撮像素子から得られる映像信号の1画面の輝度最大値
及び輝度最小値を、それぞれ計測する手段と、各撮像素子から得られる映像信号の1画面の輝度最大値
と輝度最小値との差分を、それぞれ算出する手段と、 各撮像素子から得られる映像信号の1画面の輝度最大値
と輝度最小値との差分のうち、少なくとも1つが第1の
設定値以上で少なくとも1つが第2の設定値以下のと
き、異常と判定する手段とを備えたことを特徴とする画
像処理システム。 - 【請求項8】 異常と判定された状態が設定画面数連続
したとき、警報を発することを特徴とする請求項3,
4,5,6,7のいずれか一に記載の画像処理システ
ム。 - 【請求項9】 異常と判定された状態が設定時間連続し
たとき、警報を発することを特徴とする請求項3,4,
5,6,7のいずれか一に記載の画像処理システム。 - 【請求項10】 上記撮像装置は、被写体を異なる視点
から撮像したステレオ画像対の画像信号を出力すること
を特徴とする請求項1,2,3,4,5,6 ,7のいず
れか一に記載の画像処理システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP29002897A JP3349077B2 (ja) | 1997-10-22 | 1997-10-22 | 画像処理システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP29002897A JP3349077B2 (ja) | 1997-10-22 | 1997-10-22 | 画像処理システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11126248A JPH11126248A (ja) | 1999-05-11 |
JP3349077B2 true JP3349077B2 (ja) | 2002-11-20 |
Family
ID=17750860
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP29002897A Expired - Lifetime JP3349077B2 (ja) | 1997-10-22 | 1997-10-22 | 画像処理システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3349077B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10201522A1 (de) * | 2002-01-17 | 2003-07-31 | Bosch Gmbh Robert | Verfahren und Vorrichtung zur Erkennung von Sichtbehinderungen bei Bildsensorsystemen |
JP5163737B2 (ja) * | 2010-12-28 | 2013-03-13 | パナソニック株式会社 | 電気自動車および通信装置 |
JP6055224B2 (ja) * | 2012-07-27 | 2016-12-27 | クラリオン株式会社 | レンズ洗浄装置 |
CN102938847B (zh) * | 2012-11-28 | 2014-12-17 | 徐州工业职业技术学院 | 一种视频信号故障报警控制方法 |
-
1997
- 1997-10-22 JP JP29002897A patent/JP3349077B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JPH11126248A (ja) | 1999-05-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11270134B2 (en) | Method for estimating distance to an object via a vehicular vision system | |
EP1069536B1 (en) | Stereo type vehicle monitoring apparatus with fail-safe function | |
JP5437855B2 (ja) | 障害物検知装置およびそれを備えた障害物検知システム、並びに障害物検知方法 | |
US8055017B2 (en) | Headlamp monitoring apparatus for image exposure adjustment | |
CN111942282B (zh) | 车辆及其驾驶盲区预警方法、装置、***和存储介质 | |
JP5759950B2 (ja) | 車載カメラ装置 | |
JP2005143083A (ja) | 画像処理装置、運転支援装置および運転支援システム | |
JP2001211466A (ja) | 自己診断機能を有する画像処理システム | |
CN102971776B (zh) | 障碍物检测***以及方法、障碍物检测装置 | |
JP3312729B2 (ja) | フェールセーフ機能を有する車外監視装置 | |
US20190095761A1 (en) | Vicinity supervising device and method for supervising vicinity of vehicle | |
JP3349077B2 (ja) | 画像処理システム | |
JP2009239485A (ja) | 車両用環境認識装置および先行車追従制御システム | |
JP3272696B2 (ja) | フェールセーフ機能を有する車外監視装置 | |
JP3272694B2 (ja) | フェールセーフ機能を有する車外監視装置 | |
JP3649327B2 (ja) | フェールセーフ機能を有するステレオ式車外監視装置 | |
KR101601324B1 (ko) | 차량용 카메라 시스템의 영상 획득 방법 | |
CN112243089B (zh) | 摄像头hdr图像效果开关控制方法、装置、后视镜、车辆及存储介质 | |
JP2008042759A (ja) | 画像処理装置 | |
JP2006325094A (ja) | 車両用画像処理装置 | |
JP2001216598A (ja) | 交通流計測装置 | |
JP4794764B2 (ja) | 車外監視装置 | |
JP3492239B2 (ja) | 画像監視装置 | |
JPH06273170A (ja) | 車両用障害物検出装置 | |
US20230106188A1 (en) | Vehicular vision system with object classification based on change in orientation of object |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080913 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080913 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090913 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090913 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100913 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100913 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110913 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120913 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130913 Year of fee payment: 11 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |