JP3613301B2 - 映像監視追跡装置 - Google Patents
映像監視追跡装置 Download PDFInfo
- Publication number
- JP3613301B2 JP3613301B2 JP15941896A JP15941896A JP3613301B2 JP 3613301 B2 JP3613301 B2 JP 3613301B2 JP 15941896 A JP15941896 A JP 15941896A JP 15941896 A JP15941896 A JP 15941896A JP 3613301 B2 JP3613301 B2 JP 3613301B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- image
- edge
- unit
- image memory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Burglar Alarm Systems (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Description
【発明の属する技術分野】
本発明は映像監視追跡装置に係り、テレビジョンカメラによる画像をディジタル処理し、侵入者等の異常を監視し、被監視物体の移動に応じてテレビジョンカメラの視野角を移動し被監視物体を追跡するものに関する。
【0002】
【従来の技術】
テレビジョンカメラ(以降、カメラと略す)で撮像した監視画像の変化を検出し侵入者等の異常を報知する装置では、背景画像を異常物体の存在しない状態で撮像し、この画像と逐次撮像される画像(参照画像)との差分の画像を算出し、この差分の画像により異常発生の有無を判断し、異常と判断した場合、警報音あるいは警報表示を発し、監視用モニタの画面で異常物体等を確認し、適宜に処置することとなるが、異常物体が監視画面の中を通り過ぎるような場合、画面での確認が困難で的確な処置をとれないという問題が生ずる。
【0003】
【発明が解決しようとする課題】
本発明はこのような点に鑑み、監視視野内に不審者の侵入等の異常が発生した場合、異常物体がカメラの視野角の中心になるようにカメラの向きを旋回し、異常物体が動いている場合は移動量(ベクトル量)を算出し、異常物体をカメラで追跡し、監視を容易にすることにある。
【0004】
【課題を解決するための手段】
本発明は上述の課題を解決するため、カメラよりの異常物体の存在しないときの背景画像とカメラより逐次出力される参照画像との差の画像に基づいて異常を監視するものにおいて、前記カメラよりの背景画像を記憶する背景画像メモリと、参照画像を記憶する参照画像メモリと、前記背景画像メモリより読出したデータおよび参照画像メモリより読出したデータの相関を算出する相関演算部と、相関演算部よりのデータに基づき異常を判別する異常判別部と、異常判別部よりの信号に基づき前記参照画像メモリより読出したデータにて参照画像のエッジを抽出する第1エッジ抽出部と、前記異常判別部よりの信号に基づき前記背景画像メモリより読出したデータおよび参照画像メモリより読出したデータの差を演算する減算器と、減算器よりのデータに基づき差分画像のエッジを抽出する第2エッジ抽出部と、前記第1エッジ抽出部よりのデータおよび第2エッジ抽出部よりのデータを演算する論理積回路と、論理積回路よりのデータを基にエッジに外接する四角形の座標を算出するエッジ外接座標算出部と、前記参照画像メモリより読出した画像からエッジ外接座標算出部よりのデータに相応する範囲の画像を切出す画像切出部と、前記エッジ外接座標算出部よりの座標および画像切出部よりの画像を記憶するエッジ外接座標・画像メモリと、前記参照画像メモリより次画像のデータを読出し、エッジ外接座標・画像メモリよりの画像のデータと比較し、エッジ外接座標・画像メモリよりの画像と合致する画像の座標を算出する追跡差分演算部と、カメラの視野角の中心を記憶するメモリ部と、メモリ部よりのデータおよび追跡差分演算部よりのデータに基づきカメラの視野角の中心を前記エッジに外接する四角形の中心に向けるための旋回量を算出する旋回量演算部と、カメラに付設され旋回量演算部よりのデータに基づきカメラを旋回する旋回制御部とからなる映像監視追跡装置を提供するものである。
【0005】
【発明の実施の形態】
本発明による映像監視追跡装置では、カメラよりの異常物体の存在しないときの背景画像を背景画像メモリに、カメラより逐次出力される参照画像を参照画像メモリにそれぞれ記憶し、背景画像メモリより読出したデータおよび参照画像メモリより読出したデータの相関を相関演算部で算出し、相関演算部よりのデータに基づき異常判別部で異常を判別し、異常判別部よりの信号にて、前記参照画像メモリより読出したデータのエッジを第1エッジ抽出部で抽出し、前記背景画像メモリより読出したデータおよび参照画像メモリより読出したデータの差を減算器で演算し、減算器よりのデータに基づき第2エッジ抽出部で差分画像のエッジを抽出し、前記第1エッジ抽出部よりのデータおよび第2エッジ抽出部よりのデータを論理積回路で演算し、論理積回路よりのデータを基にエッジに外接する四角形の座標をエッジ外接座標算出部で算出し、前記参照画像メモリより読出した画像からエッジ外接座標算出部よりのデータに相応する範囲の画像を画像切出部で切出し、エッジ外接座標算出部よりの座標および画像切出部よりの画像をエッジ外接座標・画像メモリに記憶し、追跡差分演算部にて、前記参照画像メモリより次画像のデータを読出し、エッジ外接座標・画像メモリよりの画像のデータと比較し、エッジ外接座標・画像メモリよりの画像と合致する画像の座標を算出し、メモリ部に記憶されているカメラの視野角の中心を読出し、このデータおよび追跡差分演算部よりのデータに基づきカメラの視野角の中心を前記エッジに外接する四角形の中心に向けるための旋回量を旋回量演算部で算出し、カメラに付設した旋回制御部を介しカメラの向きを旋回し、異常物体を追跡する。
【0006】
【実施例】
以下、図面に基づいて本発明による映像監視追跡装置の実施例を詳細に説明する。図1は本発明による映像監視追跡装置の一実施例の要部ブロック図である。図において、1はカメラで、視野角を予め設定した方向に向けて設置する。2はA/D変換部で、カメラ1よりの映像信号をディジタル信号に変換する。3は背景画像メモリで、異常物体の存在しないときの背景画像を記録する。4は参照画像メモリで、カメラ1より逐次出力される時々刻々の画像を記録する。5は相関演算部で、背景画像メモリ3より読出した画像データおよび参照画像メモリ4より読出した画像データの相関(似具合)を算出する。6は異常判別部で、相関演算部5よりのデータに基づき異常の有無を判別する。7は制御部で、異常判別部6で異常状態を判別した場合に異常物体の特定・追跡等の制御を行う。8はエッジ抽出部で、参照画像メモリ4より読出した画像のエッジを抽出(画像の濃淡の段差を微分)する。9は減算器で、参照画像メモリ4より読出した画像データと背景画像メモリ3より読出した画像データの差を算出する。10はエッジ抽出部で、減算器9よりの差分の画像のエッジを抽出する。11は論理積回路(ANDゲート)で、エッジ抽出部8およびエッジ抽出部10よりのデータを演算する。
【0007】
12はエッジ外接座標算出部で、論理積回路11よりのデータを基にエッジ画像に外接する四角形の上辺、下辺、左辺および右辺の各座標を算出する。13は画像切出部で、参照画像メモリ4より読出された次画像データからエッジ外接座標算出部12で算出された四角形の領域の画像データを切出す。14はエッジ外接座標・画像メモリで、エッジ外接座標算出部12よりの四角形の座標データおよび画像切出部13で切出した四角形の領域の画像データを記憶する。15は追跡差分演算部で、エッジ外接座標・画像メモリ14よりの画像データを前記参照画像メモリ4より読出した画像データと順次移動させて比較し、エッジ外接座標・画像メモリ14よりの画像と合致する画像の座標を算出する。16は旋回量演算部で、追跡差分演算部15よりのデータに基づきカメラ1の視野角の中心をエッジ外接座標算出部12で算出された四角形の中心に向けるための旋回量(ベクトル量)を算出する。17は旋回制御部で、旋回量演算部16よりのデータに基づきカメラ1の向きを旋回する。18はメモリ部で、予め設定されたカメラ1の向きのデータ、および旋回制御部17よりの旋回量のデータを積算し記録する。
【0008】
図2はエッジ抽出部8および10の後段にデータ処理部21および22を設けた例である。データ処理部21および22は、エッジ抽出部8または10よりの各画素のビットデータが「1」の最上位のビットから最下位のビットまでを全て「1」データに切上げる。例えば、入力データが8ビットで「00100010」であった場合、上から4桁目以下を「1」に切上げ、「00111111」にする。これによりエッジが強調され、異常物体のエッジが明瞭になり、異常物体を特定しやすくなる。あるいは、図3に示す如く、エッジ抽出部8および10の後段に2値化処理部31および32を設け、エッジ抽出部8または10よりの各画素のデータを予め設定された閾値により2値のデータに変換し、ノイズ等を含めて不明瞭なデータを消去し、異常物体を明瞭に抽出できるようにする。
【0009】
次に、本発明による映像監視追跡装置の動作を図4の画像図を参照しながら説明する。まず、監視開始に先立ち、カメラ1よりの背景画像(イ)の映像信号をA/D変換部2でディジタル信号に変換し、背景画像メモリ3に入力し1画面分を記憶する。この背景画像(イ)は建物の入口付近で、ドア41および階段42があり、画面内に異常物体の存在しないときのものである。以降、カメラ1より逐次出力される参照画像の映像信号をA/D変換部2でディジタル変換し、参照画像メモリ4に入力し、1画面分を記録する。
【0010】
そして、背景画像メモリ3および参照画像メモリ4より画像データを読出し、それぞれ相関演算部5に入力する。相関演算部5により、例えば、2つの画面をそれぞれ同一サイズの多数区分に分割し、各区分ごとに2画像の相関(似具合)を算出し、このデータを異常判別部6に入力する。異常判別部6は相関演算部5よりのデータを所要の閾値と比較し、閾値より大きい場合、異常が発生したものとして信号を出力する。そして、この信号に基づき、制御部7を介し以降に述べる制御を行う。
【0011】
前記参照画像メモリ4に画像データの記録される都度、参照画像メモリ4より画像データを読出し、エッジ抽出部8および減算器9に入力する。そして、エッジ抽出部8で参照画像の濃淡の段差で生ずるエッジ画像を微分等により抽出し、また、減算器9にて、入力された参照画像(ロ)から背景画像メモリ3より読出した背景画像(イ)を減算する。この減算により、参照画像(ロ)に異常物体43が存在する場合、差分の画像データが出力され、この画像データはエッジ抽出部10に入力し、差分の画像のエッジを抽出する。そして、エッジ抽出部8よりのエッジ画像およびエッジ抽出部10よりのエッジ画像を論理積回路11に入力し、演算により異常物体のエッジ画像(ハの43)を生成する。この方法によれば、本出願人の出願した特願平第7−172231号に記述した如く、背景に輝度の差がある(図4・ロの異常物体43の左半分は白壁の前なので背景が明るく、右半分はドア41の前なので背景が暗い)場合に背景の輝度の段差の箇所(ドア41の左辺の縦線等、=異常物体43の略中央を縦に通る)がエッジとなって抽出され、抽出されるべきエッジに重なり、異常物体が段差のエッジで分断され、1物体が2物体であるかの如くに誤認されるのを防止できる。
【0012】
論理積回路11よりのエッジ画像43のデータはエッジ外接座標算出部12に入力し、(ニ)に示す如く、エッジ画像43に外接する四角形の上辺、下辺、左辺および右辺の各座標(x1、x2、y1、y2)を算出する。そして、画像切出部13により、参照画像メモリ4より読出された次画像データから上記座標x1、x2、y1、y2で囲む四角形の領域の画像データを切出し、上記座標データと共にエッジ外接座標・画像メモリ14に記録する。そして、これらのデータを読出し、追跡差分演算部15に入力し、参照画像メモリ4より読出した参照画像データと比較し、画像の合致する位置の座標を算出する。すなわち、(ホ)に示す如く、エッジ外接座標・画像メモリ14よりの画像データ(ニの43)を参照画像メモリ4よりの画像データ上でx軸方向、およびy軸方向に所要画素数ずつ(1画素ずつ、あるいは数画素ずつ)移動(走査)し、その都度参照画像との相関を求め、差分値が最小となる座標(x11 、x12 、y11 、y12 )を求め、このデータを旋回量演算部16に入力する。メモリ部18には前回までのカメラ1の旋回量の積算データが記録されており、旋回制御部17を介しこのデータを読出し、旋回量演算部16により、メモリ部18よりのデータと追跡差分演算部15よりのデータに基づき演算し、カメラ1の視野角の中心を座標(x11 、x12 、y11 、y12 )で囲む四角形の中心に向けるための旋回量(ベクトル量)を算出する。そして、旋回制御部17により、異常物体43が(ヘ)の如く画面の略中心になるようにカメラ1の向きを旋回する。
【0013】
旋回制御部17は、旋回量演算部16よりのベクトル量の方向にカメラ1を旋回するので、旋回に無駄が生じず、異常物体の早い動きにも対応が可能となる。また、異常物体が同じ方向に動いている場合、カメラ1を同一ベクトル量先行させて旋回し、異常物体の動きを先取りするように応用することも考えられる。なお、監視視野から異常物体が消滅した、すなわち、参照画像にて異常物体を囲む四角形に合致する画像データが得られなくなった場合、メモリ部18に予め記憶されている初期設定された向きに戻すようにする。
【0014】
【発明の効果】
以上に説明したように、本発明による映像監視追跡装置によれば、異常物体が判別された場合、エッジを抽出して異常物体を特定し、異常物体に動きがある場合は移動量(ベクトル量)を算出し、このデータに基づいてカメラの向きを旋回し異常物体を追跡するものであるから、カメラの旋回に無駄がなく、また、監視画面で異常物体を的確かつ迅速に捉えることができる。
【図面の簡単な説明】
【図1】本発明による映像監視追跡装置の一実施例の要部ブロック図である。
【図2】本発明による映像監視追跡装置の他の実施例の部分ブロック図である。
【図3】本発明による映像監視追跡装置の他の実施例の部分ブロック図である。
【図4】本発明による映像監視追跡装置の動作を説明するための画像図である。
【符号の説明】
1 テレビジョンカメラ
2 A/D変換部
3 背景画像メモリ
4 参照画像メモリ
5 相関演算部
6 異常判別部
7 制御部
8、10 エッジ抽出部
9 減算器
11 論理積回路(ANDゲート)
12 エッジ外接座標算出部
13 画像切出部
14 エッジ外接座標・画像メモリ
15 追跡差分演算部
16 旋回量演算部
17 旋回制御部
18 メモリ部
21、22 データ処理部
31、32 2値化処理部
Claims (8)
- テレビジョンカメラよりの異常物体の存在しないときの背景画像とテレビジョンカメラより逐次出力される参照画像との差の画像に基づいて異常を監視するものにおいて、前記テレビジョンカメラよりの背景画像を記憶する背景画像メモリと、参照画像を記憶する参照画像メモリと、前記背景画像メモリより読出したデータおよび参照画像メモリより読出したデータの相関を算出する相関演算部と、相関演算部よりのデータに基づき異常を判別する異常判別部と、異常判別部よりの信号に基づき前記参照画像メモリより読出したデータにて参照画像のエッジを抽出する第1エッジ抽出部と、前記異常判別部よりの信号に基づき前記背景画像メモリより読出したデータおよび参照画像メモリより読出したデータの差を演算する減算器と、減算器よりのデータに基づき差分画像のエッジを抽出する第2エッジ抽出部と、前記第1エッジ抽出部よりのデータおよび第2エッジ抽出部よりのデータを演算する論理積回路と、論理積回路よりのデータを基にエッジに外接する四角形の座標を算出するエッジ外接座標算出部と、前記参照画像メモリより読出した画像からエッジ外接座標算出部よりのデータに相応する範囲の画像を切出す画像切出部と、前記エッジ外接座標算出部よりの座標および画像切出部よりの画像を記憶するエッジ外接座標・画像メモリと、前記参照画像メモリより次画像を読出し、エッジ外接座標・画像メモリよりの画像と合致する画像の座標を算出する追跡差分演算部と、テレビジョンカメラの視野角の中心を記憶するメモリ部と、メモリ部よりのデータおよび追跡差分演算部よりのデータに基づきテレビジョンカメラの視野角の中心を前記エッジに外接する四角形の中心に向けるための旋回量を算出する旋回量演算部と、テレビジョンカメラに付設され旋回量演算部よりのデータに基づきテレビジョンカメラを旋回する旋回制御部とからなる映像監視追跡装置。
- 前記テレビジョンカメラの後段にA/D変換部を設け、テレビジョンカメラよりの映像信号をディジタル信号に変換し、前記背景画像メモリあるいは参照画像メモリに入力するようにした請求項1記載の映像監視追跡装置。
- 前記第1エッジ抽出部および第2エッジ抽出部の後段にそれぞれデータ処理部を設け、各エッジ抽出部よりの各画素のビットデータをデータが「1」の最上位のビットから最下位のビットまでを全て「1」データに変換し、それぞれ前記論理積回路に入力するようにした請求項1または請求項2記載の映像監視追跡装置。
- 前記第1エッジ抽出部および第2エッジ抽出部の後段にそれぞれ2値化処理部を設け、各エッジ抽出部よりの各画素のデータを予め設定された閾値により2値のデータに変換し、それぞれ前記論理積回路に入力するようにした請求項1または請求項2記載の映像監視追跡装置。
- 前記エッジ外接座標・画像メモリは、前記エッジ外接座標算出部にてエッジに外接する四角形の座標が算出される都度、記憶のデータを新しいデータに書替える請求項1、請求項2、請求項3または請求項4記載の映像監視追跡装置。
- 前記追跡差分演算部は、前記エッジ外接座標・画像メモリよりの画像データを順次移動させて前記参照画像メモリより読出された画像データと比較し、画像の合致する位置の座標を算出する請求項1、請求項2、請求項3、請求項4または請求項5記載の映像監視追跡装置。
- 前記追跡差分演算部は、前記エッジ外接座標・画像メモリよりの画像データを所要画素数ずつ水平方向および垂直方向に順次移動させて前記参照画像メモリより読出された画像データと比較し、画像の合致する位置の座標を算出する請求項1、請求項2、請求項3、請求項4または請求項5記載の映像監視追跡装置。
- 前記メモリ部に予め設定されたテレビジョンカメラの視野角の中心の向きを記憶し、前記追跡差分演算部で前記参照画像メモリより読出した画像にてエッジ外接座標・画像メモリよりの画像と合致する座標が算出されなくなったとき、前記旋回制御部によりメモリ部より読出したデータに基づきテレビジョンカメラの視野角を前記メモリ部に予め設定された向きに旋回するようにした請求項1、請求項2、請求項3、請求項4、請求項5、請求項6または請求項7記載の映像監視追跡装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP15941896A JP3613301B2 (ja) | 1996-06-20 | 1996-06-20 | 映像監視追跡装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP15941896A JP3613301B2 (ja) | 1996-06-20 | 1996-06-20 | 映像監視追跡装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH1013821A JPH1013821A (ja) | 1998-01-16 |
JP3613301B2 true JP3613301B2 (ja) | 2005-01-26 |
Family
ID=15693317
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP15941896A Expired - Fee Related JP3613301B2 (ja) | 1996-06-20 | 1996-06-20 | 映像監視追跡装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3613301B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6687386B1 (en) * | 1999-06-15 | 2004-02-03 | Hitachi Denshi Kabushiki Kaisha | Object tracking method and object tracking apparatus |
JP3603737B2 (ja) | 2000-03-30 | 2004-12-22 | 日本電気株式会社 | 移動体追尾方法及びその装置 |
KR100455294B1 (ko) * | 2002-12-06 | 2004-11-06 | 삼성전자주식회사 | 감시 시스템에서의 사용자 검출 방법, 움직임 검출 방법및 사용자 검출 장치 |
US7400344B2 (en) | 2002-12-19 | 2008-07-15 | Hitachi Kokusai Electric Inc. | Object tracking method and object tracking apparatus |
JP2005216095A (ja) * | 2004-01-30 | 2005-08-11 | Nippon Micro Systems Kk | 監視装置 |
KR100744158B1 (ko) | 2006-07-25 | 2007-08-01 | 연세대학교 산학협력단 | 확률적인 접근방법을 적용한 영상 감시 시스템 및 방법 |
-
1996
- 1996-06-20 JP JP15941896A patent/JP3613301B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH1013821A (ja) | 1998-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5241782B2 (ja) | カメラ異常検出装置を有する監視カメラシステム | |
JP4626632B2 (ja) | 映像監視システム | |
US6731805B2 (en) | Method and apparatus to distinguish deposit and removal in surveillance video | |
US7260241B2 (en) | Image surveillance apparatus, image surveillance method, and image surveillance processing program | |
US7751647B2 (en) | System and method for detecting an invalid camera in video surveillance | |
JPH09330415A (ja) | 画像監視方法および画像監視システム | |
KR101880100B1 (ko) | 감시영역에서 이동객체의 이상행동을 검출하기 위한 cctv 시스템 | |
JP3613301B2 (ja) | 映像監視追跡装置 | |
JP2001005974A (ja) | 物体認識方法及び物体認識装置 | |
JP3377659B2 (ja) | 物体検出装置及び物体検出方法 | |
JPH0514891A (ja) | 画像監視装置 | |
JPH0793558A (ja) | 画像監視装置 | |
JP3244159B2 (ja) | 映像監視装置 | |
JPH0614320A (ja) | 監視用映像記録装置 | |
JP3848709B2 (ja) | 監視用画像処理装置 | |
JPH05183901A (ja) | 移動体監視装置 | |
JPH056420A (ja) | 侵入監視装置 | |
JP2005094245A (ja) | 動き検出装置 | |
JP2005101807A (ja) | 屋外監視装置および屋外監視方法 | |
JP2001175959A (ja) | 侵入物体検出方法及び侵入物体検出装置 | |
JP2004128648A (ja) | 侵入物体追尾方法 | |
JP2503613B2 (ja) | 異常監視装置 | |
JPH04200084A (ja) | 画像監視装置 | |
JP3792460B2 (ja) | 侵入物体検知画像処理システム | |
JPH0514897A (ja) | 画像監視装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040127 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040322 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040706 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040902 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041006 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041019 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071105 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081105 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081105 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091105 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091105 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101105 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111105 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111105 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121105 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131105 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |