JP3398510B2 - 物体検知シテム - Google Patents

物体検知シテム

Info

Publication number
JP3398510B2
JP3398510B2 JP06045595A JP6045595A JP3398510B2 JP 3398510 B2 JP3398510 B2 JP 3398510B2 JP 06045595 A JP06045595 A JP 06045595A JP 6045595 A JP6045595 A JP 6045595A JP 3398510 B2 JP3398510 B2 JP 3398510B2
Authority
JP
Japan
Prior art keywords
image
detection system
object detection
area
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP06045595A
Other languages
English (en)
Other versions
JPH08263755A (ja
Inventor
喜茂 村上
勲 東福
義春 神前
正朗 大田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP06045595A priority Critical patent/JP3398510B2/ja
Publication of JPH08263755A publication Critical patent/JPH08263755A/ja
Application granted granted Critical
Publication of JP3398510B2 publication Critical patent/JP3398510B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Burglar Alarm Systems (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】 本発明は、航空機が空港内の駐
機位置(以後スポットと呼ぶ)に進入,停止(以後,ス
ポットイン,またはインと呼ぶ)及びスポットからの退
出開始(以後スポットアウト,またはアウトと呼ぶ)す
ることを航空機監視用のITVカメラ(工業用監視テレ
ビカメラ)等で得られた1画面毎の映像信号から自動的
に検知する物体検知システムに関する。
【0002】
【従来の技術】 従来技術の一例を以下に示す。従来、
多数のITVカメラ(撮像手段)からの映像を数台のモ
ニタに切換えて監視員が常時目視で監視を行い、航空機
進入又は退出を目視で確認するのが通常である。
【0003】 図17は従来の物体検知システムの例を
示す。1はITVカメラ(撮像手段),2はビデオ切替
え回路,2−1はビデオ分配機,2−2は4画面合成
機,2−2、2−4はビデオスイッチャ,3−1、3−
5、3−6、3−10はモニタ,3は全体監視パネル,
4−1、4−5はパソコン(WS)、5はビデオ切替回
路の制御用マイコンを示す。
【0004】 図17の従来の物体検知システムの動作
について説明する。ITVカメラ1からの出力信号は、
ビデオ分配機2−1で分配される。ビデオ分配機2−1
からの一方の出力は、四面合成機で4面に合成されてビ
デオスイッチャ2−3へ、ビデオ分配機2−1からの他
方の出力は、ビデオスイッチャ2−4へ出力される。ビ
デオスイッチャ(2−3,2−4)は、パソコン(W
S)(4−1,4−5)からの指示を示すモニタ切替え
信号により、送られた映像信号を切り替えて、各モニタ
(3−1,3−5,3−6,3−10)へ出力する。監
視員が各モニタ(3−1,3−5,3−6,3−10)
に映し出された映像を見て物体の進入又は退出であるこ
とを検知している。
【0005】
【発明の解決しようとする課題】 従来のITVによる
物体進入又は退出の検知では、航空機の離発着回数が増
加した場合、もれなく検知を行うのはかなり困難とな
る。これを自動化するためには例えば、駐機位置の地中
に航空機を検知するためのセンサを埋め込むなどの方法
も考えられているが、この場合、センサの設置、故障時
のメンテナンス時などに多大な費用,労力を要するもの
となる。
【0006】
【課題を解決するための手段】 第1の本発明の物体検
知システムは、映像信号中に設定された、物体検知が予
想される所定領域の基準映像と、入力された映像信号と
の差分映像信号を抽出するマスク差分処理手段と、予め
設定された所定の閾値レベルを超える照度を有する画素
数が、一画面に対応する該差分映像信号に占める割合に
応じて、物体の進入又は退出を検知する検知手段とを有
する。
【0007】 第2の本発明の物体検知システムは、映
像信号中に物体を検知する複数の所定の物体検知が予想
される領域を設定し、それぞれの該領域からの差分映像
信号を抽出するマスク差分処理手段と、且つ複数の該領
域からの差分映像信号により同時に物体の進入を検知し
た場合には複数の該領域での物体の進入又は退出を検知
したことをマスクして通知しない検知手段を設けた。
【0008】 第3の本発明の物体検知システムは、物
体検知が予想される領域における撮像手段からの出力信
号のうち赤緑青の信号にぞれぞれ分離して抽出するRG
B分離抽出手段と、RGB分離抽出手段からのそれぞれ
の赤緑青の信号に基づいて上記領域における色を識別す
る色識別手段と、色識別手段で得られた色情報を加味し
て物体の進入又は退出を検知する検知手段とを有する。
【0009】
【作用】 映像信号中に設定された、物体検知が予想さ
れる所定領域の基準映像と、入力された映像信号との差
分映像信号を抽出して、予め設定された所定の閾値レベ
ルを超える照度を有する画素数が、一画面に対応する差
分映像信号に占める割合に応じて物体の進入又は退出を
検知することができる。さらに、映像信号中に複数の物
体検知が予想される所定領域を設定し、それぞれの領域
からの差分映像信号により同時に物体の進入を検知した
場合には複数の領域での物体の進入又は退出を検知した
ことをマスクして通知しないことが可能である。
【0010】 さらに、撮像手段からの出力信号を利用
して、物体検知が予想される所定領域内の色情報を抽出
して、その色情報を用いて物体の進入又は退出であるこ
とを検知することも可能である。
【0011】
【実施例】 本発明の物体検知システムは、映像の中か
ら特定の事象(今回は航空機のスポットイン/アウト)
を抽出して、物体を検知する。第1図に本発明の物体検
知システムを示す。第1図の本発明の物体検知システム
は、従来の物体検知システムと異なる部分について説明
する。
【0012】 物体検知システムは、ビデオ分配機2−
1からの映像信号を処理している。第2図は第1の本発
明の物体検知システム(その1)を示す。次に、物体検
知システムの詳細を示す。61はITVカメラ1からの
映像をフレーム積分する映像積分器,62−1及び62
−2は制御装置1(コンピュータ),制御装置2(コン
ピュータ)からの制御で映像信号の切換を行う画像スイ
ッチャー,40〜90は画像スイッチャーからの切換ら
れた映像信号の同期を画像処理装置63−1,63−2
の同期信号にあわせるタイムベースコレクタ,63−1
及び63−2は同期合わせされた映像信号を画像処理す
る画像処理装置,120及び130は画像処理装置(6
3−1、63−2)及び画像スイッチャー(62−1、
62−2)を制御するコンピュータ、140は制御装置
120、130からの信号を同期モデムや別回線へ出力
するために切り替えて出力するスイッチユニット(SW
U),150はスイッチユニット140からの信号を変
換してコンピュータ等へ出力する同期モデムを示す。
【0013】 図3に本発明の物体検知システムの動作
原理を示す。各スポットの位置は一定していることか
ら、本発明のシステムでは、所定領域(マスク)の照度
変化を航空機の所定領域内における進入又は退出である
と判定する。照度変化は背景となる基準画像との差分に
より検出できる。所定領域内における進入又は退出であ
るとの判定をするのは、 図3に示しているように例え
ば、差分画像中のマスク内の照度変化した領域Sがマス
クの面積Mの50%より大きくなった場合である。
【0014】 図4は画像平均化処理を示すもので、複
数の入力画像(例えば33フレームの画像)を平均化し
て基本画像を得ることを示している。図5は本発明の画
像処理を示す構成図である。映像積分器61は、入力さ
れたITVカメラからの映像信号をフレーム毎に平均化
する。画像平均とは、第4図に示すように入力される画
像を常に規定フレーム分平均化を行い出力することで、
ノイズの軽減,瞬間的に変化する照度変化を抑制するこ
とを可能とした。さらに、映像内の点滅ライトやカメラ
前面のワイパーによる照度変化をキャンセルできる。
【0015】 図2の映像積分器61から出力される平
均化された映像は画像スイッチャー62−1及び62−
2で切換られそれぞれ、タイムベースコレクタ40〜9
0で同期を調整し、画像処理装置63−1,63−2へ
入力される。画像処理装置のそれぞれのモジュールは、
第5図のような構成がなされおり、1つのイメージメモ
リがカメラ1台分の映像と対応している。従って、第5
図に示すように、コンピュータ12及び13はネットワ
ーク切換制御(IM1〜4)に対応して、画像スイッチ
ャーへカメラ映像の切換制御を行えば、複数のカメラを
1つの画像処理モジュールで処理可能となる。ただし、
本発明では処理速度の問題から4モジュールを採用して
いる。画像処理装置の他のモジュールにも同様のネット
ワークがあり、2台の画像処理装置で最大4×3×2=
24台のカメラ映像を処理可能となる。
【0016】 画像処理装置の1つのモジュールについ
て画像処理の内容を以下に述べる。 (1) 差分処理 図5に示すイメージメモリに対応するカメラの基本画像
を一旦メモリし、入力される映像との差分処理を行う
( 図6参照)。これにより、映像に照度変化の起こっ
た部分言い換えれば、映像の変化分が抽出できることに
なる。これにより、一定時間毎に基準画像と現在画像と
の差分を取り暫時基準画像の更新を行う。
【0017】 図7「通常時」変化量が一定値(例え
ば、マスク内の変化した領域が10%)を超えた場合、
指定領域内における物体の検知が開始されると同時に基
準画像の更新を停止し、変化量の増加が停止するまでこ
れを追跡する。ここで変化領域が航空機の大きさにあた
るならば指定領域内における航空機の進入又は退出であ
ると判定する。
【0018】 (2) マスク処理 図8に示すように、処理範囲を限定するためイメージメ
モリから入力される映像に対してマスク処理を行う。ま
たマスクは、処理時間短縮のため各カメラ毎に予め設定
しておく。 (3) ラベリング(LB) ラベリング処理とは、2値画像に対し、画素同士の連結
状態を調べ、互いに連結しているかたまりを一つの領域
と考え、その個々の領域に番号を付与する。( 図9参
照) (4)ヒストグラム(HS) 入力されたラベリング画像に対して、それぞれラベリン
グ濃度毎(1〜255)に画像数を計測する処理であ
る。( 図10参照)本処理により、マスク内の差分画
像の大きさを検出する。
【0019】 (5) データ変換(DC) データ変換では、入力画像データの濃度値に対応する出
力データの濃度値をLUT(Look up Tabl
e)に設定して、入力画像データの濃度値を変換する処
理である。( 図11参照)今回は、ヒストグラムからの
入力データをもとに画像数の少ない濃度値を”0”に変
換している。(削除するために使用している。この処理
により、映像ノイズの削除を行う。) (6) 投 影(PJ) 投影処理は、入力画像データに対して、水平方向
(X)、及び垂直方向(Y)投影(画素の濃度値を累積
する)を算出する。1カメラ当たり3スポットの処理を
行うため、今回は、垂直方向(Y)の投影量を使用し判
定の基準としている。( 図12参照)ここまでの画像
処理結果は、 図2に示すようにコンピュータ12及び
13へ送られ画像処理の結果量から以下に述べる判定処
理を行っている。判定迄のフローを第13図に示す。
【0020】 図13の物体検知システムの処理フロー
について以下簡単に説明する。検知処理を開始し、(ス
テップ1)画面上の処理範囲決める(ステップ2)。
差分処理をする為の基準となる基準画像を4枚のイメー
ジメモリに切り替えて格納する(ステップ3)。ITV
カメラで撮像された現在の画像を取り込んで(ステップ
4)、基準画像と差分処理をして、濃度変化した画像の
抽出を行い、ステップ2での処理範囲に基づきマスク処
理をして、処理範囲内の画像のみ抽出する(ステップ
5)。処理範囲内の画像にラベリング付けを行う(ステ
ップ6)。得られたラベリング画像に対して、ラベリン
グ濃度毎に画素数を計算してヒストグラム処理する。こ
の処理でマスク内の差分画像の大きさ(面積)を算出す
る(ステップ7)。ヒストグラムからの入力データを基
に画像数の少ない濃度値を削除する。これは同じ濃度値
のものが小さい領域を占めているものは、データ“0”
に変換処理することで画像から除去する(ステップ
8)。スポット別に入力画像データの画素の濃度値を累
積して、投影量を算出している(ステップ9)。この投
影量を使用して、所定の投影量未満であれば背景ノイズ
としてステップ13へ、所定の投影量以上であればマス
ク内の一定領域以上が変化したことを示す濃度検出した
ことを示す(ステップ10)。濃度検出されて、所定領
域内における物体の進入又は退出であるというイン/ア
ウト判定の条件も満たせば物体の進入又は退出であると
検知つまりイン/アウト検知し、所定領域内における物
体の進入又は退出であるとのイン/アウト判定も条件が
満たさなければ未検出となり、ステップ13へ移行する
(ステップ11)。ビデオスイッチーを切り替えて(ス
テップ13)、基本画像(つまり基準画像)を更新する
かどうかを決め、更新するので有ればステップ3へ、更
新しなければステップ4へ戻る(ステップ12)。所定
領域内における物体の進入又は退出であるとの判定で物
体の進入又は退出であることを検知したら検知処理終了
になる(ステップ14)画像処理の結果から所定領域内
の航空機の進入又は退出を判定する場合には、以下に示
すような誤検知源が考えられ、これらをコンピュータ1
2及び13の判定処理で検知確率の向上を図っている。
【0021】 所定領域内における進入又は退出を行う
航空機の移動は継続的で変化量が大きいため、前画面と
の差分を取ることにより、その面積変化の状況からノイ
ズ発生や自動車等による照度変化の影響を軽減すること
ができる( 図14 参照)。 a ノイズ発生 面積の小さいもの : 一定値以下の変化面積はノイズ
の発生によるものとして無視する。そのことによりノイ
ズの影響を抑えることができる。(閾値を設定する。) 面積の大きいもの : 発生後継続時間の短いものはノ
イズの発生によるものとして無視(非継続的なもの)す
る。そのことによりノイズの影響を抑えることができ
る。
【0022】 面積の大きいもの : 航空機との判別
する。(継続的なもの) b 自動車等 航空機に比べ面積が小さく、また画像中を移動する時間
も短いため影響を抑えることができると考える。
【0023】 c 照度変化 変化としては急激である為、影響を抑えることが可能で
す。しかしながらこのとき基準画面をセットする必要が
ある。 d 画面全体的な照度変化 太陽光等の変化により、画面が全体的に変化した場合、
1つの画面で3スポットを監視しているため3スポット
全部にマスク領域内の差分映像信号が一定値以上となる
濃度検出が結果として得られる。この場合、照度変化が
発生したと考え基本画像を更新することにより、変化を
キャンセルする。
【0024】 これらの他、ITVカメラは監視用とし
ても利用するため画像処理のために固定のままと言うわ
けにはいかない。従って、本発明ではITVカメラより
通信回線でITVとの通信を行い、対応するカメラが手
動で操作する場合に自動的に画像処理を一時停止する機
能を設けた。カメラが設定位置に復旧した場合も同様に
通信回線により情報を把手画像処理を再開するものとし
た。さらにカメラ復旧時には基本画像が変化している可
能性があるため、無条件に基本画像を更新する。
【0025】 又、通信回線は本装置の重要な部分であ
るので、コンピュータ間をLAN等の通信手段を用いて
相互に動作監視用として使用され、片系に処理続行不可
能な異常が発生した場合に通信を片系に移されて回線の
信頼性を確保するものとした。また、 図15には、第
2の実施例である物体検知システムを示している。図1
5は、 図2の物体検知システムと異なるのは、画像ス
イッチャー(62−1、62−2)からの画像を画像処
理するのと同期させるタイムベースコレクタ71で同期
を取り、画像処理装置72(カラー処理モジュール)で
カラー画像を出力することである。
【0026】 さらに、画像処理装置72(カラー処理
用モジュール)の構成図( 図16)を使用して説明す
る。画像スイッチャーからの画像はRGB分離72−1
で赤、緑、青の画像毎に分離し、各々A/D変換器(7
3−1、73−2、73−3)へ送られる。A/D変換
器(73−1、73−2、73−3)は、得られた画像
をディジタル変換して得られたディジタル画像をマスク
処理部(74−1〜74−7)へ出力する。マスク処理
部(74−1〜74−7)は、ディジタル画像のうち所
定領域の画像を抽出する。各マスク処理部(74−1〜
74−7)で得られた赤、緑、青の信号は、特定色抽出
部75へ出力される。特定色抽出部は、各赤、緑、青の
信号を抽出して、投影処理部76へ送る。投影処理部7
6は、投影量を算出して制御装置へ出力する。
【0027】
【発明の効果】 本発明は、従来の人間の監視に頼って
いた部分を画像処理を用いることで、ある特定なイベン
トを抽出し通知することができ、運用者の作業を軽減す
ることが可能となり人権費などランニングコストの軽減
に寄与する。また、数多い監視カメラを常時全て監視す
ることは作業者にとって不可能に近く、24時間監視を
行うならば大変な負担となっているが、本発明では、特
定のイベントのみを抽出するので、数多くのカメラを監
視可能であり、通常の監視業務の補助的役目も果たす。
【図面の簡単な説明】
【図1】 本発明の物体検知システムを示す図である。
【図2】 本発明の第1の物体検知システムを示す図
(その1)である。
【図3】 本発明の物体検知システムの動作原理を示す
図である。
【図4】 本発明の画像平均処理を示す図である。
【図5】 本発明の画像処理を示す構成図である。
【図6】 本発明の差分処理を示す図である。
【図7】 本発明の差分処理原理を示すブロック図であ
る。
【図8】 マスク設定イメージを示す図である。
【図9】 ラベリングイメージを示す図である。
【図10】 ヒストグラムイメージを示す図である。
【図11】 データ変換イメージを示す図である。
【図12】 投影量算出イメージを示す図である。
【図13】 物体検知システムの処理フローである。
【図14】 変化面積の推移を示す図である。
【図15】 本発明の第2の物体検知システムを示す図
(その2)である。
【図16】 カラー処理用モジュールの構成図である。
【図17】 従来の物体検知システムを示す図である。
【符号の説明】
1・・・ITVカメラ、2・・・ビデオ切替え回路、2
−1・・・ビデオ分配機、2−2・・・四画面合成機、
2−3、2−4・・・ビデオスイッチャ、3・・・全体
監視パネル、3−1〜3−10・・・モニタ、4・・・
パソコン、4−1〜4−5・・・パソコン(WS)、5
・・・制御用マイコン、6・・・スポットイン/アウト
自動検知システム、61・・・映像積分器、62・・・
ビデオスイッチ、62−1,62−2・・・画像スイッ
チャー、40〜90・・・タイムベースコレクタ、63
・・・画像処理装置、63−1,63−2・・・画像処
理装置1、120・・・制御装置1、130・・・制御
装置2、140・・・SWU、150・・・同期モデム
───────────────────────────────────────────────────── フロントページの続き (72)発明者 神前 義春 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (72)発明者 大田 正朗 大阪府泉佐野市泉州空港北1番 関西国 際空港株式会社内 (56)参考文献 特開 平5−266198(JP,A) 特開 平2−61793(JP,A) 特開 平3−35368(JP,A) (58)調査した分野(Int.Cl.7,DB名) G08B 13/196

Claims (2)

    (57)【特許請求の範囲】
  1. 【請求項1】 撮像手段からの出力信号を一画面毎の
    として読み出し、物体の進入又は退出検知に使用する
    物体検知システムにおいて、入力画像基準画像との差分画像から該差分画像中に
    定の物体検知が予想される領域の差分画像を抽出する差
    分処理手段と、 該領域差分画像から一定値以上となる濃度検出が結果
    として得られる場合、物体の進入又は退出を検知する検
    出手段とを備え、 該検出手段が複数の該領域で同時に物体の進入又は退出
    を検出した場合、該基準画像を更新することを特徴とす
    る物体検知システム。
  2. 【請求項2】 請求項1記載の物体検知システムに、上
    記領域における撮像手段からの出力信号を赤緑黒の信号
    にぞれぞれ分離して抽出するRGB分離抽出手段と、 該RGB分離抽出手段からのそれぞれの赤緑青の信号に
    基づいて上記領域における色を識別する色識別手段とを
    付加し、 色識別手段で得られた色情報を加味して物体の進入又は
    退出を検知する検知手段とを有することを特徴とする請
    求項1記載の物体検知システム。
JP06045595A 1995-03-20 1995-03-20 物体検知シテム Expired - Lifetime JP3398510B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP06045595A JP3398510B2 (ja) 1995-03-20 1995-03-20 物体検知シテム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP06045595A JP3398510B2 (ja) 1995-03-20 1995-03-20 物体検知シテム

Publications (2)

Publication Number Publication Date
JPH08263755A JPH08263755A (ja) 1996-10-11
JP3398510B2 true JP3398510B2 (ja) 2003-04-21

Family

ID=13142769

Family Applications (1)

Application Number Title Priority Date Filing Date
JP06045595A Expired - Lifetime JP3398510B2 (ja) 1995-03-20 1995-03-20 物体検知シテム

Country Status (1)

Country Link
JP (1) JP3398510B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4730402B2 (ja) * 2008-06-30 2011-07-20 カシオ計算機株式会社 撮像装置、撮像制御方法及びプログラム

Also Published As

Publication number Publication date
JPH08263755A (ja) 1996-10-11

Similar Documents

Publication Publication Date Title
WO2020235819A1 (ko) 인공지능을 이용한 영상 기반의 실시간 침입 감지 방법 및 감시카메라
US20030231787A1 (en) Monitoring system and monitoring method
WO2014051337A1 (ko) 복수 개의 촬영영상으로부터 이벤트를 검출하는 장치 및 방법
WO2014051262A1 (ko) 이벤트 룰 설정방법 및 이를 이용한 이벤트 감시장치
JP5045590B2 (ja) 表示装置
WO2016024680A1 (ko) 주행차량의 번호판 인식이 실시간으로 가능한 차량용 블랙박스
WO2011043498A1 (ko) 지능형 영상 감시 장치
JPH0520559A (ja) 画像処理を用いた防災監視装置
WO2016064107A1 (ko) 팬틸트줌 카메라 기반의 영상 재생방법 및 장치
JP3377659B2 (ja) 物体検出装置及び物体検出方法
WO2018097384A1 (ko) 밀집도 알림 장치 및 방법
KR20010043423A (ko) 카메라 신호 처리 장치 및 카메라 신호 처리 방법
JP3398510B2 (ja) 物体検知シテム
WO2020027512A1 (ko) 압축영상에 대한 신택스 기반의 ptz 카메라의 객체 추적 제어 방법
JP2001189925A (ja) 移動物体監視システム
JP3450529B2 (ja) 映像自動モニタ装置
JP4306017B2 (ja) 監視カメラシステム
JPH10322684A (ja) カメラ装置
JP2000222646A (ja) 監視カメラシステム
JP2001145091A (ja) 画像伝送方式
JP3492239B2 (ja) 画像監視装置
JP3890155B2 (ja) 画像センサ
JP2503613B2 (ja) 異常監視装置
JP2007096613A (ja) 監視システム及び監視方法
JP2000034088A (ja) マンコンベアの乗客監視装置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20030114

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080214

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090214

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090214

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100214

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110214

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110214

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120214

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130214

Year of fee payment: 10

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130214

Year of fee payment: 10

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140214

Year of fee payment: 11

EXPY Cancellation because of completion of term