JPH08329227A - 対話型図面認識処理方法 - Google Patents

対話型図面認識処理方法

Info

Publication number
JPH08329227A
JPH08329227A JP8071974A JP7197496A JPH08329227A JP H08329227 A JPH08329227 A JP H08329227A JP 8071974 A JP8071974 A JP 8071974A JP 7197496 A JP7197496 A JP 7197496A JP H08329227 A JPH08329227 A JP H08329227A
Authority
JP
Japan
Prior art keywords
data
line
area
contour line
pair
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP8071974A
Other languages
English (en)
Other versions
JP3358433B2 (ja
Inventor
Hideki Kono
秀樹 河野
Shusuke Sakai
秀典 酒井
Naoki Moriuchi
直樹 森内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Steel Corp
Original Assignee
Nippon Steel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Steel Corp filed Critical Nippon Steel Corp
Priority to JP07197496A priority Critical patent/JP3358433B2/ja
Publication of JPH08329227A publication Critical patent/JPH08329227A/ja
Application granted granted Critical
Publication of JP3358433B2 publication Critical patent/JP3358433B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 認識対象図形を指定した後、その図形につい
て芯線化処理が終了するまでの作業時間を短縮すること
ができる対話型図面認識処理方法を提供する。 【解決手段】 図面をスキャナ12により読み取って得
られたラスターデータに基づいて、ラベル付けられた各
図形要素毎に輪郭線を取り出した輪郭線データと、輪郭
線を構成する各線分についてその外接長方形に関する情
報を木構造で管理する領域データとを作成する。オペレ
ータが位置入力装置16によりCRT表示装置14の画
面上の所定領域をピックし、認識対象となる一対の線分
を指定すると、その指定された領域に対応する領域デー
タを探索し、その探索して得られた領域データに対応す
る輪郭線データを抽出した後、その抽出した輪郭線デー
タに基づいて芯線化処理を行う。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、たとえば既存の図
面をデータベース化する際に、画像データに含まれる各
図形要素についてベクトル化処理を行う対話型図面認識
処理方法に関するものである。
【0002】
【従来の技術】地図や機械図面等の既存の図面について
データベースを構築するために、これまで各種の図面認
識処理方法が提案されている。たとえば、図5に従来の
対話型図面認識処理方法における処理手順を示す。かか
る対話型図面認識処理方法では、まず、図面をスキャナ
で読み取ってランレングス形式を基本としたラスターデ
ータ(ランレングスデータ)を作成する(step52)。こ
のランレングスデータは表示装置の画面上に表示され
る。次に、各図形要素をベクトル化するために、たとえ
ば芯線化の処理を行う。この場合、オペレータが位置入
力装置を用いて画面上で認識対象となる図形の領域を指
定すると、その指定された領域に含まれるランレングス
データについて、そのランレングスの中心を繋いで芯線
を生成する(step54)。そして、他の図形要素について
も対話的に芯線化処理を行った後、図形の修正等を行
い、ベクトルデータを得る(step56)。その後、図面中
に含まれる文字列については文字認識を行い、また、図
形への属性付けや図形間の関連付け等の構造化処理を行
い、構造化されたデータベースが構築される。
【0003】
【発明が解決しようとする課題】しかしながら、従来の
対話型図面認識処理方法では、各図形要素をベクトル化
する場合、ランレングスデータを直接、芯線化していた
ので、かかる芯線化を行う際にランレングスの形状や位
置の判断等、いくつかの処理を行う必要があった。この
ため、オペレータが認識対象図形を指定した後、その図
形の芯線化処理が終了するまでに長時間を要するという
問題があった。
【0004】本発明は上記事情に基づいてなされたもの
であり、認識対象図形を指定した後、その図形について
芯線化処理が終了するまでの作業時間を短縮することが
できる対話型図面認識処理方法を提供することを目的と
するものである。
【0005】
【課題を解決するための手段】上記の目的を解決するた
めの請求項1記載の発明に係る対話型図面認識処理方法
は、予め処理対象である図面を読み取り、得られた画像
データに基づいて、ラベリング処理された各図形要素毎
にその輪郭線を取り出した輪郭線データと、前記輪郭線
を構成する各線分について各線分が図面全体のどの領域
に含まれるのかを示す領域に関する情報を木構造で管理
する領域データとを作成し、前記輪郭線を構成する一対
の線分を含む領域が指定されたときに、その指定された
領域に対応する前記領域データを探索し、その探索して
得られた前記領域データに対応する前記輪郭線データを
抽出した後、その抽出した前記輪郭線データに基づいて
前記指定された一対の線分の芯線を作成することを特徴
とするものである。
【0006】請求項2記載の発明に係る対話型図面認識
処理方法は、請求項1記載の発明において、前記一対の
線分について芯線を生成した後は、前記一対の線分に繋
がっている他の一対の線分を前記輪郭線データに基づい
て追跡し、前記追跡された他の一対の線分について芯線
を生成することを特徴とするものである。
【0007】請求項3記載の発明に係る対話型図面認識
処理方法は、請求項1又は2記載の発明において、前記
輪郭線データは多角形近似処理が施されたものであるこ
とを特徴とするものである。
【0008】各図形要素毎にその輪郭線を取り出した輪
郭線データと、輪郭線を構成する各線分について各線分
が図面全体のどの領域に含まれるのかを示す領域に関す
る情報を木構造で管理する領域データとを作成しておく
ことにより、輪郭線を構成する一対の線分を含む領域が
指定されたときに、その指定された領域に対応する領域
データを効率よく探索することができるので、その探索
して得られた領域データに対応する輪郭線データを迅速
に抽出して、芯線化処理を行うことができる。
【0009】一対の線分について芯線を生成した後は、
その一対の線分に繋がっている他の一対の線分を輪郭線
データだけに基づいて迅速に追跡することができるの
で、その追跡された他の一対の線分について芯線化処理
を自動的に行うことができる。
【0010】
【発明の実施の形態】以下に本発明の一実施形態につい
て図面を参照して説明する。図1は本発明の一実施形態
である対話型図面認識処理方法を用いたCADシステム
の概略構成図、図2はその対話型図面認識処理方法にお
いて領域データの構造を説明するための図である。
【0011】図1に示すCADシステムは、画像入力装
置としてのスキャナ12と、CRT表示装置14と、位
置入力装置(pointing device )16と、中央処理装置
18と、要素ファイル22と、輪郭線ファイル24と、
領域ファイル26と、ベクトルファイル28と、構造化
ファイル32とを備えるものである。本実施形態では、
特に地図や機械図面等の既存の図面をデータベース化す
る場合を考える。
【0012】スキャナ12は、図面を光学的に走査し、
二値画像データとして入力するものである。CRT表示
装置14は、入力した結果を表示するものである。位置
入力装置16は、認識対象図形を指示するためにその図
形の位置座標データを入力するものであり、キーボード
やマウス等が用いられる。
【0013】ここで、スキャナ12から入力された二値
画像データとしては、ファクシミリ等で使用されている
ランレングス形式を基本としたラスターデータを採用し
ている。このラスターデータは、たとえば走査線上で画
素値が「0」(白)から「1」(黒)に変化した始めの
座標を始点、画素値が「1」から「0」に変化する最後
の座標を終点とするベクトルデータである。
【0014】要素ファイル22には、ラスターデータを
ラベリング処理した後、各図形要素データ毎に抽出した
特徴量が記憶される。ここでは、要素データの特徴量と
して、重心、面積、外接長方形、モーメント等を用い
る。輪郭線ファイル24には、各図形要素データ毎にそ
のラスターデータのエッジを取り出した輪郭線のデータ
が記憶される。輪郭線は多角形近似され、多数の線分か
ら構成されており、また、一の輪郭線は閉じた折れ線に
なっている。このため、輪郭線データは、各輪郭線毎に
それを構成する線分をベクトル化したデータとして持っ
ている。尚、図形要素データは、輪郭線のデータとファ
イルポインタあるいは、メモリ上のアドレスポインタに
よりリンクが取られている。
【0015】領域ファイル26には、輪郭線を構成する
各線分が図面全体のどの領域に含まれるのかを示す領域
データが記憶される。領域データは木構造(根、分枝節
点、葉)で管理される。かかる木構造によるデータ管理
では、木構造の各分枝節点が図面上の分割途中の領域を
表し、木構造は、最小分割単位の領域を表す。葉の領域
に含まれる輪郭線データへのポインタが葉と関連付けら
れて主メモリに記憶される。したがって、ある領域を指
定すると、その指定された領域に対応する葉を探索し、
その葉に関連付けられたポインタに基づいて、その指定
された領域に含まれる輪郭線の線分を決定することがで
きる。一例として、略十字の図形について領域データの
木構造を説明する。この十字の図形について、ラスター
データのエッジを取り出した輪郭線を図2(a)に示
す。輪郭線を構成する各線分はその外接長方形毎に管理
される。そして、図面全体は、図2(b)に示すよう
に、各線分の外接長方形が一つずつ含まれるような領域
まで分割される。この分割過程は、図2(c)に示すよ
うな領域管理ツリーとして表され、領域管理ツリーの葉
が、最小の分割領域に対応する。
【0016】特に、本実施形態では、R(Region)−MD
(Multi-Dimensional) 木を用いて、領域データを管理し
ている。R−MD木とは、領域に関する情報を座標に変
換することによりデータの検索をより高速に行うことが
できるMD木である。具体的には、R−MD木では、二
次元図形の外接長方形をその中心位置(xc ,yc )と
外接長方形のx方向の長さxw 及びy方向の長さyw
により表現する。そして、この外接長方形を特徴付ける
四つの値(xc ,yc ,xw ,yw )を四次元座標系に
おける点とみなし、これに所定の座標変換を施して得ら
れる新たな四次元座標系における点をMD木によって管
理している。
【0017】中央処理装置18は、対話型図面入力プロ
グラムに基づいて、所定の処理を実行するものである。
たとえば、入力された二値画像データ(ラスターデー
タ)に基づいて前処理的にラベリング処理、特徴量抽出
処理や輪郭線抽出処理等を施し、要素データ、輪郭線デ
ータ、領域データを作成したり、また、対話的に認識対
象図形を芯線化し、ラスターデータのベクトル化処理を
行う。ベクトルファイル28には、ベクトル化処理後の
ベクトルデータが格納される。更に、中央処理装置18
は、図形に対しその意味や属性を与える属性付与、図形
間の意味的関係を定義する関連付けといった構造化処理
を行う。構造化ファイル32には、構造化されたデータ
が格納され、CADデータベースとして使用される。
【0018】次に、本実施形態の対話型図面認識処理方
法について図3及び図4を用いて説明する。図3はその
対話型図面認識処理方法において認識対象図形を芯線化
処理する手順を説明するための図、図4はその芯線化処
理を具体的に説明するための図である。まず、図面をス
キャナ12により読み取り、ラスターデータを得る(st
ep 2)。たとえば、図4(a)に示すような十字の図形
についてのラスターデータを得たとする。中央処理装置
18は、このラスターデータに基づいてラベリング処理
を行った後、ラベリングした各図形要素毎に特徴量を抽
出し、要素データを作成し、これを要素ファイル22に
記憶する。また、各図形要素毎にそのラスターデータの
エッジを取り出して輪郭線のデータを得て、これを輪郭
線ファイル24に記憶する(step 4)。次に、輪郭線デ
ータに基づいて、輪郭線を構成する各線分についてその
外接長方形に関する情報を木構造で管理するために領域
データを作成する(step 6)。尚、ここまでの動作は、
図面をスキャナ12で読み取った後、中央処理装置18
により自動的に実行される。輪郭線や外接長方形はユー
ザに見えるようにしてもよいし、見えなくてもかまわな
い。
【0019】次に、認識対象図形について芯線化処理を
対話的に行う。ここで、芯線化処理とは、例えば二つの
線分に内接する円の中心を繋いだ線を求める処理のこと
をいう。まず、オペレータが位置入力装置16によりC
RT表示装置14の画面上の所定領域をピックし、認識
対象となる一対の線分を指定する(step 8)。ここで
は、図4(a)に示すように、カーソルのアパチャー領
域である所定領域Rをピックし、十字の図形の左側の略
平行な二つの線分S1 ,S2 を指定したとする。する
と、図4(b)に示すように、領域管理ツリー内を探索
し、ピックされた画面上の所定領域に対応する葉を見つ
けだす(step12)。そして、その葉に関連して記憶され
たポインタに基づいて、線分S1 ,S2 に対応する輪郭
線データを輪郭線ファイル24から抽出する(step1
4)。次に、図4(c)に示すように、抽出した二つの
線分S1 ,S2 に芯線化処理を施し、芯線を生成する
(step16)。このように領域を指定し、二つの線分から
芯線を生成した後は、その二つの線分を追跡処理して、
引き続き芯線を生成していく。すなわち、輪郭線自体は
一本に繋がっているので、直接、輪郭線ファイル24か
ら、いま芯線化した線分S1 ,S2 と所定方向、たとえ
ば図4(a)において右方向に繋がっている輪郭線の線
分を自動的に取り出し、芯線を生成して折れ線を生成す
る(step18)。そして、たとえば、十字の図形の交差部
分等にくると、芯線が生成されなくなり、芯線化処理が
止まる。その後、オペレータが、次の認識対象となる一
対の線分を位置入力装置16により指定すると、たとえ
ば十字の図形の上側の略平行な二つの線分S3 ,S4
指定すると、同様に芯線化処理が行われる。
【0020】ここで、芯線化処理が止まったときには、
オペレータはこれまでに生成された芯線を自由に編集し
たり修正したりすることも可能である。たとえば、手書
き図面の場合、線の位置を修正したり、真っ直ぐな線に
したり、間違って生成された線を修正したりすることが
できる。尚、かかる修正の場合、芯線化したベクトルデ
ータを修正するだけであり、元のラスターデータを変え
るわけではない。
【0021】このように所望の図形要素について輪郭線
を芯線化した後は、その芯線化したデータに所定の処理
を施す。たとえば、複数の折れ線を近似して一本の線に
したり、また、地図データにおける等高線のようなもの
である場合には、滑らかな形状となるようにしたりす
る。こうして芯線化されたデータに基づいて得られたベ
クトルデータは、ベクトルファイル28に格納される
(step22)。その後、図面中に含まれるシンボルについ
てシンボル認識を行い、また、構造化処理を対話的に行
って、得られた構造化データは構造化ファイル32に格
納される。尚、シンボル認識処理においては、要素デー
タと輪郭線データが必要となるが、輪郭線データは要素
データとリンクが取られているため、輪郭線データを要
素データから取り出すという処理になっている。
【0022】本実施形態の対話型図面認識処理方法で
は、各図形要素毎にそのラスターデータのエッジを取り
出した輪郭線データと、輪郭線を構成する各線分につい
てその外接長方形に関する情報を木構造で管理する領域
データとを作成して、輪郭線データを領域データで管理
しておくことにより、認識対象となる一対の線分を含む
領域が指定されると、その指定された領域に対応する領
域データを効率よく探索することができるため、その探
索して得られた領域データに対応する輪郭線データを迅
速に抽出して、芯線化処理を行うことができる。したが
って、認識対象となる一対の線分を指定した後、その線
分について芯線化処理が終了するまでの作業時間を短縮
することができる。また、一対の線分について芯線を生
成した後は、領域データを用いることなく、その一対の
線分に繋がっている他の一対の線分を輪郭線データだけ
に基づいて迅速に追跡することができるので、その追跡
された他の一対の線分について芯線化処理を自動的に行
うことができる。
【0023】尚、本発明は上記の実施形態に限定される
ものではなく、その要旨の範囲内において種々の変形が
可能である。たとえば、本実施形態では、木構造として
R−MD木を用いた場合を説明したが、k−d木等を用
いてもよい。
【0024】
【発明の効果】以上説明したように請求項1記載の発明
によれば、各図形要素毎にその輪郭線を取り出した輪郭
線データと、輪郭線を構成する各線分について各線分が
図面全体のどの領域に含まれるのかを示す領域に関する
情報を木構造で管理する領域データとを作成しておくこ
とにより、輪郭線を構成する一対の線分を含む領域が指
定されたときに、その指定された領域に対応する領域デ
ータを効率よく探索することができるため、その探索し
て得られた領域データに対応する輪郭線データを迅速に
抽出して、芯線化処理を行うことができるので、作業時
間の短縮を図ることができる対話型図面認識処理方法を
提供することができる。
【0025】請求項2記載の発明によれば、一対の線分
について芯線を生成した後は、その一対の線分に繋がっ
ている他の一対の線分を輪郭線データだけに基づいて迅
速に追跡することができるので、その追跡された他の一
対の線分について芯線化処理を自動的に行うことができ
る対話型図面認識処理方法を提供することができる。
【図面の簡単な説明】
【図1】本発明の一実施形態である対話型図面認識処理
方法を用いたCADシステムの概略構成図である。
【図2】その対話型図面認識処理方法において領域デー
タの構造を説明するための図である。
【図3】その対話型図面認識処理方法における芯線化処
理の手順を説明するための図である。
【図4】その芯線化処理を具体的に説明するための図で
ある。
【図5】従来の対話型図面認識処理方法における芯線化
処理の手順を説明するための図である。
【符号の説明】
12 スキャナ 14 CRT表示装置 16 位置入力装置 18 中央処理装置 22 要素ファイル 24 輪郭線ファイル 26 領域ファイル 28 ベクトルファイル 32 構造化ファイル

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 予め処理対象である図面を読み取り、得
    られた画像データに基づいて、ラベリング処理された各
    図形要素毎にその輪郭線を取り出した輪郭線データと、
    前記輪郭線を構成する各線分について各線分が図面全体
    のどの領域に含まれるのかを示す領域に関する情報を木
    構造で管理する領域データとを作成し、前記輪郭線を構
    成する一対の線分を含む領域が指定されたときに、その
    指定された領域に対応する前記領域データを探索し、そ
    の探索して得られた前記領域データに対応する前記輪郭
    線データを抽出した後、その抽出した前記輪郭線データ
    に基づいて前記指定された一対の線分の芯線を作成する
    ことを特徴とする対話型図面認識処理方法。
  2. 【請求項2】 前記一対の線分について芯線を生成した
    後は、前記一対の線分に繋がっている他の一対の線分を
    前記輪郭線データに基づいて追跡し、前記追跡された他
    の一対の線分について芯線を生成することを特徴とする
    請求項1記載の対話型図面認識処理方法。
  3. 【請求項3】 前記輪郭線データは多角形近似処理が施
    されたものであることを特徴とする請求項1又は2記載
    の対話型図面認識処理方法。
JP07197496A 1995-03-27 1996-03-27 対話型図面認識処理方法 Expired - Fee Related JP3358433B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP07197496A JP3358433B2 (ja) 1995-03-27 1996-03-27 対話型図面認識処理方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP9301395 1995-03-27
JP7-93013 1995-03-27
JP07197496A JP3358433B2 (ja) 1995-03-27 1996-03-27 対話型図面認識処理方法

Publications (2)

Publication Number Publication Date
JPH08329227A true JPH08329227A (ja) 1996-12-13
JP3358433B2 JP3358433B2 (ja) 2002-12-16

Family

ID=26413098

Family Applications (1)

Application Number Title Priority Date Filing Date
JP07197496A Expired - Fee Related JP3358433B2 (ja) 1995-03-27 1996-03-27 対話型図面認識処理方法

Country Status (1)

Country Link
JP (1) JP3358433B2 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01245371A (ja) * 1988-03-26 1989-09-29 A T R Shichiyoukaku Kiko Kenkyusho:Kk 形状記述方法
JPH02288978A (ja) * 1989-02-13 1990-11-28 Ricoh Co Ltd 図面処理方法
JPH0434668A (ja) * 1990-05-31 1992-02-05 Toshiba Corp 画像処理方法および装置
JPH04141783A (ja) * 1990-10-03 1992-05-15 Dainippon Printing Co Ltd 電子線図形データ作成装置及び方法
JPH05225326A (ja) * 1992-01-13 1993-09-03 Nec Corp 図形骨格検出方法およびその装置
JPH05334383A (ja) * 1992-05-29 1993-12-17 Toshiba Corp 画像図形編集装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01245371A (ja) * 1988-03-26 1989-09-29 A T R Shichiyoukaku Kiko Kenkyusho:Kk 形状記述方法
JPH02288978A (ja) * 1989-02-13 1990-11-28 Ricoh Co Ltd 図面処理方法
JPH0434668A (ja) * 1990-05-31 1992-02-05 Toshiba Corp 画像処理方法および装置
JPH04141783A (ja) * 1990-10-03 1992-05-15 Dainippon Printing Co Ltd 電子線図形データ作成装置及び方法
JPH05225326A (ja) * 1992-01-13 1993-09-03 Nec Corp 図形骨格検出方法およびその装置
JPH05334383A (ja) * 1992-05-29 1993-12-17 Toshiba Corp 画像図形編集装置

Also Published As

Publication number Publication date
JP3358433B2 (ja) 2002-12-16

Similar Documents

Publication Publication Date Title
US20180182104A1 (en) Segmentation of an image based on color and color differences
US6118897A (en) Interactive drawing recognition processing method and apparatus thereof
JP5854802B2 (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
US20220301239A1 (en) Automatic coloring of line drawing
Governi et al. 3D geometry reconstruction from orthographic views: A method based on 3D image processing and data fitting
CN115812221A (zh) 图像生成及着色方法及装置
CN112784531A (zh) 一种基于深度学习和部件拼接的中文字形及字库生成方法
CN114782645A (zh) 虚拟数字人制作方法、相关设备及可读存储介质
JP3564371B2 (ja) 図形編集装置及び方法
US5694536A (en) Method and apparatus for automatic gap closing in computer aided drawing
US5574839A (en) Method and apparatus for automatic gap closing in computer aided drawing
JP3358433B2 (ja) 対話型図面認識処理方法
CN114359038A (zh) 基于生成对抗网络的多风格动态组字方法
JPH01129358A (ja) 表数値演算装置
JPH07121699A (ja) 画像処理装置
Olivier et al. Structured Shape-Patterns from a Sketch: A Multi-Scale Approach
JP3896168B2 (ja) 図面入力装置における線種認識方法
CN118261779B (zh) 基于生成对抗网络的色盲友好地图转换方法、***及终端
JP3209003B2 (ja) 立体形状の自動生成方法および装置
Goel et al. Computer vision aided pottery classification and reconstruction
JP3635734B2 (ja) 三次元多関節構造体形状生成方法
JPH06337929A (ja) 図面管理方法および装置
JP3582143B2 (ja) 地図入力システムにおける家屋認識方法
JP3647075B2 (ja) 画像検索方法及びその装置
JP3078038B2 (ja) 図面自動入力システム及びその方法

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20020910

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081011

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081011

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091011

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091011

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101011

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111011

Year of fee payment: 9

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111011

Year of fee payment: 9

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees