JP4378571B2 - 地図変化検出装置、地図変化検出方法およびプログラム - Google Patents
地図変化検出装置、地図変化検出方法およびプログラム Download PDFInfo
- Publication number
- JP4378571B2 JP4378571B2 JP2007145971A JP2007145971A JP4378571B2 JP 4378571 B2 JP4378571 B2 JP 4378571B2 JP 2007145971 A JP2007145971 A JP 2007145971A JP 2007145971 A JP2007145971 A JP 2007145971A JP 4378571 B2 JP4378571 B2 JP 4378571B2
- Authority
- JP
- Japan
- Prior art keywords
- feature
- map
- data
- height
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/176—Urban or other man-made structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
- G06V20/38—Outdoor scenes
- G06V20/39—Urban scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
- Instructional Devices (AREA)
Description
特許文献1を一例とする関連する技術においては、地図変化の検出漏れが発生する場合がある。その理由は、イメージマッチングの結果から建物の滅失を判定するので、類似形状の家屋が多数存在する場合にはイメージマッチングに失敗するため、本来の滅失家屋が検出されない場合があるからである。
以上により、図4のステップS1に示された地物高さデータの取得を行なうことができる。
建物内側判定部73(図2参照)は、抽出済み地物高さデータについて、高さが0より大きい画素を選択する(ステップB1)。すなわち、図7の処理において高所抽出閾値未満の高さを有する画素については、地物高さデータを0としたことから、ここで処理を行なう対象の画素は、高所抽出閾値以上の地物高さデータの画素である。
建物内側高所領域面積計算部74(図2参照)は、注目建物を指し示す初期値を設定する(ステップC1)。注目建物中の画素について、注目画素を指し示す初期値を設定する(ステップC2)。注目建物中の高所領域について、変数“面積”を0として初期化し、注目建物中の変数“高さ総和”を0として初期化する(ステップC3)。
建物外側判定部75(図2参照)は、抽出済み地物高さデータについて、図8BのステップB1と同様に、高さが0より大きい画素を選択する(ステップD1)。そして、抽出済み地物高さデータの全ての画素について、有効または無効のデータを保持するようにし、全て有効の状態で初期化を行なう(ステップD2)。そして、注目画素を指し示す初期値を設定する(ステップD3)。また、図8BのステップB4と同様に、注目建物を指し示す初期値を設定する(ステップD4)。
建物外側高所領域面積計算部77(図2参照)は、まず、注目ラベルを指し示す初期値を設定する(ステップE1)。注目ラベルとは、現在処理を行なっている変化検出対象地域内において抽出された建物外側高所領域のラベルであり、任意のラベルを最初の注目ラベルとして初期化する。
滅失判定部80は、判定規則記憶部41に予め保持されている滅失判定閾値を入力する(ステップF1)。図8BのステップB4と同様に、注目建物を指し示す初期値を設定する(ステップF2)。そして、注目建物の高所領域の面積を、高所領域抽出部70において計算した値から入力する(ステップF3)。
新築判定部90は、判定規則記憶部41に予め保持されている新築判定閾値を入力する(ステップG1)。図8EのステップE1と同様に、注目ラベルを指し示す初期値を設定する(ステップG2)。そして、注目ラベルの高所領域の面積を、高所領域抽出部70において計算した値から入力する(ステップG3)。
第1に、地物の高さから地図上の地物の滅失を検出することができる。その理由は、航空画像データに対してステレオマッチング処理および地物高さ計算処理により得られる地物高さデータと地図とを比較することにより、地物の高さと地図の情報とを高精度で対応付けることができるからである。
次に説明する適用例は、本発明の実施例として示した変化検出装置を具体的に適用した一例である。適用例では、実施例と同様の基本構成および基本動作を採用する。以下、実施例との相違点について主に説明し、実施例と共通する構成および動作については説明を適宜省略する。
図11は、実世界の地上の状態の一例を示す模式図である。図11は、実世界の一部の断面を示したものであり、起伏のある地形の上に地物が存在する。
図14は、地物高さデータの一例を示す模式図である。図14に描かれている点線は、ユーザが指定した高所抽出閾値の高さを表す。
第1に、地物高さ抽出手段を備えていることにより、DSMデータと地図データとの比較が可能となり、建築物の高さを考慮した変化検出により、検出漏れの少ない滅失の判定を行なうことができる。
20 メッシュデータ入力部
30 地図データ入力部
40 判定規則入力部
41 判定規則記憶部
50 ステレオ処理部
60 地物高さ計算部
70 高所領域抽出部
71 高所抽出処理部
72 判定種別処理部
73 建物内側判定部
74 建物内側高所領域面積計算部
75 建物外側判定部
76 建物外側高所領域ラベリング部
77 建物外側高所領域面積計算部
80 滅失判定部
90 新築判定部
100 変化検出装置
110 変化検出プログラム
201 CPU
202 主記憶部
203 提示部
204 入力部
205 インタフェース部
206 補助記憶部
207 システムバス
101A、101B 航空写真
201A 地図上建築物
201B 地図上街区
301 高所領域
401A 地図上滅失建物
401B 地図上変化無し建物
501 地図上新築建物
Claims (11)
- 地図に記載される対象となる地物の変化を検出する地図変化検出装置であって、
複数の異なる位置から所定の領域を撮影した複数の画像を入力として、該所定の領域の表層を3次元座標で表したデジタル表層モデルデータを抽出するステレオマッチング処理手段と、
前記ステレオマッチング処理手段で抽出した前記デジタル表層モデルデータから、地表面の標高を差し引いた地物高さを抽出する地物高さ抽出手段と、
前記地物高さ抽出手段で抽出した地物高さデータと地図データとを比較して、前記対象となる地物の変化を検出する変化検出手段と、
を備えることを特徴とする地図変化検出装置。 - 前記変化検出手段は、前記地物高さデータのうち所定の値以上の高さを有する地点の集合である高所領域を抽出し、該高所領域と前記地図データとを比較して、前記対象となる地物の変化を検出することを特徴とする請求項1に記載の地図変化検出装置。
- 前記変化検出手段は、
前記地図データに対象となる地物が存在しない地点において、前記地物高さデータが所定の値以上である場合、又は
前記地図データに対象となる地物が存在する地点において、前記地物高さデータが所定の値以下である場合に、
前記対象となる地物の変化を検出することを特徴とする請求項1又は2に記載の地図変化検出装置。 - 前記変化検出手段は、前記地図データに対象となる地物が存在しない領域において、前記高所領域の1つの部分集合が所定の密度を超え、かつ所定の面積を超える場合に、前記対象となる地物の変化を検出することを特徴とする請求項2に記載の地図変化検出装置。
- 前記変化検出手段は、前記地図データ記載の対象となる地物内において、前記高所領域が所定の面積以下の場合に、前記対象となる地物の変化を検出することを特徴とする請求項2に記載の地図変化検出装置。
- 地図上の所定領域に含まれる対象となる地物の変化を検出する地図変化検出方法であって、
複数の異なる位置から所定の領域を撮影した複数の画像を入力として、該所定の領域の表層を3次元座標で表したデジタル表層モデルデータを抽出するステレオマッチング処理ステップと、
前記ステレオマッチング処理ステップで抽出した前記デジタル表層モデルデータから、地表面の標高を差し引いた地物高さを抽出する地物高さ抽出ステップと、
前記地物高さ抽出ステップで抽出した地物高さデータと地図データとを比較して、前記対象となる地物の変化を検出する変化検出ステップと
を備えることを特徴とする地図変化検出方法。 - 前記変化検出ステップは、前記地物高さデータのうち所定の値以上の高さを有する地点の集合である高所領域を抽出し、該高所領域と前記地図データとを比較して、前記対象となる地物の変化を検出することを特徴とする請求項6に記載の地図変化検出方法。
- 前記変化検出ステップは、
前記地図データに対象となる地物が存在しない地点において、前記地物高さデータが所定の値以上である場合、又は
前記地図データに対象となる地物が存在する地点において、前記地物高さデータが所定の値以下である場合に、
前記対象となる地物の変化を検出することを特徴とする請求項6又は7に記載の地図変化検出方法。 - 前記変化検出ステップは、前記地図データに対象となる地物が存在しない領域において、前記高所領域の1つの部分集合が所定の密度を超え、かつ所定の面積を超える場合に、前記対象となる地物の変化を検出することを特徴とする請求項7に記載の地図変化検出方法。
- 前記変化検出ステップは、前記地図データ記載の対象となる地物内において、前記高所領域が所定の面積以下の場合に、前記対象となる地物の変化を検出することを特徴とする請求項7に記載の地図変化検出方法。
- コンピュータを、
複数の異なる位置から所定の領域を撮影した複数の画像を入力として、該所定の領域の表層を3次元座標で表したデジタル表層モデルデータを抽出するステレオマッチング処理手段と、
前記ステレオマッチング処理手段で抽出した前記デジタル表層モデルデータから、地表面の標高を差し引いた地物高さを抽出する地物高さ抽出手段と、
前記地物高さ抽出手段で抽出した地物高さデータと地図データとを比較して、地図に記載される対象となる地物の変化を検出する変化検出手段と、
して機能させることを特徴とするプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007145971A JP4378571B2 (ja) | 2007-05-31 | 2007-05-31 | 地図変化検出装置、地図変化検出方法およびプログラム |
US12/125,649 US8116530B2 (en) | 2007-05-31 | 2008-05-22 | Map change detection device, map change detection method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007145971A JP4378571B2 (ja) | 2007-05-31 | 2007-05-31 | 地図変化検出装置、地図変化検出方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008298631A JP2008298631A (ja) | 2008-12-11 |
JP4378571B2 true JP4378571B2 (ja) | 2009-12-09 |
Family
ID=40088245
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007145971A Expired - Fee Related JP4378571B2 (ja) | 2007-05-31 | 2007-05-31 | 地図変化検出装置、地図変化検出方法およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US8116530B2 (ja) |
JP (1) | JP4378571B2 (ja) |
Families Citing this family (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100246971A1 (en) * | 2007-10-30 | 2010-09-30 | Pasco Corporation | House change determining method, house change determining program, house change determining image generating method, and house change determining image |
US20090313277A1 (en) * | 2008-06-16 | 2009-12-17 | Rissman Michael | System and method for 3-d map compression and intersection determination |
DE102009005565A1 (de) | 2009-01-21 | 2010-07-22 | Eads Deutschland Gmbh | Verfahren zur Erkennung von Objekten |
JP2010197414A (ja) * | 2009-02-20 | 2010-09-09 | Nec System Technologies Ltd | 航空障害物抽出装置、航空障害物抽出方法、及びプログラム |
JP5409451B2 (ja) * | 2010-03-15 | 2014-02-05 | 三菱電機株式会社 | 3次元変化検出装置 |
WO2011140178A1 (en) * | 2010-05-04 | 2011-11-10 | Bae Systems National Security Solutions Inc. | Inverse stereo image matching for change detection |
JP5413516B2 (ja) | 2010-08-19 | 2014-02-12 | 日産自動車株式会社 | 立体物検出装置及び立体物検出方法 |
JP5566307B2 (ja) * | 2011-01-05 | 2014-08-06 | 株式会社パスコ | 地図データ更新装置、地図データ更新方法及び地図データ更新プログラム |
RU2549595C2 (ru) * | 2011-02-21 | 2015-04-27 | Ниссан Мотор Ко., Лтд. | Система обнаружения периодических стационарных объектов и способ обнаружения периодических стационарных объектов |
JP5775354B2 (ja) | 2011-04-28 | 2015-09-09 | 株式会社トプコン | 離着陸ターゲット装置及び自動離着陸システム |
EP2527787B1 (en) * | 2011-05-23 | 2019-09-11 | Kabushiki Kaisha TOPCON | Aerial photograph image pickup method and aerial photograph image pickup apparatus |
JP5882693B2 (ja) | 2011-11-24 | 2016-03-09 | 株式会社トプコン | 航空写真撮像方法及び航空写真撮像装置 |
US9639757B2 (en) * | 2011-09-23 | 2017-05-02 | Corelogic Solutions, Llc | Building footprint extraction apparatus, method and computer program product |
US9501700B2 (en) | 2012-02-15 | 2016-11-22 | Xactware Solutions, Inc. | System and method for construction estimation using aerial images |
WO2014031870A2 (en) * | 2012-08-22 | 2014-02-27 | University Of Alaska | Management of tax information based on topographical information |
JP6122591B2 (ja) | 2012-08-24 | 2017-04-26 | 株式会社トプコン | 写真測量用カメラ及び航空写真装置 |
JP6055274B2 (ja) | 2012-10-31 | 2016-12-27 | 株式会社トプコン | 航空写真測定方法及び航空写真測定システム |
US9091628B2 (en) | 2012-12-21 | 2015-07-28 | L-3 Communications Security And Detection Systems, Inc. | 3D mapping with two orthogonal imaging views |
JP5283100B1 (ja) * | 2013-01-31 | 2013-09-04 | 国際航業株式会社 | 太陽光発電ポテンシャル評価装置、及び太陽光発電ポテンシャル評価プログラム |
ES2432229B1 (es) * | 2013-03-22 | 2014-09-12 | Universidad De León | Sistema y método de supervisión |
EP3541071A1 (en) | 2013-08-02 | 2019-09-18 | Xactware Solutions Inc. | System and method for detecting features in aerial images using disparity mapping and segmentation techniques |
CN105893972B (zh) * | 2016-04-08 | 2022-03-11 | 深圳市智绘科技有限公司 | 基于影像进行的违章建筑物自动监测方法及其实现*** |
EP3299843A1 (en) * | 2016-09-23 | 2018-03-28 | MediaTek Inc. | Method and apparatus for automotive parking assistance using radar sensors |
US10699119B2 (en) | 2016-12-02 | 2020-06-30 | GEOSAT Aerospace & Technology | Methods and systems for automatic object detection from aerial imagery |
US10546195B2 (en) | 2016-12-02 | 2020-01-28 | Geostat Aerospace & Technology Inc. | Methods and systems for automatic object detection from aerial imagery |
US10710599B2 (en) | 2017-09-15 | 2020-07-14 | Toyota Research Institute, Inc. | System and method for online probabilistic change detection in feature-based maps |
JP6652979B2 (ja) | 2018-02-20 | 2020-02-26 | ソフトバンク株式会社 | 画像処理装置、飛行体及びプログラム |
US10937165B2 (en) * | 2018-03-21 | 2021-03-02 | International Business Machines Corporation | Comparison of relevant portions of images |
US11348310B2 (en) * | 2019-11-13 | 2022-05-31 | Raytheon Company | Building mask generation from 3D point set |
US11094113B2 (en) | 2019-12-04 | 2021-08-17 | Geomni, Inc. | Systems and methods for modeling structures using point clouds derived from stereoscopic image pairs |
CN116310189B (zh) * | 2023-05-22 | 2023-09-01 | 浙江大华技术股份有限公司 | 地图模型构建方法及终端 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0816930B2 (ja) | 1989-11-28 | 1996-02-21 | アジア航測株式会社 | ステレオ画像データから3次元数値データを求める方法 |
JPH0816930A (ja) | 1994-06-28 | 1996-01-19 | Tec Corp | メニューオーダーデータ処理装置 |
JP3618649B2 (ja) | 2000-08-22 | 2005-02-09 | アジア航測株式会社 | 不定形窓を用いた画像間拡張イメージマッチング方法 |
JP3992452B2 (ja) * | 2000-11-09 | 2007-10-17 | 日立ソフトウエアエンジニアリング株式会社 | 変化検出装置、変化検出方法及び該方法に係るプログラムを記憶した記憶媒体並びにシステム |
US6963662B1 (en) * | 2000-11-15 | 2005-11-08 | Sri International | Method and system for detecting changes in three dimensional shape |
JP2002157576A (ja) * | 2000-11-22 | 2002-05-31 | Nec Corp | ステレオ画像処理装置及びステレオ画像処理方法並びにステレオ画像処理用プログラムを記録した記録媒体 |
JP2002366977A (ja) * | 2001-06-08 | 2002-12-20 | Pasuko:Kk | 地物形状作成システム及び3次元地図作成システム |
JP3776787B2 (ja) * | 2001-11-02 | 2006-05-17 | Nec東芝スペースシステム株式会社 | 三次元データベース生成システム |
JP4156320B2 (ja) | 2002-09-27 | 2008-09-24 | 株式会社パスコ | 家屋異動判定方法 |
JP4131930B2 (ja) | 2002-12-16 | 2008-08-13 | 株式会社日立製作所 | 地図更新プログラム及び地図更新装置 |
FI117309B (fi) * | 2003-03-31 | 2006-08-31 | Geodeettinen Laitos | Menetelmä, laitteisto ja ohjelma puiden kasvun määrittämiseksi |
US7191066B1 (en) * | 2005-02-08 | 2007-03-13 | Harris Corp | Method and apparatus for distinguishing foliage from buildings for topographical modeling |
JP4103898B2 (ja) | 2005-04-12 | 2008-06-18 | 株式会社日立製作所 | 地図情報更新方法及び地図更新装置 |
JP4566074B2 (ja) | 2005-06-21 | 2010-10-20 | 株式会社パスコ | 家屋異動判定方法及び家屋異動判定プログラム |
JP4339289B2 (ja) * | 2005-07-28 | 2009-10-07 | Necシステムテクノロジー株式会社 | 変化判定装置、変化判定方法および変化判定プログラム |
-
2007
- 2007-05-31 JP JP2007145971A patent/JP4378571B2/ja not_active Expired - Fee Related
-
2008
- 2008-05-22 US US12/125,649 patent/US8116530B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US20080298638A1 (en) | 2008-12-04 |
JP2008298631A (ja) | 2008-12-11 |
US8116530B2 (en) | 2012-02-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4378571B2 (ja) | 地図変化検出装置、地図変化検出方法およびプログラム | |
EP2120009B1 (en) | Measuring device and measuring method | |
US9245345B2 (en) | Device for generating three dimensional feature data, method for generating three-dimensional feature data, and recording medium on which program for generating three-dimensional feature data is recorded | |
US7983474B2 (en) | Geospatial modeling system and related method using multiple sources of geographic information | |
KR102610989B1 (ko) | 위성영상을 이용한 수치표면모델 생성 방법 및 장치 | |
US8503730B2 (en) | System and method of extracting plane features | |
CN111985036B (zh) | 户型框线图绘制方法和装置、存储介质、电子设备 | |
US20080089577A1 (en) | Feature extraction from stereo imagery | |
CN113359782B (zh) | 一种融合lidar点云与图像数据的无人机自主选址降落方法 | |
US6970174B2 (en) | Texture mapping method and apparatus | |
US7376513B2 (en) | Geospatial modeling system for separating foliage data from building data based upon noise filtering operations and related methods | |
KR101549155B1 (ko) | 라이다 자료를 활용한 구조물의 직선경계 추출방법 | |
JP6146731B2 (ja) | 座標補正装置、座標補正プログラム、及び座標補正方法 | |
CN113920275B (zh) | 三角网格构建方法、装置、电子设备及可读存储介质 | |
CA2660339C (en) | Geospatial modeling system for performing filtering operations based upon a sum of differences of a given and neighboring location points and related methods | |
CA2660343C (en) | Geospatial modeling system for separating foliage data from building data based upon loose and strict tolerance noise filtering operations and related methods | |
Novacheva | Building roof reconstruction from LiDAR data and aerial images through plane extraction and colour edge detection | |
KR101512297B1 (ko) | 영상의 그라운드 라인 결정 방법 | |
Nakagawa et al. | Panoramic rendering-based polygon extraction from indoor mobile LiDAR data | |
CN115861561B (zh) | 一种基于语义约束的等高线生成方法和装置 | |
JP6876484B2 (ja) | データ処理装置、データ処理方法、及び、プログラム | |
WO2008045997A2 (en) | Feature extraction from stereo imagery | |
De Nayerlaan | Rapid Urban 3D Modeling for Drone-Based Situational Awareness Assistance in Emergency Situations | |
CN114943711A (zh) | 基于LiDAR点云和影像的建筑物提取方法和*** | |
CN116934980A (zh) | 单体建筑模型的构建方法、设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090421 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090615 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090818 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090901 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121002 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131002 Year of fee payment: 4 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |