JP2007171048A - 位置データ補間方法及び位置検出センサ及び位置測定装置 - Google Patents

位置データ補間方法及び位置検出センサ及び位置測定装置 Download PDF

Info

Publication number
JP2007171048A
JP2007171048A JP2005370867A JP2005370867A JP2007171048A JP 2007171048 A JP2007171048 A JP 2007171048A JP 2005370867 A JP2005370867 A JP 2005370867A JP 2005370867 A JP2005370867 A JP 2005370867A JP 2007171048 A JP2007171048 A JP 2007171048A
Authority
JP
Japan
Prior art keywords
point
tracking
image
position data
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005370867A
Other languages
English (en)
Other versions
JP4966542B2 (ja
Inventor
Fumio Otomo
文夫 大友
Hitoshi Otani
仁志 大谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Topcon Corp
Original Assignee
Topcon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Topcon Corp filed Critical Topcon Corp
Priority to JP2005370867A priority Critical patent/JP4966542B2/ja
Priority to US11/635,116 priority patent/US7552025B2/en
Priority to DE102006059549A priority patent/DE102006059549A1/de
Priority to CN2006101686663A priority patent/CN1987353B/zh
Publication of JP2007171048A publication Critical patent/JP2007171048A/ja
Application granted granted Critical
Publication of JP4966542B2 publication Critical patent/JP4966542B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • G01S19/48Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/485Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an optical system or imaging system
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

【課題】
位置測定装置により位置測定ができない陰の部分でも継続して位置測定を実行でき、位置測定が中断されることがない様にする位置データ補間方法及び位置検出センサ及び位置測定装置を提供する。
【解決手段】
既知点である第1地点から既知点である第2地点を経て、未知点である第3地点に移動する過程で周囲の景色についてのデジタル画像を連続的に撮像し、前記第1地点で取得した画像から追尾ポイントを発生させ、連続的に取得する画像に発生させたポイントの追跡から前記追尾ポイントを順次特定し、前記第1地点と前記第2地点に於ける前記追尾ポイントの標定結果と、前記第1地点及び前記第2地点の位置データとから前記追尾ポイントの3次元位置データを求め、前記第3地点にて取得した前記追尾ポイントの標定結果と該追尾ポイントの3次元位置データに基づき、前記第3地点の位置を順次求める。
【選択図】 図1

Description

本発明は、GPS(Global Positioning System)を利用した位置測定に於いて、GPSによる位置測定ができない場合の位置データ補間方法及び位置検出センサ及び測量装置に関するものである。
近年では、GPSを利用した位置測定が普及し、例えばブルドーザ等の土木建設機械により土木作業を行う場合に、作業位置即ちブルドーザ位置をGPSにより測定し、作業位置の確認等が行われ、或はカーナビゲータの様に電子化した地図情報とGPSにより得られた位置データをリンクさせ、現在位置を電子地図上に反映させ画像化して映像表示装置に映出す等、移動体の位置をリアルタイムで測定することが可能となっている。
ところが、GPSによる位置測定では、衛星からの電波を利用しているので、衛星からの電波が障害物、例えば山或はビルディング等により遮られ、電波の届かない場所(陰)が存在する。或はカーナビゲータの様に位置測定範囲を定められないものについても、陰の部分が存在する。
従来、GPSによる位置測定ができない区間は、従来の測量機を使用した人力による測量作業を加え断続しなければならない。
又、移動体に設けられたカーナビゲータ等では、陰の部分で位置測定が行われず、位置測定装置として充分な機能が発揮されていなかった。
特開2001−317915号公報
本発明は斯かる実情に鑑み、単一のGPS位置測定装置を利用して、而も陰の部分でも継続して位置測定を実行でき、位置測定が中断されることがない様にする位置データ補間方法及び位置検出センサ及び位置測定装置を提供するものである。
本発明は、既知点である第1地点から既知点である第2地点を経て、未知点である第3地点に移動する過程で周囲の景色についてのデジタル画像を連続的に撮像し、前記第1地点で取得した画像から追尾ポイントを発生させ、連続的に取得する画像に発生させたポイントの追跡から前記追尾ポイントを順次特定し、前記第1地点と前記第2地点に於ける前記追尾ポイントの標定結果と、前記第1地点及び前記第2地点の位置データとから前記追尾ポイントの3次元位置データを求め、前記第3地点にて取得した前記追尾ポイントの標定結果と該追尾ポイントの3次元位置データに基づき、前記第3地点の位置を順次求める位置データ補間方法に係り、又既知点である第1地点から既知点である第2地点を経て、未知点である第3地点に移動する過程で周囲の景色についてのデジタル画像を連続的に撮像し、前記第1地点で取得した画像から追尾ポイントを発生させ、連続的に取得する画像に発生させたポイントの追跡から前記追尾ポイントを順次特定し、前記第1地点での取得画像と前記第2地点での取得画像の追尾ポイントの3次元データを前記第1地点、第2地点の位置データから求め、前記追尾ポイントを基に前記第1地点での取得画像と前記第2地点での取得画像との相互標定を行いそれぞれ3次元データ付きのステレオ画像とし、該ステレオ画像の位置データから前記第3地点の位置データを求め、該第3地点を既知点化する位置データ補間方法に係り、又少なくとも最初の第1地点、第2地点の位置情報はGPS装置により測定する位置データ補間方法に係り、又前記追尾ポイントの位置情報は、前記第1地点、第2地点の既知情報から前方交会法により求め、前記第3地点の位置情報は、画像中の前記追尾ポイントの3次元位置データから後方交会法により求める位置データ補間方法に係り、更に又複数方向の画像を連続的に取得し、追尾ポイントの取得は少なくとも1方向の画像に発生させる位置データ補間方法に係るものである。
又本発明は、GPS位置検出装置と、デジタル画像を連続的に撮像する少なくとも1つの撮像装置と、該撮像装置の撮像方向を検出する方位センサとを具備し、少なくとも前記GPS位置検出装置による位置測定データと位置測定時の画像を同期して出力可能な位置検出センサに係るものである。
又本発明は、GPS位置検出装置と、デジタル画像を連続的に撮像する少なくとも1つの撮像装置と、該撮像装置の撮像方向を検出する方位センサと、測定装置本体を有し、前記GPS位置検出装置は第1地点、第2地点の位置データを測定し、前記撮像装置は既知点である第1地点から既知点である第2地点を経て、未知点である第3地点に移動する過程で周囲の景色についてのデジタル画像を連続的に撮像し、前記測定装置本体は前記第1地点で取得した画像から追尾ポイントを発生させ、連続的に取得する画像に発生させたポイントの追跡から前記追尾ポイントを順次特定し、前記第1地点での取得画像と前記第2地点での取得画像の追尾ポイントの3次元データを前記第1地点、第2地点の位置データから演算し、前記追尾ポイントの位置データから前記第3地点の位置データを演算する様構成した位置測定装置に係り、又全周囲ミラー、画像補正手段を具備し、前記撮像装置は水平方向の全周方向を前記全周囲ミラーを介して撮像可能であり、撮像された画像は前記画像補正手段により修正される位置測定装置に係るものである。
本発明によれば、既知点である第1地点から既知点である第2地点を経て、未知点である第3地点に移動する過程で周囲の景色についてのデジタル画像を連続的に撮像し、前記第1地点で取得した画像から追尾ポイントを発生させ、連続的に取得する画像に発生させたポイントの追跡から前記追尾ポイントを順次特定し、前記第1地点と前記第2地点に於ける前記追尾ポイントの標定結果と、前記第1地点及び前記第2地点の位置データとから前記追尾ポイントの3次元位置データを求め、前記第3地点にて取得した前記追尾ポイントの標定結果と該追尾ポイントの3次元位置データに基づき、前記第3地点の位置を順次求めるので、該第3地点の位置測定が可能となると共に該第3地点を既知点化することで、順次未知点の測定が可能になる。
又本発明によれば、既知点である第1地点から既知点である第2地点を経て、未知点である第3地点に移動する過程で周囲の景色についてのデジタル画像を連続的に撮像し、前記第1地点で取得した画像から追尾ポイントを発生させ、連続的に取得する画像に発生させたポイントの追跡から前記追尾ポイントを順次特定し、前記第1地点での取得画像と前記第2地点での取得画像の追尾ポイントの3次元データを前記第1地点、第2地点の位置データから求め、前記追尾ポイントを基に前記第1地点での取得画像と前記第2地点での取得画像との相互標定を行いそれぞれ3次元データ付きのステレオ画像とし、該ステレオ画像の位置データから前記第3地点の位置データを求め、該第3地点を既知点化するので、該第3地点の位置測定が可能となると共に該第3地点を既知点化することで、順次未知点の測定が可能になる。
又本発明によれば、GPS位置検出装置と、デジタル画像を連続的に撮像する少なくとも1つの撮像装置と、該撮像装置の撮像方向を検出する方位センサとを具備し、少なくとも前記GPS位置検出装置による位置測定データと位置測定時の画像を同期して出力可能であるので、撮像画像と位置データとを関連付けて取得することが可能である。
又本発明によれば、GPS位置検出装置と、デジタル画像を連続的に撮像する少なくとも1つの撮像装置と、該撮像装置の撮像方向を検出する方位センサと、測定装置本体を有し、前記GPS位置検出装置は第1地点、第2地点の位置データを測定し、前記撮像装置は既知点である第1地点から既知点である第2地点を経て、未知点である第3地点に移動する過程で周囲の景色についてのデジタル画像を連続的に撮像し、前記測定装置本体は前記第1地点で取得した画像から追尾ポイントを発生させ、連続的に取得する画像に発生させたポイントの追跡から前記追尾ポイントを順次特定し、前記第1地点での取得画像と前記第2地点での取得画像の追尾ポイントの3次元データを前記第1地点、第2地点の位置データから演算し、前記追尾ポイントの位置データから前記第3地点の位置データを演算する様構成したので、前記GPS位置検出装置により測定不能となった場合でも、中断することなく未知点の測定が可能となる。
又本発明によれば、全周囲ミラー、画像補正手段を具備し、前記撮像装置は水平方向の全周方向を前記全周囲ミラーを介して撮像可能であり、撮像された画像は前記画像補正手段により修正されるので、1つの撮像装置により位置データに関連付けられた広範囲の画像データが取得できる等の優れた効果を発揮する。
以下、図面を参照しつつ本発明を実施する為の最良の形態を説明する。
本発明は移動体の位置測定を行うものであり、移動体に位置測定装置が設けられ、移動体と共に位置測定装置が移動しつつ位置測定をリアルタイムで測定する。
先ず、本発明に係る位置測定装置について図1、図2により説明する。
図1は、位置測定装置1の概略を示すものであり、該位置測定装置1は主に測定装置本体2、位置検出センサ3、操作部4、表示部5から構成される。前記位置検出センサ3は移動体9、例えばブルドーザ、自動車の運転室の屋根等見晴しのよい位置に設置され、又、前記測定装置本体2、前記操作部4、前記表示部5は作業者、運転者が操作し、視認可能な場所、例えば運転室に設置される。尚、前記操作部4はタッチパネル等とし、前記表示部5と一体化してもよい。
図2は、前記位置検出センサ3が、前記移動体9の一例として自動車の屋根に設けられた場合を示している。
前記位置検出センサ3は、センサ本体6の上面に設けられたGPS位置検出装置7、前記センサ本体6の側面に4方向に向けられたデジタルカメラ等、撮像した画像をデジタル画像データとして出力可能な撮像装置8a、撮像装置8b、撮像装置8c、撮像装置8d(以下、総称する場合は撮像装置8とする)、方位センサ10を具備している。前記撮像装置8は、多数の画素から構成される撮像素子、例えばCCDセンサ、CMOSセンサ等を具備し、1フレームの画像データは各撮像素子の信号の集合として構成され、信号に対応する撮像素子を特定することで、画像中の位置が特定される様になっている。又、前記撮像装置8と前記方位センサ10との機械的関係は固定されており、該方位センサ10が方位を検出することで各撮像装置8の撮像方向(方位)が一義的に決定される。
前記GPS位置検出装置7は、GPSアンテナ11、GPS演算部12(図3参照)を具備し、前記GPSアンテナ11により複数の衛星からの信号を受信して、受信結果に基づき前記GPS演算部12が衛星と受信点との距離を3次元幾何学的に演算して3次元の測位を行うものである。尚、測位には単独測位、干渉測位等があるが、移動しつつ短時間で測定が可能なRTK(リアルタイムキネマティック)測位が採用されることが好ましい。
前記撮像装置8によって全周の画像の取得を可能とする。尚、該撮像装置8の撮像角(撮像範囲)に応じて、該撮像装置8は3個或は5個以上設けられる。又、1つの撮像装置8を水平方向に回転させ、所要回転角毎に撮影する様にしてもよく、該撮像装置8により全周の景色の取得を可能とする。
或は、前記移動体9の進行方向に対して直角な2方向の景色を撮像する様、2個の撮像装置8を設けてもよい。この場合、撮像角は適宜な範囲を有していればよく、180°である必要はない。
前記撮像装置8a、前記撮像装置8b、前記撮像装置8c、前記撮像装置8dは、所定時間間隔で同期して撮像し、又撮像と同期又は撮像時間間隔の所要倍の間隔と同期して前記GPS位置検出装置7による位置測定が行われ、撮像画像の画像データと、画像を撮像した時の位置検出センサ3で得られた位置データが後述する測定装置本体2に送出される。又、前記撮像装置8の撮像の時間間隔は、前回、今回間で撮像した画像の大半が重複し、全体として各撮像画像間での連続性が損われない程度の時間間隔とし、移動体9の速度が大きい場合は、時間間隔は短くし、移動体9の速度が小さい場合は、時間間隔は大きくなってもよい。或は、撮像の時間間隔を移動体9の最大速度に対応する様に固定的に設定してもよい。又、撮像の時間間隔を移動体9の最大速度に対応する様に設定し、前記測定装置本体2に送出する画像を速度に対応させ、間引いてもよい。
該測定装置本体2について図3を参照して説明する。
該測定装置本体2は入出力制御部13、CPUで代表される制御演算部14、HD等で代表される記憶部15、通信制御部16等で概略構成されている。
前記記憶部15はメモリカード、HD、FD、MO等であり、内蔵又は着脱可能に設けられる。又該記憶部15は、プログラム格納部17、データ格納部18を有しており、前記プログラム格納部17には、装置の作動を制御するシーケンスプログラム、取得した画像から追尾ポイントを抽出する画像処理プログラム、複数の画像間での画像マッチング、複数の画像間の追尾ポイントのトラッキングを行う演算プログラム、前記位置検出センサ3により得られる2つの3次元位置データを基に画像中の未知点の位置を前方交会法により演算し、又2つの画像中のそれぞれ少なくとも2つの既知点から前記位置検出センサ3の位置を後方交会法により演算する測量プログラム、得られた測定結果をデータ収集装置等の外部装置に送信する為の送信制御プログラム、位置測定結果を前記表示部5に表示させる為の表示プログラム等のプログラムが格納されている。
又、前記データ格納部18には前記撮像装置8で取得した画像データ、及び画像データを撮像した時の位置検出センサ3の位置データが格納され、該位置データと前記画像データとは関連付けされ、前記画像データは時系列のデータとなっている。
図4〜図8に於いて作用について説明する。
図4は、前記移動体9が障害物20、障害物21の間を進行し、前記位置検出センサ3が第1地点(ポイントP1)から第6地点(ポイントP6)(以下ポイントPは単にPと略称する)に移動した状態を示し、P1,P2では、前記GPSアンテナ11により衛星からの信号を受信可能であり、P3〜P5では前記障害物20、前記障害物21により衛星からの信号が受信できない状態であり、P6で再び衛星からの信号を受信可能となっている。
尚、前記移動体9が移動している間中、前記撮像装置8により周囲の画像が連続的に撮像される。又、各Pは、予め設定された時間間隔毎の前記移動体9の位置となっている。
該移動体9がP1となった時点で、前記制御演算部14が前記GPS位置検出装置7で測定された位置データを取得する。同時に前記撮像装置8で撮像した画像データを取得し、前記データ格納部18に位置データと共に画像データを格納する。又、前記制御演算部14は各P毎に前記GPS位置検出装置7から位置データの入力があるかどうかチェックする。各Pでの前記GPS位置検出装置7からの位置データの入力の有無により、後述する様に各Pの位置測定を前記位置検出センサ3による測定か、或は画像データに基づく、前方交会法、後方交会法による演算による測定かが判断、選択され実行される。
以下は、右側の景色、前記障害物20についての画像の取得、該画像に基づく位置測定について説明する。
図5に於いて、P1で撮像した画像I1を図6(A)に示し、図5中、P1からP2迄移動しながら連続して撮像していったP2の画像I2を図6(B)に示している。
前記制御演算部14はP1での画像データI1をP1の測定位置データと関連付けて前記データ格納部18に格納する。又、前記制御演算部14は、画像処理プログラムに基づき、P1の画像データI1をエッジ処理等の画像処理し、画像中の特徴点であるコーナ部又はクロスポイントが追尾ポイント(A1,A2,A3,…)(図6(A)中、白丸で示す)として所要数抽出される(STEP:01)。尚、追尾ポイントは画像全体に分散する様に抽出される。
ここで、前記画像データI1中心のP1からの方位は、前記方位センサ10が検出する方位から求められ、各追尾ポイント(A1,A2,A3,…)のP1からの方位は、画像データI1中の画素の位置(撮像中心に対する撮像素子上での位置)から演算される。
P1〜P2に至る過程でも、前記撮像装置8により連続的に撮像されており、各画像で発生された追尾のポイントは隣接する画像間で追跡(トラッキング)が行われる(STEP:02)。
追跡について説明する。
追跡の対象として設定された追尾ポイントの撮像素子上での位置が検索中心位置として記憶され、経時的に次に取得された次画像データについて前記検索中心位置を中心として設定した検索範囲に亘って前記次画像データ中で追尾ポイントが検索される。上記した様に、画像は移動中連続して撮像しているので、前画像データと次画像データとのずれは僅かであり、追尾ポイントは次画像データの検索範囲に存在し、直ちに次画像データ中の追尾ポイントが特定される。前記検索範囲内での検索は、SSDA(Sequential Similarity Detection Algorithm)法、若しくは面積相関法等が用いられる。
尚、次画像データで特定された追尾ポイントを検索対象として、前画像データの追尾ポイントを逆検索(バックマッチング)でチェックする。逆検索で得られた追尾ポイントが既に得られた追尾ポイントと一致していない時は該追尾ポイントは削除される。逆検索を実施することで、影(オクルージョン)或は障害物を回避することができる。又、3以上の画像データの追尾ポイントが求められると、複数画像によるバンドル調整計算により、重複して座標のチェックを実行し、精度の悪い追尾ポイントについては削除する。精度の悪い追尾ポイントを削除することで全体として追尾ポイントの特定精度が向上する。
前画像データと次画像データとを比較し、上記した追尾ポイントを時系列に従って順次検索する。
前記画像処理による追尾ポイントの抽出、又追尾ポイントの追跡は、各Pでの前記位置検出センサ3からの位置データの入力の有無に拘らず連続的に実行される。尚、追尾ポイントの追跡が完了した過去の画像データ(各P間で撮像した画像データ)は、記憶量の節約の為、消去してもよい。
次に、P2について、前記位置検出センサ3からの位置測定データが入力され、位置測定データとP2で撮像した画像I2が前記データ格納部18に格納される。又、画像I2について画像処理が行われ、又トラッキングにより各追尾ポイント(A1,A2,A3,…)が特定される。又、この時のP2に関する各追尾ポイント(A1,A2,A3,…)の方位は、前記方位センサ10による撮像方向の方位検出、各追尾ポイント(A1,A2,A3,…)の画像I2の位置(画角)によって演算される(図7(A)参照)。
次に、既知点であるP1,P2の位置データ、P1,P2に対する各追尾ポイント(A1,A2,A3,…)の方位角に基づき、前方交会法により各追尾ポイント(A1,A2,A3,…)の3次元位置データが演算される(STEP:03)。
演算の結果、追尾ポイント(A1,A2,A3,…)は既知点となる。各追尾ポイント(A1,A2,A3,…)の位置データは、画像I1、画像I2の画像データに関連付けられて前記データ格納部18に格納される。そして追尾ポイントは、追尾ポイント(A1,A2,A3,…)として画像I1と画像I2の相互標定が行われ、画像I1と画像I2は3次元データを含む画像(ステレオ画像)化される。
前記移動体9がP3に移動すると、衛星からの電波が前記障害物20により遮られ、前記位置検出センサ3による位置測定が入力されない。前記制御演算部14は前記位置検出センサ3からの入力がないことを判断すると、後方交会法による演算による位置測定に切替える。
P3に至る間も前記撮像装置8による撮像、画像データ中の追尾ポイントの追跡は連続して行われている(STEP:04)。
即ち、既に得られている各追尾ポイント(A1,A2,A3,…)の位置データ、及びP3で取得した画像I3中の前記追尾ポイント(A1,A2,A3,…)とP3の方位のデータ(撮像方向の方位と画角)に基づき後方交会法によりP3の位置データが演算される(STEP:05、(図7(B))参照)。
尚、P1,P2,P3…と前記移動体9が移動し、撮像範囲が移動することに伴い、撮像した画像中には順次新しい追尾ポイントが発生する。例えば、図7(A)、図7(B)を参照すれば、画像I2にはA4、画像I3にはA5,A6の追尾ポイントが発生する。新たに発生した追尾ポイントについても追跡が行われ(STEP:n−1)、更に順次前方交会法により位置データが演算測定される。
後方交会法によりP3が既知点となり、P3とP2の位置データ、P3とP2からの新たに発生した追尾ポイントに対する方位データに基づき前方交会法により新たに発生した追尾ポイントの位置が演算される(STEP:n)。
而して、画像中の追尾ポイントの位置データからPnの位置を後方交会法により演算測定し、更に、既知となったP(n−1)、及びPnのデータから新たに発生した追尾ポイントの位置を、画像を基に前方交会法により演算測定し、衛星からの電波が得られず、前記位置検出センサ3によるPの位置測定ができない状態でも、前方交会法と後方交会法を交互に実施し、継続してPの位置測定が実施可能である。
次に、前記移動体9がP6に至ると、衛星からの電波の受信が可能となり、P6の位置が前記位置検出センサ3により測定され、該位置検出センサ3で測定された位置データが前記制御演算部14に入力されると、該制御演算部14は位置データ入力有りと判断し、後方交会法による演算を停止する。又、前記撮像装置8によりP6で撮像した画像データ、該画像データより抽出した追尾ポイント、抽出した追尾ポイントの方位データが、P6の位置データに関連付けられて前記データ格納部18に格納される。
従って、前記位置検出センサ3から位置情報が入力されている間は、該位置検出センサ3で測定された結果が、Pの位置測定のデータとして採用され、該位置検出センサ3からの位置情報が途絶えると、前方交会法、後方交会法により演算されたPの位置情報が採用され、Pの位置は中断することなく連続的に測定される。
尚、前記位置検出センサ3で位置測定できない場合、画像データ、追尾ポイントのデータは最新のPn及び過去に遡る少なくとも2つのP(n−1),P(n−2)の3つのPについてのデータがあればよく、P(n−3)より過去のデータについては、記憶量の節約の為、順次消去してもよい。
又、上記追尾ポイントの位置データについては、追跡した所要数の追尾ポイントを基に隣接する2つの測定点、例えばP2,P3についてP2,P3で取得した画像について追尾ポイントに基づくパスポイントにて相互標定を行い、3次元データを含む画像(ステレオ画像)とすれば、他の画像を構成する各画素の位置データ、方位データは画像により求めることができ、演算処理を高速化できる。
又、上記説明では、前記移動体9の右側の障害物についての画像を撮像して、Pの位置測定を行ったが、右側の障害物から追尾ポイントを得る為に適切な画像が取得できない場合は、左側の障害物から画像を取得する等、取得する画像については障害物の状況に応じて、画像処理の段階で適宜選択される。
図9、図10は位置検出センサ3の他の形態を示している。
該位置検出センサ3は、移動体9、例えば自動車の屋根等、周囲全体が見渡せる位置に設けられる。
前記位置検出センサ3は、1つの撮像装置8を具備し、該撮像装置8の光軸に中心線が合致された円錐ミラー23を具備し、該円錐ミラー23を介して撮像する様に構成されている。該円錐ミラー23を介することから、前記撮像装置8は全周囲を撮像できる。画像データは測定装置本体2に送出される。データ格納部18は歪み修正プログラムを有し、制御演算部14は送出された画像の歪みを修正し、歪みのない全周画像として前記データ格納部18に記憶させる。
前記円錐ミラー23即ち全周囲ミラーにより全周画像を取得した場合についても、追尾ポイントの抽出、追尾ポイントの追跡等の処理については上記した実施の形態と同様である。
前記撮像装置8は、例えば市販品の全周の映像を撮る映像装置、例えばCCDカメラが使用される。該撮像装置8(CCDカメラ)は円錐状の前記円錐ミラー23の下方に位置され、該円錐ミラー23で反射された周囲の映像を取得する。映像を取得したPの位置は、前記円錐ミラー23の上方又は既知の間隔に置いたGPS位置検出装置7より求める。又、移動方向については、該GPS位置検出装置7で得られる2地点の位置座標から求めることができる。
本発明の実施の形態に係る位置測定装置の概略図である。 本発明の実施の形態の実施の状態を示す説明図である。 本発明の実施の形態に係る位置測定装置の概略ブロック図である。 本発明の実施の形態に於ける測定の状態を示す説明図である。 前記位置測定装置に於ける撮像の状態を示す説明図である。 (A)(B)は得られた画像を示す説明図である。 (A)は得られた画像について、前方交会法により追尾ポイントの位置測定を行う説明図、(B)は得られた画像に基づき後方交会法により撮像点の位置測定を行う説明図である。 本発明の実施の形態の作用を示すフローチャートである。 本発明に係る位置検出センサの他の形態を示す説明図である。 該位置センサの概略構成図である。
符号の説明
1 位置測定装置
2 測定装置本体
3 位置検出センサ
4 操作部
5 表示部
6 センサ本体
7 GPS位置検出装置
8 撮像装置
14 制御演算部
15 記憶部
20 障害物
21 障害物
23 円錐ミラー

Claims (8)

  1. 既知点である第1地点から既知点である第2地点を経て、未知点である第3地点に移動する過程で周囲の景色についてのデジタル画像を連続的に撮像し、前記第1地点で取得した画像から追尾ポイントを発生させ、連続的に取得する画像に発生させたポイントの追跡から前記追尾ポイントを順次特定し、前記第1地点と前記第2地点に於ける前記追尾ポイントの標定結果と、前記第1地点及び前記第2地点の位置データとから前記追尾ポイントの3次元位置データを求め、前記第3地点にて取得した前記追尾ポイントの標定結果と該追尾ポイントの3次元位置データに基づき、前記第3地点の位置を順次求めることを特徴とする位置データ補間方法。
  2. 既知点である第1地点から既知点である第2地点を経て、未知点である第3地点に移動する過程で周囲の景色についてのデジタル画像を連続的に撮像し、前記第1地点で取得した画像から追尾ポイントを発生させ、連続的に取得する画像に発生させたポイントの追跡から前記追尾ポイントを順次特定し、前記第1地点での取得画像と前記第2地点での取得画像の追尾ポイントの3次元データを前記第1地点、第2地点の位置データから求め、前記追尾ポイントを基に前記第1地点での取得画像と前記第2地点での取得画像との相互標定を行いそれぞれ3次元データ付きのステレオ画像とし、該ステレオ画像の位置データから前記第3地点の位置データを求め、該第3地点を既知点化することを特徴とする位置データ補間方法。
  3. 少なくとも最初の第1地点、第2地点の位置情報はGPS装置により測定する請求項1又は請求項2の位置データ補間方法。
  4. 前記追尾ポイントの位置情報は、前記第1地点、第2地点の既知情報から前方交会法により求め、前記第3地点の位置情報は、画像中の前記追尾ポイントの3次元位置データから後方交会法により求める請求項1又は請求項2の位置データ補間方法。
  5. 複数方向の画像を連続的に取得し、追尾ポイントの取得は少なくとも1方向の画像に発生させる請求項1又は請求項2の位置データ補間方法。
  6. GPS位置検出装置と、デジタル画像を連続的に撮像する少なくとも1つの撮像装置と、該撮像装置の撮像方向を検出する方位センサとを具備し、少なくとも前記GPS位置検出装置による位置測定データと位置測定時の画像を同期して出力可能なことを特徴とする位置検出センサ。
  7. GPS位置検出装置と、デジタル画像を連続的に撮像する少なくとも1つの撮像装置と、該撮像装置の撮像方向を検出する方位センサと、測定装置本体を有し、前記GPS位置検出装置は第1地点、第2地点の位置データを測定し、前記撮像装置は既知点である第1地点から既知点である第2地点を経て、未知点である第3地点に移動する過程で周囲の景色についてのデジタル画像を連続的に撮像し、前記測定装置本体は前記第1地点で取得した画像から追尾ポイントを発生させ、連続的に取得する画像に発生させたポイントの追跡から前記追尾ポイントを順次特定し、前記第1地点での取得画像と前記第2地点での取得画像の追尾ポイントの3次元データを前記第1地点、第2地点の位置データから演算し、前記追尾ポイントの位置データから前記第3地点の位置データを演算する様構成したことを特徴とする位置測定装置。
  8. 全周囲ミラー、画像補正手段を具備し、前記撮像装置は水平方向の全周方向を前記全周囲ミラーを介して撮像可能であり、撮像された画像は前記画像補正手段により修正される請求項7の位置測定装置。
JP2005370867A 2005-12-22 2005-12-22 位置データ補間方法及び位置測定装置 Expired - Fee Related JP4966542B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2005370867A JP4966542B2 (ja) 2005-12-22 2005-12-22 位置データ補間方法及び位置測定装置
US11/635,116 US7552025B2 (en) 2005-12-22 2006-12-07 Position data interpolation method, position detecting sensor and position measuring device
DE102006059549A DE102006059549A1 (de) 2005-12-22 2006-12-16 Verfahren zur Interpolation von Positionsdaten, positionserkennender Sensor, und Vorrichtung zur Positionsmessung
CN2006101686663A CN1987353B (zh) 2005-12-22 2006-12-22 位置数据内插法及位置检测传感器以及位置测定装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005370867A JP4966542B2 (ja) 2005-12-22 2005-12-22 位置データ補間方法及び位置測定装置

Publications (2)

Publication Number Publication Date
JP2007171048A true JP2007171048A (ja) 2007-07-05
JP4966542B2 JP4966542B2 (ja) 2012-07-04

Family

ID=38135985

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005370867A Expired - Fee Related JP4966542B2 (ja) 2005-12-22 2005-12-22 位置データ補間方法及び位置測定装置

Country Status (4)

Country Link
US (1) US7552025B2 (ja)
JP (1) JP4966542B2 (ja)
CN (1) CN1987353B (ja)
DE (1) DE102006059549A1 (ja)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010001940A1 (ja) 2008-07-01 2010-01-07 株式会社トプコン 位置測定方法、位置測定装置、およびプログラム
EP2275778A1 (en) 2009-07-17 2011-01-19 Kabushiki Kaisha TOPCON Position measuring
EP2472221A1 (en) 2011-01-04 2012-07-04 Kabushiki Kaisha Topcon Flight Control System for Flying Object
JP2012204983A (ja) * 2011-03-24 2012-10-22 Topcon Corp 全周カメラ
JP2012204982A (ja) * 2011-03-24 2012-10-22 Topcon Corp 全周カメラ
EP2527787A2 (en) 2011-05-23 2012-11-28 Kabushiki Kaisha Topcon Aerial photograph image pickup method and aerial photograph image pickup apparatus
JP2012244375A (ja) * 2011-05-19 2012-12-10 Topcon Corp 全周カメラ
JP2013108927A (ja) * 2011-11-24 2013-06-06 Topcon Corp 航空写真撮像方法及び航空写真撮像装置
US8630755B2 (en) 2010-09-28 2014-01-14 Kabushiki Kaisha Topcon Automatic taking-off and landing system
JP2014044067A (ja) * 2012-08-24 2014-03-13 Topcon Corp 写真測量用カメラ及び航空写真装置
US8885016B2 (en) 2011-03-24 2014-11-11 Kabushiki Kaisha Topcon Omnidirectional camera and lens hood
US8953933B2 (en) 2012-10-31 2015-02-10 Kabushiki Kaisha Topcon Aerial photogrammetry and aerial photogrammetric system
US9020666B2 (en) 2011-04-28 2015-04-28 Kabushiki Kaisha Topcon Taking-off and landing target instrument and automatic taking-off and landing system
US9171225B2 (en) 2012-03-09 2015-10-27 Kabushiki Kaisha Topcon Device, method, and recording medium for detecting and removing mistracked points in visual odometry systems
US9509908B2 (en) 2012-10-02 2016-11-29 Kabushiki Kaisha Topcon Omnidirectional camera
US9648304B2 (en) 2012-05-29 2017-05-09 Kabushiki Kaisha Topcon Image pickup method and photographing device
JP2017144784A (ja) * 2016-02-15 2017-08-24 株式会社トプコン 飛行計画作成方法及び飛行体誘導システム
US9829315B2 (en) 2011-02-21 2017-11-28 Kabushiki Kaisha Topcon Omnidirectional image measuring instrument
US9897436B2 (en) 2016-06-01 2018-02-20 Topcon Corporation Measuring instrument and surveying system

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4783620B2 (ja) * 2005-11-24 2011-09-28 株式会社トプコン 3次元データ作成方法及び3次元データ作成装置
JP5263804B2 (ja) * 2007-04-20 2013-08-14 株式会社トプコン 多点測定方法及び測量装置
US20120182421A1 (en) * 2011-01-18 2012-07-19 Asanov Pavel Gps device with integral camera
JP5753409B2 (ja) 2011-03-07 2015-07-22 株式会社トプコン パノラマ画像作成方法及び3次元レーザスキャナ
JP6460700B2 (ja) * 2014-09-26 2019-01-30 株式会社トプコン トンネルの内壁の欠陥の有無の診断を行う方法およびトンネルの内壁の欠陥の有無の診断を行うプログラム
US10338228B2 (en) 2014-12-18 2019-07-02 Javad Gnss, Inc. Portable GNSS survey system
EP3173821B1 (en) 2015-11-30 2023-04-19 Signify Holding B.V. Distinguishing devices having positions and directions
CN107063189A (zh) * 2017-01-19 2017-08-18 上海勤融信息科技有限公司 基于视觉的定位***及方法
WO2018207426A1 (ja) * 2017-05-09 2018-11-15 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
CN109099889B (zh) * 2018-07-10 2022-04-12 广州市中海达测绘仪器有限公司 近景摄影测量***和方法
CN109739234B (zh) * 2019-01-02 2022-05-17 中电海康集团有限公司 一种基于gps轨迹数据的车辆实时图像追踪方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10239055A (ja) * 1997-02-28 1998-09-11 Toshiba Corp 携帯型情報収集装置
JP2001317915A (ja) * 2000-05-08 2001-11-16 Minolta Co Ltd 3次元計測装置
JP2003114126A (ja) * 2001-10-05 2003-04-18 Mitsubishi Electric Corp 3次元測量装置および撮像基準方角測量方法
JP2005091298A (ja) * 2003-09-19 2005-04-07 Komatsu Engineering Corp 画像処理を用いたグローバル座標取得装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL8900867A (nl) * 1989-04-07 1990-11-01 Theo Jogchum Poelstra Een systeem van "beeldmeetkunde" ten behoeve van de verkrijging van digitale, 3d topografische informatie.
EP1139062B1 (en) * 2000-03-30 2006-11-22 Kabushiki Kaisha Topcon Stereo image measuring device
JP3975736B2 (ja) * 2001-12-07 2007-09-12 ソニー株式会社 画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
JP4529157B2 (ja) * 2004-06-15 2010-08-25 株式会社トプコン 3次元測量システム及び電子的記憶媒体
EP1607716A3 (en) * 2004-06-18 2012-06-20 Topcon Corporation Model forming apparatus and method, and photographing apparatus and method
WO2007044301A2 (en) * 2005-10-04 2007-04-19 Intersense, Inc. Tracking objects with markers

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10239055A (ja) * 1997-02-28 1998-09-11 Toshiba Corp 携帯型情報収集装置
JP2001317915A (ja) * 2000-05-08 2001-11-16 Minolta Co Ltd 3次元計測装置
JP2003114126A (ja) * 2001-10-05 2003-04-18 Mitsubishi Electric Corp 3次元測量装置および撮像基準方角測量方法
JP2005091298A (ja) * 2003-09-19 2005-04-07 Komatsu Engineering Corp 画像処理を用いたグローバル座標取得装置

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8811718B2 (en) 2008-07-01 2014-08-19 Kabushiki Kaisha Topcon Position measurement method, position measurement device, and program
WO2010001940A1 (ja) 2008-07-01 2010-01-07 株式会社トプコン 位置測定方法、位置測定装置、およびプログラム
EP2275778A1 (en) 2009-07-17 2011-01-19 Kabushiki Kaisha TOPCON Position measuring
JP2011022062A (ja) * 2009-07-17 2011-02-03 Topcon Corp 位置測定方法及び位置測定装置
US8224030B2 (en) 2009-07-17 2012-07-17 Kabushiki Kaisha Topcon Position measuring method and position measuring instrument
US8630755B2 (en) 2010-09-28 2014-01-14 Kabushiki Kaisha Topcon Automatic taking-off and landing system
EP2472221A1 (en) 2011-01-04 2012-07-04 Kabushiki Kaisha Topcon Flight Control System for Flying Object
US8666571B2 (en) 2011-01-04 2014-03-04 Kabushiki Kaisha Topcon Flight control system for flying object
US9829315B2 (en) 2011-02-21 2017-11-28 Kabushiki Kaisha Topcon Omnidirectional image measuring instrument
US8934019B2 (en) 2011-03-24 2015-01-13 Kabushiki Kaisha Topcon Omnidirectional camera
JP2012204982A (ja) * 2011-03-24 2012-10-22 Topcon Corp 全周カメラ
US9071767B2 (en) 2011-03-24 2015-06-30 Kabushiki Kaisha Topcon Omnidirectional camera
JP2012204983A (ja) * 2011-03-24 2012-10-22 Topcon Corp 全周カメラ
US8885016B2 (en) 2011-03-24 2014-11-11 Kabushiki Kaisha Topcon Omnidirectional camera and lens hood
US9020666B2 (en) 2011-04-28 2015-04-28 Kabushiki Kaisha Topcon Taking-off and landing target instrument and automatic taking-off and landing system
JP2012244375A (ja) * 2011-05-19 2012-12-10 Topcon Corp 全周カメラ
US9560288B2 (en) 2011-05-19 2017-01-31 Kabushiki Kaisha Topcon Omnidirectional camera
EP2527787A2 (en) 2011-05-23 2012-11-28 Kabushiki Kaisha Topcon Aerial photograph image pickup method and aerial photograph image pickup apparatus
US9013576B2 (en) 2011-05-23 2015-04-21 Kabushiki Kaisha Topcon Aerial photograph image pickup method and aerial photograph image pickup apparatus
US9007461B2 (en) 2011-11-24 2015-04-14 Kabushiki Kaisha Topcon Aerial photograph image pickup method and aerial photograph image pickup apparatus
JP2013108927A (ja) * 2011-11-24 2013-06-06 Topcon Corp 航空写真撮像方法及び航空写真撮像装置
US9171225B2 (en) 2012-03-09 2015-10-27 Kabushiki Kaisha Topcon Device, method, and recording medium for detecting and removing mistracked points in visual odometry systems
US9648304B2 (en) 2012-05-29 2017-05-09 Kabushiki Kaisha Topcon Image pickup method and photographing device
JP2014044067A (ja) * 2012-08-24 2014-03-13 Topcon Corp 写真測量用カメラ及び航空写真装置
US9609282B2 (en) 2012-08-24 2017-03-28 Kabushiki Kaisha Topcon Camera for photogrammetry and aerial photographic device
US9509908B2 (en) 2012-10-02 2016-11-29 Kabushiki Kaisha Topcon Omnidirectional camera
US8953933B2 (en) 2012-10-31 2015-02-10 Kabushiki Kaisha Topcon Aerial photogrammetry and aerial photogrammetric system
JP2017144784A (ja) * 2016-02-15 2017-08-24 株式会社トプコン 飛行計画作成方法及び飛行体誘導システム
US9897436B2 (en) 2016-06-01 2018-02-20 Topcon Corporation Measuring instrument and surveying system
US10048063B2 (en) 2016-06-01 2018-08-14 Topcon Corporation Measuring instrument and surveying system

Also Published As

Publication number Publication date
JP4966542B2 (ja) 2012-07-04
DE102006059549A1 (de) 2007-07-05
US7552025B2 (en) 2009-06-23
CN1987353A (zh) 2007-06-27
CN1987353B (zh) 2010-12-08
US20070167154A1 (en) 2007-07-19

Similar Documents

Publication Publication Date Title
JP4966542B2 (ja) 位置データ補間方法及び位置測定装置
JP4783620B2 (ja) 3次元データ作成方法及び3次元データ作成装置
JP5559997B2 (ja) 位置測定方法及び位置測定装置
CN108171733B (zh) 使两个或更多个三维3d点云配准的方法
JP4488804B2 (ja) ステレオ画像の関連付け方法及び3次元データ作成装置
WO2011043275A1 (ja) 3次元データ作成方法及び3次元データ作成装置
JP4977339B2 (ja) 地理データ収集装置
JP5227110B2 (ja) Gps付全方位カメラ及び空間データ収集装置
JP5150310B2 (ja) 地理データ収集装置
WO2019019819A1 (zh) 一种用于处理任务区域的任务的移动电子设备以及方法
JP2018036769A (ja) 画像処理装置、画像処理方法および画像処理用プログラム
KR20180130671A (ko) 3차원 격자지도를 이용한 자율 주행 제어 장치 및 방법
JP2008309637A (ja) 障害物計測方法、障害物計測装置及び障害物計測システム
JP2010152139A (ja) 地図情報作成装置、地図情報作成方法、移動***置測定装置、及び、移動***置測定方法
CN113137958A (zh) 一种rtk主机的放样控制方法、***及存储介质
US20190279384A1 (en) Image processing apparatus, image processing method, and driving support system
JP2003114126A (ja) 3次元測量装置および撮像基準方角測量方法
CN115248446A (zh) 一种基于激光雷达的三维超声成像方法和***
JP2021025864A (ja) 計測方法、計測システム、計測プログラム及び計測データ構造
JP6746036B2 (ja) 情報処理装置、検出システム、情報処理方法、および情報処理プログラム
JP7461160B2 (ja) 3次元情報推定システム、3次元情報推定方法、及びコンピュータが実行可能なプログラム
JP7114963B2 (ja) 撮像システム、撮像装置、撮像方法、および、撮像システムを搭載した移動体
US11002549B2 (en) Data processing device, data processing method, and data processing program
JPH10318805A (ja) 移動点検システム
WO2020084551A1 (en) Photogrammetric system for positioning georadar data on the measurement scenario

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080924

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110811

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120131

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120327

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120402

R150 Certificate of patent or registration of utility model

Ref document number: 4966542

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150406

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees