JP4160106B1 - Road surveying system and road crossing information map creation system - Google Patents
Road surveying system and road crossing information map creation system Download PDFInfo
- Publication number
- JP4160106B1 JP4160106B1 JP2007316818A JP2007316818A JP4160106B1 JP 4160106 B1 JP4160106 B1 JP 4160106B1 JP 2007316818 A JP2007316818 A JP 2007316818A JP 2007316818 A JP2007316818 A JP 2007316818A JP 4160106 B1 JP4160106 B1 JP 4160106B1
- Authority
- JP
- Japan
- Prior art keywords
- road
- scale
- monitor
- image
- local
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000694 effects Effects 0.000 claims abstract description 6
- 238000012545 processing Methods 0.000 abstract description 12
- 238000005259 measurement Methods 0.000 abstract description 2
- 238000003860 storage Methods 0.000 description 13
- 238000013500 data storage Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 6
- 238000000034 method Methods 0.000 description 3
- 238000013480 data collection Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Instructional Devices (AREA)
- Image Processing (AREA)
Abstract
【課題】道路画像に基づいて道路の測量を簡易に行うことができるようにする。
【解決手段】データ関連マスタ２２には道路の写真画像が記憶されており、データ処理部２５は、該写真画像の座標を道路の現地座標に変換することによって、画像上に表示するスケールの目盛りの間隔を、画像座標のＸ座標及びＹ座標がカメラに近いほど大きくなるように見えるレンズ効果と同様に設定して、同一の現地距離を同一の目盛り数で表すことができるように設定する。データ処理部２５は、このように設定された目盛りを有するスケールと、データ関連マスタ２２に記憶された道路の写真画像とをモニタ２７上に表示する。スケールはモニタ上で移動可能であり、移動に連れて、目盛り間隔が変更される。オペレータは、モニタ２７上で、道路の写真画像上でスケールを測定位置に移動させて距離を読み取ることにより、現地の道路の測量値を得ることができる。
【選択図】図１−２A road survey is easily performed based on a road image.
A data-related master stores a photographic image of a road, and a data processing unit converts scales of the photographic image into local coordinates of the road, thereby calibrating a scale to be displayed on the image. Are set in a manner similar to the lens effect that appears to be larger as the X and Y coordinates of the image coordinates are closer to the camera, so that the same local distance can be expressed by the same number of scales. The data processing unit 25 displays on the monitor 27 the scale having the scale set in this way and the photographic image of the road stored in the data-related master 22. The scale can be moved on the monitor, and the scale interval is changed with the movement. The operator can obtain the survey value of the local road by moving the scale to the measurement position on the road photographic image on the monitor 27 and reading the distance.
[Selection] Figure 1-2
Description
本発明は、道路測量システム及び道路横断情報図作成システムに関する。さらに詳細には、本発明は、測量すべき道路に沿ってカメラを移動させつつ道路及びその周辺を撮影し、コンピュータ支援の下で得られた画像データを処理して、道路の車道、側溝、縁石、歩道、法面、及び擁壁等の幅、並びに縁石、歩道、法面及び擁壁の高さを、オペレータが取得できるようにした道路測量システム、並びに、該システムを用いて入力された測量値に基づいて道路横断情報図を作成するための道路横断情報図作成システムに関する。 The present invention relates to a road surveying system and a road crossing information map creation system. More specifically, the present invention captures the road and its surroundings while moving the camera along the road to be surveyed, processes image data obtained under computer assistance, The road surveying system that allows the operator to obtain the curb, sidewalk, slope, and retaining wall width, and the height of the curb, sidewalk, slope, and retaining wall, and the system was used to input The present invention relates to a road crossing information map creation system for creating a road crossing information map based on survey values.
従来、道路の多数の位置に出向いて実際に測量を行うことにより、道路に関する測量値、例えば、車道及び歩道の幅等を得ている。
また、カメラで撮影した画像に基づいて道路図を作成することも行われおり、このような場合、道路を異なる複数の距離及び角度で撮影した複数の画像を得、該複数の画像に基づいて、道路の種々の箇所の２次元座標及び３次元座標を取得し、道路の種々の部分の測量値を得ている。
Conventionally, a survey value relating to a road, for example, the width of a roadway and a sidewalk, is obtained by going to many positions on the road and actually performing a survey.
In addition, it is also possible to create a road map based on images taken by a camera. In such a case, a plurality of images obtained by shooting the road at a plurality of different distances and angles are obtained, and based on the plurality of images. 2D coordinates and 3D coordinates of various parts of the road are obtained, and survey values of various parts of the road are obtained.
しかしながら、実際の道路の測量地点に出向いて測量を行う場合、多大な労力と時間とを必要としている。また、従来、カメラ等で撮影した画像に基づいて道路図を作成することも行われているが、このような場合、植木等の障害物が道路上にせり出していることが多々あり、このような障害物がある箇所では、画像情報から自動的に測定しようとしても、本来の道路情報を正確に測量することは不可能である。 However, when carrying out surveying by visiting a survey point on an actual road, a great deal of labor and time are required. Conventionally, road maps are also created based on images taken with a camera or the like, but in such cases, there are many cases where obstacles such as plants are protruding on the road. Even if an attempt is made to automatically measure from image information at a place where there is an obstacle, it is impossible to accurately measure the original road information.
本発明は、上記した問題点に鑑みてなされたものであり、その第１の目的は、撮影された道路画像に基づき、障害物のある箇所を人間が目視して画像情報に連動したスケールから測定値を読み取る又は推測することによって、道路の種々の部分の測量値を得ることで道路情報を取得し、道路の測量を簡易に行うことができるようにすることである。
本発明の第２の目的は、撮影により得られた道路画像から上記のようにして得られた測量値に基づいて、道路の断面情報図を簡易に作成することができるようにすることである。
The present invention has been made in view of the above-described problems, and a first object of the present invention is based on a scale that is linked to image information by allowing a human to visually observe a place where an obstacle exists based on a photographed road image. By reading or inferring measurement values, road survey information can be obtained by obtaining survey values of various parts of the road so that road surveys can be performed easily.
A second object of the present invention is to make it possible to easily create a cross-sectional information map of a road based on a survey value obtained as described above from a road image obtained by photographing. .
上記した第１の目的を達成するために、本発明は、コンピュータ支援の下で道路写真から道路測量を行う道路測量システムにおいて、
道路を撮影する手段と、
道路の現地座標と撮影された道路の画像座標の変換を行って画像上に表示するスケールの目盛りを決定する手段であって、スケールの目盛りの間隔が、画像座標のＸ座標及びＹ座標がカメラに近いほど大きくなるように見えるレンズ効果と同様に設定されて、同一の現地距離を同一の目盛り数で表すことができるようにした、スケール目盛り決定手段と、
道路の画像とスケールとを同一のモニタ上に表示する手段と
を備え、スケールの目盛りを読むことによって現地の道路の測量を行うことができるようにしたことを特徴とする道路測量システムを提供する。
In order to achieve the first object described above, the present invention provides a road surveying system that performs road surveying from road photographs under computer assistance.
A means of photographing the road,
A means for determining scale scales to be displayed on an image by converting the local coordinates of the road and the image coordinates of the photographed road, and the interval between the scale scales is determined by the X and Y coordinates of the image coordinates. Scale scale determining means, which is set in the same manner as the lens effect that appears to be larger as the distance from the scale is larger, and can represent the same local distance by the same number of scales,
There is provided a road surveying system characterized in that a road image and a scale are displayed on the same monitor, and a local road survey can be performed by reading the scale scale. .
上記した本発明に係る道路測量システムにおいて、スケールが、モニタ上で、道路の現地座標のＸ軸方向（道路の横断方向）に対応する方向に延在され、現地座標のＹ軸方向（道路の進行方向）に対応する方向に移動可能であり、道路の横断方向の測量を行うことができるようにすることが好ましい。また、スケールが、モニタ上で、道路の現地座標のＹ軸方向（道路の進行方向）に対応する方向に延在され、Ｘ軸方向（道路の横断方向）に対応する方向に移動可能であり、道路の進行方向の測量を行うことができるようにすることが好ましい。さらに、スケールが、道路の現地座標のＺ軸方向（道路地面からの高さ方向）の測量を行うことができるようにモニタ上で移動可能であることが好ましい。 In the road surveying system according to the present invention described above, the scale extends on the monitor in a direction corresponding to the X-axis direction (road crossing direction) of the local coordinates of the road, and the Y-axis direction of the local coordinates (of the road) It is preferable to be able to move in the direction corresponding to the traveling direction) and to perform surveying in the crossing direction of the road. The scale extends on the monitor in a direction corresponding to the Y-axis direction (road traveling direction) of the local coordinates of the road and is movable in a direction corresponding to the X-axis direction (road crossing direction). It is preferable that surveying in the traveling direction of the road can be performed. Further, it is preferable that the scale is movable on the monitor so that the survey can be performed in the Z-axis direction (the height direction from the road ground) of the local coordinates of the road.
上記した第２の目的を達成するために、本発明は、コンピュータ支援の下で道路横断情報図を作成する道路横断情報図作成システムにおいて、
上記した道路測量システムと、
道路の横方向断面図を表す複数のテンプレートをモニタ上に表示する手段と、
横方向断面図のテンプレートの１つが選択されたときに、該テンプレートによって表される横断図を、該横断図に含まれる構造物パーツのサイズを入力するための入力欄とともにモニタ上に表示する手段と、
構造物パーツのサイズを入力する入力手段と
からなり、道路測量システムのモニタ上に表示された画像上のスケールから読み取った構造物パーツのサイズを入力手段から入力することにより、道路の横断情報図を作成することができるようにしたことを特徴とする道路横断情報図作成システムを提供する。
In order to achieve the second object described above, the present invention provides a road crossing information map creation system for creating a road crossing information map under computer assistance.
The road survey system described above,
Means for displaying on the monitor a plurality of templates representing a transverse cross-sectional view of the road;
Means for displaying on a monitor a cross section represented by the template together with an input field for inputting the size of the structure part included in the cross section when one of the templates of the transverse section view is selected. When,
The road crossing information map consists of an input means for inputting the size of the structure part, and the size of the structure part read from the scale on the image displayed on the monitor of the road surveying system is input from the input means. It is possible to provide a road crossing information map creation system characterized in that it can be created.
上記した本発明に係る道路横断情報図作成システムにおいて、該システムはさらに、道路の構造物パーツを表すテンプレートをモニタ上に表示する手段と、モニタ上で、表示された横断図に含まれる構造物パーツを、テンプレートで表された構造物パーツに置換する手段とを備えていることが好ましい。 In the above-described road crossing information map creation system according to the present invention, the system further includes means for displaying a template representing a road structural part on the monitor, and the structure included in the cross section displayed on the monitor. It is preferable to provide means for replacing the part with a structural part represented by a template.
図１−１及び図１−２は、本発明に係る道路測量システムを構成する、カメラを搭載し測量すべき道路を撮影して道路画像を取得するための車両１、及び、得られた道路画像の画像データを処理するコンピュータ支援システム２を示す概略図である。車両１は、通常、走行しながら道路画像を取得する。 FIG. 1-1 and FIG. 1-2 show a vehicle 1 for acquiring a road image by photographing a road on which a camera is mounted and which constitutes a road survey system according to the present invention. It is the schematic which shows the computer assistance system 2 which processes the image data of an image. The vehicle 1 usually acquires a road image while traveling.
車両１は、図１−１に示すように、ＰＣ等からなる制御及びデータ処理部１０、カメラ１１、車両１のローリング、ピッチング及びヨーイング検出用の３軸センサ１２、車両の位置及び高度検出用のＧＰＳ受信機１３、写真データ記憶部１４、３軸センサデータ記憶部１５、ＧＰＳデータ記憶部１６を備えている。カメラ１１、３軸センサ１２、及びＧＰＳ受信機１３により得られたデータは、写真データ記憶部１４、３軸センサデータ記憶部１５、及びＧＰＳデータ記憶部１６にそれぞれ記憶され、これら記憶部に記憶されたデータは、データ収集終了後データ退避記憶部１７のＣＤ−ＲＯＭ等の外部記憶媒体に退避すなわち記憶される。その外部記憶媒体はコンピュータ支援システム２にバッチで渡される。カメラ１１は、測量すべき道路の幅及びカメラの視野に応じて、１又は複数を車両１に搭載することができる。
As shown in FIG. 1A, the vehicle 1 includes a control and
制御及びデータ処理部１０は、車両１に備えられたシステム全体の制御を行う。例えば、制御及びデータ処理部１０の制御の下で、カメラ１１の位置合わせ、ピント、輝度等の制御が行われ、また、カメラから得られた画像は写真データ記憶部１４に記憶される。３軸センサ１２及びＧＰＳ受信機１３から得られたデータも、制御及びデータ処理部１０の制御の下で記憶部１５及び１６に記憶される。記憶部１４〜１６への記憶は、撮影時におけるそれぞれのデータの取得に関連付けて記憶される。これらの記憶されたデータは、データ収集終了後に外部記憶媒体に退避し、コンピュータ支援システム２においてバッチで渡されて復元される。必要に応じて、データを車両１側からコンピュータ支援システム２側にリアルタイムで送信しても良い。
The control and
コンピュータ支援システム２は、図１−２に示すように、車両１側から外部記憶媒体で退避されたデータの復元データを記憶するデータ記憶部２０、該記憶部２０に記憶されたデータを関連付けるデータ関連付部２１、関連付けられたデータを記憶するデータ関連マスタ（記憶部）２２、テンプレート記憶部２３、横断情報図作成用のモニタ２４、データ処理部２５、道路３Ｄデータ記憶部２６、道路写真表示用のモニタ２７を備えている。
As shown in FIG. 1-2, the computer support system 2 includes a
データ関連付部２１は、受信データ記憶部２０に記憶された写真データ、３軸センサのデータ、ＧＰＳデータを、それぞれの取得場所を基準にして関連づけを行う。すなわち、同一取得場所の写真データ３軸センサデータ及びＧＰＳデータを関連付けて、データ関連マスタ２２に格納する。このとき、後の検索のために、以下のようなデータを検索キーワードとして利用できるようにすることが好ましい。
道路位置（Ｘ，Ｙ，Ｚ）
道路ＩＤ（道路の上線／下線を含む）
車両位置（Ｘ，Ｙ，Ｚ）（＝ＧＰＳデータ）
写真取得日時
なお、道路位置は、車両位置から所定距離前方（例えば、前方１０ｍ）の位置である。また、道路位置及び車両位置の座標は、ＧＰＳデータ（経度、緯度及び高度（標高）座標）に基づくものであるが、予め設定した適宜の座標系の位置座標に変換している。
The
Road position (X, Y, Z)
Road ID (Including upper / lower roads)
Vehicle position (X, Y, Z) (= GPS data)
Photo acquisition date
The road position is a position that is a predetermined distance ahead (for example, 10 m ahead) from the vehicle position. The coordinates of the road position and the vehicle position are based on GPS data (longitude, latitude, and altitude (elevation) coordinates), but are converted into position coordinates in an appropriate coordinate system set in advance.
データ処理部２５は、データ関連マスタ２２に記憶されたデータを処理して、道路の写真画像を、長さ及び高さを示す目盛りが付されたスケールと共にモニタ２７上に表示させるよう制御する。オペレータは、該表示された道路画像からスケールの目盛りを参照して、車道及び歩道の幅、歩道の車道からの高さ等の種々の値を読み取り、３Ｄデータからなる測量値として、横断情報図２４の入力部から入力する。該入力部から入力された３Ｄデータは、道路３Ｄデータ記憶部２６に記憶される。モニタ２７は、車両１のカメラ１１に対応して設けることが好ましく、カメラが例えば２台であれば、図１−２に示すように、モニタ２７も２台備えることが好ましい。
The
モニタ２７上のスケールは、現地道路の同一の横方向（横断方向）ラインであっても、車両１の進行方向に近いほど画像上のスケールの目盛り間隔が大きく設定され、また、現地道路の同一の進行方向ラインであっても、車両１に近いほど画像上のスケールの目盛り間隔が大きく設定される。目盛り間隔の設定については、以降で詳細に説明する。
このように、写真画像の位置に応じてスケールの目盛り間隔が調整されることにより、長さが同一であれば、同一の目盛り数で表示することができる。
Even if the scale on the
In this way, by adjusting the scale interval according to the position of the photographic image, the same number of scales can be displayed if the length is the same.
上記したように、本発明の道路測量システムにおいては、コンピュータ支援システム２のモニタ２７に道路の写真画像をスケールとともに表示し、オペレータが該スケールを参照して道路写真から道路の種々の部分の幅及び高さを読み取って入力することができるように構成されている。
このように用いられるスケールの目盛りを決定する原理を、図２−１及び図２−２を参照して以下に説明する。なお、理解を容易にするために所定の数値を用いてスケール決定の原理を説明するが、これら数値に限定されるものではないことが勿論である。
As described above, in the road surveying system according to the present invention, the photograph image of the road is displayed together with the scale on the
The principle of determining the scale of the scale used in this way will be described below with reference to FIGS. 2-1 and 2-2. In order to facilitate understanding, the principle of scale determination will be described using predetermined numerical values, but it is needless to say that the present invention is not limited to these numerical values.
図２−１に示すような現地のＸＹ座標を考える。すなわち、現地において、車両１の道路上の進行方向線を基準線（Ｘ＝０）とし、車両上のカメラの位置を基準位置Ｏ（0，0）とし、左前方に１ｍ間隔の行列８×１０を構成する線を描き、行列の交点それぞれを座標（Ｘ，Ｙ）で表す。カメラ１１は、車両の地上から２ｍの位置である現地座標（Ｘ，Ｙ，Ｚ）＝（0，0，2000）から、カメラの中心が地上の現地座標（5000，10000，0）を向くように設定する。
現地撮影で得られた画像は、例えば、図２−２に示すようになり、画像のＸＹ座標の原点（0，0）を左下とし、左上端座標（0，132）、右下端座標（156，0）、右上端座標（156，132）とする。
Consider local XY coordinates as shown in Figure 2-1. That is, at the site, the traveling direction line on the road of the vehicle 1 is the reference line (X = 0), the position of the camera on the vehicle is the reference position O (0, 0), and a matrix 8 × 1 m intervals in the left front. The line which comprises 10 is drawn and each intersection of a matrix is represented by a coordinate (X, Y). From the local coordinates (X, Y, Z) = (0, 0, 2000), which is a
For example, an image obtained by on-site photography is as shown in FIG. 2B. The origin (0, 0) of the XY coordinates of the image is set to the lower left, the upper left coordinates (0, 132), the lower right coordinates (156 , 0) and upper right end coordinates (156, 132).
地点Ａ〜Ｆの図２−１における現地座標系と図２−２における画像座標系は、以下のような関係が得られる。なお、以下において、大文字のアルファベットは現地地点を表し、対応する小文字のアルファベットは、これら現地地点に対応する画像上の位置を表すものとする。（ただし、図２−２においては、画像上の位置であっても大文字のアルファベットで示している。）
地点Ａ：（ＸA，ＹA）＝（4000，7000） （Ｘa，Ｙa）＝（47，43）
地点Ｂ：（ＸB，ＹB）＝（4000，6000） （Ｘb，Ｙb）＝（27，34）
地点Ｃ：（ＸC，ＹC）＝（3000，6000） （Ｘc，Ｙc）＝（46、31）
地点Ｄ：（ＸD，ＹD）＝（3000，7000） （Ｘd，Ｙd）＝（64，41）
地点Ｅ：（ＸE，ＹE）＝（4000，5000） （Ｘe，Ｙe）＝（ 5，23）
地点Ｆ：（ＸF，ＹF）＝（4000，8000） （Ｘf，Ｙf）＝（64，37）
このようにして、現地の複数地点の現地座標及び画像座標を予め取得する。
The following relationship is obtained between the local coordinate system in FIGS. 2-1 and the image coordinate system in FIG. In the following, uppercase alphabets represent local points, and corresponding lowercase alphabets represent positions on the image corresponding to these local points. (However, in FIG. 2B, even the position on the image is indicated by a capital letter.)
Point A: (X A , Y A ) = (4000,7000) (X a , Y a ) = (47, 43)
Point B: (X B , Y B ) = (4000,6000) (X b , Y b ) = (27, 34)
Point C: (X C , Y C ) = (3000, 6000) (X c , Y c ) = (46, 31)
Point D: (X D , Y D ) = (3000, 7000) (X d , Y d ) = (64, 41)
Point E: (X E , Y E ) = (4000,5000) (X e , Y e ) = (5, 23)
Point F: (X F , Y F ) = (4000,8000) (X f , Y f ) = (64, 37)
In this way, the local coordinates and image coordinates of a plurality of local points are acquired in advance.
現地の地点Ａ−地点Ｅ上の任意の地点Ｐについて、以下の関係式が成り立つ。なお、以下の式において、２つのアルファベットの前に付けられたΔは距離を表すものとする。例えば、ΔＡＢは現地の地点Ａ及びＢの間の距離、Δａｂは地点Ａ及びＢに対応する画像上の位置ａ及びｂの間の距離を表している。
Δｅｐ＝（Δｂａ−Δｅｂ）ΔＥＰ2／ΔＥＡ
＋（３＊Δｅｂ−Δｂａ）ΔＥＰ／ΔＥＡ （１）
The following relational expression holds for an arbitrary point P on the local point A-point E. In the following formula, Δ attached in front of two alphabets represents a distance. For example, ΔAB represents the distance between the local points A and B, and Δab represents the distance between the positions a and b on the image corresponding to the points A and B.
Δep = (Δba−Δeb) ΔEP 2 / ΔEA
+ (3 * Δeb−Δba) ΔEP / ΔEA (1)
上記式（１）において、ΔＥＡは予め設定した固定値（＝２ｍ）であり、Δｂａは現地画像と画像座標との関係で画像座標から得られる固定値である。したがって、画像上に表示されたスケールを読んでΔｅｐが得られれば、上記式からΔＥＰ、すなわち、地点Ｅと地点Ｐとの距離を演算することができる。言い換えると、画像上に、現地座標の距離に対応する目盛りを付けたスケールを表示し、該スケール上でΔｅｐに相当する目盛りを読むだけで、現地の距離ΔＥＰを取得することができることになる。 In the above equation (1), ΔEA is a preset fixed value (= 2 m), and Δba is a fixed value obtained from the image coordinates due to the relationship between the local image and the image coordinates. Therefore, if Δep is obtained by reading the scale displayed on the image, ΔEP, that is, the distance between the point E and the point P can be calculated from the above equation. In other words, the local distance ΔEP can be obtained by displaying a scale with a scale corresponding to the distance of the local coordinates on the image and reading the scale corresponding to Δep on the scale.
上記においては、地点Ａ及びＥの現地座標を既知として説明したが、現地座表系と画像座標系との間の関係を予め求めておけば、現地の同一距離をスケール上の同一目盛り数で表すことができるので、同一列（道路の前方方向＝車両の進行方向）上に存在する任意の２地点間の距離を取得することができる。すなわち、以降で詳細に説明するが、画像座標の基準Ｙ座標がカメラに近いほど大きくなるように見えるレンズ効果と同様にスケールの目盛りを設定することにより、同一の現地距離を同一の目盛り数で表すことができるので、スケール目盛りを読み取ることにより、同一列上の任意の２地点の間の距離を取得することができる。
同様に、同一行（道路の幅方向）上の２地点間の距離及び地上からの高さについても、スケール目盛りを、現地座標がカメラに近いほど、距離が大きく見えるレンズ効果と同様に設定することにより、同様に求めることができる。
In the above description, the local coordinates of the points A and E have been described as known. However, if the relationship between the local coordinate system and the image coordinate system is obtained in advance, the same local distance is expressed by the same number of scales on the scale. Since it can be expressed, it is possible to obtain the distance between any two points existing on the same column (the forward direction of the road = the traveling direction of the vehicle). That is, as will be described in detail later, the same local distance can be set to the same number of scales by setting the scale scale in the same manner as the lens effect that appears to be larger as the reference Y coordinate of the image coordinates is closer to the camera. Since it can be expressed, the distance between any two points on the same column can be obtained by reading the scale scale.
Similarly, with respect to the distance between two points on the same line (in the width direction of the road) and the height from the ground, the scale scale is set in the same manner as the lens effect in which the distance becomes larger as the local coordinates are closer to the camera. Thus, it can be obtained similarly.
次に、画像上に表示するスケールの目盛りの設定について説明する。画像上のスケール上の目盛りは、例えば、現地における１０ｃｍ単位（拡大時には１ｃｍ単位）に相当するように付ける。このとき、図２−２からも明らかなように、現地での地点間の距離と画像上の地点間の距離とは非線形である。これは、レンズ効果によるものである。そこで、同一現地距離を示す目盛りであっても、間隔を変化させる必要がある。
例えば、図２−１及び図２−２に示すように、車両１から６．３ｍ先の道路を横断するライン上に地点Ｐが存在し、同様に６．３ｍの横断ライン上でＰ点より１ｍ右方向の地点Ｐ’までの間の１０ｃｍ毎の距離を表す画像上のスケール目盛りを演算する。
地点Ｐ：現地座標（ＸP，ＹP）＝（4000，6300）
画像座標（Ｘp，Ｙp）＝（33.26，36.82）
地点Ｐ’：現地座標（ＸP’，ＹP’）＝（3000，6300）
画像座標（Ｘp’，Ｙp’）＝（52.26，23.82）
演算の結果、現地座標及び画像座標のＸ座標は、以下のような関係にある。
For example, as shown in FIGS. 2-1 and 2-2, there is a point P on a line crossing a road 6.3m ahead from the vehicle 1, and from the point P on a crossing line 6.3m in the same manner. The scale scale on the image representing the distance of every 10 cm between the point P ′ in the 1 m right direction is calculated.
Point P: local coordinates (X P , Y P ) = (4000, 6300)
Image coordinates (X p , Y p ) = (33.26, 36.82)
Point P ′: local coordinates (X P ′ , Y P ′ ) = (3000, 6300)
Image coordinates (X p ′ , Y p ′ ) = (52.26, 23.82)
As a result of the calculation, the local coordinates and the X coordinates of the image coordinates have the following relationship.
上記からも明らかなように、画像上の変化量は、車両１の進行ライン（カメラ進行線）に近づくほど大きくなっており、画像上のスケールには、実際の１０ｃｍ単位の距離を表すために、上記表の変動する変化量毎に目盛りを付せばよいことが分かる。
モニタ２７上に表示された画像の任意の横方向ライン上にスケールを置いたときの全体の目盛りの変化量は、以下のようにして求めることができる。
まず、任意の横方向ライン（行ライン）の現地座標ＹＱを決定し、該ライン上で１ｍ離れている２つの地点Ｐ及びＰ’の間を１０ｃｍ単位で区分した場合の３つの連続する地点Ｐ１〜Ｐ３を考える。
地点Ｐ１現地座標（ＸP1，ＹP1）＝（ＸP1，ＹQ）
地点Ｐ２現地座標（ＸP2，ＹP2）＝（ＸP2＋ｋ，ＹQ）
地点Ｐ３現地座標（ＸP3，ＹP3）＝（ＸP1＋２ｋ，ＹQ）
（ただし、ｋ＝１０）
As is clear from the above, the amount of change on the image increases as it approaches the travel line (camera travel line) of the vehicle 1, and the scale on the image represents the actual distance in units of 10 cm. It can be seen that a scale should be provided for each variable amount of change in the above table.
The amount of change in the overall scale when the scale is placed on an arbitrary horizontal line of the image displayed on the
First, the local coordinates YQ of an arbitrary horizontal line (row line) are determined, and three consecutive points when dividing between two points P and P ′ that are 1 m apart on the line in units of 10 cm. Consider P1-P3.
Point P1 local coordinates (X P1 , Y P1 ) = (X P1 , Y Q )
Point P2 local coordinates (X P2 , Y P2 ) = (X P2 + k, Y Q )
Point P3 local coordinates (X P3 , Y P3 ) = (X P1 + 2k, Y Q )
(However, k = 10)
式（１）から、１０ｃｍ離間している現地の地点Ｐ１とＰ２との間の画像上の変化量すなわち距離Δｐ1ｐ2は、式（１）と同様にして、以下の式で表される。
Δｐ1ｐ2＝（Δｐ2ｐ3−Δｐ1ｐ2）Ｘ2／ΔＰ1Ｐ3
＋３＊Δｐ1ｐ2−Δｐ2ｐ3）Ｘ／ΔＰ1Ｐ3 （２）
ただし、Ｘは地点Ｐ１とＰ２との間のＸ座標であるが、Ｐ１を地点Ｐから地点Ｐ’までの間で順次移動させても（ただし、ＸP1＝＞ＸP＋８０）、上記式（２）は成立するので、式（１）におけるＸは地点Ｐと地点Ｐ’との間の任意地点のＸ座標としても、上記式（２）は成立する。また、地点ＰのＸ座標を任意としても上記式（２）は成立する。
したがって、現地Ｘ座標に応じて、スケール上の目盛り間の距離（間隔）を式（２）に基づいて変化させれば良いことが分かる。
From Expression (1), the amount of change on the image between the local points P1 and P2 that are 10 cm apart, that is, the distance Δp 1 p 2 is expressed by the following expression in the same manner as Expression (1). .
Δp 1 p 2 = (Δp 2 p 3 −Δp 1 p 2 ) X 2 / ΔP 1 P 3
+ 3 * Δp 1 p 2 −Δp 2 p 3 ) X / ΔP 1 P 3 (2)
However, although X is an X coordinate between the points P1 and P2, even if P1 is sequentially moved from the point P to the point P ′ (where X P1 => X P +80), the above formula ( Since 2) holds, the above expression (2) also holds even if X in the expression (1) is the X coordinate of an arbitrary point between the points P and P ′. Further, the above formula (2) is established even if the X coordinate of the point P is arbitrary.
Therefore, it is understood that the distance (interval) between the scales on the scale may be changed based on the formula (2) according to the local X coordinate.
同様に、車両の進行方向の距離を表すためのスケールの目盛りの距離、すなわち、同一の現地Ｘ座標上の１ｍ離間した２つの地点Ｑ及びＱ’の間の１０ｃｍを表すための式は、以下のように表すことができ、この場合も、現地Ｙ座標に応じてスケール上の目盛り間の間隔を変化させればよい。
Δｑ1ｑ2＝（Δｑ2ｑ3−Δｑ1ｑ2）Ｙ2／ΔＱ1Ｑ3
＋３＊Δｑ1ｑ2−Δｑ2ｑ3）Ｙ／ΔＱ1Ｑ3 （３）
（ただし、Ｙは現地のＹ座標）
Similarly, the scale graduation distance for representing the distance in the traveling direction of the vehicle, that is, the expression for representing 10 cm between two points Q and Q ′ 1 m apart on the same local X coordinate is as follows: In this case as well, the interval between the scales on the scale may be changed according to the local Y coordinate.
Δq 1 q 2 = (Δq 2 q 3 −Δq 1 q 2 ) Y 2 / ΔQ 1 Q 3
+ 3 * Δq 1 q 2 −Δq 2 q 3 ) Y / ΔQ 1 Q 3 (3)
(However, Y is the local Y coordinate)
さらに、高さ方向を表すためのスケール目盛りの変化量は、予め、現地座標の各交点に高さ２ｍのスケールを配置した画像を撮影しておき、上記と同様にして式（１）から求めることができる。
例えば、図２−３に示すように、現地座標（Ｘ，Ｙ）＝Ｒ1（4000，6000）、Ｒ2（5000，6000）、Ｒ3（6000，6000）に高さ２ｍのスケールを配置した場合、Ｒ1，Ｒ2，Ｒ3における画像上の長さは、それぞれ23.0、20.5、19.0となり、進行方向や横方向のスケールと同様に車両１に近づくほど目盛りの間隔が大きくなることがわかる。
そして、図２−３に示すような、現地座標（Ｘ，Ｙ，Ｚ）＝（4000，6000，0）と（4000，6000，1000）と（4000，6000，2000）を結ぶラインについて、式（１）を適用すれば、地点Ｒ1における任意の高さでの画像上の点が求められる。
Δｒ1ｒ2＝（Δｒ2ｒ3−Δｒ1ｒ2）Ｚ2／ΔＲ1Ｒ3
＋３＊Δｒ1ｒ2−Δｒ2ｒ3）Ｚ／ΔＲ1Ｒ3 （４）
（ただし、Ｚは現地座標）
地点Ｒ2でも同様に計算が可能なので、同じ高さの点を結ぶことで、地点Ｒ1とＲ2間における任意の位置についてスケールの目盛りを設定することができる。よって該任意の地点のＸＹ座標によって変動するスケールの目盛りを設定することができる。
Furthermore, the amount of change in the scale scale for expressing the height direction is obtained from Formula (1) in the same manner as described above by photographing an image in which a scale having a height of 2 m is arranged at each intersection of the local coordinates in advance. be able to.
For example, as shown in Fig. 2-3, a scale with a height of 2 m is placed on the local coordinates (X, Y) = R 1 (4000, 6000), R 2 (5000, 6000), R 3 (6000, 6000). In this case, the lengths on the images of R 1 , R 2 , and R 3 are 23.0, 20.5, and 19.0, respectively, and the scale interval increases as the vehicle 1 is approached as in the scale in the traveling direction and the lateral direction. Recognize.
Then, as shown in FIG. 2-3, for the line connecting the local coordinates (X, Y, Z) = (4000, 6000, 0), (4000, 6000, 1000) and (4000, 6000, 2000) If (1) is applied, a point on the image at an arbitrary height at the point R 1 is obtained.
Δr 1 r 2 = (Δr 2 r 3 −Δr 1 r 2 ) Z 2 / ΔR 1 R 3
+ 3 * Δr 1 r 2 −Δr 2 r 3 ) Z / ΔR 1 R 3 (4)
(However, Z is local coordinates)
Since can be calculated similarly in point R 2, by connecting the points of the same height, it is possible to set the scale of the scale for any location between the point R 1 and R 2. Therefore, it is possible to set a scale scale that varies depending on the XY coordinates of the arbitrary point.
このように、モニタ２７上に表示された道路画像上でスケールを測定したい箇所に移動させると、それに連れてスケールの目盛り間隔が変更され、実際の道路のＸＹＺ方向の単位長さ（例えば１０ｃｍ）を表す目盛りとして画面上に表示される。したがって、オペレータは、スケールの目盛りを読み取るだけで、道路を構成する車道、歩道等の大きさを測量することができる。
一旦、スケールの目盛りを設定すると、カメラ１１の地上からの高さ、中心方向、視野角等を変更しない限り、設定されたスケール目盛りを使用して測量することができる。カメラのローリング、ピッチングおよびヨーイングが変化した画像は、撮影時に３軸センサ１２からのデータにより画像を標準位置に修正する。
As described above, when the scale image is moved to a position where the scale is desired to be measured on the road image displayed on the
Once the scale of the scale is set, surveying can be performed using the set scale scale unless the height of the camera 11 from the ground, the center direction, the viewing angle, and the like are changed. An image in which the rolling, pitching, and yawing of the camera is changed is corrected to a standard position by data from the
次いで、オペレータは、表示された写真画像から道路の所定位置の横断情報図の構造を決定し、該横断情報図を構成する要素それぞれの幅／高さの測量値として、読み取ったスケールの値を入力することができ、これにより、幅等の測量値が挿入された道路の横断情報図を作成することができる。以下に、このような道路の横断情報図の作成について、より詳細に説明する。 Next, the operator determines the structure of the crossing information map at a predetermined position on the road from the displayed photographic image, and uses the read scale value as the survey value of the width / height of each element constituting the crossing information map. Thus, it is possible to create a crossing information map of a road in which a survey value such as a width is inserted. Hereinafter, the creation of such a road crossing information map will be described in more detail.
データ処理部２５は、モニタ２７上で道路の進行方向であるＹ座標がスケールの位置によって特定され、横断情報図作成用のモニタ２４上で、横断情報図作成機能が選択されると、テンプレート記憶部２３に予め記憶された複数の模式的な横断図テンプレートを読み出して該モニタ２４上に表示する。図３−１は、横断情報図作成用のモニタ２４上に表示される横断図テンプレートの代表的な３つの例を示している。必要に応じて、左右山タイプ等の別の横断図テンプレートをさらに追加しても良い。
When the Y coordinate which is the traveling direction of the road is specified on the
オペレータが、モニタ２７上に表示された道路の写真画像から道路の基本的な形状及び構造を把握し、それに類似する横断図テンプレートを横断情報図作成用のモニタ２４上で選択すると、データ処理部２５により、該選択されたタイプのテンプレートのみが、そのモニタ２４上に、道路を構成する構造物パーツそれぞれのサイズを入力可能な状態で表示される。この状態で、構造物パーツは置換可能となる。
道路の構造物パーツとして、車道（断面構造が異なる複数の車道を含む）、歩道、法面、山パーツ、谷パーツ、側溝（Ｕ字側溝、Ｌ字側溝）、擁壁等が含まれ、これらパーツのテンプレートもテンプレート記憶部２３に記憶されている。また、必要に応じて他の構造物パーツを追加格納可能である。
When the operator grasps the basic shape and structure of the road from the photographic image of the road displayed on the
Road structure parts include roadways (including multiple roadways with different cross-sectional structures), sidewalks, slopes, mountain parts, valley parts, side grooves (U-shaped side grooves, L-shaped side grooves), retaining walls, etc. A part template is also stored in the
構造物パーツを置換するためには、横断情報図作成用のモニタ２４上に表示された複数のパーツテンプレートから１つを選択して、表示された横断図テンプレートのパーツ上にドラグすること等によって、置換される。例えば、山パーツと谷パーツとを入れ替えることができ、Ｕ字側溝とＬ字側溝とを入れ替えることもできる。車道の断面構造も置換可能である。また、選択され表示された横断図テンプレートの中で任意の構造物パーツの幅サイズをゼロにすると、その構造物パーツを削除することができる。これらの機能は、データ処理部２５によって実行される。
In order to replace a structure part, one is selected from a plurality of part templates displayed on the
データ処理部２５は、入力された構造物パーツのサイズに応じて、該パーツの表示サイズを変更し、これにより、実際の道路のサイズに対応する横断情報図を表示することができる。
図３−２は、模式的な左谷右山タイプの横断図テンプレートを選択して該テンプレートを横断情報図作成用のモニタ２４上に表示し、かつ、モニタ２７から読み取ったそれぞれの構造物パーツのサイズを入力した状態を示している。この例では、パーツの置換が行われていない。このように、道路の横断的構造を一元的に表示することができる。
The
FIG. 3-2 is a schematic cross-sectional view template selected from the left valley / right mountain type, displayed on the
本発明は以上のように構成され、撮影された道路画像に基づき、障害物のある箇所を人間が目視して画像位置に連動したスケールから測定値を読み取る又は推測することによって、道路の種々の部分の測量値を得ることができるので、障害物があっても道路の測量を簡易に行うことができる。また、このようにして得られた測量値に基づいて、道路の横断情報図を簡易に作成することができる。 The present invention is configured as described above. Based on the photographed road image, a person visually observes a place with an obstacle and reads or estimates a measured value from a scale linked to the image position. Since the survey value of the part can be obtained, the road survey can be easily performed even if there is an obstacle. Moreover, a road crossing information map can be easily created based on the survey values obtained in this way.
Claims (5)
道路を撮影する手段と、
撮影された道路の画像とスケールとを同一のモニタ上に表示する手段であって、スケールが、モニタ上で、道路の横断方向である現地座標のＸ軸方向に対応する方向に延在され、道路の進行方向である現地座標のＹ軸方向に対応する方向に移動可能に表示する表示手段と
道路の現地座標と撮影された道路の画像座標の変換を行って、表示手段によりモニタ上に表示されるスケールの目盛りを決定する手段であって、スケールの目盛りの間隔が、画像座標のＸ座標及びＹ座標がカメラに近いほど大きくなるように見えるレンズ効果と同様に設定されて、同一の現地距離を同一の目盛り数で表すことができるようにした、スケール目盛り決定手段と、
からなり、スケールの目盛りを読むことによって現地の道路の横断方向の測量を行うことができるようにしたことを特徴とする道路測量システム。 In a road surveying system that performs road surveying from road photographs under computer assistance,
A means of photographing the road,
Means for displaying a photographed road image and scale on the same monitor, wherein the scale extends on the monitor in a direction corresponding to the X-axis direction of the local coordinates that are transverse to the road; Display means movably displayed in the direction corresponding to the Y-axis direction of the local coordinates that are the traveling direction of the road, and the local coordinates of the road and the image coordinates of the photographed road are converted and displayed on the monitor by the display means and means for determining the scale of the scale that will be the interval of the scale of the scale, are set similarly to the lens effect of X and Y coordinates of the image coordinate appears to increase closer to the camera, the same local A scale scale determining means that can express the distance by the same number of scales ;
A road surveying system, characterized by being able to perform surveys in the crossing direction of local roads by reading scales.
請求項１〜３いずれかに記載の道路測量システムと、
道路の横方向断面図を表す複数のテンプレートをモニタ上に表示する手段と、
横方向断面図のテンプレートの１つが選択されたときに、該テンプレートによって表される横断図を、該横断図に含まれる構造物パーツのサイズを入力するための入力欄とともにモニタ上に表示する手段と、
構造物パーツのサイズを入力する入力手段と
からなり、道路測量システムのモニタ上に表示された画像上のスケールから読み取った構造物パーツのサイズを入力手段から入力することにより、道路の横断情報図を作成することができるようにしたことを特徴とする道路横断情報図作成システム。 In a road crossing information map creation system that creates road crossing information maps under computer assistance,
The road survey system according to any one of claims 1 to 3 ,
Means for displaying on the monitor a plurality of templates representing a transverse cross-sectional view of the road;
Means for displaying on a monitor a cross section represented by the template together with an input field for inputting the size of the structure part included in the cross section when one of the templates of the transverse section view is selected. When,
The road crossing information map consists of an input means for inputting the size of the structure part, and the size of the structure part read from the scale on the image displayed on the monitor of the road surveying system is input from the input means. A road crossing information map creation system, characterized in that it can be created.
道路の構造物パーツを表すテンプレートをモニタ上に表示する手段と、
モニタ上で、表示された横断図に含まれる構造物パーツを、テンプレートで表された構造物パーツに置換する手段と
を備えていることを特徴とする道路横断情報図作成システム。 5. The road crossing information map creation system according to claim 4 , wherein the system further comprises:
Means for displaying on the monitor a template representing the structural parts of the road;
A road crossing information map creation system comprising: means for replacing a structure part included in a displayed cross section on a monitor with a structure part represented by a template.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007316818A JP4160106B1 (en) | 2007-12-07 | 2007-12-07 | Road surveying system and road crossing information map creation system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007316818A JP4160106B1 (en) | 2007-12-07 | 2007-12-07 | Road surveying system and road crossing information map creation system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP4160106B1 true JP4160106B1 (en) | 2008-10-01 |
| JP2009139259A JP2009139259A (en) | 2009-06-25 |
Family
ID=39916180
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007316818A Active JP4160106B1 (en) | 2007-12-07 | 2007-12-07 | Road surveying system and road crossing information map creation system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4160106B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010050162A1 (en) * | 2008-10-28 | 2010-05-06 | 株式会社パスコ | Road measurement device and method for measuring road |
-
2007
- 2007-12-07 JP JP2007316818A patent/JP4160106B1/en active Active
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010050162A1 (en) * | 2008-10-28 | 2010-05-06 | 株式会社パスコ | Road measurement device and method for measuring road |
| CN102197276A (en) * | 2008-10-28 | 2011-09-21 | 株式会社博思科 | Road measurement device and method for measuring road |
| JP5100845B2 (en) * | 2008-10-28 | 2012-12-19 | 株式会社パスコ | Road measuring device and road measuring method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2009139259A (en) | 2009-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8351704B2 (en) | Method of capturing linear features along a reference-line across a surface for use in a map database | |
| US8958980B2 (en) | Method of generating a geodetic reference database product | |
| US8896686B2 (en) | Determining a geometric parameter from a single image | |
| EP1606581B1 (en) | Method and device for image processing in a geodesical measuring appliance | |
| Chiabrando et al. | UAV photogrammetry for archaeological site survey. 3D models at the Hierapolis in Phrygia (Turkey) | |
| KR101180415B1 (en) | system for Constructing road ledger using MMS | |
| JP2012133471A (en) | Image composer, image composition program and image composition system | |
| Ulvi | Analysis of the utility of the unmanned aerial vehicle (UAV) in volume calculation by using photogrammetric techniques | |
| KR100822814B1 (en) | Method for overlapping real-time landscape image and gis data | |
| KR100417638B1 (en) | Digital Photogrammetric Manufacturing System using General PC | |
| Andrés et al. | Evolution of the architectural and heritage representation | |
| CN112700545B (en) | Simulation display system and method for remote sensing data | |
| CN116805441A (en) | Early warning method and device for foundation pit monitoring, electronic equipment and storage medium | |
| JP4160106B1 (en) | Road surveying system and road crossing information map creation system | |
| JP2009229182A (en) | Feature-on-image measurement method, display method, and measurement apparatus | |
| TWI501198B (en) | Slope safety analysis system and its method for applying portable electronic device | |
| Fawzy | The accuracy of determining the volumes using close range photogrammetry | |
| Karauğuz et al. | 3D Photogrammetric model of Eflatunpinar monument at the age of Hittite empire in Anatolia | |
| Stylianidis et al. | A digital close-range photogrammetric technique for monitoring slope displacements | |
| JP4438002B2 (en) | 3D data generation method of features using network | |
| JP3441657B2 (en) | Image point setting device and photogrammetry method using the image point setting device | |
| KR100874425B1 (en) | System for measuring size of signboard and method for measuring size of signboard using the same | |
| JP5285650B2 (en) | Information providing system, advanced information acquisition system, advanced information acquisition device, and program | |
| JP3267589B2 (en) | Map data processing method and system | |
| Yiguang et al. | A panorama image and 3D laser point cloud integration approach for railway surveying |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080708 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080716 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4160106 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110725 Year of fee payment: 3 |
|
| S303 | Written request for registration of pledge or change of pledge |
Free format text: JAPANESE INTERMEDIATE CODE: R316304 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110725 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120725 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120725 Year of fee payment: 4 |
|
| S343 | Written request for registration of root pledge or change of root pledge |
Free format text: JAPANESE INTERMEDIATE CODE: R316350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120725 Year of fee payment: 4 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| S343 | Written request for registration of root pledge or change of root pledge |
Free format text: JAPANESE INTERMEDIATE CODE: R316350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120725 Year of fee payment: 4 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130725 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |