JP5150310B2 - 地理データ収集装置 - Google Patents

地理データ収集装置 Download PDF

Info

Publication number
JP5150310B2
JP5150310B2 JP2008053110A JP2008053110A JP5150310B2 JP 5150310 B2 JP5150310 B2 JP 5150310B2 JP 2008053110 A JP2008053110 A JP 2008053110A JP 2008053110 A JP2008053110 A JP 2008053110A JP 5150310 B2 JP5150310 B2 JP 5150310B2
Authority
JP
Japan
Prior art keywords
measurement
image
reference image
data collection
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008053110A
Other languages
English (en)
Other versions
JP2009210388A (ja
JP2009210388A5 (ja
Inventor
仁志 大谷
充孝 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Topcon Corp
Original Assignee
Topcon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Topcon Corp filed Critical Topcon Corp
Priority to JP2008053110A priority Critical patent/JP5150310B2/ja
Priority to US12/380,152 priority patent/US8717432B2/en
Priority to EP09002813.5A priority patent/EP2098820B1/en
Priority to CN2009101185911A priority patent/CN101561273B/zh
Publication of JP2009210388A publication Critical patent/JP2009210388A/ja
Publication of JP2009210388A5 publication Critical patent/JP2009210388A5/ja
Application granted granted Critical
Publication of JP5150310B2 publication Critical patent/JP5150310B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/06Interpretation of pictures by comparison of two or more pictures of the same area
    • G01C11/12Interpretation of pictures by comparison of two or more pictures of the same area the pictures being supported in the same relative position as when they were taken

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Instructional Devices (AREA)
  • Measurement Of Optical Distance (AREA)
  • Navigation (AREA)

Description

本発明は、GPSを利用した携帯型地理データ収集装置、特に測定場所の画像データを取得し、画像中に測定箇所をプロットし、又測定箇所を視覚で確認しつつ測定等が行え、又測定結果を画像データと共に収集可能な地理データ収集装置に関するものである。
近年GPS(Global Positioning System)が普及し、GPS装置により、簡単に又高精度で現在位置を取得でき、又現在位置を地図情報中に表示できる様になっている。
又、一般的な地図情報に加えて、付帯的な情報を必要とする場合、例えば、道路のマンホールの位置、或は電信柱の位置等の情報が必要な場合、或は森林調査等に於いて、樹木の位置、大きさ、繁みの状態等の情報を取得する様な場合、或は災害時の道路の地割れの位置、状態、土砂崩れの位置、範囲等の情報を取得する場合、簡単に測定対象物の位置測定ができ、又測定地点の、或は測定対象物の画像データを取得でき、更に容易に移動できる簡便な地理データ収集装置が望まれる。
従って、本出願人は、特許文献1に示される様な、携帯の地理データ収集装置を提案している。
該地理データ収集装置は、GPS装置、撮像装置、レーザ距離測定装置、傾斜センサ、方位センサを具備し、GPS装置で得られる地理データ収集装置の現在位置を基準として測定対象物の位置情報、画像データを取得できる様になっている。
特許文献1の地理データ収集装置では、測定対象物に関する位置情報、及び測定対象物を含む周辺の画像データを取得できるので、画像の位置データを基に複数の画像を合成し、広範囲、即ち予定した測定範囲の画像を得ることができる。
ところが、上記した地理データ収集装置では、1測定毎に撮影し、画像データを記録するので、1測定毎に記録時間が必要であり、又データ量が多くなり、データの後処理が煩雑となり、多くの時間が必要であった。
更に、予定した範囲の地理データを収集する場合、測定対象物、測定地点についてのデータ収集が多数に及ぶ場合は、迅速な作業を要求される場合が多く、又何処の点について測定したかは作業者の記憶に頼る場合が多くなる。この為、測定箇所が重複したり、測定箇所に抜けを生じる場合も考えられる。
特開2007−248156号公報
特開2004−317237号公報
特開2002−39748号公報
本発明は斯かる実情に鑑み、測定予定範囲を示す基準画像中に、測定の都度、測定点がプロットされ、作業者が測定済箇所を確認しつつ測定が行える様にし、測定作業の確実性、作業性の向上を図るものである。
本発明は、測距光を照射し測定対象物迄の距離を測定する距離測定部と、測定方向を撮像する撮像部と、撮像した画像を表示する表示部と、該表示部の画面位置に対応して設けられたタッチパネルと、傾きを検出する傾斜センサと、測定方向の水平角を検出する方位センサと、制御演算部とを有し、前記撮像部は測定範囲を撮像して基準画像を取得し、又前記基準画像中で選択した測定点に向けられ測定点を中心とする測定画像を取得し、前記制御演算部は、前記基準画像と、前記測定画像との画像マッチングにより、前記基準画像中での測定点を演算し、該基準画像上、前記測定画像上の少なくとも一方に測定点を表示する地理データ収集装置に係るものである。
又本発明は、前記制御演算部は、測定の進行と共に測定点を順次前記基準画像上に追加表示する地理データ収集装置に係り、又前記測定画像は測定点を含み、前記撮像部で撮像される画像の一部であり、前記基準画像中のマッチングする為の探索範囲の中心は、前記測定画像取得時に前記傾斜センサと前記方位センサで得られた鉛直角と水平角に基づき設定される地理データ収集装置に係り、又前記制御演算部は、前記探索範囲を、前記測定画像に対し前記傾斜センサと前記方位センサの測定誤差分を含む広さに設定する地理データ収集装置に係り、又前記制御演算部は、前記基準画像撮像時に前記傾斜センサ、前記方位センサにより測定した鉛直角、水平角、方位角を基準とし、マッチングの結果から演算した測定点より鉛直角と水平角を補正する地理データ収集装置に係り、前記制御演算部は、複数の測定に対応して複数の測定点を前記基準画像上に表示し、前記タッチパネルを介して指定された前記基準画像上の2点の測定点間の水平距離を演算する地理データ収集装置に係り、又前記制御演算部は、複数の測定に対応して複数の測定点を前記基準画像上に表示し、前記タッチパネルを介して指定された前記基準画像上の少なくとも3点の測定点で囲まれる水平面積を演算する地理データ収集装置に係るものである。
又本発明は、GPS装置を更に有し、前記制御演算部は、前記GPS装置で得られる地理データと、前記基準画像撮像時に前記傾斜センサ、前記方位センサにより測定した鉛直角、水平角及び方位角をマッチングの初期値とし、前記基準画像と前記測定画像のマッチングより測定点を求め、得られた測定点により鉛直角と水平角とを修正し、修正した鉛直角と水平角と測距結果に基づき測定点の3次元座標を演算する地理データ収集装置に係るものである。
又本発明は、前記方位センサは磁気方位センサであり、使用前に水平方向、鉛直方向にして全周のデータを求め、このデータに基づいて内挿補正し、検出結果の補正をする地理データ収集装置に係り、更に又前記制御演算部は、前記基準画像と前記測定画像との画像マッチングにより、前記基準画像上に第2測定点を求め、前記基準画像から前記測定画像に対する逆画像マッチングにより、前記測定画像上に第3測定点を求め、前記測定画像上での前記第3測定点の座標と、測定時に得られた第1測定点の座標とが一致していない場合は、ミスマッチングと判定し、タッチ画面上からマニュアルで前記基準画像上に測定点を指定可能とし、指定された測定点に基づき、前記基準画像と前記測定画像の再マッチングを行う地理データ収集装置に係るものである。
本発明によれば、測距光を照射し測定対象物迄の距離を測定する距離測定部と、測定方向を撮像する撮像部と、撮像した画像を表示する表示部と、該表示部の画面位置に対応して設けられたタッチパネルと、傾きを検出する傾斜センサと、測定方向の水平角を検出する方位センサと、制御演算部とを有し、前記撮像部は測定範囲を撮像して基準画像を取得し、又前記基準画像中で選択した測定点に向けられ測定点を中心とする測定画像を取得し、前記制御演算部は、前記基準画像と、前記測定画像との画像マッチングにより、前記基準画像中での測定点を演算し、該基準画像上、前記測定画像上の少なくとも一方に測定点を表示するので、測定箇所が把握でき作業の確実性、作業効率が向上する。
又本発明によれば、前記制御演算部は、測定の進行と共に測定点を順次前記基準画像上に追加表示するので、測定箇所、測定作業状況の把握ができ、重複する測定、測定漏れが防止され、作業の確実性、作業効率が向上する。
又本発明によれば、前記測定画像は測定点を含み、前記撮像部で撮像される画像の一部であり、前記基準画像中のマッチングする為の探索範囲の中心は、前記測定画像取得時に前記傾斜センサと前記方位センサで得られた鉛直角と水平角に基づき設定されるので、画像処理の対象となるデータ量が少なくなり、又前記基準画像全域について画像マッチングする必要がないので、計算処理時間が短くなり、前記制御演算部の負担も少なくなる。
又本発明によれば、前記制御演算部は、前記探索範囲を、前記測定画像に対し前記傾斜センサと前記方位センサの測定誤差分を含む広さに設定するので最小の探索範囲で誤差なく画像マッチングが可能であり、演算処理の負担が少ない。
又本発明によれば、前記制御演算部は、前記基準画像撮像時に前記傾斜センサ、前記方位センサにより測定した鉛直角、水平角、方位角を基準とし、マッチングの結果から演算した測定点より鉛直角と水平角を補正するので、前記方位センサが大きな誤差を有していた場合でも、測定点間の相対的な測定精度は向上する。
又本発明によれば、前記制御演算部は、複数の測定に対応して複数の測定点を前記基準画像上に表示し、前記タッチパネルを介して指定された前記基準画像上の2点の測定点間の水平距離を演算するので、2点間の距離は簡単な操作で正確に演算できる。
又本発明によれば、前記制御演算部は、複数の測定に対応して複数の測定点を前記基準画像上に表示し、前記タッチパネルを介して指定された前記基準画像上の少なくとも3点の測定点で囲まれる水平面積を演算するので、面積の測定が簡単な操作で正確に演算できる。
又本発明によれば、GPS装置を更に有し、前記制御演算部は、前記GPS装置で得られる地理データと、前記基準画像撮像時に前記傾斜センサ、前記方位センサにより測定した鉛直角、水平角及び方位角をマッチングの初期値とし、前記基準画像と前記測定画像のマッチングより測定点を求め、得られた測定点により鉛直角と水平角とを修正し、修正した鉛直角と水平角と測距結果に基づき測定点の3次元座標を演算するので、複雑な作業を行うことなく、簡単に測定点の3次元座標が得られる。
又本発明によれば、前記方位センサは磁気方位センサであり、使用前に水平方向、鉛直方向にして全周のデータを求め、このデータに基づいて内挿補正し、検出結果の補正をするので方位センサとして磁気式コンパスを使用した場合でも、全周に亘って検出精度を向上させることができる。
更に又本発明によれば、前記制御演算部は、前記基準画像と前記測定画像との画像マッチングにより、前記基準画像上に第2測定点を求め、前記基準画像から前記測定画像に対する逆画像マッチングにより、前記測定画像上に第3測定点を求め、前記測定画像上での前記第3測定点の座標と、測定時に得られた第1測定点の座標とが一致していない場合は、ミスマッチングと判定し、タッチ画面上からマニュアルで前記基準画像上に測定点を指定可能とし、指定された測定点に基づき、前記基準画像と前記測定画像の再マッチングを行うので基準画像に表示される測定点の精度を向上させ得、求めた測定点の3次元座標の精度を高められるという優れた効果を発揮する。
以下、図面を参照しつつ本発明を実施する為の最良の形態を説明する。
先ず、図1に於いて、本発明が実施される地理データ収集装置について説明する。
図1中、1は地理データ収集装置、2は携帯可能な筐体であり、該筐体2には撮像部3、GPS装置4、距離測定部5、表示部6、操作部7が設けられ、又前記筐体2内部には制御演算部8、記憶部9、入出力制御部10、傾斜センサ11、方位センサ12、無線受信部13が設けられており、前記撮像部3は、例えばデジタルカメラであり、対物レンズ14、CCD、CMOSセンサ等多数の画素(ピクセル)の集合体から成る撮像素子15を具備し、該撮像素子15は個々のピクセルの番地(撮像素子内での位置)を特定可能であり、該撮像素子15に結像された対象物の画像は該撮像素子15からデジタル画像信号として前記制御演算部8に出力され、該制御演算部8を介して前記記憶部9に記憶される様になっている。尚、図中、16は前記地理データ収集装置1の電源としての可充電式電池、或は乾電池を示している。
前記距離測定部5は、ノンプリズム式の光波距離計を具備しており、測距光を測定対象物に照射し、測定対象物からの反射光を受光することで測定対象物迄の距離を測定可能となっている。又、測距光は、赤外光、可視光のいずれでもよく、可視光を用いれば測定点が視覚的に把握できる。
前記表示部6は、撮像した画像を表示すると共にタッチパネルとなっており、作業者は前記表示部6より所要の処理が行える様になっている。前記操作部7は、所要の操作ボタン(図示せず)、例えば電源の入切りを行う電源入切り釦、撮像を行う為のシャッタ釦、画面の切替えを行う表示切替え釦、測定を行う場合の測定釦等を有し、所要の処理を行える様になっている。
前記表示部6の表示画面は、画像表示プログラムによって1画面表示、或は2画面以上に分割表示可能となっている。
図2は、前記表示部6の画面が3分割された一例を示しており、画面は、主画面31、第1副画面32、第2副画面33等によって構成され、例えば、前記主画面31には測定方向の広範囲の画像が表示され、前記第1副画面32には測定点近傍の拡大画面が表示され、前記第2副画面33には測定距離、測定方向等の文字情報が表示される。尚、各画面の分割態様の変更が可能であり、又表示内容は、画面の切換えにより変更が可能であり、例えば前記主画面31に測定点近傍の拡大画面を表示し、前記第1副画面32に測定方向の広範囲の画像を表示する。
又、前記主画面31は方位表示部34、傾斜表示部35を具備し、前記方位表示部34には測定方向の方位が表示され、該方位表示部34中の指針36が真上を示す時が測定方向が真北であることを示す。又、前記傾斜表示部35には前記地理データ収集装置1の傾斜状態が示され、前記傾斜表示部35中の小円37が中心に位置する状態が前記地理データ収集装置1の水平状態を示している。
従って、前記表示部6には、前記撮像部3で撮像された画像が表示されると共に、前記距離測定部5で測定した測距データ、及び前記傾斜センサ11で検出した傾き、前記方位センサ12で検出した方位が測角データとして表示される。
又、前記表示部6に表示される画像の中心が、前記距離測定部5の視準方向となっており、該距離測定部5で測定した測定点は、前記画像の中心と一致し、画像中には中心を示すカーソル38、例えば、十字が表示される。前記距離測定部5で測定した測定点と画像の中心とが一致していない場合には、事前にそのオフセットを求めておき、カーソルを補正して表示する。
前記記憶部9は記憶媒体(図示せず)を有し、前記制御演算部8を介してデータの書込み、読取りが可能となっており、又前記記憶媒体には前記地理データ収集装置1を作動させる為の各種プログラム、例えば測定を実行するシーケンスプログラム、撮像画像を処理する画像処理プログラム、GPSによる測定データを後述する補正情報を基に補正する測定補正プログラム、前記表示部6にデータ、画像を表示させる為の画像表示プログラム、複数の位置データから距離、或は面積を演算する演算プログラム、後述する補正情報受信機18との通信を行う通信プログラム等が格納されている。
又、前記記憶媒体は、前記地理データ収集装置1に固定的に内蔵されている半導体メモリ、HD等の内部記憶媒体と、前記記憶部9に対して着脱可能な可搬記憶媒体とで構成されてもよい。該可搬記憶媒体としては前記地理データ収集装置1内に収納可能な、メモリカードに代表される小型記憶媒体等が用いられる。又、補助記憶装置として、前記地理データ収集装置1に接続可能な外部HD装置の外部記憶装置等が用いられてもよい。
前記入出力制御部10は、外部処理装置、例えばパーソナルコンピュータ(以下、PC)に接続可能であり、前記記憶部9が記憶したデータを前記PCに出力可能であり、又該PCからデータを入力可能であり、又前述した各種プログラムの書込み、書換えが可能である。又、前記入出力制御部10を介して前記記憶部9に少なくとも測定対象物の地点を含む地図データ等の地理データを入力しておく。
前記制御演算部8は、前記記憶部9に格納されたプログラムを展開し、前記表示部6に画像の表示を行い、又前記撮像素子15で得られた画像データについての画像処理を行い、前記距離測定部5の測距の制御、該距離測定部5で得られた測距データ、前記傾斜センサ11、前記方位センサ12で得られた測角データ等に基づき、水平距離の演算、面積の演算、3次元座標の演算、前記無線受信部13との通信制御等を実行する。
前記傾斜センサ11は、前記地理データ収集装置1による距離測定中、データ収集作業中に該地理データ収集装置1の水平に対する傾斜を検出し、前記制御演算部8に入力するものであり、該制御演算部8は傾斜状態を前記表示部6に表示する。
前記方位センサ12は、簡便な磁気式方位センサ(コンパス)が用いられ、前記対物レンズ14の光軸の方向、即ち前記撮像部3の撮像方向、即ち測定方向を検出するものであり、検出結果は前記制御演算部8に入力され、該制御演算部8は、方位を前記表示部6に表示する。コンパスは極方向(N)に対しては精度が良いが、それ以外の方向は環境によって精度が劣化するので、前記制御演算部8は事前に装置を水平及び鉛直とした場合の全周のデータを取得し、円の方程式に当てはめて、極方向以外のデータを内挿補正するキャリブレーション機能を有する。
前記無線受信部13は後述する補正情報送受信機17から送信されるGPS測定補正情報を受信し、補正情報21を前記制御演算部8に送出する。
一般にGPS装置による単独測位では、電離層や大気圏に於ける伝搬遅延等の理由による誤差要因を含んでおり、測定精度は10m〜50m程度である。その為測定精度を向上したD−GPS(Differential GPS)、RTK−GPS(Real−Time Kinetic GPS)がある。前記D−GPSでは、位置の分かっている基準局が発信するFM放送の電波や中波ビーコンを利用した補正情報21により、測定精度は数10cm〜数mに向上する。又、前記RTK−GPSでは、基準となる固定点と移動点で同時に受信し取得した信号を、無線装置等を用いて移動点に転送し、移動点側に於いて位置を決定することで、測定精度は1cm〜2cm程度に向上する。又、VRS−GPS(Virtual Reference System GPS)は、仮想基準点方式と呼ばれ、複数の電子基準点の観測データから、測量現場近傍に恰も基準点があるかの様な状態を作り出し、VRS−GPS受信機一台で高精度な測量を行うことができる。本発明の装置は、ハンディタイプの小型一体型地理データ収集装置1であって、精度を重視しない場合には、例えば使い勝手のよい前記D−GPS装置が搭載されるのが好ましい。
前記補正情報送受信機17は前記補正情報受信機18、補正情報送信機19を有し、補正情報21は携帯電話で受信可能であり、前記補正情報受信機18としては簡便に携帯電話を使用することができる。又、該補正情報受信機18で受信した前記補正情報21は携帯電話の送信機能を利用して前記無線受信部13に送信してもよく、或は図示の様に前記補正情報送信機19を設け、該補正情報送信機19により前記補正情報21を前記無線受信部13に送信してもよい。尚、携帯電話もブルートゥース(Bluetooth)(登録商標)機能を備えたものもあり前記補正情報21の送信は、近距離での大容量送信に適しているブルートゥース無線方式を使用してもよい。
以下、図3を参照して本発明に係る地理データ収集装置の作用について説明する。
前記地理データ収集装置1は作業者により保持された状態で使用され、作業者が一方の手で支持し、他方の手で前記操作部7を操作する。
先ず、測定範囲を定め、作業者が作業点(測定の基準点となる)に位置し、測定範囲に前記地理データ収集装置1を向ける。作業点の位置(座標位置)は、前記GPS装置4によって取得され、前記記憶部9に記録される。
前記表示部6には、前記撮像素子15で撮像した画像が、動画状態で表示され、作業者は画像により測定範囲が適切であるかどうかを判断する。測定範囲が適切であると判断すると、測定が開始される。
STEP:01 前記傾斜表示部35に表示される前記地理データ収集装置1の傾斜が水平、又は略水平の状態で、前記操作部7からの操作で測定範囲の撮像を行う。撮像画像は、前記表示部6の前記主画面31に基準画像39(図4参照)として表示される。尚、測定点の測定時には前記地理データ収集装置1は水平に保持することが好ましいが、前記傾斜センサ11により、撮像時の前記地理データ収集装置1の傾斜角を測定し、前記記憶部9に記録しておくことで、記録された傾斜により、測距結果を正確に水平距離に補正することができる。
STEP:02 前記基準画像39全体の水平方向、鉛直方向の画角(以下、水平全体角、鉛直全体角)が計算される。
尚、水平全体角度Hは、HS =±arcTAN[(画像全体の水平画素数×1画素サイズ(又は画素ピッチ))/2/焦点距離]であり、又鉛直全体角度Vは、VS =±arcTAN[(画像全体の鉛直画素数×1画素サイズ(又は画素ピッチ))/2/焦点距離]である。例えば、本実施の前記撮像素子15の画角は、HS =±26°、VS =±20°である。
ここで、前記傾斜センサ11によって検出されるものは鉛直角に相当し、前記方位センサ12によって検出されるものは水平角に相当する。又、前記地理データ収集装置1を水平に維持した状態で、画像中心が水平角=0、鉛直角=0とする。
STEP:03 測定点を決定する為、測定点の観測を行う。前記地理データ収集装置1を測定点に向ける。前記撮像部3は視準方向の前記距離測定部5の視準方向の画像を、例えば、前記第1副画面32にファインダ画像として拡大表示する。尚、ファインダ画像の表示範囲は測定点が容易に認識できる程度に測定点の近傍に限定する。
測定点を視準して前記操作部7から操作して仮測定を行う。測定点について、前記傾斜センサ11、前記方位センサ12により水平角、鉛直角が測定され、測定結果に基づき全体画像上に測定点が表示される。
STEP:04 或は、HS 、VS の範囲内かどうかが判断される。前記傾斜センサ11、前記方位センサ12は、あまり精度がよくなく、特に前記方位センサ12は磁気式であるので、周囲の状態に影響されやすく、精度は期待できない。この為、仮測定点が、前記傾斜センサ11、前記方位センサ12の測定誤差の為に、前記HS 、VS から外れてしまうことがある。又、作業者の誤操作でHS 、VS の範囲から外れてしまうこともある。
仮測定点が、HS 、VS の範囲内である場合は、STEP:06に進む。
STEP:05 仮測定点が、前記HS 、VS から外れていた場合は、前記基準画像39が適切であったかどうかが判断される。これは、仮測定点について測定を優先する場合は、前記基準画像39を変更する必要があるからである。該基準画像39を変更する場合は、前記STEP:01に戻って前記基準画像39の取得から作業が繰返される。又、前記基準画像39の変更がない場合は、前記STEP:03に戻り仮測定がやり直される。
STEP:06 前記STEP:04で仮測定点がHS 、VS の範囲内であった場合は、本測定が実行され、測定点について前記距離測定部5により測距され、前記撮像部3により測定点を中心とした画像が、測定点の画像(測定画像41)として取得される。尚、測定点の撮像は、前記基準画像39と同倍率で行われる。又、前記傾斜センサ11、前記方位センサ12により角度測定が実行される。前記測定点画像、測距、測角の結果は前記記憶部9に記録される。ここで、取得する前記測定画像41の大きさは、後述する画像マッチングに必要な大きさでよい。例えば、測定点(視準点)を中心として15×15画素(0.5°×0.5°画角)とする。
STEP:07 測定が実行された測定点が、測定結果に基づき前記基準画像39にプロットされるが、上記した様に、測角に基づき画像上の位置を特定した場合、測定誤差が大きく正確なプロットはできない。従って、本発明では、画像マッチングの手法に基づき、前記基準画像39に測定点をプロットする。
図4を参照して、測定点のプロットについて説明する。
前記測定画像41と同じ大きさのウィンドウをテンプレートとして前記基準画像39中に設定し、該テンプレートを所定範囲移動させ、テンプレート中の画像の濃度値と前記測定画像41の濃度値が最も類似している位置を探索する。
探索範囲42は、測定点について測定した水平角、鉛直角で得られた前記基準画像39中の位置を中心として、前記傾斜センサ11、前記方位センサ12の測定誤差を考慮して前記探索範囲42の大きさが設定される。本実施の形態では、テンプレートサイズの約3倍のサイズかもしくはコンパス、前記傾斜センサ11の精度を考慮して45×45画素程度が設定される。
マッチングの方法には、一般的に正規化相関、SSDA(差の二乗和)等の方法を用いるが、ここでは対象物の凹凸形状や投影歪みに有効なマッチング手法として、最小二乗マッチング:LSM(Least−Squares Matching)を用いる方法について説明する。
最小二乗マッチング:LSMは図5(A)の画像中のテンプレート43に対応する図5(B)画像中のウィンドウ43bを、図5(B)の様に該ウィンドウ43bの形状をアフィン変形させながらマッチングを行い、対応点をサブピクセル単位で計測する手法である。
マッチングを行う際の測定画像41:テンプレートをf1 (i,j)、全体画像:変形されたマッチングウィンドウをf2 (x,y)とし、マッチングウィンドウの変形を次式のアフィン変換によって近似する。
x=a1 i+a2 j+a3 ,y=a4 i+a5 j+a6
又、個々の比較する画素に於ける濃度差は、以下の形式で与えられる。
d(i,j)=f1 (i,j)−f2 (x,y)
=f1 (i,j)−f2 (a1 i+a2 j+a3 ,a4 i+a5 j+a6 )
次に、濃度差の2乗和を最少とする条件、即ち、Σd(i,j)2 →minを満たす様なa1 〜a6 を決定する。
ここで、a1 ,a2 ,a4 ,a5 はテンプレートの変形を表し、a3 ,a6 が求めるべき検出位置の座標となり、サブピクセル精度の位置検出ができる。
又、マッチングに於いては、前記測定画像41から前記基準画像39へのマッチングを行い、f1 (i,j)に対するf2 (x,y)を求めた。ここでは更に逆のマッチングを行いf2 (x,y)に対するf1 (i,j)を求め、元の画像座標になるかをチェックして、信頼性を高めてもよい。もし、一致しない(ミスマッチング)場合には、コンパス、傾斜計から得られた概略値をそのまま使う。或は、ミスマッチングの場合、作業者が前記操作部7(タッチパネル)から測定点の位置を基準画像上で指定し、再度画像マッチングを行う様にしてもよい。この時の測定点の指定位置は、作業者の記憶によるか、或は測定画像と参照してもよい。
STEP:08 画像マッチングが完了すると、測定点が前記基準画像39上に表示(プロット)される。
STEP:09 該基準画像39上に測定点Mがプロットされると、プロットされた位置の画素の位置から、水平画角、鉛直画角が求められ、測定点の水平角、鉛直角が演算により測定される。演算結果より、前記傾斜センサ11、前記方位センサ12で測定された鉛直角、水平角を補正することができる。
STEP:10 更に、測定を続けるがどうかが判断され、測定を続行する場合は、前記STEP:03に戻り、測定が繰返される。
測定が繰返された結果、前記基準画像39上に2点以上の測定点が、測定された度にプロットされる。従って、作業者は、前記基準画像39上に表示される測定点により、測定状態をリアルタイムで把握することができ、適正な測定点の選択、又重複する測定、測定漏れなく測定作業を実行できる。
又、前記基準画像39に表示された各測定点は、3次元データを有しており、前記表示部6を介して前記基準画像39上の2つの測定点を指定することで2点間の水平距離が演算され、3以上の測定点を指定することで、測定点の座標データから測定点で囲まれた水平の面積が演算される。
従って、例えば、災害時の道路の地割れについて測定を行った場合、地割れの位置(座標)、長さ、大きさが簡単に、又迅速に測定できると共に、地割れの状態は画像により取得できるので、数値データと画像データにより充分な情報を得ることができる。
又、本発明では、前記地理データ収集装置1を保持した位置から、離れた場所、又周囲を測定できるので、広範囲の測定が、作業者の移動を伴うことなく実行でき、作業効率がよい。
本発明が実施される地理データ収集装置の一例を示す概略構成図である。 該地理データ収集装置が具備する表示部の表示の一例を示す説明図である。 本発明の実施の形態の作用を示すフローチャートである。 本発明の実施の形態で実行される画像マッチングの説明図である。 該画像マッチングの一例である最小2乗法についての説明図である。
符号の説明
1 地理データ収集装置
3 撮像部
4 GPS装置
5 距離測定部
6 表示部
7 操作部
8 制御演算部
9 記憶部
11 傾斜センサ
12 方位センサ
39 基準画像
41 測定画像
42 探索範囲

Claims (9)

  1. 測距光を照射し測定対象物迄の距離を測定する距離測定部と、測定方向を撮像する撮像部と、撮像した画像を表示する表示部と、該表示部の画面位置に対応して設けられたタッチパネルと、傾きを検出する傾斜センサと、測定方向の水平角を検出する方位センサと、制御演算部とを有し、
    前記撮像部は測定範囲を撮像して基準画像を取得し、又前記基準画像中で選択した測定点に向けられ測定点を中心とし、前記基準画像の一部である測定画像を取得し、
    前記制御演算部は、前記基準画像中のマッチングする為の探索範囲の中心を、前記測定画像取得時に前記傾斜センサと前記方位センサで得られた鉛直角と水平角に基づき設定し、前記基準画像と、前記測定画像との画像マッチングにより、前記基準画像中での測定点を演算し、該基準画像上、前記測定画像上の少なくとも一方に測定点を表示することを特徴とする地理データ収集装置。
  2. 前記制御演算部は、測定の進行と共に測定点を順次前記基準画像上に追加表示する請求項1の地理データ収集装置。
  3. 前記制御演算部は、前記探索範囲を、前記測定画像に対し前記傾斜センサと前記方位センサの測定誤差分を含む広さに設定する請求項の地理データ収集装置。
  4. 前記制御演算部は、前記基準画像撮像時に前記傾斜センサ、前記方位センサにより測定した鉛直角、水平角、方位角を基準とし、マッチングの結果から演算した測定点より鉛直角と水平角を補正する請求項1又は請求項2又は請求項の地理データ収集装置。
  5. 前記制御演算部は、複数の測定に対応して複数の測定点を前記基準画像上に表示し、前記タッチパネルを介して指定された前記基準画像上の2点の測定点間の水平距離を演算する請求項1又は請求項2又は請求項又は請求項の地理データ収集装置。
  6. 前記制御演算部は、複数の測定に対応して複数の測定点を前記基準画像上に表示し、前記タッチパネルを介して指定された前記基準画像上の少なくとも3点の測定点で囲まれる水平面積を演算する請求項1又は請求項2又は請求項又は請求項又は請求項の地理データ収集装置。
  7. GPS装置を更に有し、前記制御演算部は、前記GPS装置で得られる地理データと、前記基準画像撮像時に前記傾斜センサ、前記方位センサにより測定した鉛直角、水平角及び方位角をマッチングの初期値とし、前記基準画像と前記測定画像のマッチングより測定点を求め、得られた測定点により鉛直角と水平角とを修正し、修正した鉛直角と水平角と測距結果に基づき測定点の3次元座標を演算する請求項1又は請求項2又は請求項又は請求項又は請求項又は請求項の地理データ収集装置。
  8. 前記方位センサは磁気方位センサであり、使用前に水平方向、鉛直方向にして全周のデータを求め、このデータに基づいて内挿補正し、検出結果の補正をする請求項1の地理データ収集装置。
  9. 前記制御演算部は、前記基準画像と前記測定画像との画像マッチングにより、前記基準画像上に第2測定点を求め、前記基準画像から前記測定画像に対する逆画像マッチングにより、前記測定画像上に第3測定点を求め、前記測定画像上での前記第3測定点の座標と、測定時に得られた第1測定点の座標とが一致していない場合は、ミスマッチングと判定し、タッチ画面上からマニュアルで前記基準画像上に測定点を指定可能とし、指定された測定点に基づき、前記基準画像と前記測定画像の再マッチングを行う請求項1又は請求項2又は請求項又は請求項又は請求項又は請求項又は請求項の地理データ収集装置。
JP2008053110A 2008-03-04 2008-03-04 地理データ収集装置 Active JP5150310B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2008053110A JP5150310B2 (ja) 2008-03-04 2008-03-04 地理データ収集装置
US12/380,152 US8717432B2 (en) 2008-03-04 2009-02-24 Geographical data collecting device
EP09002813.5A EP2098820B1 (en) 2008-03-04 2009-02-27 Geographical data collecting device
CN2009101185911A CN101561273B (zh) 2008-03-04 2009-03-04 地理数据收集设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008053110A JP5150310B2 (ja) 2008-03-04 2008-03-04 地理データ収集装置

Publications (3)

Publication Number Publication Date
JP2009210388A JP2009210388A (ja) 2009-09-17
JP2009210388A5 JP2009210388A5 (ja) 2011-04-14
JP5150310B2 true JP5150310B2 (ja) 2013-02-20

Family

ID=40790476

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008053110A Active JP5150310B2 (ja) 2008-03-04 2008-03-04 地理データ収集装置

Country Status (4)

Country Link
US (1) US8717432B2 (ja)
EP (1) EP2098820B1 (ja)
JP (1) JP5150310B2 (ja)
CN (1) CN101561273B (ja)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7933001B2 (en) * 2005-07-11 2011-04-26 Kabushiki Kaisha Topcon Geographic data collecting system
JP5150307B2 (ja) * 2008-03-03 2013-02-20 株式会社トプコン 地理データ収集装置
US8496279B2 (en) * 2009-06-22 2013-07-30 Aoki Machinery Co., Ltd. Lifting hook device
JP4560128B1 (ja) * 2009-08-13 2010-10-13 株式会社パスコ 地図画像統合データベース生成システム及び地図画像統合データベース生成プログラム
JP5402612B2 (ja) * 2009-12-22 2014-01-29 ソニー株式会社 表示装置、表示方法及びプログラム
US9109877B2 (en) * 2010-05-21 2015-08-18 Jonathan S. Thierman Method and apparatus for dimensional measurement
US8615376B2 (en) * 2010-05-21 2013-12-24 Sure-Shot Medical Device Inc. Method and apparatus for dimensional measurement
JP5698480B2 (ja) 2010-09-02 2015-04-08 株式会社トプコン 測定方法及び測定装置
US9879993B2 (en) 2010-12-23 2018-01-30 Trimble Inc. Enhanced bundle adjustment techniques
US10168153B2 (en) 2010-12-23 2019-01-01 Trimble Inc. Enhanced position measurement systems and methods
US9182229B2 (en) * 2010-12-23 2015-11-10 Trimble Navigation Limited Enhanced position measurement systems and methods
JP5789868B2 (ja) * 2011-04-18 2015-10-07 株式会社トプコン 水平位置案内機
JP5761847B2 (ja) * 2011-04-28 2015-08-12 株式会社Intelade 太陽光発電シミュレーション機能を有するタブレット型端末用アプリケーションプログラム
DE102011089837A1 (de) * 2011-12-23 2013-06-27 Hilti Aktiengesellschaft Optisches System
KR20130102400A (ko) * 2012-03-07 2013-09-17 삼성전자주식회사 티오에프 센서 및 티오에프 카메라
US9093047B2 (en) * 2012-04-15 2015-07-28 Trimble Navigation Limited Displaying arrays of image data
EP2698602A1 (de) * 2012-08-16 2014-02-19 Leica Geosystems AG Handhaltbares Entfernungsmessgerät mit Winkelbestimmungseinheit
US9235763B2 (en) 2012-11-26 2016-01-12 Trimble Navigation Limited Integrated aerial photogrammetry surveys
US10084871B2 (en) * 2013-05-23 2018-09-25 Allied Telesis Holdings Kabushiki Kaisha Graphical user interface and video frames for a sensor based detection system
US9247239B2 (en) 2013-06-20 2016-01-26 Trimble Navigation Limited Use of overlap areas to optimize bundle adjustment
CN103795914A (zh) * 2013-08-22 2014-05-14 中国人民解放军92941部队 多波长、多类型摄像机辅助瞄准***
CN103940408A (zh) * 2014-03-26 2014-07-23 东莞市天勤仪器有限公司 五轴影像自动调整测量仪
TWI573494B (zh) * 2014-04-15 2017-03-01 索玉昇 基於照度設定之照明系統及方法
US11236997B2 (en) 2014-10-24 2022-02-01 Nikon-Trimble Co., Ltd Surveying instrument and program
JP6621305B2 (ja) * 2015-11-10 2019-12-18 株式会社トプコン 測量システム
CN106017434A (zh) * 2016-06-27 2016-10-12 青岛安正网络科技有限公司 一种道路勘测方法
CN106052655A (zh) * 2016-06-27 2016-10-26 青岛安正网络科技有限公司 一种道路勘测装置
JP2018084528A (ja) 2016-11-25 2018-05-31 株式会社トプコン 航空写真測量装置及び航空写真測量方法
JP2018137884A (ja) * 2017-02-21 2018-08-30 富士通株式会社 設備位置変更プログラム、設備位置変更方法および設備管理装置
WO2018216342A1 (ja) * 2017-05-24 2018-11-29 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10586349B2 (en) 2017-08-24 2020-03-10 Trimble Inc. Excavator bucket positioning via mobile device
WO2019048046A1 (en) * 2017-09-07 2019-03-14 Volvo Lastvagnar Ab METHOD FOR USING AT LEAST ONE VEHICLE CAMERA TO VERIFY THAT CERTAIN VEHICLE ELEMENTS ARE IN A SAFETY CONDITION PRIOR TO STARTING
WO2019085945A1 (zh) * 2017-10-31 2019-05-09 杭州美盛红外光电技术有限公司 探测装置、探测***和探测方法
JP7017422B2 (ja) * 2018-01-31 2022-02-08 株式会社トプコン 測量装置
US10943360B1 (en) 2019-10-24 2021-03-09 Trimble Inc. Photogrammetric machine measure up
JP6925490B1 (ja) * 2020-08-18 2021-08-25 Kddi株式会社 情報端末、情報端末制御プログラム及び情報端末制御方法

Family Cites Families (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4717251A (en) 1986-02-06 1988-01-05 Cubic Corporation Elevation measurement in high order surveying
US4802757A (en) 1986-03-17 1989-02-07 Geospectra Corporation System for determining the attitude of a moving imaging sensor platform or the like
JPH01184411A (ja) 1988-01-18 1989-07-24 Kozo Yamamoto 測高測距計
JPH01191013A (ja) * 1988-01-27 1989-08-01 Hitachi Ltd ステレオ画像からの自動標高データ作成方式
DE68927155T2 (de) 1988-06-15 1997-03-27 Japan Ind Land Dev Co Vermessungsgerät mit automatischer verfolgung
JPH02251708A (ja) * 1989-03-27 1990-10-09 Nissan Motor Co Ltd 三次元位置計測装置
US5286973A (en) 1991-11-13 1994-02-15 Odetics, Inc. Radiation mapping system
US5870486A (en) 1991-12-11 1999-02-09 Texas Instruments Incorporated Method of inferring sensor attitude through multi-feature tracking
US5247356A (en) 1992-02-14 1993-09-21 Ciampa John A Method and apparatus for mapping and measuring land
US5361217A (en) 1992-05-07 1994-11-01 Fuji Photo Optical Co., Ltd. Position measuring/plotting apparatus
EP0592136B1 (en) 1992-10-09 1999-12-08 Sony Corporation Producing and recording images
JP2536827B2 (ja) 1993-06-15 1996-09-25 中央電子株式会社 電子式樹高測定装置
JP3240835B2 (ja) 1994-06-09 2001-12-25 株式会社日立製作所 車両用距離計測装置
US5539513A (en) 1994-08-15 1996-07-23 Laser Technology, Inc. System and associated method for determining and transmitting positional data utilizing optical signals
US5913078A (en) 1994-11-01 1999-06-15 Konica Corporation Camera utilizing a satellite positioning system
US6093928A (en) 1994-12-22 2000-07-25 Ohtomo; Fumio Position measuring rotary incremental optical encoder
US5699444A (en) 1995-03-31 1997-12-16 Synthonics Incorporated Methods and apparatus for using image data to determine camera location and orientation
JPH08286257A (ja) 1995-04-18 1996-11-01 Konica Corp カメラのデータ記録装置
JPH09210649A (ja) 1996-01-30 1997-08-12 Minolta Co Ltd 三次元計測装置
US5988862A (en) 1996-04-24 1999-11-23 Cyra Technologies, Inc. Integrated system for quickly and accurately imaging and modeling three dimensional objects
JP2001503134A (ja) 1996-09-06 2001-03-06 ユニバーシティー オブ フロリダ 携帯可能な手持ちデジタル地理データ・マネージャ
JP3793343B2 (ja) 1997-01-08 2006-07-05 ペンタックス株式会社 写真測量用カメラ
JPH10239055A (ja) 1997-02-28 1998-09-11 Toshiba Corp 携帯型情報収集装置
JP4208980B2 (ja) 1997-03-05 2009-01-14 株式会社熊谷組 写真撮影管理方法
JP3833786B2 (ja) 1997-08-04 2006-10-18 富士重工業株式会社 移動体の3次元自己位置認識装置
US5859693A (en) 1997-08-26 1999-01-12 Laser Technology, Inc. Modularized laser-based survey system
JP3837882B2 (ja) 1997-11-18 2006-10-25 カシオ計算機株式会社 撮影画像管理装置およびそのプログラム記録媒体
US6140957A (en) 1998-03-12 2000-10-31 Trimble Navigation Limited Method and apparatus for navigation guidance
JP2000097703A (ja) 1998-09-21 2000-04-07 Topcon Corp 3次元測定方法と、これを利用した測量機
JP2000131065A (ja) 1998-10-22 2000-05-12 Asahi Optical Co Ltd 写真測量用ターゲット
JP3725982B2 (ja) 1998-12-03 2005-12-14 アジア航測株式会社 位置取得装置
JP3624799B2 (ja) 1999-08-31 2005-03-02 セイコーエプソン株式会社 プリンタ、印刷実行装置、印刷システム、印刷方法および記録媒体
JP3875817B2 (ja) 1999-09-27 2007-01-31 ペンタックス株式会社 測距装置の地図座標検出システム
WO2001069173A1 (en) 2000-03-10 2001-09-20 Spectra Precision Inc. Versatile transmitter and receiver for position measurement
JP4614506B2 (ja) 2000-07-24 2011-01-19 株式会社トプコン 携帯型測距装置
JP2002131057A (ja) 2000-10-24 2002-05-09 Daimei Kk 現場計測システム
JP4356050B2 (ja) 2000-12-28 2009-11-04 株式会社トプコン 測量装置と電子的記憶媒体
JP3896505B2 (ja) 2001-03-12 2007-03-22 富士フイルム株式会社 電子カメラ
JP4727068B2 (ja) 2001-05-29 2011-07-20 株式会社トプコン 施工監視システム、施工管理方法
JP5037765B2 (ja) 2001-09-07 2012-10-03 株式会社トプコン オペレータ誘導システム
JP2003114126A (ja) 2001-10-05 2003-04-18 Mitsubishi Electric Corp 3次元測量装置および撮像基準方角測量方法
JP3752446B2 (ja) 2001-11-29 2006-03-08 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 超音波診断装置
US6759979B2 (en) 2002-01-22 2004-07-06 E-Businesscontrols Corp. GPS-enhanced system and method for automatically capturing and co-registering virtual models of a site
JP4025559B2 (ja) 2002-03-13 2007-12-19 アジア航測株式会社 離隔距離情報提供システム及び離隔距離提供装置
JP4004316B2 (ja) 2002-03-20 2007-11-07 株式会社トプコン 測量装置及び測量装置を用いて画像データを取得する方法
JP2004032286A (ja) 2002-06-25 2004-01-29 Casio Comput Co Ltd カメラ装置、被写体高度算出装置、被写体高度算出方法及びプログラム
JP2004037424A (ja) 2002-07-08 2004-02-05 Akashi Corp 硬さ試験機及び硬さ試験方法
KR100488685B1 (ko) * 2002-08-22 2005-05-11 한국과학기술원 자동 영상등록 및 보정을 위한 영상 처리방법
GB2395261A (en) * 2002-11-11 2004-05-19 Qinetiq Ltd Ranging apparatus
EP1460377A3 (de) 2003-03-21 2004-09-29 Leica Geosystems AG Verfahren und Vorrichtung zur Bildverarbeitung in einem geodätischen Messgerät
JP2004317237A (ja) * 2003-04-15 2004-11-11 Topcon Corp 測量装置
US20060167648A1 (en) 2003-08-13 2006-07-27 Hitoshi Ohtani 3-Dimensional measurement device and electronic storage medium
EP1517116A1 (de) 2003-09-22 2005-03-23 Leica Geosystems AG Verfahren und Vorrichtung zur Bestimmung der Aktualposition eines geodätischen Instrumentes
JP4102324B2 (ja) * 2004-03-29 2008-06-18 株式会社トプコン 測量データ処理システム、測量データ処理プログラム及び電子地図表示装置
JP4488804B2 (ja) 2004-06-23 2010-06-23 株式会社トプコン ステレオ画像の関連付け方法及び3次元データ作成装置
CA2582971A1 (en) 2004-10-15 2006-04-20 Ofek Aerial Photography International Ltd. Computational solution of and building of three dimensional virtual models from aerial photographs
US20060204232A1 (en) 2005-02-01 2006-09-14 Harvey Weinberg Camera with acceleration sensor
JP4859205B2 (ja) * 2005-02-04 2012-01-25 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US7933001B2 (en) 2005-07-11 2011-04-26 Kabushiki Kaisha Topcon Geographic data collecting system
JP4977339B2 (ja) 2005-07-11 2012-07-18 株式会社トプコン 地理データ収集装置
JP4944462B2 (ja) * 2006-03-14 2012-05-30 株式会社トプコン 地理データ収集装置
US7634380B2 (en) 2006-06-13 2009-12-15 Trimble Navigation Limited Geo-referenced object identification method, system, and apparatus
JP5150307B2 (ja) * 2008-03-03 2013-02-20 株式会社トプコン 地理データ収集装置

Also Published As

Publication number Publication date
JP2009210388A (ja) 2009-09-17
EP2098820A3 (en) 2010-10-13
CN101561273B (zh) 2012-11-14
US20090225161A1 (en) 2009-09-10
EP2098820B1 (en) 2020-09-23
CN101561273A (zh) 2009-10-21
EP2098820A2 (en) 2009-09-09
US8717432B2 (en) 2014-05-06

Similar Documents

Publication Publication Date Title
JP5150310B2 (ja) 地理データ収集装置
JP5150307B2 (ja) 地理データ収集装置
JP4977339B2 (ja) 地理データ収集装置
JP4944462B2 (ja) 地理データ収集装置
US7933001B2 (en) Geographic data collecting system
US9322652B2 (en) Stereo photogrammetry from a single station using a surveying instrument with an eccentric camera
JP4607095B2 (ja) 測量機器において画像処理を行う方法と装置
CN102338639B (zh) 信息处理设备和信息处理方法
JP4263549B2 (ja) 測量誘導装置
JP5060358B2 (ja) 測量システム
US7218384B2 (en) Surveying system
US20110183684A1 (en) Mobile communication terminal and method
KR101223741B1 (ko) 도화이미지의 왜곡 보정을 위한 현장 지형의 측지 및 측량시스템
JP4359083B2 (ja) 測量システム
JP2013205165A (ja) 携帯型撮影装置及び撮影プログラム

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110225

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110225

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120717

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120912

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121113

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121203

R150 Certificate of patent or registration of utility model

Ref document number: 5150310

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151207

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250