JP6029794B1 - 航法装置および測量システム - Google Patents
航法装置および測量システム Download PDFInfo
- Publication number
- JP6029794B1 JP6029794B1 JP2016513572A JP2016513572A JP6029794B1 JP 6029794 B1 JP6029794 B1 JP 6029794B1 JP 2016513572 A JP2016513572 A JP 2016513572A JP 2016513572 A JP2016513572 A JP 2016513572A JP 6029794 B1 JP6029794 B1 JP 6029794B1
- Authority
- JP
- Japan
- Prior art keywords
- data
- image
- coordinate
- image data
- angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005259 measurement Methods 0.000 claims description 19
- 238000003384 imaging method Methods 0.000 claims description 15
- 238000004891 communication Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 18
- 239000011159 matrix material Substances 0.000 description 18
- 230000006870 function Effects 0.000 description 13
- 238000000034 method Methods 0.000 description 13
- 230000008859 change Effects 0.000 description 10
- 238000012937 correction Methods 0.000 description 10
- 238000013461 design Methods 0.000 description 8
- 239000003381 stabilizer Substances 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000004069 differentiation Effects 0.000 description 4
- 238000005096 rolling process Methods 0.000 description 4
- 239000002131 composite material Substances 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C1/00—Measuring angles
- G01C1/02—Theodolites
- G01C1/04—Theodolites combined with cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/42—Simultaneous measurement of distance and other co-ordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
- H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Navigation (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
Description
この測量システムにおいて、飛行体から測量対象を撮影するカメラは、スタビライザーと呼ばれる姿勢安定化装置に支持されており、飛行中の飛行体の姿勢によらず、撮影方向を鉛直下向きに保つことができる。
また、レーザ発信受信装置は、飛行体から予め定められた周期でレーザ光を測量対象に照射し、この測量対象からの反射光を受信する。この測量システムにおける制御装置は、レーザ発信受信装置によって測量対象から受信された反射光の情報を使用して航空レーザ測量を行う。なお、レーザ発信受信装置は、本発明におけるレーザ測距装置に相当する。
これに対して、従来の一般的な航空レーザ測量においては、飛行体に搭載されたIMU(Inertial Measurement Unit)により計測された3軸の加速度および3軸の角加速度の情報を使用して、GNSS情報が受信される周期以外の一定の間隔における飛行体の3次元座標データを得ていた。
そこで、特許文献1に記載される測量システムでは、IMUの代わりに、IMUよりも安価でかつ小型な加速度計および角加速度計を備えている。
すなわち、この測量システムでは、加速度計からの3軸の加速度および角加速度計からの3軸の角加速度の情報を使用して、GNSS情報の受信周期以外の一定の間隔における飛行体の3次元座標データを得ている。
このため、カメラの撮影方向を常に鉛直下向きに維持するスタビライザーを備える必要があり、システム構成が複雑化する。
また、測距点が撮影された画像データに加え、レーザ光の照射基準点から測距点までの距離、レーザ光の照射角度、レーザ光の照射基準点の3次元座標を使用して移動体の姿勢を推定するので、移動体の姿勢を精度よく推定することが可能である。
実施の形態1.
図1は、この発明の実施の形態1に係る測量システム1の構成を示すブロック図である。測量システム1は、航空機2から地形を測量するシステムであり、航空機2に搭載された左カメラ20a、右カメラ20b、レーザ測距装置21、GNSS装置22およびメモリカード23と、航法装置3とを備える。航法装置3は、飛行中の航空機2の姿勢を推定する装置であって、図1に示すように航空機2とは別に設けられる。ただし、航法装置3を航空機2に搭載してもよい。また、航空機2の姿勢は、航空機2のローリング方向、ピッチング方向、ヨーイング方向の姿勢角であるロール角ω、ピッチ角φ、ヨー角κの3つのパラメータによって特定される。
また、レーザ測距装置21は、距離lを測定するごとに、この距離lを示す距離データと、この距離lが得られたレーザ光の照射角度θを示す角度データとをメモリカード23に記憶する。
また、GNSS装置22は、予め定めた周期で照射基準点の3次元座標を示す座標データをメモリカード23に記憶する。例えば、左カメラ20aおよび右カメラ20bによる撮影に同期して1秒ごとに座標を測定する。
なお、GNSS装置22と照射基準点の位置の違いは、GNSS装置22の測定精度に対して許容範囲内である。すなわち、GNSS装置22は照射基準点と同一の位置にあるものとし、さらに当該照射基準点の位置は航空機2の位置と同じ意味であるものとする。
メモリカード23として、例えばSD(Secure Digital)メモリカードを使用してもよい。
例えば、データ取得部30は、メモリカード23のカードドライブに有線または無線で接続して上記データを読み出して取得する。
なお、航空機2のロール角ω、ピッチ角φ、ヨー角κは未知であり、最初は、姿勢角の補正量が算出されていないため、ロール角ω=0、ピッチ角φ=0、ヨー角κ=0を初期値として座標の計算を行う。この座標算出の詳細は後述する。
画像マッチングの方法としては、2つの画像の類似度などを調べる周知のテンプレートマッチング法を用いることができる。例えば、第1の画像データをテンプレート画像とし、第2の画像データを対象画像データとして双方の画像データを比較し、テンプレート画像上の測距点の座標に対応する点を対象画像データの画像から探索する。
さらに、画像データのペアとしては、左カメラ20aおよび右カメラ20bとによって時刻iにそれぞれ撮影された画像データのペアであってもよい。
さらに、画像データのペアは、左カメラ20aおよび右カメラ20bのうちの少なくとも一方によって時刻iと時刻iよりも進んだ時刻jとにそれぞれ撮影された画像データのペアであってもよい。
このような画像データのペアを用いることで、航空機2の姿勢に応じた画像上の被写体の変化を航空機2の姿勢推定に利用することができる。
換言すると、この発明では、航空機2の姿勢に応じた画像上の被写体の変化を航空機2の姿勢推定に利用するため、左カメラ20aと右カメラ20bにスタビライザーが不要である。
そこで、姿勢推定部33は、これら2点の座標の差が小さくなるように航空機2の姿勢角の値の補正量を算出し、2点の座標の差が最小となる姿勢角を最終的な航空機2の姿勢角と推定する。これにより、距離データ、角度データ、座標データ、画像データに基づいて、航空機2の姿勢角を高精度に推定することが可能となる。
航法装置3におけるデータ取得部30、座標算出部31、画像マッチング部32、姿勢推定部33の各機能は、処理回路により実現される。
すなわち、航法装置3は、図4に示す、距離データ、角度データ、座標データ、画像データを取得するステップST1、距離データ、角度データ、座標データおよび航空機2の姿勢角に基づいて、画像データの画像上の測距点の座標を算出するステップST2、異なる撮影位置でそれぞれ撮影された画像データのペアの画像マッチングを行って、ペアの一方の画像データの画像上の測距点の座標に対応する点を、ペアのもう一方の画像データの画像から探索するステップST3、ペアのもう一方の画像データの画像上の測距点の座標と画像マッチング部32によって探索された対応する点の座標との差が小さくなるように航空機2の姿勢角の値を補正して、航空機2の姿勢を推定するステップST4を行うための処理回路を備えている。
処理回路は、専用のハードウェアであっても、メモリに格納されるプログラムを実行するCPU(Central Processing Unit)であってもよい。
また、データ取得部30、座標算出部31、画像マッチング部32、姿勢推定部33の各部の機能をそれぞれ処理回路で実現してもよいし、各部の機能をまとめて1つの処理回路で実現してもよい。
ソフトウェアとファームウェアはプログラムとして記述され、メモリ102に格納される。CPU101は、メモリ102に格納されたプログラムを読み出して実行することにより、各部の機能を実現する。
すなわち、航法装置3は、CPU101によって実行されるときに、図4に示すステップST1からステップST4までの処理が結果的に実行されるプログラムを格納するためのメモリ102を備える。また、これらのプログラムは、データ取得部30、座標算出部31、画像マッチング部32、姿勢推定部33の手順または方法をコンピュータに実行させるものである。
例えば、データ取得部30は、専用のハードウェアの処理回路100でその機能を実現し、座標算出部31、画像マッチング部32および姿勢推定部33は、CPU101が、メモリ102に格納されたプログラム実行することによりその機能を実現する。
このように、上記処理回路は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって前述の機能を実現することができる。
左カメラ20aおよび右カメラ20bは、図5(c)に示すように、矩形の撮影範囲で撮影を行うことにより、図8を用いて後述するような画像データを得る。
しかしながら、実際の飛行環境では水平飛行を意図しても、航空機2は、風などの影響によって直線状の進路をとることはできない。すなわち、航空機2は、ローリング方向、ピッチング方向、ヨーイング方向のそれぞれに傾いた状態で飛行する。
また、点のある大きな四角形のプロットは、時刻t=1における左カメラ20aの位置座標である。点のある大きな逆三角形のプロットは、時刻t=1における右カメラ20bの位置座標であり、点のある小さな四角形のプロットは、時刻t=1におけるレーザ測距装置21の位置座標である。
大きな円形のプロットは、時刻t=2における左カメラ20aの位置座標である。大きな三角形のプロットは、時刻t=2における右カメラ20bの位置座標であり、小さな円形のプロットは、時刻t=2におけるレーザ測距装置21の位置座標である。
点のある大きな円形のプロットは、時刻t=3における左カメラ20aの位置座標である。点のある大きな三角形のプロットは、時刻t=3における右カメラ20bの位置座標であり、点のある小さな円形のプロットは、時刻t=3におけるレーザ測距装置21の位置座標である。
一方、時刻t=1を過ぎると、左カメラ20a、右カメラ20bおよびレーザ測距装置21の位置がZ軸方向に逸れている。
図6(b)から図6(d)までのグラフを考慮すると、航空機2の位置が3秒間でY軸方向とZ軸方向にずれており、航空機2が傾いて飛行したことがわかる。
図7(a)は、各時刻における角度データと距離データを示しており、図7(b)は、図7(a)に示すデータをプロットしたグラフである。
また、図8は、左カメラ20aと右カメラ20bによって1秒ごとに撮影された画像を示す図であり、図6の状態で航空機2が飛行したときに撮影された画像を示している。
レーザ測距装置21は、図5(b)に示したように、X軸の正方向から見てX軸を中心として時計回りに照射基準点21aを18度ずつ回転させてレーザ光を走査する。
図7(b)において、白い三角形のプロットは、時刻t=0.00〜0.15における角度データおよび距離データ、黒い三角形のプロットは時刻t=1.00〜1.15における角度データおよび距離データ、白い四角形のプロットは時刻t=2.00〜2.15における角度データおよび距離データである。
また、航空機2が傾いて飛行すると、左カメラ20aおよび右カメラ20bの撮像方向も傾く。これにより、図8に示すような左カメラ20aに撮影された左カメラ画像および右カメラ20bに撮影された右カメラ画像も、航空機2の姿勢角に応じて変化する。
従って、航空機2が水平に飛行したと仮定して距離データ、角度データ、座標データ、画像データを用いて算出した測距点の画像上の座標と、航空機2が傾いて飛行したときの同一の測距点の座標との間には、航空機2の姿勢角に応じた誤差が生じる。
そこで、この発明では、上記誤差が小さくなるように姿勢角を補正していき、上記誤差が最小となる姿勢角を航空機2の姿勢角の推定値とする。以下、この発明における姿勢角の推定処理の概要を説明する。
ここでは、1秒ごとに、左カメラ20aおよび右カメラ20bによって航空機2の下方が撮影され、レーザ測距装置21が、照射角度θを90度として機体の直下にある測距点P0との距離を測定する。
同様に、右カメラ20bによって時刻t=1に撮影された画像100b上の測距点P0の座標P0bは、時刻t=1における照射基準点21aの3次元座標と航空機2の姿勢角とから算出することができる。
なお、図9では、航空機2が水平に飛行すると仮定しているので、姿勢角は0である。
例えば、図11の場合、航空機2をピッチ角φだけ傾けたときに差ΔuLが最小となるため、ピッチ角φが姿勢の推定結果として得られる。
なお、実際の航空機2では、ピッチング方向に加え、ローリング方向とヨーイング方向のそれぞれにも傾くが、この場合も同様にロール角ω、ヨー角κを推定すればよい。
図12は、実施の形態1に係る航法装置3の動作を示すフローチャートであり、飛行中の航空機2の姿勢角を推定する一連の処理を示している。
以降では、航空機2の姿勢角がロール角ω、ピッチ角φ、ヨー角κの3つのパラメータで表され、これらの角度は1秒ごとに推定される。
便宜上、時刻t=0および時刻t=3の姿勢角(ω,φ,κ)を(0,0,0)と仮定するので、時刻t=1および時刻t=2における未知の姿勢角(ω,φ,κ)を推定すればよい。すなわち、未知数である計6つの姿勢角を推定する。
距離データは、レーザ測距装置21によって測定されたレーザ光の照射基準点21aから測距点P0までの距離lを示すデータであり、角度データは、レーザ光の照射角度θを示すデータである。座標データは、GNSS装置22によって測定されたレーザ光の照射基準点21aの3次元座標(X0,Y0,Z0)である。画像データは、左カメラ20aと右カメラ20bによって撮影された撮影対象に測距点P0を含む画像データである。
このように航空機2の飛行中にメモリカード23に蓄積されたデータを用いることで、航空機2の姿勢を飛行終了後に推定することができ、推定された姿勢角を用いて測量結果を補正することも可能である。
下記式(1)において、a11〜a33は、航空機2の姿勢に応じたレーザ測距装置21、左カメラ20aおよび右カメラ20bの傾きを表す3×3の回転行列の要素である。
また、姿勢角の設定値は、航空機2が水平に飛行していると仮定して(ω,φ,κ)=(0,0,0)とする。
図6(a)に示した時刻t=0〜2における座標データおよび図7(a)に示した時刻t=0〜2における測距点P0ごとの角度データと距離データを用いて、測距点P0ごとの3次元座標(X,Y,Z)を算出した結果を図13に示す。
姿勢角の設定値を(ω,φ,κ)=(0,0,0)とし、図6(a)に示した時刻t=0〜2における座標データを用いて投影中心座標を算出した結果を図14に示す。
下記式(4)と下記式(5)において、cは、左カメラ20aと右カメラ20bの焦点距離である。
ただし、
続いて、画像マッチング部32は、時刻iの左カメラ画像と時刻jの右カメラ画像とのテンプレートマッチングを行うことにより、座標算出部31によって算出された時刻iの左カメラ画像上の測距点P0の座標(xL,yL)に対応する点を、時刻jの右カメラ画像から探索する(ステップST5a)。
SCANx(xLi,yLi)は、時刻iの左カメラ画像上の測距点P0の座標(xLi,yLi)を中心とした小領域について時刻jの右カメラ画像上でテンプレートマッチングを行って得られた対応する点のx座標値である。また、SCANy(xLi,yLi)は、同様にテンプレートマッチングを行って得られた対応する点のy座標値である。
すなわち、飛行中の航空機2の姿勢を示す適切な姿勢角(ω,φ,κ)を設定して、図16に示した座標を再計算すれば、上記座標(xRj,yRj)と上記座標(SCANx(xLi,yLi),SCANy(xLi,yLi))は一致する。
従って、上記座標の差が最小化される姿勢角が航空機2の姿勢角の推定値となる。
姿勢推定部33は、時刻jの右カメラ画像上の測距点P0の座標(xRj,yRj)と、画像マッチング部32によって探索された対応点の座標(SCANx(xLi,yLi),SCANy(xLi,yLi))との差が小さくなる姿勢角の補正量を算出する(ステップST6a)。例えば、下記式(6)に示す観測方程式vx,vyを用いる。
また、∂Fx/∂ωは、Fxのロール角ωでの偏微分、∂Fx/∂φは、Fxのピッチ角φでの偏微分されたFx、∂Fx/∂κは、Fxのヨー角κでの偏微分である。これらの偏微分は、近似解チルダω、チルダφ、チルダκを代入して値が得られる係数である。
同様に、∂Fy/∂ωは、Fyのロール角ωでの偏微分、∂Fy/∂φは、Fyのピッチ角φでの偏微分、∂Fy/∂κは、Fyのヨー角κでの偏微分である。これらの偏微分も近似解チルダω、チルダφ、チルダκを代入して値が得られる係数である。
チルダFx(〜Fx)は、Fxに対してSCANx(xL,yL)とxRの近似解を代入して得られる値であり、チルダFy(〜Fy)は、Fyに対してSCANy(xL,yL)とyRの近似解を代入して得られる値である。
このようにして観測方程式ごとに算出された偏微分係数からなる24×6の計画行列を図18に示す。
さらに、姿勢推定部33は、この計画行列の転置行列と図17に示した定数ベクトルの積を算出する。この算出の結果を図20に示す。
この後、姿勢推定部33は、図19に示す行列から算定した逆行列と図20に示すベクトルの積を算出する。この算出結果が、図21に示す姿勢角の補正量(δω,δφ,δκ)である。
なお、最初は、航空機2が傾き無く水平に飛行していると仮定して、姿勢角(ω,φ,κ)の初期値として(0,0,0)を設定しているので、上記補正量がそのまま姿勢角の近似解となる。
これにより、座標算出部31が、補正後の近似解を姿勢角の設定値としてステップST2aからステップST4aまでの処理を行い、画像マッチング部32がステップST5aの処理を行う。
上記一連の処理が予め定めた繰り返し回数だけ実行されて(ステップST8a;YES)、上記座標の差が最小となる補正量が得られると、姿勢推定部33は、この補正量で補正した近似解を、最終的な姿勢角の推定結果として出力する(ステップST9a)。
このようにして得られた時刻t=0.00〜3.00の姿勢角の推定結果を図22に示す。
なお、異なる位置のカメラにより撮影された画像間で対応点を探索して観測対象までの距離および奥行き情報などの3次元情報を取得するステレオ画像処理には、固定ステレオと呼ばれる方法と、モーションステレオと呼ばれる方法がある。
固定ステレオは、2つのカメラを間隔を空けて配置して撮影するものである。時刻iの左カメラ画像と時刻iの右カメラ画像のペアリングは、固定ステレオに相当する。
モーションステレオでは、カメラを移動させて異なる撮影位置から撮影する。時刻iの左カメラ画像と時刻j(=i+1)の右カメラ画像のペアリングは、モーションステレオに相当する。
また、測距点P0が撮影された画像データに加え、レーザ光の照射基準点21aから測距点P0までの距離l、レーザ光の照射角度θ、レーザ光の照射基準点21aの3次元座標(X,Y,Z)を使用して航空機2の姿勢を推定するので、航空機2の姿勢を精度よく推定することが可能である。
このような画像データを用いても、航空機2の姿勢に応じた画像上の被写体の変化を航空機2の姿勢推定に利用することができる。
このように航空機2の飛行中にメモリカード23に蓄積されたデータを用いることで、航空機2の姿勢を飛行終了後に推定でき、推定された姿勢角を用いて測量結果を補正することもできる。
図23は、この発明の実施の形態2に係る測量システム1Aの構成を示すブロック図である。測量システム1Aは、航空機2Aから地形を測量するシステムであり、航空機2Aに搭載された左カメラ20a、右カメラ20b、レーザ測距装置21、GNSS装置22および無線通信装置24と、航法装置3とを備える。
無線通信装置24は、航空機2Aの飛行中に得られた距離データ、角度データ、座標データおよび画像データを航法装置3へ送信する。
航法装置3は、図23に示すように、航空機2Aとは別に設けられる。ただし、航法装置3を航空機2Aに搭載してもよい。
航法装置3は、このようにして取得された上記データに基づいて、実施の形態1と同様の処理で航空機2Aの姿勢を推定する。
このように無線通信装置24から無線送信されたデータを用いることで、航空機2Aの飛行中に姿勢を推定することができる。推定された姿勢角を用いて航空機2Aの飛行中に測量結果を補正することも可能である。
Claims (6)
- 移動体に搭載されたレーザ測距装置により測定されたレーザ光の照射基準点から測距点までの距離を示す距離データと前記レーザ光の照射角度を示す角度データ、前記移動体に搭載された座標測定装置により測定された前記レーザ光の照射基準点の3次元座標を示す座標データおよび前記移動体に搭載された撮影装置により撮影された撮影対象に測距点を含む画像データを取得するデータ取得部と、
前記データ取得部により取得された前記距離データと前記角度データ、前記座標データおよび前記移動体の姿勢を示すパラメータに基づいて、前記画像データの画像上の測距点の座標を算出する座標算出部と、
前記撮影装置により異なる撮影位置でそれぞれ撮影された前記画像データのペアの画像マッチングを行って、前記座標算出部により算出された前記ペアの一方の前記画像データの画像上の測距点の座標に対応する点を前記ペアのもう一方の前記画像データの画像から探索する画像マッチング部と、
前記座標算出部により算出された前記ペアのもう一方の前記画像データの画像上の測距点の座標と前記画像マッチング部により探索された前記対応する点の座標との差が小さくなるように前記移動体の姿勢を示すパラメータの値を補正して当該移動体の姿勢を推定する姿勢推定部と
を備えたことを特徴とする航法装置。 - 前記ペアは、前記移動体の移動中に、前記撮影装置により時刻iに撮影された前記画像データと前記時刻iよりも進んだ時刻jに撮影された前記画像データであることを特徴とする請求項1記載の航法装置。
- 前記撮影装置は、前記移動体に搭載された第1の撮影部および第2の撮影部を備え、
前記ペアは、前記第1の撮影部と前記第2の撮影部により時刻iにそれぞれ撮影された前記画像データまたは前記第1の撮影部および前記第2の撮影部のうちの少なくとも一方により前記時刻iと当該時刻iよりも進んだ時刻jとにそれぞれ撮影された前記画像データであることを特徴とする請求項1記載の航法装置。 - 移動体に搭載されて、レーザ光の照射基準点から測距点までの距離を示す距離データと前記レーザ光の照射角度を示す角度データを測定するレーザ測距装置と、
前記移動体に搭載されて、前記レーザ光の照射基準点の3次元座標を示す座標データを測定する座標測定装置と、
前記移動体に搭載されて、撮影対象に測距点を含む画像データを撮影する撮影装置と、
前記距離データ、前記角度データ、前記座標データおよび前記画像データを取得するデータ取得部と、前記データ取得部により取得された前記距離データと前記角度データ、前記座標データおよび前記移動体の姿勢を示すパラメータに基づいて、前記画像データの画像上の測距点の座標を算出する座標算出部と、前記撮影装置により異なる撮影位置でそれぞれ撮影された前記画像データのペアの画像マッチングを行って、前記座標算出部により算出された前記ペアの一方の前記画像データの画像上の測距点の座標に対応する点を前記ペアのもう一方の前記画像データの画像から探索する画像マッチング部と、前記座標算出部により算出された前記ペアのもう一方の前記画像データの画像上の測距点の座標と前記画像マッチング部により探索された前記対応する点の座標との差が小さくなるように前記移動体の姿勢を示すパラメータの値を補正して当該移動体の姿勢を推定する姿勢推定部とを有する航法装置と
を備えたことを特徴とする測量システム。 - 前記移動体に搭載され、前記距離データ、前記角度データ、前記座標データおよび前記画像データを記憶する記憶装置を備え、
前記データ取得部は、前記記憶装置に記憶された前記距離データ、前記角度データ、前記座標データおよび前記画像データを読み出して取得することを特徴とする請求項4記載の測量システム。 - 前記移動体に搭載され、前記距離データ、前記角度データ、前記座標データおよび前記画像データを送信する無線通信装置を備え、
前記データ取得部は、前記無線通信装置により送信された前記距離データ、前記角度データ、前記座標データおよび前記画像データを受信して取得することを特徴とする請求項4記載の測量システム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2015/075598 WO2017042907A1 (ja) | 2015-09-09 | 2015-09-09 | 航法装置および測量システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6029794B1 true JP6029794B1 (ja) | 2016-11-24 |
JPWO2017042907A1 JPWO2017042907A1 (ja) | 2017-09-07 |
Family
ID=57358823
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016513572A Active JP6029794B1 (ja) | 2015-09-09 | 2015-09-09 | 航法装置および測量システム |
Country Status (4)
Country | Link |
---|---|
US (1) | US10222210B2 (ja) |
EP (1) | EP3348963B1 (ja) |
JP (1) | JP6029794B1 (ja) |
WO (1) | WO2017042907A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107146447A (zh) * | 2017-07-16 | 2017-09-08 | 汤庆佳 | 一种基于无人机的智能车辆管理***及其方法 |
CN107478195A (zh) * | 2017-09-15 | 2017-12-15 | 哈尔滨工程大学 | 一种基于光学的空间物体姿态测量装置及其测量方法 |
WO2019012751A1 (ja) * | 2017-07-14 | 2019-01-17 | 三菱電機株式会社 | データ間引き装置、測量装置、測量システム及びデータ間引き方法 |
JP2020090143A (ja) * | 2018-12-04 | 2020-06-11 | 三菱電機株式会社 | 航法装置、航法パラメータ計算方法およびプログラム |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110268710B (zh) * | 2018-01-07 | 2022-01-04 | 深圳市大疆创新科技有限公司 | 图像数据处理方法、设备、平台及存储介质 |
JP7188687B2 (ja) * | 2018-07-17 | 2022-12-13 | エアロセンス株式会社 | 情報処理方法、プログラム、および情報処理システム |
CN109345589A (zh) * | 2018-09-11 | 2019-02-15 | 百度在线网络技术(北京)有限公司 | 基于自动驾驶车辆的位置检测方法、装置、设备及介质 |
GB201818357D0 (en) * | 2018-11-12 | 2018-12-26 | Forsberg Services Ltd | Locating system |
CN110672117B (zh) * | 2019-11-04 | 2022-02-18 | 中国人民解放军空军工程大学 | 基于单观察哨数字望远镜的小航路捷径运动目标航迹获取方法 |
CN112099521B (zh) * | 2020-10-09 | 2022-05-17 | 北京邮电大学 | 一种无人机路径规划方法及装置 |
JP2022087978A (ja) * | 2020-12-02 | 2022-06-14 | 三菱電機株式会社 | 位置姿勢算出装置、位置姿勢算出方法及び測量装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05118850A (ja) * | 1991-10-25 | 1993-05-14 | Shimizu Corp | 模型ヘリコプターを用いる3次元測量システム |
JPH1151611A (ja) * | 1997-07-31 | 1999-02-26 | Tokyo Electric Power Co Inc:The | 認識対象物体の位置姿勢認識装置および位置姿勢認識方法 |
JP2001133256A (ja) * | 1999-11-05 | 2001-05-18 | Asia Air Survey Co Ltd | 空中写真の位置及び姿勢の計算方法 |
JP2007278844A (ja) * | 2006-04-06 | 2007-10-25 | Topcon Corp | 画像処理装置及びその処理方法 |
JP2013187862A (ja) * | 2012-03-09 | 2013-09-19 | Topcon Corp | 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム |
JP2014145762A (ja) * | 2013-01-07 | 2014-08-14 | Amuse Oneself Inc | 制御装置、測量システム、プログラム及び記録媒体並びに計測方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4335520A (en) * | 1980-09-22 | 1982-06-22 | The United States Of America As Represented By The Secretary Of The Navy | Survey spar system for precision offshore seafloor surveys |
EP1934632A1 (en) * | 2005-10-13 | 2008-06-25 | Atlantic Inertial Systems Limited | Terrain mapping |
JP2007240506A (ja) * | 2006-03-06 | 2007-09-20 | Giyourin Cho | 3次元形状と3次元地形計測法 |
PL2227676T3 (pl) * | 2007-12-21 | 2017-08-31 | Bae Systems Plc | Urządzenie i sposób lądowania wiropłatem |
US10212687B2 (en) * | 2010-09-30 | 2019-02-19 | Echo Ridge Llc | System and method for robust navigation and geolocation using measurements of opportunity |
US9684076B1 (en) * | 2013-03-15 | 2017-06-20 | Daniel Feldkhun | Frequency multiplexed ranging |
US10643351B2 (en) * | 2013-03-20 | 2020-05-05 | Trimble Inc. | Indoor navigation via multi beam laser projection |
US9911189B1 (en) * | 2016-06-30 | 2018-03-06 | Kitty Hawk Corporation | Navigation based on downward facing sensors |
-
2015
- 2015-09-09 JP JP2016513572A patent/JP6029794B1/ja active Active
- 2015-09-09 WO PCT/JP2015/075598 patent/WO2017042907A1/ja active Application Filing
- 2015-09-09 EP EP15903572.4A patent/EP3348963B1/en active Active
- 2015-09-09 US US15/561,882 patent/US10222210B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05118850A (ja) * | 1991-10-25 | 1993-05-14 | Shimizu Corp | 模型ヘリコプターを用いる3次元測量システム |
JPH1151611A (ja) * | 1997-07-31 | 1999-02-26 | Tokyo Electric Power Co Inc:The | 認識対象物体の位置姿勢認識装置および位置姿勢認識方法 |
JP2001133256A (ja) * | 1999-11-05 | 2001-05-18 | Asia Air Survey Co Ltd | 空中写真の位置及び姿勢の計算方法 |
JP2007278844A (ja) * | 2006-04-06 | 2007-10-25 | Topcon Corp | 画像処理装置及びその処理方法 |
JP2013187862A (ja) * | 2012-03-09 | 2013-09-19 | Topcon Corp | 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム |
JP2014145762A (ja) * | 2013-01-07 | 2014-08-14 | Amuse Oneself Inc | 制御装置、測量システム、プログラム及び記録媒体並びに計測方法 |
Non-Patent Citations (1)
Title |
---|
塩澤 秀門(外3名): "Velodyne レーザスキャナを用いた上空からの三次元再構成", 日本ロボット学会誌, vol. 31, no. 10, JPN6016036131, 2013, JP, pages 992 - 1000, ISSN: 0003402527 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019012751A1 (ja) * | 2017-07-14 | 2019-01-17 | 三菱電機株式会社 | データ間引き装置、測量装置、測量システム及びデータ間引き方法 |
JP2019020218A (ja) * | 2017-07-14 | 2019-02-07 | 三菱電機株式会社 | データ間引き装置、測量装置、測量システム及びデータ間引き方法 |
CN110869699A (zh) * | 2017-07-14 | 2020-03-06 | 三菱电机株式会社 | 数据间除装置、测量装置、测量***以及数据间除方法 |
EP3637048A4 (en) * | 2017-07-14 | 2020-06-24 | Mitsubishi Electric Corporation | DATA THINNING DEVICE, SURVEYING DEVICE, SURVEYING SYSTEM AND DATA THINNING METHOD |
CN107146447A (zh) * | 2017-07-16 | 2017-09-08 | 汤庆佳 | 一种基于无人机的智能车辆管理***及其方法 |
CN107478195A (zh) * | 2017-09-15 | 2017-12-15 | 哈尔滨工程大学 | 一种基于光学的空间物体姿态测量装置及其测量方法 |
JP2020090143A (ja) * | 2018-12-04 | 2020-06-11 | 三菱電機株式会社 | 航法装置、航法パラメータ計算方法およびプログラム |
CN113227711A (zh) * | 2018-12-04 | 2021-08-06 | 三菱电机株式会社 | 导航装置、导航参数计算方法及程序 |
JP7241517B2 (ja) | 2018-12-04 | 2023-03-17 | 三菱電機株式会社 | 航法装置、航法パラメータ計算方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2017042907A1 (ja) | 2017-03-16 |
JPWO2017042907A1 (ja) | 2017-09-07 |
EP3348963B1 (en) | 2020-05-20 |
US10222210B2 (en) | 2019-03-05 |
EP3348963A4 (en) | 2019-05-29 |
EP3348963A1 (en) | 2018-07-18 |
US20180120107A1 (en) | 2018-05-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6029794B1 (ja) | 航法装置および測量システム | |
US11099030B2 (en) | Attitude estimation apparatus, attitude estimation method, and observation system | |
US20190259176A1 (en) | Method and device to determine the camera position and angle | |
JP7037302B2 (ja) | 測量データ処理装置、測量データ処理方法および測量データ処理用プログラム | |
US9894435B2 (en) | Method and arrangement for detecting acoustic and optical information as well as a corresponding computer program and a corresponding computer-readable storage medium | |
KR101614338B1 (ko) | 카메라 캘리브레이션 방법, 카메라 캘리브레이션 프로그램을 기록한 컴퓨터 판독가능한 기록매체 및 카메라 캘리브레이션 장치 | |
JP5134784B2 (ja) | 空中写真測量方法 | |
CN112005077B (zh) | 无人航空器的设置台、测量方法、测量装置、测量***和程序 | |
JP6138326B1 (ja) | 移動体、移動体の制御方法、移動体を制御するプログラム、制御システム、及び情報処理装置 | |
JP5762131B2 (ja) | キャリブレーション装置、キャリブレーション装置のキャリブレーション方法およびキャリブレーションプログラム | |
JP2016080572A (ja) | レーザ計測システム | |
JP2017026552A (ja) | 3次元計測装置、3次元計測方法、及びプログラム | |
JP2018146524A (ja) | 測量システム | |
JP3808833B2 (ja) | 空中写真測量方法 | |
RU2597024C1 (ru) | Способ оперативного определения угловых элементов внешнего ориентирования космического сканерного снимка | |
JP2016223934A (ja) | 位置補正システム、位置補正方法、および位置補正プログラム | |
JP6305501B2 (ja) | キャリブレーション方法、プログラムおよびコンピュータ | |
US20200116482A1 (en) | Data thinning device, surveying device, surveying system, and data thinning method | |
Jia et al. | Modeling image motion in airborne three-line-array (TLA) push-broom cameras | |
JP5409451B2 (ja) | 3次元変化検出装置 | |
JP2011232131A (ja) | 画像目標標定装置および画像目標標定方法 | |
JP6974290B2 (ja) | 位置推定装置、位置推定方法、プログラム、及び記録媒体 | |
JPH0524591A (ja) | 垂直離着陸航空機の機***置測定方法 | |
CN115118876B (zh) | 拍摄参数的确定方法、装置及计算机可读存储介质 | |
Ruzgienė | Analysis of camera orientation variation in airborne photogrammetry: images under tilt (roll‑pitch‑yaw) angles |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160310 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20160310 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160310 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20160425 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160607 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160727 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160920 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161018 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6029794 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |