JP6029794B1 - 航法装置および測量システム - Google Patents

航法装置および測量システム Download PDF

Info

Publication number
JP6029794B1
JP6029794B1 JP2016513572A JP2016513572A JP6029794B1 JP 6029794 B1 JP6029794 B1 JP 6029794B1 JP 2016513572 A JP2016513572 A JP 2016513572A JP 2016513572 A JP2016513572 A JP 2016513572A JP 6029794 B1 JP6029794 B1 JP 6029794B1
Authority
JP
Japan
Prior art keywords
data
image
coordinate
image data
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016513572A
Other languages
English (en)
Other versions
JPWO2017042907A1 (ja
Inventor
秀明 前原
秀明 前原
百代 長瀬
百代 長瀬
謙二 平
謙二 平
純雄 加藤
純雄 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Application granted granted Critical
Publication of JP6029794B1 publication Critical patent/JP6029794B1/ja
Publication of JPWO2017042907A1 publication Critical patent/JPWO2017042907A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/06Interpretation of pictures by comparison of two or more pictures of the same area
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00Equipment not otherwise provided for
    • B64D47/08Arrangements of cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/002Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C1/00Measuring angles
    • G01C1/02Theodolites
    • G01C1/04Theodolites combined with cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08Control of attitude, i.e. control of roll, pitch, or yaw
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Navigation (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

異なる撮影位置でそれぞれ撮影された画像データペアの画像マッチングを行って、ペアの一方の画像データの画像上の測距点の座標に対応する点を、ペアのもう一方の画像データの画像から探索する。ペアのもう一方の画像データの画像上の測距点の座標と画像マッチングによって探索された対応する点の座標との差が小さくなるように航空機(2)の姿勢を示すパラメータの値を補正して航空機(2)の姿勢を推定する。

Description

この発明は、測量用のカメラおよびレーザ測距装置を搭載した移動体の姿勢を推定する航法装置およびこれを備えた測量システムに関する。
例えば、特許文献1には、飛行体に搭載したカメラとレーザ発信受信装置を使用して、写真測量と航空レーザ測量を行う測量システムが記載されている。
この測量システムにおいて、飛行体から測量対象を撮影するカメラは、スタビライザーと呼ばれる姿勢安定化装置に支持されており、飛行中の飛行体の姿勢によらず、撮影方向を鉛直下向きに保つことができる。
また、レーザ発信受信装置は、飛行体から予め定められた周期でレーザ光を測量対象に照射し、この測量対象からの反射光を受信する。この測量システムにおける制御装置は、レーザ発信受信装置によって測量対象から受信された反射光の情報を使用して航空レーザ測量を行う。なお、レーザ発信受信装置は、本発明におけるレーザ測距装置に相当する。
航空レーザ測量では、上記の情報の他、飛行体の3次元座標データ(飛行体の水平方向の位置と標高)と飛行中の飛行体の姿勢を示す情報が必要である。これらの情報のうち、飛行体の3次元座標データは、飛行体に搭載されたGNSS(Global Navigation Satellite System)装置により検出される。すなわち、GNSS装置は、GNSS衛星からGNSS情報を一定の周期ごとに受信し、このGNSS情報を解析して飛行体の3次元座標データを得る。
一方、レーザ発信受信装置によってレーザ光が測量対象に照射される周期は、GNSS装置によってGNSS情報が受信される周期よりも短い周期である。このため、制御装置は、レーザ発信受信装置によって測量対象からの反射光が受信されても、GNSS情報が受信される周期以外の一定の間隔で飛行体の3次元座標データを得ることができない。
これに対して、従来の一般的な航空レーザ測量においては、飛行体に搭載されたIMU(Inertial Measurement Unit)により計測された3軸の加速度および3軸の角加速度の情報を使用して、GNSS情報が受信される周期以外の一定の間隔における飛行体の3次元座標データを得ていた。
しかしながら、IMUは、非常に高価である上、比較的重い装置であることから、これを搭載可能な飛行体の種類も限定されてしまう。
そこで、特許文献1に記載される測量システムでは、IMUの代わりに、IMUよりも安価でかつ小型な加速度計および角加速度計を備えている。
すなわち、この測量システムでは、加速度計からの3軸の加速度および角加速度計からの3軸の角加速度の情報を使用して、GNSS情報の受信周期以外の一定の間隔における飛行体の3次元座標データを得ている。
また、飛行体の姿勢を示す情報は、飛行体のローリング方向、ピッチング方向、ヨーイング方向の角度(以下、ロール角、ピッチ角、ヨー角と記載する)であり、カメラによって2つ以上の異なる位置から撮影された画像間の対応点を対象としたバンドル計算で得られた値が使用される。制御装置は、バンドル計算で得られた飛行体の姿勢に基づいて、加速度計からの加速度と角加速度計からの角加速度とを利用して、レーザ光の走査周期分(GNSS情報の受信周期以外の一定の間隔分)の飛行体の姿勢を算出している。
特開2014−145762号公報
特許文献1に記載される測量システムでは、カメラによって異なる位置から撮像された画像データを用いたバンドル計算で飛行体の姿勢を推定しており、画像データのみを姿勢の推定に用いている。このため、姿勢の推定精度に限界があった。
また、上記測量システムにおいて、飛行体の姿勢の推定に用いられる画像情報は、飛行体の姿勢に関わらず、飛行体の鉛直下向きで撮影されたことを前提としている。
このため、カメラの撮影方向を常に鉛直下向きに維持するスタビライザーを備える必要があり、システム構成が複雑化する。
この発明は、上記課題を解決するもので、IMU、スタビライザーを搭載しない構成で移動体の姿勢を精度よく推定することができる航法装置および測量システムを得ることを目的とする。
この発明に係る航法装置は、データ取得部、座標算出部、画像マッチング部および姿勢推定部を備える。データ取得部は、移動体に搭載されたレーザ測距装置により測定されたレーザ光の照射基準点から測距点までの距離を示す距離データとレーザ光の照射角度を示す角度データ、移動体に搭載された座標測定装置により測定されたレーザ光の照射基準点の3次元座標を示す座標データおよび移動体に搭載された撮影装置により撮影された撮影対象に測距点を含む画像データを取得する。座標算出部は、データ取得部により取得された距離データと角度データ、座標データおよび移動体の姿勢を示すパラメータに基づいて、画像データの画像上の測距点の座標を算出する。画像マッチング部は、撮影装置により異なる撮影位置でそれぞれ撮影された画像データのペアの画像マッチングを行って、座標算出部により算出されたペアの一方の画像データの画像上の測距点の座標に対応する点を、ペアのもう一方の画像データの画像から探索する。姿勢推定部は、座標算出部により算出されたペアのもう一方の画像データの画像上の測距点の座標と画像マッチング部により探索された対応する点の座標との差が小さくなるように移動体の姿勢を仮定するパラメータの値を補正して当該移動体の姿勢を推定する。
この発明によれば、異なる撮影位置でそれぞれ撮影された画像間の対応する点の座標が移動体の姿勢によってずれることに着目し、これらの座標の差が小さくなるように移動体の姿勢を示すパラメータの値を補正して移動体の姿勢を推定するので、IMU、スタビライザーを使用しなくても移動体の姿勢を推定することができる。
また、測距点が撮影された画像データに加え、レーザ光の照射基準点から測距点までの距離、レーザ光の照射角度、レーザ光の照射基準点の3次元座標を使用して移動体の姿勢を推定するので、移動体の姿勢を精度よく推定することが可能である。
この発明の実施の形態1に係る測量システムの構成を示すブロック図である。 実施の形態1に係る航法装置の機能構成を示すブロック図である。 実施の形態1に係る航法装置のハードウェア構成を示すブロック図である。図3(a)は、航法装置の機能を実現するハードウェアの処理回路を示し、図3(b)は、航法装置の機能を実現するソフトウェアを実行するハードウェア構成を示している。 実施の形態1に係る航法装置の動作の概要を示すフローチャートである。 左カメラと右カメラとレーザ測距装置との位置関係を模式的に示す図である。図5(a)は、左カメラと右カメラとレーザ測距装置とからなるユニットの斜視図、図5(b)は、当該ユニットをX軸方向に見た図であり、図5(c)は、当該ユニットをZ軸方向に見た図、図5(d)は、当該ユニットをY軸方向に見た図である。 航空機の飛行に伴う左カメラ、右カメラおよびレーザ測距装置の位置変化を示す図である。図6(a)は、レーザ測距装置の位置座標データを示している。図6(b)は、左カメラ、右カメラおよびレーザ測距装置の位置座標をXZ平面にプロットしたグラフであり、図6(c)は、これらの位置座標をYZ平面にプロットしたグラフであり、図6(d)は、これらの位置座標をXY平面にプロットしたグラフである。 航空機の飛行に伴ったレーザ測距装置の測定結果の変化を示す図である。図7(a)は、各時刻における角度データと距離データを示しており、図7(b)は、図7(a)に示すデータをプロットしたグラフである。 左カメラと右カメラによって1秒ごとに撮影された画像を示す図である。 航空機が水平に飛行しているときに左カメラおよび右カメラに撮影されたレーザ測距装置の測距点を含む画像を示す図である。 航空機がピッチ方向に傾いて飛行しているときに左カメラおよび右カメラに撮影されたレーザ測距装置の測距点を含む画像を示す図である。 航空機が水平に飛行していると仮定して算出された画像上の測距点の座標と航空機がピッチ方向に傾いて飛行しているときの画像上の対応する点の座標との間の誤差を示す図である。 実施の形態1に係る航法装置の動作を示すフローチャートである。 測距点の3次元座標の算出結果を示す図である。 左カメラと右カメラの投影中心座標を示す図である。 左カメラと右カメラによって撮影された画像上の測距点の座標を示す図である。 時刻iの左カメラ画像上の測距点の座標と、これに対応する画像マッチングにより探索された時刻jの右カメラ画像上の点の座標を示す図である。 観測方程式の定数ベクトルを示す図である。 計画行列を示す図である。 図18の計画行列の転置行列と計画行列の積を示す図である。 図18の計画行列を転置したものと図17の定数ベクトルの積によって得られる行列と、図19の行列から計算した逆行列との積を示す図である。 姿勢角の補正量を示す図である。 最終的な姿勢角の推定結果を示す図である。 この発明の実施の形態2に係る測量システムの構成を示すブロック図である。
以下、この発明をより詳細に説明するため、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態1.
図1は、この発明の実施の形態1に係る測量システム1の構成を示すブロック図である。測量システム1は、航空機2から地形を測量するシステムであり、航空機2に搭載された左カメラ20a、右カメラ20b、レーザ測距装置21、GNSS装置22およびメモリカード23と、航法装置3とを備える。航法装置3は、飛行中の航空機2の姿勢を推定する装置であって、図1に示すように航空機2とは別に設けられる。ただし、航法装置3を航空機2に搭載してもよい。また、航空機2の姿勢は、航空機2のローリング方向、ピッチング方向、ヨーイング方向の姿勢角であるロール角ω、ピッチ角φ、ヨー角κの3つのパラメータによって特定される。
航空機2は、この発明における移動体を具体化したものであり、左カメラ20a、右カメラ20b、レーザ測距装置21、GNSS装置22およびメモリカード23を搭載して飛行することができる。例えば、搭乗したパイロットが操縦する航空機であってもよく、UAV(Unmanned Aerial Vehicle)であってもよい。
左カメラ20aおよび右カメラ20bは、この発明における第1の撮影部および第2の撮影部を具体化した構成要素であり、レーザ測距装置21の測距点を含んだ地表面を撮影する。この場合、左カメラ20aおよび右カメラ20bと、これらの撮影処理を制御する制御装置とを含む装置が、この発明における撮影装置に相当する。例えば、制御装置は、左カメラ20aおよび右カメラ20bに指示して予め定めた周期で地表面の撮影を行い、撮影により得られた画像と撮影日時とを対応付けた画像データをメモリカード23に記憶する。なお、予め定めた周期としては、1秒ごとに撮影を行うことが考えられる。
レーザ測距装置21は、レーザ光の照射角度θを変えながらレーザ光を測量対象である地表面へ照射して地表面の測距点からの反射光を受信することで、レーザ光の照射基準点から測距点までの距離lを測定する。
また、レーザ測距装置21は、距離lを測定するごとに、この距離lを示す距離データと、この距離lが得られたレーザ光の照射角度θを示す角度データとをメモリカード23に記憶する。
GNSS装置22は、この発明における座標測定装置を具体化した構成要素であって、レーザ測距装置21におけるレーザ光の照射基準点の3次元座標を測定する。
また、GNSS装置22は、予め定めた周期で照射基準点の3次元座標を示す座標データをメモリカード23に記憶する。例えば、左カメラ20aおよび右カメラ20bによる撮影に同期して1秒ごとに座標を測定する。
なお、GNSS装置22と照射基準点の位置の違いは、GNSS装置22の測定精度に対して許容範囲内である。すなわち、GNSS装置22は照射基準点と同一の位置にあるものとし、さらに当該照射基準点の位置は航空機2の位置と同じ意味であるものとする。
メモリカード23は、この発明における記憶装置を具体化した構成要素であり、航空機2の飛行中に測定された距離データ、角度データ、画像データ、座標データを記憶する。
メモリカード23として、例えばSD(Secure Digital)メモリカードを使用してもよい。
図2は、航法装置3の機能構成を示すブロック図である。航法装置3は、図2に示すように、データ取得部30、座標算出部31、画像マッチング部32および姿勢推定部33を備える。データ取得部30は、航空機2のメモリカード23に蓄えられた距離データ、角度データ、座標データおよび画像データを取得する構成要素である。
例えば、データ取得部30は、メモリカード23のカードドライブに有線または無線で接続して上記データを読み出して取得する。
座標算出部31は、データ取得部30により取得された距離データ、角度データ、座標データおよび航空機2の姿勢角(ロール角ω、ピッチ角φ、ヨー角κ)に基づいて、画像データの画像上の測距点の座標を算出する。例えば、レーザ光の照射基準点から測距点までの距離l、レーザ光の照射角度θ、レーザ光の照射基準点の3次元座標、航空機2のロール角ω、ピッチ角φ、ヨー角κに基づいて、測距点の3次元座標を算出する。そして、測距点の3次元座標と左カメラ20aおよび右カメラ20bの投影中心座標に基づいて、左カメラ20aおよび右カメラ20bに撮影された画像データの画像上の測距点の座標を算出する。
なお、航空機2のロール角ω、ピッチ角φ、ヨー角κは未知であり、最初は、姿勢角の補正量が算出されていないため、ロール角ω=0、ピッチ角φ=0、ヨー角κ=0を初期値として座標の計算を行う。この座標算出の詳細は後述する。
画像マッチング部32は、左カメラ20aおよび右カメラ20bのうちの少なくとも一方により異なる撮影位置でそれぞれ撮影された画像データのペアの画像マッチングを行って、ペアの一方の画像データ(以下、第1の画像データと適宜記載する)の画像上の測距点の座標に対応する点を、ペアのもう一方の画像データ(以下、第2の画像データと適宜記載する)の画像から探索する。
画像マッチングの方法としては、2つの画像の類似度などを調べる周知のテンプレートマッチング法を用いることができる。例えば、第1の画像データをテンプレート画像とし、第2の画像データを対象画像データとして双方の画像データを比較し、テンプレート画像上の測距点の座標に対応する点を対象画像データの画像から探索する。
また、画像データのペアとしては、異なる撮影位置でそれぞれ撮影された画像データのペアであればよいので、航空機2の飛行中に時刻iで撮影された画像データとこの時刻iよりも進んだ時刻jで撮影された画像データとを用いてもよい。
さらに、画像データのペアとしては、左カメラ20aおよび右カメラ20bとによって時刻iにそれぞれ撮影された画像データのペアであってもよい。
さらに、画像データのペアは、左カメラ20aおよび右カメラ20bのうちの少なくとも一方によって時刻iと時刻iよりも進んだ時刻jとにそれぞれ撮影された画像データのペアであってもよい。
このような画像データのペアを用いることで、航空機2の姿勢に応じた画像上の被写体の変化を航空機2の姿勢推定に利用することができる。
換言すると、この発明では、航空機2の姿勢に応じた画像上の被写体の変化を航空機2の姿勢推定に利用するため、左カメラ20aと右カメラ20bにスタビライザーが不要である。
姿勢推定部33は、座標算出部31によって算出されたペアのもう一方の画像データ(第2の画像データ)の画像上の測距点の座標と画像マッチング部32によって探索された対応する点の座標との差が小さくなるように航空機2の姿勢角の値を補正して、航空機2の姿勢を推定する。前述したように、座標算出部31は、姿勢角(ω,φ,κ)=(0,0,0)を初期値として画像上の測距点の座標を算出している。このため、航空機2が傾いて飛行していた場合、座標算出部31によって算出された上記測距点の座標と画像マッチング部32によって探索された上記対応する点の座標が一致しなくなる。
そこで、姿勢推定部33は、これら2点の座標の差が小さくなるように航空機2の姿勢角の値の補正量を算出し、2点の座標の差が最小となる姿勢角を最終的な航空機2の姿勢角と推定する。これにより、距離データ、角度データ、座標データ、画像データに基づいて、航空機2の姿勢角を高精度に推定することが可能となる。
図3は、航法装置3のハードウェア構成を示すブロック図である。図3(a)は航法装置3の機能を実現するハードウェアの処理回路100を示し、図3(b)は航法装置3の機能を実現するソフトウェアを実行するハードウェア構成を示している。また、図4は、航法装置3の動作の概要を示すフローチャートである。
航法装置3におけるデータ取得部30、座標算出部31、画像マッチング部32、姿勢推定部33の各機能は、処理回路により実現される。
すなわち、航法装置3は、図4に示す、距離データ、角度データ、座標データ、画像データを取得するステップST1、距離データ、角度データ、座標データおよび航空機2の姿勢角に基づいて、画像データの画像上の測距点の座標を算出するステップST2、異なる撮影位置でそれぞれ撮影された画像データのペアの画像マッチングを行って、ペアの一方の画像データの画像上の測距点の座標に対応する点を、ペアのもう一方の画像データの画像から探索するステップST3、ペアのもう一方の画像データの画像上の測距点の座標と画像マッチング部32によって探索された対応する点の座標との差が小さくなるように航空機2の姿勢角の値を補正して、航空機2の姿勢を推定するステップST4を行うための処理回路を備えている。
処理回路は、専用のハードウェアであっても、メモリに格納されるプログラムを実行するCPU(Central Processing Unit)であってもよい。
図3(a)に示すように、上記処理回路が専用のハードウェアの処理回路100である場合、処理回路100は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field−Programmable Gate Array)、または、これらを組み合わせたものが該当する。
また、データ取得部30、座標算出部31、画像マッチング部32、姿勢推定部33の各部の機能をそれぞれ処理回路で実現してもよいし、各部の機能をまとめて1つの処理回路で実現してもよい。
図3(b)に示すように、上記処理回路がCPU101である場合、データ取得部30、座標算出部31、画像マッチング部32、姿勢推定部33の機能は、ソフトウェア、ファームウェアまたはソフトウェアとファームウェアとの組み合わせにより実現される。
ソフトウェアとファームウェアはプログラムとして記述され、メモリ102に格納される。CPU101は、メモリ102に格納されたプログラムを読み出して実行することにより、各部の機能を実現する。
すなわち、航法装置3は、CPU101によって実行されるときに、図4に示すステップST1からステップST4までの処理が結果的に実行されるプログラムを格納するためのメモリ102を備える。また、これらのプログラムは、データ取得部30、座標算出部31、画像マッチング部32、姿勢推定部33の手順または方法をコンピュータに実行させるものである。
ここで、メモリとは、例えば、RAM(Random Access Memory)、ROM、フラッシュメモリ、EPROM(Erasable Programmable ROM)、EEPROM(Electrically EPROM)などの不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD(Digital Versatile Disk)などが該当する。
なお、データ取得部30、座標算出部31、画像マッチング部32、姿勢推定部33の各機能について一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現してもよい。
例えば、データ取得部30は、専用のハードウェアの処理回路100でその機能を実現し、座標算出部31、画像マッチング部32および姿勢推定部33は、CPU101が、メモリ102に格納されたプログラム実行することによりその機能を実現する。
このように、上記処理回路は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって前述の機能を実現することができる。
図5は、左カメラ20aと右カメラ20bとレーザ測距装置21の位置関係を模式的に示す図である。図5(a)は、左カメラ20aと右カメラ20bとレーザ測距装置21とからなるユニットの斜視図、図5(b)は、当該ユニットをX軸方向に見た図である。図5(c)は、当該ユニットをZ軸方向に見た図、図5(d)は、当該ユニットをY軸方向に見た図である。図5(a)に示すように、左カメラ20aは、レーザ測距装置21の左側に延びるアーム20cの端部に取り付けられ、右カメラ20bは、レーザ測距装置21の右側に延びるアーム20dの端部に取り付けられている。両側のアーム20c,20dのそれぞれの長さは、例えば、1mとする。また、左カメラ20aおよび右カメラ20bの撮影方向は、航空機2の直下方向(Z軸方向)に向いている。
レーザ測距装置21は、図5(b)に示すように、レーザ光の照射角度θを変えながら照射基準点21aからレーザ光を地表面の測距点Pに照射し測距点Pからの反射光を受信して、照射基準点21aから測距点Pまでの距離lを測定する。なお、照射基準点21aから直下にレーザ光を照射したときの照射角度θを90度とする。
左カメラ20aおよび右カメラ20bは、図5(c)に示すように、矩形の撮影範囲で撮影を行うことにより、図8を用いて後述するような画像データを得る。
ここで、照射基準点21aの位置と航空機2の位置は同じであると仮定する。従って、航空機2がX軸方向に水平飛行する場合、左カメラ20a、右カメラ20bおよびレーザ測距装置21からなるユニットも、図5(d)に示すようにX軸方向に移動する。
しかしながら、実際の飛行環境では水平飛行を意図しても、航空機2は、風などの影響によって直線状の進路をとることはできない。すなわち、航空機2は、ローリング方向、ピッチング方向、ヨーイング方向のそれぞれに傾いた状態で飛行する。
図6は、航空機の飛行に伴う左カメラ20aと右カメラ20bとレーザ測距装置21の位置変化を示す図である。図6(a)は、レーザ測距装置21の位置座標データを示している。図6(b)は、左カメラ20aと右カメラ20bとレーザ測距装置21の位置座標をXZ平面にプロットしたグラフである。図6(c)は、これらの位置座標をYZ平面にプロットしたグラフであり、図6(d)は、これらの位置座標をXY平面にプロットしたグラフである。図6(a)に示すように、航空機2は、時刻t=0でXYZ座標系の原点(0,0,0)に位置し、図6(b)に示すX軸方向に一定の速度で3秒間の水平飛行を行っている。
なお、レーザ測距装置21の位置座標は、GNSS装置22により1秒ごとに測定された照射基準点21aの位置座標である。左カメラ20aと右カメラ20bの位置座標は、照射基準点21aの位置から1mのアーム20c,20dの分だけY軸方向に離れているものとして計算している。
図6(b)から図6(d)において、大きな四角形のプロットは、時刻t=0における左カメラ20aの位置座標である。大きな逆三角形のプロットは、時刻t=0における右カメラ20bの位置座標であり、小さな四角形のプロットは、時刻t=0におけるレーザ測距装置21の位置座標である。
また、点のある大きな四角形のプロットは、時刻t=1における左カメラ20aの位置座標である。点のある大きな逆三角形のプロットは、時刻t=1における右カメラ20bの位置座標であり、点のある小さな四角形のプロットは、時刻t=1におけるレーザ測距装置21の位置座標である。
大きな円形のプロットは、時刻t=2における左カメラ20aの位置座標である。大きな三角形のプロットは、時刻t=2における右カメラ20bの位置座標であり、小さな円形のプロットは、時刻t=2におけるレーザ測距装置21の位置座標である。
点のある大きな円形のプロットは、時刻t=3における左カメラ20aの位置座標である。点のある大きな三角形のプロットは、時刻t=3における右カメラ20bの位置座標であり、点のある小さな円形のプロットは、時刻t=3におけるレーザ測距装置21の位置座標である。
図5を用いて説明したように、左カメラ20a、右カメラ20bおよびレーザ測距装置21からなるユニットは、左カメラ20a、レーザ測距装置21、右カメラ20bの順でY軸方向に沿って連結されている。このため、図6(b)に示すように左カメラ20a、右カメラ20bおよびレーザ測距装置21の各位置はY軸方向に重なっている。
一方、時刻t=1を過ぎると、左カメラ20a、右カメラ20bおよびレーザ測距装置21の位置がZ軸方向に逸れている。
また、図6(c)および図6(d)に示すように、時刻t=1〜2において、左カメラ20a、右カメラ20bおよびレーザ測距装置21の位置は、Y軸方向に0.5m逸れてから、時刻t=3で原点と同じ位置に戻っている。
図6(b)から図6(d)までのグラフを考慮すると、航空機2の位置が3秒間でY軸方向とZ軸方向にずれており、航空機2が傾いて飛行したことがわかる。
図7は航空機2の飛行に伴ったレーザ測距装置21の測定結果の変化を示す図であり、図6の状態で航空機2が飛行した場合における測定結果を示している。
図7(a)は、各時刻における角度データと距離データを示しており、図7(b)は、図7(a)に示すデータをプロットしたグラフである。
また、図8は、左カメラ20aと右カメラ20bによって1秒ごとに撮影された画像を示す図であり、図6の状態で航空機2が飛行したときに撮影された画像を示している。
図7(a)に示すように、レーザ測距装置21の測定結果は、測定時刻t、照射角度θおよび距離lを1レコードとしてメモリカード23に記憶される。ここでは、レーザ測距装置21が1秒当たり4回の測定を行うものとする。また、照射角度θは、図5(b)に示した照射基準点21aの直下を90度とする。
レーザ測距装置21は、図5(b)に示したように、X軸の正方向から見てX軸を中心として時計回りに照射基準点21aを18度ずつ回転させてレーザ光を走査する。
図7(b)において、白い三角形のプロットは、時刻t=0.00〜0.15における角度データおよび距離データ、黒い三角形のプロットは時刻t=1.00〜1.15における角度データおよび距離データ、白い四角形のプロットは時刻t=2.00〜2.15における角度データおよび距離データである。
図6で説明したように航空機2が傾いて飛行した場合、レーザ光もレーザ測距装置21から傾いて照射される。すなわち、図7(a)および図7(b)に示すような距離データおよび角度データも、航空機2の姿勢角に応じて変化する。
また、航空機2が傾いて飛行すると、左カメラ20aおよび右カメラ20bの撮像方向も傾く。これにより、図8に示すような左カメラ20aに撮影された左カメラ画像および右カメラ20bに撮影された右カメラ画像も、航空機2の姿勢角に応じて変化する。
従って、航空機2が水平に飛行したと仮定して距離データ、角度データ、座標データ、画像データを用いて算出した測距点の画像上の座標と、航空機2が傾いて飛行したときの同一の測距点の座標との間には、航空機2の姿勢角に応じた誤差が生じる。
そこで、この発明では、上記誤差が小さくなるように姿勢角を補正していき、上記誤差が最小となる姿勢角を航空機2の姿勢角の推定値とする。以下、この発明における姿勢角の推定処理の概要を説明する。
図9は、航空機2が水平に飛行しているときに左カメラ20aおよび右カメラ20bに撮影されたレーザ測距装置21の測距点Pを含む画像100a,100bを示す図である。図9において、航空機2は、X軸の正方向に沿って水平に飛行したと仮定する。
ここでは、1秒ごとに、左カメラ20aおよび右カメラ20bによって航空機2の下方が撮影され、レーザ測距装置21が、照射角度θを90度として機体の直下にある測距点Pとの距離を測定する。
また、左カメラ20aによって時刻t=0に撮影された画像100a上の測距点Pの座標P0aは、時刻t=0におけるレーザ光の照射基準点21aの3次元座標と航空機2の姿勢角とから算出することができる。
同様に、右カメラ20bによって時刻t=1に撮影された画像100b上の測距点Pの座標P0bは、時刻t=1における照射基準点21aの3次元座標と航空機2の姿勢角とから算出することができる。
なお、図9では、航空機2が水平に飛行すると仮定しているので、姿勢角は0である。
図10は、航空機2がピッチ方向に傾いて飛行しているときに左カメラ20aおよび右カメラ20bに撮影されたレーザ測距装置21の測距点Pを含む画像100a,100cを示す図である。図10において、時刻t=1に航空機2がピッチ角φだけ傾いて飛行したと仮定している。このとき、右カメラ20bによって時刻t=1に撮影された画像100cでは、鎖線で示すように、図9の場合よりも被写体が全体的に右寄りになった画像となる。
図11は、航空機2が水平に飛行していると仮定して算出された画像上の測距点Pの座標と航空機2がピッチ方向に傾いて飛行しているときの画像上の対応する点の座標との間の誤差を示す図である。図11における画像100c上の測距点P点の座標P0bは、図9と同様に航空機2が時刻t=1においても傾き無く飛行していると仮定して算出した座標である。一方、画像100c上の点の座標P0b’は、左カメラ20aによって時刻t=0に撮影された画像100a上の測距点Pの座標P0aに対応する点を、画像マッチングによって画像100cから探索した結果として得られた点の座標である。
このような座標P0bと座標P0b’との差Δuは、実際の飛行では航空機2が傾いていたにも拘わらず、傾きなく飛行したと仮定して画像100c上の測距点Pの座標P0bを算出したために生じたものである。従って、差Δuが最小となる航空機2の姿勢角は実際の航空機2の姿勢を適切に表した推定結果となる。
例えば、図11の場合、航空機2をピッチ角φだけ傾けたときに差Δuが最小となるため、ピッチ角φが姿勢の推定結果として得られる。
なお、実際の航空機2では、ピッチング方向に加え、ローリング方向とヨーイング方向のそれぞれにも傾くが、この場合も同様にロール角ω、ヨー角κを推定すればよい。
次に動作について説明する。
図12は、実施の形態1に係る航法装置3の動作を示すフローチャートであり、飛行中の航空機2の姿勢角を推定する一連の処理を示している。
以降では、航空機2の姿勢角がロール角ω、ピッチ角φ、ヨー角κの3つのパラメータで表され、これらの角度は1秒ごとに推定される。
便宜上、時刻t=0および時刻t=3の姿勢角(ω,φ,κ)を(0,0,0)と仮定するので、時刻t=1および時刻t=2における未知の姿勢角(ω,φ,κ)を推定すればよい。すなわち、未知数である計6つの姿勢角を推定する。
まず、データ取得部30が、航空機2に搭載されたメモリカード23から距離データ、角度データ、座標データ、画像データを読み出して取得する(ステップST1a)。
距離データは、レーザ測距装置21によって測定されたレーザ光の照射基準点21aから測距点Pまでの距離lを示すデータであり、角度データは、レーザ光の照射角度θを示すデータである。座標データは、GNSS装置22によって測定されたレーザ光の照射基準点21aの3次元座標(X,Y,Z)である。画像データは、左カメラ20aと右カメラ20bによって撮影された撮影対象に測距点Pを含む画像データである。
このように航空機2の飛行中にメモリカード23に蓄積されたデータを用いることで、航空機2の姿勢を飛行終了後に推定することができ、推定された姿勢角を用いて測量結果を補正することも可能である。
次に、座標算出部31が、データ取得部30により取得された距離データ、角度データ、座標データおよび航空機2の姿勢角(ω,φ,κ)の設定値に基づいて、下記式(1)に従い、測距点Pごとの3次元座標(X,Y,Z)を算出する(ステップST2a)。
下記式(1)において、a11〜a33は、航空機2の姿勢に応じたレーザ測距装置21、左カメラ20aおよび右カメラ20bの傾きを表す3×3の回転行列の要素である。
Figure 0006029794
また、上記式(1)において、(X,Y,Z)は、上記座標データが示すレーザ光の照射基準点21aの3次元座標である。θは、上記角度データが示すレーザ光の照射角度であり、lは、上記距離データが示すレーザ光の照射基準点21aから測距点Pまでの距離である。なお、照射角度θは、航空機2の鉛直下向きを90度としている。
また、姿勢角の設定値は、航空機2が水平に飛行していると仮定して(ω,φ,κ)=(0,0,0)とする。
図6(a)に示した時刻t=0〜2における座標データおよび図7(a)に示した時刻t=0〜2における測距点Pごとの角度データと距離データを用いて、測距点Pごとの3次元座標(X,Y,Z)を算出した結果を図13に示す。
次に、座標算出部31が、座標データと姿勢角の設定値に基づいて、下記式(2)と下記式(3)に従って、1秒ごとの左カメラ20aの投影中心座標(X,Y,Z)および右カメラ20bの投影中心座標(X,Y,Z)を算出する(ステップST3a)。
姿勢角の設定値を(ω,φ,κ)=(0,0,0)とし、図6(a)に示した時刻t=0〜2における座標データを用いて投影中心座標を算出した結果を図14に示す。
Figure 0006029794

Figure 0006029794
次に、座標算出部31は、座標データ、姿勢角の設定値、測距点Pの3次元座標、左カメラ20aと右カメラ20bの各投影中心座標に基づいて、下記式(4)と下記式(5)に従って、左カメラ画像上の測距点Pの座標(x,y)と右カメラ画像上の測距点Pの座標(x,y)を算出する(ステップST4a)。
下記式(4)と下記式(5)において、cは、左カメラ20aと右カメラ20bの焦点距離である。
Figure 0006029794

Figure 0006029794
ただし、
Figure 0006029794
図6(a)に示した時刻t=0〜2における座標データ、図13に示した測距点Pごとの3次元座標(X,Y,Z)および図14に示した投影中心座標を用いて、左カメラ画像上の測距点Pの座標(x,y)と右カメラ画像上の座標(x,y)を算出した結果を図15に示す。
次に、画像マッチング部32は、データ取得部30により取得された画像データから、時刻iに撮影された左カメラ画像とこの時刻iよりも+1だけ進んだ時刻jに撮影された右カメラ画像をペアとして抽出する。このように画像マッチングの対象となる画像データのペアを抽出する処理をペアリングと呼ぶ。このペアリングによって、異なる撮影位置で撮影された画像データのペアが得られる。
続いて、画像マッチング部32は、時刻iの左カメラ画像と時刻jの右カメラ画像とのテンプレートマッチングを行うことにより、座標算出部31によって算出された時刻iの左カメラ画像上の測距点Pの座標(x,y)に対応する点を、時刻jの右カメラ画像から探索する(ステップST5a)。
図16は、時刻iの左カメラ画像上の測距点Pの座標と、これに対応するテンプレートマッチングで得られた時刻jの右カメラ画像上の点の座標との対応関係を示している。
SCAN(xLi,yLi)は、時刻iの左カメラ画像上の測距点Pの座標(xLi,yLi)を中心とした小領域について時刻jの右カメラ画像上でテンプレートマッチングを行って得られた対応する点のx座標値である。また、SCAN(xLi,yLi)は、同様にテンプレートマッチングを行って得られた対応する点のy座標値である。
図16に示すように、座標算出部31によって算出された時刻jの右カメラ画像上の測距点Pの座標(xRj,yRj)と、画像マッチング部32によって探索された対応点の座標(SCAN(xLi,yLi),SCAN(xLi,yLi))との間には乖離が生じている。これは、航空機2の姿勢角(ω,φ,κ)が0以外の値であることに起因する。
すなわち、飛行中の航空機2の姿勢を示す適切な姿勢角(ω,φ,κ)を設定して、図16に示した座標を再計算すれば、上記座標(xRj,yRj)と上記座標(SCAN(xLi,yLi),SCAN(xLi,yLi))は一致する。
従って、上記座標の差が最小化される姿勢角が航空機2の姿勢角の推定値となる。
図12の説明に戻る。以降では、姿勢推定部33が、非線形最小二乗法に基づく手順で航空機2の姿勢角を推定する場合について説明する。
姿勢推定部33は、時刻jの右カメラ画像上の測距点Pの座標(xRj,yRj)と、画像マッチング部32によって探索された対応点の座標(SCAN(xLi,yLi),SCAN(xLi,yLi))との差が小さくなる姿勢角の補正量を算出する(ステップST6a)。例えば、下記式(6)に示す観測方程式v,vを用いる。

Figure 0006029794
上記式(6)において、チルダω(ω)、チルダφ(φ)、チルダκ(κ)は、未知数であるロール角ω、ピッチ角φ、ヨー角κの近似解である。δω、δφ、δκは近似解チルダω、チルダφ、チルダκに対する補正量である。
また、∂F/∂ωは、Fのロール角ωでの偏微分、∂F/∂φは、Fのピッチ角φでの偏微分されたF、∂F/∂κは、Fのヨー角κでの偏微分である。これらの偏微分は、近似解チルダω、チルダφ、チルダκを代入して値が得られる係数である。
同様に、∂F/∂ωは、Fのロール角ωでの偏微分、∂F/∂φは、Fのピッチ角φでの偏微分、∂F/∂κは、Fのヨー角κでの偏微分である。これらの偏微分も近似解チルダω、チルダφ、チルダκを代入して値が得られる係数である。
チルダF)は、Fに対してSCAN(x,y)とxの近似解を代入して得られる値であり、チルダF)は、Fに対してSCAN(x,y)とyの近似解を代入して得られる値である。
図16に示したデータを用いる場合、時刻t=iの左カメラ画像と時刻t=i+1の右カメラ画像の各ペアにおいて4個ずつ、xとyについての観測方程式v,vが得られる。従って、観測方程式の数は3×4×2=24となる。このときの観測方程式の定数ベクトルを図17に示す。
次に、姿勢推定部33は、観測方程式を6つの未知数のそれぞれについて偏微分する。例えば、時刻t=1におけるロール角ω、ピッチ角φ、ヨー角κで偏微分してから、時刻t=2におけるロール角ω、ピッチ角φ、ヨー角κで偏微分する。
このようにして観測方程式ごとに算出された偏微分係数からなる24×6の計画行列を図18に示す。
続いて、姿勢推定部33は、この計画行列の転置行列と計画行列との積を算出する。図18に示した計画行列を用いた算出結果を図19に示す。
さらに、姿勢推定部33は、この計画行列の転置行列と図17に示した定数ベクトルの積を算出する。この算出の結果を図20に示す。
この後、姿勢推定部33は、図19に示す行列から算定した逆行列と図20に示すベクトルの積を算出する。この算出結果が、図21に示す姿勢角の補正量(δω,δφ,δκ)である。
なお、最初は、航空機2が傾き無く水平に飛行していると仮定して、姿勢角(ω,φ,κ)の初期値として(0,0,0)を設定しているので、上記補正量がそのまま姿勢角の近似解となる。
姿勢推定部33は、上記のように算出した補正量を従前の近似解に加算して補正し、補正後の近似解を姿勢角の設定値に決定する(ステップST7a)。このとき、予め定めた繰り返し回数が経過していなければ(ステップST8a;NO)、姿勢推定部33は、上記と同様な座標計算を行うように座標算出部31に指示する。
これにより、座標算出部31が、補正後の近似解を姿勢角の設定値としてステップST2aからステップST4aまでの処理を行い、画像マッチング部32がステップST5aの処理を行う。
上記のような一連の処理を繰り返して算出される補正量(δω,δφ,δκ)によって、時刻jの右カメラ画像上の測距点Pの座標(xRj,yRj)と画像マッチング部32により探索された対応点の座標(SCAN(xLi,yLi),SCAN(xLi,yLi))との差が小さくなっていく。
上記一連の処理が予め定めた繰り返し回数だけ実行されて(ステップST8a;YES)、上記座標の差が最小となる補正量が得られると、姿勢推定部33は、この補正量で補正した近似解を、最終的な姿勢角の推定結果として出力する(ステップST9a)。
このようにして得られた時刻t=0.00〜3.00の姿勢角の推定結果を図22に示す。
これまで、画像データのペアとして、時刻iの左カメラ画像と時刻j(=i+1)の右カメラ画像とのペアを用いる場合を示したが、時刻iの左カメラ画像と時刻iの右カメラ画像とのペアであってもよい。すなわち、この発明は、異なる撮影位置で撮影された画像データのペアであればよい。
なお、異なる位置のカメラにより撮影された画像間で対応点を探索して観測対象までの距離および奥行き情報などの3次元情報を取得するステレオ画像処理には、固定ステレオと呼ばれる方法と、モーションステレオと呼ばれる方法がある。
固定ステレオは、2つのカメラを間隔を空けて配置して撮影するものである。時刻iの左カメラ画像と時刻iの右カメラ画像のペアリングは、固定ステレオに相当する。
モーションステレオでは、カメラを移動させて異なる撮影位置から撮影する。時刻iの左カメラ画像と時刻j(=i+1)の右カメラ画像のペアリングは、モーションステレオに相当する。
また、これまでの説明では、左カメラ20aと右カメラ20bを利用する構成を示したが、1台のカメラであってもよい。この場合、時刻iのカメラ画像と時刻j(=i+1)のカメラ画像のペアを用いることになる。
さらに、これまで未知数が時刻ごとの姿勢角の3つのパラメータ(ω,φ,κ)である場合を示したが、航空機2の位置座標(X,Y,Z)を加えた6つのパラメータとしてもよく、カメラの焦点距離cなどの内部パラメータを含めてよい。
以上のように、実施の形態1に係る航法装置3では、異なる撮影位置でそれぞれ撮影された画像間の対応する点の座標が航空機2の姿勢によってずれることに着目し、これらの座標の差が小さくなるように航空機2の姿勢を示すパラメータ(ω,φ,κ)の値を補正して航空機2の姿勢を推定する。これにより、IMU、スタビライザーを使用しなくても航空機2の姿勢を推定することができる。
また、測距点Pが撮影された画像データに加え、レーザ光の照射基準点21aから測距点Pまでの距離l、レーザ光の照射角度θ、レーザ光の照射基準点21aの3次元座標(X,Y,Z)を使用して航空機2の姿勢を推定するので、航空機2の姿勢を精度よく推定することが可能である。
また、実施の形態1に係る航法装置3において、画像データのペアは、航空機2の飛行中に、時刻iに撮影された画像データとこの時刻iよりも進んだ時刻jに撮影された画像データである。このような画像データのペアを用いることにより、航空機2の姿勢に応じた画像上の被写体の変化を航空機2の姿勢推定に利用することができる。
さらに、実施の形態1に係る航法装置3において、画像データのペアは、左カメラ20aと右カメラ20bによって時刻iに撮影された画像データのペア、または、左カメラ20aおよび右カメラ20bのうちの少なくとも一方によって時刻iと当該時刻iよりも進んだ時刻jとに撮影された画像データのペアである。
このような画像データを用いても、航空機2の姿勢に応じた画像上の被写体の変化を航空機2の姿勢推定に利用することができる。
さらに、実施の形態1に係る航法装置3において、ヨー角κ=0を初期値として座標の計算を行うように実施したが、ヨー角κの近似解は、GNSS装置22によって測定された時系列の3次元座標から得ることもできる。従って、ヨー角κの初期値としてGNSS装置22によって測定された時系列の3次元座標から算定された値を用いてもよい。
さらに、実施の形態1に係る測量システム1は、航空機2に搭載されたメモリカード23を備える。データ取得部30は、メモリカード23に記憶された距離データ、角度データ、座標データおよび画像データを読み出して取得する。
このように航空機2の飛行中にメモリカード23に蓄積されたデータを用いることで、航空機2の姿勢を飛行終了後に推定でき、推定された姿勢角を用いて測量結果を補正することもできる。
実施の形態2.
図23は、この発明の実施の形態2に係る測量システム1Aの構成を示すブロック図である。測量システム1Aは、航空機2Aから地形を測量するシステムであり、航空機2Aに搭載された左カメラ20a、右カメラ20b、レーザ測距装置21、GNSS装置22および無線通信装置24と、航法装置3とを備える。
無線通信装置24は、航空機2Aの飛行中に得られた距離データ、角度データ、座標データおよび画像データを航法装置3へ送信する。
航法装置3は、図23に示すように、航空機2Aとは別に設けられる。ただし、航法装置3を航空機2Aに搭載してもよい。
航法装置3のデータ取得部30は、無線通信装置24によって送信された距離データ、角度データ、座標データおよび画像データを受信して取得する。
航法装置3は、このようにして取得された上記データに基づいて、実施の形態1と同様の処理で航空機2Aの姿勢を推定する。
以上のように、実施の形態2に係る測量システム1Aは、航空機2に搭載された無線通信装置24を備える。データ取得部30は、無線通信装置24によって送信された距離データ、角度データ、座標データおよび画像データを受信して取得する。
このように無線通信装置24から無線送信されたデータを用いることで、航空機2Aの飛行中に姿勢を推定することができる。推定された姿勢角を用いて航空機2Aの飛行中に測量結果を補正することも可能である。
なお、これまでの説明では、この発明における移動体が航空機2のような飛行体である場合を示したが、これに限定されるものではない。例えば、この発明に係る航法装置は、モービルマッピングシステムに適用することができ、このシステムを搭載する車両が移動体となる。また、この発明に係る航法装置は、鉄道車両、船舶、ロボットを移動体とし、これらの姿勢を推定する装置として利用することも可能である。このような移動体においても、姿勢を示すパラメータは同様に移動体の姿勢角(ω,φ,κ)を用いることができ、場合によっては位置情報をパラメータに含めてもよい。
なお、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせあるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
この発明に係る航法装置は、IMU、スタビライザーを搭載しない構成で移動体の姿勢を精度よく推定することができるので、例えば、UAVの航法装置として好適である。
1,1A 測量システム、2,2A 航空機、3 航法装置、20a 左カメラ、20b 右カメラ、20c,20d アーム、21 レーザ測距装置、21a 照射基準点、22 GNSS装置、23 メモリカード、24 無線通信装置、30 データ取得部、31 座標算出部、32 画像マッチング部、33 姿勢推定部、100 処理回路、100a〜100c 画像、101 CPU、102 メモリ。

Claims (6)

  1. 移動体に搭載されたレーザ測距装置により測定されたレーザ光の照射基準点から測距点までの距離を示す距離データと前記レーザ光の照射角度を示す角度データ、前記移動体に搭載された座標測定装置により測定された前記レーザ光の照射基準点の3次元座標を示す座標データおよび前記移動体に搭載された撮影装置により撮影された撮影対象に測距点を含む画像データを取得するデータ取得部と、
    前記データ取得部により取得された前記距離データと前記角度データ、前記座標データおよび前記移動体の姿勢を示すパラメータに基づいて、前記画像データの画像上の測距点の座標を算出する座標算出部と、
    前記撮影装置により異なる撮影位置でそれぞれ撮影された前記画像データのペアの画像マッチングを行って、前記座標算出部により算出された前記ペアの一方の前記画像データの画像上の測距点の座標に対応する点を前記ペアのもう一方の前記画像データの画像から探索する画像マッチング部と、
    前記座標算出部により算出された前記ペアのもう一方の前記画像データの画像上の測距点の座標と前記画像マッチング部により探索された前記対応する点の座標との差が小さくなるように前記移動体の姿勢を示すパラメータの値を補正して当該移動体の姿勢を推定する姿勢推定部と
    を備えたことを特徴とする航法装置。
  2. 前記ペアは、前記移動体の移動中に、前記撮影装置により時刻iに撮影された前記画像データと前記時刻iよりも進んだ時刻jに撮影された前記画像データであることを特徴とする請求項1記載の航法装置。
  3. 前記撮影装置は、前記移動体に搭載された第1の撮影部および第2の撮影部を備え、
    前記ペアは、前記第1の撮影部と前記第2の撮影部により時刻iにそれぞれ撮影された前記画像データまたは前記第1の撮影部および前記第2の撮影部のうちの少なくとも一方により前記時刻iと当該時刻iよりも進んだ時刻jとにそれぞれ撮影された前記画像データであることを特徴とする請求項1記載の航法装置。
  4. 移動体に搭載されて、レーザ光の照射基準点から測距点までの距離を示す距離データと前記レーザ光の照射角度を示す角度データを測定するレーザ測距装置と、
    前記移動体に搭載されて、前記レーザ光の照射基準点の3次元座標を示す座標データを測定する座標測定装置と、
    前記移動体に搭載されて、撮影対象に測距点を含む画像データを撮影する撮影装置と、
    前記距離データ、前記角度データ、前記座標データおよび前記画像データを取得するデータ取得部と、前記データ取得部により取得された前記距離データと前記角度データ、前記座標データおよび前記移動体の姿勢を示すパラメータに基づいて、前記画像データの画像上の測距点の座標を算出する座標算出部と、前記撮影装置により異なる撮影位置でそれぞれ撮影された前記画像データのペアの画像マッチングを行って、前記座標算出部により算出された前記ペアの一方の前記画像データの画像上の測距点の座標に対応する点を前記ペアのもう一方の前記画像データの画像から探索する画像マッチング部と、前記座標算出部により算出された前記ペアのもう一方の前記画像データの画像上の測距点の座標と前記画像マッチング部により探索された前記対応する点の座標との差が小さくなるように前記移動体の姿勢を示すパラメータの値を補正して当該移動体の姿勢を推定する姿勢推定部とを有する航法装置と
    を備えたことを特徴とする測量システム。
  5. 前記移動体に搭載され、前記距離データ、前記角度データ、前記座標データおよび前記画像データを記憶する記憶装置を備え、
    前記データ取得部は、前記記憶装置に記憶された前記距離データ、前記角度データ、前記座標データおよび前記画像データを読み出して取得することを特徴とする請求項4記載の測量システム。
  6. 前記移動体に搭載され、前記距離データ、前記角度データ、前記座標データおよび前記画像データを送信する無線通信装置を備え、
    前記データ取得部は、前記無線通信装置により送信された前記距離データ、前記角度データ、前記座標データおよび前記画像データを受信して取得することを特徴とする請求項4記載の測量システム。
JP2016513572A 2015-09-09 2015-09-09 航法装置および測量システム Active JP6029794B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/075598 WO2017042907A1 (ja) 2015-09-09 2015-09-09 航法装置および測量システム

Publications (2)

Publication Number Publication Date
JP6029794B1 true JP6029794B1 (ja) 2016-11-24
JPWO2017042907A1 JPWO2017042907A1 (ja) 2017-09-07

Family

ID=57358823

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016513572A Active JP6029794B1 (ja) 2015-09-09 2015-09-09 航法装置および測量システム

Country Status (4)

Country Link
US (1) US10222210B2 (ja)
EP (1) EP3348963B1 (ja)
JP (1) JP6029794B1 (ja)
WO (1) WO2017042907A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107146447A (zh) * 2017-07-16 2017-09-08 汤庆佳 一种基于无人机的智能车辆管理***及其方法
CN107478195A (zh) * 2017-09-15 2017-12-15 哈尔滨工程大学 一种基于光学的空间物体姿态测量装置及其测量方法
WO2019012751A1 (ja) * 2017-07-14 2019-01-17 三菱電機株式会社 データ間引き装置、測量装置、測量システム及びデータ間引き方法
JP2020090143A (ja) * 2018-12-04 2020-06-11 三菱電機株式会社 航法装置、航法パラメータ計算方法およびプログラム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110268710B (zh) * 2018-01-07 2022-01-04 深圳市大疆创新科技有限公司 图像数据处理方法、设备、平台及存储介质
JP7188687B2 (ja) * 2018-07-17 2022-12-13 エアロセンス株式会社 情報処理方法、プログラム、および情報処理システム
CN109345589A (zh) * 2018-09-11 2019-02-15 百度在线网络技术(北京)有限公司 基于自动驾驶车辆的位置检测方法、装置、设备及介质
GB201818357D0 (en) * 2018-11-12 2018-12-26 Forsberg Services Ltd Locating system
CN110672117B (zh) * 2019-11-04 2022-02-18 中国人民解放军空军工程大学 基于单观察哨数字望远镜的小航路捷径运动目标航迹获取方法
CN112099521B (zh) * 2020-10-09 2022-05-17 北京邮电大学 一种无人机路径规划方法及装置
JP2022087978A (ja) * 2020-12-02 2022-06-14 三菱電機株式会社 位置姿勢算出装置、位置姿勢算出方法及び測量装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05118850A (ja) * 1991-10-25 1993-05-14 Shimizu Corp 模型ヘリコプターを用いる3次元測量システム
JPH1151611A (ja) * 1997-07-31 1999-02-26 Tokyo Electric Power Co Inc:The 認識対象物体の位置姿勢認識装置および位置姿勢認識方法
JP2001133256A (ja) * 1999-11-05 2001-05-18 Asia Air Survey Co Ltd 空中写真の位置及び姿勢の計算方法
JP2007278844A (ja) * 2006-04-06 2007-10-25 Topcon Corp 画像処理装置及びその処理方法
JP2013187862A (ja) * 2012-03-09 2013-09-19 Topcon Corp 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム
JP2014145762A (ja) * 2013-01-07 2014-08-14 Amuse Oneself Inc 制御装置、測量システム、プログラム及び記録媒体並びに計測方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4335520A (en) * 1980-09-22 1982-06-22 The United States Of America As Represented By The Secretary Of The Navy Survey spar system for precision offshore seafloor surveys
EP1934632A1 (en) * 2005-10-13 2008-06-25 Atlantic Inertial Systems Limited Terrain mapping
JP2007240506A (ja) * 2006-03-06 2007-09-20 Giyourin Cho 3次元形状と3次元地形計測法
PL2227676T3 (pl) * 2007-12-21 2017-08-31 Bae Systems Plc Urządzenie i sposób lądowania wiropłatem
US10212687B2 (en) * 2010-09-30 2019-02-19 Echo Ridge Llc System and method for robust navigation and geolocation using measurements of opportunity
US9684076B1 (en) * 2013-03-15 2017-06-20 Daniel Feldkhun Frequency multiplexed ranging
US10643351B2 (en) * 2013-03-20 2020-05-05 Trimble Inc. Indoor navigation via multi beam laser projection
US9911189B1 (en) * 2016-06-30 2018-03-06 Kitty Hawk Corporation Navigation based on downward facing sensors

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05118850A (ja) * 1991-10-25 1993-05-14 Shimizu Corp 模型ヘリコプターを用いる3次元測量システム
JPH1151611A (ja) * 1997-07-31 1999-02-26 Tokyo Electric Power Co Inc:The 認識対象物体の位置姿勢認識装置および位置姿勢認識方法
JP2001133256A (ja) * 1999-11-05 2001-05-18 Asia Air Survey Co Ltd 空中写真の位置及び姿勢の計算方法
JP2007278844A (ja) * 2006-04-06 2007-10-25 Topcon Corp 画像処理装置及びその処理方法
JP2013187862A (ja) * 2012-03-09 2013-09-19 Topcon Corp 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム
JP2014145762A (ja) * 2013-01-07 2014-08-14 Amuse Oneself Inc 制御装置、測量システム、プログラム及び記録媒体並びに計測方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
塩澤 秀門(外3名): "Velodyne レーザスキャナを用いた上空からの三次元再構成", 日本ロボット学会誌, vol. 31, no. 10, JPN6016036131, 2013, JP, pages 992 - 1000, ISSN: 0003402527 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019012751A1 (ja) * 2017-07-14 2019-01-17 三菱電機株式会社 データ間引き装置、測量装置、測量システム及びデータ間引き方法
JP2019020218A (ja) * 2017-07-14 2019-02-07 三菱電機株式会社 データ間引き装置、測量装置、測量システム及びデータ間引き方法
CN110869699A (zh) * 2017-07-14 2020-03-06 三菱电机株式会社 数据间除装置、测量装置、测量***以及数据间除方法
EP3637048A4 (en) * 2017-07-14 2020-06-24 Mitsubishi Electric Corporation DATA THINNING DEVICE, SURVEYING DEVICE, SURVEYING SYSTEM AND DATA THINNING METHOD
CN107146447A (zh) * 2017-07-16 2017-09-08 汤庆佳 一种基于无人机的智能车辆管理***及其方法
CN107478195A (zh) * 2017-09-15 2017-12-15 哈尔滨工程大学 一种基于光学的空间物体姿态测量装置及其测量方法
JP2020090143A (ja) * 2018-12-04 2020-06-11 三菱電機株式会社 航法装置、航法パラメータ計算方法およびプログラム
CN113227711A (zh) * 2018-12-04 2021-08-06 三菱电机株式会社 导航装置、导航参数计算方法及程序
JP7241517B2 (ja) 2018-12-04 2023-03-17 三菱電機株式会社 航法装置、航法パラメータ計算方法およびプログラム

Also Published As

Publication number Publication date
WO2017042907A1 (ja) 2017-03-16
JPWO2017042907A1 (ja) 2017-09-07
EP3348963B1 (en) 2020-05-20
US10222210B2 (en) 2019-03-05
EP3348963A4 (en) 2019-05-29
EP3348963A1 (en) 2018-07-18
US20180120107A1 (en) 2018-05-03

Similar Documents

Publication Publication Date Title
JP6029794B1 (ja) 航法装置および測量システム
US11099030B2 (en) Attitude estimation apparatus, attitude estimation method, and observation system
US20190259176A1 (en) Method and device to determine the camera position and angle
JP7037302B2 (ja) 測量データ処理装置、測量データ処理方法および測量データ処理用プログラム
US9894435B2 (en) Method and arrangement for detecting acoustic and optical information as well as a corresponding computer program and a corresponding computer-readable storage medium
KR101614338B1 (ko) 카메라 캘리브레이션 방법, 카메라 캘리브레이션 프로그램을 기록한 컴퓨터 판독가능한 기록매체 및 카메라 캘리브레이션 장치
JP5134784B2 (ja) 空中写真測量方法
CN112005077B (zh) 无人航空器的设置台、测量方法、测量装置、测量***和程序
JP6138326B1 (ja) 移動体、移動体の制御方法、移動体を制御するプログラム、制御システム、及び情報処理装置
JP5762131B2 (ja) キャリブレーション装置、キャリブレーション装置のキャリブレーション方法およびキャリブレーションプログラム
JP2016080572A (ja) レーザ計測システム
JP2017026552A (ja) 3次元計測装置、3次元計測方法、及びプログラム
JP2018146524A (ja) 測量システム
JP3808833B2 (ja) 空中写真測量方法
RU2597024C1 (ru) Способ оперативного определения угловых элементов внешнего ориентирования космического сканерного снимка
JP2016223934A (ja) 位置補正システム、位置補正方法、および位置補正プログラム
JP6305501B2 (ja) キャリブレーション方法、プログラムおよびコンピュータ
US20200116482A1 (en) Data thinning device, surveying device, surveying system, and data thinning method
Jia et al. Modeling image motion in airborne three-line-array (TLA) push-broom cameras
JP5409451B2 (ja) 3次元変化検出装置
JP2011232131A (ja) 画像目標標定装置および画像目標標定方法
JP6974290B2 (ja) 位置推定装置、位置推定方法、プログラム、及び記録媒体
JPH0524591A (ja) 垂直離着陸航空機の機***置測定方法
CN115118876B (zh) 拍摄参数的确定方法、装置及计算机可读存储介质
Ruzgienė Analysis of camera orientation variation in airborne photogrammetry: images under tilt (roll‑pitch‑yaw) angles

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160310

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20160310

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160310

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20160425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160727

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160920

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161018

R150 Certificate of patent or registration of utility model

Ref document number: 6029794

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250