JP4800163B2 - 位置測定装置及びその方法 - Google Patents

Description

本発明は位置測定装置及びその方法に関する。詳しくは、撮影対象物に対して撮影装置が相対的に移動する場合の動的画像を追跡して、撮影装置又は撮影対象物の座標を測定する位置測定装置及びその方法に関する。

相対的な移動をしながら、撮影対象物を連続的に撮影して、撮影装置の位置を測定する技術はあった。しかしながら、実際に自動車等の移動体に撮影装置を搭載して撮影を行うと、自動車の揺動のため、必ずしも安定した画像が得られるものではなく、フレーム毎に上下動、傾き等を修正する必要があり、また、撮影装置と撮影対象物の間に例えば他の自動車、飛鳥、落葉等が入って、特徴点がその陰に隠れて消滅したり、再度復活したりする場合もある。したがって、このような撮影装置の揺動の処理や消失・再現する特徴点の処理が必要となっている。他方、静止した撮影対象物を静止した撮影装置で撮影する場合には、高精度、自動的に対応点探索、計測を行う三次元計測技術が開示されている。（特許文献１参照）

特願２００２−６４０９４号公報（段落００１８〜００７３、図１〜図１１等）

そこで、上記静止した撮影対象物を静止した撮影装置で撮影する技術を、そのいずれか一方又は双方が移動する場合に発展適用させて、撮影装置の揺動の処理や消失・再現する特徴点の処理が必要とされるような場合においても、動画像又は順次少しずつ変化する撮影画像から、その撮影装置の撮影位置、姿勢又は撮影対象物の座標を精度良く計測できる技術を提供することが要望されている。

本発明は、動画像又は順次少しずつ変化する撮影画像から、その撮影装置の撮影位置、姿勢又は撮影対象物の座標を精度良く計測できる技術を提供することを目的とする。

上記課題を解決するために、請求項１に記載の位置測定装置１００は、例えば図２に示すように、撮影対象物との相対的位置移動を伴いながら連続的に変化する又は少しずつ変化する一連の撮影画像を取得する画像取得部２と、画像取得部２の位置移動及び姿勢変化を測定する位置関係測定部９と、画像取得部２で得られた撮影画像から特徴点を抽出する特徴抽出部３と、複数の撮影画像について特徴点に対応する対応点を探索し、特徴点の追跡を行う特徴点追跡部４と、位置関係測定部９での測定結果に基づき一連の撮影画像から処理対象画像を選択する画像選択部６１と、画像選択部６１で選択された処理対象画像に基づき画像取得部２の撮影位置と撮影姿勢又は撮影対象物の位置を測定する位置測定部７とを備える。

ここにおいて、相対的位置移動を伴いながら撮影画像を取得するとは、典型的には撮影対象物又は画像取得部（カメラなどの撮影装置）のいずれか一方が移動し他方が静止した状態で撮影画像を取得するが、両者が相対的に移動する状態で撮影画像を取得しても良い。また、連続的に変化する撮影画像とは、時間的又は空間的に連続的に変化する撮影画像であり、典型的にはビデオカメラで連続的に撮影された動画像が該当する。また、少しずつ変化する撮影画像とは、時間的又は空間的に順次少しずつ変化する撮影画像であり、隣り合う画像の大部分で撮影対象物が共通であることを意味する。例えばビデオカメラで連続的に撮影された動画像を少量の時間間隔又はフレーム間隔で抽出した画像でも良く、単体カメラで時間又は場所を少しずつ変えて順次撮影しても良い。また、画像取得部は典型的には自己の撮影装置（カメラ）から撮影画像を取得するが、他の撮影装置から通信により撮影画像を取得しても良い（例えば遠隔にある位置測定装置が自動車に搭載したカメラから通信で撮影画像を取得する場合を含む）。また、特徴点の追跡とは、特徴点から始めて、対応する候補対応点（確定される前の対応点）、対応点を順次探索していくのであるが、広義の意味では候補対応点、対応点もまとめて特徴点といえるので、このような表現としており、特徴点をこのように広義の意味で用いる場合もある。
このように構成すると、不適切な画像を除いて位置測定するので、動画像又は順次少しずつ変化する撮影画像から、その撮影装置の撮影位置、姿勢又は撮影対象物の座標を精度良く計測できる位置測定装置を提供できる。

また、請求項２に記載の位置測定装置１００は、例えば図２に示すように、撮影対象物との相対的位置移動を伴いながら連続的に変化する又は少しずつ変化する一連の撮影画像を取得する画像取得部２と、画像取得部２の位置移動及び姿勢変化を測定する位置関係測定部９と、画像取得部で得られた撮影画像から特徴点を抽出する特徴抽出部３と、複数の撮影画像について特徴点に対応する対応点を探索し、特徴点の追跡を行う特徴点追跡部４と、位置関係測定部９での測定結果に基づき撮影画像から抽出された特徴点から処理対象特徴点を選択する特徴点選択部６２と、特徴点選択部６２で選択された処理対象特徴点に基づき画像取得部２の撮影位置と撮影姿勢又は撮影対象物の位置を測定する位置測定部とを備える。
このように構成すると、不適切な特徴点を除いて位置測定するので、動画像又は順次少しずつ変化する撮影画像から、その撮影装置の撮影位置、姿勢又は撮影対象物の座標を精度良く計測できる位置測定装置を提供できる。

また、請求項３に記載の位置測定装置は、例えば図２に示すように、撮影対象物との相対的位置移動を伴いながら連続的に変化する又は少しずつ変化する一連の撮影画像を取得する画像取得部２と、撮影対象物の位置移動及び姿勢変化を測定する位置関係測定部９と、画像取得部２で得られた撮影画像から特徴点を抽出する特徴抽出部３と、複数の撮影画像について特徴点に対応する対応点を探索し、特徴点の追跡を行う特徴点追跡部４と、位置関係測定部９での測定結果に基づき一連の撮影画像から処理対象画像を選択する画像選択部６１と、画像選択部６１で選択された処理対象画像に基づき画像取得部２の撮影位置と撮影姿勢又は撮影対象物の位置を測定する位置測定部７とを備える。
このように構成すると、不適切な画像を除いて位置測定するので、動画像又は順次少しずつ変化する撮影画像から、その撮影装置の撮影位置、姿勢又は撮影対象物の座標を精度良く計測できる位置測定装置を提供できる。

また、請求項４に記載の位置測定装置は、例えば図２に示すように、撮影対象物との相対的位置移動を伴いながら連続的に変化する又は少しずつ変化する一連の撮影画像を取得する画像取得部２と、撮影対象物の位置移動及び姿勢変化を測定する位置関係測定部９と、画像取得部２で得られた撮影画像から特徴点を抽出する特徴抽出部３と、複数の撮影画像について特徴点に対応する対応点を探索し、前記特徴点の追跡を行う特徴点追跡部４と、位置関係測定部９での測定結果に基づき撮影画像から抽出された特徴点から処理対象特徴点を選択する特徴点選択部６２と、特徴点選択部６２で選択された処理対象特徴点に基づき画像取得部２の撮影位置と撮影姿勢又は撮影対象物の位置を測定する位置測定部７とを備える。
このように構成すると、不適切な特徴点を除いて位置測定するので、動画像又は順次少しずつ変化する撮影画像から、その撮影装置の撮影位置、姿勢又は撮影対象物の座標を精度良く計測できる位置測定装置を提供できる。

また、請求項５に記載の発明は、請求項１又は請求項３に記載の位置測定装置において、画像選択部６１は、位置関係測定部９での移動方向又は／及び移動量の測定データに基づいて処理対象画像を選択する。このように構成すると、移動方向又は／及び移動量の揃った画像を用いて位置測定でき、位置精度を向上できる。

また、請求項６に記載の発明は、請求項２又は請求項４に記載の位置測定装置において、例えば図７、図８に示すように、特徴点選択部６２は、特徴点追跡部４での追跡データから得られた移動方向と移動量が、位置関係測定部９での移動方向と移動量を含む所定範囲内にある特徴点を処理対象特徴点として選択する。ここにおいて、所定範囲内とは典型的にはステレオ法による位置測定精度が十分とれる範囲をいうが、例えば±１０％、±１０度に選定できる。このように構成すると、移動ベクトルの揃った特徴点を用いて位置測定でき、位置精度を向上できる。

また、請求項７に記載の発明は、請求項２又は請求項４に記載の位置測定装置において、例えば図９に示すように、特徴点選択部６２は、位置関係測定部９での測定データに基づいて求められた画像取得部２と特徴点間の概算距離が所定範囲内にある特徴点を処理対象特徴点として選択する。ここにおいて、所定範囲内とは典型的にはステレオ法による位置測定精度が十分とれる範囲をいうが、例えば±１０％に選定できる。このように構成すると、撮影装置からの距離の揃った特徴点を用いて位置測定でき、位置精度を向上できる。

また、請求項８に記載の発明は、請求項６又は請求項７に記載の位置測定装置において、位置関係測定部９での測定結果に基づき一連の撮影画像から処理対象画像を選択する画像選択部６１を有し、画像選択部６１は、処理対象特徴点を比較的多く含む画像を処理対象画像として選択する。ここにおいて比較的多く含むとは、近隣の撮影画像と比較して多いという意味である。このように構成すると、移動ベクトルの揃った特徴点又は撮影装置からの距離の揃った特徴点の多い画像を用いて位置測定でき、位置精度を向上できる。

また、請求項９に記載の発明は、請求項５に記載の位置測定装置において、例えば図１３、図１４に示すように、画像選択部６１は、画像取得部２による撮影画像の取得と特徴抽出部３による特徴点の抽出との間に処理対象画像を選択する。このように構成すると、早い段階で不適切な撮影画像を排除でき、位置測定の処理効率を高められる。

また、請求項１０に記載の発明は、請求項６に記載の位置測定装置において、例えば図７、図８に示すように、特徴点選択部６２は、特徴点追跡部４による特徴点の追跡中又は特徴点追跡部４による特徴点の追跡と位置測定部７による位置測定との間に処理対象特徴点を選択する。ここにおいて、特徴点の追跡中とは、ある撮影画像の特徴点を抽出してから次の撮影画像を取得するまでに特徴点追跡と画像選択処理又は特徴点選択処理を終えられればリアルタイム処理が可能となるので、このような意味である。このように構成すると、特徴点の追跡中に処理対象特徴点を選択すれば、リアルタイム処理ができ好適であり、特徴点の追跡後に処理対象特徴点を選択すれば、位置精度を高くできる。

また、請求項１１に記載の発明は、請求項７に記載の位置測定装置において、例えば図９に示すように、特徴点選択部６２は、特徴点追跡部４による特徴点の追跡中、特徴抽出部３による特徴点の抽出と特徴点追跡部４による特徴点の追跡との間又は特徴点追跡部４による特徴点の追跡と位置測定部７による位置測定との間のいずれかにおいて処理対象特徴点を選択する。このように構成すると、特徴点の追跡前又は追跡中に処理対象特徴点を選択すれば、リアルタイム処理ができ好適であり、特徴点の追跡後に処理対象特徴点を選択すれば、位置精度を高くできる。

また、請求項１２に記載の発明は、請求項１乃至請求項１１のいずれか１項に記載の位置測定装置において、位置関係測定部９は、ジャイロスコープ、加速度計及び地磁気センサを含む。このように構成すると、移動方向と移動量を的確に測定できる。

また、請求項１３に記載の発明は、請求項１乃至請求項１２のいずれか１項に記載の位置測定装置において、例えば図２０に示すように、特徴点追跡部４は、特徴点の追跡に際し、探索幅の方向又は探索幅の大きさを調整可能である。このように構成すると、特徴点の追跡処理時間を短縮でき、位置測定のリアルタイム処理を可能にする。

また、請求項１４に記載の発明は、請求項１乃至請求項１３のいずれか１項に記載の位置測定装置において、例えば図２に示すように、特徴点追跡部４の追跡結果から、撮影画像における特徴点の移動方向及び移動速度を画面に表示する表示部１０を備える。このように構成すると、操作者が表示部で確認しつつ処理対象画像や処理対象特徴点を選択できる。

また、請求項１５に記載の発明は、請求項１乃至請求項１４のいずれか１項に記載の位置測定装置において、例えば図２に示すように、位置測定部７で測定された撮影位置と撮影姿勢の情報又は撮影対象物の位置情報と、位置関係測定部９で求められた撮影位置と撮影姿勢の情報又は撮影対象物の位置情報とを比較する比較部８を備える。このように構成すると、比較データを用いて測定位置を補正でき、位置精度を向上できる。

上記課題を解決するために、請求項１６に記載の位置測定方法は、例えば図３に示すように、画像取得部で撮影対象物との相対的位置移動を伴いながら連続的に変化する又は少しずつ変化する一連の撮影画像を取得する画像取得工程Ｓ１０と、画像取得部２の位置移動及び姿勢変化を測定する位置関係測定工程Ｓ９０と、画像取得工程Ｓ１０で得られた撮影画像から特徴点を抽出する特徴抽出工程Ｓ１１と、複数の撮影画像について特徴点に対応する対応点を探索し、特徴点の追跡を行う特徴点追跡工程Ｓ１２と、位置関係測定工程９０での測定結果に基づき一連の撮影画像から処理対象画像を選択する画像選択工程Ｓ２０Ａと、画像選択工程Ｓ２０Ａで選択された処理対象画像に基づき画像取得部２の撮影位置と撮影姿勢又は撮影対象物の位置を測定する位置測定工程Ｓ３０とを備える。
このように構成すると、不適切な特徴点を除いて位置測定するので、動画像又は順次少しずつ変化する撮影画像から、その撮影装置の撮影位置、姿勢又は撮影対象物の座標を精度良く計測できる位置測定方法を提供できる。

また、請求項１７に記載の位置測定方法は、例えば図３に示すように、画像取得部２で撮影対象物との相対的位置移動を伴いながら連続的に変化する又は少しずつ変化する一連の撮影画像を取得する画像取得工程Ｓ１０と、画像取得部２の位置移動及び姿勢変化を測定する位置関係測定工程Ｓ９０と、画像取得工程Ｓ１０で得られた撮影画像から特徴点を抽出する特徴抽出工程Ｓ１１と、複数の撮影画像について特徴点に対応する対応点を探索し、特徴点の追跡を行う特徴点追跡工程Ｓ１２と、位置関係測定工程Ｓ９０での測定結果に基づき撮影画像から抽出された特徴点から処理対象特徴点を選択する特徴点選択工程Ｓ２０Ｂと、特徴点選択工程Ｓ２０Ｂで選択された処理対象特徴点に基づき画像取得部２の撮影位置と撮影姿勢又は撮影対象物の位置を測定する位置測定工程Ｓ３０とを備える。
このように構成すると、不適切な画像を除いて位置測定するので、動画像又は順次少しずつ変化する撮影画像から、その撮影装置の撮影位置、姿勢又は撮影対象物の座標を精度良く計測できる位置測定方法を提供できる。

また、請求項１８に記載の位置測定方法は、例えば図３に示すように、撮影対象物との相対的位置移動を伴いながら連続的に変化する又は少しずつ変化する一連の撮影画像を取得する画像取得工程Ｓ１０と、撮影対象物の位置移動及び姿勢変化を測定する位置関係測定工程Ｓ９０と、撮影画像取得工程Ｓ１０で得られた撮影画像から特徴点を抽出する特徴抽出工程Ｓ１１と、複数の撮影画像について特徴点に対応する対応点を探索し、特徴点の追跡を行う特徴点追跡工程Ｓ１２と、位置関係測定工程Ｓ９０での測定結果に基づき一連の撮影画像から処理対象画像を選択する画像選択工程Ｓ２０Ａと、画像選択工程Ｓ２０Ａで選択された処理対象画像に基づき画像取得部２の撮影位置と撮影姿勢又は撮影対象物の位置を測定する位置測定工程Ｓ３０とを備える。
このように構成すると、不適切な特徴点を除いて位置測定するので、動画像又は順次少しずつ変化する撮影画像から、その撮影装置の撮影位置、姿勢又は撮影対象物の座標を精度良く計測できる位置測定方法を提供できる。

また、請求項１９に記載の位置測定方法は、例えば図３に示すように、撮影対象物との相対的位置移動を伴いながら連続的に変化する又は少しずつ変化する一連の撮影画像を取得する画像取得工程Ｓ１０と、撮影対象物の位置移動及び姿勢変化を測定する位置関係測定工程Ｓ９０と、撮影画像取得工程Ｓ１０で得られた撮影画像から特徴点を抽出する特徴抽出工程Ｓ１１と、複数の撮影画像について特徴点に対応する対応点を探索し、特徴点の追跡を行う特徴点追跡工程Ｓ１２と、位置関係測定工程Ｓ９０での測定結果に基づき撮影画像から抽出された特徴点から処理対象特徴点を選択する特徴点選択工程Ｓ２０Ｂと、特徴点選択工程Ｓ２０Ｂで選択された処理対象特徴点に基づき画像取得部２の撮影位置と撮影姿勢又は撮影対象物の位置を測定する位置測定工程Ｓ３０とを備える。
このように構成すると、不適切な画像を除いて位置測定するので、動画像又は順次少しずつ変化する撮影画像から、その撮影装置の撮影位置、姿勢又は撮影対象物の座標を精度良く計測できる位置測定方法を提供できる。

本発明によれば、動画像又は順次少しずつ変化する撮影画像から、その撮影装置の撮影位置、姿勢又は撮影対象物の座標を精度良く計測できる技術を提供できる。

以下に図面に基づき本発明の実施の形態について説明する。

［第１の実施の形態］
図１は本実施の形態における概念を説明するための図である。自動車にカメラを装着し、自動車の位置を少しずつ変えて撮影対象物である市街地を撮影し、これら複数の撮影画像における追跡結果から、カメラの位置座標すなわち自動車の軌跡を求める例である。なお、撮影を連続的に行い、適当なフレーム間隔で画像を抽出し追跡処理しても良い。これによりカーナビゲーションに自動車の位置を連続的に表示可能になるが、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ：全地球測位システム）電波を受信できない区間で補完的に利用される意義も大きい。動きのある特徴点や揺らぎの大きい特徴点については、カメラの位置座標を求めるのに不適切であるため除去する。
第１の実施の形態では、自動車に撮影装置と共に慣性センサを有する位置関係測定部が搭載される例を説明する。また特徴点追跡部による特徴点の追跡後に特徴点選択部で処理対象特徴点を選択する例を説明する。本実施の形態では自動車に撮影装置と慣性センサを搭載する例に示すが、自動車に代えて船や飛行機などの移動体を用いても良く、また、人が携帯可能なビデオカメラやＣＣＤカメラあるいは携帯電話機等のカメラに慣性センサを装着し、位置推定や三次元計測を行っても良い。

図２に本実施の形態における位置測定装置１００の構成例を示す。図において、１は位置測定装置１００の各部を制御して、位置測定装置として機能せしめる操作部であり、具体的には、画像取得部２への撮影開始・停止の指示、特徴抽出部３の設定変更、特徴点追跡部４の設定変更、開始、停止の指示、動画像処理部５への選択開始指示、標定実行指示等を行なう。なお、動画像処理部５への選択開始指示、標定実行指示等については、画像取得部２で所定枚数の画像を取得したら処理を自動的に開始するようにしても良い。
２は動画像等の撮影画像を順次取得する画像取得部であり、撮影画像の取得の他に特徴抽出部３への出力、動画像メモリ１２への撮影画像の保存等を行う。なお、撮影画像の撮影を行なわず、他の撮影装置から通信により撮影画像を取得しても良い。

３は順次取得した少しずつ異なる撮影画像から特徴点を抽出する特徴抽出部であり、画像取得部２より入力された撮影画像からの特徴点の抽出、抽出された特徴点の特徴点追跡部４及び動画像処理部５への出力等を行う。
４は特徴抽出部３より入力された特徴点に対応する候補対応点を探索し、特徴点の追跡を行う特徴点追跡部であり、追跡処理の他に、追跡結果の動画像処理部５への出力、候補対応点の配置の判断と特徴抽出部３への特徴点の新設指示等を行う。

９は位置関係測定部で慣性センサ９１を用いて撮影位置及び撮影姿勢を測定し、測定データを動画像処理部５に提供するもので、慣性センサ９１と推定部９２を有する。慣性センサ９１は、例えば、ジャイロスコープ（角速度）、加速度計、地磁気センサ等から構成され、慣性測定により撮像装置の位置及び向きを測定する。これらセンサの組合せはこれに限られず、様々な組合せがある。推定部９２は例えばカルマンフィルタで構成され、慣性測定の精度を向上でき、慣性測定のデータを用いて、撮影装置の姿勢、方向、位置を推定計算できる。ジャイロスコープはコリオリの力を利用する機械式（回転型、振動型）、流体式（ガス型）でも良く、サニャック効果を用いる光学式（リングレーザジャイロスコープ、光ファイバジャイロスコープ）でも良く、あるいは小型軽量であるＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）型のものでも良い。加速度計は移動体の加速度を検出し、これより、撮影装置（カメラ）の移動速度、移動距離を演算可能である。加速度計として例えば圧電型三軸加速度計、サーボ加速度計を使用できる。

５は動画像処理部で、画像・特徴点選択部６と位置測定部７を有する。画像・特徴点選択部６は、画像取得部２で取得された一連の撮影画像、特徴抽出部３で得られた特徴点や特徴点追跡部４における追跡結果から得られた特徴点に対して、位置関係測定部９での測定結果に基づいて処理対象画像及び処理対象特徴点を選択し、位置測定に適切なステレオ画像を決定し、位置測定部７に供給する。

画像・特徴点選択部６は画像選択部６１と特徴点選択部６２を有する。画像選択部６１は、位置関係測定部９での測定結果に基づき一連の撮影画像から処理対象画像を選択する。例えば、動きの無い或いは異常な画像を排除したり、処理対象特徴点が少ない画像を排除する。特徴点選択部６２は、位置関係測定部９での測定結果に基づき撮影画像から抽出された特徴点から位置測定に不適切な特徴点を排除し、処理対象特徴点を選択する。例えば、カメラとの距離が所定範囲の特徴点、カメラの動きに良く追随する特徴点を選択する。

７は位置測定部で、画像・特徴点選択部６で選択された画像及び選択された特徴点を用いて標定計算、三次元計測を実行するもので、その他に、動画像メモリ１２からの撮影画像の取得、対応点情報メモリ１１からの候補対応点情報の取得、標定結果及び三次元計測結果の表示部１０への出力、対応点情報メモリ１１への反映、比較部８や表示部１０への標定結果及び三次元計測結果の出力等を行う。

８は比較部で、位置測定部７で測定された撮影位置と撮影姿勢の情報又は撮影対象物の位置情報と、位置関係測定部９で求められた撮影位置と撮影姿勢の情報（外部標定要素：三軸の傾き（姿勢）と三次元位置など）又は撮影対象物の位置情報とを比較する。これにより位置測定部７での測定値を補正可能であり、測定精度を向上できる。また、動画像解析の過程、すなわち、画像取得、特徴点抽出、特徴点追跡の過程で得られた画像や特徴点の位置、傾きデータと位置関係測定部９で求められた撮影位置と撮影姿勢の情報とを比較し、これらの比較データを画像・特徴点選択部６に提供する。画像・特徴点選択部６では、これらの比較データに基づいて、撮影位置が移動中であるのに、位置変化のない画像や特徴点、周囲の多くの画像や特徴点と異なる動きをする画像や特徴点など、位置測定に不適切な画像や特徴点を排除する。

１０は動画像処理部により標定処理又は三次元計測された撮影対象物の画像を表示する表示部であり、移動方向及び移動速度も表示可能である。１１は特徴点とその対応点（候補対応点を含む）に関する情報を記憶する対応点情報メモリ、１２は撮影画像を記憶する動画メモリである。

図３に第１の実施の形態における位置測定方法のフロー例を示す。構成については図２を参照されたい。まず、画像取得部２で撮影画像を取得する（Ｓ１０）。典型的には、自己の撮影装置（カメラ）を有し、撮影した画像を取得する。他の撮影装置から撮影画像を送信してもらい取得しても良いが、本実施の形態では自己のカメラで撮影するものとする。画像取得（Ｓ１０）後に、特徴抽出部３で特徴点抽出（Ｓ１１）、特徴点追跡部４で特徴点追跡（Ｓ１２）を行なう。自動車などの移動体の位置を少しずつ変えて撮影対象物を撮影し、隣り合う画像同士に対して、自動的に順次、特徴点の対応付けが行われ、対応点が抽出される。さらに追跡を継続することにより、対応点が確定する。次に、画像・特徴点選択部６において、三次元計測に適する画像と特徴点を選択し（Ｓ２０）、充分な基線長を有するステレオ画像のペアの決定を行なう。

他方、位置関係測定部９において、画像取得部２のカメラの位置移動及び姿勢変化を測定し、測定データを動画像処理部５に提供する（Ｓ９０）。動画像処理部５はこの測定データに基づいて、画像・特徴点選択部６において処理対象画像の選択又は処理対象特徴点の選択（Ｓ２０：処理対象画像の選択（Ｓ２０Ａ）、処理対象特徴点の選択（Ｓ２０Ｂ））を行う。これは、画像取得（Ｓ１０）、特徴点抽出（Ｓ１１）、特徴点追跡（Ｓ１２）の前後、途中の様々な段階でおこなわれる。本実施の形態では、特徴点追跡後に特徴点選択と画像選択を行なう。そして、位置測定部７では、画像・特徴点選択部６において選択された処理対象画像と処理対象特徴点を用いて位置測定を行なう（Ｓ３０）。すなわち、相互標定が行われ（Ｓ３２）、カメラの位置座標、姿勢、さらに三次元座標が求められる（Ｓ３４）。

比較部８において、位置測定部７で求められた撮影位置と撮影姿勢の情報又は撮影対象物の位置情報は、位置関係測定部９で求められた撮影位置と撮影姿勢の情報又は撮影対象物の位置情報と比較され（Ｓ５０）、位置測定データの精度向上に寄与する。また、比較部８は、画像取得（Ｓ１０）、特徴点抽出（Ｓ１１）、特徴点追跡（Ｓ１２）で得られた特徴点の位置情報、撮影画像の傾きと位置関係測定部９で求められたカメラの撮影位置、撮影姿勢の情報とを比較し、画像や特徴点の選択（Ｓ２０）に寄与する。表示部１０は、画像取得（Ｓ１０）、特徴点抽出（Ｓ１１）、特徴点追跡（Ｓ１２）、画像・特徴点選択（Ｓ２０）、位置測定（Ｓ３０）で得られた位置情報、姿勢情報や位置関係測定部９で求められた位置情報、姿勢情報等を文字、図表や画像等で表示する（Ｓ６０）。例えば、特徴点追跡部の追跡結果から、撮影画像における特徴点の移動方向及び移動速度を画面に表示し、併せて位置関係測定部９の測定によるカメラの移動方向（ジャイロスコープの向き）を表示する。

［動画像解析］
図４に、動画像解析すなわち画像取得、特徴点抽出及び特徴点追跡のフロー例を示す。ここではリアルタイム処理のフロー例を示す。動画像及び少しずつ変化する撮影画像を順次処理する。まず、画像取得部２において撮影画像を取得する。少しずつ変化する一連の撮影画像の変化の程度は、変化が小さい程特徴点追跡の精度を高くできるが、動画像処理の時間を要するので、経験に基づいて適切な範囲に設定するのが良い。例えば０．０１秒〜１０秒間隔に撮影画像を取得する。操作部１は撮影画像から少しずつ変化する撮影画像を順次特徴抽出部３に供給する。本実施の形態では自動車に撮影装置を装着し、移動しながら撮影するので、少しずつ変化する撮影画像とは、時間的又は空間的に少しずつ変化する撮影画像であり、隣り合う画像の大部分で撮影対象物が共通であることを意味する。特徴抽出部３では各撮影画像から特徴点を抽出する（Ｓ１１）。また、ノイズ除去、特徴点の選点を行う。

次に、特徴点追跡部４では、特徴抽出処理により選点された各特徴点を追跡処理する（Ｓ１２）。すなわち、特徴点に対応する候補対応点を求め、特徴点の移動ベクトル及び画面相対移動量を求め、さらに、これらを連結して移動軌跡を求める。画面相対移動量とは撮影装置と撮影対象（特徴点を含む）間の画面上での相対的移動量であり、移動ベクトルとは二次元の撮影画像上における各特徴点の相対的移動ベクトルをいう。特徴点の追跡にあたり、まず、隣接撮影画像についてテンプレートマッチングを行い（Ｓ１３）、特徴点に対応する候補対応点を求める。これにより各特徴点の移動ベクトルが求められる。また、移動ベクトルの良否を判断する（Ｓ１４）。すなわち、隣接撮影画像を用いて射影変換することにより（Ｓ１５）、撮影装置に対する画面相対移動量が求められる。次に、各特徴点の移動ベクトルをフレーム間の画面相対移動量と比較し、移動ベクトルの良否を判断する。そして、異常な動きを示す誤対応と思われる候補対応点を削除する（Ｓ１６）。工程Ｓ１５とＳ１６を繰り返すことにより射影変換の精度が向上する。

次に、候補対応点の配置判断を行う（Ｓ１７）。すなわち、撮影画像上での特徴点、候補対応点の配置を確認する。もし、特徴点の配置が極端に偏ってしまって空白部分が生じた場合などには、新たに生じた空白部分に存在する点を新たな特徴点として特徴抽出部３に新設を指示する。そして、再度特徴点抽出（Ｓ１１）に戻り、順次新たな隣接画像について特徴点抽出（Ｓ１１）と追跡処理（Ｓ１２）をリアルタイムに繰り返す。もし、一連の撮影画像について特徴点抽出が済んでいれば、テンプレートマッチング（Ｓ１３）に戻り、順次新たな隣接画像について追跡処理（Ｓ１２）が一括して行われる。

［特徴点抽出］
特徴点抽出（Ｓ１１）は特徴抽出部３において行なわれる。典型的には初期フレームでは全画面から抽出を行い、次のフレームからは、初期フレームと重複しない新たな画面領域から抽出が行われる。本実施の形態では、初期フレームにおける特徴点の抽出には、例えばＭＯＲＡＶＥＣオペレータ（Ｈ．Ｐ．Ｍｏｒａｖｅｃ．Ｔｏｗａｒｄｓ Ａｕｔｏｍａｔｉｃ Ｖｉｓｕａｌ Ｏｂｓｔａｃｌｅ Ａｖｏｉｄａｎｃｅ．Ｐｒｏｃ．５ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｉｎｔ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ，ｐｐ．５８４，１９７７．）や、Ｈａｒｉｓｓ，Ｐｒｅｓｓｙ，Ｓｕｓａｎなどのオペレータを適宜採用できる。

特徴抽出オペレータは、どのようなものを利用しても、画像上のわずかなノイズ（エッジ上のノイズなど）に反応しやすいという問題がある。この性質の改善のために、特徴抽出オペレータを使用する前に画像のノイズ除去処理を平均値フィルターなどのノイズフィルターを用いて行なう。

しかし、ノイズ除去を行なっても、撮影対象によっては、画像上のある部分（木や芝など）に特徴点が集中し、後述のテンプレートマッチングなどに悪影響を及ぼすことがある。これを避けるために選点処理を行なう。選点処理には例えば、各特徴点の点間距離を制限するなどの手法が用いられる。また、特徴点の最大数が予め指定される場合には、画像全体に均等に配置した場合の点間距離をもとめ、この距離を下回らないよう配置する。このように特徴点を全体に均等に配置することにより、相互標定を確実にする。

［追跡処理］
特徴点追跡部４では、特徴抽出処理により選点された各特徴点を追跡処理する（Ｓ１２）。すなわち、特徴点に対応する候補対応点を求め、特徴点の移動ベクトル及び画面相対移動量を求め、さらに、これらを連結して移動軌跡を求める。

［テンプレートマッチング］
本実施の形態では特徴点の追跡に、テンプレートマッチングを使用する（Ｓ１３）。取得された撮影画像から隣接画像を順次選択してステレオペアとし、例えばＳＳＤＡ法（逐次残差法）などの手法によりステレオマッチングを行い、候補対応点を求める。ＳＳＤＡ法（逐次残差法）とは、残差を用いて類似度を決定するもので、部分的な行列の残差が最小となる位置が候補対応点として求められる。ＳＳＤＡテンプレートマッチングは、テンプレートマッチングとしては比較的高速であり、ハード化も容易と考えられる。また、正規化相関法などの他の方式を採用することもできる。テンプレートマッチングには、テンプレートサイズと探索範囲を最適に選択することが大事であり、探索範囲については、ビデオカメラのフレームレート、移動速度などを基に最適な設定とする。

［移動ベクトルの良否判断］
テンプレートマッチングより、各特徴点の候補対応点が求められるが、ミスマッチングも多く発生する。例えばＳＳＤＡテンプレートマッチングの値があまりに高い（精度は悪い）場合にはその点はミスマッチングをおこしたと判定する。なお、テンプレートマッチングの結果、特徴点同士が、重なってしまった場合は相関値の結果から精度のいいものを優先する。

また、テンプレートマッチングで求められた候補対応点より、各特徴点の移動ベクトルが求められるが、移動ベクトルの良否、候補対応点の適性を判断し、ミスマッチングで発生した候補対応点を除去する（Ｓ１４）。まず、各特徴点の移動ベクトルをフレーム間の画面相対移動量と比較し、異常値を示す誤対応と思われる候補対応点を削除する。この場合に閾値を決めて削除しても良い。画面相対移動量は、撮影装置と撮影対象（特徴点を含む）間の画面上での相対的移動量であるが、同一撮影対象においても、撮影装置との距離、方向により変化するので、当該特徴点周囲の大部分の特徴点（ほぼ同様に移動する）の移動量で比較すれば良い。

本実施の形態では、候補対応点の除去に射影変換を利用する。フレーム間の全体的な移動は、時間的に非常に短いことから、射影変換によりほぼ近時できるものとの仮定をおき、射影変換により画面相対移動量を推定する（Ｓ１５）。すなわち、移動の推定に射影変換による推定を行ない、各特徴点についての移動ベクトルを画面相対移動量と比較し、異常値を示す候補対応点をリジェクトする（Ｓ１６）。

また、自動車などの移動体の揺動に伴い撮影画像も揺動するため、射影変換を用いてローテーションやカメラ位置の揺らぎについて補正を行なうことにより、ローテーションやカメラの位置揺れを除去した移動ベクトル、画面相対移動量を求めることができる。この、画面相対移動量を推定し、同時に、誤対応と思われる候補対応点を削除する。また、誤対応点の削除後に再度射影変換を行なうことにより候補対応点の信頼性が向上する。また、ローテーションやカメラの位置揺れが補正された候補対応点を用いることによるテンプレートマッチングの精度を高めることができ、移動ベクトルの信頼性も高めることができる。

撮影画面中に、走行中の自動車、飛鳥、落葉などの動くものに特徴点が付与された場合、またカメラの揺動が激しい場合などに誤対応点が生じ得る。カメラの揺動については射影変換で補正可能である。他方、撮影対象物と異なる動きをするものは誤対応点を生じさせる。したがって物体などの動きにより生じた誤対応点を除去することにより、特徴点（対応点、候補対応点を含む）の信頼性を向上し、ミスマッチングの判定の精度を向上し、ビデオカメラの大きな動揺にも対応が可能となる。

［対応点の配置判断］
次に、対応点の配置判断を行う（Ｓ１７）。ここでは、不良なものが除去されて残った候補対応点について、その配置が確認される。なお、この配置判断時には、特徴点の新設指示や候補対応点の復活も行なう。

図５に対応点マッチングにおける特徴点と候補対応点の例を模式的に示す。左画像と右画像は物体の位置が少し異なる。左画像には特徴点が多数とられているが、右画像では、これに対応する候補対応点の数が少なく描かれている。これは、不良な候補対応点が除去されることを模式的に示したものである。

図６に特徴点新設の例を示す。例えば、画面上の特徴点の配置範囲が、画面幅、高さの５０パーセント以下の範囲にない場合、あるいは、その中心位置が、画面の中心から付近にない場合は、特徴抽出部３に指示して、特徴抽出オペレータにより特徴点の新設処理を実施させる。この基準によれば図６（ａ）では特徴点の配置が右上に偏り、中心位置が上記範囲外にあるので、特徴点が新設され、図６（ｂ）では中心位置が上記範囲内にあるので、特徴点が新設されない。特徴点の数が所定数以下になった場合にも安定した標定解析等のために特徴点の新設指示が行われる。

また、一度画面外に消失した候補対応点が、再度画面内に現れていないかを調べ、現れていれば回復させる。具体的には画面外への消失であるとして消去された候補対応点に対し、現在のフレーム上に残されている点によるアフィン変換によって、現在のフレーム上での対応箇所を推測する。推測された箇所において再度テンプレートマッチングを行い良好な結果を得た候補対応点を復活させる。

また、配置判断において、候補対応点が不良でなく、候補対応点の配置が射影変換による推定値と良く一致した場合は、特徴点抽出（Ｓ１１）に戻り、当該候補対応点を有するフレームの当該候補対応点に対して次のフレームの対応する候補対応点を探索する。この作業を、動画像等の撮影画像の最終フレームまで繰り返し、追跡を継続する。

［動画像処理］
次に、図３に戻る。また、構成については図２を参照されたい。位置関係測定部９では、撮影位置及び撮影姿勢を測定し、測定データを動画像処理部５に提供する（Ｓ９０）。動画像処理部５では画像・特徴点選択部６においてこれら測定データに基づいて画像又は特徴点の選択（Ｓ２０）、すなわち、処理対象画像の選択（Ｓ２０Ａ）又は処理対象特徴点の選択（Ｓ２０Ｂ）を行う。これら測定データの提供と処理対象画像の選択又は処理対象特徴点の選択は、動画像解析における画像取得（Ｓ１０）、特徴点抽出（Ｓ１１）、特徴点追跡（Ｓ１２）の前後、途中の様々な段階で行なわれる。本実施の形態では、特徴点追跡後に特徴点選択と画像選択を行なう。次に、位置測定部７において位置測定が行なわれる（Ｓ３０）。すなわち、相互標定が行われ（Ｓ３２）、カメラの位置座標、姿勢、さらに三次元座標が求められる（Ｓ３４）。

比較部８では上記位置関係測定部９で求められた撮影位置と撮影姿勢の情報と、上記位置測定部７で測定された撮影位置と撮影姿勢の情報とを比較する（Ｓ５０）。表示部１０では、画像取得（Ｓ１０）、特徴点抽出（Ｓ１１）、特徴点追跡（Ｓ１２）、画像・特徴点選択（Ｓ２０）、位置測定（Ｓ３０）で得られた位置情報、姿勢情報や位置関係測定部９で求められた位置情報、姿勢情報等を文字、図表や画像等で表示する（Ｓ６０）。

図７に特徴点追跡後に特徴点選択及び画像選択を行なう場合の処理フロー例を示す。基本フローは図３と同じであり、特徴点選択及び画像選択の時期が特定される。位置関係測定部９において、方向、速度、移動量などのデータを測定し（Ｓ９０）、特徴点追跡（Ｓ１２）と位置測定（Ｓ３０）の間に又はその前に画像・特徴点選択部６に送信する（Ｓ９２）。画像・特徴点選択部６では、特徴点追跡（Ｓ１２）と位置測定（Ｓ３０）の間に、画像取得（Ｓ１０）、特徴点抽出（Ｓ１１）、特徴点追跡（Ｓ１２）の過程で得られた画像及び特徴点の位置情報、姿勢情報のデータと、位置関係測定（Ｓ９０）で得られたカメラの位置情報、姿勢情報のデータとを比較し、処理対象画像及び処理対象特徴点を選択する。画像選択部６１では一連の撮影画像から処理対象画像を選択し（Ｓ２０Ａ）、特徴点選択部６２では撮影画像から抽出された特徴点から処理対象特徴点を選択する（Ｓ２０Ｂ）。例えば、図８で説明するように、まず、特徴点選択部６２で各特徴点の移動ベクトルをジャイロスコープの向きや大きさと比較し、所定の範囲に入らない特徴点を不適切として排除する。画像選択部６１では、処理対象特徴点が比較的多い画像を処理対象画像として判定し、処理対象特徴点が比較的少ない画像は不適切として排除する。なお、選択されなかった画像及び特徴点は排除される（Ｓ２４Ａ，Ｓ２４Ｂ）。画像が排除された場合は他の画像を選択するため、画像取得（Ｓ１０）に戻る。処理対象画像及び処理対象特徴点が選択されれば位置測定（Ｓ３０）に供される。なお、画像の排除（Ｓ２４Ａ）は処理対象画像の選択（Ｓ２０Ａ）に、特徴点の排除（Ｓ２４Ｂ）は処理対象特徴点の選択（Ｓ２０Ｂ）に含まれる。なお、特徴点抽出（Ｓ１１）と位置測定（Ｓ３０）は毎回行なわなくても良い。

図８は画像選択及び特徴点選択の判定画面の表示例を示す。表示は表示部１０が行なう。画面中の丸印（〇）は特徴点を、矢印（→）は移動ベクトル、すなわち、特徴点の移動方向と移動量を示す。具体的には所定時間前又は所定枚前のフレームからの移動量を示すが、両画像間の変化が少しでありかつ移動量の差異が目で判別できる程度であることが好ましい。また、右下にカメラと共に例えば自動車に搭載されたジャイロスコープの向きを示す。ここで、ジャイロスコープの向きは、位置関係測定部９の慣性センサ９１で測定された自動車の移動方向（反対向き）を示す。ここで反対向きを表示したのは、ジャイロスコープに作用するコリオリの力が慣性を維持する向きに働くことを反映したものであるが、移動の向きを示すように表示しても良い。さらに、移動量、速度、加速度、姿勢などを併せて表示しても良い。これらは数値や時系列化したグラフで表示しても良い。

比較部８において、ジャイロスコープが安定していない場合も想定されるので、まず、ジャイロスコープの向きを画面上の移動ベクトルと比較し、大部分の移動ベクトルの向きと一致していればジャイロスコープが安定していると見なして、個々の特徴点の移動ベクトルと比較する。この時、特徴点選択部６２では、移動ベクトルの向きがジャイロスコープの向きとほぼ一致する、すなわち向きが所定の範囲内の特徴点を残し、それ以外の特徴点を排除すべきものと判断する。また、大部分の移動ベクトルに比して移動量がほぼ一致する、すなわち移動量が所定の範囲内の特徴点を残し、それ以外の特徴点を排除すべきものと判断する。例えば移動量の小さい特徴点は動きの無い特徴点と見なして排除すべきものと判断する。また、遠い点及び極端に近い点は標定及び三次元計測に不適切と見なして排除すべきものと判断する。所定範囲内とは典型的にはステレオ法による位置測定精度が十分とれる範囲をいうが、例えば±１０％、±１０度に選定できる。この時、表示部１０では、例えば特徴点選択部６２で不適切で排除すべきと判断した特徴点を赤で表示し、適当と判断した特徴点を緑で表示する。図８では赤を●、緑を〇で示す。操作者が確認したのち、確認ボタンをクリックすると特徴点選択部６２は赤で表示された特徴点を排除し、表示部１０は画面から赤で表示された特徴点とその移動ベクトルを消去し、緑で表示された特徴点とその移動ベクトルを残す。あるいは、これらの処理を自動化しても良いが、この場合に操作者は緑や赤で表示された特徴点と移動ベクトルを事後的に確認するだけでも、現在のシーンにおける測定値が適切であるか、信頼度の高いものかなど、視覚的に確認できるという利点がある。

図９に特徴点追跡後に特徴点選択及び画像選択を行なう場合の処理フロー例を示す。基本フローは図３と同じであり、特徴点選択の時期が特定される。図７のフローと図９のフローを独立に実施することも可能であるが、両者を組合せると精度が向上するので１つの実施の形態でまとめて説明することとした。位置関係測定部９において、位置、姿勢データを測定し（Ｓ９０）、特徴点追跡（Ｓ１２）と位置測定（Ｓ３０）の間に又はその前に、位置、姿勢データを画像選択部に送信する（Ｓ９２）。特徴点選択部６２では、特徴点追跡（Ｓ１２）と位置測定（Ｓ３０）の間に慣性センサ９１で検出されたカメラの移動距離、カメラの位置と傾きのデータを用いて、前方交会法により撮影対象物までの概略位置を計算し（Ｓ２２）、各特徴点とカメラとの概算距離を計算し、概算距離が所定の範囲内の特徴点を処理対象特徴点として判定し（Ｓ２３）、範囲外の特徴点は不適切として排除する（Ｓ２４）。画像選択部６１では、処理対象特徴点が比較的多い画像を処理対象画像として判定し、処理対象特徴点が比較的少ない画像は不適切として排除する。所定範囲内とは典型的にはステレオ法による位置測定精度が十分とれる範囲をいうが、例えば±１０％に選定できる。この判定の結果、概算距離が所定の範囲外の特徴点の色を赤として、図８に反映すれば、図７のフローにさらに図９のフローによる不適当な特徴点を除去でき、位置測定の精度を向上できる。なお、特徴点概略位置計算（Ｓ２２）から不適切な特徴点排除（Ｓ２４）までが処理対象特徴点の選択（Ｓ２０Ｂ）に含まれ、処理対象画像の判定と不適切な画像の排除が処理対象画像の選択（Ｓ２０Ａ）に含まれる。なお、図７のフローと図９のフローを組合せる際に、Ｓ２０からＳ２４のフローは別々に行なった後に統合し、他のフローは共通フローとなる。Ｓ２０からＳ２４のフローはどちらを先に行っても良く、並列に行っても良い。その後、処理対象画像からステレオペアが選択され、位置測定へと進む。ここで、概算距離の計算は、位置関係測定部９から送られてくる位置、姿勢データをモデル座標系として、次の［標定処理／三次元計測］で説明される式（３）及び式（４）に代入することにより、特徴点の３次元座標が求められ、さらに特徴点の３次元座標を式（５）に代入することにより、モデル座標を計算し概算距離が求められる。

［標定処理／三次元計測］
次に、位置測定部７で相互標定と三次元計測が行なわれる。ステレオペア選択された各画像について、特徴点と対応点の座標を用いて、標定処理を行う。標定処理により、撮影したカメラの位置、傾き、対応点の三次元位置を求めることができる。標定処理は、ステレオペア選択された撮影画像の対応付けに関しては相互標定で行ない、複数または全画像間の標定に関してはバンドル調整にて行う。このステレオペア選択を行う場合には、位置測定部において、画像取得部で得られた複数の画像から、適切な基線長と推定される画像の組を選択することにより、適切な標定処理や三次元測定を行うことができる。

［相互標定処理］
図１０は標定を説明するための図である。ステレオ画像におけるモデル画像座標系ＸＹＺとカメラ座標系ｘ１ｙ１ｚ１、ｘ２ｙ２ｚ２の関係の説明図である。モデル画像座標系の原点を左側の投影中心にとり、右側の投影中心を結ぶ線をＸ軸にとるようにする。縮尺は、基線長Ｂｘ（カメラ座標原点間の距離）を単位長さにとる。このとき求めるパラメータは、左側のカメラのＺ軸の回転角κ１、Ｙ軸の回転角φ１、Ｘ軸の回転角ω１、右側のカメラのＺ軸の回転角κ２、Ｙ軸の回転角φ２、Ｘ軸の回転角ω２の６つの回転角となる。標定計算処理により、これらの回転角を求め、これを用いてカメラの精密な三次元座標、姿勢や撮影対象物の三次元座標が演算される。また、これら標定および三次元計測は自動化が可能である（特許文献１参照）。

まず、以下の共面条件式（１）により、左右カメラの位置を定めるのに必要とされるパラメータを求める。なお、画面距離Ｃは焦点距離ｆと等価である。

上述の条件にすると、共面条件式（１）は式（２）のように変形され、式（２）を解けば各パラメータが求まる。
ここで、モデル座標系ＸＹＺとカメラ座標系ｘｙｚの間には、次に示すような座標変換の関係式（３）、（４）が成り立つ。

モデル座標系の点の座標は、
Ｘ＝（Ｘ１＋Ｘ２）／２、Ｙ＝（Ｙ１＋Ｙ２）／２ とする。
これと、位置関係測定部９で求めた撮影装置の位置、Ｘ０，Ｙ０，Ｚ０から距離を求める。
距離＝√（（Ｘ−Ｘ０）^２＋（Ｙ−Ｙ０）^２） ……（５）

これらの式を用いて、次の手順により、未知パラメータを求める。
（ｉ）パラメータ（κ１、φ１、κ２、φ２、ω２）の初期近似値は通常０とする。
（ｉｉ）共面条件式（２）を近似値のまわりにテーラー展開し、線形化したときの微分係数の値を式（３）、（４）により求め、観測方程式をたてる。
（ｉｉｉ）最小二乗法を適用して、近似値に対する補正量を求める。
（ｉｖ）近似値を補正する。
（ｖ）補正された近似値を用いて（ｉｉ）〜（ｖ）までの操作を収束するまで繰り返す。
収束した場合、更に接続標定を行なう。これは、各モデル間の傾き、縮尺を統一して同一座標系とする処理である。

この処理を行なう場合、以下の式であらわされる接続較差を算出する。
ΔＸｊ＝（Ｘｊｒ−Ｘｊｌ）／（Ｚ０−Ｚｊｌ）
ΔＹｊ＝（Ｙｊｒ−Ｙｊｌ）／（Ｚ０−Ｚｊｌ）
ΔＺｊ＝（Ｚｊｒ−Ｚｊｌ）／（Ｚ０−Ｚｊｌ）
ΔＤｊ＝√（ΔＸｊ２＋ΔＹｊ２）
（ΔＸｊｌΔＹｊｌΔＺｊｌ）：統一された座標系の第ｊ番目の左モデル
（ΔＸｊｒΔＹｊｒΔＺｊｒ）：統一された座標系の第ｊ番目の右モデル
ΔＺｊおよびΔＤｊが０．０００５（１／２０００）以下なら接続標定が正常に行われたとみなされる。正常に行われなかった場合は、標定結果表示でエラーを出力しどこの画像が悪いか表示する。この場合、画像上に別の標定点があれば変更して（ｉｉ）〜（ｖ）までの上記計算を繰り返す。だめなら標定点の配置変更を行なう。これら計算は、特徴点追跡データから計算することもできるし、位置関係測定部９の各種データを初期値として取り入れ計算することも可能である。

［偏位修正処理］
また、偏位修正処理により、エピポーララインが左右の水平ライン上に一致するように画像が修正され、ステレオ法が成立する画像に変換される。また、標定処理及び偏位修正処理で得られた画像データを用いて三次元計測がなされる。

図１１に対応特徴点の三次元座標位置とカメラ位置の関係を示す。撮影対象物Ａの計測点ＰをステレオカメラＣ１，Ｃ２でステレオ撮影する（図１１にカメラ位置をＣ１，Ｃ２で示す）。撮影画像（原画像）Ｉはカメラの傾きや位置の揺らぎが反映されて取得されるが、偏位修正処理された偏位修正画像Ｍはカメラの傾き及び位置の揺らぎが修正され、エピポーララインが揃った距離計測に適した画像となる。また、カメラの基線長Ｂは、相互標定処理により求めた２つの撮影位置から計算で容易に求められ、撮影距離Ｈは、三次元計測で算出された特徴点の三次元座標位置とカメラの位置から求めることができる。

［ステレオ法］
次に各特徴点（候補対応点）の三次元座標を算出する。例えばステレオ法から三次元座標を算出する。

図１２はステレオ法を説明するための図である。同じ仕様の２台のカメラＣ１，Ｃ２を使用し、それぞれの光軸は平行でカメラレンズの主点からＣＣＤ面までの距離ｃが等しく、ＣＣＤは光軸に直角に置かれているものとする。２台のカメラＣ１，Ｃ２の光軸間距離（基線長）をＢとする。
物体上の点Ｐ１（ｘ１、ｙ１）、Ｐ２（ｘ２、ｙ２）の座標の間には、以下のような関係がある。

ｘ１＝ｃｘ／ｚ −−−（６）
ｙ１＝ｙ２＝ｃｙ／ｚ −−−（７）
ｘ２−ｘ１＝ｃＢ／ｚ −−−（８）

但し、全体の座標系（ｘ、ｙ、ｚ）の原点をカメラＣ１のレンズ主点にとるものとする。

（８）式よりｚを求め、これを用いて（６）式、（７）式よりｘ、ｙが求められる。

ステレオ法の説明からわかるように、カメラＣ１、カメラＣ２の撮影距離（倍率）や撮影の向き、基線長Ｂが変わると、幾何学的に本原理が成立しづらくなり、結果として安定した精度の解を求め難くなる。なお、偏位修正処理を行わずに、エピポーラライン上の特徴点の対応点を探索し、ステレオ法により三次元座標を求めることもできる。

また、三次元座標の計測にあたり、比較部８において、位置関係測定部９で求められた撮影位置と撮影姿勢の情報と、位置測定部７で測定された撮影位置と撮影姿勢の情報とを比較し、三次元座標値を補正することにより、三次元計測の精度をさらに正確にできる。

以上第１の実施の形態によれば、動画像又は順次少しずつ変化する撮影画像から、その撮影装置の撮影位置、姿勢の座標を精度良く計測できる技術を提供できる。また、動画像の処理をコンピュータで実現可能であり、既に自動化されている標定、三次元計測を含め画像処理方法の工程の自動化も可能である。また、撮影装置の三次元座標を高い精度で安定して求められる。

［第２の実施の形態］
第１の実施の形態では特徴点抽出後に特徴点選択と画像選択を行なう例を説明したが、本実施の形態では画像取得後に画像選択を行なう例を説明する。

図１３に画像取得後に画像選択を行なう場合の処理フローを示す。基本フローは図３と同じであり、画像選択の時期が特定される。位置関係測定部９で、センサ出力データ（例えばジャイロスコープの向き、角速度、加速度）を取得し、画像取得（Ｓ１０）と特徴点抽出（Ｓ１１）の間に又はその前に、画像選択部６１に提供する（Ｓ９２）。画像選択部６１では、センサ出力の検出が無い場合、もしくは０に近いときは、カメラが動いていないものとして処理を行わないので、このような画像を不適切と判定し（Ｓ２０Ａ）、捨象する（Ｓ２４Ａ）。また、センサ出力が動画像処理の処理スピードを超える量の動きや振動などにより所定の閾値を超える場合、例えば撮影画像にぶれや流れが検出された場合には、画像処理に不適切な画像と判定して（Ｓ２０Ａ）、当該画像を捨象する（Ｓ２４Ａ）。なお、不適切な画像の排除（Ｓ２４Ａ）は処理対象画像の選択（Ｓ２０Ａ）に含まれる。その後、特徴点抽出、特徴点追跡、位置測定へと進む。なお、特徴点抽出と位置測定は毎回行なわなくても良い。

図１４に静止している画像の例を示す。ジャイロスコープの向きが０で移動がない。なお、特徴点抽出や特徴点追跡がされていれば、移動ベクトルの大きさは０である。かかる画像は不適切な画像として捨象される。

［第３の実施の形態］
第１の実施の形態では特徴点抽出後に特徴点選択と画像選択を行なう例を説明したが、本実施の形態では特徴点抽出後に特徴点選択と画像選択を行なう例を説明する。

図１５に特徴点抽出後に特徴点選択及び画像選択を行なう場合の処理フロー例を示す。基本フローは図３と同じであり、特徴点選択の時期が特定される。位置関係測定部９において、方向、速度、移動量などのデータを測定し（Ｓ９０）、特徴点抽出（Ｓ１１）と特徴点追跡の間に又はその前に、これらのデータを画像・特徴点選択部６に送信する（Ｓ９２）。画像・特徴点選択部６では、特徴点抽出（Ｓ１１）と特徴点追跡の間に、姿勢（３軸の向き）、撮影位置（三次元位置）のデータと、特徴点の画像座標を用いて前方後交法により特徴点の三次元座標（概略位置）を計算し（Ｓ２２）、各特徴点とカメラとの概算距離を計算し、距離が所定の範囲内の特徴点を処理対象特徴点として判定し（Ｓ２３）、範囲外の特徴点を不適切として排除する（Ｓ２４）。画像選択部６１では、処理対象特徴点が比較的多い画像を処理対象画像として選択し、処理対象特徴点が比較的少ない画像は不適切として排除する。なお、特徴点概略位置計算（Ｓ２２）から不適切な特徴点排除（Ｓ２４）までが処理対象特徴点の選択（Ｓ２０Ｂ）に含まれ、処理対象画像の判定と不適切な画像の排除が処理対象が押の選択（Ｓ２０Ａ）に含まれる。その後、処理対象画像からステレオペアが選択され、位置測定へと進む。

図１６は概算距離による特徴点選択を説明するための図である。工程は図１５を参照されたい。Ｑ１〜Ｑ４は撮影対象物、Ｃ１〜Ｃ２はカメラ位置を示す。特徴点選択部６２では、カメラ位置Ｃ１，Ｃ２により撮影対象物の特徴点の概略位置を求め（Ｓ２２）、カメラと特徴点間の距離が所定の範囲内の特徴点を処理対象特徴点として判定し（Ｓ２３）、範囲外のものは不適切として排除する（Ｓ２４）。図において、撮影対象物Ｑ１，Ｑ３上の特徴点は選択されるが、撮影対象物Ｑ２，Ｑ４上の特徴点は不適切な点として排除される。

図１７に概算距離による特徴点選択を行なう画面の例を示す。例えば、距離が所定の範囲内の特徴点を緑で表示し、範囲外（遠い点、近い点）の特徴点を赤で表示する。緑の特徴点は選択され、赤の特徴点は排除される。図１７では赤を●、緑を○で示す。なお、概算距離による判定を、図８で説明したような各特徴点の移動ベクトルをジャイロスコープの向きや大きさと比較し、所定の範囲に入らない特徴点を不適切として排除する判定と組合せて実施可能であり、その場合に位置精度を向上できる。

図１８は概算距離による画像選択を説明するための図である。Ｑ５〜Ｑ７は撮影対象物、Ｃ３〜Ｃ５はカメラ位置を示す。慣性センサ９１でカメラの移動距離を検出し、画像選択部６１では、カメラの位置と傾きのデータを用いて前方交会法により撮影対象物までの概略位置を計算する。各カメラ位置Ｃ３，Ｃ４，Ｃ５より撮影対象物の距離を求め、距離が所定の範囲内の画像を処理対象画像として判定し、範囲外のものは不適切として排除する。図において、撮影対象物Ｑ５，Ｑ７を撮影した画像は選択されるが、撮影対象物Ｑ６を撮影した画像は不適切として排除される。その後、処理対象画像からステレオペアが選択され、位置測定へと進む。

［第４の実施の形態］
第１の実施の形態では特徴点抽出後に特徴点選択と画像選択を行なう例を説明したが、本実施の形態では特徴点追跡中に特徴点選択と画像選択を行なう例を説明する。

図１９に特徴点追跡中に特徴点選択を行なう場合の処理フロー例を示す。基本フローは図３と同じであり、特徴点選択の時期が特定される。位置関係測定部９において、方向、速度、移動量などのデータを測定し（Ｓ９０）、特徴点追跡（Ｓ１２）中に方向、速度、移動量などのデータを画像・特徴点選択部６に送信する（Ｓ９２）。画像・特徴点選択部６では特徴点追跡中に、姿勢（３軸の向き）、撮影位置（三次元位置）のデータと、特徴点の画像座標を用いて前方後交法により特徴点の三次元座標（概略位置）を計算し、各特徴点とカメラとの概算距離を計算し（Ｓ２２、図では省略）、距離が所定の範囲内の特徴点を処理対象特徴点として判定し（Ｓ２３、図では省略）、範囲外の特徴点を不適切として排除する（Ｓ２４、図では省略）。画像選択部６１では、処理対象特徴点が比較的多い画像を処理対象画像として選択し、処理対象特徴点が比較的少ない画像は不適切として排除する。特徴点追跡中なので、特徴点追跡処理の高速化が求められる。なお、概算距離による判定を、図８で説明したような各特徴点の移動ベクトルをジャイロスコープの向きや大きさと比較し、所定の範囲に入らない特徴点を不適切として排除する判定と組合せて実施可能であり、その場合に位置精度を向上できる。

図２０は高速の特徴点追跡処理を説明するための図である。慣性センサの移動方向データから特徴点の移動方向が推測されるので、特徴点追跡部４では、例えば図２０（ａ），（ｂ）に示すように特徴点Ｐ３，Ｐ４について左上方向のみを探索する、また、慣性センサの移動量、速度データから特徴点の移動量が推測されるので、例えば図２０（ｃ），（ｄ）に示すように特徴点Ｐ３，Ｐ４について一定の探索幅のみを探索する。このように探索範囲を小さくすることによって、画像処理に要する時間をかなり削減できるので、特徴点追跡中にリアルタイムで画像及び特徴点の選択が可能になる。

［第５の実施の形態］
第１の実施の形態では、自動車にカメラと共に慣性センサを有する位置関係測定部が搭載される例を説明したが、本実施の形態では、カメラが静止し、撮影対象物が移動し、撮影対象物に慣性センサを有する位置関係測定部が搭載される例を説明する。その他の構成は第１の実施の形態と同様である。この場合においても、本来の撮影対象物の他に、撮影装置と撮影対象物の間に動くものが割り込んだり、撮影装置に揺動が生じる場合があり、特徴点を追跡し、動画像又は順次少しずつ変化する撮影画像における撮影対象物に係る特徴点の三次元座標を求める意味がある。この場合、位置関係測定部９は移動している撮影対象物（例えば自動車、電車、船）の方向や向きを検出し、検出データを動画像処理部５に送信し、表示画面には撮影対象物の移動ベクトルと共に移動方向（ジャイロの向きと逆）が表示されるが、動画像処理部５では画像取得部２で取得した画像と上記検出データを用いて、第１の実施の形態と同様に、画像・特徴点選択部６で画像と特徴点を選択し、位置測定部７では撮影対象物の位置を求めることができる。

［第６の実施の形態］
第１の実施の形態では、自動車にカメラと共に慣性センサを有する位置関係測定部が搭載される例を説明したが、本実施の形態では、カメラと共に撮影対象物が移動し、カメラを搭載する自動車及び撮影対象物の双方に慣性センサを有する位置関係測定部が搭載される例を説明する。その他の構成は第１の実施の形態と同様である。

図２１は第５の実施の形態の概念を説明するための図である。撮影対象物及びカメラを搭載する自動車に位置関係測定部９が搭載され、自動車にカメラを有する画像取得部２、位置測定部７が搭載され、撮影対象物及びカメラが共に移動する状態を示す。

双方が移動している場合に、位置関係測定部９は移動しているカメラ及び撮影対象物の方向や向きを検出し、検出データを動画像処理部５に送信し、表示画面にはカメラと撮影対象物との相対的移動ベクトルと共にカメラと撮影対象物両者の移動方向（ジャイロの向きと逆）が表示されるが、動画像処理部５では画像取得部２で取得した画像と上記検出データを用いて、第１の実施の形態と同様に、画像・特徴点選択部６で画像と特徴点を選択し、位置測定部７では画像取得部２の撮影位置と撮影姿勢又は撮影対象物の位置を求める。処理の結果、お互いの相対的位置の検出及び、移動している撮影対象物の三次元座標が求まる。この場合、移動の無い背景を捨象し、移動している撮影対象物のみ抽出して、三次元座標を求めることも可能である。また、撮影対象物側から、絶対座標が送信されれば、移動体すなわち位置測定装置本体の絶対座標位置が求まる。なお、移動方向（ジャイロの向きと逆）はカメラと撮影対象物の相対的移動方向を１つ表示するものであっても良い。

また、本発明は、以上の実施の形態に記載の画像処理方法をコンピュータに実行させるためのプログラムとしても実現可能である。プログラムは操作部１の内蔵メモリに蓄積して使用してもよく、システム内外の記憶装置に蓄積して使用してもよく、インターネットからダウンロードして使用しても良い。また、当該プログラムを記録した記録媒体としても実現可能である。

以上、本発明の実施の形態について説明したが、本発明は以上の実施の形態に限定されるものではなく、実施の形態に種々変更を加えられることは明白である。

例えば、以上の実施の形態では、撮影対象物及び撮影装置が共に１つの例を説明したが、複数の場合でも１対１に分解すれば本発明を適用可能であり、複数の撮影対象物と複数の撮影装置をリレー式に繋げていくことも可能である。また、三次元座標については直交座標の例を説明したが、撮影対象物と撮影装置の状況に応じて、円筒座標、球座標を用いることも可能である。また、特徴点の抽出にＭＯＲＡＶＥＣオペレータを、テンプレートマッチングにＳＳＤＡテンプレートマッチングを使用する例を説明したが、他のオペレータ、テンプレートマッチング法を使用しても良い。また、画面相対移動量を求めるための射影変換を使用する例を説明したが、アフィン変換、フェルマート変換などの射影変換を使用しても良い。

また、以上の実施の形態では、画像選択処理と特徴点選択処理の一方や双方を行なう例、時期を変えて行なう例を説明したが、複数の時期を組み合わせて行なっても良い。勿論、一方のみ処理を行っても良く、双方の処理を行なっても良い。また、第１の実施の形態では図７のフローと図９のフローを組合せた実施の形態を説明したが、一方のみを行なう実施の形態も可能である。また、第１の実施の形態ではジャイロスコープの向きを画面表示する例を説明したが、ジャイロスコープの向きを表示せず、撮影画面中で移動ベクトルの方向と大きさが揃った特徴点のみを処理対象特徴点として判定することも可能である。また、画像選択処理と特徴点選択処理を行わず、位置測定部で測定された撮影位置と撮影姿勢の情報又は撮影対象物の位置情報と、位置関係測定部で求められた撮影位置と撮影姿勢の情報又は撮影対象物の位置情報とを比較し、補正することのみに位置関係測定部の測定データを用いることも可能である。また、第１、第４の実施の形態では位置関係測定部の移動方向と移動量の測定データに基づいてまず処理対象特徴点を選択する例を説明したが、この場合に、位置関係測定部の移動方向と移動量の測定データに基づいて、まず処理対象画像を選択しても良い。また、以上の実施の形態では、位置関係測定部の測定データから移動方向と移動量を動画像処理に供給する例を説明したが、移動速度、加速度などのデータも供給可能である。また、以上の実施の形態では特徴点概略位置の計算を動画像処理部で行なう例を説明したが、位置関係測定部の推定部で動画像処理部をから特徴点のデータを得て特徴点概略位置の計算を行ない、動画像処理部に計算結果を提供することも可能である。また、以上の実施の形態では、画像取得部は典型的には自己のカメラから撮影画像を取得する例を説明したが、遠隔にある位置測定装置が自動車に搭載したカメラから通信で撮影画像を取得しても良い。また、特徴点選択処理における移動量、移動方向の範囲、少しずつ変化する一連の撮影画像の変化の程度、抽出する特徴点数等は経験に基づいて様々に決定できる。

本発明は動画像を用いた撮影装置又は撮影対象の位置座標の計測等に使用される。

本発明の概念を説明するための図である。 第１の実施の形態における位置測定装置の構成例を示すブロック図である。 第１の実施の形態における位置測定方法のフロー例を示す図である。 特徴点抽出及び特徴点追跡のフロー例を示す図である。 対応点マッチングの例を示す図である。 特徴点新設の例を示す図である。 特徴点追跡後に特徴点選択及び画像選択を行なう場合の処理フロー例を示す図である。 特徴点選択の判定画面の表示例を示す図である。 特徴点追跡後に特徴点選択及び画像選択を行なう場合の処理フロー例を示す図である。 標定を説明するための図である。 対応特徴点の三次元座標位置とカメラ位置の関係を示す図である。 ステレオ法を説明するための図である。 画像取得後に画像選択を行なう場合の処理フロー例を示す図である。 静止している画像の例を示す図である。 特徴点抽出後に特徴点選択及び画像選択を行なう場合の処理フロー例を示す図である。 概算距離による特徴点選択を説明するための図である。 概算距離による特徴点選択を行なう画面の例を示す図である。 概算距離による画像選択を説明するための図である。 特徴点追跡中に特徴点選択を行なう場合の処理フロー例を示す図である。 高速の特徴点追跡処理を説明するための図である。 第６の実施の形態の概念を説明するための図である。

符号の説明

１ 操作部
２ 画像取得部
３ 特徴抽出部
４ 特徴点追跡部
５ 動画像処理部
６ 画像・特徴点選択部
７ 位置測定部
８ 比較部
９ 位置関係測定部
１０ 表示部
１１ 対応点情報メモリ
１２ 動画像メモリ
６１ 画像選択部
６２ 特徴点選択部
９１ 慣性センサ
９２ 推定部
１００ 位置測定装置

Claims (19)

1. 撮影対象物との相対的位置移動を伴いながら連続的に変化する又は少しずつ変化する一連の撮影画像を取得する画像取得部と；
   前記画像取得部の位置移動及び姿勢変化を測定する位置関係測定部と；
   前記画像取得部で得られた撮影画像から特徴点を抽出する特徴抽出部と；
   複数の前記撮影画像について前記特徴点に対応する対応点を探索し、前記特徴点の追跡を行う特徴点追跡部と；
   前記位置関係測定部での測定結果に基づき前記一連の撮影画像から処理対象画像を選択する画像選択部と；
   前記画像選択部で選択された前記処理対象画像に基づき前記画像取得部の撮影位置と撮影姿勢又は前記撮影対象物の位置を測定する位置測定部とを備える；
   位置測定装置。
2. 撮影対象物との相対的位置移動を伴いながら連続的に変化する又は少しずつ変化する一連の撮影画像を取得する画像取得部と；
   前記画像取得部の位置移動及び姿勢変化を測定する位置関係測定部と；
   前記画像取得部で得られた撮影画像から特徴点を抽出する特徴抽出部と；
   複数の前記撮影画像について前記特徴点に対応する対応点を探索し、前記特徴点の追跡を行う特徴点追跡部と；
   前記位置関係測定部での測定結果に基づき前記撮影画像から抽出された特徴点から処理対象特徴点を選択する特徴点選択部と；
   前記特徴点選択部で選択された前記処理対象特徴点に基づき前記画像取得部の撮影位置と撮影姿勢又は前記撮影対象物の位置を測定する位置測定部とを備える；
   位置測定装置。
3. 撮影対象物との相対的位置移動を伴いながら連続的に変化する又は少しずつ変化する一連の撮影画像を取得する画像取得部と；
   前記撮影対象物の位置移動及び姿勢変化を測定する位置関係測定部と；
   前記画像取得部で得られた撮影画像から特徴点を抽出する特徴抽出部と；
   複数の前記撮影画像について前記特徴点に対応する対応点を探索し、前記特徴点の追跡を行う特徴点追跡部と；
   前記位置関係測定部での測定結果に基づき前記一連の撮影画像から処理対象画像を選択する画像選択部と；
   前記画像選択部で選択された前記処理対象画像に基づき前記画像取得部の撮影位置と撮影姿勢又は前記撮影対象物の位置を測定する位置測定部とを備える；
   位置測定装置。
4. 撮影対象物との相対的位置移動を伴いながら連続的に変化する又は少しずつ変化する一連の撮影画像を取得する画像取得部と；
   前記撮影対象物の位置移動及び姿勢変化を測定する位置関係測定部と；
   前記画像取得部で得られた撮影画像から特徴点を抽出する特徴抽出部と；
   複数の前記撮影画像について前記特徴点に対応する対応点を探索し、前記特徴点の追跡を行う特徴点追跡部と；
   前記位置関係測定部での測定結果に基づき前記撮影画像から抽出された特徴点から処理対象特徴点を選択する特徴点選択部と；
   前記特徴点選択部で選択された前記処理対象特徴点に基づき前記画像取得部の撮影位置と撮影姿勢又は前記撮影対象物の位置を測定する位置測定部とを備える；
   位置測定装置。
5. 前記画像選択部は、前記位置関係測定部での移動方向又は／及び移動量の測定データに基いて前記処理対象画像を選択する；
   請求項１又は請求項３に記載の位置測定装置。
6. 前記特徴点選択部は、前記特徴点追跡部での追跡データから得られた移動方向と移動量が、前記位置関係測定部での移動方向と移動量を含む所定範囲内にある特徴点を前記処理対象特徴点として選択する；
   請求項２又は請求項４に記載の位置測定装置。
7. 前記特徴点選択部は、前記位置関係測定部での測定データに基づいて求められた前記画像取得部と前記特徴点間の概算距離が所定範囲内にある特徴点を前記処理対象特徴点として選択する；
   請求項２又は請求項４に記載の位置測定装置。
8. 前記位置関係測定部での測定結果に基づき前記一連の撮影画像から処理対象画像を選択する画像選択部を有し；
   前記画像選択部は、前記処理対象特徴点を比較的多く含む画像を前記処理対象画像として選択する；
   請求項６又は請求項７に記載の位置測定装置。
9. 前記画像選択部は、前記画像取得部による撮影画像の取得と前記特徴抽出部による特徴点の抽出との間に前記処理対象画像を選択する；
   請求項５に記載の位置測定装置。
10. 前記特徴点選択部は、前記特徴点追跡部による特徴点の追跡中又は前記特徴点追跡部による特徴点の追跡と前記位置測定部による位置測定との間に前記処理対象特徴点を選択する；
    請求項６に記載の位置測定装置。
11. 前記特徴点選択部は、前記特徴点追跡部による特徴点の追跡中、前記特徴抽出部による特徴点の抽出と前記特徴点追跡部による特徴点の追跡との間又は前記特徴点追跡部による特徴点の追跡と前記位置測定部による位置測定との間のいずれかにおいて前記処理対象特徴点を選択する；
    請求項７に記載の位置測定装置。
12. 前記位置関係測定部は、ジャイロスコープ、加速度計及び地磁気センサを含む；
    請求項１乃至請求項１１のいずれか１項に記載の位置測定装置。
13. 前記特徴点追跡部は、特徴点の追跡に際し、探索幅の方向又は探索幅の大きさを調整可能である；
    請求項１乃至請求項１２のいずれか１項に記載の位置測定装置。
14. 前記特徴点追跡部の追跡結果から、前記撮影画像における特徴点の移動方向及び移動速度を画面に表示する表示部を備える；
    請求項１乃至請求項１３のいずれか１項に記載の位置測定装置。
15. 前記位置測定部で測定された撮影位置と撮影姿勢の情報又は前記撮影対象物の位置情報と、前記位置関係測定部で求められた撮影位置と撮影姿勢の情報又は前記撮影対象物の位置情報とを比較する比較部を備える；
    請求項１乃至請求項１４のいずれか１項に記載の位置測定装置。
16. 画像取得部で撮影対象物との相対的位置移動を伴いながら連続的に変化する又は少しずつ変化する一連の撮影画像を取得する画像取得工程と；
    前記画像取得部の位置移動及び姿勢変化を測定する位置関係測定工程と；
    前記画像取得工程で得られた撮影画像から特徴点を抽出する特徴抽出工程と；
    複数の前記撮影画像について前記特徴点に対応する対応点を探索し、前記特徴点の追跡を行う特徴点追跡工程と；
    前記位置関係測定工程での測定結果に基づき前記一連の撮影画像から処理対象画像を選択する画像選択工程と；
    前記画像選択工程で選択された前記処理対象画像に基づき前記画像取得部の撮影位置と撮影姿勢又は前記撮影対象物の位置を測定する位置測定工程とを備える；
    位置測定方法。
17. 画像取得部で撮影対象物との相対的位置移動を伴いながら連続的に変化する又は少しずつ変化する一連の撮影画像を取得する画像取得工程と；
    前記画像取得部の位置移動及び姿勢変化を測定する位置関係測定工程と；
    前記画像取得工程で得られた撮影画像から特徴点を抽出する特徴抽出工程と；
    複数の前記撮影画像について前記特徴点に対応する対応点を探索し、前記特徴点の追跡を行う特徴点追跡工程と；
    前記位置関係測定工程での測定結果に基づき前記撮影画像から抽出された特徴点から処理対象特徴点を選択する特徴点選択工程と；
    前記特徴点選択工程で選択された前記処理対象特徴点に基づき前記画像取得部の撮影位置と撮影姿勢又は前記撮影対象物の位置を測定する位置測定工程とを備える；
    位置測定方法。
18. 撮影対象物との相対位置的移動を伴いながら連続的に変化する又は少しずつ変化する一連の撮影画像を取得する画像取得工程と；
    前記撮影対象物の位置移動及び姿勢変化を測定する位置関係測定工程と；
    前記画像取得工程で得られた撮影画像から特徴点を抽出する特徴抽出工程と；
    複数の前記撮影画像について前記特徴点に対応する対応点を探索し、前記特徴点の追跡を行う特徴点追跡工程と；
    前記位置関係測定工程での測定結果に基づき前記一連の撮影画像から処理対象画像を選択する画像選択工程と；
    前記画像選択工程で選択された前記処理対象画像に基づき前記画像取得部の撮影位置と撮影姿勢又は前記撮影対象物の位置を測定する位置測定工程とを備える；
    位置測定方法。
19. 撮影対象物との相対的位置移動を伴いながら連続的に変化する又は少しずつ変化する一連の撮影画像を取得する画像取得工程と；
    前記撮影対象物の位置移動及び姿勢変化を測定する位置関係測定工程と；
    前記画像取得工程で得られた撮影画像から特徴点を抽出する特徴抽出工程と；
    複数の前記撮影画像について前記特徴点に対応する対応点を探索し、前記特徴点の追跡を行う特徴点追跡工程と；
    前記位置関係測定工程での測定結果に基づき前記撮影画像から抽出された特徴点から処理対象特徴点を選択する特徴点選択工程と；
    前記特徴点選択工程で選択された前記処理対象特徴点に基づき前記画像取得部の撮影位置と撮影姿勢又は前記撮影対象物の位置を測定する位置測定工程とを備える；
    位置測定方法。