JP5832341B2 - 動画処理装置、動画処理方法および動画処理用のプログラム - Google Patents

Description

本発明は、動画の画像データを処理する技術に関する。

例えば、刻々と変化する移動体の位置情報をＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）のデータから動的に取得し、その結果を得るシステムが実用化されている。しかしながら、この技術ではＧＰＳ衛星からのデータを常時精度良く得られるとは限らない。特に、高い建築物がある市街地での移動、トンネル内での移動、山岳地帯や森林地帯での移動、悪天候下での移動といった場合、この問題が顕在化する。このため、メートルオーダー以下での位置精度の検出が要求されるような場合、ＧＰＳだけに依存した位置検出技術では、精度が不足であり、ＧＰＳの情報が得られない環境やＧＰＳからの情報の精度が低下した場合に、何らかの方法で刻々と変化する位置情報を精度よく得る方法が必要とされる。ところで、写真測量の原理を用いて、時間的に変化する位置の検出を動画像に基づいて行う技術が知られている（例えば、特許文献１参照）。この技術によれば、ＧＰＳの情報が途切れた場合に、動画像の解析から動的に変化するカメラの位置を演算により、逐次求めることができる。

しかしながら、動画像からカメラの位置や測定対象物の位置を求める方法は、誤差が発生する傾向がある。すなわち、動画像からカメラの位置や測定対象物の位置を求める方法では、基本的に第ｎ番目のフレーム画像から得た測定対象物の特徴点と、第ｎ＋１番目のフレーム画像から得た測定対象物の特徴点との対応関係を算出し、刻々と撮影位置の変化に合わせて、測定対象物の特徴点を追跡してゆく処理が行われる。この処理の過程において、時間軸上で隣接するフレーム画像間で引き継がれる測定対象物の特徴点の追跡精度の誤差が徐々に累積する。

この問題に対処する技術として、例えば、非特許文献２、特許文献３、特許文献４に開示されたものがある。非特許文献２に記載の発明は、推定された三次元位置を画像上へ投影した座標と画像上で検出された座標との誤差（再投影誤差）、および、ＧＰＳ測位値によって定義される位置誤差を同時に最小化するものである。特許文献３に記載の発明は、ビデオ映像から求めたカメラの位置および三軸回転位置を示すカメラベクトル（ＣＶ）データと、移動体の位置計測データと、を基準時刻によって時刻同期させ、同一時間軸で比較し、相互に補完補正するものである。特許文献４に記載された発明は、算出した外部標定要素を、画像の撮影タイミングと外部から与えられる撮影位置および／または撮影姿勢の取得タイミングとの差に基づいて修正する処理を繰り返すことで誤差を軽減するものである。

特開２００７−１７１０４８号公報 情報処理学会論文誌Ｖｏｌ．０、Ｎｏ．１３、横地裕次著、ｐ１−１１ 特開２００６−２５０９１７号公報 特開２０１０−１４４４３号公報

従来の技術は、誤差を最小化しようとする技術であるが、徐々に算出誤差が増大する問題は依然としてあり、その点で改善が求められている。このような背景において、本発明は、動画像を処理する技術において、フレーム間で引き継がれる測定対象物の特徴点の追跡精度の低下を効果的に低減する技術の提供を目的とする。

請求項１に記載の発明は、測定対象物に対して相対的に移動する撮影部によって連続的に撮影された当該測定対象物の動画像を取得する動画像取得部と、前記動画像に含まれる複数のフレーム画像のそれぞれから複数の特徴点を抽出する特徴点抽出部と、前記複数のフレーム画像中における前記複数の特徴点の対応関係を追跡する特徴点追跡部と、前記対応関係が特定された複数の特徴点の実空間座標の算出を行う実空間座標算出部と、前記複数の特徴点の実空間座標を特定の位置から撮影したフレーム画像に逆投影し第１の逆投影座標および第２の逆投影座標を算出する逆投影座標算出部と、前記第１の逆投影座標および前記第２の逆投影座標に基づいて、前記特徴点追跡部が誤追跡した誤追跡点の検出を行う誤追跡点検出部とを備え、前記第１の逆投影座標の算出に用いた前記特定の位置は、前記複数の特徴点の実空間座標と、前記特定の位置から撮影したフレーム画像中における前記複数の特徴点の画像座標とに基づく第１の方法により算出され、前記第２の逆投影座標の算出に用いた前記特定の位置は、前記第１の方法と異なる方法、または前記第１の逆投影座標の場合と異なる系統の条件を用いた前記第１の方法により得られたものであることを特徴とする動画処理装置である。

ここで、動画像は、時間軸上で次々に連続的に取得された複数のフレーム画像により構成される。実空間座標は、測定対象物が存在する空間の座標であり、一般に３次元座標により記述される。特徴点は、測定対象物の粗さ、凹凸、エッジ等の視覚的に他の部分と区別でき、特徴がある部分として捉えることができる点である。例えば、線状の縁の部分は、線状に特徴点が分布した部分として捉えられる。特徴点は複数取得され、特徴点の分布により、測定対象物の３次元形状が表現される。特徴点をより細かく取得すれば、測定対象物の３次元的な描写はより細かく、高精度となる。誤追跡された特徴点というのは、異なるフレーム間において対応関係の特定に誤りがある特徴点のことをいう。例えば、第１のフレームと第２のフレームの間における特徴点の対応関係の特定（特徴点の追跡）において、本来対応関係にあるはずの特徴点同士が関連付けられず、本来は異なる特徴点であるもの同士が同一の特徴点として誤って対応付けられた場合、この誤って対応付けられた特徴点が誤追跡点となる。

第１の方法と異なる方法というのは、第１の方法と手順が異なる方法、あるいは第１の方法と異なる計測手段等を用いて第１の方法と同種のデータを得る方法のことをいう。例えば、第１の方法として、
（ステップ１）
（ｎ−２）フレーム目および（ｎ−１）フレーム目のフレーム画像に基づく測定対象物の特徴点の３次元座標の算出
（ステップ２）
該算出した特徴点の３次元座標とｎフレーム目のフレーム画像とに基づくｎフレーム目の撮影部の位置の座標の算出
を採用した場合を考える。この場合、第１の方法と異なる方法として、上記と異なる演算の方法（例えば、他の標定方法）によるｎフレーム目の撮影部の位置の座標の算出、あるいはＧＰＳを用いたｎフレーム目の撮影部の位置の座標の取得といった場合が挙げられる。

第１の逆投影座標の場合と異なる系統の条件というのは、用いる条件（例えば初期条件のパラメータ）の出処として、異なる手法や異なる計測装置を用いる場合をいう。この場合の例としては、例えば第１の方法として、上記（ステップ１）→（ステップ２）の手順を採用した場合において、測定対象物の特徴点の３次元座標の算出に用いる初期条件の取得を、撮影した画像中の基準点を用いる場合（第１の系統の条件を採用）とＧＰＳ情報に基づく場合（第２の系統の条件を採用）の例を挙げることができる。なお、誤差や不確定要素が全く存在しない理想的な場合には、異なる系統の条件は一致する。

本発明によれば、移動しながら撮影される複数のフレーム間における特徴点の誤追跡点、つまり、間違えて特徴点を追跡し、異なるフレーム間で誤った対応関係とされた特徴点が高い精度で検出される。

一般に、測定対象物（撮影の対象物）の特徴点の実空間座標の値の算出の精度は、撮影部の位置（カメラの位置）、演算に用いる撮影部の姿勢（カメラの向き）の精度の影響を大きく受ける。すなわち、測定対象物の特徴点の座標の算出値は、原理的に撮影部の僅かな姿勢（向き）の違い、および位置の違いに大きな影響を受ける。また、この影響は、全ての特徴点に一様に及ぶものではなく、この影響を受け易い特徴点もあれば、この影響を受け難い特徴点もある。そしてこの影響の程度も撮影部の位置と姿勢によって異なる。

特に、誤追跡された特徴点は、トラッキング点（算出で求めた点）が実際の位置からずれているので、上述した撮影部の位置および姿勢の僅かな違いの影響が顕著に現れる。また、この誤追跡点の算出の精度に現れる影響の程度も撮影部の位置および姿勢のデータの違いを敏感に受ける。

本発明では、誤追跡点の検出を、特定の位置から撮影したフレーム画像に測定対象物の特徴点の３次元座標を逆投影することで得た逆投影座標を用いて行う。この逆投影座標は、当該フレーム画像に逆投影された当該特徴点の投影点の当該フレーム画像中における画像座標である。本発明では、この逆投影座標を得る際に利用される撮影部の特定の位置を得る過程において、異なる方法または方法は同じであるが異なる条件を利用する。上述したように、測定対象物の特徴点の算出位置精度は、撮影部の位置および姿勢の僅かな違いの影響を顕著に受ける。そこで、本発明では、測定対象物の特徴点に基づく撮影部の位置の特定に際して、異なる方法または方法は同じであるが異なる条件を利用することで、一方の処理で誤追跡点と判定されなかった特徴点が、他方の処理で誤追跡点と判定される確率を増大させ、誤追跡点の検出漏れを低減する。言い換えると、本発明の手法を採用しない場合に比較して誤追跡点の検出の精度を高める。

本発明は、動画像を撮影する側の位置情報を得る技術に利用できるのは勿論であるが、測定対象物側の位置情報を得る技術に利用することもできる。例えば、移動する移動体から風景を撮影し、その風景の三次元データを得る技術に利用することもできる。

請求項２に記載の発明は、請求項１に記載の発明において、前記誤追跡点検出部は、前記第１の逆投影座標と前記フレーム画像中の特徴点の位置との差、および前記第２の逆投影座標と前記フレーム画像中の特徴点の位置との差に基づいて前記誤追跡点の検出を行うことを特徴とする。

実空間中における特徴点の特定（その３次元座標の算出）が正確でない場合、その特徴点の実画像（フレーム画像）に逆投影された状態における位置（逆投影座標中における位置）と、実画像中の位置がずれる可能性が高い。請求項２に記載の発明では、このことを利用して、逆投影座標を用いての誤追跡点の検出が行われる。

請求項３に記載の発明は、請求項１または２に記載の発明において、前記誤追跡点検出部は、前記第１の逆投影座標と前記フレーム画像中の特徴点の位置との差が予め定められた値を超えた場合、および前記第２の逆投影座標と前記フレーム画像中の特徴点の位置との差が予め定められた値を超えた場合の少なくとも一方が成立した場合に該当する特徴点を誤追跡点として除去することを特徴とする。

請求項３に記載の発明によれば、第１の逆投影座標を用いた場合に検出された誤追跡点と、第２の逆投影座標を用いた場合に検出された誤追跡点の両方（つまりor条件）を、除去の対象とすることで、一方の逆投影座標では検出されず他方の逆投影座標で検出される誤追跡点の除去を行うことができる。この方法によれば、誤追跡点の検出漏れが抑えられ、誤追跡点が除去されず、後々の演算で誤差が徐々に増大する不都合の発生が抑えられる。

請求項４に記載の発明は、請求項１〜３のいずれか一項に記載の発明において、前記第２の逆投影座標の算出に用いた前記特定の位置ではなく、前記第１の逆投影座標の算出に用いた前記特定の位置が前記撮影部の位置として出力されることを特徴とする。

請求項４に記載の発明によれば、一方の処理における測定対象物の３次元座標のデータを次々と引継ぎ、他方の処理は後追跡された特徴点を効率よく検出するためにのみ用い、そのデータは、次のサイクルに引き継がない。この態様では、第２の逆投影座標の算出に用いたデータは、後の処理に引き継がれず、処理のサイクルが繰り返される毎にリフレッシュされる。このため、第２の逆投影座標の算出に係る処理において、何らかの理由により仮に誤差が生じても、それが徐々に累積さてゆく問題が生じない。

請求項５に記載の発明は、請求項１〜４のいずれか一項に記載の発明において、前記特徴点抽出部は、前記誤追跡点が検出された領域から再度の特徴点の抽出を行うことを特徴とする。誤追跡点が除去されると、後の処理に引き継がれる特徴点の数が減少する。特徴点の数が減少すると、演算の精度が低下する可能性が増大する。そこで請求項５に記載の発明では、誤追跡点が検出された領域から再度の特徴点の抽出を行うことで後の処理における特徴点の数を確保し、演算精度の低下を防止する。

請求項６に記載の発明は、請求項１〜５のいずれか一項に記載の発明において、前記第２の逆投影座標の算出に用いた前記特定の位置は、前記第１の逆投影座標の場合と異なる系統の条件を用いた前記第１の方法により得られたものであり、前記異なる系統の条件は、前記第１の方法の演算条件として与えられる撮影部の位置と姿勢の一方または両方に係る条件であることを特徴とする。

同じ演算の方法を用いた場合における逆投影座標を用いた誤追跡点の検出において、その結果に最も敏感に影響するのは、撮影部の位置と姿勢に係る初期条件の値である。請求項６に記載の発明では、この演算結果に最も敏感に影響する撮影部の位置および姿勢の初期値の少なくとも一方を異なる系統のものとすることで、誤追跡点が少なくとも一方の逆投影座標で検出される傾向をより顕著にし、より高い精度で誤追跡点の検出が行われるようにする。

請求項７に記載の発明は、請求項１〜６のいずれか一項に記載の発明において、前記第１の逆投影座標と前記第２の逆投影座標とが異なる種類の動画像に基づいて得られることを特徴とする。異なる種類の動画像を用いることで、誤追跡点が少なくとも一方の逆投影座標で検出される傾向がより顕著になる。

請求項８に記載の発明は、請求項７に記載の発明において、前記異なる種類の動画像が立体の動画像と立体でない動画像の組み合わせ、または複数のフレーム画像により構成される動画像と３次元点群画像の組み合わせであることを特徴とする。

請求項９に記載の発明は、請求項１〜５のいずれか一項に記載の発明において、少なくとも２フレームのフレーム画像における前記特徴点の座標と前記撮影部の撮影速度とから前記撮影部の相対移動速度を算出する移動速度算出部と、前記移動速度算出部で算出した前記相対移動速度を利用して前記撮影部の位置データを算出する位置算出部とを更に備え、当該位置算出部により、前記第１の方法と異なる方法により得られる前記第２の逆投影座標の算出に用いた前記特定の位置の算出が行われることを特徴とする。

請求項１０に記載の発明は、請求項１〜５のいずれか一項に記載の発明において、少なくとも２フレームの画像それぞれに対応する前記撮影部の位置データから前記撮影部の変位量を算出する変位量算出部と、前記変位量算出部で算出した前記撮影部の変位量を利用して前記撮影部の位置データを算出する位置算出部とを更に備え、当該位置算出部により、前記第１の方法と異なる方法により得られる前記第２の逆投影座標の算出に用いた前記特定の位置の算出が行われることを特徴とする。

請求項１１に記載の発明は、測定対象物に対して相対的に移動する撮影部によって連続的に撮影された当該測定対象物の動画像を取得する動画像取得ステップと、前記動画像に含まれる複数のフレーム画像のそれぞれから複数の特徴点を抽出する特徴点抽出ステップと、前記複数のフレーム画像中における前記複数の特徴点の対応関係を追跡する特徴点追跡ステップと、前記対応関係が特定された複数の特徴点の実空間座標の算出を行う実空間座標算出ステップと、前記複数の特徴点の実空間座標を特定の位置から撮影したフレーム画像に逆投影し第１の逆投影座標および第２の逆投影座標を算出する逆投影座標算出ステップと、前記第１の逆投影座標および前記第２の逆投影座標に基づいて、前記特徴点追跡部が誤追跡した誤追跡点の検出を行う誤追跡点検出ステップとを有し、前記第１の逆投影座標の算出に用いた前記特定の位置は、前記複数の特徴点の実空間座標と、前記特定の位置から撮影したフレーム画像中における前記複数の特徴点の画像座標とに基づく第１の方法により算出され、前記第２の逆投影座標の算出に用いた前記特定の位置は、前記第１の方法と異なる方法、または前記第１の逆投影座標の算出の場合と異なる系統の条件を用いた前記第１の方法により得られたものであることを特徴とする動画処理方法である。

請求項１２に記載の発明は、コンピュータに読み取られて実行される動画処理用のプログラムであって、コンピュータを測定対象物に対して相対的に移動する撮影部によって連続的に撮影された当該測定対象物の動画像を取得する動画像取得手段と、前記動画像に含まれる複数のフレーム画像のそれぞれから複数の特徴点を抽出する特徴点抽出手段と、前記複数のフレーム画像中における前記複数の特徴点の対応関係を追跡する特徴点追跡手段と、前記対応関係が特定された複数の特徴点の実空間座標の算出を行う実空間座標算出手段と、前記複数の特徴点の実空間座標を特定の位置から撮影したフレーム画像に逆投影し第１の逆投影座標および第２の逆投影座標を算出する逆投影座標算出手段と、前記第１の逆投影座標および前記第２の逆投影座標に基づいて、前記特徴点追跡部が誤追跡した誤追跡点の検出を行う誤追跡点検出手段ととして機能させ、前記第１の逆投影座標の算出に用いた前記特定の位置は、前記複数の特徴点の実空間座標と、前記特定の位置から撮影したフレーム画像中における前記複数の特徴点の画像座標とに基づく第１の方法により算出され、前記第２の逆投影座標の算出に用いた前記特定の位置は、前記第１の方法と異なる方法、または前記第１の逆投影座標の場合と異なる系統の条件を用いた前記第１の方法により得られたものであることを特徴とする動画処理用のプログラムである。

本発明によれば、動画像を処理する技術において、フレーム間で引き継がれる測定対象物の特徴点の追跡精度の低下を効果的に低減する技術が提供される。

実施形態の概念図である。 実施形態における動画処理装置のブロック図である。 実施形態における処理の手順の一例を示すフローチャートである。 テンプレートマッチングの原理を説明する説明図である。 移動するカメラと測定対象物の特徴点の関係を示すイメージ図である。 前方交会法を説明する説明図である。 後方交会法を説明する説明図である。 相互標定を説明する説明図である。 逆投影座標を説明するイメージ図である。 実施形態における他の処理の手順の一例を示すフローチャートである。 実施形態における他の処理の手順の一例を示すフローチャートである。 実施形態における他の処理の手順の一例を示すフローチャートである。 実施形態における他の処理の手順の一例を示すフローチャートである。 実施形態における他の処理の手順の一例を示すフローチャートである。

１．第１の実施形態
（構成）
図１には、移動体１０が示されている。移動体１０は、例えば乗用車である。ここでは、移動体１０として乗用車の例を示すが、移動体はそれに限定されるものではない。移動体１０は、動画処理装置１００、ＧＰＳ受信機２００、姿勢計測装置３００、カメラ４００を備えている。

動画処理装置１００は、カメラ４００が撮影した路面５００の動画の画像データに基づいて、移動しつつある移動体１０の刻々と変化する位置を算出する。ＧＰＳ受信機２００は、位置取得手段の一例であり、公知のＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）を利用し、移動体の位置情報を取得する。姿勢計測装置３００は、カメラ４００の姿勢を計測するもので、慣性計測装置やジャイロスコープなどの姿勢センサ、加速度計、角速度計、角加速度計、傾斜計等の一部または複数を備えている。

カメラ４００は、撮影部の一例であり、特定の周波数でフレーム画像を連続的に撮影する動画像撮影手段である。この例において、カメラ４００は一台である。またカメラ４００は、移動体１０を構成するフレームに固定されており、移動体１０の車体に対して向き（光軸）は固定されている。

図２には、動画処理装置１００のブロック図が示されている。動画処理装置１００は、コンピュータとして機能する装置であり、図示しないがＣＰＵ、ＲＡＭ、ＲＯＭ、各種インターフェース機能を有している。例えば、汎用のコンピュータを用いて動画処理装置１００を構成することも可能である。勿論、専用のハードウェアにより動画処理装置１００の一部または全部を構成することも可能である。動画処理装置１００を動かすためのプログラムは、動画処理装置１００内のデータ記憶領域に記憶されており、適当な記憶領域に読み出されて動画処理装置１００内のＣＰＵにより実行される。

動画処理装置１００は、動画取得部１０１、外部標定要素取得部１０２、特徴点抽出部１０３、特徴点追跡部１０４、特徴点座標算出部１０５、不整合点除去部１０６、外部標定要素算出部（カメラ位置算出部）１０７、バンドル調整部１０８、逆投影座標算出部１０９、誤追跡点検出部１１０、誤追跡点除去部１１１を備えている。これらの機能部は、ソフトウェア的に構成されており、以下に説明する機能を有している。なお、符号１１２〜１１５の機能部は、本実施形態では利用しない（後述する実施形態のところで説明する）。

動画取得部１０１は、カメラ４００が撮影した動画像のデータを受け付ける。外部標定要素取得部１０２は、カメラ４００の外部標定要素（位置および姿勢のデータ）を取得する。例えば、外部標定要素取得部１０２は、カメラ４００が撮影した画像のデータに基づいて外部標定要素を取得する。また、外部標定要素取得部１０２は、ＧＰＳ受信機２００および姿勢計測装置３００からの出力に基づいて外部標定要素を取得する。この場合、外部標定要素取得部１０２は、カメラ４００からの位置情報を取得する位置取得手段および姿勢計測装置３００からのカメラ４００の姿勢に係るデータを取得する姿勢取得手段として機能する。また、外部標定要素取得部１０２は、外部から与えられる情報に基づく外部標定要素を取得する機能を有する。この外部から与えられる情報としては、路面上の標識、路面上や道路上に設けられた光学ビーコンや電波ビーコン等から得られる情報が含まれる。

特徴点抽出部１０３は、動画取得部１０１が取得した動画を構成するフレーム画像の中から、撮影対象物の特徴点をソフトウェア処理により抽出する。特徴点の抽出には、ソーベル、ラプラシアン、プリューウィット、ロバーツなどの微分フィルタを用いる。

特徴点追跡部１０４は、異なるフレーム画像間における特徴点の対応関係を求め、異なるフレーム画像間における対応する特徴点の追跡を行う。特徴点の追跡は、一方の画像で抽出された特徴点に対応する対応点を他方の画像内で探索することで行われる。対応点の探索には、残差逐次検定法（Sequential Similarity Detection Algorithm Method:SSDA）、正規化相関法、方向符号照合法（Orientation Code Matching:OCM）などのテンプレートマッチングが用いられる。

特徴点座標算出部１０５は、前方交会法を用いて、測定対象物の撮影画像から抽出した特徴点の三次元座標を算出する。前方交会法とは、既知の２点以上から未知点へ向かう方向を観測して、それらの方向線の交点として未知点の位置の座標を定める方法である。

不整合特徴点除去部１０６は、測定対象物である路面５００上に存在しないと見なされる特徴点を除去する。すなわち、この例においては、測定対象物は路面５００であり、特徴点は、路面５００の表面にあると見なせる。したがって、特徴点の３次元座標の高さ方向の座標はある範囲に制限される。そこで、高さ方向における特徴点の３次元座標を、閾値を用いて判定し、高さ方向における特定の範囲から外れている特徴点を路面５００から離れた位置として誤検出された特徴点とみなし、それを不整合特徴点として除去する。この処理が不整合特徴点除去部１０７において行われる。なお、判定に用いる閾値は、予め実験的に求めておいたものを利用する。

外部標定要素算出部１０７は、後方交会法あるいは相互標定法に基づいて、外部標定要素（カメラ４００の位置、姿勢）を算出する。後方交会法とは、未知点から３つ以上の既知点へ向かう方向を観測して、それらの方向線の交点として未知点の位置を定める方法である。後方交会法としては、単写真標定、ＤＬＴ法（Ｄｉｒｅｃｔ Ｌｉｎｅｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ Ｍｅｔｈｏｄ）が挙げられる。外部標定要素算出部１０７により、移動体１０の移動に従って刻々と変化するカメラ４００の位置（移動体１０の位置）の情報が得られる。この意味で、外部標定要素算出部１０７は、カメラ位置算出部として機能する。

バンドル調整部１０８は、バンドル調整を行う。バンドル調整は、異なる撮影位置で撮影された複数のフレーム画像を用いてカメラ４００の位置および姿勢の算出を行う際に、算出の精度を高めるために行われる最適化処理である。バンドル調整の詳細については後述する。逆投影座標算出部１０９は、ある特定のカメラ４００の位置から撮影したフレーム画像に、撮影対象の特徴点の座標を逆投影して逆投影点を得、その逆投影点の座標（逆投影座標）を算出する。逆投影座標を算出するための処理の詳細については後述する。

誤追跡点検出部１１０は、逆投影座標算出部１０９が算出した逆投影座標を利用して、特徴点追跡部１０４が誤追跡した特徴点を検出する。誤追跡点を検出する手順の詳細については後述する。誤追跡点除去部１１１は、誤追跡点検出部１１０が検出した誤追跡点を、特徴点として捉えているデータ群の中から除去する。

（処理の一例）
以下、動画処理装置１００を用いて、移動中の移動体１０の位置情報を算出する処理の手順の一例を説明する。図３は、動画処理装置１００において行われる処理の手順の一例を示すフローチャートである。図３のフローチャートを実行するためのプログラムは、動画処理装置１００が備える適当なメモリ領域に格納され、動画処理装置１００が備えるＣＰＵによって実行される。なお、図３のフローチャートを実行するためのプログラムを外部の適当な記憶媒体に格納し、そこから動画処理装置１００に提供される形態も可能である。この点は、後述する図１０〜図１４に示すフローチャートを実行するプログラムにおいても同じである。

図３に示す処理が開始されると、まず、動画像取得部１０１によって、カメラ４００が撮影した動画像の画像データが取得される（ステップＳ１０１）。動画像は、カメラ４００と対象物（この場合は、路面５００）とが少しずつ相対的に移動していく過程において撮影された複数の連続する画像（この画像の一つ一つをフレーム画像という）で構成される。動画像取得部１０１は、時系列的に得られる複数のフレーム画像をリアルタイムに順次取得する。

動画像のデータを取得した後、２系統の処理が並列的に行われる。勿論、一方の系統の処理の一部を行った後で他方の処理の一部を行う、といった手順であってもよいし、ＣＰＵを２つ利用し、リアルタイムに並列処理を行っても良い。図３には、処理系統１と処理系統２が記載されている。処理系統１は、路面５００に対して移動するカメラ４００の位置を刻々と算出する処理である。処理系統２は、処理系統１の処理が繰り返し行われてゆく過程において、追跡されつつ受け継がれる測定対象物（路面５００）の特徴点の誤追跡点（異常点）を検出し、処理系統１の処理の精度の低下を抑えるために行なわれる。図３に示すフローでは、処理系統１と処理系統２は、基本的に同じ処理の手順を踏むが、初期値として用いるパラメータの出処が異なっている。以下、処理系統１を主に説明し、副次的に処理系統２を説明する。なお、図３のフローチャートにおいて、左右の対応する位置にある処理は、図２の同じ機能部によって実行される。例えば、処理系統１のステップ１０４の処理と処理系統２のステップＳ１０４’は、図２の特徴点追跡部１０４において実行される。

動画像のデータを取得後、処理系統１では、初期化処理が行われる（ステップＳ１０２）。ステップＳ１０２では、カメラ４００の位置と姿勢の初期値が取得される。この処理は、外部標定要素取得部１０２において行われる。この処理では、位置が明確に判っている基準点が撮影された画像からカメラ４００の内部標定要素と外部標定要素の初期値の算出が行われる。以下、この初期値の取得に係る処理の詳細を説明する。

まず、測定対象となる実空間に基準点を設置し、この基準点の実空間における三次元座標をトータルステーションやＧＰＳを用いて計測する。あるいは、実空間における３次元座標が既知である基準点を用意する。次に、その基準点をカメラ４００で撮影し、基準点の三次元座標とフレーム画像中における画像座標とに基づいて、後方交会法によってカメラの内部標定要素と外部標定要素の初期値を算出する。

別な方法として、トータルステーションやＧＰＳを用いて、複数の撮影位置の三次元座標値を与え、複数の撮影位置で撮影されたステレオ画像から、外部標定要素の初期値を求めるようにしてもよい。更に別な方法として、トータルステーションやＧＰＳを用いず、間の距離が既知である複数の基準点が描かれた基準板を移動しながら、複数枚の画像を撮影し、基準点が撮影された複数枚の画像から、基準点の画像座標を算出し、相互標定などを用いてカメラ４００の位置、姿勢の初期値を得る方法を用いてもよい（ただし、この場合、得られる座標系はローカル座標系となる）。なお、後方交会法、相互標定の具体的な演算の詳細については後述する。

処理系統１のステップＳ１０２に対応する処理系統２の処理（ステップＳ１０２’）でもステップＳ１０２と同様の処理が行われ、カメラ４００の位置および姿勢のデータが得られる。

処理系統１に戻り、ステップＳ１０２の後、取得した動画像のフレーム画像から特徴点の抽出を行う（ステップＳ１０３）。ここでは、１フレーム目、２フレーム目、３フレーム目の最低３フレームのフレーム画像のそれぞれから、特徴点を抽出する。この処理は、図２における特徴点抽出部１０３において行われる。特徴点の検出には、モラベック、ラプラシアン、ソーベルなどのフィルタが用いられる。また、ステップＳ１０３と同様の処理が、処理系統２においても行われる（ステップＳ１０３’）。

特徴点を抽出したら、異なるフレーム画像間において、対応する特徴点を特定し、その追跡を行う（ステップＳ１０４）。ここでは、１フレーム目、２フレーム目、３フレーム目における特徴点の対応関係が特定される。この処理は、特徴点追跡部１０４において行われる。この処理は、処理系統２においても行われる（ステップＳ１０４’）。なお、異なるフレーム画像中における特徴点の対応関係を特定するための情報は、各フレーム画像内に埋め込まれる。

この例において、特徴点の追跡には、テンプレートマッチングが用いられる。テンプレートマッチングとしては、残差逐次検定法（ＳＳＤＡ：Ｓｅｑｕｅｎｔｉａｌ Ｓｉｍｉｌａｒｉｔｙ Ｄｅｔｅｃｔｉｏｎ Ａｌｇｏｒｉｔｈｍ）、相互相関係数法などが挙げられる。以下、テンプレートマッチングの一例を説明する。テンプレートマッチングは、２つの座標系における画像の座標データを相互に比較し、両者の相関関係により、２つの画像の対応関係を求める方法である。テンプレートマッチングでは、２つの視点それぞれから見た画像の特徴点の対応関係が求められる。図４は、テンプレートマッチングの原理を説明する説明図である。この方法では、図示するように、Ｎ_１×Ｎ_１画素のテンプレート画像を、それよりも大きいＭ_１×Ｍ_１画素の入力画像内の探索範囲（Ｍ_１−Ｎ_１＋１）^２上で動かし、下記数１で示される相互相関関数Ｃ（ａ，ｂ）が最大となるような（つまり相関の程度が最大となるような）テンプレート画像の左上位置を求める。

上記の処理は、一方の画像の倍率を変えながら、また回転させながら行われる。そして、相関関係が最大となった条件で、両画像の一致する領域が求まり、更にこの領域における特徴点を抽出することで、対応点の検出が行われる。

テンプレートマッチングを用いることで、比較する２つの画像の一致する部分が特定でき、２つの画像の対応関係を知ることができる。この方法では、２つ画像の相関関係が最大となるように両者の相対的な位置関係が定められる。２つの画像の相関関係は、両画像の特徴点によって決まる。

ステップＳ１０４によって特徴点の追跡を行った後、複数のフレーム画像、この場合でいうと、１フレーム目のフレーム画像と２フレーム目のフレーム画像において対応する特徴点の３次元座標の算出が行われる（ステップＳ１０５）。この処理は、図２の特徴点座標算出部１０５において行われる。

この例では、時間差を置いて異なる位置から取得された２つのフレーム画像（１フレーム目のフレーム画像と２フレーム目のフレーム画像）をステレオペア画像として用い、三角測量の原理により、２つのフレーム画像中で対応関係が特定された特徴点の３次元座標の算出が行われる。図５は、この様子を示すイメージ図である。図５に示すように、１フレーム目の撮影時に比較して、２フレーム目の撮影時には、図の右の方向にカメラ４００は移動している。従って、同時ではないが、僅かな時間差をおいて、×印で示される測定対象物の複数の特徴点を、異なる２つの位置および方向から撮影した２つのフレーム画像が得られる。ここで、１フレーム目におけるカメラ４００の位置と姿勢、更に２フレーム目におけるカメラ４００の位置と姿勢は、ステップＳ１０２（ステップＳ１０２’）において取得され既知であるので、立体写真測量の原理から特徴点の３次元座標を求めることができる。これが、ここで説明する特徴点座標算出部１０５において行われる処理の基本原理である。

以下、この処理の詳細な手順の一例を説明する。ここでは、前方交会法を用いて、１フレーム目のフレーム画像と２フレーム目のフレーム画像の中で対応関係が特定された特徴点の３次元座標の算出を行う。なお、以下においては、処理系統１のステップＳ１０５における処理を説明するが、ステップＳ１０５’における処理の内容も同じである。

図６は、前方交会法を説明する説明図である。前方交会法とは、既知の２点（Ｏ_１，Ｏ_２）上から未知点Ｐへ向かう方向を観測して、それらの方向線の交点として未知点Ｐの位置を求める方法である。図６において、対象空間の座標系をＯ−ＸＹＺとする。ここで、１フレーム目のフレーム画像のカメラの投影中心Ｏ_１の座標（Ｘ_０１，Ｙ_０１，Ｚ_０１）およびカメラ座標軸の傾き（ω_１，φ_１，κ_１）と、２フレーム目のフレーム画像のカメラの投影中心Ｏ_２の座標（Ｘ_０２，Ｙ_０２，Ｚ_０２）およびカメラ座標軸の傾き（姿勢）（ω_２，φ_２，κ_２）は、ステップＳ１０２において既に取得され既知である。また、内部標定要素（焦点距離、主点位置、レンズ歪係数）も既知である。

ここで、１フレーム目のフレーム画像上の特徴点ｐ_１（ｘ_１，ｙ_１）と、これに対応する２フレーム目のフレーム画像上の特徴点ｐ_２（ｘ_２，ｙ_２）は、それぞれのフレーム画像から得られる。したがって、対象空間の未知点となる特徴点Ｐの３次元座標（Ｘ，Ｙ，Ｚ）は、光線Ｏ_１ｐ_１と光線Ｏ_２ｐ_２の交点として定まる。ただし、実際には誤差があり、２本の光線が正確に交わらないため、最小二乗法によって交点位置を求める。具体的には、２本の共線条件式（数２）を立てる。これに既知の外部標定要素、内部標定要素、対応点の画像座標を代入する。

さらに、この共線条件式に未知点Ｐの近似値（Ｘ’，Ｙ’，Ｚ’）に補正量を加えたもの（Ｘ’＋ΔＸ，Ｙ’＋ΔＹ，Ｚ’＋ΔＺ）を代入する。そして、近似値回りにテーラー展開して線形化し、最小二乗法により補正量を求める。求めた補正量によって近似値を補正し、同様の操作を繰り返し、収束解を求める。この操作によって、特徴点の三次元座標Ｐ（Ｘ，Ｙ，Ｚ）が求められる。この計算をすべて特徴点について行い、１フレーム目のフレーム画像と２フレーム目のフレーム画像の中で対応関係が特定された複数の特徴点の３次元座標の算出が行われる。以上がステップＳ１０５で行われる処理の内容の詳細な一例である。また、同様な処理が、ステップＳ１０５’においても行われる。

ステップＳ１０５の後、閾値を用いて路面５００上から離れた高さ位置にある特徴点を異常点として検出し、それを除去する（ステップＳ１０６）。この処理は、不整合特徴点除去部１０６において行われる。この処理は、処理系統２においても行われる（ステップＳ１０６’）。なお、このステップＳ１０６とステップＳ１０６’は省略可能である。

ステップＳ１０６の後、測定対象物の特徴点の３次元座標に基づいて、３フレーム目におけるカメラ４００の外部標定要素の算出を行う（ステップＳ１０７）。この処理によって、３フレーム目におけるカメラ４００の位置と姿勢が求められる。この処理は、外部標定要素算出部１０７において行われる。ここでは、後方交会法を用いてカメラ４００の外部標定要素の算出が行われる。

以下、ステップＳ１０７で行われる演算の詳細な一例を説明する。図７は、後方交会法を説明する説明図である。後方交会法とは、未知点Ｏから３つ以上の既知点Ｐ_１、Ｐ_２、Ｐ_３へ向かう方向を観測して、それらの方向線の交点として未知点Ｏの位置を求める方法である。ここでは、ステップＳ１０５において求めた測定対象物の特徴点の３次元座標を図７の基準点Ｐ_１、Ｐ_２、Ｐ_３とし、それを基にして、後方交会法によって３フレーム目におけるカメラ４００の外部標定要素（Ｘ_０，Ｙ_０，Ｚ_０，ω，φ，κ）を算出する。後方交会法としては、単写真標定、ＤＬＴ法、相互標定がある。

まず、単写真標定を用いて３フレーム目におけるカメラ４００の外部標定要素（Ｘ_０，Ｙ_０，Ｚ_０，ω，φ，κ）を算出する場合を、図７を参照して説明する。単写真標定は、１枚の写真の中に写された基準点に成り立つ共線条件を用いて、写真を撮影したカメラの位置Ｏ（Ｘ_０，Ｙ_０，Ｚ_０）およびカメラの姿勢（ω，φ，κ）を求める手法である。共線条件とは、投影中心Ｏ、写真像（ｐ_１，ｐ_２，ｐ_３）および測定対象点（この場合は特徴点）（Ｏｐ_１Ｐ_１，Ｏｐ_２Ｐ_２，Ｏｐ_３Ｐ_３）が、一直線上にあるという条件である。ここで、カメラの位置Ｏ（Ｘ_０，Ｙ_０，Ｚ_０）とカメラの姿勢（ω，φ，κ）は外部標定要素である。

まず、カメラ座標系をｘ，ｙ，ｚ、写真座標系ｘ，ｙ、測定対象物の座標系である基準座標系Ｘ，Ｙ，Ｚとする。カメラを各座標軸の正方向に対して左回りにそれぞれω，φ，κだけ順次回転させた向きで撮影が行われたものとする。そして、４点の画像座標（図７では３点のみ記載）と対応する基準点の三次元座標を下記数３に示す２次の射影変換式に代入し、観測方程式を立ててパラメ−タｂ１〜ｂ８を求める。

そして、数３のパラメータｂ１〜ｂ８を用いて、以下の数４から外部標定要素（Ｘ_０，Ｙ_０，Ｚ_０，ω，φ，κ）を求める。ここで、（Ｘ_０，Ｙ_０，Ｚ_０）は３フレーム目におけるカメラ４００の位置を示す座標であり、（ω，φ，κ）は、その位置におけるカメラ４００の姿勢（向き）である。

以上のようにして、測定対象物（路面５００）の特徴点の３次元座標に基づいて、３フレーム目におけるカメラ４００の３次元位置の座標と姿勢（向き）が単写真標定を用いて算出される。

次に、ＤＬＴ法によって、測定対象物（路面５００）の特徴点の３次元座標に基づく３フレーム目におけるカメラ４００の位置と姿勢を算出する手順について説明する。ＤＬＴ法は、写真座標と対象空間の三次元座標との関係を３次の射影変換式で近似したものである。ＤＬＴ法の基本式は以下の数５となる。なお、ＤＬＴ法の詳細については、「村井俊治：解析写真測量、ｐ４６−５１、ｐ１４９−１５５」等に記載されている。

数５の式の分母を消去すると、数６の線形式を導き出せる。

さらに、数６を変形すると、以下の数５となる。

数７に６点以上の基準点の三次元座標を代入し、最小二乗法を用いて解くと、写真座標と対象点座標との関係を決定するＬ_１〜Ｌ_１１の１１個の未知変量を取得できる。なお、Ｌ_１〜Ｌ_１１には、外部標定要素が含まれる。

次に、相互標定法による外部標定要素の算出について説明する。相互標定は、既知点がなくとも相対的な外部標定要素が求められる方法である。また、既知点があれば、絶対標定を行うことで、絶対座標を求めることができる。

図８は、相互標定を説明する説明図である。相互標定は、左右２枚の画像における６点以上の対応点によって外部標定要素を求める。相互標定では、投影中心Ｏ_１とＯ_２と基準点Ｐを結ぶ２本の光線が同一平面内になければならいという共面条件を用いる。以下の数８に、共面条件式を示す。なお、ここで例えば左画像が２フレーム目のフレーム画像に当たり、右画像が３フレーム目のフレーム画像に当たる。

図８に示すように、モデル座標系の原点を左側の投影中心Ｏ_１にとり、右側の投影中心Ｏ_２を結ぶ線をＸ軸にとるようにする。縮尺は、基線長を単位長さとする。このとき、求めるパラメータは、左側のカメラのＺ軸の回転角κ_１、Ｙ軸の回転角φ_１、右側のカメラのＺ軸の回転角κ_２、Ｙ軸の回転角φ_２、Ｘ軸の回転角ω_２の５つの回転角となる。この場合、左側のカメラのＸ軸の回転角ω_１は０なので、考慮する必要はない。このような条件にすると、数８の共面条件式は数９のようになり、この式を解けば各パラメータが求められる。

ここで、モデル座標系ＸＹＺとカメラ座標系ｘｙｃの間には、次の数１０に示すような座標変換の関係式が成り立つ。

これらの式を用いて、次の手順により、未知パラメータ（外部標定要素）を求める。
（１）未知パラメータ（κ_１，φ_１，κ_２，φ_２，ω_２）の初期近似値は通常０とする。
（２）数８の共面条件式を近似値のまわりにテーラー展開し、線形化したときの微分係数の値を数９により求め、観測方程式をたてる。
（３）最小二乗法をあてはめ、近似値に対する補正量を求める。
（４）近似値を補正する。
（５）補正された近似値を用いて、（１）〜（４）までの操作を収束するまで繰り返す。

相互標定が収束した場合、さらに接続標定が行われる。接続標定とは、各モデル間の傾き、縮尺を統一して同一座標系とする処理である。この処理を行った場合、以下の数１１で表される接続較差を算出する。算出した結果、ΔＺ_ｊおよびΔＤ_ｊが、所定値（例えば、０．０００５（１／２０００））以下であれば、接続標定が正常に行われたと判定する。

上記相互標定により、３フレーム目におけるカメラ４００の位置および姿勢が求められる。その後、バンドル調整を行っても良い（ステップＳ１０８，Ｓ１０８’）。バンドル調整は、バンドル調整部１０８において行われる。バンドル調整により、測定対象物の特徴点、フレーム画像上の点、投影中心の３点を結ぶ光束（バンドル）が同一直線上になければならないという共線条件に基づき、各画像の光束１本毎に観測方程式を立て、最小二乗法によって同時調整が行われ、３フレーム目におけるカメラ４００の外部標定要素および測定対象物の特徴点の三次元座標の最適化が図られる。バンドル調整は、前述した数２の共線条件式を用いる。また、数２における各パラメータには、下記数１２の関係がある。

バンドル調整は、逐次近似解法を用いる。具体的には、基準点や特徴点の三次元座標、外部標定要素の真値を、各々の近似値（Ｘ’，Ｙ’，Ｚ’）、（Ｘ_０’，Ｙ_０’，Ｚ_０’，ω’，φ’，κ’）に補正量を加えたもの（Ｘ’＋ΔＸ，Ｙ’＋ΔＹ，Ｚ’＋ΔＺ）、（Ｘ_０’＋ΔＸ_０，Ｙ_０’＋ΔＹ_０，Ｚ_０’＋ΔＺ_０，ω’＋Δω，φ’＋Δφ，κ’＋Δκ）とし、基準点や特徴点に対応する画像座標の真値を、計測値（ｘ’，ｙ’）に誤差を加えたもの（ｘ’＋ｄｘ，ｙ’＋ｄｙ）とする。そして、補正量を加えた近似値と、誤差を含む計測値とを、１つまたは複数の画像の共線条件式（数２）に代入し、近似値回りにテーラー展開して線形化し、最小二乗法により補正量を求める。求めた補正量によって近似値を補正し、同様の操作を繰り返し、収束解を求める。ポスト処理として、数十枚〜全部の画像を使ってバンドル調整を行っても良い。

下記の数１３は、レンズが放射方向の歪みを有する場合の内部標定要素の補正モデルである。数１３によって、内部標定要素も同時に調整することができる。いわゆる、セルフキャリブレーション付きバンドル調整である。なお、Δｘ、Δｙは、内部標定要素（焦点距離、主点位置、レンズ歪係数）の補正項を表す。

次に、処理系統２のステップＳ１０７’において行われる処理について説明する。ステップＳ１０７’では、処理系等１と異なる出処の条件を用いての３フレーム目における外部標定要素の算出が行われる。ここでは、３フレーム目のカメラ４００の姿勢に係るデータを姿勢計測装置３００から得、それと１フレーム目および２フレーム目のフレーム画像から得られた測定対象物の複数の特徴点の３次元座標とに基づき、３フレーム目におけるカメラ４００の位置の算出を行う。

ステップＳ１０７’では、単写真法、ＤＬＴ法、相互標定のいずれかを用いる。単写真法の場合、数４に記載の（ω，φ，κ）に姿勢計測装置３００で得た値を代入し、３フレーム目におけるカメラ４００の位置を算出する。ＤＬＴ法の場合は、Ｌ_１〜Ｌ_１１に（ω，φ，κ）の要素が含まれているので、姿勢計測装置３００で得た値を基にＬ_１〜Ｌ_１１を求め、３フレーム目におけるカメラ４００の位置を算出する。相互標定の場合、数９の（κ_１，φ_１）、（κ_２，φ_２、ω_２）に姿勢計測装置３００からの値（２フレーム目撮影時の姿勢と３フレーム目撮影時の姿勢）を代入し、３フレーム目におけるカメラ４００の位置を算出する。

なお、処理系統１で行われたのと同様なバンドル調整を、処理系統２においても行っても良い。（ステップＳ１０８’）。ステップＳ１０８後、ステップＳ１０９に進む。ステップＳ１０９では、ステップＳ１０５で求めた特徴点の３次元座標をステップＳ１０７で求めた３フレーム目のカメラ位置を用いて３フレーム目のフレーム画像（実画像）に逆投影し、逆投影点を得、更にこの逆投影点の座標（逆投影座標）の算出を行う。この処理は、逆投影座標算出部１０９において行われる。

図９は、ステップＳ１０９の処理の内容を説明するイメージ図である。この処理では、ステップＳ１０７で求められ、この時点で既知となっている３フレーム目におけるカメラ４００の位置と測定対象物との間に３フレーム目のフレーム画像を仮想的に配置し、上記カメラ位置を基準として、この３フレーム目のフレーム画像に実空間上の特徴点を逆投影し、逆投影された投影点の座標（逆投影座標）を求める。ここで、ステップＳ１０３において、１フレーム目〜３フレーム目までのフレーム画像中における特徴点が抽出され、その対応関係もステップＳ１０４によって求められ、更にステップＳ１０７において、３フレーム目におけるカメラ４００の外部標定要素（位置と姿勢）が得られているので、上記の逆投影座標の算出に係る処理は、ソフトウェア的な処理により実行することができる。

この逆投影座標を算出する処理では、１および２フレーム目のフレーム画像に基づいて算出された実空間における測定対象物の複数の特徴点の３次元座標のそれぞれと、３フレーム目のカメラ４００の位置とを直線で結び、この直線と３フレーム目のフレーム画像（実画像）面との交点を実空間中の特徴点の逆投影点とする処理が行われる。この様子が、図９に概念的に示されている。このステップＳ１０９と同様の処理は、ステップＳ１０９’においても行われる。

ステップＳ１０９における逆投影座標の算出を行った後、３フレーム目のフレーム画像上の特徴点（実画像の特徴点）と、実空間からの特徴点の投影点（逆投影点）とを比較し、処理系統１における異常点（異常点１と表記）を検出する（ステップＳ１１０）。すなわち、投影の対象となるフレーム画像の縮尺が適切に調整されていれば、理想的には、フレーム画像上における特徴点の位置と実空間からの特徴点の投影点（逆投影点）の位置とは一致する。しかしながら、多様な要因で誤差が生じ、フレーム画像上における特徴点の位置と実空間からの特徴点の投影点の位置との間にずれが生じる（勿論、ズレが生じない場合もある）。ステップＳ１１０では、閾値を利用してこのズレを検出する。なお、判定に用いる閾値は、予め実験的に求めておいたものを利用する。

図９には、破線で囲ったＡの部分において、実空間上の特徴点の当該フレーム画像への投影点（逆投影点）と当該フレーム画像中の特徴点の画像座標とが目だってずれている状態が誇張して示されている。このズレは以下の理由により生じる。まず、フレーム画像中における特徴点の画像座標は、実写した画像中の位置であるので、レンズ系の歪み、特徴点の抽出処理における誤差、データ化に際してのノイズの影響等があるにしてもその誤差は相対的に極めて小さい。他方において、実空間中における特徴点の３次元座標は、上記の誤差要因に加えて、更にステップＳ１０４の処理における誤差、ステップＳ１０５の演算における誤差、ステップＳ１０７の演算における誤差が加わる。特に、ステップＳ１０５とステップＳ１０７の演算は近似計算を含むので、誤差への影響が大きい。

このような理由により、僅かな誤差要因が原因で、図９の符号Ａの部分に示すような目に見える誤差が生じる。この逆投影座標に表れる誤差は、演算の過程で発生する誤差が累積するので、その程度が顕在化（強調化）されたものとなる。この傾向は、図３の処理系統２のステップＳ１１０’においても同じである。なお、ステップＳ１１０’で検出される異常点は、ステップＳ１１０で検出された異常点と区別するために異常点２と表記されている。

そして、一般に異常点１と異常点２とは、必ずしも一致しない。これは以下の理由による。前述したように、ステップＳ１０７（ステップＳ１０７’も同じ）では、例えば数２に示されているように、その算出結果は、カメラ４００の姿勢を示すパラメータの影響を大きく受ける。

ここで、図３の処理系統１と処理系統２とでは、外部標定要素の算出を行うステップＳ１０７（Ｓ１０７’）において、初期値として利用したカメラ４００の姿勢に係るデータの出処が異なっている。この違いがステップＳ１０７およびステップＳ１０７’における演算に影響を与え、それは図９の符号Ａの部分に示すマッチング誤差に影響を与える。具体的にいうと、処理系統１では、ステップＳ１１０において、異常値として検出された特徴点が、処理系統２では、ステップＳ１１０’において、異常値として検出されず、またその逆のパターンが発生する。仮に、ステップＳ１０７とＳ１０７’の内容が同じであり、両ステップで同じ由来の外部標定要素を用いた場合には、この違いは発生しない。

ステップＳ１１０の後、異常点１と異常点２を追跡が適切でなかった特徴点（誤追跡点）として除去する。なお、当然のことであるが、異常点１と異常点２で一致するものがあっても構わない。

ステップＳ１１１の段階で、処理系統２は一旦終了する。そして、処理系統１は、ステップＳ１１１からステップＳ１１２に進む。ステップＳ１１２以下では、基本的にステップ１０２〜ステップＳ１１１の処理が繰り返される。この繰り返しが次々に行われることで、（ｎ＋１）フレーム目、（ｎ＋２）フレーム目、（ｎ＋３）フレーム目（ｎ：自然数）を対象とした処理により、（ｎ＋３）フレーム目におけるカメラ４００の外部標定要素の算出が逐次行われる。そして、動的に変化するカメラ４００の外部標定要素の算出が刻々と行われ、カメラ４００の位置の変化（移動体１０の位置の変化）に係るデータの算出が行われる。

この処理系統１の各サイクルにおけるステップＳ１０７に対応する処理で算出されるカメラ４００の位置（移動体１０の位置）に係るデータが、動画処理装置１００から外部に逐次出力され、それが例えば、移動体１０の図示しないナビゲーションシステムに入力される。そして、この入力に基づき、図示しないナビゲーションシステムは、ディスプレイ表示された地図情報にカメラ４００（移動体１０）の刻々と変化する位置情報を表示する。勿論、動画処理装置１００から出力されるカメラ４００（移動体１０）の位置情報を他の目的で利用することもできる。

この技術によれば、ＧＰＳからの情報が途切れても、あるいはＧＰＳからの情報の精度が低下しても、刻々と変化する移動体１０の位置情報を追跡することができる。あるいは、ＧＰＳ情報が得られない環境における移動体１０の位置情報を追跡することができる。

以下、ステップＳ１１２以下で行われる処理について説明する。ステップＳ１１２では、２フレーム目と３フレーム目におけるカメラ４００の外部標定要素（カメラの位置と姿勢）が外部標定要素取得部１０２において取得される。ここで、２フレーム目における外部標定要素は、初期値としてステップＳ１０２において与えられており、３フレーム目における外部標定要素は、ステップＳ１０７において演算により求められている。

例えば、２順目の処理サイクルのステップＳ１１２の処理においては、その時点で（ｎ−１）＝３フレーム目、および（ｎ−２）＝２フレーム目の外部標定要素は既知であるので、それが外部標定要素取得部１０２によって取得される。そして、３順目の処理サイクルでは、ステップＳ１１２に対応する処理において、その時点で既知である（ｎ−１）＝４フレーム目および（ｎ−２）＝３フレーム目の外部標定要素が取得される（４フレーム目の外部標定要素は、２順目のステップＳ１０７に対応する処理で算出されている）。こうして、ｎフレーム目の外部標定要素の算出を行うサイクルにおけるステップＳ１１２に対応する処理において、（ｎ−１）フレーム目および（ｎ−２）目の外部標定要素の取得が行われる。

また、ステップＳ１１２の後に行われるステップＳ１０３に対応する処理（図示せず）において、処理の対象とするフレーム画像中から新たな特徴点の抽出が行われるが、この際に前回のサイクルにおける処理で誤追跡点が除去され、密度が低下した領域で特徴点の再抽出が行われる。この特徴点の再抽出は、特徴点抽出部１０３において行われる。例えば、ステップＳ１１２の次に、４フレーム目のフレーム画像を対象とした新たな特徴点の抽出が行われる。この時点において、２フレーム目と３フレーム目の特徴点は既知であるが、ステップＳ１１１において、誤追跡点が除去されているので、その数は低下している。そこで、２フレーム目と３フレーム目を対象として、特徴点の密度が低下した領域を対象として、再度の特徴点抽出の処理を行い、減った分の特徴点を補う処理を行う。具体的にいうと、特徴点抽出部１０３は、既に特徴点の抽出が行われているフレーム画像を対象に、そのフレーム画像を複数に区分けし、その区分けされた領域における特徴点の密度を数え、その値が閾値を下回った場合に、該当する領域において特徴点の再抽出を行う。こうすることで、特徴点の減少による演算の精度の低下を抑えることができる。

また、ステップＳ１１２の後に行われるステップＳ１０３およびステップＳ１０４に対応する処理では、３フレーム目とその前の２フレーム目のフレーム画像中において新たに現れた特徴点の抽出および追跡が行われる。例えば、１フレーム目では現れておらず、２フレーム目と３フレーム目において新たに現れた特徴点の抽出が行われ、更にそれらの対応関係が特定される処理が行われる。また、ステップＳ１１２の後に行われるステップＳ１０４に対応する処理では、上述した特徴点の密度が低下した領域から抽出された特徴点の追跡が行われる。そして、ステップＳ１０５以下の処理に対応する処理が繰り返される。

以下、２フレーム目と３フレーム目において新たに現れ、抽出および追跡がされた特徴点、および再抽出された特徴点の３次元座標を算出する手順の例を説明する。この場合、図６における左側の座標О_１が２フレーム目のカメラ位置となり、右側の座標О_２が３フレーム目のカメラ位置となる。ここで、２フレーム目のフレーム画像のカメラの投影中心Ｏ_１の座標（Ｘ_０１，Ｙ_０１，Ｚ_０１）およびカメラ座標軸の傾き（ω_１，φ_１，κ_１）は、既にステップＳ１０２において取得され既知である。また、３フレーム目のフレーム画像のカメラの投影中心Ｏ_２の座標（Ｘ_０２，Ｙ_０２，Ｚ_０２）およびカメラ座標軸の傾き（姿勢）（ω_２，φ_２，κ_２）は、ステップＳ１０７において既に算出され既知である。また、内部標定要素（焦点距離、主点位置、レンズ歪係数）も既知である。また、２フレーム目のフレーム画像中における画像座標ｐ_１と３フレーム目のフレーム画像中における画像座標ｐ_２は、各フレーム画像から求めることができる。したがって、２フレーム目と３フレーム目において新たに現れ、抽出および追跡がされた特徴点、および再抽出された特徴点の３次元座標Ｐを求めることができる。これは、３順目以降の処理サイクルにおいても同じである。

すなわち、４フレーム目以降における特徴点の３次元座標を算出する手順では、図６における左側の座標О_１が（ｎ−２）フレーム目のカメラ位置となり、右側の座標О_２が（ｎ−１）フレーム目のカメラ位置となる。ここで、（ｎ−２）フレーム目のフレーム画像のカメラの投影中心Ｏ_１の座標（Ｘ_０１，Ｙ_０１，Ｚ_０１）およびカメラ座標軸の傾き（ω_１，φ_１，κ_１）、および（ｎ−１）フレーム目のフレーム画像のカメラの投影中心Ｏ_２の座標（Ｘ_０２，Ｙ_０２，Ｚ_０２）およびカメラ座標軸の傾き（姿勢）（ω_２，φ_２，κ_２）は、既知である。また、内部標定要素（焦点距離、主点位置、レンズ歪係数）も既知である。また、（ｎ−２）フレーム目のフレーム画像中における画像座標ｐ_１と（ｎ−１）フレーム目のフレーム画像中における画像座標ｐ_２は、各フレーム画像から求めることができる。したがって、（ｎ−２）フレーム目と（ｎ−１）フレーム目における特徴点の３次元座標Ｐを求めることができる。

ステップＳ１１２の後に行われるステップＳ１０７に対応する２サイクル目の処理では、後方交会法によって４フレーム目におけるカメラ４００の外部標定要素（位置と姿勢）を算出する。後方交会法としては、単写真標定、ＤＬＴ法、相互標定があり、その何れを使用してもよい。以下、相互標定を利用して４フレーム目におけるカメラ４００の外部標定要素（位置と姿勢）を算出する場合の例を説明する。

この場合、数８〜数１１および図８に示す相互標定によって、４フレーム目におけるカメラ４００の外部標定要素（カメラ４００の位置と姿勢）の算出が行われる。相互標定は、左右２枚の画像における６点以上の対応点によって外部標定要素を求める方法である。この際、例えば左画像が３フレーム目のフレーム画像に当たり、右画像が４フレーム目のフレーム画像に当たる。ここで、３フレーム目の外部標定要素は既知であり、複数ある特徴点の３次元座標も既知である。また、２つのフレーム画像中における特徴点の画像座標は、それぞれのフレーム画像から得ることができる。よって、未知数となる４フレーム目の外部標定要素（カメラ４００の位置と姿勢）を算出することができる。これは、３順目以降の処理サイクル（例えば、５フレーム目や６フレーム目におけるカメラ４００の外部標定要素の算出の場合）においても同じである。

例えば、４フレーム目以降におけるカメラ４００の外部標定要素（カメラ４００の位置と姿勢）の算出を図８の相互標定により行う場合、例えば左画像が（ｎ−１）フレーム目のフレーム画像に当たり、右画像がｎフレーム目のフレーム画像に当たる。ここで、（ｎ−１）フレーム目の外部標定要素は既知であり、複数ある特徴点の３次元座標も既知である。また、２つのフレーム画像中における特徴点の画像座標は、それぞれのフレーム画像から得ることができる。よって、未知数となるｎフレーム目の外部標定要素（カメラ４００の位置と姿勢）を算出することができる。

また、４フレーム目以降における第ｎフレーム目における逆投影点を算出する処理では、（ｎ−２）フレーム目および（ｎ−１）フレーム目のフレーム画像およびそれ以前のフレームに基づいて算出された実空間における測定対象物の複数の特徴点の３次元座標のそれぞれと、ｎフレーム目のカメラ４００の位置とを直線で結び、この直線とｎフレーム目のフレーム画像（実画像）面との交点を実空間中の特徴点の逆投影点とする処理が行われる。

また、処理系統２は、ステップＳ１１０’で一旦処理が終了し、新たにステップＳ１１２’以下の処理が開始される。ステップＳ１１２’以降は、対象とするフレームが１フレーム先に進んだ形となり、ステップＳ１０２’以下の処理が繰り返される。

処理系等２における２サイクル目以降の処理におけるステップＳ１０７’に対応する処理も単写真法、ＤＬＴ法、相互標定のいずれかを用いる。単写真法の場合、数４に記載の（ω，φ，κ）に姿勢計測装置３００で得た値を代入し、ｎフレーム目におけるカメラ４００の位置を算出する。ＤＬＴ法の場合は、Ｌ_１〜Ｌ_１１に（ω，φ，κ）の要素が含まれているので、姿勢計測装置３００で得た値を基にＬ_１〜Ｌ_１１を求め、ｎフレーム目におけるカメラ４００の位置を算出する。相互標定の場合、数９の（κ_１，φ_１）、（κ_２，φ_２、ω_２）に姿勢計測装置３００からの値（（ｎ−１）フレーム目撮影時の姿勢とｎフレーム目撮影時の姿勢）を代入し、ｎフレーム目におけるカメラ４００の位置を算出する。これは、３順目以降の処理サイクル（例えば、５フレーム目や６フレーム目におけるステップＳ１０７’に対応する処理）においても同じである。その他、ステップＳ１１２’以降における個々の処理についての留意点は、上述した処理系統１におけるものと同じである。

以上述べたように、本実施形態では、測定対象物の特徴点の３次元座標を特定の位置から撮影したフレーム画像に逆投影し、この逆投影された特徴点と当該フレーム画像における特徴点の画像座標を比較し、マッチングしない、つまり位置が整合しない特徴点を、複数フレーム間で誤追跡された特徴点として除去する。この際、逆投影点の座標（逆投影座標）を得るに至る演算における条件を異なる系統から得た２系統の処理を行い、２つ処理系等で得られた逆投影座標それぞれにおいて上述した誤追跡点の検出を行う。そして、少なくとも一方の処理で検出された誤追跡点を除去し、誤追跡点が後の処理に引き継がれないようにする。

（優位性）
以上述べた手法によれば、外部標定要素の由来の違いに起因して、２系統の処理で異なる誤追跡点が検出され、誤追跡点の検出漏れが抑えられる。このため、誤追跡点がフレーム間で受け継がれることによるカメラ４００の位置検出の精度の低下が抑えられる。

すなわち、図３の処理では、１および２フレーム目の外部標定要素が処理系統１と処理系統２とで異なる系統から与えられ、この異なる系統の演算条件に基づいて、（１）各処理系統において測定対象物の特徴点の３次元座標の算出→（２）算出した特徴点の３次元座標に基づく３フレーム目におけるカメラ位置の算出、（３）算出した３フレーム目のカメラ位置を用いた逆投影座標の算出が行われる。ここで、ステップＳ１０７とＳ１０７’における演算条件の違いに起因してステップＳ１１０とＳ１１０’における異常点（誤追跡点）の検出結果が異なる傾向、言い換えると処理系統１では検出されなかったが処理系統２では検出される傾向および処理系統２では検出されなかったが処理系統１では検出される傾向が生じる。このため、誤追跡点の検出漏れが抑えられる。

そしてこの処理では、処理系統２における逆投影座標の算出に用いた特定の位置（３フレーム目のカメラ位置）ではなく、処理系統１における逆投影座標の算出に用いた特定の位置（３フレーム目のカメラ位置）がカメラ４００の位置として動画処理装置１００から外部に出力される。言い換えると、誤追跡点の検出に利用される処理系統２の処理は、１サイクル毎に終了し、次のサイクルにデータを引き継がない。このため、処理系統２においてデータを次々と引き継ぐことによる誤差の増大が生じない。つまり、何らかの要因により、処理系統２で誤差が生じたとしても、次の処理サイクルでは、新たな初期データの取得が行われ、当該誤差が生じた処理の過程における誤差要因が利用されないので、処理系統２において誤差が徐々に累積されてゆく問題が生じない。

２．第２の実施形態
本実施形態では、処理系統２における逆投影座標の算出に必要な３フレーム目のカメラ４００の位置の算出を処理系統１と異なる手法によって行う。具体的には、処理系統２のステップＳ１０７’において行われる３フレーム目におけるカメラ４００の位置の算出を、それ以前におけるカメラ４００の位置と速度に基づいて行う。なお、本実施形態で示す方法は、測定対象物が路面のように、カメラと測定対象物との間の位置関係が既知である場合に適用可能である。

この場合、図２のブロック図に、カメラ４００の移動速度の算出を行うカメラ速度算出部１１２、およびカメラ４００の速度からカメラ４００の位置の算出を行う（カメラの速度を利用したカメラ位置算出部）１１３が追加される。図１０に処理の手順の一例を示す。図１０において、図３と同じ符号の部分における処理の内容は、図３の場合と同じである。これは、実施形態３以下の場合も同じである。

この処理では、処理系統２における処理において、以下の処理が行われる。まず、ステップＳ１０１の後、ステップＳ１０２と同様な初期化処理により２フレーム目のカメラ４００の位置および姿勢を取得する（ステップＳ２０１）。なお、ステップＳ２０１における２フレーム目のカメラ４００の姿勢に係るデータを姿勢計測装置３００から得ても良い。ステップＳ２０１の後、２フレーム目のフレーム画像（２フレーム画像）および３フレーム目のフレーム画像（３フレーム画像）から、測定対象物の特徴点の抽出を行い（ステップＳ２０２）、次いでこれら２つのフレーム画像の間で対応する特徴点の特定（特徴点の追跡）を行う（ステップＳ１０４’）。

その後、２フレーム目の撮影時と３フレーム目の撮影時の間におけるカメラ４００（移動体１０）の速度の算出を行う（ステップＳ２０３）。具体的には、まず、カメラ４００の位置、姿勢、路面５００からの距離を利用して特徴点の画像座標を空間座標（Ｘ_２，Ｙ_２）（Ｘ_３，Ｙ_３）に変換する。次いで、速度Ｖを下記の数１４から算出する。

次に、２フレーム目のカメラ４００の位置および２〜３フレーム間のカメラ４００の速度Ｖに基づいて、３フレーム目におけるカメラ４００の位置を算出する（ステップＳ２０４）。その後、第１の実施形態の場合と同様の手順（ステップＳ１０９’およびステップＳ１１０’）を行う。なお、この際におけるステップＳ１０９’およびステップＳ１１０’の処理に用いられる特徴点の３次元座標は、ステップＳ１０５において求められたものを利用する。なお、４フレーム目以降におけるステップＳ２０３に対応する処理では、（ｎ−１）フレーム〜ｎフレーム間の速度を上記と同様の手法により算出し、同様の演算を行う。なお、処理系等２の２順目以降のサイクルにおける最初の処理（ステップＳ２０５）では、ｎフレーム目におけるカメラ４００の姿勢のデータを姿勢計測装置３００から得、カメラ４００の位置のデータは処理系等１で算出した値（図１０の場合でいうと、ステップＳ１０７で算出した値）を採用する。

この形態の場合、ステップＳ１１０’における異常点２を得るための処理系等２における演算の方法自体が、処理系統１と異なるので、第１の実施形態の場合と同様の理由により、処理系統１と処理系統２で異なる異常点の検出が行われる可能性が高くなる。そのため、処理系統１のみを行う場合に比較して、特徴点の誤追跡点の検出漏れが抑えられる。

図１０に示す処理のステップＳ２０１において、カメラ４００の位置のデータをステップ１０２と別の系統（例えばＧＰＳ受信機２００）から得ても良い。また、ステップＳ２０１において、カメラ４００の姿勢に係るデータを姿勢計測装置３００から取得し、カメラ４００の位置のデータをＧＰＳ受信機２００から得ても良い。

また、ステップＳ２０５において、カメラ４００の姿勢に係るデータおよび位置に係るデータとして、処理系等１で算出した値（図１０の場合でいうと、ステップＳ１０７で算出した外部標定要素）を採用してもよい。この場合、演算に利用する外部標定要素は、処理系等１と処理系等２とで同じであるが、ステップ１１０に至る演算の手法と、Ｓ１１０’に至る演算の手法が互いに異なるので、処理系統１と処理系統２で異なる異常点の検出が行われる可能性が高くなる効果が得られる。

３．第３の実施形態
本実施形態では、処理系統２における逆投影座標の算出に必要な３フレーム目のカメラ４００の位置の算出を処理系統１と異なる手法によって行う。具体的には、処理系統２のステップＳ１０７’において行われる３フレーム目におけるカメラ４００の位置の算出を、それ以前におけるカメラ４００の変位の状態に基づいて行う。

この場合、図２のブロック図にフレーム間変位量算出部１１４と、フレーム間変位量算出部１１４が算出したフレーム間の変位量から次フレームにおけるカメラ４００の位置の算出を行う（変位量を利用したカメラ位置算出部）１１５が追加される。この形態における処理の手順の一例を図１１に示す。この処理では、処理系統２におけるステップＳ１０２’の後、ステップＳ１０２’で取得したカメラ４００の位置および姿勢に基づいて、１フレーム目と２フレーム目との間におけるカメラ４００（移動体１０）の変位量の算出が行われる（ステップＳ３０１）。

次に、カメラ４００が、ステップＳ１０２’で取得した２フレーム目の姿勢を維持した状態で、ステップＳ３０１で算出した変位量で引き続き変位するものと推定し、３フレーム目におけるカメラ４００の位置を算出する（ステップＳ３０２）。その後、第１の実施形態の場合と同様の手順（ステップＳ１０９’およびステップＳ１１０’）を行う。なお、この際におけるステップＳ１０９’およびステップＳ１１０’の処理に用いられる特徴点の３次元座標は、ステップＳ１０５において求められたものを利用する。

変位量の算出をＧＰＳ受信機２００からのＧＰＳ情報および姿勢計測装置３００の計測値に基づいて行うことも可能である。また、画像解析とＧＰＳ情報および姿勢計測装置３００の計測値を組み合わせて変位量の算出を行うことも可能である。なお、４フレーム目以降における第ｎフレーム目におけるカメラ４００の移動量の算出は、（ｎ−２）フレーム目のカメラ位置と（ｎ−１）フレーム目におけるカメラ位置に基づいて行えばよい。なお、ステップＳ１０２’におけるカメラの位置および姿勢に係る初期値はＧＰＳ受信機２００や姿勢計測装置３００から得ても良い。

４．第４の実施形態
この例では、処理系統２における初期値として、カメラ４００の位置をＧＰＳから得、カメラ４００の姿勢を姿勢計測装置３００から得る。この形態における処理の手順の一例を図１２に示す。この処理では、処理系統２の初め（ステップＳ４０１）において、１フレーム目と２フレーム目におけるカメラ４００の位置をＧＰＳ受信機２００から取得し、当該２つのフレームにおけるカメラ４００の姿勢を姿勢計測装置３００から取得する（ステップＳ４０１）。また、２順目以降の処理サイクルのステップＳ１１２’に対応する処理においても（ｎ−１）フレーム目とｎフレーム目のカメラ４００の位置をＧＰＳ受信機２００から、カメラ４００の姿勢を姿勢計測装置３００から取得する。他の処理は、図３に示す場合と同じである。

５．第５の実施形態
この例では、カメラ４００として異なる視点から２つの動画像を撮影するステレオカメラを用いる。図１３に処理の手順の一例を説明する。この例の場合、図２に示す構成は、図２に関連して説明した機能に加えて、スレレオペア画像を対象とした処理を行なう。なお、ステレオカメラを構成する左右のカメラの相対位置と姿勢の関係は、設定値として既知であるとする。

この例では、まずカメラ４００からステレオペア動画像のデータを取得する（ステップＳ５０１）。このステレオペア動画像は、右画像取得用のカメラからの動画像と、左画像取得用のカメラからの動画像とにより構成される。ここで、左右の動画像は、時系列を追って連続して撮影された複数のフレーム画像により構成されている。

ステップＳ５０１の後、処理系統１では、右動画像は用いず、左動画像のみを対象にステップＳ１０２以下の処理を行う。処理系統１の処理は、第１の実施形態の場合と同じである。なお、処理系統１では、ステレオペア画像の一方を利用すれば事足りるのであり、左動画像を用いず、右動画画像を用いて処理を行うことも可能である。

処理系統２では、まず第１の実施形態の場合と同様にステップ１０２’を行い、次いでステップＳ５０１で取得したステレオペア動画像の中の２フレーム目の左右のステレオペア画像のそれぞれから特徴点の抽出を行う（ステップＳ５０２）。次いで、２フレーム目における左右のステレオ画像から抽出した特徴点の対応関係を特定する（ステップＳ５０３）。

ここで、ステレオカメラを構成する左右のカメラの位置関係と姿勢の関係は既知であるので、ステップ１０５’において、図６に示す原理を用い、ステップＳ５０３で特定した特徴点の３次元座標の算出が行われる。そして以後、第１の実施形態の場合と同様なステップ１０６’以下の処理が行われる。

なお、ステップＳ１０７’およびステップＳ１１０’においては、左カメラが撮影した左フレーム画像を用いた処理を行う。この際、ステップＳ１０７’において、左カメラの外部標定要素が算出され、ステップＳ１１０’における投影は、左カメラの位置に向かって行われる。なお、処理系統１で右カメラの画像が採用される場合、処理系統２のステップＳ１０７’およびステップＳ１１０’は、右カメラを対象として処理を行う。

図１３の処理において、処理系統１においてステレオペア画像を用いた処理を行っても良い。この場合、測定対象物の特徴点の抽出を２フレーム目のステレオペアフレーム画像から行う（ステップＳ１０３に対応）。次に、この左右のステレオペアフレーム画像から得られた特徴点の対応関係を求める（ステップＳ１０４に対応）。そして、当該ステレオペア画像間で対応関係が求まった特徴点の３次元座標を図６に示す原理により算出する（ステップＳ１０５に対応）。後は、図１３の場合と同じである。

図１３の処理において、処理系統１においてステレオペア画像を用いた処理を行い、処理系統２において、連続的に撮影される単画像を用いた処理を行っても良い。すなわち、図１３における処理系統１と処理系統２で利用する動画の種類を交換した形態で処理を行っても良い。この場合も異なる手法を用いることに起因して、一方で検出され他方で検出されなかった誤追跡点の検出が行われる可能性が増大し、誤検出点の検出漏れが抑えられる。なお、ステップＳ１０２’におけるカメラの位置および姿勢に係る初期値はＧＰＳ受信機２００や姿勢計測装置３００から得ても良い。

６．第６の実施形態
この形態では、処理系統２における３フレーム目のカメラの位置と姿勢のデータを、特徴点を用いた演算によるものではなく、ＧＰＳ装置２００と姿勢計測装置３００から直接得る。この態様における処理の手順の一例を図１４に示す。この処理では、処理系統２において、ステップ６０１が実行され、処理系統１とは別に３フレーム目におけるカメラ４００の位置と姿勢がＧＰＳ装置２００および姿勢計測装置３００から取得される。なお、ステップＳ１０９’で利用される測定対象物の特徴点の３次元座標は、ステップＳ１０５で算出されたものが利用される。

７．第７の実施形態
図３の処理系統２における測定対象物の特徴点の３次元座標を取得する方法として、レーザースキャナを用いてもよい。レーザースキャナは、測定対象物にレーザー光を照射し、その反射光を受光することで、レーザースキャナの設置位置（視点）から測定点までの距離、方位、仰角（または俯角）の情報を取得し、これらの情報に基づき、測定点の三次元位置座標に係る情報を算出する機能を有する。また、レーザースキャナは、測定点からの反射光の強度、色、色相、彩度等に関する情報を取得する。レーザースキャナはこれらの情報に基づき、三次元座標値を含む点群位置データを算出する。

図３の処理系統２における測定対象物の３次元座標の取得を、レーザースキャナを用いて行う場合、カメラ位置の算出にレーザースキャナから得た測定対象物の３次元座標のデータを利用し、逆投影座標の算出には、カメラが撮影した画像から得た測定対象物の特徴点を利用する。この場合も異なる系統から得たパラメータを用いての逆投影座標の算出が行われるので、処理系統１と処理系統２における特徴点の誤追跡点の検出の結果が異なる傾向が生じる。

（その他）
図３に示す処理において、カメラ４００の向きを示すデータは共通の出所から得、位置データを異なる系統から得る処理とすることも可能である。図３のステップＳ１０２とステップＳ１０２’におけるカメラの姿勢に係る初期値を姿勢計測装置３００から得ても良い。実施形態では、測定対象物が路面５００であるが、測定対象物は路面に限定されず、移動体から撮影可能で、且つ、特徴点の抽出およびその３次元座標の算出が可能なものであれば、何でも良い。例えば、測定対象物の他の例として、移動体から見える景観等を挙げることができる。

実施形態では、カメラの位置（移動体の位置）の測定が主題であるので、演算の対象となる範囲から外れた過去の測定対象物の３次元位置データを記録する必要はない。しかしながら、実施形態の構成を、動画を構成するフレーム画像に写る撮影対象物の３次元点群位置データを得る手段に利用することもできる。この場合、動画の撮影に従って徐々に生じる外部標定要素の精度の低下（劣化）を抑えることができ、取得した測定対象物（例えば景観等）の３次元座標の精度の低下が抑えられる。また、明細書中で例示した実施形態の複数を組み合わせて実施することも可能である。

実施形態では、本流となる処理系統１と誤追跡点の検出用の処理系統２との２系統の処理の流れを利用する場合を説明したが、誤追跡点の検出用の処理系統を更に増やしても良い。例えば、図３の処理系統１および２に加えて、図１０〜図１４の処理系統２の１または複数を実行し、誤追跡点の検出を行う処理を更に増やしても良い。この場合、各処理の流れにおいて誤追跡点と検出された特徴点を全て除去し、その結果を本流の処理である処理系統１の処理に引き継ぐ形とする。

ところで、ＧＰＳを用いた位置の測定は、理想的な状況であれば、かなりの精度を期待することができる。しかしながら、色々な要因（環境や天候）により、常に高い精度で位置情報が得られるとは限らない。この場合、ＧＰＳの精度が低い期間は、本明細書中の実施形態の一つを用いての位置の計測を行い、そして高い精度のＧＰＳ情報が得られた時点で、位置データの取得をＧＰＳに切り替える。更に、ＧＰＳ情報が途切れた際（あるいはその精度が低下した際）に、ＧＰＳから得られた信頼できる位置データを初期値として実施形態の一つを用いての位置の計測に切り替える。こうすることで、ＧＰＳと補完しながら、リアルタイムに高い精度での移動体の位置の検出が可能となる。

また、外部から与えられる情報に基づいてカメラ４００の位置（車両１０の位置）を特定する手段として、ＧＰＳ以外に（あるいはＧＰＳに加えて）道路沿いや路面に設けられた光ビーコンや電波ビーコンの情報から得られる位置情報を利用することもできる。

実施形態では、移動体として道路上を走る車両を一例として挙げたが、移動する場所は道路に限定されない。例えば、工事用車両や道路でない場所を走行する車両に本発明を適用することができる。また、移動体は、車両に限定されず、船舶、航空機、移動可能なロボット等であってもよい。

本発明は、動画像の処理に用いることができる。

１０…移動体、５００…路面。

Claims (12)

1. 測定対象物に対して相対的に移動する撮影部によって連続的に撮影された当該測定対象物の動画像を取得する動画像取得部と、
   前記動画像に含まれる複数のフレーム画像のそれぞれから複数の特徴点を抽出する特徴点抽出部と、
   前記複数のフレーム画像中における前記複数の特徴点の対応関係を追跡する特徴点追跡部と、
   前記対応関係が特定された複数の特徴点の実空間座標の算出を行う実空間座標算出部と、
   前記複数の特徴点の実空間座標を特定の位置から撮影したフレーム画像に逆投影し第１の逆投影座標および第２の逆投影座標を算出する逆投影座標算出部と、
   前記第１の逆投影座標および前記第２の逆投影座標に基づいて、前記特徴点追跡部が誤追跡した誤追跡点の検出を行う誤追跡点検出部と
   を備え、
   前記第１の逆投影座標の算出に用いた前記特定の位置は、前記複数の特徴点の実空間座標と、前記特定の位置から撮影したフレーム画像中における前記複数の特徴点の画像座標とに基づく第１の方法により算出され、
   前記第２の逆投影座標の算出に用いた前記特定の位置は、前記第１の方法と異なる方法、または前記第１の逆投影座標の場合と異なる系統の条件を用いた前記第１の方法により得られたものであることを特徴とする動画処理装置。
2. 前記誤追跡点検出部は、
   前記第１の逆投影座標と前記フレーム画像中の特徴点の位置との差、および前記第２の逆投影座標と前記フレーム画像中の特徴点の位置との差に基づいて前記誤追跡点の検出を行うことを特徴とする請求項１に記載の動画処理装置。
3. 前記誤追跡点検出部は、
   前記第１の逆投影座標と前記フレーム画像中の特徴点の位置との差が予め定められた値を超えた場合、および前記第２の逆投影座標と前記フレーム画像中の特徴点の位置との差が予め定められた値を超えた場合の少なくとも一方が成立した場合に該当する特徴点を誤追跡点として除去することを特徴とする請求項１または２に記載の動画処理装置。
4. 前記第２の逆投影座標の算出に用いた前記特定の位置ではなく、前記第１の逆投影座標の算出に用いた前記特定の位置が前記撮影部の位置として出力されることを特徴とする請求項１〜３のいずれか一項に記載の動画処理装置。
5. 前記特徴点抽出部は、前記誤追跡点が検出された領域から再度の特徴点の抽出を行うことを特徴とする請求項１〜４のいずれか一項に記載の動画処理装置。
6. 前記第２の逆投影座標の算出に用いた前記特定の位置は、前記第１の逆投影座標の場合と異なる系統の条件を用いた前記第１の方法により得られたものであり、
   前記異なる系統の条件は、前記第１の方法の演算条件として与えられる撮影部の位置と姿勢の一方または両方に係る条件であることを特徴とする請求項１〜５のいずれか一項に記載の動画処理装置。
7. 前記第１の逆投影座標と前記第２の逆投影座標とが異なる種類の動画像に基づいて得られることを特徴とする請求項１〜６のいずれか一項に記載の動画処理装置。
8. 前記異なる種類の動画像が立体の動画像と立体でない動画像の組み合わせ、または複数のフレーム画像により構成される動画像と３次元点群画像の組み合わせであることを特徴とする請求項７に記載の動画処理装置。
9. 少なくとも２フレームのフレーム画像における前記特徴点の座標と前記撮影部の撮影速度とから前記撮影部の相対移動速度を算出する移動速度算出部と、
   前記移動速度算出部で算出した前記相対移動速度を利用して前記撮影部の位置データを算出する位置算出部と
   を更に備え、
   当該位置算出部により、前記第１の方法と異なる方法により得られる前記第２の逆投影座標の算出に用いた前記特定の位置の算出が行われることを特徴とする請求項１〜５のいずれか一項に記載の動画処理装置。
10. 少なくとも２フレームの画像それぞれに対応する前記撮影部の位置データから前記撮影部の変位量を算出する変位量算出部と、
    前記変位量算出部で算出した前記撮影部の変位量を利用して前記撮影部の位置データを算出する位置算出部と
    を更に備え、
    当該位置算出部により、前記第１の方法と異なる方法により得られる前記第２の逆投影座標の算出に用いた前記特定の位置の算出が行われることを特徴とする請求項１〜５のいずれか一項に記載の動画処理装置。
11. 測定対象物に対して相対的に移動する撮影部によって連続的に撮影された当該測定対象物の動画像を取得する動画像取得ステップと、
    前記動画像に含まれる複数のフレーム画像のそれぞれから複数の特徴点を抽出する特徴点抽出ステップと、
    前記複数のフレーム画像中における前記複数の特徴点の対応関係を追跡する特徴点追跡ステップと、
    前記対応関係が特定された複数の特徴点の実空間座標の算出を行う実空間座標算出ステップと、
    前記複数の特徴点の実空間座標を特定の位置から撮影したフレーム画像に逆投影し第１の逆投影座標および第２の逆投影座標を算出する逆投影座標算出ステップと、
    前記第１の逆投影座標および前記第２の逆投影座標に基づいて、前記特徴点追跡部が誤追跡した誤追跡点の検出を行う誤追跡点検出ステップと
    を有し、
    前記第１の逆投影座標の算出に用いた前記特定の位置は、前記複数の特徴点の実空間座標と、前記特定の位置から撮影したフレーム画像中における前記複数の特徴点の画像座標とに基づく第１の方法により算出され、
    前記第２の逆投影座標の算出に用いた前記特定の位置は、前記第１の方法と異なる方法、または前記第１の逆投影座標の算出の場合と異なる系統の条件を用いた前記第１の方法により得られたものであることを特徴とする動画処理方法。
12. コンピュータに読み取られて実行される動画処理用のプログラムであって、
    コンピュータを
    測定対象物に対して相対的に移動する撮影部によって連続的に撮影された当該測定対象物の動画像を取得する動画像取得手段と、
    前記動画像に含まれる複数のフレーム画像のそれぞれから複数の特徴点を抽出する特徴点抽出手段と、
    前記複数のフレーム画像中における前記複数の特徴点の対応関係を追跡する特徴点追跡手段と、
    前記対応関係が特定された複数の特徴点の実空間座標の算出を行う実空間座標算出手段と、
    前記複数の特徴点の実空間座標を特定の位置から撮影したフレーム画像に逆投影し第１の逆投影座標および第２の逆投影座標を算出する逆投影座標算出手段と、
    前記第１の逆投影座標および前記第２の逆投影座標に基づいて、前記特徴点追跡部が誤追跡した誤追跡点の検出を行う誤追跡点検出手段と
    として機能させ、
    前記第１の逆投影座標の算出に用いた前記特定の位置は、前記複数の特徴点の実空間座標と、前記特定の位置から撮影したフレーム画像中における前記複数の特徴点の画像座標とに基づく第１の方法により算出され、
    前記第２の逆投影座標の算出に用いた前記特定の位置は、前記第１の方法と異なる方法、または前記第１の逆投影座標の場合と異なる系統の条件を用いた前記第１の方法により得られたものであることを特徴とする動画処理用のプログラム。

Images