JP2013178656A - 画像処理装置、画像処理方法および画像処理用のプログラム - Google Patents

Abstract

【課題】複数の画像間における対応関係の検出を高い精度で行うことができる技術を提供する。
【解決手段】左右２枚の写真画像のそれぞれから抽出した特徴点に基づいて、前記２枚の写真画像のそれぞれにおける特定の形状を抽出する特定形状抽出部１１１と、抽出した特定の形状に基づき、前記２枚の写真画像の対応関係の特定を行う対応関係特定部１１５とを備え、前記特定の形状が直線および曲線の少なくとも一方を含み、前記直線は、その両端の端点により特定され、前記曲線は、その両端の端点と該両端の端点の間を分割する分割点によって特定されていることを特徴とする。
【選択図】図５

Description

本発明は、複数の画像間の対応関係を求める機能を有する画像処理装置、画像処理方法および画像処理用のプログラムに関する。

写真測量の原理を用いて、撮影対象物の３次元データを得る技術が知られている（例えば、特許文献１参照）。この技術においては、異なる２つの視点から対象物を撮影した２枚の写真画像における対応する部分を特定する技術が重要となる。すなわち、第１の写真画像中のどの部分が第２の写真画像中のどの部分に対応するのかを特定する作業が重要となる。以下、この技術を総称してステレオマッチングと称する。

ステレオマッチングを自動で行う技術として、テンプレートマッチングが知られている。テンプレートマッチングは、２つの座標系における画像の座標データを相互に比較し、両者の相関関係により、２つの画像の対応関係を求める方法である。テンプレートマッチングでは、テンプレート画像を、それよりも大きい入力画像内の探索範囲で動かし、相互相関関数が最大となるような（つまり相関の程度が最大となるような）テンプレート画像の位置を求める作業をソフトウェア処理により行う技術である。また、特徴点をオペレータが手動で何点か指定し、それを基準としてテンプレートマッチングにより、２つの画像の特徴点の対応関係を求める手法もある。この方法は、初期値をマニュアル操作で入力することで、無駄な処理を減らすことができ、また手動で指定した特徴点のマッチング精度が高ければ、最終的なマッチングの精度を高くできる。

特開２００５−３０８５５３号公報

初期値を入力せず、演算処理のみで行うステレオマッチングは、マッチングの精度が悪く、また演算時間が長くなる問題がある。他方で、手動で対応点を指定し、その後に演算によりステレオマッチングを行う方法は、オペレータへの負担が大きく、またオペレータの技量の影響を受け易い。また、この初期値をオペレータが指定する方法は、オペレータの作業にミスがあった場合に最終的なマッチングの精度が著しく低下する問題もある。

このような背景において、本発明は、複数の画像間における対応関係の検出を高い精度で行うことができる技術を提供することを目的とする。

請求項１に記載の発明は、第１の視点および第２の視点から見た測定対象物の特徴点に基づいて、前記第１の視点から見た特定の形状と前記第２の視点から見た特定の形状とを抽出する特定形状抽出部と、前記第１の視点から見た特定の形状と前記第２の視点から見た特定の形状との対応関係の特定を行う対応関係特定部とを備え、前記特定の形状が直線および曲線の少なくとも一方を含み、前記直線は、その両端の端点により特定され、前記曲線は、その両端の端点と該両端の端点の間を分割する分割点によって特定されていることを特徴とする画像処理装置である。

請求項１に記載の発明によれば、特定の形状が直線、または曲線、または直線と曲線を組み合わせたものとしてデータ化され、さらに直線がその端点によって特定され、曲線が端点と両端の端点の間を分割する分割点とによって特定されるので、少ないデータ量で精度の高いマッチングを行なうことができる。

例えば、仮に直線を線状に分布した多数の特徴点の集合として取り扱う場合において、左写真画像中の直線と右写真画像中の直線との間の対応関係を調べる場合を考える。この場合、直線は、線状に分布した複数の特徴点として取り扱われるので、本発明の場合に比較して、データ量が多く演算量が多くなる。また、この線状に分布した複数の特徴点により直線を特定する手法では、直線の延在方向におけるずれがあっても同一点が多数得られるので、延在方向でずれた状態で対応関係が特定される可能性がある。これに対して、本発明の手法では、直線は両端の端点により把握されるので、扱うデータ量を少なくできる。また、端点の一致により対応関係の特定が行なわれるので、延在方向にズレがある状態で対応関係が特定される可能性が低い。

請求項１に記載の発明において、特徴点は、写真画像中から抽出される特徴点である場合と、レーザスキャナから得られる３次元点群位置データの中から得られる特徴点である場合が含まれる。また、第１の視点から写真撮影を行い、その中から画像解析処理により特徴点を抽出し、それを一方の特徴点のデータとし、他方において、第２の視点からレーザスキャナによって３次元点群位置データを取得し、そこで得られた特徴点のデータを他方の特徴点のデータとして取り扱うこともできる。

請求項２に記載の発明は、請求項１に記載の発明において、前記第１の視点および前記第２の視点から見た測定対象物の特徴点を２枚の写真画像のそれぞれから抽出する特徴点抽出部を備えることを特徴とする。

請求項３に記載の発明は、請求項１または２に記載の発明において、前記第１の視点から見た前記特定の形状を構成する特徴点と、前記第２の視点から見た前記特定の形状を構成する特徴点との間の視差を推定する視差推定部と、前記視差推定部が推定した視差に基づいて前記対応関係特定部における前記対応関係の特定のための探索の範囲を設定する探索範囲設定部とを更に備えることを特徴とする。

請求項３に記載の発明によれば、第１の視点から測定対象物を見た場合の画面と第２の視点から測定対象物を見た場合の画面との間のズレを視差として推定し、それに基づいて対応関係を探索する範囲を決める。この手法によれば、探索の範囲が狭められるので、無駄な演算が少なくなり、演算の効率を高めることができる。

請求項４に記載の発明は、請求項３に記載の発明において、前記視差推定部は、当該着目した特徴点を含む広がりを持った領域から得られる複数の視差の算出値に基づいて算出されることを特徴とする。請求項４に記載の発明によれば、ピンポイントのデータに基づかず、ある程度の広がりをもった領域から得られたデータに基づいて視差を推定するので、推定した視差の値の誤差を抑えることができる。視差を推定する方法として、最近隣法や線形補間法が挙げられる。線形補間法としては、近傍ｎ点のパスポイントの視差を利用し、その単純平均を計算する方法や、後述する距離に応じ重み付き平均を計算する方法が挙げられる。また、視差を推定する方法として、ＴＩＮ生成後に注目特徴点を含む三角形の視差を利用する方法やボロノイ領域で視差を推定する方法等が挙げられる。

請求項５に記載の発明は、請求項４に記載の発明において、前記視差推定部は、前記第１の視点から見た前記特定の形状を構成する特定の特徴点の周囲から複数の特徴点を第１群のパスポイントとして抽出するステップと、前記第１群のパスポイントに対応する第２群のパスポイントを前記第２の視点から見た測定対象物の特徴点の中から抽出するステップと、前記第１の群のパスポイントと前記第２群のパスポイントの対応するパスポイント毎の視差Ｄnを算出するステップと、前記特定の特徴点からの距離に応じた重みを用いて前記Ｄnの加重平均を計算し、その結果に基づいて前記視差の推定値Ｄを算出するステップとを行なうことを特徴とする。

請求項５に記載の発明によれば、個々のＤnの算出値が正確さに欠き、そこに誤差が含まれていても、誤差が平均化され、更に着目した特徴点からの距離の違いによる誤差の増大が抑えられ、視差の推定値Ｄを高い精度で推定することができる。例えば、一例として図９の場合でいうと、Ｄ１〜Ｄ３には、真の視差の値よりも大きな方向にぶれた誤差と小さな方向にぶれた誤差とが含まれる。したがって、その平均値を算出することで、真の値よりも上下の方向にぶれた誤差がキャンセルされ、より真の値に近い視差の推定値が得られる。また、着目した特徴点Ｆから離れると、Ｆに係る誤差要因以外の誤差要因の影響が強くなるので、単に平均をとったのでは、その影響でＤの値の精度が低下する。そこで、Ｆからの距離に応じた重みを掛けた状態での加重平均を計算することで、Ｆからの距離に応じて発生する誤差要因の影響を抑え、Ｄの推定精度を高めることができる。

請求項６に記載の発明は、請求項１〜５のいずれか一項に記載の発明において、前記第１の視点から撮影した第１の撮影画像中に格子を設定する格子設定部と、前記格子に前記対応関係特定部が特定した前記特定の形状を構成する特徴点に基づく分割形状を形成する分割形状形成部と、前記分割形状形成部が形成した前記分割形状を前記格子に内挿する分割形状内挿部と、前記格子に内挿された前記分割形状の前記格子に対する傾きに基づき、前記第２の視点から撮影した第２の撮影画像中に前記第１の画像中の格子を変形した変形格子を設定する変形格子設定部と、前記第１の撮影画像中の前記格子の格子点と前記第２の撮影画像中の前記変形格子の格子点との対応関係を検出する対応格子点検出部とを備えることを特徴とする。

請求項６に記載の発明によれば、左右の写真画像における設定された格子点間におけるマッチング処理において、視差に起因する格子形状の歪みの影響が勘案され、他方の写真画像に設定された格子が変形される。このため、格子点間のマッチングの処理精度が高くなる。

請求項７に記載の発明は、請求項６に記載の発明において、前記格子設定手段は、第１の階層の処理において、第１の格子間隔の第１の格子を設定し、第２の階層の処理において、前記第１の格子間隔より格子間隔が狭い第２の格子を設定し、前記変形格子設定部は、前記第１の格子間隔および前記第２の格子間隔に対して格子の変形を行い、前記対応格子点検出部は、前記第１の格子間隔および前記第２の格子間隔に対して、対応する格子点の検出を行うことを特徴とする。

請求項７に記載の発明によれば、複数の階層に渡って段階的に間隔が狭くなった格子が設定されるので、段階的により微細な部分のマッチングが行なわれる。このため、処理効率を高めることができる。例えば、一挙に微細な部分までのマッチングを行なう場合、演算装置に加わる負担が大きく、また途中でエラーが生じる可能性や誤差が増大する可能性が大きいが、本発明の手法によれば、段階的に処理が行われるので、この点で有利となる。

請求項８に記載の発明は、請求項７に記載の発明において、特定の階層の処理において、一つ前の階層において特定された対応点に加えて、前記特定の形状を構成する特徴点を初期値として加える初期値付加部を更に備えることを特徴とする。請求項８に記載の発明によれば、各階層におけるマッチング処理において、概略の形状同士におけるマッチングが特定された特徴点が初期値として用いられるので、新たにマッチングが行なわれる処理において、常に初期値の影響が現れ、マッチングが大きくずれる現象が抑えられる。

請求項９に記載の発明は、請求項１に記載の発明において、前記第１の視点および前記第２の視点から見た測定対象物の特徴点の少なくとも一方がレーザスキャナで測定された３次元点群位置データであることを特徴とする。

請求項１０に記載の発明は、第１の視点および第２の視点から見た測定対象物の特徴点に基づいて、前記第１の視点から見た特定の形状と前記第２の視点から見た特定の形状とを抽出する特定形状抽出ステップと、前記第１の視点から見た特定の形状と前記第２の視点から見た特定の形状との対応関係の特定を行う対応関係特定ステップとを備え、前記特定の形状が直線および曲線の少なくとも一方を含み、前記直線は、その両端の端点により特定され、前記曲線は、その両端の端点と該両端の端点の間を分割する分割点によって特定されていることを特徴とする画像処理方法である。

請求項１１に記載の発明は、コンピュータに読み取らせて実行させるプログラムであって、コンピュータに第１の視点および第２の視点から見た測定対象物の特徴点に基づいて、前記第１の視点から見た特定の形状と前記第２の視点から見た特定の形状とを抽出させる特定形状抽出ステップと、前記第１の視点から見た特定の形状と前記第２の視点から見た特定の形状との対応関係の特定を行なわせる対応関係特定ステップとを実行させ、前記特定の形状が直線および曲線の少なくとも一方を含み、前記直線は、その両端の端点により特定され、前記曲線は、その両端の端点と該両端の端点の間を分割する分割点によって特定されていることを特徴とする画像処理用のプログラムである。

請求項１２に記載の発明は、第１の視点および第２の視点から見た測定対象物の特徴点に基づいて、前記第１の視点から見た画像と前記第２の視点から見た画像との対応関係の特定を行う対応関係特定部と、前記第１の視点から撮影した第１の撮影画像中に格子を設定する格子設定部と、前記格子に前記第１の視点から見た前記第１の測定対象物の特徴点に基づく分割形状を形成する分割形状形成部と、前記分割形状形成部が形成した前記分割形状を前記格子に内挿する分割形状内挿部と、前記格子に内挿された前記分割形状の前記格子に対する傾きに基づき、前記第２の視点から撮影した第２の撮影画像中に前記第１の画像中の格子を変形した変形格子を設定する変形格子設定部と、前記第１の撮影画像中の前記格子の格子点と前記第２の撮影画像中の前記変形格子の格子点との対応関係を検出する対応格子点検出部とを備えることを特徴とする画像処理装置である。

請求項１２に記載の発明では、マッチング点の初期値を得る方法は、限定されない。すなわち、対応点特定部は、請求項１に記載の方法でマッチング点の初期値を得ても良いし、他の方法でマッチング点の初期値を得てもよい。この他の方法としては、ＯＣＭ法(Orientation Code Matching)を挙げることができる。

請求項１３に記載の発明は、請求項１２に記載の発明において、前記格子設定手段は、第１の階層の処理において、第１の格子間隔の第１の格子を設定し、第２の階層の処理において、前記第１の格子間隔より格子間隔が狭い第２の格子を設定し、前記変形格子設定部は、前記第１の格子間隔および前記第２の格子間隔に対して格子の変形を行い、前記対応格子点検出部は、前記第１の格子間隔および前記第２の格子間隔に対して、対応する格子点の検出を行うことを特徴とする。請求項１４に記載の発明は、請求項１３に記載の発明において、特定の階層の処理において、一つ前の階層において特定された対応点に加えて、対応関係特定部で対応が特定された特徴点を初期値として加える初期値付加部を更に備えることを特徴とする。

本発明によれば、複数の画像間における対応関係の検出を高い精度で行うことができる技術が提供される。

実施形態のブロック図である。 実施形態における処理の手順の一例を示すフローチャートである。 後方交会法を説明する説明図である。 前方交会法を説明する説明図である。 実施形態におけるマッチング処理部のブロック図である。 特定の形状を抽出する処理の原理を説明する原理図である。 特定の形状を抽出する処理の原理を説明する原理図である。 視差の推定を行なう原理を説明する原理図である 視差の推定を行なう原理に係り、左右の写真画像を重ねた状態を示す原理図である。 左右のテンプレート形状を構成する特徴点間のマッチングを行なう状態を示す原理図である。 テンプレートマッチングの原理を示す原理図である。 マッチング処理の手順の一例を示すフローチャートである。 マッチング処理の内容を段階的に示すイメージ図である。 マッチング処理の内容を段階的に示すイメージ図である。 マッチング処理の内容を段階的に示すイメージ図である。 格子とＴＩＮを構成する三角形の関係を示すイメージ図である。 実施形態のブロック図である。

１．第１の実施形態
（全体の構成）
以下において、左右２台のカメラを用意して、左写真画像と右写真画像を同時に撮影し、この左右の写真画像間の対応間関係の特定を行う機能を有する装置について説明する。なお、この例では、予め偏位修正画像が得られるように、２台のカメラの位置や向きが調整されている場合を説明する。勿論、撮影した画像を偏位修正画像に修正する手法も可能である。また、１台のカメラを用い、位置を変えての撮影を行なうことで、左写真画像と右写真画像を得る方法であってもよい。

図１には、実施形態のシステムのブロック図が示されている。図１には、画像処理装置１００が示されている。画像処理装置１００には、立体写真撮影を行なうための左カメラ２００と右カメラ３００が接続されている。左カメラ２００と右カメラ３００は、例えばデジタルスチールカメラである。左カメラ２００と右カメラ３００は、ステレオ画像を構成するペアとなる左右の写真画像を撮影するために、予め定めた間隔（左右間の距離）をもって配置され、撮影対象物を重複して撮影する位置関係とされている。これは、通常の立体写真を撮影する場合の設定と同じである。左右のカメラは、図示するように個別にカメラを配置する形態でもよいし、ステレオ写真撮影用の専用のカメラを用いた形態であってもよい。なお、左カメラ２００と右カメラ３００とは、予めキャリブレーションが行なわれており、その内部標定要素およびカメラ間の上下の視差は既知であるとする。

画像処理装置１００は、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク装置、各種のインターフェースを備えた汎用のコンピュータを利用して構成されている。画像処理装置１００は、ソフトウェア的に構成された以下に示す機能部を備えている。なお、以下に示す機能部は、ソフトウェア的に構成されるものに限定されず、その少なくとも一部が専用のハードウェアにより構成されていてもよい。また、画像処理装置１００を汎用のコンピュータではなく、図示する機能部を備えた専用のハードウェアで構成することも可能である。

画像処理装置１００は、写真画像取得部１０１、外部標定要素取得部１０２、特徴点抽出部１０３、マッチング処理部１０４、特徴点座標算出部１０５を備えている。写真画像取得部１０１は左カメラ２００と右カメラ３００が撮影した左右の写真画像の画像データを画像処理装置１００の内部に取り込む。外部標定要素取得部１０２は、左カメラ２００と右カメラ３００の外部標定要素、すなわち左カメラ２００と右カメラの位置と姿勢のデータを取得する。

特徴点抽出部１０３は、左右の写真画像のそれぞれから、撮影対象物の特徴点をソフトウェア処理により抽出する。特徴点というのは、写真画像中において、画像の特徴として他の部分と区別できる点のことである。例えば、写っている物体のエッジの部分や点として認識できる部分が特徴点となる。特徴点の抽出には、ソーベル、ラプラシアン、プリューウィット、ロバーツなどの微分フィルタを用いる。

マッチング処理部１０４は、後述する手法により、ペアとなる左右の写真画像中における対応する特徴部分を検出し、その対応関係を特定する。マッチング処理部１０４は、図５に示す構成を有している。図５に示すマッチング処理部１０４の詳細については後述する。

特徴点座標算出部１０５は、前方交会法を用いて、ペア写真画像から抽出した特徴点の三次元座標を算出する。前方交会法とは、既知の２点以上から未知点へ向かう方向を観測して、それらの方向線の交点として未知点の位置の座標を定める方法である。撮影対象物の特徴点の３次元座標を算出することで、撮影対象物を３次元データ化することができる。

（処理の一例）
以下、画像処理装置１００で行なわれる処理の一例を説明する。図２は、画像処理装置１００において行われる処理の手順の一例を示すフローチャートである。図２のフローチャートを実行するためのプログラムは、画像処理装置１００が備える適当なメモリ領域に格納され、画像処理装置１００が備えるＣＰＵによって実行される。なお、図２のフローチャートを実行するためのプログラムを外部の適当な記憶媒体に格納し、そこから画像処理装置１００に提供される形態も可能である。この点は、後述するフローチャートを実行するプログラムにおいても同じである。

図２に示す処理においては、まず外部標定要素の取得を行なう（ステップＳ２０１）。なお、外部標定要素が既に取得されている場合は、ステップＳ２０１は行なわず、ステップＳ２０２以下の処理が実行される。ステップＳ２０１では、左カメラ２００および右カメラ３００の位置と姿勢の値が取得される。この処理は、外部標定要素取得部１０２において行われる。この処理では、位置が明確に判っている基準点が撮影された画像から左カメラ２００および右カメラ３００の外部標定要素の算出が行われる。

ステップＳ２０１で行われる処理の一例を説明する。まず、測定対象となる実空間に基準点を設置し、この基準点の実空間における三次元座標をトータルステーションやＧＰＳを用いて計測する。あるいは、実空間における３次元座標が既知である基準点を用意する。次に、その基準点を左カメラ２００と右カメラ３００で撮影し、基準点の三次元座標と各写真画像中における画像座標とに基づいて、後方交会法によってカメラの外部標定要素を算出する。また、位置関係が既知の２点が決められたスケールを用意し、このスケールの撮影画像に基づいて、カメラ２００および３００の外部標定要素の算出を行なってもよい。尚、この場合に得られる外部標定要素は、ローカル座標系におけるものとなる。

以下、左カメラ２００と右カメラ３００の外部標定要素を算出する手順の一例を説明する。図３は、後方交会法を説明する説明図である。後方交会法とは、未知点Ｏから３つ以上の既知点Ｐ_１、Ｐ_２、Ｐ_３へ向かう方向を観測して、それらの方向線の交点として未知点Ｏの位置を求める方法である。

例えば、左カメラ２００に着目する。ここで、左カメラ２００の位置をО（Ｘ_０，Ｙ_０，Ｚ_０）とし、そこから位置が既知である基準点をＰ_１、Ｐ_２、Ｐ_３を撮影したものとする。まず、カメラ座標系をｘ，ｙ，ｚ、写真座標系ｘ，ｙ、測定対象物の座標系である基準座標系Ｘ，Ｙ，Ｚとする。カメラを各座標軸の正方向に対して左回りにそれぞれω，φ，κだけ順次回転させた向きで撮影が行われたものとする。そして、４点の画像座標（図３では３点のみ記載）と対応する基準点の三次元座標を下記数１に示す２次の射影変換式に代入し、観測方程式を立ててパラメ−タｂ１〜ｂ８を求める。

そして、数１のパラメータｂ１〜ｂ８を用いて、以下の数２から外部標定要素（Ｘ_０，Ｙ_０，Ｚ_０，ω，φ，κ）を求める。ここで、（Ｘ_０，Ｙ_０，Ｚ_０）は左カメラ２０の位置を示す座標であり、（ω，φ，κ）は、その位置における左カメラ２００の姿勢（向き）である。

以上のようにして、位置が明確に判っている基準点を用いての左カメラ２００の外部標定要素が算出される。また、同様な手法により、右カメラ３００の外部標定要素の算出が行なわれる。以上が、図２のステップ２０１において行なわれる処理の詳細な一例である。

外部標定要素を取得したら、左カメラ２００から左写真画像を、右カメラ３００から右写真画像を取得する（ステップＳ２０２）。この処理は、写真画像取得部１０１において行なわれる。ここで、左右の写真画像は、偏位修正画像として取得される。偏位修正画像は、左右の写真画像をエピポーラライン（モデル座標系のＺ軸線上（撮影対象物の奥行き方向の軸線上））に整列させた画像であり、モデル座標系に対して傾きを持たない写真画像のことである。例えば、左右の偏位修正画像を左右に並べ、偏向眼鏡等を用いて左目で左偏位修正画像を選択的に視認し、右目で右偏位修正画像を選択的に視認することで、立体視を行うことができる。

次に、取得した左右の写真画像のそれぞれにおける特徴点の抽出を行なう（ステップＳ２０３）。この処理は、特徴点抽出部１０３において行われる。特徴点の検出には、モラベック、ラプラシアン、ソーベルなどのフィルタが用いられる。特徴点を抽出する方法の詳細については後述する。

特徴点を抽出したら、それに基づき、左右の写真画像の間における対応関係を求めるマッチング処理を行う（ステップＳ２０４）。ステップＳ２０４の処理の詳細については後述する。マッチング処理を行ったら、左右の写真画像間で対応する特徴点の３次元座標の算出を行なう（ステップＳ２０５）。

以下、ステップＳ２０５で行なわれる処理の詳細な手順の一例を説明する。ここでは、前方交会法を用いて、左右の写真画像の中で対応関係が特定された特徴点の３次元座標の算出を行う例を説明する。図４は、前方交会法を説明する説明図である。前方交会法とは、既知の２点（Ｏ_１，Ｏ_２）上から未知点Ｐへ向かう方向を観測して、それらの方向線の交点として未知点Ｐの位置を求める方法である。図４において、対象空間の座標系をＯ−ＸＹＺとする。ここで、右画像のカメラの投影中心Ｏ_１の座標（Ｘ_０１，Ｙ_０１，Ｚ_０１）およびカメラ座標軸の傾き（ω_１，φ_１，κ_１）と、左画像のカメラの投影中心Ｏ_２の座標（Ｘ_０２，Ｙ_０２，Ｚ_０２）およびカメラ座標軸の傾き（姿勢）（ω_２，φ_２，κ_２）は、ステップＳ２０１において既に取得され既知である。また、内部標定要素（焦点距離、主点位置、レンズ歪係数）も既知である。

ここで、右写真画像上の特徴点ｐ_１（ｘ_１，ｙ_１）と、これに対応する左写真画像上の特徴点ｐ_２（ｘ_２，ｙ_２）は、左右それぞれの写真画像から得られる。したがって、対象空間の未知点となる特徴点Ｐの３次元座標（Ｘ，Ｙ，Ｚ）は、光線Ｏ_１ｐ_１と光線Ｏ_２ｐ_２の交点として定まる。ただし、実際には誤差があり、２本の光線が正確に交わらないため、最小二乗法によって交点位置を求める。具体的には、２本の共線条件式（数３）を立てる。これに既知の外部標定要素、内部標定要素、対応点の画像座標を代入する。

さらに、この共線条件式に未知点Ｐの近似値（Ｘ’，Ｙ’，Ｚ’）に補正量を加えたもの（Ｘ’＋ΔＸ，Ｙ’＋ΔＹ，Ｚ’＋ΔＺ）を代入する。そして、近似値回りにテーラー展開して線形化し、最小二乗法により補正量を求める。求めた補正量によって近似値を補正し、同様の操作を繰り返し、収束解を求める。この操作によって、特徴点の三次元座標Ｐ（Ｘ，Ｙ，Ｚ）が求められる。この計算をすべての特徴点について行い、左写真画像と右写真画像の中で対応関係が特定された複数の特徴点の３次元座標の算出が行われる。以上がステップＳ２０５で行われる処理の内容の詳細な一例である。こうして、左カメラ２００が撮影した左写真画像と右カメラ３００が撮影した右写真画像とを用いて、撮影した対象物の３次元座標データが得られる。

（特徴点の抽出）
以下、特徴点抽出部１０３において行われるステップＳ２０３の処理の詳細な一例を説明する。特徴点の抽出は、ＯＣＲ(Orientation Code Richness)と呼ばれる特徴量を用いて行う。まず、方向符号θ(x,y)と呼ばれるパラメータを導入する。方向符号θ(x,y)は、直目した点から周囲の方向における明度の勾配の変化を評価するためのパラメータである。方向符号θ(x,y)は、以下のように定義される。まず、対象画像の画素（x,y）における明度をＩ(x,y)とし、水平方向の勾配を▽Ｉ_ｘ＝∂Ｉ／∂ｘ、垂直方向の勾配を▽Ｉ_ｙ＝∂Ｉ／∂ｙとする。ここで、注目する画素における勾配方向を示すパラメータが方向符号θ(x,y)である。方向符号θ(x,y)は、θ(x,y)＝tan^-1(▽Ｉ_ｙ／▽Ｉ_ｘ)で算出される。この勾配方向の算出には、ソーベルフィルタを用いる。方向符号θ(x,y)により、注目した点における明度の勾配の方向を評価することができる。

方向符号θ(x,y)は、適当な量子化幅Δθ＝２π／Ｎで量子化される。この方向符号θ(x,y)を量子化したものをｃ_xyで示す（数４）。

例えば、Ｎ＝１６であれば、２２．５度の角度間隔で方向が量子化される。なお、▽Ｉ_ｘの絶対値と▽Ｉ_ｙの絶対値の和に閾値を設け、低コントラストの方向を無効符合としてＮを割り当てる。

そして、着目している画素(x,y)を中心とする大きさＭ×Ｍ画素の局所領域Ｉ_xyを考え、その領域に含まれる各方向符合の出現頻度をｈ_xy(i)(i=0,1,2・・)とする。そして、ｈ_xy(i)の相対度数、つまり局所領域Ｉ_xyにおける各方向符合が現れる割合を計算する。この相対度数Ｐ_xyは、下記数５で計算される。

ここで、ｈ_xy(Ｎ)は、低コントラスト明度に対応する値であるので、相対度数Ｐ_xyより除外する。次に、勾配方向の変化の分布がより乱雑な領域を特徴点として抽出するために、方向符合のエントロピーＥ_xyを、数６によって計算する。

数７で計算されるエントロピーの名目最大値Ｅmaxは、各方向符合が一様な分布Ｐ_xy(i)＝１／Ｎに従うときに、Ｅmax＝log₂Ｎである。ここで、閾値α_e(0＜α_e＜1)を設定し、α_eＥmax以上のエントロピーを持つ集まりを特徴領域と考え、特徴領域を示すパラメータであるリッチネスＲ_xyを数７で表す。

画像全体でこのリッチネスＲ_xyを計算して、ＯＣＲ画像を作成する。そして、予め決めておいた幅でこのＯＣＲ画像をグリッド化し、各グリッド内におけるリッチネスＲ_xyが最大値を示す点を特徴点として抽出する。以上の処理により、勾配方向の変化の分布がより乱雑な領域、言い換えると勾配の変化の分布がより多い領域が特徴点として抽出される。

（マッチング処理部の詳細）
以下、図１におけるマッチング処理部１０４の詳細な構成の一例を説明する。図５は、マッチング処理部１０４の詳細を示すブロック図である。図５に示すように、マッチング処理部１０４は、特定形状抽出部１１１、テンプレート形状設定部１１２、視差推定部１１３、探索範囲設定部１１４、対応関係特定部１１５を備えている。

特定形状抽出部１１１は、写真画像中から抽出した複数の特徴点から特定の形状を抽出する。この処理は、左右の写真画像のそれぞれを対象に行なわれる。特定の形状としては、直線、曲線、多角形状、円、楕円、それらの組み合わせ等が挙げられる。以下、特定形状抽出部１１１で行なわれる処理の詳細について説明する。図６および図７は、特定の形状を抽出する処理を説明する原理図である。図６には、特定の形状として直線を抽出する場合が示され、図７には、特定の形状として曲線を抽出する場合が示されている。

例えば、写真画像中から抽出した特徴点の集合から図６（Ａ）に示す線状の形状が抽出できる場合を考える。この場合、特定形状抽出部１１１は、まず、長さに対して端点の数が多い線を、閾値を用いて除去し、ある程度の長さを有した直線だけを残す。つまり、折れ曲がりの多い形状は排除し、ある程度の長さを有した直線を抽出する。次いで、残した直線の両端の端点のデータを取得する（図６（Ｂ））。この場合、図６（Ｂ）に示されるように、２つの端点により、直線の形状がデータとして特定される。このような処理を行なうのは、扱うデータ量を減らし、処理を効率化するためである。

また例えば、図７（Ａ）に示すような特徴点の集まりから曲線が抽出された場合、特定形状抽出部１１１は、まず曲線の端点を取得する（図７（Ｂ））。次に、２つの端点を結ぶ直線を設定し、端点を除く当該曲線を構成する各特徴点からこの直線の垂線を設定し、その長さを計算する（図７（Ｃ））。そして、曲線Ｒと直線Ｌの間隔ｄが最大となる曲線Ｒの部分に分割点Ｄを設定し（図７（Ｄ））、この分割点Ｄと端点との間で同様の方法により、更に細かい分割点を設定する（図７（Ｅ））。これをｄが予め定めた閾値以下となるまで繰り返す。こうして、図７（Ｆ）に示すように曲線を複数の直線で近似した形状を得る。ここで、各直線は、図６（Ｂ）に示す２つの端点を結ぶ直線の場合と同様の方法でデータとして取得される。すなわち、曲線Ｒが、端点と分割点により、データとして特定される。なお、図７では、説明を省略しているが、曲線の場合も図６の直線の場合と同様に、扱うデータ量を制限するために、閾値により、長さの短い曲線の排除が行なわれる。

そして、図６（Ｂ）に示す端点の特定による直線の把握、および図７（Ｆ）に示す曲線を端点と分割点により把握する方法により、撮影対象物を形作る特定の形状の大雑把な輪郭がデータ化される。以上の処理が、特定形状抽出部１１１で行なわれる。

テンプレート形状設定部１１２は、特定形状抽出部１１１で抽出された特定の形状の中から１または複数を選択し、それをテンプレート形状として設定する。このテンプレート形状の設定は、左右の写真画像のそれぞれに対して行なわれる。図１３には、テンプレート形状の一例が示されている。図１３では明らかでないが、図１３の形状は、実際の形状を簡素化して大雑把に把握した形状であり、その形状は、直線の組み合わせ、直線と曲線の組み合わせ、または曲線の組み合わせより構成されている。そして、当該テンプレート形状を構成する要素となる直線および／または曲線は、図６（Ｂ）や図７（Ｆ）に示す端点や分割点を用いた方法により、特定されている。

視差推定部１１３は、左右の写真画像の視差を推定する。以下、視差推定部１１３で行なわれる処理の一例を説明する。図８は、視差の推定を行なう原理を説明する原理図である。図８には、図６の端点、図７の端点や分割点に対応する左写真画像の特徴点Ｆおよび右写真画像の特徴点Ｆ’が示されている。なお、この段階において、特徴点Ｆと特徴点Ｆ’とは、対応関係が特定されていない状態が示されている。

ここで、視差推定部１１３は、以下の処理を行なう。まず、左写真画像中の特徴点Ｆの近傍から特徴点として利用できるパスポイントＰ１〜Ｐ３を抽出する。パスポイントＰ１〜Ｐ３は、特徴点Ｆに係る左右の写真画像の視差を計算するための補助的な特徴点として利用される。パスポイントＰ１〜Ｐ３は、特徴点Ｆからの距離が画像の分解能の数倍〜数千倍となる位置から抽出する。この処理は、図１の特徴点抽出部１０３の機能によって行なわれる。なお、パスポイントの数は、３点に限定されず、２点以上であればよい。パスポイントの数を多くすると、演算の精度は向上するが、処理の負担は増大する。したがって、ハードウェアの演算速度や許容される演算時間に鑑み、パスポイントの数が選択される。ここでは、左写真画像に着目して、パスポイントＰ１〜Ｐ３の抽出を行なったが、右写真画像に着目してパスポイントの抽出を行なってもよい。

次に、左写真画像のパスポイントＰ１〜Ｐ３に対応する右写真画像のパスポイントの検出が行なわれる。この処理は、ＬＳＭ（最小二乗）マッチングやテンプレートマッチングを用いて行なわれる。以下、ＬＳＭ（最小二乗）マッチングについて説明する。まず、ＬＳＭ法のパターン比較を行う際のテンプレートをｔ₁(i,j)とし、変形されたマッチングウィンドウをｆ(x,y)とし、マッチングウィンンドウの変形を数８のアフィン変換によって近似する。

ここで、比較する画素における濃度差ｒ(i,j)は、以下の数９によって与えられる。

ｒ(i,j)は、テンプレートと幾何学的変換後のマッチングウィンドウの間における濃淡の差を表す。そして、数１０に示す濃度差の二乗和を最小化するように、パラメータｔ_０〜ｔ_５を求める。

ここで、ｔ_１,ｔ_２,ｔ_４,ｔ_５は、マッチングウィンドウの変形を表し、ｔ_０,ｔ_３が求めるべき検出位置の座標となる。

次に、テンプレートマッチングの一例を説明する。テンプレートマッチングは、２つの座標系における画像の座標データを相互に比較し、両者の相関関係により、２つの画像の対応関係を求める方法である。テンプレートマッチングでは、２つの視点それぞれから見た画像の特徴点の対応関係が求められる。図１１は、テンプレートマッチングの原理を説明する説明図である。この方法では、図示するように、Ｎ_１×Ｎ_１画素のテンプレート画像を、それよりも大きいＭ_１×Ｍ_１画素の入力画像内の探索範囲（Ｍ_１−Ｎ_１＋１）^２上で動かし、下記数１１で示される相互相関関数Ｃ（ａ，ｂ）が最大となるような（つまり相関の程度が最大となるような）テンプレート画像の左上位置を求める。

上記の処理は、一方の画像の倍率を変えながら、また回転させながら行われる。そして、相関関係が最大となった条件で、両画像の一致する領域が求まり、更にこの領域における特徴点を抽出することで、対応点の検出が行われる。

以上のような、一例を挙げて説明した方法により、左右の写真画像におけるパスポイント同士の対応関係、すなわちＰ１とＰ１’、Ｐ２とＰ２’、Ｐ３とＰ３’の対応関係が求められる。なお、この段階では、左右の写真画像におけるパスポイント同士の対応関係には、それなりの誤差が含まれている。

次に、左右の写真画像中における対応するパスポイント同士の視差、つまり２つの写真画像を重ねた場合における対応するパスポイント同士の写真座標位置の差Ｄn（Ｄ_１，Ｄ_２，Ｄ_３）を算出する。図９は、左右の写真画像を重ねた状態を示す原理図が示されている。

ここで、左写真画像中におけるパスポイントＰ１の位置と右写真画像中におけるパスポイントＰ１’の位置は、写真画像中の座標として求めることができる。よって、Ｐ１とＰ１’の対応関係が特定された状態で、Ｐ１とＰ１’の写真画像中における位置の差Ｄ１を視差として算出できる。同様の方法で、Ｐ２とＰ２’の間の視差Ｄ２、Ｐ３とＰ３’の間の視差Ｄ３の算出が行なわれる。そして、下記数１２を用いて、着目した特徴点Ｆからの距離Ｌnに応じた重み付けを行い視差の加重平均Ｄを算出する。

数１２には、以下の意味がある。まず、上述したように、左右の写真画像間におけるパスポイント同士（例えば、Ｐ１とＰ１’）に係る視差には、それなりの誤差が含まれている。また、その値は、Ｆから遠い程、Fに係る真の視差（つまり、ＦとＦ’の間の実際の視差）と異なる傾向が増大する。したがって、パスポイントのFからの距離に応じて、Ｄnの寄与に重みを付け、Ｄnの加重平均Ｄを算出する。そして、このＤを特徴点ＦとＦ’の間の視差の推定値とする。

この手法によれば、個々のＤnの算出値が正確さに欠き、そこに誤差が含まれていても、誤差が平均化され、更にＦからの距離の違いによる誤差の増大が抑えられ、精度の高いＦとＦ’に係る視差の推定値を算出することができる。すなわち、図９の場合でいうと、Ｄ１〜Ｄ３には、真の視差の値よりも大きな方向にぶれた誤差と小さな方向にぶれた誤差とが含まれる。したがって、その平均値を算出することで、真の値よりも上下の方向にぶれた誤差がキャンセルされ、より真の値に近い視差の推定値が得られる。また、Ｆから離れると、Ｆに係る誤差要因以外の誤差要因の影響が強くなるので、単に平均をとったのでは、その影響でＤの値の精度が低下する。そこで、Ｆからの距離に応じた重み（Ｌｓ−Ｌｎ）／Ｌｓを掛けた状態での加重平均を計算することで、Ｆからの距離に応じて発生する誤差要因の影響を抑え、Ｄの推定精度を高めることができる。なお、Ｄの値は、特徴点毎に異なる可能性が高いので、着目する特徴点毎に算出する。

以上が視差推定部１１３の機能である。上記の視差の推定は、テンプレート形状設定部１１２が設定した複数のテンプレート形状のそれぞれにおいて行なわれる。また、各テンプレート形状を特定する端点や分割点（図６，図７参照）の少なくとも一つに対して行なわれる。また、上記の説明では、左写真画像に着目して数１２の計算を行なったが、右写真画像に着目して同様の処理をおこなってもよい。また、ここでは、上下方向の視差が既知である場合を前提に説明を行ったが、上下方向の視差が不明の場合は、同様の方法により、上下方向も含めた視差の推定値の算出を視差推定部１１３において行うことができる。

次に、探索範囲設定部１１４について説明する。探索範囲設定部１１４は、視差推定部１１３が推定した視差の値に基づき、テンプレート形状設定部１１２が設定したテンプレート形状の左右の写真画像間における探索範囲を決定する。ここでは、左右の写真画像中におけるテンプレート形状を構成する特徴点（端点と分割点）毎に探索範囲の設定が行なわれる。本実施形態の場合、左カメラ２００と右カメラ３００の標定を行った段階で上下方向の視差は求められている。また、左右の写真画像で対応するテンプレート形状間の視差は、視差推定部１１３によって数１２に係る処理により求められている。数１２のＤは、左右の写真画像を構成する特徴点が、Ｄの程度で左右にずれていることを意味している。したがって、左右におけるＤの範囲で探索を行うことで、左画像のテンプレート形状に対応する右画像のテンプレート形状を探し出すことができる。実際には、Ｄは推定値であり、誤差を含むので、Ｄ＋ΔＤ（ΔＤ＝Ｄ／４〜Ｄ）の範囲が探索範囲として設定される。なお、視差推定部１１３が左右方向に加えて上下方向の視差も算出した場合には、上下左右の方向にも探索範囲の設定が行われる。

対応関係特定部１１５は、探索範囲設定部１１４が設定した範囲において、左写真画像のテンプレート形状と右写真画像のテンプレート形状の対応関係を探索し、それを特定する処理を行う。具体的には、左写真画像のテンプレート形状を構成する端点および分割点と、右写真画像のテンプレート形状を構成する端点および分割点との対応関係を、上記の探索範囲において探索し、当該対応関係の特定を行なう。図１０には、左写真画像における特徴点Ｆ1と右写真画像における特徴点Ｆ1’の対応関係（マッチング）を調べる原理が示されている。特徴点Ｆ1，Ｆ1’は、図６で説明した端点や分割点の一つである。

図１０の例では、特徴点Ｆ1とＦ1’との間の視差は、図８，図９に示す原理によって算出され、その値を用いて、図中の探索範囲（Ｄ＋ΔＤ）の設定がされている。この方法によれば、探索範囲が限定されて絞られ、更に特徴が把握し易いテンプレート形状の対応関係（マッチング性）の探索が行われる。このため、多数の特徴点同士のマッチングを総当りで行なう方法に比較して、対応する形状の一致性を高い精度で、且つ少ない演算量で求めることができる。

探索範囲の設定は、複数ある特徴点毎で行うのが、精度の上で好ましい。なお、テンプレート形状の形は、円や多角形等の閉じた形であってもよいし、線や曲線等の閉じていない形であってもよい。また、実際には、一つのテンプレート形状だけではなく、複数のテンプレート形状が画面中から抽出され、それらの組み合わせ、あるいはそのそれぞれが処理の対象となる。以上が、対応関係特定部１１５において行われる処理の概要である。

また、マッチング処理部１０４は、格子設定部１２１、分割形状形成部１２２、分割形状内挿部１２３、変形格子設定部１２４、対応格子点検出部１２５、初期値付加部１２６を備えている。格子設定部１２１は、第１の視点から撮影した第１の撮影画像（この場合は、左写真画像）中に格子を設定する。分割形状形成部１２２は、設定された格子に対応関係特定部１１５が特定したテンプレート形状を構成する特徴点に基づく分割形状を形成する。この分割形状としては、ＴＩＮを構成する三角形が挙げられる。三角形以外の四角形や五角形と等の多角形に分割することも可能である。

分割形状内挿部１２３は、分割形状形成部１２２が形成した分割形状を格子に内挿する。変形格子設定部１２４は、格子に内挿された分割形状の格子面に対する傾きに基づき、第２の視点から撮影した第２の撮影画像中（第１の写真画像が左写真画像であれば、右写真画像）に第１の画像中の格子を変形した変形格子を設定する。対応格子点検出部１２５は、第１の撮影画像中の格子の格子点と第２の撮影画像中の変形格子の格子点との対応関係を特定する。初期値付加部１２６は、特定の階層の処理において、一つ前の階層において特定された対応点に加えて、テンプレート形状を構成する特徴点を初期値として加える処理を行う。

例えば、格子設定部１２１は、図１４のステップ５に係る処理、および図１５のステップ９に係る処理を行う。例えば、分割形状形成部１２２は、図１４のステップ５に係る処理、および図１５のステップ９に係る処理を行う。例えば、分割形状内挿部１２３は、図１４のステップ５に係る処理、および図１５のステップ９に係る処理を行う。例えば、変形格子設定部１２４は、図１４のステップ６に係る処理、および図１５のステップ１０に係る処理を行う。例えば、対応格子点検出部１２５は、図１４のステップ７に係る処理、および図１５のステップ１１に係る処理を行う。

（対応点処理の一例）
図２のステップＳ２０４において行われる処理の詳細な一例を説明する。この処理では、左右の写真画像のより詳細な対応関係を特定する処理が行われる。図１２は、図２のステップＳ２０４で行われる処理の詳細な一例を示すフローチャートである。図１３〜図１５は、処理の状態を段階的に示す左右の写真画像のイメージ図である。この処理では、テンプレート形状を利用したエッジマッチングによりマッチングが特定された特徴点を初期値とし、この初期値を格子に内挿して格子点を生成し、この内挿した格子点から他方の写真画像の対応する格子(探索範囲)を変形し、この変形した探索範囲でのステレオマッチングを行なう。更に、この一連の処理を１階層の処理とし、格子間隔を順次小さくすることで、段階的に探索範囲を狭めながらのステレオマッチングを行なう。また、階層が進むごとに、テンプレート形状を利用したエッジマッチングによりマッチングが特定された特徴点を初期値として付加し、その都度、この初期値を探索範囲の設定に用いることで、マッチングの精度を高めている。以下、この処理の一例を詳細に説明する。

図１２の処理が開始されると、まず左右の写真画像における特徴点に基づく特定形状の抽出が行われる（ステップＳ４０１）。この処理は、図５の特定形状抽出部１１１において、図６および図７に関連して説明した原理に従って行われる。

次に、ステップＳ４０１で抽出した特定形状に基づく、テンプレート形状の設定が行われる（ステップＳ４０２、ステップ１）。この処理は、図５のテンプレート形状設定部１１２において行われる。図１３には、テンプレート形状の一例が示されている。

次に、左写真画像と右写真画像における着目した特徴点における左右の写真画像間における視差を推定する（ステップＳ４０３、ステップ２）。ここで、着目する特徴点は、テンプレート形状を特定する端点と分割点が選択される。この処理は、図５の視差推定部１１３において、図８および図９に示した原理に従って行われる。また、図１３のステップ２には、この段階の画像イメージが示されている。

ステップＳ４０３における視差の推定を行ったら、推定した視差に基づく探索範囲の設定を着目した特徴点毎に行う（ステップＳ４０４）。この処理は、図５の探索範囲設定部１１４において、図１０に示した原理に従って行われる。次に、推定した視差を探索範囲とした左右の写真画像における特徴点間の対応関係の探索が行われ、テンプレート形状を構成する端点と分割点間の対応関係の特定が行なわれる（ステップＳ４０５、ステップ３）。この処理が形状マッチング（エッジマッチング）である。対応関係の特定は、例えば、前述した最小二乗マッチング（ＬＳＭ）を用いて行われる。この際、直線や曲線といった把握し易い形状に沿った特徴点同士の対応関係が限定された範囲で探索されるので、高精度のマッチングが可能となる。また、この際、テンプレート形状を特定する端点および分割点のマッチングの結果を利用して、端点および分割点の間の点、すなわちテンプレート形状を構成する全ての特徴点のマッチングが調べられる。

次に、ステップＳ４０５（ステップ３）で対応関係が特定された左右の写真画像における特徴点の３次元座標の算出が行われる（ステップＳ４０６、ステップ４）。この処理は、図４に原理を示す前方交会法を用いて特徴点座標算出部１０５において行なわれる。なお、この際、３次元座標の算出は、端点および分割点のみではなく、それに加えてその間の点、すなわちテンプレート形状を構成する全ての特徴点を対象に行なわれる。

次に、ステップＳ４０７（図１４のＳ５）の処理を行う。この処理では、まず、ステップＳ４０６（ステップＳ４）で３次元座標が算出された特徴点（これが初期値となる）を用いてＴＩＮ(Triangular Irregular Network)の作成を行なう。ＴＩＮは、対象物の画像を三角形のパッチの集合として捉えた近似画像のことである。また、一方の写真画像上（この例の場合は、左写真画像を利用）において、一辺の長さがｐ^ｋの正方格子を形成する。なお、ｋは、階層の数である。階層の数ｋは、左右の偏位修正画像の画素数（Ｈ，Ｖ）から、Ｈ，Ｖの画素数の小さい方を３２画素以下になる２で割った回数、すなわちmin（Ｈ，Ｖ）／２^ｋ≦３２を満たすｋの最小値として設定される。格子間隔ｐ^ｋは、予め設定した分解能をＰｉ、当該格子の中心座標における視差をｄｍ、左右のカメラの間隔をＢとして、ｐ^ｋ＝Ｐｉ×（ｄｍ／Ｂ）で計算される。なお、ｐ^ｋの値は、後述するＴＩＮの内挿が可能な値が採用される。

そして、作成したＴＩＮを格子間隔ｐ^ｋの正方格子に内挿し、正方格子に内装されたＴＩＮを作成する。この処理では、まず、テンプレート形状（図１３のステップ１）を構成する直線や曲線の上にある特徴点をDelaunay三角形分割し、Delaunay三角形を得る。そして、得られたDelaunay三角形の格子点におけるＺ値を内装し、格子点を頂点とする三角形を得る。この際、テンプレート形状を構成する特徴点として、端点および分割点のみではなく、それに加えてその間の点も利用する。

図１４には、ステップＳ４０６（ステップＳ４）で３次元座標が算出された特徴点（これが初期値となる）を用いて作成したDelaunay三角形（ＴＩＮを構成する三角形）の一つＴＩＮ⁰と、ＴＩＮ⁰を正方格子に内挿することで得たＴＩＮ^kの関係が示されている。ここで、ＴＩＮ⁰の三箇所の頂点は、ステップＳ４０６（ステップＳ４）で３次元座標が算出された特徴点から得られ、ＴＩＮ^kの三箇所の頂点は、格子の頂点である。図示するように、ＴＩＮ⁰に含まれる正方格子の各頂点におけるＴＩＮ⁰のＺ値によって、ＴＩＮ^kの各頂点が特定される。こうして、正方格子に内挿された三角形ＴＩＮ^kを得る。図１４のステップ５には、このようにして形成されたＴＩＮ^ｋおよびＴＩＮ⁰が、簡素化されたイメージとして示されている。ここでは、格子に内挿された三角形として、ＴＩＮ^ｋのみが示されているが、同様の処理が格子の各部（各正方格子）において行われる。以上がＴＩＮの正方格子への内挿を行なうステップＳ４０７の処理についての説明である。

次に、ステップＳ４０８を行なう。ここで、ＴＩＮ^ｋは、奥行きのある三次元的な形状の一部を三角形で近似したものであり、その面が写真画像の面と一致するとは限らない（一致する場合もある）。したがって、図１６（Ａ）に示すように、例えばＴＩＮ^ｋの３つの頂点のｚ方向の座標値Ｚ^(K)i,j、Ｚ^(K)i+1,j、Ｚ^(K)i+1,j+1は、一般に同じにならず、格子面に対してＴＩＮ^ｋは傾いている。ここで、ＴＩＮ^ｋの各頂点は、ステップＳ４０６においてその３次元座標の算出が行われているので、ＴＩＮ^ｋの面の向きと対応する格子の面の向きとの差、言い換えるとＴＩＮ^ｋの対応する正方格子に対する傾きは定量的に計算することができる。

ここで、左写真画像と右写真画像とは、異なる視点から撮影されているので、左写真画像で設定した正方格子に対応する右写真画像の格子は、正方ではなく、正方から歪んだ形状となる。この歪みの具合を勘案して、左写真画像に設定した格子点と右写真画像に設定した格子点間の対応関係をＬＳＭ等により探索することで、より精度の高いステレオマッチングを行なうことができる。ステップＳ４０８では、上記の意図を実現するために、右写真画像に設定される格子を変形させる。

この右写真画像における格子の変形は、以下のようにして行われる。まず、左写真画像の場合と同様な格子を右写真画像に導入する。この際、ステップＳ４０５（ステップ３）で対応関係が特定された特徴点を用いて左右の写真画像における格子（メッシュ）同士の位置関係を特定する。そして、左写真画像の格子点の法線ベクトルを算出する。この格子点の法線ベクトルは、当該格子点に隣接する三角面の法線ベクトルの平均として算出される。ここで、ＴＩＮ^ｋで示される三角の各頂点の３次元座標は、既知であるので、その面の法線ベクトルは算出可能である。正方格子の各頂点の法線ベクトルを求めたら、各頂点の法線ベクトルの向きに対応させて、右写真画像における対応する格子の形状を変形する。この対応する格子（右写真画像の格子）の変形は、視差によるずれが解消されるように行われる。すなわち、この場合でいうと、右写真画像における正方格子を左写真画像の視点から見た場合に、当該右写真画像の正方格子は歪むわけであるが、この歪んだ形状と一致（あるいは近似）するように、右写真画像の格子を正方格子から変形させる。このように、ＴＩＮ^ｋの傾きに基づいて、右斜視画像に設定された格子の変形が行なわれる。

以上のステップＳ４０９（図１４のステップ６）で行なわれる処理の一例である。次に、右写真画像において設定した格子点（変形された格子の格子点）と左写真画像で設定した格子点との対応関係がＬＳＭによって行なわれる（ステップＳ４０９、ステップ７）。なお、このマッチング処理は、ＬＳＭに限定されず、テンプレートマッチング等の他の手法により行ってもよい。

次に、その時点で行なわれた処理が最後の階層である否か、が判定され（ステップＳ４１０）、最後の階層であれば、処理を終了し、最後の階層でないのであれば、ステップＳ４１１に進む。図１５には、２階層目に進んだ場合が示されている。また、図１５には、図１４のステップ７でマッチングされた特徴点が●で示されている。この●で示されるマッチング点は、格子点同士の比較によって左右の写真画像において対応関係が特定された特徴点（マッチング点）である。なお、図では、記載を簡素化するために、右写真画像におけるマッチング点の位置には、図１４のステップ７で示す格子の変形の状態は反映されていない。

ステップＳ４１１では、初期値として、左右の写真画像に、ステップＳ４０５（図１２ステップ３）で特定したテンプレート形状を構成する特徴点を再度導入する。この際、端点と分割点以外の点も対象とする。例えば、図１５のステップ８には、前回の階層でのマッチング点（●）と初期値（○）が示されている。なお、以下の説明で明らかになるが、階層が進むにつれて、●に対応するマッチング点が増えてゆき、左右の写真画像のマッチングがより精緻に行なわれてゆく。各階層におけるマッチングにおいて、初期値を混ぜることで、初期値によって基本的な（あるいは大まかな）マッチングを維持し、階層が進むにつれて誤差が増大する現象を抑えることができる。

ステップＳ４１１の後、格子間隔を前回の半分に設定する処理が行われ、（ステップＳ４１２）、ステップＳ４０７以下の処理が再度実行される。図１５のステップ９以下には、格子間隔を前回の半分に設定した場合の処理の一例が示されている。この際、ＴＩＮ^kから１階層進んだＴＩＮ^k-1では、３箇所の頂点のＺ値は、図１６（Ｂ）に示す関係式によって算出される。こうして、各辺の寸法が半分（面積比で（１／４））にスケールダウンされた格子が設定され、この格子を対象として、前の階層の場合と同様な処理が行われる。この場合、ステップ１０に示されるように、より小さい格子を対象に探索範囲の変形が行なわれ、左右の写真画像における格子点間のマッチングが調べられる（ステップ１１）。こうして、更に細かくマッチング点の特定が行なわれる。

図１３のステップ４と図１５のステップ８を比較した場合から理解されるように、ステップ１１の次の段階では、ステップ９で設定した格子点でマッチング点が見つけられるので、マッチング点の数（密度）は更に増える。こうして、２階層目、３階層目と階層を経るにしたがって、マッチング点の数が増えてゆき、左右の写真画像の対応関係の特定が段階的により緻密に行なわれてゆく。

（優位性）
左右の写真画像の対応を調べる際に、各写真画像中からテンプレート形状を抽出し、このテンプレート形状同士の対応関係を調べることで、高いマッチングの精度が得られ、また演算時間を短くできる。また、テンプレート形状の抽出において、テンプレート形状を直線と曲線の集合体として捉え、さらに直線をその両端の端点で捉え、曲線を両端の端点とその間の分割点で捉えることで、高い演算精度を得られる。また、この手法は、扱うデータ量が削減されるので、演算時間を短くできる。また、左右の写真画像の視差を推定し、この推定した視差に基づいて探索の範囲を決めることで、不正確なマッチングが行なわれる可能性が減少し、マッチングの精度が向上する。また、探索の範囲が限定されることで、演算量を大きく削減できる。また、この視差の推定を、着目した特徴点の周囲から選択された複数のパスポイントにおける計算値の加重平均を用いて行なうことで、当該視差を高い精度で推定することができる。

また、テンプレート形状を利用したエッジマッチングによりマッチングが特定された特徴点を初期値とし、この初期値を格子に内挿して格子点を生成し、この内挿した格子点（ＴＩＮ^kのＺ値）に基づいて他方の写真画像の対応する格子(探索範囲)を変形し、この変形した探索範囲での格子点間のステレオマッチングを行なうことで、初期値を利用したより詳細なマッチングが行なわれる。そして、この一連の処理を１階層の処理とし、格子間隔を順次小さくして段階的に探索範囲を狭めながらのステレオマッチングを行なことで、段階的にマッチング点の密度を高めることができる。

また、階層が進むごとに、テンプレート形状を利用したエッジマッチングによりマッチングが特定された特徴点を初期値として付加し、この初期値をマッチングに用いることで、誤差の増大が抑えられ、高いマッチング精度を得ることができる。すなわち、各階層におけるマッチングにおいて、画像内容の大雑把な形状の対応関係を特定しているテンプレート形状の特徴点を基準値として用いることで、大枠の形状の対応関係を基礎として、更により詳細に細かい部分のマッチングが段階的に行なわれる。このため、テンプレート形状に起因する初期値を各階層において用いない場合に比較して、階層が進むにしたがって、徐々にマッチング誤差が増大し、最終的に大雑把な輪郭の対応関係がずれて特定される不都合を避けることができる。

（その他）
以上説明した実施形態では、ステレオ画像を構成する２枚の写真画像における対応を特定する場合の例を説明したが、対象となる写真画像は、２枚に限定されず、３枚以上であってもよい。また、動画を撮影し、この動画を構成するフレーム画像中の複数を対象に、対応関係を特定する技術に本発明を適用することも可能である。また、本発明は、立体写真測量技術への利用に限定されず、視点を変えて撮影した複数の写真画像間における対応関係の特定、カメラの位置は同じであるが、その向きを変えて撮影した複数の写真画像間における対応関係の特定、１台のカメラの位置および向きの少なくとも一方を変えて撮影した複数の写真画像間における対応関係の特定に利用することもできる。

なお、上記の説明では、左写真画像を基準として、右写真画像の格子の変形（探索範囲の修正）を行なう場合の例を説明したが、右写真画像を基準として、左写真画像の格子の変形（探索範囲の修正）を行なう処理も可能である。

図１２において、ステップＳ４０６の処理を「その時点でマッチングがとれている特徴点の３次元座標を算出」と変更し、更にステップＳ４１２の後にステップＳ４０６の前段階に戻る手順としてもよい。この場合、２階層目以降において、ステップＳ４０９で対応関係が特定された（つまり、左右の写真画像間でマッチングがとれた）特徴点の３次元座標の算出が行われ、それが新たなＴＩＮの作成に利用される。階層が進むにつれて、マッチング点の密度は増えてゆくので、この場合、階層が進むにつれてより細かいＴＩＮの作成が行なわれ、それが、同様に段階的に細かくなる格子に内挿される処理が各階層において行われる。すなわち、各階層において、その時点でマッチングがとれ、且つ、その３次元座標が算出されている特徴点に基づき、ＴＩＮがその都度作成され、このＴＩＮを図１４のステップ５および図１６（Ａ）に示すのと同様の手法により、格子に内挿をする処理が行われる。この場合、テンプレート形状を用いた初期値と各階層での格子を利用したマッチング点が、後段の階層におけるＴＩＮの形成、検索範囲の変形（他方の格子の変形）および後段の階層で新たに行なわれるマッチングに利用される。このため、段階的に徐々に細かく行なわれるマッチングの精度が更に高くなる。

２．第２の実施形態
本発明は、３次元レーザスキャナが測定した３次元点群位置データの処理に利用することもできる。３次元レーザスキャナは、測定対象物にレーザー光を照射し、その反射光を検出することで、測定位置からレーザー光の反射点までの距離、方位、仰角（または俯角）に関するデータを測定し、当該反射点の３次元位置データを取得する。ここで、測定対象物に無数の反射点を設定することで、測定対象物を無数の３次元点群でデータ化した３次元モデルを得ることができる。３次元点群位置データでは、２次元画像と３次元座標とが結び付けられている。すなわち、３次元点群位置データでは、測定対象物の２次元画像のデータと、この２次元画像に対応付けされた複数の測定点（点群）と、この複数の測定点の３次元空間中の位置（３次元座標）とが関連付けされている。

３次元点群位置データによれば、点の集合により測定対象物の外形を再現した三次元モデルを得ることができる。また、各点の３次元座標が判るので、各点の３次元空間中における相対位置関係が把握でき、画面表示した３次元モデルの画像を回転させたり、異なる視点から見た画像に切り替えたりする処理が可能となる。

測定対象物からのレーザ光の反射光は、反射点の色相や形状の状態が反映されている。したがって、レーザスキャナから得られた３次元点群位置データにおける点群のそれぞれを画素のデータと捉えることで、３次元点群位置データを画像の画素情報として取り扱うことができる。この３次元点群位置データによる画像からも特徴点を抽出することができる。つまり、３次元点群位置データの中には、写真画像の場合と同様に、エッジの部分や視覚的に特徴付けられる部分等の点群が含まれており、それらを写真画像の場合と同様な特徴点として取り扱うことができる。

したがって、本発明における特定形状の抽出を３次元点群位置データに基づいて行うことも可能である。例えば、オクルージョンを解消するために異なる位置（視点）から測定対象物の３次元点群位置データを取得する場合に、第１の視点から得られた第１の３次元点群位置データと、第１の視点とは異なる第２の視点から得られた第２の３次元点群位置データとの対応関係の特定に本発明を利用することができる。この場合、特定形状の抽出、テンプレート形状の設定、視差の推定、格子を利用したマッチングの方法は、第１の実施形態の場合と同じである。

例えば、３次元点群位置データを用いた特定形状の抽出は、以下のようにして行なわれる。３次元点群位置データには反射点の３次元座標のデータが含まれているので、３次元点群位置データから測定対象物の輪郭に係るデータを得ることができる。この輪郭に係るデータから特定形状を抽出することができる。ここで、特定形状を構成する直線や曲線を端点や分割点によって特定する方法は、図６や図７に示す手法と同じである。

図１７には、３次元点群位置データに基づく上述した処理を行なう３次元点群画像処理装置５００が示されている。３次元点群画像処理装置５００には、レーザスキャナ４００が接続されている。レーザスキャナ４００は、測定対象物にレーザー光を照射し、その反射光を検出することで、測定位置からレーザー光の反射点までの距離、方位、仰角（または俯角）に関するデータを測定し、測定対象物の３次元点群位置データを取得する。

３次元点群画像処理装置５００には、３次元点群位置データ取得部５０１、エッジ抽出部５０２、特徴点抽出部５０３を備えている。３次元点群位置データ取得部５０１は、レーザスキャナ４００から出力される３次元点群位置データを取得し、３次元点群位置データを３次元点群画像処理装置５００内に取り込む。エッジ抽出部５０２は、３次元点群位置データ取得部５０１が取得した３次元点群位置データから測定対象物の外観を構成する輪郭線を抽出する。特徴点抽出部５０３は、エッジ抽出部５０２が抽出したエッジに基づき、特徴点を抽出する。

以下、エッジ抽出部５０２の機能について説明する。まず、レーザスキャナ４００から取得した３次元点群位置データに基づき、注目点を中心とした一辺が３〜７画素程度の正方領域（格子状の領域）を局所領域として取得する。次いで、上記の局所領域における各点の法線ベクトルの算出を行う。そして、上述した局所領域内の法線ベクトルのバラツキ（局所曲率）を算出する。ここでは、着目している局所領域において、各法線ベクトルの３軸成分の強度値（NVx, NVy, NVz）の平均（mNVx,mNVy,mNVz）を求める。またこの結果に基づき、さらに標準偏差（StdNVx,StdNVy,StdNVz）を求める。次に、標準偏差の二乗和の平方根を局所曲率（Local Curveture:crv）として算出する。

次に、局所領域にフィッティング（近似）する局所平面を求める。この処理では、着目している局所領域の各点の三次元座標から局所平面の方程式を求める。局所平面は、着目している局所領域にフィッティングさせた平面である。ここでは、最小二乗法を用いて、当該局所領域にフィッティングする局所平面の面の方程式を算出する。以上の処理を、局所領域を順次ずらしながら、全ての３次元点群位置データが対象となるように繰り返し行い、各局所領域における法線ベクトル、局所平面、局所曲率を得る。

次に、上で求めた各局所領域における法線ベクトル、局所平面、局所曲率に基づいて、非面領域の点を除去する処理を行う。すなわち、面（平面および曲面）を抽出するために、予め面でないと判断できる部分（非面領域）を除去する。なお、非面領域とは、平面でも曲面でもない領域であるが、下記の（１）〜（３）の閾値によっては曲率の高い曲面を含む場合がある。

非面領域除去の処理は、以下に示す３つの方法のうち、少なくとも一つを用いて行うことができる。ここでは、下記の（１）〜（３）の方法による判定を上述した局所領域の全てに対して行い、１以上の方法において非面領域と判定された局所領域を、非面領域を構成する局所領域として抽出する。そして、抽出された非面領域を構成する点に係る３次元点群位置データを除去する。

（１）局所曲率の高い部分：上述した局所曲率を予め設定しておいた閾値と比較し、閾値を超える局所曲率の局所領域を非面領域と判定する。局所曲率は、注目点とその周辺点における法線ベクトルのバラツキを表しているので、面（平面および曲率の小さい曲面）ではその値が小さく、面以外（非面）ではその値は大きくなる。したがって、予め決めた閾値よりも局所曲率が大きければ、当該局所領域を非面領域と判定する。

（２）局所平面へのフィッティング精度：局所領域の各点と対応する局所平面との距離を計算し、これらの距離の平均が予め設定した閾値よりも大きい場合、当該局所領域を非面領域と判定する。すなわち、局所領域が平面から乖離した状態であると、その程度が激しい程、当該局所領域の各点と対応する局所平面との距離は大きくなる。このことを利用して当該局所領域の非面の程度が判定される。

（３）共平面性のチェック：ここでは、隣接する局所領域において、対応する局所平面同士の向きを比較する。この局所平面の向きの違いが閾値を超えている場合、比較の対象となった局所領域が非面領域に属していると判定する。具体的には、対象となる２つの局所領域のそれぞれにフィッティングする２つの局所平面の法線ベクトルと、その中心点間を結ぶベクトルとの内積が０であれば、両局所平面が同一平面上に存在すると判定される。また、上記内積が大きくなる程、２つの局所平面が同一面上にない程度がより顕著であると判定され、非面の程度が高いものと判定される。

上記の（１）〜（３）の方法による判定において、１以上の方法において非面領域と判定された局所領域を、非面領域を構成する局所領域として抽出する。そして、この抽出された局所領域を構成する点に係る三次元点群位置データを算出対象としている３次元点群位置データから除去する。以上のようにして、非面領域の除去が行われる。

次に、面ラベリングを行なう。面ラベリング部は、非面領域の３次元点群位置データが除去された３次元点群位置データに対して、法線ベクトルの連続性に基づいて面ラベリングを行う。具体的には、特定の注目点と隣接点の法線ベクトルの角度差が予め決めた閾値以下なら、それらの点に同一ラベルを貼る。この作業を繰り返すことで、連続する平面、連続する緩やかな曲面に同一ラベルが貼られ、それらを一つの面として識別可能となる。また、面ラベリングの後、法線ベクトルの角度差や法線ベクトルの３軸成分の標準偏差を用いて、ラベル（面）が平面であるか、または曲率の小さい曲面であるかを判定し、その旨を識別する識別データを各ラベルに関連付ける。

続いて、面積の小さいラベル（面）をノイズとして除去する。なお、このノイズ除去は、面ラベリングの処理と同時に行ってもよい。この場合、面ラベリングを行いながら、同一ラベルの点数（ラベルを構成する点の数）を数え、所定以下の点の数であるラベルを取り消す処理を行う。次に、この時点でラベルが無い点に対して、最近傍面（最も近い面）と同一のラベルを付与していく。これにより、既にラベリングされた面の拡張を行う。

すなわち、ラベルの付いた面の方程式を求め、当該面とラベルが無い点との距離を求める。ラベルが無い点の周辺に複数のラベル（面）がある場合には、その距離が最も短いラベルを選択する。そして、依然としてラベルが無い点が残存している場合には、非面領域除去、ノイズ除去、およびラベル拡張における各閾値を変更し、再度関連する処理を行う。例えば、非面領域除去において、局所曲率の閾値を上げることで、非面として抽出する点の数が少なくなるようにする。または、ラベル拡張において、ラベルの無い点と最近傍面との距離の閾値を上げることで、ラベルの無い点に対してより多くのラベルを付与するようにする。

次に、ラベルが異なる面であっても同一面である場合にラベルを統合する。この場合、連続しない面であっても、位置または向きが等しい面同士に同じラベルを付ける。具体的には、各面の法線ベクトルの位置および向きを比較することで、連続しない同一面を抽出し、いずれかの面のラベルに統一する。

次に、隣接する面の間を繋ぐ境界領域面を形成する。この例では、隣接する面の間の非面領域に局所平面をフィッティングさせ、この局所平面を複数繋ぐことで、当該非面領域を複数の局所平面によって近似した境界領域面を形成する。これは、複数の局所平面により構成される多面体で非面領域を近似し、面と面との境界部分となる境界領域面を形成する処理と捉えることができる。なお、この多面体構造を有する境界領域面にフィッティングする滑らかな曲面を設定し、当該境界領域面をこの曲面に置き換えてもよい。

次に、隣接する面の３次元点群位置データに基づき、測定対象物の三次元エッジとなる輪郭線を算出（推定）する。この場合、上記の境界領域面の形成において、隣接する面から局所平面をつないでゆく処理が行われる。この際、最後に隣接した局所平面同士の交線を輪郭線として算出する。輪郭線が算出されることで、測定対象物の輪郭の画像が明確となる。境界領域面を用いた輪郭線の算出方法としては、境界領域面の中央位置を輪郭線が通るように輪郭線を設定する方法や、境界領域面の曲率が最小となる部分を輪郭線が通るように輪郭線を設定する方法も可能である。なお、境界領域面の形成を行わずに隣接する面と面との交線を輪郭線とする処理も可能である。

次に、二次元エッジを算出する。この処理では、対象物からの反射光の強度分布に基づいて、ラプラシアン、プリューウィット、ソーベル、キャニーなどの公知のエッジ抽出オペレータを用いて、セグメント化（区分け）された面に対応する二次元画像の領域内からエッジを抽出する。すなわち、二次元エッジは、面内の濃淡の違いにより認識されるので、この濃淡の違いを反射光の強度の情報から抽出し、その抽出条件に閾値を設けることで、濃淡の境目をエッジとして抽出する。次に、抽出されたエッジを構成する点の三次元座標の高さ（ｚ値）と、その近傍の輪郭線（三次元エッジ）を構成する点の三次元座標の高さ（ｚ値）とを比較し、この差が所定の閾値以内の場合には、当該エッジを二次元エッジとして抽出する。すなわち、二次元画像上で抽出されたエッジを構成する点が、セグメント化された面上にあるか否かを判定し、面上にあると判定された場合にそれを二次元エッジとする。

二次元エッジの算出後、先に算出した輪郭線と二次元エッジとを統合する。これにより、対象物の外観を特徴付けるエッジの抽出が行われる。このエッジの抽出により、測定対象物を視認する際における測定対象物の外観を構成する特徴部分が抽出され、三次元モデルのデータが得られる。以上がエッジ抽出部５０２の機能である。

特徴点抽出部５０３は、上記対象物を特徴付けるエッジ部分を構成する点群を特徴点として抽出する。あるいは、特徴点抽出部５０３は、上記対象物を特徴付けるエッジ部分を構成する点群を新たに設定する。この場合も図６（Ａ）や図７（Ａ）に示すように、多数の特徴点により、上記のエッジを構成する直線や曲線が表される。そして、図６（Ｂ）や図７（Ｆ）に示されるように、当該エッジを構成する直線は、両端の端点により特定され、曲線は、両端の端点と分割点とにより特定される。こうして、レーザスキャナ４００が測定した３次元点群位置データに基づいて、測定対象物の外観を特徴付けるエッジ、およびこのエッジを構成する特徴点が得られ、それに基づいて測定対象物を画像として取り扱うことができる状態となる。

３次元点群画像処理装置５００は、マッチング処理部１０４を備えている。マッチング処理部１０４は、図５に示す構成を有し、図１２に示す処理を実行する。この場合、対象となる少なくとも一方の画像は、写真画像ではなく、３次元点群位置データから得られた上述したエッジにより構成される測定対象物のモデル画像となる。この際、マッチング処理部１０４は、当該エッジのデータから、図６や図７に示す原理により特定の形状を抽出し、更にテンプレート形状の設定を行なう。

写真画像から抽出した特徴点とレーザスキャナから得られた３次元点群位置データの対応関係を求める技術に本発明を利用することもできる。すなわち、第１の視点から写真撮影を行い、第２の視点からレーザスキャニングを行い、両視点から得られたデータ間の対応関係を求める技術に本発明を利用することもできる。この場合、第１の視点から得た写真画像から抽出されたテンプレート形状と、第２の視点から得た３次元点群位置データに基づくモデル画像から抽出されたテンプレート形状を対象として、その対応関係を求めるマッチング処理が行われ、更に図１３〜図１５に例示する格子点間のマッチング処理が行なわれる。

３．第３の実施形態
最初に大枠のマッチングを行い、初期値を得る方法として、エッジマッチングの代わりに、ＯＣＭ法(Orientation Code Matching)を用いることもできる。ＯＣＭでは、上述したＯＣＲを用いて、特徴点を抽出する。この際、閾値を適切に設定することで、特に特徴的な部分（例えば、明確なエッジ部分等）がソフトウェア的に抽出される。この場合、ＯＣＲで抽出された特徴点を初期値として、図１２のステップＳ４０３以下の処理が実行される。

本発明は、複数の画像間における対応関係を特定する技術に利用することができる。

Claims (14)

1. 第１の視点および第２の視点から見た測定対象物の特徴点に基づいて、前記第１の視点から見た特定の形状と前記第２の視点から見た特定の形状とを抽出する特定形状抽出部と、
   前記第１の視点から見た特定の形状と前記第２の視点から見た特定の形状との対応関係の特定を行う対応関係特定部と
   を備え、
   前記特定の形状が直線および曲線の少なくとも一方を含み、
   前記直線は、その両端の端点により特定され、
   前記曲線は、その両端の端点と該両端の端点の間を分割する分割点によって特定されていることを特徴とする画像処理装置。
2. 前記第１の視点および前記第２の視点から見た測定対象物の特徴点を２枚の写真画像のそれぞれから抽出する特徴点抽出部を備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の視点から見た前記特定の形状を構成する特徴点と、前記第２の視点から見た前記特定の形状を構成する特徴点との間の視差を推定する視差推定部と、
   前記視差推定部が推定した視差に基づいて前記対応関係特定部における前記対応関係の特定のための探索の範囲を設定する探索範囲設定部と
   を更に備えることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記視差推定部は、当該着目した特徴点を含む広がりを持った領域から得られる複数の視差の算出値に基づいて算出されることを特徴とする請求項３に記載の画像処理装置。
5. 前記視差推定部は、
   前記第１の視点から見た前記特定の形状を構成する特定の特徴点の周囲から複数の特徴点を第１群のパスポイントとして抽出するステップと、
   前記第１群のパスポイントに対応する第２群のパスポイントを前記第２の視点から見た測定対象物の特徴点の中から抽出するステップと、
   前記第１の群のパスポイントと前記第２群のパスポイントの対応するパスポイント毎の視差Ｄnを算出するステップと、
   前記特定の特徴点からの距離に応じた重みを用いて前記Ｄnの加重平均を計算し、その結果に基づいて前記視差の推定値Ｄを算出するステップと
   を行なうことを特徴とする請求項４に記載の画像処理装置。
6. 前記第１の視点から撮影した第１の撮影画像中に格子を設定する格子設定手段と、
   前記格子に前記対応関係特定部が特定した前記特定の形状を構成する特徴点に基づく分割形状を形成する分割形状形成部と、
   前記分割形状形成部が形成した前記分割形状を前記格子に内挿する分割形状内挿部と、
   前記格子に内挿された前記分割形状の前記格子に対する傾きに基づき、前記第２の視点から撮影した第２の撮影画像中に前記第１の画像中の格子を変形した変形格子を設定する変形格子設定部と、
   前記第１の撮影画像中の前記格子の格子点と前記第２の撮影画像中の前記変形格子の格子点との対応関係を特定する対応格子点検出部と
   を備えることを特徴とする請求項１〜５のいずれか一項に記載の画像処理装置。
7. 前記格子設定手段は、第１の階層の処理において、第１の格子間隔の第１の格子を設定し、第２の階層の処理において、前記第１の格子間隔より格子間隔が狭い第２の格子を設定し、
   前記変形格子設定部は、前記第１の格子間隔および前記第２の格子間隔に対して格子の変形を行い、
   前記対応格子点検出部は、前記第１の格子間隔および前記第２の格子間隔に対して、対応する格子点の検出を行うことを特徴とする請求項６に記載の画像処理装置。
8. 特定の階層の処理において、一つ前の階層において特定された対応点に加えて、前記特定の形状を構成する特徴点を初期値として加える初期値付加部を更に備えることを特徴とする請求項７に記載の画像処理装置。
9. 前記第１の視点および前記第２の視点から見た測定対象物の特徴点の少なくとも一方がレーザスキャナで測定された３次元点群位置データであることを特徴とする請求項１に記載の画像処理装置。
10. 第１の視点および第２の視点から見た測定対象物の特徴点に基づいて、前記第１の視点から見た特定の形状と前記第２の視点から見た特定の形状とを抽出する特定形状抽出ステップと、
    前記第１の視点から見た特定の形状と前記第２の視点から見た特定の形状との対応関係の特定を行う対応関係特定ステップと
    を備え、
    前記特定の形状が直線および曲線の少なくとも一方を含み、
    前記直線は、その両端の端点により特定され、
    前記曲線は、その両端の端点と該両端の端点の間を分割する分割点によって特定されていることを特徴とする画像処理方法。
11. コンピュータに読み取らせて実行させるプログラムであって、
    コンピュータに
    第１の視点および第２の視点から見た測定対象物の特徴点に基づいて、前記第１の視点から見た特定の形状と前記第２の視点から見た特定の形状とを抽出させる特定形状抽出ステップと、
    前記第１の視点から見た特定の形状と前記第２の視点から見た特定の形状との対応関係の特定を行なわせる対応関係特定ステップと
    を実行させ、
    前記特定の形状が直線および曲線の少なくとも一方を含み、
    前記直線は、その両端の端点により特定され、
    前記曲線は、その両端の端点と該両端の端点の間を分割する分割点によって特定されていることを特徴とする画像処理用のプログラム。
12. 第１の視点および第２の視点から見た測定対象物の特徴点に基づいて、前記第１の視点から見た画像と前記第２の視点から見た画像との対応関係の特定を行う対応関係特定部と、
    前記第１の視点から撮影した第１の撮影画像中に格子を設定する格子設定部と、
    前記格子に前記第１の視点から見た前記第１の測定対象物の特徴点に基づく分割形状を形成する分割形状形成部と、
    前記分割形状形成部が形成した前記分割形状を前記格子に内挿する分割形状内挿部と、
    前記格子に内挿された前記分割形状の前記格子に対する傾きに基づき、前記第２の視点から撮影した第２の撮影画像中に前記第１の画像中の格子を変形した変形格子を設定する変形格子設定部と、
    前記第１の撮影画像中の前記格子の格子点と前記第２の撮影画像中の前記変形格子の格子点との対応関係を特定する対応格子点検出部と
    を備えることを特徴とする画像処理装置。
13. 前記格子設定手段は、第１の階層の処理において、第１の格子間隔の第１の格子を設定し、第２の階層の処理において、前記第１の格子間隔より格子間隔が狭い第２の格子を設定し、
    前記変形格子設定部は、前記第１の格子間隔および前記第２の格子間隔に対して格子の変形を行い、
    前記対応格子点検出部は、前記第１の格子間隔および前記第２の格子間隔に対して、対応する格子点の検出を行うことを特徴とする請求項１２に記載の画像処理装置。
14. 特定の階層の処理において、一つ前の階層において特定された対応点に加えて、対応関係特定部で対応が特定された特徴点を初期値として加える初期値付加部を更に備えることを特徴とする請求項１３に記載の画像処理装置。

Images