JP4444440B2

JP4444440B2 - ステレオ画像の測定装置

Info

Publication number: JP4444440B2
Application number: JP2000093886A
Authority: JP
Inventors: 仁志大谷; 忠之伊藤; 伸夫高地
Original assignee: Topcon Corp
Current assignee: Topcon Corp
Priority date: 2000-03-30
Filing date: 2000-03-30
Publication date: 2010-03-31
Anticipated expiration: 2020-03-30
Also published as: JP2001280956A

Description

【０００１】
【発明の属する技術分野】
本発明は、ステレオ画像の測定装置に係り、特に、ステレオ画像から三次元画像と計測する測定装置に関する。
【０００２】
【従来の技術】
従来、比較的大きな対象物を三次元画像と計測する場合、トータルステーション（ＴＳ）等の測量機により測定点を走査するか、ＧＰＳを移動させることにより、測定点を増やし、また、複数の測定点で囲まれた多数の小さな面の集合により三次元画像を表していた。また、別の手法として、ステレオ撮影した画像から、画像相関処理（ステレオマッチング）等を行なって、多数の面形状の集合として三次元画像を表すことにより、三次元計測を行なっていた。
【０００３】
【発明が解決しようとする課題】
前者の従来技術の場合、特にトータルステーション（ＴＳ）を使う場合は、自動視準機能付き測量機（ノンプリズムＴＳ）を用いて測定点を自動的に走査させ、三次元データを取得する方法がある。ノンプリズムＴＳは、プリズム等の反射鏡が不要なトータルステーションである。しかしながら、この手法は、ＴＳをモーターで駆動させながら計測するため、計測時間が莫大にかかる。例えば、１点計測に１秒かかるとして、２００×２００点を計測するだけで、約１１時間必要とされる。また、測距光が返ってこないところは計測不能となること、測距ビームが遠方になればなるほど精度が劣化すること、等の課題があった。
【０００４】
また、後者の従来技術のようにＧＰＳを移動させる場合は、ＧＰＳを搭載するプラットホームを移動しながら測定点座標を計測することから、やはり多大な手間と時間がかかった。また、計測対象点にＧＰＳを移動しなければならないので、危険な場所での計測はできなかった。
【０００５】
また、ＧＰＳでは、ステレオ画像から撮影して計測する場合は、計測対象物に基準点（標定点）が設けられていることが必要であること、撮影したステレオ画像は、標定してみないと計測できているかどうかわからないこと、また、ステレオマッチング（画像相関処理）は、計算時間が長くなること、特徴の無い個所は計測できないこと、等の課題があった。特に、画像相関処理を確実に行なう為に、疎密探索（ＣｏａｒｓｅｔｏＦｉｎｅ）による画像相関法と呼ばれるものが利用されている。この方法は、最初から解像度の高い画像で相関処理を行なわず、解像度の低い画像から次第に高い画像へと相関処理を段階的に行なっていくもので、こうすることで局所的な間違いを減らし、信頼性をあげる手法である（高木幹雄、下田陽久監修、画像解析ハンドブックｐ７０９参照）。しかしながら、この方法だと、解像度の異なる各画像に対しても、画像相関処理を行なわなければならず、演算に多大な時間がかかる。
【０００６】
また、基線を固定したステレオカメラで計測する場合は、基準点がいらないというメリットがあるものの、画角（測定範囲）が限定されること、測定範囲を大きくしようとすると、画像接続のための接続点（基準点）が必要となってしまうこと、という課題があった。
【０００７】
本発明は、以上の点に鑑み、ノンプリズムＴＳと画像相関処理を併用することで、立ち入ることの出来ないような箇所又は危険個所等のように従来測定が不可能であった領域についても、非接触で計測することを可能とせしめ、各方法で単独で測定する場合よりも全体の計測を一段と高速化、効率化、高信頼化させることを目的とする。
【０００８】
【課題を解決するための手段】
本発明では、上述のような課題を解決するために、例えば、以下のような特徴があり、これら処理により、従来よりも高速かつ信頼性の高い計測が可能となる。
１．計測したい領域のステレオ画像を撮影する
２．ノンプリズムＴＳで６点以上の基準（標定）点をステレオ画像双方に含まれる領域で計測する
３．ステレオ画像上でＴＳで計測した基準（標定）点を計測（標定）する
４．計測点から画像相関処理を行なう領域を決定する
５．領域について画像相関処理を行なう
６．５の相関係数あるいは相関処理の結果から得られた三次元座標値から作成した画像をディスプレイ上に表示する。
【０００９】
更に、本発明では、以下のような特徴を有する。これら処理を追加することにより、より一層高速かつ信頼性の高い計測が可能となる。更に、計測の信頼性が不十分であると考えられる場合は、以下の処理７〜１０を満足するまで繰り返すようにしてもよい。
７．相関係数の低いエリア、あるいは計測データより作成した画像が不満足である場合、その個所を追加計測する
８．計測点から画像相関処理を行なう領域を再決定する
９．領域について画像相関処理を行なう
１０．相関結果から作成した画像をディスプレイ上に表示する。
【００１０】
また、本発明では、ノンプリズムＴＳで計測できず、画像相関処理によってもうまくいかないエリアは、ノンプリズムＴＳの計測領域の情報から標高値を内挿して算出することができる。これら処理の利点は、以下のようなものである。
・ノンプリズムＴＳの三次元計測値をステレオマッチングの初期値とすることが出来るので、疎密探索（ＣｏａｒｓｅｔｏＦｉｎｅ）画像相関処理を省略することが可能となり、計算時間が短縮される
・ステレオ画像とノンプリズムＴＳのコンビネーション測定により、ＴＳ単体の計測やステレオ画像による計測よりも全体の計測時間が格段に速くなる
・画像で計測が困難な個所（ｅｘ．特徴のないところ）等はノンプリズムＴＳで、また、逆にノンプリズムＴＳで光が返ってこないところを画像で計測することが可能となる。これらのように両者の計測困難個所を補間することができる。
・画像相関の悪いところは、ノンプリズムＴＳの計測によって補間し、さらにその計測値を初期値とすることで、計測エリアを更に密に、適切にすることができるので信頼性があがる。
・現地で計測可能となり、エラー個所を確認しながら計測ができるので、計測の信頼性が上がり、失敗がなくなる。
【００１１】
本発明の解決手段によると、
位置データが明らかとなっている計測点を少なくとも３つ以上含むステレオ画像に対して、その計測点の内の少なくとも一部を区分点とし、定められた複数の区分点の内の少なくとも３つの区分点に基づき探索領域を設定する設定部と、
上記設定部により設定された探索領域に基づき、それぞれのステレオ画像上の対応する探索領域同士の画像に対して相関処理を施す演算部と、
上記演算部による相関結果から、任意の位置の点の座標を測定する測定部と
を備え、
上記演算部は、相関処理の結果に応じて、相関係数の低い領域を新たな計測点が必要となる計測領域とし、該計測領域の位置の情報を作成するようにしたステレオ画像の測定装置を提供する。
【００１２】
【発明の実施の形態】
以下、本発明の実施の形態を図面により説明する。
【００１３】
Ａ．ハードウェア
図１に、本発明の測定装置の全体ブロック図を示す。
本システムは、測量機１、測定装置２、カメラ３を備える。測定装置２は、基準点捜索部１０、探索領域設定部２０、演算部３０、表示部４０、測定部５０、バス６０を備える。これら基準点捜索部１０、探索領域設定部２０、演算部３０、表示部４０、測定部５０は、例えばパーソナルコンピュータ上に搭載され、バス６０により相互に接続される。
【００１４】
測量機１は、現地にて基準点数点を計測するものである。あらかじめ基準点数点が含まれているステレオ画像を入手して計測する場合は必要ない。カメラ３は、画像の取得するもので、例えば、デジタルカメラやフィルムカメラ、等を利用することができる。カメラ３を備えなくても、あらかじめ、基準点数点が写し込まれている画像を入手、解析してもよい。
【００１５】
基準点捜索部１０は、あらかじめ測量機１により計測されている基準点と画像との対応付けを行なう。探索領域設定部２０は、基準点捜索部１０により対応付けされた基準点から、画像相関処理をする際の探索領域の設定、基準データブロックや捜索データブロックの各ブロックを設定する。演算部３０は、標定計算や、探索領域設定部２０で設定された探索領域について画像相関処理（ステレオマッチング）を行なう。表示部４０は、立体視可能とするステレオモニタ、あるいは、パソコンのモニタ等である。立体モニタを使用すれば、より詳細な正確な三次元計測や、計測結果の確認が可能となる。表示部４０は、撮影されたステレオ画像や、相関処理の結果から得られた相関係数値、相関処理の結果から取得された三次元座標により作成した点や等高線、鳥瞰図、オルソ画像等をグラフィック表示する。表示部４０により、グラフィック表示を行い確認又は追加計測させる方法は、例えば、視覚的に計測結果を適切に判断したい場合や、相関係数の信頼性が高くない対象物等に利用することができる。なお、グラフィック表示は、リアルタイムで行なうことができる。
【００１６】
測定部５０は、相関処理の結果、相関結果が悪かった場合、追加計測を行なわせる。測定部５０による追加計測には、相関係数を表示して相関の少ない部分の追加計測を行なう方法がある。また、この他に、各点の三次元座標をもとにした点、等高線、ワイヤーフレームモデル、面を貼ったサーフェスモデル、あるいは、画像を貼り付けた鳥瞰図やオルソ画像等を作成して、グラフィック表示し、表示された画像の不具合点につき追加計測を行なわせる方法がある。また、相関係数を画面上に表示して、画像の確認又は修正する方法は、相関係数の低いエリアを表示し、その画面に基づいてマニュアルあるいは半自動で計測修正する方法と、相関係数を利用して、所定の閾値以下のエリアについて自動計測をする方法等がある。
【００１７】
本発明の利点は、ステレオモニタ等を使用せずとも、計測現場にてリアルタイムで簡単に表示、確認、修正が行なえることであり、全体としての計測時間が短縮され、かつ信頼性が高く確実な三次元計測が可能となることである。
【００１８】
つぎに、相関結果よりマニュアル・半自動で計測を行なう場合と自動で計測を行なう場合について、詳細に説明する
【００１９】
Ｂ．基本測定フロー
図２に、オンライン計測についてのフローチャートを示す。オンライン計測とは、例えば、計測現場で画像を測定し、三次元画像を表示するものである。
【００２０】
ステップＳ１０で、まず、最初に現地にて計測したい領域のステレオ画像を撮影する。図３に、ステレオ画像の説明図を示す。この図に示されるように、オーバーラップした２枚のステレオ画像（左画像Ｌ、右画像Ｒ）を撮影する。ステップＳ２０で、次に、測量機１において、３点以上の基準（標定）点をステレオ撮影した左右画像双方に含まれる領域で計測する。基準点は３点以上で良いが、６点以上とすれば、標定処理（後述のステップＳ４０参照）がより安定して行われ、後の解析が信頼性の高いものとなる。従って、ここでは、一例として、６点で説明する。すなわち、図３の左右画像がオーバーラップした領域中、６点を基準（標定）点Ｃ１〜Ｃ６として、測量機１により計測する。次にステレオ画像データと測量機により測定された基準点座標値を、オフィス等のステレオ画像測定装置のある場所へ転送する。転送には、画像を記憶するメモリ媒体を使ったり、電話回線等で送信したりすることができる。
【００２１】
つぎに、ステップS４０では、表示部４０に表示した左右画像上で、測量機１により計測した基準（標定）点を計測（対応づけ）する。すなわち、この例では、測量機１で計測されている点Ｃ１〜Ｃ６を、今度は左画像Ｌ、右画像Ｒ上でそれぞれ標定する。
【００２２】
ステップS８０では、ステップS４０で計測された計測点を相互に接続し、三角形を作成する。図４に、計測点による三角形の作成についての説明図を示す。この例では、計測点Ｃ１〜Ｃ６から点同士を接続し、三角形をつくった場合である。この場合、点同士を接続して、三角形で無く四角形としても良いが、三角形の方が一層領域内を細かく分類できるので（三角形だと４点で２つの平面を構成できるが、四角形だと１平面しか構成できない）、精度及び信頼性を向上させることが可能となる。このような、ランダムな点から３次元座標を内挿する方法として不整三角網（ＴｒｉａｎｇｕｌａｔｅｄＩｒｒａｇｕｌｅｒＮｅｔｗｏｒｋ、ＴＩＮ）がある。ＴＩＮは、三角形を構成単位とするメッシュを生成するものである。ＴＩＮについての詳細は、「伊理正夫、腰塚武志：計算幾何学と地理情報処理、ｐｐ１２７」、ＦｒａｎｚＡｕｒｅｎｈａｍｍｅｒ、杉原厚吉訳：Ｖｏｒｏｎｏｉ図、一つの基本的な幾何データ構造に関する概論、ＡＣＭＣｏｍｐｕｔｉｎｇＳｕｒｖｅｙｓ、Ｖｏｌ．２３、ｐｐ３４５−４０５」等を参照。
【００２３】
ステップＳ９１では、基準点捜索部１０は、一方の画像、例えば左画像から、基準データブロック（テンプレート）に関するデータを検出する。例えば、このデータは、３つの区分点で形成される三角形と、その三角形を含む四角形等である。ステップＳ９２では、テンプレートの区分点からの距離等によりテンプレートの位置や大きさを決定する。ステップS９３で、画像上で計測された左画像のテンプレートから、画像相関処理を行なう為の探索領域を探索領域設定部２０にて決定する。ステップＳ９４では、他方の画像、例えば右画像に関して決定された探索領域について、左画像のテンプレートを用いてスキャンする。テンプレート及び探索領域の設定及びスキャンに関しては、後述する。
【００２４】
そして、ステップS１００で、分割された各領域に対して、演算部３０にてテンプレートと探索領域との画像相関処理を行なう。すなわち、相関の大きなものを求めることで左画像に対応する右画像の対応点を求め（又は、右画像に対応する左画像の対応点を求め）、その三次元座標を算出する。なお、画像相関処理（ステレオマッチング）は、残差逐次検定法（ＳＳＤＡ法）や相互相関係数法などがある。
【００２５】
ここでは、自動測定に向いている相互相関係数法を説明する。
（相互相関係数による方法）
図５に、入力画像とテンプレート画像についての説明図を示す。図に示すようにＮ_１×Ｎ_１画素のテンプレート画像を、それより大きいＭ_１×Ｍ_１画素の入力画像内の探索範囲（Ｍ_１−Ｎ_１＋１）^２上で動かし、下式の相関係数ｒが最大になるようなテンプレート画像の左上位置を求めて、テンプレート画像に対し探索されたとみなす。
【００２６】
ここで、図６は、３×３画素における例を示す図である。この例の場合、左画像のテンプレート画像Ｔと同じ又は相関値の大きい比較画像Ｉを右画像から同一ライン（エピポーライン）上で探索する。すなわち、それぞれの画素に対応して上式を計算する。これを画素をひとつずつまたは所定数ずつシフトして、相関値の高いものを求める。
【００２７】
【数１】

【００２８】
本発明では、一例として、基準データブロックを左画像からテンプレート画像とし、右画像の探索領域内の捜索データブロックを単位として探索を行い、左画像の基準データブロック（テンプレート）に対して右画像の一致部分である捜索データブロックを探索する。一致部分は、相互相関係数が最大になる（１に近くなる）点とする。
【００２９】
以上の相関処理により、左右画像の対応点が求まるので、ステレオ法の原理により、各測定点における三次元座標値を計算する。ここで、図７に、ステレオ法についての説明図を示す。
【００３０】
（ステレオ法）
簡単のために、同じカメラを２台使用し、それぞれの光軸は平行でカメラレンズの主点からＣＣＤ面までの距離ａが等しく、ＣＣＤは光軸に直角に置かれているものとする。
２つの光軸間距離（基線長）をＬとする。
【００３１】
物体上の点Ｐ_１（ｘ_１、ｙ_１）、Ｐ_２（ｘ_２、ｙ_２）の座標の間には、以下のような関係がある。
ｘ_１＝ａｘ／ｚ
ｙ_１＝ｙ_２＝ａｙ／ｚ −−−（５）
ｘ_２−ｘ_１＝ａＬ／ｚ
但し、全体の座標系（ｘ、ｙ、ｚ）の原点をカメラ１のレンズ主点にとるものとする。カメラ１による撮影画像を左画像、カメラ２による画像を右画像としたとき、画像相関処理により、左画像ｘ_１の位置に対するｘ_２の位置が求まる（類似度の一番高い点）。従って、▲３▼式よりｚを求め、これを用いて▲１▼式、▲２▼式よりｘ、ｙが求められる。
【００３２】
再び、計測についてのフローチャートに戻り説明する。ステップＳ１１０で、求められた左右画像の相関結果を表示部４０に表示する。この場合、捜索データブロックを探索した結果、一番大きな相関係数（類似度が高い点）をそのデータブロックでの類似点として、それら相関結果を画像上に表示する。
【００３３】
図８に、相関結果の表示についての説明図を示す。例えば、図８（ａ）のＥ１領域や図８（ｂ）に示されるように、相関係数の低かったエリア又は点があれば、それらは強調して表示される。表示方法は、実際の相関係数値を色別等に表示してもよいし、しきい値を数段階設けて表示してもよい。ステップＳ１２０で、表示された結果が満足行くものであれば終了する。
【００３４】
つぎに、追加測定フローについて説明する。ステップS１３０では、表示された結果が満足いかなければ、ステップS１５０に進む。ステップＳ１５０では、測定に要するエリア、例えば、相関係数の低いエリアについて測量機１により追加計測を行なう。ここで、マニュアル計測であれば、ステップＳ８０へ移る。
【００３５】
Ｃ．半自動計測
半自動計測は、自動視準型トータルステーションを使って行なう。図９に、半自動計測についてのフローチャートを示す。
【００３６】
ステップＳ５１０では、例えば、図８に示されているように、相関係数の低いエリアが表示されているＥ１エリアをポインティングデバイス（ノートパソコンであれば、カーソルで、ペンコンピュータであればペン）で指し示す。ステップＳ５２０では、指示された点のｘ、ｙ座標の位置情報をパソコンから測量機１へ転送し、その位置を計測するように測量機１をモーター駆動して、計測する。計測指示は、パソコンから測量機１へ自動送出される。あるいは、計測指示は、人間が測量機の位置を確認して計測指示を出してもよい。仮に、計測しようとした個所が計測不能な点であれば、エリア内で計測可能な別の個所を探し測定する。これら画像を利用した半自動計測作業は、マニュアル計測と比較すると、測量機を視準しながら計測する、という手順を省略できるので、相当の作業効率化が達成される。すなわち、測量機で視準できる像は、対象物の局所領域しか映っていないため、追加計測したい個所に視準するのは大変困難かつ時間のかかる作業となる。しかしながら、画像上をクリックするだけの作業とすれば、誰にでもできる簡単な作業となる。
【００３７】
次にステップＳ８０へ移る。ステップS８０で、追加計測した測定点を加え、三角形を作成する。図１０に、測定点の追加についての説明図を示す。すなわち、図１０で示された、追加点Ｃ７により、もう一度測定点の接続をし直す。この場合、図示のように追加点に対し更に詳細な三角形をつくってもよいし、前の接続点にかかわらずもう一度全部三角形を作り直してもよい。
【００３８】
また、ステップ１５０で、追加計測を行なわなかったり、選択可能な点が無かった場合等は、三角形を組み替える。図１１に、三角形の組み替えについての説明図を示す。例えば、図１１（ａ）のように三角形を作成していた場合、図１１（ｂ）のように組み替えることができる。この他に、ステップS１５０で線状に計測した点を追加選択すれば、その分細かく三角形を作成することになり、より信頼性、密度ともに高いものとなる。
【００３９】
以下上述と同様にステップＳ９１以降の処理を実行し、ステップS１００で、新しい領域について、画像相関処理を行なう。この場合、更に詳細な三角形を作成した場合は、新たに追加された三角形領域のみ画像相関処理を行なう。ステップS１１０で、相関結果を表示部に表示する。ステップS１２０で、結果が良好であれば、終了する。ステップS１３０で、表示された結果が満足できない場合は、再び追加測定に進む。ステップS１５０で、さらに追加測定を行いたい領域に対して、モニタを見ながら追加計測する。以下手順は、上記ステップＳ８０以降と同様であり、満足出来るまで繰り返す。
【００４０】
仮にいくら追加計測を行なっても改善されない場合又は追加計測をしない場合は、ステップＳ１４０へ進む。ステップS１４０で、例えば図１０のＥ１０の領域がどうしても良い結果が得られないときは、Ｃ１、Ｃ２、Ｃ７の計測点からなる平面Ｅ１０の平面方程式から標高値を内挿する。例えば、Ｅ１０領域内のＣ８を求めたいとき、Ｃ８の座標値を（ｘ_８、ｙ_８、ｚ_８）とすれば、Ｃ８の標高値ｚ_８は、
ｚ_８＝−（ａｘ_８＋ｂｙ_８＋ｄ）／ｃ −−−（６）
により算出する。（係数ａ、ｂ、ｃ、ｄは、Ｃ１、Ｃ２、Ｃ７の３次元座標値より算出する）。
【００４１】
Ｄ．自動測定
測量機に自動視準型トータルステーションを利用することによって、自動計測を行なうこともできる。
以下に自動測定について説明する。
【００４２】
ステップＳ１５０では、追加測定を以下の手順で行なうことにより、計測の自動化が行える。Ｓ１００の画像相関処理を行なった後、相関係数値にしきい値を設け、しきい値以下の相関係数が含まれるエリアについて追加計測を行なうようにする。しきい値に関しては、はじめから例えば０．５以下というように固定にしてもよいし、対象物によって決めても良い。計測エリアは、しきい値以下の相関係数が含まれる三角形領域とする。例えば、図８（ａ）ではＥ１の領域とする。測量機による追加計測点は、相関係数の低い三角形領域の三角形の重心位置としたり、あるいは、そのエリア内で相関係数の最も低い点としても良いし、低相関係数エリアの領域の中心（重心）としてもよい。以下に三角形の重心位置及び相関係数の低い領域の重心の求め方について説明する。
【００４３】
まず、三角形の重心は、例えば、図８（ａ）の三角形Ｅ１（Ｃ１，Ｃ２，Ｃ５）内の相関係数が低かった場合、その三角形の重心Ｃ７（図１０参照）を次の計測点として以下の要領で求める。Ｃ１、Ｃ２、Ｃ５の座標値をＣ１（Ｘ_１、Ｙ_１、Ｚ_１）、Ｃ２（Ｘ_２、Ｙ_２、Ｚ_２）、Ｃ５（Ｘ_５、Ｙ_５、Ｚ_５）、とした場合、
Ｘ＝（Ｘ_１＋Ｘ_２＋Ｘ_５）／３ −−−（７）
Ｙ＝（Ｙ_１＋Ｙ_２＋Ｙ_５）／３ −−−（８）
を次の計測選択点Ｃ７のＸＹ座標とする。
【００４４】
あるいは、図８（ｂ）で示される相関係数の低いエリアの分布からその重心を求めてもよい（例、モーメント法）。モーメント法では、次式により求められたｘ_ｇ、ｙ_ｇを追加計測選択点のＸ、Ｙ座標とする。追加計測選択点は１点でなくとも、複数点あってもよい。
ｘ_ｇ＝｛Σｘ＊｛１−ｃｏｒ（ｘ、ｙ）｝｝／Σ｛１−ｃｏｒ（ｘ、ｙ）｝
−−−（９）
ｙ_ｇ＝｛Σｙ＊｛１−ｃｏｒ（ｘ、ｙ）｝｝／Σ｛１−ｃｏｒ（ｘ、ｙ）｝
−−−（１０）
（ｘ_ｇ、ｙ_ｇ）：重心位置の座標、ｃｏｒ（ｘ、ｙ）：（ｘ、ｙ）座標上の相関値
【００４５】
以上より、追加計測点を決定したら、その座標値に測量機を制御して測量機を駆動、計測させる。仮にこれらの点が計測不能、困難な点であったら、その近傍をサーチし計測させる。他のステップはコンピュータ処理となるため、ステップＳ８０〜Ｓ１５０までの一連の作業が自動化される。
【００４６】
Ｅ．グラフィック表示による修正
図１２に、グラフィック表示についてのフローチャートを示す。
次に、相関処理の結果からグラフィック表示を行い確認、修正する方法について説明する。即ち、図２中ステップＳ１１０を以下の処理とすることで実現することができる。
【００４７】
まず、ステップS１０２で、求められた各点の三次元座標を接続して三角形を作成する。ステップS１０６で、三次元座標をもとに、グラフィック表示画像を作成する。必要に応じ、三次元座標の各点やそれらを接続したもの、等高線、あるいは三角形上に面や画像を貼った鳥瞰図を作成する。三角形上に画像を貼った図は、正射投影画像でも良い。必要なければ（視覚的に判断できれば）、これら処理を施さずとも（例えば三角形を接続しただけのものでも）良い。三次元座標が視覚的にあらわせるものなら何でもよい。これらをステレオモニタあるいはパソコンのモニタ等に適切に判断可能なグラフィック表示画像を表示する。ステップS１０６では、作成された画像を表示部４０に表示する。表示方法としては、三角形を重ね合せ表示する、あるいは相関係数を重ね合せ表示する等、状況により判断しやすいものを表示すればよい。
【００４８】
また、ステップＳ１０２〜Ｓ１０６で作成・表示された鳥瞰画像等において、間違っていたり、不自然と思われる領域について追加計測を行なうことができる。図１３に、グラフィック表示についての説明図を示す。例えば、図１３（ａ）に示される三角形を接続したものを表示するだけでも、実際の状況と違っていれば、その表示から悪い個所が判断可能となる。例えば、得られた三次元座標値が、本来、図１３（ａ）のＦ１であるはずなのに、間違えて図１３（ｂ）のＦ１’に移動してしまった場合、明らかに誤りが確認できる。更に図１３（ｂ）に面や画像を貼り付けて表示すれば、実際と違うことが一層明確に強調される。更に、相関係数値と重ね合せ表示すれば、仮に相関係数の低いエリアと悪い領域が一致していれば、より一層修正エリアが明確になる。この場合、図１３（ｂ）のＦ１周辺のエリアをマニュアルあるいは半自動で追加計測すればよい。
【００４９】
こうして、マニュアル計測であれば、ステップＳ８０へ移る。一方、自動視準型トータルステーションを使えば、半自動計測が可能となり、ステップＳ１１０へ移る。半自動計測では、上述したように、例えば、図１３に示されているように、間違っている、あるいは不自然と思われるＦ１エリアをノートパソコンであれば、カーソルで、ペンコンピュータであればペンで指し示すことで、以降の処理を実行する。
【００５０】
Ｆ．探索領域設定方法
次に、探索領域設定部２０による、探索領域、基準データブロック、及び捜索データブロックの設定及びスキャンについて説明する。探索領域の設定方法としては次のように例示され、順に説明する。
１．探索領域の設定：包含四角形
２．探索領域の大きさから各データブロックを設定する
３．基準点からの距離に応じて、各データブロックの位置、移動ステップを設定する
４．基準点からの距離に応じて、各データブロックの大きさを設定する
５．基準点の相関値より各データブロックの大きさを設定する
【００５１】
１．探索領域の設定：包含四角形
図１４に、探索領域の設定についての説明図（１）を示す。
基本的に左右画像の探索領域は、ステップＳ３０により相互標定が行われているので、縦視差がほぼ除去され、図中左右画像の各点ＣＬ１、ＣＲ１は、エピポーララインＰ１上に、ＣＬ２、ＣＲ２はＰ２上に、ＣＬ３、ＣＲ３はＰ３上にある。図に示されるように、測量機により計測した点から作成した三角形を左画像上でＣＬ１、ＣＬ２、ＣＬ３、右画像上でＣＲ１、ＣＲ２、ＣＲ３としたとき、探索領域を各三角形を包含する四角形領域とする。ここで例えば、領域内の左画像Ｔを基準データブロック（テンプレート）として、この画像に対応する位置を右画像から探索したい場合について説明する。この場合、捜索データブロックを含む右画像を捜索領域Ｓとして縦視差が除去されていればエピポーララインＰ３上で探索を行なう。もし、縦視差の除去が不完全であれば、対応するエピポーラライン周辺も探索することとなる。これら処理を、各基準点を含む包含四角形領域内の各ラインで行なう。図のように設定すると、隣接する三角形と重複領域ができるが、その分基準点以外の三角形領域を間違いなく確実に探索できる。
【００５２】
ここで、図１５に探索領域についての説明図を示す。図１４の三角形の内側の領域を探索領域としても良いが、基準点以外の対応点はその三角形領域内にあるかどうか不確実である。従って、図１５に示すように、三角形の領域を含む領域を探索領域と設定すれば効率的となる。
【００５３】
図１６に、探索領域の設定についての説明図（２）を示す。
図１６に示されるように、各基準データブロック（テンプレート）Ｔ１、Ｔ２に対応する捜索データブロックの位置を探索する際、ラインＰ３上の捜索領域にオーバーラップした各テンプレートに対するサーチエリアＳ１、Ｓ２を設けてもよい。ここでは、一例として、基準データブロックＴ１、Ｔ２の中心から所定範囲のエリアをサーチエリアＳ１、Ｓ２としたものである。こうすれば、明らかに各基準点から近い方のエリアが効率的に探索でき、オーバーラップさせることで信頼性が高められる。サーチエリアは各テンプレートに対し複数設定してよい。更に、基準点の右画像の対応点ＣＲ１、ＣＲ２、ＣＲ３の近傍のサーチエリアは小さく、離れるにしたがって大きく設定してもよい（なお、適宜最低値又は最高値を設定してもよい）。また、探索領域内のデータブロックに対する捜索領域（サーチエリア）の大きさは、後述する各データブロックの位置、移動ステップ、大きさによって適宜決めればよい。こうすれば、三角形を含む範囲を効率良く探索することが可能となる。
【００５４】
２．探索領域の大きさから各データブロックを設定する
図１７に、探索領域の大きさの所定についての説明図を示す。
図１７（ａ）に示すように、計測点によって探索領域である各三角形の大きさが異なるため、それぞれの三角形領域にあった大きさのデータブロックとするものである。例えば、前述したように探索領域として設定した包含四角形（図１４参照）を基準に各データブロックを決定する。この外接四角形に対し、１／ｋの大きさをデータブロックとする。係数ｋは、あらかじめ固定としてもよいし、求めたい精度と領域の大きさにより適宜決定してもよい。他の例として、図１７（ｂ）に示されるように、三角形の内接円の半径ｒを求め、そのｒあるいは、ｒの１／２、１／３等をデータブロックサイズとしてもよい。ｒは次式によって求められる。
ｒ＝√｛（ｓ−ｏ）（ｓ−ｐ）（ｓ−ｑ）／ｓ｝ −−−（１１）
但し、ｓ＝１／２（ｏ＋ｐ＋ｑ） −−−（１２）
ｏ、ｐ、ｑは三角形の３辺のそれぞれの長さであり、これらは、３点の計測座標により計算する。
データブロックサイズの求めかたはこれにこだわらず、各三角形の大きさに応じたものであれば良い。
【００５５】
３．基準点からの距離に応じて、各データブロックの位置、移動ステップを設定する
図１８に、探索領域の設定についての説明図（３）を示す。
【００５６】
３．１基準データブロックに対する捜索データブロックの位置
図１８（ａ）に示されているように、例えば、左画像上のＴ１をテンプレート（基準データブロック）として、それと同一画像を右画像上から探索したい場合、Ｔ１の位置を基準点ＣＬ１、ＣＬ３からの距離ａ、ｂに応じて右画像からエピポーララインＰ３上でＣＲ１、ＣＲ３からａ、ｂに配分した点Ｓ１をサーチエリアの中心として、ライン上を所定の範囲内で探索する。こうすることで、Ｔ１の対応点として推定されるＳ１領域近傍の探索を行なえるので、効率良く短時間で処理が行なえるようになる。
【００５７】
３．２探索領域内の位置及び移動ステップ
例えば、図１８（ｂ）に示されるように、３．１で設定されたサーチエリアの中心から、両側に離れるほど移動ステップを粗くしていくことにより、探索がさらに効率良く成される。すなわち推定される領域の中心近くは密に、離れるほど粗くしていくことにより、より効率的な探索がなされる。粗くしていく比率は、単純に係数を設定してもよいし、三角形の重心位置（３．２．１参照）あるいは基準点２点と近い方の比からの距離に比例して変えていってもよい（３．２．２参照）。
【００５８】
３．２．１三角形重心法
三角形の重心位置から各データブロックの位置及び移動ステップを決める方法について説明する。図１９に、三角形の重心とデータブロックについての説明図を示す。
図１９（ａ）に示されているように、三角形の重心位置Ｇは各基準点より等距離となるが、重心以外の点Ｔと基準点までの距離は、重心から基準点までの距離より短くなる距離がある。これより、重心位置をデータブロックの最大のサイズとして、各基準点に近づく程ステップを小さくしていく。Ｃ１（ｘ１、ｙ１）、Ｃ２（ｘ２、ｙ２）、Ｃ３（ｘ３、ｙ３）とし、Ｔ（ｘ、ｙ）としたとき、各点のＴからの距離は、以下のようになる。
Ｔ−Ｃ１：Ｌ１＝√｛（ｘ−ｘ１）^２＋（ｙ−ｙ１）^２｝ −−−（１３）
Ｔ−Ｃ２：Ｌ２＝√｛（ｘ−ｘ２）^２＋（ｙ−ｙ２）^２｝ −−−（１４）
Ｔ−Ｃ３：Ｌ３＝√｛（ｘ−ｘ３）^２＋（ｙ−ｙ３）^２｝ −−−（１５）
また、各点の重心位置Ｇからの距離は、
Ｇ−Ｃ１＝Ｇ−Ｃ２＝Ｇ−Ｃ３＝Ｌｇ
＝√｛（ｘｇ−ｘ１）^２＋（ｙｇ−ｙ１）^２｝ −−−（１６）
式（１３）〜（１５）で求められた、距離Ｌ１、Ｌ２、Ｌ３の中から最小となるものを求め、その距離と重心までの距離の比を求め、移動ステップを決定する。例えば、重心位置Ｇのステップサイズを最大としてＳＧＴ、最小のステップサイズをＳＭＩＮとすれば、テンプレート位置から最小距離Ｌ（図１９（ａ）ではＬ２）の点のステップサイズは、
ステップサイズ＝Ｌ／Ｌｇ×（ＳＧＴ−ＳＭＩＮ）＋ＳＭＩＮ −−−（１７）
とする。
【００５９】
３．２．２近い法の基準点２点の比からの距離法：
各基準点からのＴまでの距離（近い方の２点）に応じて比例配分し、探索する距離に応じてステップサイズを可変とする。例えば、式（１３）〜（１５）の距離の小さい方２つの距離の比より決定する。図１９（ａ）のように、Ｌ２＜Ｌ３＜Ｌ１のときは、Ｌ２＝Ｌ３となる点を最大ステップ巾ＳＭＡＸとして、
ステップ＝Ｌ２／Ｌ３×ＳＭＡＸ −−−（１８）
とすればよい。
【００６０】
尚、探索領域内の位置及び移動ステップの決め方はこの方法にはこだわるものでない。
４．基準点からの距離に応じて、各データブロック、捜索領域の大きさを設定する
４．１各基準点からデータブロックとする画像位置の距離を求め、その距離の比に応じてデータブロックサイズを可変にする。図１９（ｂ）に示されているように、三角形の重心位置Ｇは各基準点より等距離となるが、重心以外の点Ｔと基準点までの距離は、重心から基準点までの距離より短くなる距離が存在する。これより、重心位置のデータブロックを最大のサイズとして、各基準点に近づく程エリアを小さくしていく。Ｃ１（ｘ１、ｙ１）、Ｃ２（ｘ２、ｙ２）、Ｃ３（ｘ３、ｙ３）とし、Ｔ（ｘ、ｙ）としたとき、各点のＴからの距離は、式（１３）〜（１５）より同様に求められる。また、各点の重心位置Ｇからの距離は、式（１６）より求められる。そして、距離Ｌ１、Ｌ２、Ｌ３の中から最小となるものをみつけ、その距離と重心までの距離の比を求め、データブロックサイズを決定する。
例えば、重心位置ＧのデータブロックサイズをＧＴ、データブロック位置から最小距離Ｌ（図１９（ｂ）ではＬ２）の点のデータブロックサイズをＣＴ（図１９（ｂ）ではＣ２のデータブロック）とすると、
データブロックサイズ＝Ｌ／Ｌｇ×（ＧＴ−ＣＴ）＋ＣＴ −−−（１９）
とする。
【００６１】
また、データブロックの縦横の巾は、縦視差が標定処理によってすでにほぼ除去されていれば、縦方向は可変とせず一定、横方向だけでも良い。このようにすることで、基準点の近傍は、対応点がそばにあるという前提でデータブロックを小さく、遠く離れるにしたがってそばにあるかどうか不確実となるのでデータブロックを大きくして効率良く確実に対応点を得ることができる。
【００６２】
尚、データブロックサイズの決め方はこの方法にはこだわるものでない。このようにすれば、効率的に速く探索が可能となる。
【００６３】
５．基準点の相関値より各データブロックの大きさを設定する
図２０に、データブロックの大きさについての説明図を示す。
各三角形の頂点（基準点）は、計測された点であるので、すでに対応づけが成されている。従って、この各点における各種テンプレート（基準データブロック）サイズに対する相関係数を求め（図２０（ａ）に示すように）、一番高い相関値を示したテンプレートをテンプレート画像とする。この求められたテンプレートサイズの画像で各基準点に近いエリア内を探索するようにする。各基準点で求まったテンプレートサイズを、その探索する位置に応じて変える。
【００６４】
例えば、一例として、各基準点で求められたサイズと各基準点からの距離（近い方の２点）に応じて比例配分し、探索する距離に応じてサイズを可変とする（図２０（ｂ）参照）。Ｃ１（ｘ１、ｙ１）、Ｃ２（ｘ２、ｙ２）、Ｃ３（ｘ３、ｙ３）とし、テンプレートＴ（ｘ、ｙ）としたとき、求めるテンプレートサイズは、式（１３）〜（１５）より求まる。従って求められた小さい方２つの距離の比より決定する。例えば、図２０（ｂ）のように、Ｌ２＜Ｌ３＜Ｌ１のときは、ＣＬ２とＣＬ３のテンプレートサイズをＬ２：Ｌ３の比より分割、Ｔのサイズとする。
【００６５】
尚、データブロックの縦横の巾は、縦視差が標定処理によってすでにほぼ除去されていれば、縦方向は可変とせず一定、横方向だけでも良い。
【００６６】
本発明のように、基準点から生成された三角形を基準に画像相関処理を行なうことで、疎密探索画像相関法のような異なる解像度の画像を多数用意する必要が無くなり、結果として高速かつ信頼性の高い画像相関処理を行なうことが出来るようになる。加えて、測量機による併用測定ができるので、計測が信頼性高く、確実なものとなり、従来では時間がかかり、計測が行なえなかった場所も、速く、容易に計測可能となる。
【００６７】
【発明の効果】
本発明によると、以上のように、ノンプリズムＴＳと画像相関処理を併用することで、立ち入ることの出来ないような箇所又は危険個所等のように従来測定が不可能であった領域についても、非接触で計測することを可能とせしめ、各方法で単独で測定する場合よりも全体の計測を一段と高速化、効率化、高信頼化させることができる。
【図面の簡単な説明】
【図１】本発明の測定装置の全体ブロック図。
【図２】オンライン計測についてのフローチャート。
【図３】ステレオ画像の説明図。
【図４】計測点による三角形の作成についての説明図。
【図５】入力画像とテンプレート画像についての説明図。
【図６】３×３画素における例を示す図。
【図７】ステレオ法についての説明図。
【図８】相関結果の表示についての説明図。
【図９】半自動計測についてのフローチャート。
【図１０】測定点の追加についての説明図。
【図１１】三角形の組み替えについての説明図。
【図１２】グラフィック表示についてのフローチャート。
【図１３】グラフィック表示についての説明図。
【図１４】探索領域の設定についての説明図（１）。
【図１５】探索領域についての説明図。
【図１６】探索領域の設定についての説明図（２）。
【図１７】探索領域の大きさの所定についての説明図。
【図１８】探索領域の設定についての説明図（３）。
【図１９】三角形の重心とデータブロックについての説明図。
【図２０】データブロックの大きさについての説明図。
【符号の説明】
１測量機
２測定装置
３カメラ
１０基準点捜索部
２０探索領域設定部
３０演算部
４０表示部
５０測定部
６０バス

Claims

位置データが明らかとなっている計測点を少なくとも３つ以上含むステレオ画像に対して、その計測点の内の少なくとも一部を区分点とし、定められた複数の区分点の内の少なくとも３つの区分点に基づき探索領域を設定する設定部と、
上記設定部により設定された探索領域に基づき、それぞれのステレオ画像上の対応する探索領域同士の画像に対して相関処理を施す演算部と、
上記演算部による相関結果から、任意の位置の点の座標を測定する測定部と
を備え、
上記演算部は、相関処理の結果に応じて、相関係数の低い領域を新たな計測点が必要となる計測領域とし、該計測領域の位置の情報を作成するようにしたステレオ画像の測定装置。
請求項１記載のステレオ画像の測定装置において、
さらに、ステレオ画像を表示する表示部を有し、
該表示部は、上記演算部が作成した計測領域の位置の情報に応じて、追加計測が必要な領域に所定の表示を行うことを特徴とするステレオ画像の測定装置。
請求項２記載のステレオ画像の測定装置において、
上記表示部は、ステレオ画像上に追加計測が必要な領域をグラフィック表示するように構成され、
上記表示部で表示されたグラフィック表示に基づき、その領域内の新たな計測点の位置データを外部測量装置により計測した際に、その位置データを受け取るように構成されていることを特徴とするステレオ画像の測定装置。
請求項１又は２記載のステレオ画像測定装置において、
上記測定部は、上記演算部が作成した計測領域の情報を自動視準機能付き測量機に出力し、該測量機にその領域データが示す領域での新たな計測点の位置を計測させ、その計測された位置データを受け取るように構成されていることを特徴とするステレオ画像の測定装置。
請求項１乃至４記載のステレオ画像測定装置において、
上記設定部は、上記演算部が作成した計測領域の情報に応じて、詳細区分が必要な領域内の計測点を新たな区分点に選定した上で、新たな探索領域をステレオ画像上に設定し、
上記演算部は、この新たな探索領域同士の画像に対して相関処理を施すように構成されていることを特徴とするステレオ画像の測定装置。
請求項１乃至４記載のステレオ画像測定装置において、
上記設定部は、得られた区分点又は計測点のうち隣接する３つの点が形成する三角形を包含する包含四角形を探索領域として各ステレオ画像に設定することを特徴とするステレオ画像測定装置。
請求項１乃至４記載のステレオ画像測定装置において、
上記設定部は、ステレオ画像の一方の探索領域内に基準データブロックを、ステレオ画像の他方の探索領域内に捜索データブロックを設け、区分点からの距離に応じて、各データブロックの位置または移動ステップを設定するように構成されていることを特徴とするステレオ画像測定装置。
請求項１乃至４記載のステレオ画像測定装置において、
上記設定部は、ステレオ画像の一方の探索領域内に基準データブロックを、ステレオ画像の他方の探索領域内に捜索データブロックを設け、区分点からの距離に応じて、各データブロックの大きさを設定するように構成されていることを特徴とするステレオ画像測定装置。
請求項１乃至４記載のステレオ画像測定装置において、
上記設定部は、ステレオ画像の一方の探索領域内に基準データブロックを、ステレオ画像の探索領域内に捜索データブロックを設け、区分点付近において複数の大きさのデータブロックを設定して、相関結果を得て、その相関結果に応じて各データブロックの大きさを決定するように構成されていることを特徴とするステレオ画像測定装置。
請求項１乃至４記載のステレオ画像測定装置において、
上記設定部は、ステレオ画像の一方の探索領域内に基準データブロックを、ステレオ画像の他方の探索領域内に捜索データブロックを設け、探索領域の大きさに応じて、各データブロックの大きさを決定するように構成されていることを特徴とするステレオ画像測定装置。
請求項１乃至１０のいずれかに記載のステレオ画像測定装置において、
上記設定部は、設定された探索領域に基づき、その領域より小さいデータブロックを設定し、
上記演算部は、一方のステレオ画像のデータブロックに相当するブロックをテンプレートとし、
他方のステレオ画像を該テンプレートと同じ縦位置で走査して、
計算された相関値により該テンプレートに対応するデータブロックを探索することを特徴とするステレオ画像測定装置。