JP6694234B2 - 距離測定装置 - Google Patents

Description

本発明は、複数の画像を利用することにより、距離を出力することのできる距離測定装置に関する。

任意の被写体を複数の視点から撮影することのできる複数視点撮像装置は、立体映像の生成や自由視点映像の生成、また、それらを実現するために必要な奥行き画像（デプスマップ）の生成などに利用される。
このようなシステムにおいては、三角測量の原理に基づき、撮像装置のパラメータや各々撮像された画像の視差情報（ディスパリティ、デプスと表現されることもある）を用いることで、撮像装置から被写体までの距離や被写体間の距離を算出することもできる。撮像装置のパラメータと撮像装置から被写体までの距離の関係は、［数１］によってあらわすことができる。

ここで、ｄは視差、ｂは撮像装置間の基線長、ｆは撮像装置の焦点距離、Ｚは撮像装置から被写体までの距離である。［数１］は、撮像装置の光軸が平行に配置された場合の距離算出式に相当するが、撮像装置の光軸が角度を持って配置された場合には、カメラキャリブレーション等によりカメラパラメータを算出し、画像の平行化を施すことによって、同様に適用することができる。
さらに、画角やレンズ歪などの撮像装置のパラメータに基づき、３次元的な位置情報を算出することができる。光軸と投影点の角度や焦点距離ｆ、距離Ｚを用いて、ＸＹ座標値も算出することができる。３次元的な位置情報を得ることができれば、撮影空間内の任意の２点の距離を算出することができる。

以上のような視差は、画像間のステレオマッチング処理などにより求めることができる。ステレオマッチングとは、任意に定める一方の画像を基準画像、もう一方を評価画像とし、基準画像の注目領域（例えば、５×５などに設定）の部分画像をテンプレートとし、評価画像の対応点（対応領域）を評価関数（例えば、ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）に基づき探索する方法であり、注目領域と対応領域との間の距離が視差に相当する。
本ステレオマッチングにおいては、前記部分画像内に特徴的な部分を含まない場合（例えば、同じ明るさで同じ色の平面の場合など）には、複数の領域でマッチングしてしまい、真の位置と必ずしもマッチングの尤度が最大化されない。すなわち、正しい視差が求まらないことがある。
一方、エッジのように特徴的な部分を含む部分画像の場合には、オクルージョンが発生している場合や繰り返し模様になっている場合を除き、比較的精度の高い視差情報を得ることができる。

画像のエッジ部分を利用した測距システムとして、特許文献１が開示されている。
特許文献１では、複数視点の撮像装置から入力された２つの画像を元画像とし、そのうち一方の画像の画像サイズを変更したリサイズ画像を用意し、リサイズ画像中からエッジ（特徴端点）を抽出する。抽出されたエッジに対応した変形前の画像（元画像）の対応領域を任意サイズのマッチングパターンとし、もう一方の画像とステレオマッチングすることで視差および距離を算出するような構成としている。
以上の構成によって、斜めエッジを検出するためのエッジ検出カーネルを角度ごとに用意することなく、縦横エッジ検出カーネルを利用して、斜めエッジ部分の視差検出力を向上させることができる。

特開２００３−９８４２４号公報

特許文献１に記載の発明においては、エッジを利用して測距することが可能である。しかしながら、特許文献１に対する課題として、動きボケの影響が考えられる。
（１）動きボケ自体の影響
被写体が動いている場合、エッジ付近には動きボケ（モーションブラー）が生じている。特に、被写体が高速で動いている場合には、画像上の複数ピクセルにわたり動きボケの影響が生じ、エッジ（特徴領域）として抽出できないため、測距ができなくなる。エッジ検出カーネルの設定によっては、エッジとして抽出できる可能性があるが、エッジとして抽出できた場合においても、ボケが生じなかった場合のエッジの真の位置であることは保証されない。そのため、測距結果の信頼度は低下すると考えられる。
（２）撮像装置と被写体の運動方向による影響
動きボケ量は、撮像装置の光軸と被写体の移動方向が直交する場合に最大となり、撮像装置の光軸と被写体の移動方向が平行である場合に最小となる。そのため、動きボケの影響を少なくするためには、撮像装置の光軸と被写体の移動方向が平行となる位置に撮像装置が設置されることが望ましい。すなわち、被写体が被写体正面方向に移動していると仮定すると、撮像装置を被写体の正面に置くことが望ましい。しかしながら、被写体の側面も撮影範囲としたいとき、必ずしも正面には置けない。

本発明は、上記の課題を鑑みてなされたものであり、本発明の目的とするところは、より信頼度の高い測距結果を得ることのできる距離測定装置を提供することである。

前記課題を解決するために、本発明の距離測定装置は、
複数の方向から撮影した複数の画像を取得する撮像部と、
前記画像における被写体上の点を検出する被写体点検出部と、
前記被写体上の点の３次元位置を前記複数の画像の視差計測により算出する３次元位置算出部と、を備え、
前記被写体上の点の３次元位置における計測誤差Ｅ＝Ｐ・Ｎｐ・Ｚ／ｆ（Ｐは画素ピッチ量、Ｎｐは視差計測精度、ｆは焦点距離、Ｚは被写体までの距離）に基づいて信頼度を算出し、
前記３次元位置と、前記信頼度とに基づいて、前記被写体上の点の座標値を確定し、距離を出力するように構成されている。

したがって、より信頼度の高い測距結果を得ることができる。

あるいは、本発明の距離測定装置は、
経時的に撮影した複数の画像を取得する撮像部と、
前記画像における被写体上の点を検出する被写体点検出部と、
前記被写体上の点の３次元位置を前記複数の画像の視差計測により算出する３次元位置算出部と、を備え、
前記被写体上の点の３次元位置における計測誤差Ｅ＝Ｐ・Ｎｐ・Ｚ／ｆ（Ｐは画素ピッチ量、Ｎｐは視差計測精度、ｆは焦点距離、Ｚは被写体までの距離）に基づいて信頼度を算出し、
前記３次元位置と、前記信頼度とに基づいて、前記被写体上の点の座標値を確定し、距離を出力するように構成されている。

したがって、より信頼度の高い測距結果を得ることができる。

好ましくは、
第１撮影時において複数の画像を元に視差計測で注目点の３次元位置の信頼度を算出し、第２撮影時において前記第１撮影時とは別の複数の画像を元に視差計測で比較点の３次元位置の信頼度を算出し、これらの信頼度の比較結果に基づいて、前記被写体上の点の座標値を確定し、距離を出力するように構成することが可能である。

このように構成することによって、より信頼度の高い測距結果を得ることができる。

また、好ましくは、
前記距離は、前記距離測定装置と前記被写体上の点との間の距離、前記被写体上の点と当該被写体上の他の点との間の距離、又は前記被写体上の点と前記画像における他の被写体上の点との間の距離であるように構成することが可能である。

このように構成することによって、被写体までの距離、被写体上の２点間の距離、もしくは被写体間の距離を出力することができる。

また、好ましくは、
前記被写体上の点の前記信頼度を、当該信頼度の大小が分かるように表示するように構成することが可能である。

このように構成することによって、ユーザは信頼度の大小が分かることとなる。

本発明によれば、より信頼度の高い測距結果を得ることができる。

第１の実施の形態における距離測定装置の一構成例を示す図である。 図１に示す距離測定装置が備える画像処理部の一構成例を示す図である。 エッジ検出フィルタの一例を示す図である。 ステレオマッチングの一例を示す図である。 被写体の３次元位置の算出法の一例を示す図である。 撮像装置座標系Ｃから被写体座標系Ｌへの座標変換法の一例を示す図である。 ３次元位置確定部における動作の一例を示すフローチャートである。 比較点の選択法の一例を示す図である。 第２の実施の形態における距離測定装置が備える画像処理部の一構成例を示す図である。 動きボケ推定部における動作の一例を示す図である。 動きボケ推定部における動作の一例を示す図である。 動きボケ推定部における動作の一例を示す図である。 動きボケ推定部における動作の一例を示す図である。 第３の実施の形態における距離測定装置が備える画像処理部の一構成例を示す図である。 表示部に表示された、ユーザが測定したい特徴点を指定するための画像の一例を示す図である。 表示部に表示された、確定された特徴点情報の一例を示す図である。 車輛のパンタグラフのすり板部分の厚みの測定法の一例を示す図である。 車輛のパンタグラフのすり板部分の厚みの測定法の一例を示す図である。 車輛のパンタグラフのすり板部分の厚みの測定法の一例を示す図である。

以下、本発明に係わる実施の形態について、図面を参照して説明する。

＜第１の実施の形態＞：基本構成
本実施の形態においては、本発明における基本的な構成について説明する。
具体的には、撮影空間中を動いている被写体を複数回撮影し、複数回の撮影で得られた撮影画像それぞれの特徴点座標およびその信頼度を求め、当該特徴点座標および信頼度に基づいて所望の撮影タイミングにおける撮影画像の特徴点座標を補正することで、距離（被写体までの距離、被写体上の２点間の距離、もしくは被写体間の距離）と、その信頼度と、を測定することのできる距離測定装置および距離測定方法について説明する。

まず、本発明における全体の構成について説明する。
図１は、本実施の形態における距離測定装置の一構成例である。距離測定装置１００は、本実施例における距離測定装置であり、被写体を撮像するための撮像部１０１と、撮像した撮影画像を処理するための画像処理部１０２と、撮影画像そのものや画像処理結果を出力表示するための表示部１０３と、撮影画像そのものや画像処理結果、画像処理に利用する種々のデータを保存する保存部１０４と、ユーザからの入力や外部装置へのデータ送信のための外部入出力部１０５と、距離測定装置１００全体の制御を行うための制御部１０６と、各々のユニット間でのデータのやり取りを行うためのデータバス１０７と、から構成される。

撮像部１０１は、撮影空間を距離測定装置１００に取り込むための光学部品およびＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子を複数具備するように構成され、光電変換によって得られた夫々の撮影画像データをデータバス１０７に出力する。複数の光学部品および撮像素子は一つの筐体内に配設されてもよいが、撮影位置が異なる複数の撮像装置として構成される。すなわち、撮像部１０１は、光学部品と撮像素子とを備える撮像装置を複数有しており、これらの撮像装置は、互いに視差を有する撮影画像が撮像できるような位置に配置されている。
撮影された情報は、生データのままデータバス１０７に出力されてもよいし、画像処理部１０２において処理しやすいように事前に画像処理（輝度画像化、ノイズ除去など）が施された画像データとしてデータバス１０７に出力されてもよく、また、その両方が出力されるような構成としてもよい。さらに、撮影時の絞り値や焦点距離などのカメラパラメータを、撮像部１０１から保存部１０４に送るように構成することもできる。

本発明における撮像部１０１は、動被写体に対し複数回撮影を行い、それぞれの撮影画像データを各部に送信する。本実施の形態においては、撮像部１０１が２台の撮像装置を備える場合を例に説明する。

画像処理部１０２は、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などによって構成され、撮像部１０１もしくは撮影画像データが保存された保存部１０４から撮影画像データを取得し、各種画像処理を行った結果をデータバス１０７に出力する。画像処理部１０２における詳細な説明については後述する。

表示部１０３は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や有機ＥＬディスプレイ（ＯＥＬＤ：Ｏｒｇａｎｉｃ ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｃｅ
Ｄｉｓｐｌａｙ）などによって構成され、画像処理部１０２から出力される画像処理結果や、保存部１０４に保存された画像などを表示する。なお、表示部１０３は、外部入出力部１０５を介して、距離測定装置１００の外部に設置される構成としてもよい。

保存部１０４は、例えば、ＲＡＭ（Ｒａｍｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの主記憶装置およびハードディスクなどの補助記憶装置からなる。主記憶装置は、撮影画像データや画像処理結果を一時的に保持するために利用される。補助記憶装置には、撮影画像データ、画像処理結果、カメラキャリブレーションに利用するためのデータなど、ストレージとして長期的に保存するためのデータが格納される。

外部入出力部１０５は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）やＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）などの入出力ポートを有し、外部からの撮影トリガの受信、撮影画像データや画像処理結果の送信などを行う。
撮影トリガは、例えば、被写体の通過を検出する通過センサから入力される。通過センサは、例えば、当該通過センサと距離測定装置１００との位置関係に応じて、当該通過センサの計測範囲を被写体が通過したことを検出すると直ちに撮影トリガを送信するように構成することも可能であるし、当該通過センサの計測範囲を被写体が通過したことを検出してから所定時間経過後に撮影トリガを送信するように構成することも可能である。

制御部１０６は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などによって構成され、撮像部１０１における撮像処理や画像処理部１０２における画像処理などの種々の命令・制御を行う。

データバス１０７は、各々のユニット間でのデータのやり取りを行うためのバスである。

以上の構成は、本実施の形態における全体の構成である。
続いて、本発明における画像処理部１０２の詳細な構成例および動作例について説明する。
本発明においては、同一の動被写体を複数回撮影し、予備撮影の計測結果を利用して、所望撮影における距離（３次元位置）の計測結果を補正することを特徴としている。予備撮影および所望撮影とは、例えば、２回撮影する条件の場合、１回目の撮影が予備撮影、２回目の撮影が所望撮影となる。なお、１回目および２回目の撮影結果を保存部１０４に保存することにより、予備撮影および所望撮影を入れ替えることもできるし、３回以上撮影して所望撮影以外の複数の撮影を予備撮影とすることで、所望撮影時の補正をするように構成することもできる。
以下、２回撮影する場合であって、１回目の撮影を予備撮影、２回目の撮影を所望撮影とした場合を例に説明する。

本実施の形態における画像処理部１０２は、図２に示すように、撮像部１０１もしくは保存部１０４から受け取った撮影画像データから特徴点を検出する特徴点検出部２０１と、特徴点検出部２０１において検出された特徴点における視差を算出する視差算出部２０２と、視差算出部２０２において算出された視差と保存部１０４に保存される焦点距離や撮像装置間の基線長などの撮像部１０１の撮像パラメータ（カメラパラメータ）情報とに基づき、各特徴点に対する３次元位置および当該３次元位置における計測誤差（分解能）情報を算出する３次元位置情報算出部２０３と、特徴点検出部２０１、視差算出部２０２、および３次元位置情報算出部２０３からの処理情報をもとに、各特徴点に対する信頼度を算出する信頼度算出部２０４と、各特徴点に対する３次元位置情報および信頼度を一時的に保持する特徴点情報保持部２０５と、予備撮影時および所望撮影時における各々の特徴点情報（３次元位置情報および信頼度）を特徴点情報保持部２０５から受け取り、所望撮影時における各特徴点に対する３次元位置情報を補正する３次元位置確定部２０６と、から構成することができる。

特徴点検出部２０１は、データバス１０７からステレオ画像データ（２台の撮像装置のうちの一方により撮像された撮影画像データおよび他方により撮像された撮影画像データ）を受け取り、撮影画像データの特徴点を検出する。ここで、特徴点とは、例えばエッジ情報であり、図３に示すようなＳｏｂｅｌフィルタ（３×３）に対する反応強度がある閾値以上であった場合に、特徴点領域であると判定する。なお、エッジ検出手法は、Ｓｏｂｅｌフィルタに限定されず、ＰｒｅｗｉｔｔフィルタやＬａｐｌａｃｉａｎフィルタ、Ｃａｎｎｙフィルタ、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）と呼ばれる各種特徴点データのいずれかもしくは複数を使う構成にすることができる。
特徴点検出部２０１は、検出された特徴点の画像座標における位置情報および／もしくは特徴点画像データ、必要に応じて撮影画像データを視差算出部２０２に送信する。また、各特徴点座標における特徴点強度（反応強度）を信頼度算出部２０４に送る。

視差算出部２０２は、特徴点検出部２０１からの特徴点の画像座標における位置情報および／もしくは特徴点画像データを受け取り、ステレオマッチングを行う。
ここで、ステレオマッチングの一例について、図４を用いて説明する。本実施の形態における撮像装置が左右に並んで配設されている場合、まず、左画像（左側の撮像装置により撮像された撮影画像）の特徴点位置を基準に、探索窓の範囲の画像をテンプレートとして切り取る。ここで、探索窓の範囲は、例えば１１×１１とする。次に、左画像の特徴点位置に対応する右画像（右側の撮像装置により撮像された撮影画像）位置の探索窓範囲と、前記テンプレートとのマッチング評価値を求める。マッチング評価値は、例えば、［数２］に示すように、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）値として求められる。ここで、Ｌ（ｘ，ｙ）は画像座標（ｘ，ｙ）における左画像の探索窓、Ｒ（ｘ，ｙ）は画像座標（ｘ，ｙ）における右画像の探索窓の各画素の階調値を表している。

マッチング評価値は、あらかじめ設定された探索範囲に対して、注目位置をずらしながら、それぞれの位置に対して算出される。ＳＡＤにより算出する場合、マッチング評価値が最小となる位置がマッチング位置となり、右画像におけるマッチング位置と左画像における元の注目点（特徴点）位置との差が視差となる。
なお、マッチング評価値を算出する方法は、ステレオマッチングで用いられる種々の評価関数によって算出する方法でよく、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｕｑｕａｒｅ Ｄｉｆｆｅｒｅｎｃｅ）などで算出するようにしてもよい。
視差算出部２０２は、各画素位置（各特徴点位置）に対する視差算出結果を、３次元位置情報算出部２０３に送る。また、各画素位置（各特徴点位置）に対するマッチング評価値を、信頼度算出部２０４に送る。

３次元位置情報算出部２０３は、視差算出部２０２からの視差情報（視差算出結果）と、保存部１０４からの各種撮像パラメータ（カメラパラメータ）をもとに、［数１］によって距離Ｚを算出する。ここで、視差算出部２０２によって算出される視差は、画像座標系における視差であり、ピクセル値である。一方、［数１］における視差は、センサ座標系における視差（“ｍｍ”などのＳＩ単位）である。そのため、保存部１０４からの画素ピッチ量Ｐ（ｍｍ／ｐｉｘｅｌ）をパラメータとして、画像座標系からセンサ座標系に変換を行うことで、距離Ｚを算出することができる。なお、距離Ｚは、光軸をＺ軸と平行とした場合のＺの座標値に相当する。また、図５に示すように、距離Ｚおよび画像上の座標位置（ｘ，ｙ）から、被写体の３次元的な位置（Ｘ，Ｙ，Ｚ）を算出することができる。

また、視差算出部２０２における視差計測精度（視差算出精度）に基づき、当該の特徴点位置における計測誤差を算出する。例えば、視差算出部２０２における視差計測精度Ｎｐがピクセルを１単位とする場合、［式３］によって算出できる。

ここで、Ｅは計測誤差、Ｐは画素ピッチ量、Ｎｐは視差計測精度、ｆは焦点距離、Ｚは被写体までの距離である。計測誤差Ｅは、距離Ｚに比例することがわかる。故に、撮像装置から被写体までの距離Ｚが遠くなるほど、計測誤差Ｅは大きな値となる。
３次元位置情報算出部２０３は、以上によって得られた被写体までの距離（３次元位置）情報および計測誤差情報を信頼度算出部２０４に送信する。

信頼度算出部２０４は、特徴点検出部２０１からの特徴点強度と、視差算出部２０２からのマッチング評価値と、３次元位置情報算出部２０３からの３次元位置情報および計測誤差情報と、をそれぞれ受け取り、信頼度を算出する。具体的には、信頼度算出部２０４は、例えば、特徴点強度に対する信頼度Ｉ＿Ｒ、マッチング評価値に対する信頼度Ｍ＿Ｒ、計測誤差情報に対する信頼度Ｅ＿Ｒをそれぞれ算出し、これらの組み合わせによって総合的な信頼度Ｓ＿Ｒを算出するように構成することができる。それぞれの信頼度の算出式について、［数４］〜［数７］に一例を示す。

［数４］は、特徴点信頼度Ｉ＿Ｒの算出式の一例である。Ｉ＿Ｂは特徴点強度、ＩＳは特徴点検出フィルタの係数和である。例えば、撮影画像データに基づく画像が８ビット画像であり、Ｓｏｂｅｌフィルタ（３×３）によって特徴点を検出した場合、特徴点強度Ｉ＿Ｂは最大で１０２０（＝２５５＋２５５×２＋２５５）であり、フィルタ係数和ＩＳは４（＝１＋２＋１）である。したがって、特徴点信頼度Ｉ＿Ｒは０〜２５５の値となり、２５５の時、特徴点信頼度が最大となる。

［数５］は、マッチング信頼度Ｍ＿Ｒの算出式の一例である。Ｍ＿Ｂはマッチング評価値、Ｎは探索窓サイズである。前記例の通り、視差算出部２０２においてＮ＝１１のＳＡＤによって視差を算出した場合、マッチング評価値Ｍ＿Ｂは、０〜３０８５５の値となる。マッチング評価値Ｍ＿Ｂを探索窓の総画素数であるＮ^２（＝１２１）で除することにより、平均化マッチング評価値（［数５］の右辺の第２項）は、０〜２５５の値となる。平均化マッチング評価値は、０に近いほどマッチングの評価が高いことを示す。特徴点信頼度Ｉ＿Ｒと同様に２５５が最大値となるように、２５５から平均化マッチング評価値を減じた値をマッチング信頼度Ｍ＿Ｒとして設定する。

［数６］は、計測誤差信頼度Ｅ＿Ｒの算出式の一例である。Ｅは特徴点位置の計測誤差、Ｅ＿ｍｉｎは計測範囲に指定した範囲のうち最小となる計測誤差、Ｅ＿ｍａｘは計測範囲に指定した範囲のうち最大となる計測誤差である。例えば、仕様として計測できる範囲がＺ＝２０００ｍｍ〜５０００ｍｍと設定され、焦点距離ｆが７５ｍｍ、画素ピッチ量Ｐが０．０００５ｍｍ／ｐｉｘｅｌ、視差計測精度Ｎｐが１ｐｉｘｅｌの場合を考える。［数３］より、最小計測誤差Ｅ＿ｍｉｎ、最大計測誤差Ｅ＿ｍａｘはそれぞれ０．１３３、０．３３３となる。計測誤差信頼度Ｅ＿Ｒは、計測誤差Ｅが最小計測誤差Ｅ＿ｍｉｎと等しいとき２５５の値となり、最大計測誤差Ｅ＿ｍａｘと等しいとき０の値となる。

［数７］は、統合信頼度Ｓ＿Ｒの算出式の一例である。ＣＩ、ＣＭ、ＣＥはそれぞれ任意の加重平均係数となる。すなわち、統合信頼度Ｓ＿Ｒは、特徴点信頼度Ｉ＿Ｒ、マッチング信頼度Ｍ＿Ｒ、および計測誤差信頼度Ｅ＿Ｒの加重平均値となる。重み付けの値を外部入出力部１０５からユーザに入力させるようにし、その値を保存部１０４に保持するようにしておいてもよいし、各信頼度のうち、最小の信頼度を統合信頼度Ｓ＿Ｒとして選択するような構成とすることもできる。なお、［数７］によって統合信頼度Ｓ＿Ｒを算出する場合の重み付けは、ＣＥの重みがＣＩおよびＣＭの重みよりも大きくなるように設定することが好適である。これは、特徴点信頼度Ｉ＿Ｒおよびマッチング信頼度Ｍ＿Ｒは被写体が前方に来るほど下がる傾向があり、逆に計測誤差信頼度Ｅ＿Ｒは被写体が前方に来るほど上がる傾向がある。そのため「ＣＩ＋ＣＭ」と「ＣＥ」のバランスをとるように設定することが望ましい。例えば、ＣＩ＋ＣＭ＝ＣＥ＝０．５となるように設定する。

ＣＩ＋ＣＭ＝ＣＥ＝０．５となるように設定すると、統合信頼度Ｓ＿Ｒ（Ｘ，Ｙ，Ｚ）は０〜２５５の値となり、２５５に近づくほど、信頼度が高いことを示す。エッジの強度が高く、マッチング強度が高く、かつ特徴点位置の計測誤差が小さい位置ほど信頼度が高くなることになる。
信頼度算出部２０４は、特徴点の座標情報Ｘ，Ｙ，Ｚと、以上によって算出された各座標に対する統合信頼度Ｓ＿Ｒ（Ｘ，Ｙ，Ｚ）の値と、を特徴点情報保持部２０５に送る。

特徴点情報保持部２０５は、信頼度算出部２０４からの特徴点の座標情報Ｘ，Ｙ，Ｚと統合信頼度Ｓ＿Ｒ（Ｘ，Ｙ，Ｚ）とを一時的に保持し、次の撮影時に利用する。また、その都度の撮影に対する信頼度データとして、信頼度算出部２０４からの情報を保存部１０４に送り、データを逐次保存するように構成できる。

３次元位置確定部２０６は、予備撮影時には、特に処理をする必要はない。

以上のようにして、予備撮影時の画像処理が行われる。予備撮影時の画像処理結果（３次元位置測定の結果、信頼度、処理画像など）については、保存部１０４に保存されるが、表示部１０３において逐次表示したり、外部入出力部１０５を経由して外部装置に送信したりすることができる。

続いて、所望撮影時の画像処理について説明する。所望撮影時の画像処理に際して、画像処理部１０２が備える特徴点検出部２０１と視差算出部２０２と３次元位置情報算出部２０３と信頼度算出部２０４と特徴点情報保持部２０５とは、予備撮影時の画像処理と同様の処理を行うことで、所望撮影における各特徴点の座標情報Ｘ’，Ｙ’，Ｚ’と、各座標に対する統合信頼度Ｓ＿Ｒ（Ｘ’，Ｙ’，Ｚ’）を得る。

３次元位置確定部２０６は、特徴点情報保持部２０５から、予備撮影における特徴点の座標情報Ｘ，Ｙ，Ｚと、その統合信頼度Ｓ＿Ｒ（Ｘ，Ｙ，Ｚ）と、所望撮影における特徴点の座標情報Ｘ’，Ｙ’，Ｚ’と、その統合信頼度Ｓ＿Ｒ（Ｘ’，Ｙ’，Ｚ’）と、を受け取り、３次元位置情報を確定する。

予備撮影における特徴点の座標情報Ｘ，Ｙ，Ｚと、所望撮影における特徴点の座標情報Ｘ’，Ｙ’，Ｚ’は、撮像装置座標系Ｃにおける座標データであり、このままでは特徴点同士を比較することができない。そこで、図６に示すように、［数８］〜［数１１］を用いて、被写体座標系Ｌへの座標変換を行う。

ここで、Ｘ_Ｌ１、Ｙ_Ｌ１、Ｚ_Ｌ１は、予備撮影における被写体座標系Ｌでの座標値、Ｘ_Ｌ２、Ｙ_Ｌ２、Ｚ_Ｌ２は、所望撮影における被写体座標系Ｌでの座標値、ｒ_１１、ｒ_１２、ｒ_１３、ｒ_２１、ｒ_２２、ｒ_２３、ｒ_３１、ｒ_３２、ｒ_３３は、予備撮影における被写体座標系Ｌへの回転行列係数、ｒ_１１’、ｒ_１２’、ｒ_１３’、ｒ_２１’、ｒ_２２’、ｒ_２３’、ｒ_３１’、ｒ_３２’、ｒ_３３’は、所望撮影における被写体座標系Ｌへの回転行列係数、ｔｘ、ｔｙ、ｔｚは、予備撮影における被写体座標系Ｌへの並進ベクトル係数、ｔｘ’、ｔｙ’、ｔｚ’は、所望撮影における被写体座標系Ｌへの並進ベクトル係数である。［数９］および［数１１］におけるＲＴ_１およびＲＴ_２は、撮像装置座標系Ｃから被写体座標系Ｌへの変換行列であり、［数１２］および［数１３］に示すように、その逆行列を用いることで、被写体座標系Ｌから撮像装置座標系Ｃへの逆変換を行うことができる。したがって、被写体座標系Ｌにおける座標値から、撮像装置座標系Ｃにおける被写体特徴点までの３次元位置情報を得ることができるため、被写体座標系Ｌにおける座標値を確定することによって、撮像装置座標系Ｃにおける被写体特徴点までの３次元位置情報も確定されることとなる。

以上の変換によって得られた被写体座標系Ｌにおける夫々の座標値およびその統合信頼度Ｓ＿Ｒを用いて、所望撮影における座標値を確定する。続いて、確定方法について説明する。

図７は、３次元位置確定部２０６における動作の一例を示すフローチャートである。
ステップＳ７０１においては、被写体座標系における特徴点（注目点）を選択する。注目点は、例えば、特徴点を信頼度の高い順に並べた注目点リストを作成しておき、信頼度の高い特徴点から注目点として指定する。このとき、注目点リストにリストアップする特徴点は、所望撮影時の特徴点のみであってもよいが、予備撮影時の特徴点も併せてリストアップしておくことで、所望撮影時には検出できなかった信頼度の高い特徴点を得ることができるため好適である。また、閾値を設定し、信頼度の低い特徴点（閾値未満の特徴点）はリストアップしないことで、一定の信頼度を持つ情報のみをユーザに提示するように構成することもできる。

ステップＳ７０２においては、予備撮影時の特徴点および所望撮影時の特徴点の中から、比較点を選択する。具体的には、ステップＳ７０１において選択された特徴点（注目点）から任意の３次元距離範囲内にある特徴点を比較対象（比較点）として選択する。例えば、図８（ａ）に示すように、特徴点Ｐ（注目点Ｐ）における任意の３次元距離範囲Ｒ内に含まれる特徴点Ｑを比較対象として選択する。図８（ｂ）に示すように、３次元距離範囲Ｒ内に特徴点が存在しない場合は、“比較対象（比較点）なし”とする。図８（ｃ）に示すように、３次元距離範囲Ｒ内に複数の特徴点が存在する場合は、複数の特徴点全て（図８（ｃ）に示す例の場合、特徴点Ｑ１と特徴点Ｑ２との両方）を比較対象として選択する。ここで、３次元距離範囲Ｒは、例えば、距離測定装置１００の測定精度範囲もしくは許容誤差に基づき設定する。例えば、測定精度が０．１ｍｍであった場合、３次元距離範囲Ｒを０．１ｍｍにすると、測定精度単位で、信頼度の高い特徴点座標データを得ることができるため、好適である。

ステップＳ７０３においては、ステップＳ７０１において選択された特徴点（注目点）と、ステップＳ７０２において選択された特徴点（比較点）と、の夫々の信頼度を比較する。
ステップＳ７０４においては、ステップＳ７０３における比較結果に基づき、特徴点（注目点）の座標値を確定する。

例えば、図８（ａ）のように、１つの比較対象（特徴点Ｑ）が見つかった場合、特徴点Ｐにおける統合信頼度Ｓ＿Ｒ_Ｐと特徴点Ｑにおける統合信頼度Ｓ＿Ｒ_Ｑを比較し、信頼度の高い特徴点を、確定後特徴点Ｐ’とする。もしくは、［数１４］、［数１５］に示すように夫々の信頼度を重みとして確定後特徴点Ｐ’とその信頼度を求めるようにしてもよい。

ここで、Ｘｐ’，Ｙｐ’，Ｚｐ’は確定後特徴点Ｐ’の座標値、Ｘｐ，Ｙｐ，Ｚｐは特徴点Ｐの座標値、Ｘｑ，Ｙｑ，Ｚｑは特徴点Ｑの座標値、Ｓ＿Ｒ_Ｐ’は確定後特徴点Ｐ’に対する確定後信頼度（確定後統合信頼度）である。
また、例えば、図８（ｂ）のように、“比較対象なし”の場合、Ｐ’＝Ｐとし、特に確定を行わない。
また、例えば、図８（ｃ）のように、複数の比較対象（特徴点Ｑ１およびＱ２）が見つかった場合は、図８（ａ）と同様にして、特徴点Ｐ、特徴点Ｑ１、特徴点Ｑ２のうち最も信頼度の高い特徴点を確定後特徴点Ｐ’としてもよいし、信頼度を重みとして確定後特徴点Ｐ’とその信頼度を求めるようにしてもよい。

次いで、３次元位置確定部２０６は、求めた確定後特徴点Ｐ’の座標値とその信頼度Ｓ＿Ｒ_Ｐ’とを保存部１０４に送り、比較対象として選択された特徴点を注目点リストから削除する。
そして、３次元位置確定部２０６は、全ての注目点についてステップＳ７０１〜ステップＳ７０４の処理を行い、特徴点座標を確定する。

以上のように、被写体座標系Ｌにおける特徴点座標を保持することにより、距離測定装置１００は、特徴点間の距離（被写体上の２点間の距離や、被写体間の距離など）を算出することができる。ここで、被写体上（被写体表面上）の２点間の距離とは、被写体の厚みや幅などである。また、距離測定装置１００は、前述の通り［数１３］に基づき撮像装置座標系Ｃへの座標変換を行うことによって、撮像装置からの距離に変換して、保存部１０４に送るように構成することで、撮像装置から被写体までの距離を算出することができる。

なお、以上の説明においては、被写体が動いていることを想定して説明したが、被写体は静止した状態で距離測定装置１００が動いた場合においても、相対的には移動が生じているため適応可能である。
また、以上の説明においては、２回撮影する場合について説明したが、予備撮影を複数回行うこともできるし、現在フレームにおける画像を所望撮影で得られた撮影画像、それよりも以前のフレームにおける画像を予備撮影で得られた撮影画像とみなして処理することにより、動画像において逐次距離測定するように構成することもできることは容易に想定することができる。

以上の構成によって、撮影空間中を動いている被写体を複数回撮影し、複数回の撮影で得られた撮影画像それぞれの特徴点座標およびその信頼度を求め、当該特徴点座標および信頼度に基づいて所望の撮影タイミングにおける撮影画像の特徴点座標を確定することで、距離（撮像装置から被写体までの距離、被写体上の２点間の距離、もしくは被写体間の距離）と、その信頼度と、を測定することのできる距離測定装置および距離測定方法を提供することができる。

以上説明した第１の実施の形態の距離測定装置１００によれば、経時的に複数の撮影画像を取得する撮像部１０１と、複数の撮影画像における被写体上の点を検出する被写体点検出部（特徴点検出部２０１）と、被写体上の点の３次元位置を算出する３次元位置算出部（３次元位置情報算出部２０３）と、を備えた距離測定装置であって、算出された３次元位置の信頼度（統合信頼度Ｓ＿Ｒ）を算出する信頼度算出部２０４と、算出された３次元位置を確定する３次元位置確定部２０６と、を更に備え、３次元位置確定部２０６は、複数の撮影画像における被写体上の任意の注目点の３次元位置を、注目点から任意の範囲内に存在する、複数の撮影画像における被写体上の任意の比較点の３次元位置およびその信頼度に基づき、確定するように構成されている。そして、距離測定装置１００は、３次元位置確定部２０６によって確定された３次元位置に基づいて距離（撮像装置から被写体までの距離、被写体上の２点間の距離、もしくは被写体間の距離）を算出するように構成されている。

したがって、確定した３次元位置に基づいて、距離（撮像装置から被写体までの距離、被写体上の２点間の距離、もしくは被写体間の距離）を算出することができるので、より信頼度の高い測距結果を得ることができる。
ここで、経時的に取得される「複数の撮影画像」とは、予備撮影で得られた撮影画像および所望撮影で得られた撮影画像である。
なお、撮像部１０１が１回の撮影で取得する撮影画像は、左画像および右画像に限ることはなく、互いに視差を有する撮影画像であればよい。

また、第１の実施の形態の距離測定装置１００によれば、比較点は複数点であり、かつ、少なくとも１点は、注目点の存在する撮影画像とは異なる画像から検出されたものであるように構成することが可能である。

このように構成することによって、より信頼度の高い測距結果を得ることができる。

また、第１の実施の形態の距離測定装置１００によれば、信頼度（統合信頼度Ｓ＿Ｒ）は、被写体までの距離による理論誤差に基づく信頼度であるように構成することができる。
具体的には、前述したように、特徴点信頼度Ｉ＿Ｒおよびマッチング信頼度Ｍ＿Ｒは被写体が前方に来るほど（すなわち、距離が近づくほど）下がる傾向があり、逆に計測誤差信頼度Ｅ＿Ｒは被写体が前方に来るほど（すなわち、距離が近づくほど）上がる傾向がある。そして、統合信頼度Ｓ＿Ｒは、特徴点信頼度Ｉ＿Ｒ、マッチング信頼度Ｍ＿Ｒ、および計測誤差信頼度Ｅ＿Ｒに基づき算出されるので、被写体までの距離による理論誤差に基づく信頼度とすることができる。

このように構成することによって、被写体までの距離による理論誤差を考慮して確定した３次元位置に基づいて、距離（撮像装置から被写体までの距離、被写体上の２点間の距離、もしくは被写体間の距離）を算出することができるので、より信頼度の高い測距結果を得ることができる。

また、以上説明した第１の実施の形態における距離測定方法によれば、経時的に複数の撮影画像を取得する撮像部１０１によって被写体を撮影する撮影工程と、撮影画像における被写体上の点を検出する検出工程と、被写体上の点の３次元位置を算出する３次元位置算出工程と、算出された３次元位置の信頼度を算出する信頼度算出工程と、算出された３次元位置を確定する確定工程と、確定した３次元位置に基づいて、被写体までの距離、被写体上の２点間の距離、もしくは被写体間の距離を算出する算出工程と、を有し、確定工程では、複数の撮影画像における被写体上の任意の注目点の３次元位置を、注目点から任意の範囲内に存在する、複数の撮影画像における被写体上の任意の比較点の３次元位置およびその信頼度に基づき、確定するように構成されている。

したがって、確定した３次元位置に基づいて、距離（撮像装置から被写体までの距離、被写体上の２点間の距離、もしくは被写体間の距離）を算出することができるので、より信頼度の高い測距結果を得ることができる。

＜第２の実施の形態＞：動きボケの推定
本実施の形態においては、動きボケを考慮した特徴点検出フィルタの設定方法に関して説明する。具体的には、複数回の撮影で得られた撮影画像から、被写体速度を予測することで、所望撮影における動きボケを推定し、動きボケに応じて特徴点検出フィルタのサイズや形状を変更し、特徴点を適切に検出する方法について説明する。

本実施の形態における画像処理部１０２は、図９に示すように、第１の実施の形態における構成（図２）に加え、複数回の撮影結果から動きボケを推定する動きボケ推定部９０１をさらに具備するように構成される。
動きボケ推定部９０１における動作の一例について、図１０〜図１２を用いて説明する。

ステップＳ１００１において、動きボケ推定部９０１は、複数回の撮影によって得られた夫々の特徴点位置から所望撮影時の速度を予測する。
ここで、具体的な一例として、１度の予備撮影の測定結果と所望撮影の暫定の測定結果とに基づき、速度を予測する方法について説明する。図１１に示すように、任意の予備撮影３次元座標（Ｘ１，Ｙ１，Ｚ１）を選択し、その予備撮影３次元座標に対応する画像座標（ｕ１，ｖ１）を探索開始位置とし、例えば一般的な動きベクトル検出の手段と同様にして、所望撮影で得られた撮影画像における対応座標（画像座標（ｕ２，ｖ２））を探索する。画像座標（ｕ２，ｖ２）に対応する３次元座標（所望撮影３次元座標（Ｘ２，Ｙ２，Ｚ２））と予備撮影３次元座標（Ｘ１，Ｙ１，Ｚ１）のユークリッド距離および予備撮影と所望撮影との撮影時間間隔に基づいて、速度ベクトルを算出することができる。なお、３次元座標から画像座標への変換は、［数１］、［数１２］、［数１３］、および［数１６］を利用することで変換できる。

ここで、（ｕ，ｖ）は画像座標、（Ｘ，Ｙ，Ｚ）は３次元座標、ｆは焦点距離、ｘｏ，ｙｏは画像素子の中心座標から画像座標（０，０）に対応する画像素子座標のオフセット、ｐｗ，ｐｈは画像素子１画素の幅および高さである。

ステップＳ１００２において、動きボケ推定部９０１は、ステップＳ１００１において得られた速度ベクトル情報に基づき、動きボケベクトルを推定する。動きボケ推定部９０１は、保存部１０４から撮像装置のシャッター速度情報を受け取り、図１２に示すように、所望撮影３次元座標（Ｘ２，Ｙ２，Ｚ２）がシャッター速度間に移動した後の３次元座標（Ｘ３，Ｙ３，Ｚ３）を算出する。３次元座標（Ｘ２，Ｙ２，Ｚ２）および（Ｘ３，Ｙ３，Ｚ３）を、それぞれに対応する画像座標（ｕ２，ｖ２）および（ｕ３，ｖ３）に座標変換し、画像座標（ｕ２，ｖ２）および（ｕ３，ｖ３）の距離から動きボケベクトルを推定する。

ステップＳ１００３において、動きボケ推定部９０１は、ステップＳ１００２において得られた動きボケの情報に基づき、フィルタサイズの変更情報を生成し、特徴点検出部２０１に送る。例えば、動きボケのサイズ（２点間距離）が３画素であったとき、また、元の特徴点座標（所望撮影３次元座標（Ｘ２，Ｙ２，Ｚ２））は動きボケ範囲の中心であったと仮定すれば、動きボケの総量は６画素程度になっていることが考えられる。そこで、動きボケ範囲＋周囲１画素として、フィルタサイズの変更情報として８×８画素の情報を生成し、特徴点検出部２０１に送信する。

以上の方法は、特に動きボケベクトルの方向成分が、Ｚ軸方向（撮像装置の光軸方向）に大きい場合に好適である。一方、動きボケベクトルの方向成分が、主にＸ軸方向に大きい場合、フィルタをＸ軸方向に変形（例えば、３×８）し、動きボケベクトルの方向成分が、主にＹ軸方向に大きい場合、フィルタをＹ軸方向に変形（例えば、８×３）するようにするとよい。例えば、Ｘ軸方向に大きく動きボケが発生していた場合、Ｙ軸方向への特徴点の影響は少ないと想定することができる。したがって、このように、フィルタのサイズ変形（拡大）方向を制限することによって、計算量を削減することができる。

以上においては、任意の３次元座標として１点を指定し、画像上のマッチング点から所望タイミングにおける例について説明したが、例えば、被写体の複数の特徴点の重心位置の移動量から速度を予測するようにしてもよい。しかしながら、動きボケを含む特徴点情報となるため、必ずしも精度の高い特徴点位置を検出できていない可能性があり、動きボケ方向が推定できているとは限らない。そこで、動きボケベクトルの大きさを無視し、動きボケベクトルの方向に応じて、任意のステップサイズ（例えば、１画素拡大）で、フィルタサイズの拡大や変形を行うように構成すると、判定処理のみで対応できるため、処理を単純化することができる。

特徴点検出部２０１は、フィルタサイズの変更情報を受け取り、再度、所望撮影で得られた撮影画像に対する特徴点を検出することで、より信頼度の高い特徴点情報を得ることができるようになる。

以上の説明においては、予備撮影と所望撮影の測定結果から、所望撮影の特徴点を再検出する構成であるが、例えば図１３に示すように、予備撮影として２回撮影（予備撮影Ａ、予備撮影Ｂ）しておき、予備撮影Ｂにおける速度ベクトルを算出し、当該の速度ベクトルと所望撮影までの撮影時間間隔に基づき、所望撮影時の３次元位置およびシャッター後の３次元位置を予測することで、動きボケを推定し、所望撮影時のフィルタサイズ・形状を予め設定しておくようにすることで、予備撮影Ｂの位置と等速度もしくは等加速度運動と仮定できる場合に、動きボケベクトルをより正確に推定することができる構成となる。

以上の構成によって、複数回の撮影で得られた撮影画像から、被写体速度を予測することで、所望撮影における動きボケを推定し、動きボケに応じて特徴点検出フィルタのサイズや形状を変更することで、特徴点をより適切に検出して、撮像装置から被写体までの距離、被写体上の２点間の距離、もしくは被写体間の距離と、その信頼度と、を測定することのできる距離測定装置および距離測定方法を提供することができる。

以上説明した第２の実施の形態の距離測定装置１００によれば、複数の撮影画像（予備撮影で得られた撮影画像および所望撮影で得られた撮影画像）の各々に対応して算出された複数の３次元位置から撮像部１０１に対する被写体の移動方向を予測することで動きボケを推定する動きボケ推定部９０１を備え、動きボケ推定部９０１の推定結果に基づいて、注目点（特徴点）を検出する際に用いる注目点検出窓（特徴点検出フィルタ）のサイズおよび形状のうち、少なくとも一方を変更するように構成されている。

したがって、動きボケの影響を考慮して注目点を検出することができるので、注目点をより適切に検出することができ、より信頼度の高い測距結果を得ることができる。

＜第３の実施の形態＞：ユーザによる指定
本実施の形態においては、ユーザが測定したい特徴点を指定するための表示手段および入力手段を有し、ユーザが指定した特徴点群のうち、各特徴点もしくはそれらの特徴点によってなされる直線、曲線、もしくは曲面（平面を含む）と、その誤差範囲と、に含まれる特徴点の計測結果のみを確定するように構成することで、計算量を削減する方法について説明する。また、信頼度の高い特徴点を強調表示（例えば、信頼度の高さに応じたサイズの丸印で囲む）することによって、ユーザに特徴点を指定しやすくさせるための表示方法について説明する。

本実施の形態における画像処理部１０２は、図１４に示すように、第１の実施の形態における構成（図２）に加え、ユーザが特徴点を指定するための画像を生成する表示画像生成部１４０１と、ユーザの指定特徴点に基づき補正する特徴点群を選出する確定特徴点選出部１４０２と、をさらに具備するように構成される。
なお、第２の実施の形態における構成（図９）に加え、表示画像生成部１４０１と、確定特徴点選出部１４０２と、をさらに具備するように構成することも可能である。

表示画像生成部１４０１は、ユーザが測定したい特徴点を指定するための画像を生成し、表示部１０３に送る。これにより、表示部１０３には、例えば図１５に示すような画像が表示される。ここで、１５０１は撮影画像領域であり、１５０２が特徴点指定設定領域である。撮影画像領域１５０１には、撮影画像と、一定の信頼度以上となっている特徴点を囲む円と、が表示されている。ここでは、ユーザによって指定された特徴点を囲む円１５０４を実線で表し、一方、指定されていない特徴点を囲む円１５０３を破線で表している。また、円の大きさが大きいほど、信頼度の高い特徴点であることを示している。表示される特徴点の信頼度の閾値は、例えば、特徴点指定設定領域１５０２に表示されるＧＵＩ（例えば、スライドバー１５０５）によってユーザが指定することができる。さらに、ユーザは補間方法選択部１５０６によって補間方法を指定する。
そして、ユーザが計測ボタン１５０７を選択すると、ユーザに指定された特徴点およびそれらの特徴点によってなされる曲面等に接する特徴点の３次元位置の確定が行われる。

確定特徴点選出部１４０２は、撮影画像領域１５０１において指定された特徴点と補間方法選択部１５０６によって指定された補間方法に基づき、直線推定、曲線推定、もしくは曲面（平面を含む）推定を行う。例えば図１５に示す例の場合、指定された特徴点は３点（立方体の上面の４つの角のうちの３つ）であり、指定された補間方法は「平面」であるため、平面推定を行う。平面は、３点のうちの１つを原点とした場合になされる２つのベクトルの外積を算出することによって推定することができる。
続いて、確定特徴点選出部１４０２は、特徴点情報保持部２０５に保持された特徴点情報を参照して、推定した直線、曲線、もしくは曲面（平面を含む）に接する特徴点群を選出する。例えば平面推定を行った場合は、この平面に接する特徴点群を選出する。このとき、この平面から法線方向に一定の距離以内にある特徴点候補を選出する。この一定の距離とは、例えば、システムに要求される距離推定誤差範囲とし、例えば０．１ｍｍ以内に設定する。もしくは、距離が遠くなるほど、視差１ピクセルあたりの距離の推定誤差が大きくなるため、距離が遠くなるほど、範囲を広げるように構成すると好適である。

そして、このようにして選出された特徴点のみが３次元位置確定部２０６において確定され、その結果が特徴点情報保持部２０５に保持される。確定された特徴点情報は、例えば図１６に示すように表示部１０３に表示される。図１６における１６０１は、３次元位置が算出された平面を示している。ここで、この平面上であってユーザが測定したい特徴点を指定することによって、画像上にその３次元位置情報が表示されるようにする。また、この平面上にある領域（点）であって、特徴点ではない位置（点）が、ユーザによって指定された場合は、例えば、最も近い特徴点の情報を表示するようにしても良いし、例えば、指定位置の平面４方向の近傍特徴点それぞれの情報を用いて内挿した結果を表示するようにすることもできる。
以上の構成によって、ユーザに特徴点を指定しやすくさせるための表示方法を提供することができる。

以上説明した第３の実施の形態の距離測定装置１００によれば、注目点（特徴点）をユーザが指定可能であるように構成されている。

したがって、ユーザが興味のある注目点が分かるため、その注目点の３次元位置のみを確定すればよく、計算量を削減することができる。
なお、ユーザによる特徴点の指定の仕方は適宜選択可能であり、例えば、ユーザが外部入出力部１０５に接続された操作部（マウス等）を操作して特徴点を指定できるように構成することも可能であるし、表示部１０３をタッチパネル式の表示部にしてもよい。

＜第４の実施の形態＞
以上の実施の形態（第１〜第３の実施の形態）によって説明した距離測定装置１００は、例えば、車輛のパンタグラフのすり板部分の厚み測定に利用することができる。

具体的には、撮影範囲へのパンタグラフの侵入を検出した通過センサからの撮影トリガに応じて撮影した画像（無論、この画像にはパンタグラフが写っている）を使う。
もしくは、撮像装置で経時的に複数の画像を撮影しておき、この複数の画像のうちパンタグラフが写っている画像を使う。このとき、例えば、特徴的な部分のパターンマッチングで検出するようにしても良いし、例えば図１７に示すように、架線領域をあらかじめ撮影しておくことで背景差分等を利用することで、架線領域の変異からパンタグラフが写っている画像を判断するように構成することができる。

基準は、固定部分を使う。直線検出し、すり板状の直線領域を使う。平面を定義し、その平面から、それぞれのすり板エッジ部分までの厚さをはかる。具体的には、まず、図１８（ａ）に示すように、すり板長手方向への直線的なエッジを抽出する。次いで、図１８（ｂ）に示すように、基準となる面を定義する。その後、図１８（ｃ）に示すように、各位置までの距離（厚み）を算出する。
図１９に示すように、予備撮影における厚さプロファイルと、所望撮影における厚さプロファイルと、をすり板長手方向にマッチング（例えば、相互相関係数等を求めることで、対応位置を算出）をして、位置を合わせて、そこから、比較を行うようにする。

上記の各実施の形態において、添付図面に図示されている構成等については、あくまで一例であり、これらに限定されるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。

１００ 距離測定装置
１０１ 撮像部
２０１ 特徴点検出部（被写体点検出部）
２０３ ３次元位置情報算出部（３次元位置算出部）
２０４ 信頼度算出部
２０６ ３次元位置確定部
９０１ 動きボケ推定部

Claims (5)

1. 複数の方向から撮影した複数の画像を取得する撮像部と、
   前記画像における被写体上の点を検出する被写体点検出部と、
   前記被写体上の点の３次元位置を前記複数の画像の視差計測により算出する３次元位置算出部と、を備え、
   前記被写体上の点の３次元位置における計測誤差Ｅ＝Ｐ・Ｎｐ・Ｚ／ｆ（Ｐは画素ピッチ量、Ｎｐは視差計測精度、ｆは焦点距離、Ｚは被写体までの距離）に基づいて信頼度を算出し、
   前記３次元位置と、前記信頼度とに基づいて、前記被写体上の点の座標値を確定し、距離を出力することを特徴とする距離測定装置。
2. 経時的に撮影した複数の画像を取得する撮像部と、
   前記画像における被写体上の点を検出する被写体点検出部と、
   前記被写体上の点の３次元位置を前記複数の画像の視差計測により算出する３次元位置算出部と、を備え、
   前記被写体上の点の３次元位置における計測誤差Ｅ＝Ｐ・Ｎｐ・Ｚ／ｆ（Ｐは画素ピッチ量、Ｎｐは視差計測精度、ｆは焦点距離、Ｚは被写体までの距離）に基づいて信頼度を算出し、
   前記３次元位置と、前記信頼度とに基づいて、前記被写体上の点の座標値を確定し、距離を出力することを特徴とする距離測定装置。
3. 第１撮影時において複数の画像を元に視差計測で注目点の３次元位置の信頼度を算出し、第２撮影時において前記第１撮影時とは別の複数の画像を元に視差計測で比較点の３次元位置の信頼度を算出し、これらの信頼度の比較結果に基づいて、前記被写体上の点の座標値を確定し、距離を出力することを特徴とする請求項２に記載の距離測定装置。
4. 前記距離は、前記距離測定装置と前記被写体上の点との間の距離、前記被写体上の点と当該被写体上の他の点との間の距離、又は前記被写体上の点と前記画像における他の被写体上の点との間の距離であることを特徴とする請求項１から請求項３のいずれか一項に記載の距離測定装置。
5. 前記被写体上の点の前記信頼度を、当該信頼度の大小が分かるように表示することを特徴とする請求項１から請求項４のいずれか一項に記載の距離測定装置。