JP6308637B1 - 特徴量を用いた３次元計測方法およびその装置 - Google Patents

Abstract

【課題】特徴量を用いた３次元計測方法およびその装置を提供する。【解決手段】複数の投影部５Ａ、５Ｂから投影されたパターンまたは前記パターンの変化の少なくとも一方により得られた複数個の特徴量と空間座標との関係を予め求め、特徴量と空間座標の関係を用いて、計測対象物表面６に複数の投影部から投影されたパターンまたはパターンの変化から得られた特徴量から対象物表面の空間座標を求める。【選択図】図２

Description

本発明は、特徴量を用いた３次元計測方法およびその方法を用いる装置に関する。

カメラを用いた３次元形状計測は、1980年代から多くの研究が国内外で行われてきた。ロボットビジョンの分野においては、カメラのキャリブレーションが不要な方法も提案されている。多数の方向から撮影された画像から３次元形状を復元する方法も提案されているが、像上の境界部等の特徴点の対応付けを行うため、滑らかな面の形状計測ができず、また解析に時間を要する。

近年、ロボットアームによる原子炉内部の除染活動や移動ロボットなど、障害物や突起物などの位置や形状をリアルタイムに精度よく検知・計測する方法が求められている。また、災害救助ロボットにおいては、生存者保護のため、精度よく人体と障害物の位置関係を計測する必要がある。

しかし悪路による振動も多く、従来のステレオ方式では、カメラの位置関係がずれることで計測精度が低下する。キャリブレーション後は光学系の固定が必須のため、ズームやピント調整はできないことが、従来の常識であった。

精度よく平面や曲面状であっても３次元形状が計測できる方法としては、格子パターンを物体に投影し、投影方向とは異なる方向から撮影された画像より３次元計測を行う投影格子の位相解析を行う方法の研究が広く行われてきた。

国内では、武田らがフーリエ変換を用いた位相解析手法を提案しており、吉澤らが実用的な３次元計測装置を開発している。海外では、米国のSong ZhangらがDMD（Digital Micro-mirror Device）を用いた超高速度３次元計測の研究を精力的に進めている。最近の動向としては、３次元形状計測の高速化に注目が集まっている。しかし、屋外や振動の多い環境での使用はほとんど考えられていない。

また、計測精度を高めるためのキャリブレーション方法についての研究は少なく、とくに系統的誤差が全く入らない３次元計測手法は、国内外ともに提案者以外からは提案されていない。さらに、投影部だけキャリブレーションすることで３次元計測が可能という研究は、国内外ともに見あたらない。

発明者等は、これまでに図１に示す系統誤差が入らない「全空間テーブル化手法（特許文献１を参照）」を提案し、基礎技術の開発と多くの応用研究をしてきた。格子投影手法では、投影格子の位相と３次元座標に1対1の対応関係ができる。その関係を利用してカメラの画素ごとに位相値と３次元座標のテーブルを作ることによりレンズ歪曲収差などの系統誤差は全く入らず、ゆがみなく精度がよい３次元計測が可能となる。

特開２００８−２８１４９１号公報 特開２００１−１０８４２２号公報 特開２０１７−４０４８２号公報 特開２０１２−１８９４７９号公報

しかし、特許文献１に開示されている方法を含め、従来の３次元計測方法においては、カメラとプロジェクターを全て一体化した状態でキャリブレーションを行うことが必須であった。そのため、カメラを含めた３次元計測ユニットとして固定する必要があり、装置のサイズが大きくなるため、ロボットハンドや移動ロボット、自動搬送車などに取り付けにくいものになっていた。また、撮影レンズのピント調整や画角の調整をするとキャリブレーションをやり直す必要があり、メンテナンスも難しいという問題があった。
そこで、本発明の目的は、上記問題を解決するものであり、３つ以上の特徴量の組を用いた３次元計測方法およびその装置を提供することである。

本発明の一実施態様は、３つ以上の特徴量の複数の組を含み、前記各３つ以上の特徴量の組が計測領域内もしくは前記計測領域内の部分領域内で各空間座標と１対１の対応関係となるように配置された複数の位置から、計測対象物表面に、パターンまたは前記パターンの変化を投影するステップと、
前記計測対象物表面に投影された前記パターンまたは前記パターンの変化を撮影するステップと、
基準物体を用いて予め求められた前記各３つ以上の特徴量の組と前記空間座標との関係を用いて、前記撮影して得られた画像を基に得られた３つ以上の特徴量の組から、前記空間座標を求めるステップと、
を含む前記計測対象物表面の空間座標を求める計測方法である。
上記一実施態様において、前記各３つ以上の特徴量の組と前記各空間座標との関係をテーブル化しておき、前記計測対象物表面の各空間座標の計測時には、前記テーブルを参照した値に基づいて前記計測対象物表面の空間座標を求める。
また、上記一実施態様において、前記各３つ以上の特徴量の組と前記各空間座標との関係の一部をテーブル化しておき、前記計測対象物表面の空間座標の計測時には、前記テーブルを参照した値を用いて補間することにより、前記計測対象物表面の空間座標を求める。
上記一実施態様において、前記複数の位置から投影される光の波長を複数にすることで同時に複数の特徴量を得る、前記計測対象物表面の空間座標を求める。
上記一実施態様において、前記複数の位置は、一列に並んで配置されている、前記計測対象物表面の空間座標を求める。

本発明の一実施態様において、前記３つ以上の特徴量の組と前記各空間座標との関係は、前記複数の位置から前記基準物体の表面に、前記複数の位置と前記基準物体との距離を変更して複数の間隔で前記パターンまたは前記パターンの変化を投影して、３つ以上の特徴量の組と空間座標との関係を求める。
本発明の一実施態様において、３つ以上の特徴量の複数の組を含み、前記各３つ以上の特徴量の組が計測領域内もしくは前記計測領域内の部分領域内で各空間座標と１対１の対応関係となるように配置された複数の位置から基準物体表面に、前記複数の位置と前記基準物体との距離を変更して複数の間隔でパターンまたは前記パターンの変化を投影して、３つ以上の特徴量の組と前記空間座標との関係を求める。
上記の一実施態様において、前記基準物体表面に格子パターンあるいはマークを固定する。
上記一実施態様において、前記複数の位置から投影される光の波長を複数用いる。
上記一実施態様において、前記複数の位置は、一列に並んで配置されている。

本発明の一実施態様は、３つ以上の特徴量の複数の組を含み、前記各３つ以上の特徴量の組が計測領域内もしくは前記計測領域内の部分領域内で各空間座標と１対１の対応関係となるように配置された複数の位置から、計測対象物表面に、パターンまたは前記パターンの変化を投影する投影部と、
前記計測対象物表面に投影された前記パターンまたは前記パターンの変化を撮影する撮像部と、
前記各３つ以上の特徴量の組と前記各空間座標との関係を記憶する記憶部と、
前記記憶手段に記憶された前記３つ以上の特徴量の組と前記各空間座標との関係を用いて、前記撮影して得られた画像を基に得られた３つ以上の特徴量の組から、前記空間座標を求める空間座標取得部と、
を備えた前記計測対象物表面の空間座標を求める計測装置である。
上記一実施態様において、前記各３つ以上の特徴量の組と前記各空間座標との関係はテーブル化して前記記憶部に記憶され、前記計測対象物表面の空間座標の計測時には、前記テーブルを参照した値に基づいて前記計測対象物表面の空間座標を求める。
上記一実施態様において、前記各３つ以上の特徴量の組と前記空間座標との関係の一部がテーブル化して前記記憶部に記憶され、前記計測対象物表面の空間座標の計測時には、前記テーブルを参照した値を用いて補間することにより、前記計測対象物表面の空間座標を求める。
上記一実施態様において、前記投影部の複数の位置から投影される光の波長を異なったものとすることで同時に複数の前記特徴量を得る。
上記一実施形態において、前記複数の位置は、一列に並んで配置されて、前記計測対象物表面の空間座標を求める。

本発明の一実施態様において、前記各３つ以上の特徴量と前記各空間座標との関係は、前記投影部の複数の位置から基準物体表面に、前記投影部と前記基準物体との距離を変更して複数の間隔で前記パターンまたは前記パターンの変化を投影して求める、３つ以上の特徴量の組と各空間座標との関係を求める計測装置である。

本発明の一実施態様において、前記各３つ以上の特徴量と前記各空間座標との関係は、前記投影部と同じ構成を有する他の投影部を用い、前記他の投影部から基準物体表面に、前記他の投影部と前記基準物体との距離を変更して複数の間隔で前記パターンまたは前記パターンの変化を投影して求める、３つ以上の特徴量の組と空間座標との関係を求める。
本発明の一実施態様では、３つ以上の特徴量の複数の組を含み、前記各３つ以上の特徴量の組が計測領域内もしくは前記計測領域内の部分領域内で各空間座標と１対１の対応関係となるように配置された複数の位置からパターンまたは前記パターンの変化を投影する投影部と、
前記複数個と基準物体との間隔を変更する変更部と、
前記複数個の投影部と前記基準物体との距離を変更して複数の間隔で、前記パターンまたは前記パターンの変化を撮影する撮像部と、
前記撮像部により撮像された画像と、前記複数の投影部と前記基準物体との距離を基に、３つ以上の特徴量の組と前記空間座標との関係を求める計測装置である。

上記一実施態様において、前記基準物体表面に格子パターンあるいはマークを固定する、３つ以上の特徴量の組と空間座標との関係を求める。
上記一実施態様において、前記複数の位置は、一列に並んで配置されていることを特徴とする、３つ以上の特徴量の組と前記空間座標との関係を求める。
上記一実施態様において、前記投影部は一つの投影ユニットからなり、前記撮像部は複数個のカメラからなり、前記複数個のカメラは前記投影ユニットに設けられている。

本発明により、３つ以上の特徴量の組を用いた３次元計測方法およびその装置を提供できる。

特許文献１に開示される全空間テーブル化手法を説明する図である。 装置の構成を説明する図である。 光源５Ａの点灯の様子を説明する図である。 光源５Ｂの点灯の様子を説明する図である。 キャリブレーションの様子（基準面に固定された格子パターンの撮影）を説明する図である。 キャリブレーションの様子（格子パターン８Ａを投影する場合）を説明する図である。 キャリブレーションの様子（格子パターン８Ｂを投影する場合）を説明する図である。 特徴量φ_Aの分布を説明する図である。 特徴量φ_Bの分布を説明する図である。 基準取得点を説明する図である。 特徴量−座標テーブル作成の手順を説明する図である。 物体上への特徴量Ａの投影を説明する図である。 物体上への特徴量Ｂの投影を説明する図である。 特徴量−座標テーブルから座標を読み取る手順を説明する図である。 本発明に係る、計測対象空間内の各点（各位置）に３個の位相値を取得する方法を説明する図である。 移動ロボットに本発明の実施形態の計測装置を搭載した例を説明する図である。 特徴量−座標テーブルから３次元座標を読み取る手順を説明する図である。 探索により座標を求める手順を説明する図である。 装置の構成例を説明する図である。 装置の構成例を説明する図である。 装置の構成例を説明する図である。 装置の構成例を説明する図である。 装置の構成例を説明する図である。 実験装置の構成を説明する図である。 物体の計測例を説明する図である。

以下、本発明の実施形態を図面と共に説明する。
１．計測原理の説明
１．１ キャリブレーション
まず、本発明に係る計測原理について説明する。ここでは、説明を簡単にするため、２個の特徴量を用いて２次元の座標(x, z)を求めるとして説明する。実際は３次元空間の空間座標(x, y, z)を求めるために、３次元に拡張する必要があるが、下記に述べるプロジェクターの数を３個以上とし、そこから得られる特徴量を３個以上にすることで、３次元の空間座標を同様の方法で求めることができる。

本発明に係る実施形態の計測装置の構成を図２に示す。格子投影ユニット３には、光源５Ａと格子ガラス４Ａ、光源５Ｂと格子ガラス４Ｂが固定されている。格子投影ユニット３は光源からの光が透過する材質のものであるか、中空のもので構成されている。固定されているので、光源５Ａ，光源５Ｂ，格子ガラス４Ａ，格子ガラス４Ｂの相対的な位置関係が変化しないか、相対的な位置関係が変化しても計測に与える影響が無視できる程度である。光源５Ａと格子ガラス４Ａは、プロジェクターとして機能する。
図３に示すように、光源５Ａが点灯すると、格子ガラス４Ａに取り付けられている格子パターン８Ａが、基準面７や物体６（計測対象物）に投影される。
図４に示すように、光源５Ｂと格子ガラス４Ｂについても同様に，光源５Ｂが点灯すると格子ガラス４Ｂに取り付けられている格子パターン８Ｂが基準面７や物体６（計測対象物）に投影される。

基準面７は図示しないステージの上に取り付けられており、基準面７の法線方向に任意の量だけ平行移動させることができるようにする。また、基準面７表面には、x座標を表す格子パターン（もしくは目盛り等のマーク）が固定されているものとする。特許文献２に記載されるように、基準面７にディスプレイ等を用いることも可能である。また、特許文献３に記載されるように、曲面状の基準面７を用いることもできる。

まず、キャリブレーションを行うために、図５に示すように、格子投影ユニット３の位置とカメラ１、基準面７の配置を決めて設置する。カメラ１は、キャリブレーションを行うために画像を撮影するためのカメラである。なお、このカメラ１は物体６の計測にも使うことができる。

図５に示すように、基準面７をR₀，R₁，．．．R_Nの位置（それぞれz = z₀，z₁，．．．z_N）に移動し、各位置において、基準面７に固定されているx座標（３次元の場合は(x, y)座標）を表す格子パターンや目盛り等のマークを撮影する。ここで撮影された画像から、カメラ１で撮影された画素ごとに、x座標（３次元の場合は(x, y)座標）を得ることができる。

次に、図６に示すように光源５Ａを点灯させることで、格子ガラス４Ａに取り付けられている格子パターン８Ａを基準面７に投影し、それをカメラ１で撮影する。さらに図７に示すように光源５Ｂを点灯させることで格子ガラス４Ｂに取り付けられている格子パターン８Ｂを基準面７に投影し、それをカメラ１で撮影する。このとき、特許文献４に示すように、光源の点灯位置を切り替えることで投影格子の位相シフトを行い、そこから位相分布を求めることができる。

得られた位相分布から位相接続の処理を行うことで、連続化された位相値φ_Aおよびφ_Bの分布が得られる。連続化された位相値φ_Aおよびφ_Bは，格子パターン８Ａおよび格子パターン８Ｂによって得られる特徴量である。このようにして、図８および図９に模式的に示すように、格子パターン８Ａおよび格子パターン８Ｂによって、特徴量Ａ（φ_A）および特徴量Ｂ（φ_B）の分布を得ることができる。この分布は，上述のようにカメラ１で基準面７を撮影した画像を元にして、基準面７の位置ごとに、画素ごとの離散的な分布として取得することができる。なお、格子投影法の場合は、格子パターンの１周期ごとに位相が２πだけ変化するため、得られる位相値は２πごとの繰り返しとなるが、空間的な位相の変化の情報を用いて位相接続を行うことや、投影格子のピッチを複数個にすることで、その組み合わせの情報によって位相接続を行うことが可能である。そのようにすることで、投影格子に対して２πごとの繰り返しが解消されて連続化された位相値（位相接続された位相値）を得ることができる。これは、サンプリングモアレ法や位相シフト法、その他の位相解析手法を用いる場合も同様である。

以上の手順を行うことで、図１０に示す基準取得点の位置において、特徴量の組（φ_A, φ_B）および座標(x, y)がそれぞれ得られることになる。図１０では基準取得点は模式的に飛び飛びの位置に書かれている。実際には、x方向にはカメラ１の画素数分だけ、さらに、z方向には基準面７を移動する間隔分だけ基準取得点が得られることになるため、実際には図１０で示すよりも密に基準取得点が得られることになる。

また、ここで示した格子投影機構の代わりに液晶プロジェクターやDMD（デジタルマイクロミラーデバイス）を用いたプロジェクターを用いることによっても同様に空間内に特徴量の分布を作ることができる。また、スリット光をスキャンするような光切断法を用いる場合でも、スリット光をスキャンする量（例えばスリット光の出射角度など）を特徴量として用いることができる。

このように，投影部から投影されるパターンから特徴量を得る方法だけでなく、位相シフト法やグレーコード法のように複数のパターンを変化させることで特徴量を得る方法、上述の光切断法などのようにパターンの変化によって特徴量が得られる手法であれば、本手法に適用することができる。位相シフト法の場合は得られる位相値を特徴量とし、グレーコード法の場合は、空間を分割するグレイコード値を特徴量とすればよい。また，偏光を利用する手法では、その偏光方向を特徴量とすればよい。

１．２ 特徴量−座標テーブルの作成
次に特徴量Ａと特徴量Ｂの組（φ_A, φ_B）から座標(x, z)を求める特徴量−座標テーブルを作成する手順を示す。図１１に示すように、まず前述のキャリブレーション手法によって、基準面７の位置ごとに、画素ごとの離散的な分布として取得された基準取得点を特徴量空間に射影する。ここで、特徴量空間は、特徴量Ａと特徴量Ｂを座標軸とする空間である。基準取得点ごとにその点における特徴量の組（φ_A, φ_B）と座標(x, z)が得られているため、特徴量空間へ射影することができ、射影された基準取得点ごとに座標(x, z)が得られている状態となる。

次に、特徴量Ａと特徴量Ｂを離散化した点について考える。図１１では、等間隔に離散化した場合を示している。この格子点をテーブル要素として、その近傍にある複数の基準取得点が持つ座標（x, z）の値を元にして、その要素の座標値を補間して求める。このようにすることで、特徴量Ａと特徴量Ｂに関する特徴量−座標テーブルの各要素の値（各テーブル要素に格納するデータ）を求めることができる。このとき、特徴量空間において、基準取得点が近傍にあることで有意な補間を行うことができるため、基準取得点がある程度密集している領域を計測領域とする。

なお、実際は３次元空間の空間座標（x, y, z）を求めるために、３次元に拡張する必要があるが、プロジェクターの数を３個以上とし、そこから得られる特徴量を３個以上にすることで、特徴量−座標テーブルを同様に作成することができる。各テーブル要素は３次元の空間座標となる。

１．３ 計測対象物体の３次元座標の取得
次に、物体６（計測対象物）表面上の点の座標（x, z）を計測する手順を示す。まず、カメラ２を計測対象物体が撮影できる位置に設置する。このとき、カメラ１と基準面７は不要であるので、除去してもよい。

前述の図３と図４の説明で述べたように、光源５Ａおよび光源５Ｂが点灯することで、格子ガラス４Ａおよび格子ガラス４Ｂに取り付けられている格子パターン８Ａおよび格子パターン８Ｂが物体表面に投影される。この場合も図１２と図１３に示すように、基準面７撮影の場合と同様に、特徴量Ａ（φ_A）および特徴量Ｂ（φ_B）の分布がそれぞれ物体表面上に投影されていると考えることができる。

カメラ２のある１画素が撮影する物体上の点Pについて考える。点Pには特定の特徴量Ａ（φ_{A, P}）および特徴量Ｂ（φ_{B, P}）が投影されていることになり、特徴量の組（φ_{A, P}, φ_{B, P}）がカメラ２の該当する１画素で得られることになる。カメラ２で撮影される他の画素においても、同様にそれぞれの画素に対応する特徴量の組が得られることになる。

次に、点Pにおいて得られた特徴量の組（φ_{A, P}, φ_{B, P}）から、点Pの空間座標（x_P, z_P）を求める手順を示す。前述のように、あらかじめ作成しておいた図１１に示す特徴量−座標テーブルを用いて、図１４に示すように、特徴量の組（φ_{A, P}, φ_{B, P}）に最も近いテーブル要素T₃（φ'_{A, P}, φ'_{B, P}）に格納されているデータを読み出す出すことで、（x'_P, z'_P）を求めることができる。また，特徴量の組（φ_{A, P}, φ_{B, P}）の近傍の複数のテーブル要素（例えば，T₁，T₂，T₃，T₄）に格納されているデータを元にして，補間により点Pの空間座標（x_P, z_P）を算出することもできる。

３次元空間の空間座標(x, y, z)を求めるために、上述した２次元空間での説明を３次元に拡張する必要がある。図１５は本発明に係る、計測対象空間内の各点（各位置）に３個の位相値を取得する方法を説明する図である。

図１５に示されるように、プロジェクターＰＡ，ＰＢ，ＰＣを異なる位置に３台配置し、投影する格子の向きを調整することで、計測対象空間内の１点ごと（各位置）に３個の連続化された位相値（上述の説明の「特徴量」に対応する）を持つことになる。また、３個のプロジェクターのうち２個が同じ位置に配置されていたとしても、投影する格子の向きまたはピッチが異なっていればよい。要するに、３個のプロジェクターの配置と投影する格子の向き，ピッチなどの組み合わせによって、計測領域や部分的な計測領域に対して、３個の位相値と３次元座標が１対１の対応関係になるように配置と投影する格子の向き、ピッチとなっていればよい。このようにすると、この組み合わせと３次元座標は１対１の対応関係となるため、２次元の場合と同様に３次元でもテーブル化が可能である。あらかじめこの３個の連続化された位相値と３次元座標との対応関係をテーブル化しておく。
計測対象空間内に配置された計測対象物である物体６をカメラ１２で撮影する場合は、各点ごとに３個の位相値が得られることになる。そして、対象物の３次元計測を行う場合には、カメラ１２で撮影された画像から得られた３個以上の位相値から、そのテーブルを参照することで、３次元座標値を得ることができる。

このように、３個の位相値と３次元座標値との関係をテーブル化することで瞬時に３次元座標値を求めることができ、系統誤差も入らず精度よく座標が得られる。この方法では、カメラ１２の位置に無関係に３次元座標値が得られる。後述するように、カメラやレンズの位置が変化してもよく、ズームやピント調整も可能となる。計測装置の取り付け後にズームやオートフォーカスを使って計測対象物を拡大して撮影できるような３次元計測装置はこれまでになく、画期的で広い適用範囲が期待できる。

プロジェクターＰＡ、ＰＢ、ＰＣに備わった各光源は、コンピュータ３０に搭載された制御プログラムに従って動作する。カメラ１２は物体６に投影された格子パターン像を撮像し、撮像した画像情報をコンピュータ３０に送る。コンピュータ３０は、記憶手段３１に格納された３個の位相値（特徴量）と３次元座標値との関係付けたテーブルを用いて、物体６の表面の各点の３次元座標値を求める。そして、求められた３次元座標値を用いて、コンピュータ３０に備わった図示しない表示装置の表示画面に３次元画像として表示することができる。なお、テーブルデータを取得する本発明の方法を実施する場合も、コンピュータ３０を用い、テーブルデータを取得するためのプログラムを動作させて、特徴量と３次元座標値との関係を示すテーブルデータを取得する。これらのプログラムは、記憶媒体３２に格納してもよいし、コンピュータ３０を図示しないインターネットなどの通信回線を経由し、クラウド上でプログラムを動作させてもよい。
また、コンピュータ３０、記憶手段３１、または、記憶媒体３２が行なう演算処理または記憶処理は、それらの一部をインターネットなどの通信回線を経由し、図示しない別のコンピュータなどの処理装置で動作させてもよい。

本発明では、カメラの画素数やカメラの数に係らず全体で同じテーブルが１個だけあればよい。このため、カメラの画素数が増えてもテーブル用のメモリー容量がむやみに増大することにはならない。また、複数個のカメラを配置する場合であっても、テーブルの容量が増えることはない。

例えば、図１６に示すように移動ロボット１４に搭載し、路面状況の良くない現場で振動によってカメラやレンズの位置が移動したとしても、本手法を用いれば精度よく３次元計測が行える。走行手段として車輪を有する移動ロボット１４は、上下にカメラ１２，１３と、縦方向と横方向の２方向の格子投影が可能な格子投影ユニット１５Ａ，１５Ｂを備えている。

なお、本発明に係る計測方法は、格子投影法だけにかぎらず、空間コード化法や、光切断法にも応用することが可能である。空間コード化法の場合は、３方向にプロジェクターを設置して、２値のパターンを複数回投影することで空間を分割する。それぞれのプロジェクターによって得られたコードが３個得られるので、その３個のコードと空間座標の対応関係を作ればよい。

光切断法の場合は、レーザー等のスリット光の光源を３個用意する。スリット光の移動量がそれぞれの光源ごとに３個得られるため、その３個の移動量を表す値と空間座標の対応関係を作ればよい。

上述したように、２次元空間のみを考える場合には、プロジェクターは少なくとも２個あればよい。３個以上になっても、３個の値から座標値の２成分を得ることは可能である。上述したように、３次元空間を考える場合には、プロジェクターは最低３個あればよい。４個以上になっても、４個の値から座標値の３成分を得ることは可能である。

図１７は、プロジェクターの数を３個以上とし、そこから得られる特徴量を３個以上にすることで作成した，特徴量−座標テーブルとそれを用いて座標を読み取る手順を示す図である。

この場合も図１４の場合と同様に、点Pにおいて得られた特徴量の組（φ_{A, P}, φ_{B, P}, φ_{C, P}）から点Pの空間座標として、特徴量の組に最も近いテーブル要素から（x'_P, y'_P, z'_P）を求めることや、特徴量の組の近傍の複数のテーブル要素に格納されているデータを元にして、補間により（x_P, y_P, z_P）を求めることができる。

また、特徴量−座標テーブルを作成せずに、探索により座標を求める手法もある．図１８にその手順を示す。図１８は、上からグラフＡ，グラフＢ，グラフＸとして、それぞれ、カメラ１で撮影された画像の横方向の画素番号（i座標）に対する特徴量Ａ（φ_A），特徴量Ｂ（φ_B），さらに基準面７から得られたx座標の分布を表す。

また，グラフＡ，グラフＢ，グラフＸともに、基準面７をR₀，R₁，．．．R_Nの位置（それぞれz = z₀，z₁，．．．z_N）に移動して得られた値をプロットしたものを模式的に示している。これらの値は、基準面７に沿って連続的に単調に変化するものであるため、図１８に示すように、基準面７の位置ごとに、なめらかな曲線状に得られることになる。

まず、グラフＡおよびグラフＢにおいて、物体上の点Pで得られた特徴量の組（φ_{A, P}, φ_{B, P}）から、グラフＡおよびグラフＢのどちらも同一のzの値になるi座標、もしくは近いzの値になるi座標を探索する。

点Pは物体上の１点であるため、i座標が同一で、z座標も同一となる点がグラフＡおよびグラフＢ内に必ず存在するはずである。ただ、基準面７を設置する位置が離散的であるため、必ずしも同一になる点が見つかるとは限らない。その場合は、基準面７を設置する間隔が小さければ、近似的にそのような点を見つけることや、補間によりそのようになる点を算出することができる。

図１８では、基準面７上でそのようになる点が探索できた場合を示している。このようにして探索して求めた基準面７の番号とそのz座標，i座標を覚えておく。ここでは、基準面７の番号は2，z座標はz₂，i座標はi_Pである．次に、グラフＸにおいて、その基準面７の番号2とi座標i_Pからx座標x_Pの値を読み取ることができる。また、z座標はz₂であるため、この手順で（x_P, z_P）が得られることになる。

この探索による座標の求め方についても３次元に拡張可能である。図１８では横軸がi座標であり、グラフＡ，グラフＢ，グラフＸがそれぞれi座標に対する特徴量である。これに対して、３次元に拡張する場合は、カメラ１の画素の座標(i, j)に対する特徴量Ａ（φ_A），特徴量Ｂ（φ_B），特徴量Ｃ（φ_C）および，x座標，y座標のグラフを作成すればよい。このようにすることで、同様の手順で３次元座標（x_P, y_P, z_P）を求めることができる。

以上の方法を用いることによって、物体の３次元計測を行うカメラ２については、全くキャリブレーションを行うことなく、３次元計測を行うことができる。すなわち、カメラ２の位置は、移動してもよく、また、撮像レンズのピント調整やズーム調整を行ってもよいことになる。また、カメラ内部の発熱などの要因によって温度変化が発生し、それによってカメラ内部に変形が発生し、撮影位置が微小に変化することがあるが、その影響もない。

カメラの向きによっては、カメラに対する重力の向きによって、レンズやカメラ内部のたわみの量が微小に変化するが、その影響も入らない。一般に撮像レンズにはピント調整機構やズーム機構などの可動部があるため、多少のぐらつきやがたつきがあり、振動や重力の向きなどによって微小に変形を起こす。これによって従来の３次元計測装置は計測精度の低下が発生していたが、本発明による計測方法の場合はその影響はない。
なお本明細書において、以上に述べた複数個の特徴量と空間座標の対応関係をもとにして空間座標を求める手法を「特徴量型全空間計測手法」と呼び，その対応関係をテーブル化して空間座標を求める手法を「特徴量型全空間テーブル化手法」と呼ぶことにする。

１．４ 装置の構成例
以下、装置の構成例を示す。図１９は、縦方向の格子を投影する格子投影部が左右に取り付けられており、中央部に横方向の格子を投影する格子投影部が取り付けられている形態である。このようにすることで、複数個の特徴量の組が計測領域内もしくはその部分領域内で一意になるようにできる。

格子投影ユニット３の左右に格子ガラス４Ａ，４Ｂが取り付けられ、中央部に格子ガラス４Ｃが取り付けられている。各格子ガラス４Ａ，４Ｂ，４Ｃに対応するように、光源５Ａ，５Ｂ，５Ｃが格子投影ユニット３に設けられている。格子ガラス４Ａ，４Ｂ，４Ｃの全ての格子の向きが異なるように配置することが望ましい。

図２０は，装置内部にカメラを組み込んだ形態を示したものである。キャリブレーションに用いるカメラと計測用に用いるカメラは同一のものを使っても良いし、別々のものを使ってもよい。装置にカメラを組み込むことで、装置全体を小型化することができる。

内部に組み込むカメラには、ズームレンズを用いることも可能である。複数のカメラを組み込むこと、片方は広角レンズを用いることで広い範囲を計測することができるカメラとし、もう一方のカメラにはズームレンズを用いることで、部分的に詳細に３次元計測を行うことができるようになる。また、カメラにパン・チルト機構をとりつけることで、さらに必要な領域を詳細に撮影することができ３次元計測装置を作成することも可能である。図２０の実施形態では、ズームレンズ付きカメラ１６とカメラ１７が組み込まれている。

図２１は，投影する格子に任意の角度を与えたものである。格子ガラス４Ａ，４Ｂ，４Ｃが格子投影ユニット３に取り付けられている。本発明による計測手法では、このように任意の向きの投影格子を取り付けても、複数個の特徴量の組が計測領域内もしくはその部分領域で一意になるような配置であれば、３次元計測を行うことができる。また、計測領域の部分領域において複数個の特徴量の組が一意になるような配置であっても、どの部分領域かが特定できる手段があればよい。例えば、計測領域を左側と右側の部分領域ごとに特徴量の組が一意に決まる場合は、計測領域の左側か右側かがあきらかになる手段が別途あればよいことになる。その部分領域が数多くあっても同様である。例えば、位相接続されていない位相分布（２πの繰り返しになる位相分布）を特徴量とする場合は、特徴量の組が同一となる点は計測領域内で複数個存在することも想定される。その場合は、どの部分領域が求める領域かを判別する手段が別途あればよいことになる。

図２２は、格子の投影部分を、格子ガラス４Ａ，４Ｂ，４Ｃ、４Ｄの４個にしたものである。投影される格子パターンが４個以上であっても、複数個の特徴量の組が計測領域内もしくはその部分領域内で一意になるような配置であれば、３次元計測を行うことができる。

図２３は、格子ガラス４Ａ，４Ｂ，４Ｃのように、投影する格子に任意の向きを与え、さらに複数個のカメラ１８，１９，２０を組み込んだものである。カメラを複数個にすることで、各々のカメラそれぞれに広角撮影やズーム撮影，ピントの合う位置，パン・チルト機構などの別々の機能を持たせるようなことも可能である。また、複数のカメラで撮影して得られた空間座標の分布を合成することで、ノイズの低減された計測結果を得ることもできる。

また、本発明の実施形態として、格子投影部で用いる光源の波長を分けておくことで、撮影側で分離して撮影することができるため、同時に格子パターンを投影することができる。すなわち、ワンショットの画像から空間座標を求めることも可能となる。このようにすることで揺れている状態であっても３次元計測を行うことができる。例えば、手で持ちながらであっても精度よく３次元計測が行える。また、ドローン等に搭載することでも精度よく３次元計測が行えるため、インフラ構造物の検査などにも利用することが可能となる。
また、格子投影部として液晶プロジェクターのように２方向格子パターンを投影できるものを用いることができる。この場合は、１個の投影部で２個の特徴量を得ることができる。そのため、このような投影部を用いる場合は、３次元の空間座標を求めるためには、少なくとも２個の格子投影部が必要となる。

以上のように、本発明の実施形態について説明したが、本発明は上述した実施形態の例に限定されることなく、適宜の変更を加えることにより、その他の態様で実施することができ、以下の効果を奏することができる。
（１）瞬時に３次元座標値を求めることができ、系統誤差も入らず精度よく座標が得られる。
（２）カメラの位置に無関係に３次元座標値が得られる。すなわち、カメラやレンズの位置が変化してもよく、ズームやピント調整も可能となる。カメラを複数個にしても、テーブルを増やす必要はない。
（３）振動下であっても，格子投影部分のみ強固にして振動対策をしておけばよい。

２．実験例
以下に、特徴量型全空間計測手法の実験例を示す。この実験では、簡単にするため、２個の特徴量を用いて（x, z）座標を求める実験を行った。図２４に、２台のプロジェクターと基準面７、計測対象物体，テーブル作成用カメラであるカメラ１，計測用カメラであるカメラ２の配置を示す。

格子投影ユニット３には、光源５Ａと格子ガラス４Ａ，光源５Ｂと格子ガラス４Ｂが固定されている。光源５Ａと格子ガラス４Ａは、プロジェクターとして機能する。これにより、基準面７と計測対象物体に格子Ａと格子Ｂをそれぞれ投影することができる。また、カメラ１は格子投影ユニット３内に固定されている。格子投影ユニット３は、リニアステージに取り付けられており、基準面７の法線方向に任意量だけ平行移動させることができる。

基準面７には、液晶モニタ１０の表面に光拡散板を貼付けたものを用いた。液晶モニタ１０にx方向の格子パターンを表示し、それをカメラ１で撮影することで、撮影画素ごとに基準面７上のx座標値を知ることができる。また、格子Ａと格子Ｂを投影することで、基準面７を撮影する画素ごとに、x座標値．z座標値，格子Ａの位相値φ_Aおよび格子Ｂの位相値φ_Bを得ることができる。

なお、本実験では、基準面７をz = 0 mmからz = 90 mmまで10 mm間隔で移動して、それぞれの位置において、投影された格子の位相値の解析と液晶モニタへのx方向の格子の表示とその撮影を行った。投影された格子の位相解析にはサンプリングモアレ法を用い、得られた位相分布に対して位相接続の処理を行うことで各画素における格子パターン８Ａの位相値φ_Aおよび格子パターン８Ｂの位相値φ_Bを求めた。また，基準面７に表示されたx方向の格子の位相解析には、位相シフト法を用いた。

本実験の場合、基準面７は移動させず、代わりに格子投影ユニット３を移動することで、相対的に基準面７が移動する状態を作った。図２４に示す基準面７の位置R₀，R₁，．．．R_Nは、格子投影ユニット３からの相対的な位置を示している。

次に，計測対象物体として、図２５に示すように、白色の平板１１を用い、x軸に対して30度傾けて設置した。白色の平板１１には、40mmの間隔で２カ所にマークが付けられているこのマークのある点をP₁とP₂とする。物体に対して格子パターン８Ａを投影して、カメラ２で撮影する。得られた画像からサンプリングモアレ法で位相分布を求め、さらに位相接続を行うことで、点P₁と点P₂における位相値φ_A,P1および格子パターン８Ｂの位相値φ_B,P1をそれぞれ求める。同様に、物体に対して格子パターン８Ｂを投影することで、点P₁と点P₂における位相値φ_A,P2および格子パターン８Ｂの位相値φ_B,P2を求める。これらの位相値が特徴量となる。

実験の結果、点P₁における位相値φ_A,P1およびφ_B,P1はそれぞれ-31.49 radと-35.44 radであった。また、点P₂における位相値φ_A,P2およびφ_B,P2はそれぞれ-47.66 radと-53.64 radであった。これらの特徴量をもとにして（x, z）座標を求めると、点P₁においては（61.0 mm, 50.0 mm），点P₂においては（96.1 mm, 30.0 mm）となった。これら２点の間隔を得られた座標値から求めたところ、40.4 mmとなり、２点間の間隔が得られていることがわかる。なお、本実験においては、図１８を用いて説明した特徴量−座標テーブルを作成せずに探索により座標を求める手法を用いた。

１ カメラ
２ カメラ
３ 格子投影ユニット
４Ａ 格子ガラス
４Ｂ 格子ガラス
５Ａ 光源
５Ｂ 光源
６ 物体
７ 基準面
８Ａ 格子パターン
８Ｂ 格子パターン
９ リニアステージ
１０ 液晶モニタ
１１ 平板
１２ カメラ
１３ カメラ
１４ 移動ロボット
１５Ａ 格子パターン
１５Ｂ 格子パターン
１６ ズームレンズ付きカメラ
１７ カメラ
１８ カメラ
１９ カメラ
２０ カメラ

３０ コンピュータ
３１ 記憶手段
３２ 記憶媒体

Claims (21)

1. ３つ以上の特徴量の複数の組を含み、前記各３つ以上の特徴量の組が計測領域内もしくは前記計測領域内の部分領域内で各空間座標と１対１の対応関係となるように配置された複数の位置から、計測対象物表面に、パターンまたは前記パターンの変化を投影するステップと、
   前記計測対象物表面に投影された前記パターンまたは前記パターンの変化を撮影するステップと、
   基準物体を用いて予め求められた前記各３つ以上の特徴量の組と前記空間座標との関係を用いて、前記撮影して得られた画像を基に得られた３つ以上の特徴量の組から、前記空間座標を求めるステップと、
   を含む前記計測対象物表面の空間座標を求める計測方法。
2. 請求項１において、前記各３つ以上の特徴量の組と前記各空間座標との関係をテーブル化しておき、前記計測対象物表面の空間座標の計測時には、前記テーブルを参照した値に基づいて前記計測対象物表面の空間座標を求める計測方法。
3. 請求項１において、前記各３つ以上の特徴量の組と前記各空間座標との関係の一部をテーブル化しておき、前記計測対象物表面の空間座標の計測時には、前記テーブルを参照した値を用いて補間することにより、前記計測対象物表面の空間座標を求める計測方法。
4. 請求項１〜３の何れか一つにおいて、前記複数の位置から投影される光の波長を複数にすることで同時に複数の特徴量を得る、前記計測対象物表面の空間座標を求める計測方法。
5. 請求項１〜４の何れか一つにおいて、前記複数の位置は、一列に並んで配置されている、前記計測対象物表面の空間座標を求める計測方法。
6. 請求項１〜５の何れか一つにおいて、前記３つ以上の特徴量の組と前記各空間座標との関係は、前記複数の位置から前記基準物体の表面に、前記複数の位置と前記基準物体との距離を変更して複数の間隔で前記パターンまたは前記パターンの変化を投影して、３つ以上の特徴量の組と空間座標との関係を求める方法。
7. ３つ以上の特徴量の複数の組を含み、前記各３つ以上の特徴量の組が計測領域内もしくは前記計測領域内の部分領域内で各空間座標と１対１の対応関係となるように配置された複数の位置から基準物体表面に、前記複数の位置と前記基準物体との距離を変更して複数の間隔でパターンまたは前記パターンの変化を投影して、３つ以上の特徴量の組と前記空間座標との関係を求める方法。
8. 請求項６または７の何れか一つにおいて、前記基準物体表面に格子パターンあるいはマークを固定する、３つ以上の特徴量の組と空間座標との関係を求める方法。
9. 請求項６〜８の何れか一つにおいて、前記複数の位置から投影される光の波長を複数にすることで、３つ以上の特徴量の組と空間座標との関係を求める方法。
10. 請求項６〜９の何れか一つにおいて、前記複数の位置は、一列に並んで配置されていることを特徴とする、３つ以上の特徴量の組と前記空間座標との関係を求める方法。
11. ３つ以上の特徴量の複数の組を含み、前記各３つ以上の特徴量の組が計測領域内もしくは前記計測領域内の部分領域内で各空間座標と１対１の対応関係となるように配置された複数の位置から、計測対象物表面に、パターンまたは前記パターンの変化を投影する投影部と、
    前記計測対象物表面に投影された前記パターンまたは前記パターンの変化を撮影する撮像部と、
    前記各３つ以上の特徴量の組と前記各空間座標との関係を記憶する記憶部と、
    前記記憶手段に記憶された前記３つ以上の特徴量の組と前記各空間座標との関係を用いて、前記撮影して得られた画像を基に得られた３つ以上の特徴量の組から、前記空間座標を求める空間座標取得部と、
    を備えた前記計測対象物表面の空間座標を求める計測装置。
12. 請求項１１において、前記各３つ以上の特徴量の組と前記各空間座標との関係はテーブル化して前記記憶部に記憶され、前記計測対象物表面の空間座標の計測時には、前記テーブルを参照した値に基づいて前記計測対象物表面の空間座標を求める計測装置。
13. 請求項１１において、前記各３つ以上の特徴量の組と前記空間座標との関係の一部がテーブル化して前記記憶部に記憶され、前記計測対象物表面の空間座標の計測時には、前記テーブルを参照した値を用いて補間することにより、前記計測対象物表面の空間座標を求める計測装置。
14. 請求項１１〜１３の何れか一つにおいて、前記投影部の複数の位置から投影される光の波長を異なったものとすることで同時に複数の前記特徴量を得る、前記計測対象物表面の空間座標を求める計測装置。
15. 請求項１１〜１４の何れか一つにおいて、前記複数の位置は、一列に並んで配置されている、前記計測対象物表面の空間座標を求める計測装置。
16. 請求項１１〜１５の何れか一つにおいて、前記各３つ以上の特徴量と前記各空間座標との関係は、前記投影部の複数の位置から基準物体表面に、前記投影部と前記基準物体との距離を変更して複数の間隔で前記パターンまたは前記パターンの変化を投影して求める、３つ以上の特徴量の組と空間座標との関係を求める計測装置。
17. 請求項１１〜１５の何れか一つにおいて、前記各３つ以上の特徴量と前記各空間座標との関係は、前記投影部と同じ構成を有する他の投影部を用い、前記他の投影部から基準物体表面に、前記他の投影部と前記基準物体との距離を変更して複数の間隔で前記パターンまたは前記パターンの変化を投影して求める、３つ以上の特徴量の組と空間座標との関係を求める計測装置。
18. ３つ以上の特徴量の複数の組を含み、前記各３つ以上の特徴量の組が計測領域内もしくは前記計測領域内の部分領域内で各空間座標と１対１の対応関係となるように配置された複数の位置からパターンまたは前記パターンの変化を投影する投影部と、
    前記複数個と基準物体との間隔を変更する変更部と、
    前記複数個の投影部と前記基準物体との距離を変更して複数の間隔で、前記パターンまたは前記パターンの変化を撮影する撮像部と、
    前記撮像部により撮像された画像と、前記複数の投影部と前記基準物体との距離を基に、３つ以上の特徴量の組と前記空間座標との関係を求める計測装置。
19. 請求項１７または１８の何れか一つにおいて、前記基準物体表面に格子パターンあるいはマークを固定する、３つ以上の特徴量の組と空間座標との関係を求める計測装置。
20. 請求項１６〜１８の何れか一つにおいて、前記複数の位置は、一列に並んで配置されていることを特徴とする、３つ以上の特徴量の組と前記空間座標との関係を求める計測装置。
21. 請求項１１から２０の何れか一つにおいて、前記投影部は一つの投影ユニットからなり、前記撮像部は複数個のカメラからなり、前記複数個のカメラは前記投影ユニットに設けられている、計測装置。