JP2006170744A - ３次元距離計測装置 - Google Patents

Abstract

【課題】 模様の無い平坦な床、壁、あるいは繰り返しの多い模様を有する対象物の３次元情報を復元する。
【解決手段】 １台以上のカメラと１台以上の光源装置を備えた３次元距離計測装置において、時間の経過とともに連続的に移動する縞状の光パターンを連続的に投影することが可能な光源装置と、これを投影した対象を撮影し画面上での各点の輝度の変化を検出可能なカメラと、各点の輝度の変化から明滅のタイミングの差異を検出する手段と、明滅のタイミングから距離情報に変換する手段により、カメラで撮影した領域全域に渡ってその各点での対象までの距離を取得する。
【選択図】 図１

Description

本発明はロボットが必要とする作業対象や周辺環境認識や工場における製品の形状計測等に用いる３次元距離装置およびその製造方法に関する。

従来、この種の装置としては、パッシブ型ステレオビジョン、光切断法、位相シフト法等が用いられてきた。

パッシブ型ステレオビジョンは広く用いられている手法で複数台のカメラを並べ、得られた各々の画像内で同一物を撮影した対応点を検出して、主に三角測量によって撮影された対象物群までの距離を得る。しかし、対応点検出の成否は対象によって左右され、白壁のような模様のない面、逆に編み目のような繰り返しの多い模様では対応点が正しく検出されない。

光切断法もよく知られた方法であり非特許文献１や特許文献１など開示されており、対象にスリット光を照射して、別の方向からカメラで撮影し、その形状から３次元情報を復元する。しかし、形状検出の制約からスリット光は同時に１本ないし数本に限定されるため処理速度は制限される。また、スリット光を認識する処理の制約から、利用は一般に暗室などの照明状況が管理された室内に限られる。

位相シフト法は非特許文献１で開示されているように、細かな正弦波横縞を形成した板を光源の前で微少に移動させることで対象に縞状の光を投影して数枚の画像を取得し、画像上の各点の位相を検出して距離に変換するが、単純な繰り返し縞を利用するため、異なる点が同じ位相を持つ曖昧さを確実に解決しなければ結果が不定となる、また平板の平行移動であるため復帰動作が必要で連続的な計測が不可能であるという欠点がある。

特開平５−４６７３９号公報 大池祐輔、新宅宏彰、池田誠、浅田邦博：光切断法による高精細・実時間３次元撮像システム、情報映像メディア学会誌 Vol57-No9 1149/1151 V.Srinvasan, H,C,Liu, M.Halioua: Automated phase-measuring profilometry of 3-D diffuse objects, Applied Optics, Vol23-No18 3105/3108

上記のように、従来の技術では方式ごとに撮影対象が限定される、撮影環境が限定される、結果の不確実になりうる、連続検出ができないという問題があった。

本発明は、撮影対象や撮影環境を選ばず、結果の不確実さを低減し、連続検出を可能とした上で、計測時間や計測精度などを状況に応じて可変することが可能な、精細な３次元距離計測装置を提供することを目的としている。

１台以上のカメラと１台以上の光源装置を備えた３次元距離計測装置において、時間の経過とともに連続的に移動する縞状の光パターンを連続的に投影することが可能な光源装置と、これを投影した対象を撮影し画面上での各点の輝度の変化を検出可能なカメラと、各点の輝度の変化から明滅のタイミングの差異を検出する手段と、明滅のタイミングから距離情報に変換する手段により、カメラで撮影した領域全域に渡ってその各点での対象までの距離を取得する３次元距離計測装置および該装置を用いた距離計測方法を提供する。

本発明によれば、３次元距離計測装置において、撮影対象や撮影環境を選ばず、対象に応じた計測時間、計測精度などの条件を可変して、連続的により確実な距離計測が可能という効果が得られる。

本発明を実現するには、光パターンを投影するための光源装置、これを撮影するカメラ、撮影した映像を処理する処理装置を用いる。

図１は装置全体の構成を示したものである。光源装置１−１は光の明暗縞を投影する。この縞は明るさが連続的に変化する縞であり、対象１−２に縞状の明暗模様１−３を生じさせる。また、この縞は時間の経過とともに、移動する。縞の移動とともに、照明されている対象上の任意の点の輝度も変化する。縞はある周期を持っており、対象上の点の輝度も周期的に変化する。

これをカメラ１−４で撮影する。光源装置はカメラの撮像と同期するように光源制御装置１−５によって制御されており、これが持つ基準位相と、撮影された映像をもとに、位相検出装置１−６が、映像上の各点ごとの輝度の変化が、基準位相からどれだけ進退しているかを検出する。この位相を、距離変換装置１−７において距離に変換する。一方、撮影した映像は映像平均化装置１−８において、平均化され、縞の無い通常の画像に変換される。

図２は光源装置の実現例を示す。光源２−１は対象を照らすためのものである。この光源は点光源、もしくは投影する縞と平行である線光源、平行光源等であるが、任意の光源と光学系を組み合わせることで同等なものを用意してもよい。また、光源の波長は対象を照らすために適したものを任意に選択できる。

遮蔽装置２−２〜２−４は、光源の波長に対して透明な円筒２−２、円筒上に形成した不透明素材による遮蔽模様２−３、円筒を回転させるモータ２−４からなる。

光源およびモータは制御装置２−５によって制御される。光源の明暗は撮影された映像輝度が飽和しないように決定される他、非測定時に遮断することでエネルギー消費を低減するために制御される。モータの回転は、回転が撮影と同期するように制御する。映像信号から同期信号を得て、各点の輝度変化の周期が、映像フレーム間隔の整数倍となるように、モータの回転速度を制御する。

たとえば、具体的な構成例としては、アクリル製円筒に、縞を印刷した透明シートを一周にわたって貼り付けて作成し、直流サーボモータで回転させる。

また、ここでは点光源と遮蔽装置をそのまま使用する例を図としたが、対象に変調光が照射され、かつ対象上の各点に同一光源から２つ以上の経路で光が届かないように設計されていれば、光の経路は問わない。つまり、レンズ系や鏡などを用いることで、点光源からの放射状の光路を平行に、または狭い範囲に収束させることもできる。光学系の設計によっては顕微鏡下のようなきわめて狭い領域に照射することもかまわない。

また、本発明に用いる光源装置としては、請求項に記載した、縞模様のついた円筒、円盤、角柱筒を回転させる方式、光源アレイによるものには限定されない。光源装置に要求されることは、光源装置から見て異なる方向には異なる位相をもって時間的に周期変化する光を投影することである。そのような光を投影することが出来る装置であれば、本発明に使用することが出来る。たとえば、液晶プロジェクタのような装置で、かようなパターンを投影することも可能である。

図１の１−４に示したカメラは、光源の波長を検出でき、一定の時間間隔で連続して撮像可能で、その画像列を得られるカメラであれば、すべて使用できる。もっとも一般的なものでは、通常のビデオカメラが使用でき、この場合は１秒間に６０枚程度の画像が連続して得られる。工業用の高速度ビデオカメラも使用可能であるほか、計測時間は長くなるが高分解能のデジタルスチルカメラとインターバルタイマの組み合わせも使用可能である。また、光源装置からのパターン光を光学系でごく狭い範囲に投影した上で、カメラ付きの顕微鏡で観測するといった方式もあり得る。

縞の進行速度はビデオカメラの撮像間隔によって決まるが、あえて、撮像間隔に比較して高速に、具体的には、たとえば１回の間隔で縞が１本分とすこしだけ進むようにすると、サンプリング定理による折り返しひずみが発生し、低速で進ませたものと同等となる。従来の光パターン投影方式では、そのパターンを人間がみると明滅するなど気分を害しやすく、生理的にも悪影響が懸念されるが、縞を十分高速で進ませた場合、人間の目の応答速度を超えるため、人間には通常の光として知覚され、この問題が解決される。

得た映像に対しては、以下の処理を行う。周期的に変化する値は、かならずその基本周波数の正弦波成分を有する。この基本成分は以下の式で表される。
ここで、nは縞が１周期進むのに必要な画像の枚数であるが、実際にn枚で処理すると設計した上で円筒の回転制御を行う。 Y_xy[i]は画像系列番号iの座標(x,y)の画素の輝度、Y_0,xyは基準となる輝度定数、a,bは輝度変化の平均値と振幅を決定する係数、φは光源装置からの光の照射方向に依存する位相値である。Y_B,xyはその他の光源による背景光である。

この、連続した画像の、各点における輝度の変化値に対して、参照信号 sin(2πi /n)およびcos(2πi /n)を生成し、乗じた上で積算する。
これにより、各画素の明暗の位相の正弦および余弦の比が得られる。逆正接を用いることで、位相を得ることが出来る。

また、参照波を乗じることなく積算することで
各画素を非パターン光で照明した場合の輝度が得られる。

なお、本実施例では輝度を代表して説明したが、一般的なカメラの映像信号では、たとえば赤緑青の三原色の成分も得られる。このような各成分を代表して使うことも、また、これらの関数で得られる数値も使用できる。輝度は三原色の関数値の一つである。

図３は位相検出装置の構成例である。映像信号は画像取得回路３−１により、画像のデータとなる。位相検出装置をコンピュータを用いて構成する場合はビデオキャプチャ回路、デジタル信号処理回路で構成する場合はＡＤ変換器などを用いる。

取り込んだ画像の枚数をカウンタ３−２で計数し、光源装置の制御情報で補正して参照信号生成器３−３で正弦波および余弦波を生成する。乗算器３−４によって、画像データの各画素の輝度値と２種類の参照信号を乗じる。これを積算バッファ３−５にて、画素ごとに積算する。積算区間が終了後、各画素の積算値より逆正接演算器３−６を介して位相値を得る。

この構成において、画像データは１画面分ごと、もしくはそれを分割したものごとに取得回路、乗算器、バッファと送ることができるほか、１画素ずつ順次送ることもできる。前者の場合は積算バッファは画素を格納する配列メモリとそれを順次アクセスする演算器で構成される。後者の場合、積算バッファとしては図４に示すような構成をとることができる。画像データは画面ごとに同じ数の画素から構成されるため、その画素数の長さを持つシフトレジスタ４−１と加算器４−２で構成する。ある時点である画面のある画素の加算処理が行われたあと、加算された値はシフトレジスタで順次送られ、次の画面の同一の画素の加算処理の時点でシフトレジスタから出力され、加算器に入力される。スイッチ４−３は積算区間の開始時にゼロクリアするためのものである。また積算出力は最終結果のみを利用するように、後続の回路で選択する。画面ごとにデータを送る形式では処理は断続的に行われるが、１画素ずつ送る形式では連続して、かつ、各処理が平行して行われ、本発明をデジタル信号処理回路として構成する際に利用できる。

距離変換装置１−７は、位相を距離情報に変換するためのものである。その構成は、たとえば、光源装置と撮像装置と画素の位置の幾何学的位置関係より、三角測量で常時計算を行うような演算装置、あらかじめ位相と距離の関係を計算しておいた変換テーブルを格納し、これを参照しながら変換する方式、テーブルを補間しながら使用する方式などによる。

波の重畳について説明する。前記正弦波による処理式は、同じ処理期間に整数回の明暗を繰り返すような光源装置を使用した場合でも同様に成立し、かつ、三角関数の性質により、異なる回数の明暗は独立してその位相を検出することが出来る。そこで、一つの光源装置の遮蔽装置において、透過度を設定する際、２種類の明暗周期を重畳したものを用意すると、１台の撮像装置で検出し、各々の位相を独立して得ることが出来る。一方は計測対象全体が１周期の範囲に収まるものとし、もう一方はより細かな縞を投影する。両者で検出される位相を一括して処理することにより、前者で大まかでかつ曖昧さのない位相を得て、後者で分解能を得ることが出来る。位相シフト法では後者のみであり、計測結果において、異なる部位でありながら同一位相の箇所が多数発生し曖昧さの原因となっていたが、本発明では前者を加えることで曖昧さが無くなる。

ここでは簡単のために、全体が１周期に収まるものを使用したが、２種類以上の周期を併用し、かつそれらの波数が互いに素であるならば、対となる位相から一意に結果を特定できる。

複数光源装置の使用について説明する。図５は異なる周期をもつ複数の光源装置を使用した実施例である。本発明において、対象物の凹凸により、対象物に光源の陰が生じると、その部分は位相を検出できなく、距離検出が不能となる。そこで、複数の光源装置を用いることで陰の領域を減らす。

対象５−１に対して、同じ処理区間内に異なる回数の明暗を起こす光源装置５−２および５−３を、異なる方向におき、異なる方向からパターンを投影し、１台のカメラにて撮影する。光源装置５−２により、対象には陰５−４が生じるが、光源５−３の光は照射される。処理装置を５−６および５−７の２系統用い、カメラの出力を分配し、各々の処理装置は各光源装置に対応する参照波で処理を行う。それぞれの処理装置はカメラの各画素における距離と、その信頼性を出力する。信頼性はたとえば輝度の周期変動の振幅の関数とする。この信頼性を加味し、距離統合処理装置５−９によって２系統の処理装置から得られた距離を合成する。この例では２系統であるが、３以上の系統でも同様である。なお、映像平均化装置は一式あればよい。従来の光投影方式では一方向のみからの投影であり、複数併用したとしても同時には照射できなかった。しかし、本手法では同時に照射し、同時に計測でき、合成できる。

これらの実施例に加え、独立して観測可能な複数の波長で同時に照明することで、より多くの観測を並列させることが可能である。

また、撮像装置は１個である必要はなく、撮影が同期していれば、複数台で同時に撮像し、各光源装置の位相情報をもとに処理を行うことができる。なお、これらの場合を総合して、位相検出装置は使用する周期の数と撮像装置数の積となる。

本発明に係る３次元距離計測装置はロボットのための作業対象および周辺環境の検出、工業製品、農業産品の形状計測などの様々な分野に適用できる。

また、本発明によって製造された３次元距離計測装置は、ロボットの状況検出装置、物体の形状計測装置として広く用いることができる。

本発明による３次元距離計測装置の構成概略図である。 本発明に用いる光源装置の実施例である。 本発明で使用する位相検出装置および映像平均化装置の構成例である。 画素積算装置を順次行うための回路の構成例である。 ２系統の光源装置を用いて陰の影響を少なくする手法を実施するための概略図である。

符号の説明

１−１ 光源装置
１−２ 測定対象物
１−３ 光源装置によって投影された光の明暗縞であり、時間の経過とともに移動する
１−４ 撮像装置
１−５ 光源装置の回転を撮像装置に同期させ、また光量を制御する装置
１−６ 画像上の各画素における位相を検出する装置
１−７ 検出した位相から各画素における距離に変換する装置
１−８ 画像列を単純に平均し、一般的なカメラ画像を得る装置
２−１ 光源（ランプなど）
２−２ 透明な回転体（透明樹脂製円筒など）
２−３ 円筒上に設けた光遮蔽模様（模様の印刷、印刷したフィルムの添付など）
２−４ 回転駆動用モータ
２−５ モータの回転および光源の輝度を制御する装置
３−１ 外部から入力される映像、画像信号を処理用に変換する回路
３−２ 入力された画像の枚数を計測する装置
３−３ 画像の進行に伴って参照信号を生成する装置
３−４ 画像の各画素輝度値と参照信号を乗じる乗算器
３−５ 各画素ごとに積算する装置（積算のための記憶装置を含む）
３−６ 積算値を除し、逆正接により位相を求める装置
３−７ 映像平均化のための積算装置
４−１ 画素輝度と参照信号の乗算結果の積算値を順次送るシフトレジスタ（１画面分を格納する長さ）
４−２ 加算器
４−３ 積算開始時に保持値をゼロとするためのスイッチ
５−１ 陰が生じうるような凹凸のある対象物
５−２ 第一系統の光源装置
５−３ 第二系統の光源装置
５−４ 第一系統の光源装置の光が照射されない 対象物等による陰
５−５ 第二系統の光源装置の光が照射されない 対象物等による陰
５−６ 第一系統の処理装置群
５−７ 第二系統の処理装置群
５−８ 通常の画像をえるための映像平均化処理装置
５−９ ２系統で得られた各画素の距離をその信頼性をもとに統合する装置

Claims (5)

1. １台以上のカメラと１台以上の光源装置を備えた３次元距離計測装置において、時間の経過とともに連続的に移動する縞状の光パターンを連続的に投影することが可能な光源装置と、これを投影した対象を撮影し画面上での各点の輝度の変化を検出可能なカメラと、各点の輝度の変化から明滅のタイミングの差異を検出する手段と、明滅のタイミングから距離情報に変換する手段により、カメラで撮影した領域全域に渡ってその各点での対象までの距離を取得することを特徴とする３次元距離計測装置。
2. 前記光源装置が、白色光、単一波長光、赤外光など任意の波長の光源と、縞パターンを有する遮蔽装置で構成され、遮蔽装置は円筒、円盤、角柱筒などに代表される、軸と重心が一致する透明な面で構成される上記波長に対して透明な物体に、上記波長に対して段階的な明暗をもって光の透過を調整できる物質によって連続的にかつ周期的に変化する縞模様を描いたものを、モータで回転させることを特徴とする請求項１に記載の３次元距離計測装置。
3. 前記光源装置が、複数の小形光源のアレイで構成され、その小形光源の明滅を制御することによって対象に縞状の光パターンを投影することが可能なことを特徴とする請求項１に記載の３次元距離計測装置。
4. 前記距離計測装置が１台以上のカメラと互いに異なる方向から照明する２台以上の光源装置で構成され、各光源装置があい異なる周期で明滅するような縞パターンを投影し、これを１台のカメラが同時に対象を撮影し、それぞれのパターンに対して同時に距離の検出を行い、合成することで物体による陰の影響を低減する手段を有することを特徴とする請求項１ないし３のいずれかに記載の３次元距離計測装置。
5. １台以上のカメラと１台以上の光源装置を備えた３次元距離計測装置において、時間の経過とともに移動する縞状の光パターンを投影することが可能な光源装置と、これを投影した対象を撮影し画面上での各点の輝度の変化を検出可能なカメラと、各点の輝度の変化から明滅のタイミングの差異を検出する手段と、明滅のタイミングから距離情報に変換する手段により、カメラで撮影した領域全域に渡ってその各点での対象までの距離を取得することを特徴とする距離計測方法。