JP2015021862A - ３次元計測装置及び３次元計測方法 - Google Patents

Abstract

【課題】鏡面反射成分の強い計測対象物の場合にも、適切に３次元計測を行うことができる３次元計測装置及び３次元計測方法を提供する。
【解決手段】パターン光を計測対象物２に投光するプロジェクタ３と、プロジェクタ３より前記パターン光が投光された計測対象物２をそれぞれ異なる方向から撮像する複数の撮像手段４と、プロジェクタ３とそれぞれの撮像手段４との間の校正を行う校正手段８１と、それぞれの撮像手段４により撮像された画像に基づいて、それぞれ３次元点群を計測する３次元点群計測手段８３と、３次元点群計測手段により計測されたそれぞれの３次元点群を校正手段により得られた校正結果に基づいて、パターン投光手段の座標系に射影し、それぞれの信頼度を比較することによりそれぞれの３次元点群の計測結果を統合する統合手段８４と、を備える３次元計測装置１。
【選択図】図１

Description

本発明は、計測対象物にパターン光を投光して３次元計測を行うための３次元計測装置及び３次元計測方法に関する。

従来から、物体の３次元形状を計測する方法としては、例えば、異なる位置に設けられた基準カメラと参照カメラとの２台以上のカメラで計測対象物を撮影して得られた複数の画像の間で対応する画素を特定し、対応付けられた基準画像上の画素と、参照画像上の画素との位置の差（視差）に三角測量の原理を適用することにより、基準カメラから当該画素に対応する計測対象物上の点までの距離を計測するステレオ法と呼ばれるものがある（例えば、特許文献１参照）。しかしながら、従来のステレオ法では、計測対象物が白い壁等の特徴がほとんどない対象である場合には、画像間での対応付けを行うことは困難である。

また、計測対象物の３次元形状を計測するために、例えば、レーザー光を計測対象物に投光して、その反射光を計測することにより各点までの距離を計測する方法や計測対象物にパターン光を投光して、計測対象物に投影されたパターンの形状を測定することにより計測対象物の３次元形状を計測する光切断法等の能動的手法が従来から知られている（例えば、特許文献２参照）。また、計測対象物の形状を計測するために、対象物に縞パターンを投影するとともに、該縞パターンを位相シフトさせながら複数回撮影し、撮影した各縞パターン画像に基づいて、対象物の形状を計測する位相シフト法と呼ばれるものがある（例えば、特許文献３参照）。

特開２００１−０９１２４５号公報 特開２００８−２９２４３４号公報 特開平１１−０１４３２７号公報

しかしながら、光沢面を有する金属製品等の鏡面反射成分の強い計測対象物では、図１に示すように、パターン光の入射角θｉｎと等しい反射角θｏｕｔの近傍で非常に強い光（矢印の長さは反射強度を示している）が反射されるため、計測対象物の向きによっては、撮影した画像が部分的に真っ白になる、所謂白飛びという現象が生じる場合がある。また、逆にパターン光の入射角と等しい反射角から大きく離れると光がほとんど反射されないため、撮影した画像が部分的に真っ黒になる、所謂黒潰れという現象が生じる場合がある。このような白飛びや黒潰れが生じた場合には、パターン光が読み取れなくなるため、３次元計測が適切に行えなくなるという問題があった。

本発明は、上記のような課題に鑑みてなされたものであって、鏡面反射成分の強い計測対象物の場合にも、適切に３次元計測を行うことができる３次元計測装置及び３次元計測方法を提供することを目的とする。

上記目的を達成するために、請求項１に記載の３次元計測装置は、パターン光を計測対象物に投光するパターン投光手段と、前記パターン投光手段により前記パターン光が投光された前記計測対象物をそれぞれ異なる方向から撮像する複数の撮像手段と、前記パターン投光手段と前記それぞれの撮像手段との間の校正を行う校正手段と、前記それぞれの撮像手段により撮像された画像に基づいて、それぞれ３次元点群を計測する３次元点群計測手段と、前記３次元点群計測手段により計測された前記それぞれの３次元点群を前記校正手段により得られた校正結果に基づいて、所定の座標系に射影し、それぞれの信頼度を比較することにより前記それぞれの３次元点群の計測結果を統合する統合手段と、を備えることを特徴としている。

請求項２に記載の３次元計測装置は、前記パターン光は、縞パターン光であって、前記パターン投光手段は、前記縞パターン光の縞方向が前記パターン投光手段と前記各撮像手段のそれぞれのエピポーラ線に対して平行にならないように前記縞パターン光を前記計測対象物に投光することを特徴としている。

請求項３に記載の３次元計測装置は、前記パターン投光手段により前記計測対象物に投光されるパターン光が、前記計測対象物の表面で反射して、前記撮像手段に直接入射する直接反射成分と、前記パターン投光手段により前記計測対象物に投光されるパターン光が、前記計測対象物の表面で反射した後、前記表面と異なる部分で反射して、前記撮像手段に入射する間接反射成分とを分離する間接反射成分分離手段を備えることを特徴としている。

請求項４に記載の３次元計測方法は、パターン光を計測対象物に投光するパターン投光手段と該パターン投光手段により前記パターン光が投光された前記計測対象物をそれぞれ異なる方向から撮像する複数の撮像手段との間の校正を行う校正ステップと、前記それぞれの撮像手段により撮像された画像に基づいて、それぞれ３次元点群を計測する３次元点群計測ステップと、前記３次元点群計測ステップにより計測された前記それぞれの３次元点群を前記校正ステップにより得られた校正結果に基づいて、前記パターン投光手段の座標系に射影し、それぞれの信頼度を比較することにより前記それぞれの３次元点群の計測結果を統合する統合ステップと、を有することを特徴としている。

請求項５に記載の３次元計測方法は、前記パターン光は、縞パターン光であって、前記パターン投光手段は、前記縞パターン光の縞方向が前記パターン投光手段と前記各撮像手段のそれぞれのエピポーラ線に対して平行にならないように前記縞パターン光を前記計測対象物に投光することを特徴としている。

請求項６に記載の３次元計測方法は、前記３次元点群計測ステップを行う前に、前記パターン投光手段により前記計測対象物に投光されるパターン光が、前記計測対象物の表面で反射して、前記撮像手段に直接入射する直接反射成分と、前記パターン投光手段により前記計測対象物に投光されるパターン光が、前記計測対象物の表面で反射した後、前記表面と異なる部分で反射して、前記撮像手段に入射する間接反射成分とを分離する間接反射成分分離ステップを有することを特徴としている。

請求項１及び２に記載の発明によれば、パターン投光手段によりパターン光が投光された計測対象物をそれぞれ異なる方向から撮像する複数の撮像手段を備えており、それぞれの撮像手段により撮像された画像に基づいて、計測されたそれぞれ３次元点群を校正手段により得られた校正結果に基づいて所定の座標系に射影し、それぞれの信頼度を比較することによりそれぞれの３次元点群の計測結果を統合する。従って、計測対象物の鏡面反射成分が強いため、いずれかの撮像手段で白飛びが生じた場合や、反射光が弱いため、黒潰れが生じたような場合でも、異なる方向から撮像した他の撮像手段により得られる画像に基づいて計測される信頼度の高いそれぞれの３次元点群の計測結果を得ることができるので、適切な３次元計測を行うことができる。

請求項２及び５に記載の発明によれば、各撮像手段により得られる画像のエピポーラ線とパターン投光手段により投光される縞パターン光の縞方向が平行にならないので、３次元点群の計測を適切に行うことができる。

請求項３及び６に記載の発明によれば、直接反射成分と相互反射成分とを分離することにより、パターン光が実際に投光されていない箇所からパターン光が読み取られることにより３次元計測にずれが生じることを防止することができるので、３次元計測の精度をより向上させることができる。

本発明に係る３次元計測装置の構成の一例を示す概略模式図である。 本発明に係る３次元計測装置による処理の流れの一例を示すフローチャートである。 校正ボードを用いた校正の仕方について説明するための概略説明図である。 校正ボードを用いた校正処理の流れを示すフローチャートである。 グレイコードによる構造化光投影法のパターン光の一例を示す概略図である。 位相シフトによる位相解析法のパターン光の一例を示す概略図である。 直接反射成分と間接反射成分との分離に用いるパターン光の一例を示す概略図である。

以下に本発明の実施形態に係る３次元計測装置１について、図面を参照しつつ説明する。３次元計測装置１は、パターン光を照射した計測対象物２を撮像して３次元計測を行うものであって、図１に示すように、計測対象物２にパターン光を投光するためのプロジェクタ（パターン投光手段）３と、パターン光が投光された計測対象物２をそれぞれ異なる方向から撮像する複数の撮像手段４（４ａ〜４ｆ）と、それぞれの撮像手段４ａ〜４ｆにより得られた画像を用いて計測対象物２の３次元計測のための演算処理等を行うコンピュータ５とを備えている。

プロジェクタ３は、従来から３次元計測に用いられている種々のパターン光を計測対象物２に投光するためのものであり、例えば、図５〜７に示すようなパターン光を投光するものである。このようなパターン光を計測対象物２に投光することにより、計測対象物２が白い特徴がほとんどない対象物であっても、３次元計測を行うことができる。尚、プロジェクタ３から投光されるパターン光は、これらに限定されるものではなく、従来から３次元計測に用いられている種々のパターン光を用いることができる。

撮像手段４ａ〜４ｆは、それぞれ撮像素子とこの撮像素子の結像面に計測対象物２の像を結像させるレンズとを備えている。撮像素子としては、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等のイメージセンサが用いられる。この撮像手段４ａ〜４ｆのレンズには同じものが使用され、視野角及び解像度も略一致するように設定されている。また、撮像手段４ａ〜４ｆは、感度が略一致するものが使用される。また、計測対象物２の３次元計測処理を行うにあたっては、予め撮像手段４ａ〜４ｆの校正を行うことにより、カメラパラメータ等を調整しておく。尚、図１では、撮像手段４を６台配置した例を示しているが、撮像手段４の台数及び配置の仕方はこれに限定されるものではなく、少なくとも異なる方向を向くように複数配置されていれば良いが、より適切な３次元計測を行うために、３台以上の撮像手段４が配置されていることが好ましい。

これらの撮像手段４ａ〜４ｆにより取得されたそれぞれの画像データは、コンピュータ５へと入力される。コンピュータ５は、撮像手段４ａ〜４ｆにより取得されたそれぞれの画像データを用いて計測対象物２の３次元情報を得るための演算等を行うものであり、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｅｓｓｉｎｇ Ｕｎｉｔ）６と、ハードディスク７と、画像処理部８と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９と、表示部１０と、操作部１１等を備えている。また、これら各部は、図１に示すように、互いにシステムバス１２に接続され、このシステムバス１２を介して種々のデータ等が入出力されて、ＣＰＵ６の制御の下、種々の処理が実行される。

ハードディスク７では、プロジェクタ３と各撮像手段４ａ〜４ｆとの間の校正を行うための処理プログラムや各撮像手段４ａ〜４ｆから入力される画像データに基づいて計測対象物２の３次元計測を行うための処理プログラム等が格納されている。尚、本実施形態では、これらの処理等を行うためのプログラムをハードディスク７に格納している例を示しているが、これに代えて、コンピュータ読み取り可能な記憶媒体（不図示）に格納しておき、この記録媒体から処理プログラムを読み出すように構成することも可能である

画像処理部８は、ハードディスク７に格納される処理プログラムに基づいて、ＣＰＵ６の制御の下、プロジェクタ３と各撮像手段４ａ〜４ｆとの間の校正や計測対象物２の３次元計測を行うための演算処理等を行うものである。ＲＡＭ９は、ハードディスク７から読み出された処理プログラムを一時的に記憶したり、ＣＰＵ５の作業領域等として用いられるものである。

表示部１０は、液晶ディスプレイ等から構成されるものであって、各撮像手段４ａ〜４ｆにより取得した画像等を表示するものである。操作部１１は、マウスやキーボード等で構成されており、操作者が種々のデータ及び操作指令等の入力を行うために使用されるものである。

以下、この３次元計測装置１による計測対象物２の３次元計測を行う処理の流れについて図２のフローチャートを用いながら説明する。尚、図２に示す処理は、ハードディスク７に格納された処理プログラムに従ってＣＰＵ６の制御の下、画像処理部８等により実行されるものである。

まず、計測対象物２の３次元計測処理を行うにあたって、プロジェクタ３と各撮像手段４ａ〜４ｆ間の校正を行う（Ｓ１０１）。ここでは、図３に示すような校正ボード１３を用いて、校正手段８１により各撮像手段４ａ〜４ｆに設定されるカメラ座標系とプロジェクタ３に設定されるプロジェクタ座標系との間の回転及び並進を校正する。この校正に用いられる校正ボード１３は、図３に示すように、平面状に形成されており、基準位置を示す円状のドットパターン１３ａを複数有するものである。

図４のフローチャートに示すように、校正処理を行うにあたって、まずは所定の位置に配置された校正ボード１３をパターン光が投光されていない状態又は真っ黒の画像を投光した状態で各撮像手段４ａ〜４ｆにより撮影する（Ｓ２０１）。

次に、プロジェクタ３からパターン光を投光した校正ボード１３を各撮像手段４ａ〜４ｆにより撮影する（Ｓ２０２）。尚、このプロジェクタ３から投光されるパターン光の投光タイミングと、各撮像手段４ａ〜４ｆによる撮影タイミングは、コンピュータ５のタイミング同期手段（不図示）により同期するよう制御されている。Ｓ２０２では、まずはプロジェクタ３からパターン光として、例えば、図５に示すような縞パターン光の一種である縦方向のグレイコードパターンを校正ボード１３に投光した状態で各撮像手段４ａ〜４ｆにより撮影する。この際、プロジェクタ３は、グレイコードパターンを縞方向がプロジェクタ３と各撮像手段４ａ〜４ｆのそれぞれのエピポーラ線に対して平行にならないように斜め向きに投光する。これにより、各撮像手段４ａ〜４ｆにより得られる画像のエピポーラ線とグレイコードパターンの縞方向が平行になることを防止することができる。次に、プロジェクタ３からパターン光として、例えば、図６に示すような縞パターン光の一種である縦方向の位相シフトパターンを校正ボード１３に投光した状態で各撮像手段４ａ〜４ｆにより撮影する。この際も、グレイコードパターンの投光と同様に、プロジェクタ３は、位相シフトパターンを縞方向がプロジェクタ３と各撮像手段４ａ〜４ｆのそれぞれのエピポーラ線に対して平行にならないように斜め向きに投光する。つまり、エピポーラ線と縞パターンの同位相の向きが平行にならいように位相シフトパターンを投光する。そして、今度はプロジェクタ３からパターン光として、横方向のグレイコードパターンを校正ボード１３に投光した状態で各撮像手段４ａ〜４ｆにより撮影する。更に、プロジェクタ３からパターン光として、横方向の位相シフトパターンを校正ボード１３に投光した状態で各撮像手段４ａ〜４ｆにより撮影する。このようなＳ２０１及びＳ２０２の撮影を、校正ボード１３の姿勢を変えながら複数回（１５〜３０回程度）繰り返し行う。

このＳ２０２で投光するグレイコードパターンを用いた構造化光投影法は、プロジェクタ３から図５に示すようなグレイコードと呼ばれる特殊な２進符号の縞パターンを投光することで計測を行う手法である。この構造化光投影法では、図５に示すように、パターン光を（ａ）〜（ｃ）の順に投光することにより空間をグレイコードで表現された領域に分割できる。ここで、撮像されるパターンの黒い部分は０に対応し、白い部分は１に対応する。図５（ａ）では、全体を２分割し、２つの領域を０，１に符号化する。また、図５（ｂ）では、明部と暗部の４つ領域を０，１，１，０に符号化する。また、図５（ｃ）では、８つの領域を０，１，１，０，０，１，１，０に符号化する。これにより、各領域に符号化された領域番号が付与され、図５では、各領域が（０，０，０）、（０，０，１）、（０，１，１）、（０，１，０）、（１，１，０）、（１，１，１）、（１，０，１）、（１，０，０）として判断することができる。このように３つのグレイコードパターンを用いた場合には、空間を８分割することができる。そして、この分割された領域を示す番号である空間コードと撮像手段４の視線により三点測量の原理を用いて三次元座標を計算することができる。尚、さらに詳細に形状計測を行う場合には、明部と暗部の領域を順に縮小しながらｍ枚のグレイコードパターンを投光することで、プロジェクタ３の照射領域を２^ｍの領域に分割することができる。

また、Ｓ２０２で投光する位相シフトパターンを用いた位相解析法では、図６に示すような輝度値が余弦波状に分布したストライプ状のパターン光を、その位相をπ／２ずつ、１周期分（２π）だけシフトさせながら計測対象物２に投光し、各撮像手段４ａ〜４ｆによりそれぞれ複数回撮影して、位相分布を求める。また、必要に応じて位相接続を行って、パターン光の出射方向を一意に特定する。位相値は連続した実数値として得ることができるので、サブピクセルで各撮像手段４とプロジェクタ３を対応付けることができる。また、全画素に対して１ピクセル毎に独立して位相を求めることができるため、高密度で３次元情報を得ることができる。位相シフトパターンの輝度分布は、下記の数式（１）のように表わされる。

また、位相シフト量αをπ／２ごとに変えた場合のある一点（ｘ，ｙ）における輝度をそれぞれＩ_０（ｘ，ｙ），Ｉ_１（ｘ，ｙ），Ｉ_２（ｘ，ｙ），Ｉ_３（ｘ，ｙ）とすると、これらの輝度は下記の数式（２）のように表わされる。

これにより、その位置（ｘ，ｙ）での位相Φは、数式（３）のように表わされ、位相シフト量αは、数式（４）のように表わされる。尚、位相シフトパターンを用いた位相解析法では、周期性があるため、位相接続（アンラッピング）の問題があるが、ここでは、この問題を解決するために、位相シフト法にグレイコードパターンを用いた構造化光投影法を組み合わせ、各位相周期に独立したグレイコードを割り当てることでロバスト且つ高密度な対応付けを可能にしている。

次に、校正手段８１では、Ｓ２０１で得られたそれぞれの画像データを用いて、各撮像手段４ａ〜４ｆ間の校正を行う（Ｓ２０３）。本実施形態では、撮像手段４ａ〜４ｆの６台を用いているので、撮像手段４ａと４ｂ間、撮像手段４ａと４ｃ間、撮像手段４ａと４ｄ間、撮像手段４ａと４ｅ間、撮像手段４ａと４ｆ間、撮像手段４ｂと４ｃ間、撮像手段４ｂと４ｄ間、撮像手段４ｂと４ｅ間、撮像手段４ｂと４ｆ間、撮像手段４ｃと４ｄ間、撮像手段４ｃと４ｅ間、撮像手段４ｃと４ｆ間、撮像手段４ｄと４ｅ間、撮像手段４ｄと４ｆ間、撮像手段４ｅと４ｆ間のそれぞれの関係を全て同時に最適化して校正を行う。

また、校正手段８１では、Ｓ２０３で得られた各撮像手段４ａ〜４ｆの校正結果を用いて、Ｓ２０１の撮影により取得した画像データ毎に、校正ボード１３のそれぞれのドットパターン１３ａの中心点の３次元座標を算出する（Ｓ２０４）。

そして、Ｓ２０２の撮影により得られた画像データを用いて、校正ボード１３のそれぞれのドットパターン１３ａの中心点の２次元座標に対して、横方向の位相と縦方向の位相を計算し、この横方向と縦方向の位相値から、プロジェクタ画像上の対応する画素のサブピクセル座標を算出する（Ｓ２０５）。尚、プロジェクタ画像とは、プロジェクタ３が投光するパターンが構成されている画像自体のことであり、この画像はパターンが形成される際に予め規定されている。

次に、校正手段８１では、Ｓ２０４で算出した校正ボード１３のドットパターン１３ａの３次元座標とＳ２０５で算出されたプロジェクタ画像の２次元座標との対応付けを行うことにより、プロジェクタ３の射影行列^ＰＰを求め、この射影行列^ＰＰを分解することにより、プロジェクタ３の回転行列^ＰＲ、並進ベクトル^Ｐｔ、及び内部パラメータ行列^ＰＫ（焦点距離^Ｐｆ_μ，^Ｐｆ_νと主点^Ｐμ_ｃ，^Ｐν_ｃを含む）の初期値を算出する（Ｓ２０６）。

そして、M台（本実施形態では６台）の撮像手段４の校正として、下記の数式（５）の逆投影誤差を最小化することにより、各撮像手段４とプロジェクタ３の外部パラメータ及び内部パラメータを同時に最適化する（Ｓ２０７）。尚、ここで最適化する外部パラメータは各撮像手段４のカメラ座標系とプロジェクタ３のプロジェクタ座標系との間の回転行列^ｊRと並進ベクトル^ｊｔで、内部パラメータは焦点距離^ｊｆ＝［^ｊｆ_μ，^ｊｆ_ν］、主点^ｊｕ_ｃ＝［^ｊμ_ｃ，^ｊν_ｃ］、及び歪み係数^ｊｋ＝［^ｊｋ_１，^ｊｋ_２，^ｊｋ_３，^ｊｐ_１，^ｊｐ_２］である。また、数式（５）の［^ｊ＾μ_ｉ，^ｊ＾ν_ｉ］は、仮定パラメータで投光された点の座標を表わし、下記の数式（６）の形式で算出される。また、逆投影誤差の最小化には、例えば、標準的Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ法を用いることができる。尚、プロジェクタ３と各撮像手段４ａ〜４ｆ間の校正は、本実施形態の方法に限定されるものではなく、他の従来公知の校正方法を用いても良い。

このように計測対象物２の３次元計測処理を行うにあたって、予め校正ボード１３を用いて、プロジェクタ３と各撮像手段４ａ〜４ｆ間の校正を行っておく（Ｓ１０１）。そして、その後、間接反射成分分離手段８２により、プロジェクタ３により計測対象物２に投光されるパターン光が、計測対象物２の表面で反射して、それぞれの撮像手段４に直接入射するそれぞれの直接反射成分と、プロジェクタ３により計測対象物２に投光されるパターン光が、計測対象物２の表面で反射した後、前記表面と異なる部分で反射して、それぞれの撮像手段４に入射するそれぞれの間接反射成分とを分離するための解析を行う（Ｓ１０２）。Ｓ１０２では、パターン光としてプロジェクタ３から図７に示すような白黒のチェスボードパターンを計測対象物２に投光し、各撮像手段４により撮影する。このチェスボードパターンは、図７に示すように、正方形状の白黒パターンが規則正しく並んで配置されており、２次元的に十分に高周波であり、且つパターンの中の白い部分の比率β＝０．５である。ここで、撮像手段４で観測される光Ｌは、下記の数式（７）のように表わされる。

この際、投光したパターン光の２次元的な周波数が十分に高い場合には、計測対象物２の表面に投光されている部分（パターン画像の白い部分）と投光されていない部分（パターン画像の黒い部分）の輝度は、それぞれ下記の数式（８）により計算できる。これにより、パターンの中の白い部分の比率βが既知の高周波数パターンとその反転したパターンを投光して撮影した２枚の画像から直接反射成分と間接反射成分を求めることができる。尚、実際にはパターンの白黒の境界の部分の輝度は正確に計測できないため、Ｓ１０２では、プロジェクタ３から計測対象物２に対して、まず白黒のチェスボードパターンをそのまま投光し、次いで順にチェスボードパターンを縦方向に窓半分幅だけずらしたパターン、横方向に窓半分幅だけずらしたパターン、及び斜め方向に窓対角半分幅だけずらしたパターンの４つのパターンと、この４つのパターンそれぞれの白黒を反転させたパターンの計８つのそれぞれのパターンが投光された計測対象物２を各撮像手段４により撮影して得られたそれぞれの複数枚の画像から各画素の最大輝度をＬｏｎ、最小輝度をＬｏｆｆとして計算する。

次に、３次元計測装置１では、３次元点群計測手段８３により各撮像手段４ａ〜４ｆにより撮影された画像に基づいて、計測対象物２の３次元点群を計測する（Ｓ１０３）。Ｓ１０３では、校正処理のＳ２０２と同様にグレイコードパターンを用いた構造化光投影法と位相シフトパターンを用いた位相解析法を組み合わせた方法により各撮像手段４ａ〜４ｆで撮影された画像データに基づいて、３次元点群をそれぞれ計測する。これにより、各撮像手段４ａ〜４ｆの計６台分の３次元点群の計測結果を得ることができる。尚、この際も、Ｓ２０２と同様にプロジェクタ３は、グレイコードパターンと位相シフトパターンの縞方向がプロジェクタ３と各撮像手段４ａ〜４ｆのそれぞれのエピポーラ線に対して平行にならないようにそれぞれ別々に投光する。また、グレイコードパターンを用いた構造化光投影法において、撮像手段４により撮影されたパターン光画像を２値化処理しデコードする際、パターン光画像中の輝度分布は計測対象物２の表面反射率によって変動し、又、間接反射成分も含まれるため、単純な閾値処理では安定した２値化処理が行えない場合がある。そこで、ここでは、Ｓ１０２による間接反射成分の解析により求められる注目画素の間接反射成分Ｌｇの最大値を二値化閾値として用いる。具体的には、この間接反射成分Ｌｇよりも明るい画素を白画素と判断し、直接反射成分Ｌｄよりも暗い画素を黒画素と判断する。これにより、直接反射成分と間接反射成分を分離することができる。尚、計測対象物２の３次元点群を計測する方法は、これに限定されるものではなく、従来公知のパターン光を用いた方法であっても良い。

そして、３次元計測装置１では、統合手段８４によりＳ１０３で計測されたそれぞれの３次元点群をＳ１０１の処理により得られた校正結果に基づいて、プロジェクタ３の座標系に射影し、それぞれの信頼度を比較することによりそれぞれの３次元点群の計測結果を統合する（Ｓ１０４）。Ｓ１０４では、例えば、撮像手段４ａで撮影された画像に基づいて計測された３次元点群をプロジェクタ３の座標系に射影し、座標を整数化する。そして、射影された画素に既に３次元座標が付与されている場合には、信頼度を比較し、信頼度の高い方を残し、信頼度の低い方については候補から削除する。本実施形態では、信頼度の比較に、Ｓ１０３の位相シフトパターンを用いた位相解析法を行う際に得られる輝度の振幅ａを比較し、この振幅ａが高い方を信頼性が高いものとして選択する。このような処理を各撮像手段４で撮影された画像に基づいて計測されたそれぞれの３次元点群について繰り返し行い、残りの３次元点群もプロジェクタ座標系で統合する。これにより、計測対象物２の鏡面反射成分が強いため、いずれかの撮像手段４で白飛びが生じた場合や、反射光が弱いため、黒潰れが生じたような場合でも、異なる方向から撮像した他の撮像手段４により得られる画像に基づいて計測される信頼度の高いそれぞれの３次元点群の計測結果を得ることができるので、適切な３次元計測を行うことができる。尚、信頼度の比較に用いる値は、輝度の振幅ａに限定されるものではなく、３次元点群の計測の仕方等に応じて、他の値を用いて信頼度を比較するようにしても良い。また、Ｓ１０４では、Ｓ１０３で得られた３次元点群をそれぞれプロジェクタ座標系に射影して信頼度を比較しているが、他の所定の座標系に射影して信頼度を比較するようにしても良い。

本実施形態では、プロジェクタ３を１台配置し、撮像手段４をそれぞれ異なる方向に複数配置しているが、プロジェクタ３と複数の撮像手段４の関係を入れ替えても良い。具体的には、プロジェクタ３をそれぞれ異なる向きに複数配置し、それぞれのプロジェクタ３からパターン光が投光された計測対象物２を、１台の撮像手段４により複数回撮影するようにしても良い。この場合にも、各プロジェクタ３と撮像手段４との間の関係を予め校正しておき、それぞれプロジェクタ３と撮像手段４により計測対象物２の３次元点群の計測を行うことにより、プロジェクタ３の台数分の３次元点群の計測結果を得ることができる。そして、この３次元点群の計測結果を統合することで、信頼度の高い３次元計測を行うことができる。

尚、本発明の実施形態は上述の形態に限るものではなく、本発明の思想の範囲を逸脱しない範囲で適宜変更することができる。

本発明に係る３次元計測装置及び３次元計測方法は、静的又は動的計測対象物の３次元計測を高速且つ高精度に行うための技術として有効に利用することができる。

１ ３次元計測装置
２ 計測対象物
３ プロジェクタ（パターン投光手段）
４、４ａ〜４ｆ 撮像手段
８１ 校正手段
８２ 間接反射成分分離手段
８３ ３次元点群計測手段
８４ 統合手段

上記目的を達成するために、請求項１に記載の３次元計測装置は、パターン光を計測対象物に投光するパターン投光手段と、前記パターン投光手段により前記パターン光が投光された前記計測対象物をそれぞれ異なる方向から撮像する３台以上の撮像手段と、前記パターン投光手段と前記それぞれの撮像手段との間の関係を示した非線形の数式モデルを用い、校正のための最適解を算出して校正を行う校正手段と、前記それぞれの撮像手段により撮像された画像に基づいて、それぞれ３次元点群を計測する３次元点群計測手段と、前記３次元点群計測手段により計測された前記それぞれの３次元点群を前記校正手段により得られた校正結果に基づいて、所定の座標系に射影し、それぞれの信頼度を比較することにより前記それぞれの３次元点群の計測結果を統合する統合手段と、を備えることを特徴としている。

請求項４に記載の３次元計測方法は、パターン光を計測対象物に投光するパターン投光手段と該パターン投光手段により前記パターン光が投光された前記計測対象物をそれぞれ異なる方向から撮像する３台以上の撮像手段との間の関係を示した非線形の数式モデルを用い、校正のための最適解を算出して校正を行う校正ステップと、前記それぞれの撮像手段により撮像された画像に基づいて、それぞれ３次元点群を計測する３次元点群計測ステップと、前記３次元点群計測ステップにより計測された前記それぞれの３次元点群を前記校正ステップにより得られた校正結果に基づいて、前記パターン投光手段の座標系に射影し、それぞれの信頼度を比較することにより前記それぞれの３次元点群の計測結果を統合する統合ステップと、を有することを特徴としている。

請求項１及び２に記載の発明によれば、パターン投光手段によりパターン光が投光された計測対象物をそれぞれ異なる方向から撮像する３台以上の撮像手段を備えており、それぞれの撮像手段により撮像された画像に基づいて、計測されたそれぞれ３次元点群を校正手段により得られた校正結果に基づいて所定の座標系に射影し、それぞれの信頼度を比較することによりそれぞれの３次元点群の計測結果を統合する。従って、計測対象物の鏡面反射成分が強いため、いずれかの撮像手段で白飛びが生じた場合や、反射光が弱いため、黒潰れが生じたような場合でも、異なる方向から撮像した他の撮像手段により得られる画像に基づいて計測される信頼度の高いそれぞれの３次元点群の計測結果を得ることができるので、適切な３次元計測を行うことができる。

上記目的を達成するために、請求項１に記載の３次元計測装置は、パターン光を計測対象物に投光するパターン投光手段と、前記パターン投光手段により前記パターン光が投光された前記計測対象物をそれぞれ異なる方向から撮像する３台以上の撮像手段と、前記パターン投光手段と前記それぞれの撮像手段との間の関係を示した回転行列、並進ベクトル、焦点距離、主点、歪み係数からなる非線形の数式モデルを用い、前記数式モデルへ非線形最小二乗法を適用する事により、前記撮像手段と前記パターン投光手段との間の校正に用いる回転行列、並進ベクトル、焦点距離、主点、歪み係数の最適解を算出して校正を行う校正手段と、前記それぞれの撮像手段により撮像された画像に基づいて、それぞれ３次元点群を計測する３次元点群計測手段と、前記３次元点群計測手段により計測された前記それぞれの３次元点群を前記校正手段により得られた校正結果に基づいて、所定の座標系に射影し、それぞれの信頼度を比較することにより前記それぞれの３次元点群の計測結果を統合する統合手段と、を備えることを特徴としている。

請求項４に記載の３次元計測方法は、パターン光を計測対象物に投光するパターン投光手段と該パターン投光手段により前記パターン光が投光された前記計測対象物をそれぞれ異なる方向から撮像する３台以上の撮像手段との間の関係を示した回転行列、並進ベクトル、焦点距離、主点、歪み係数からなる非線形の数式モデルを用い、前記数式モデルへ非線形最小二乗法を適用する事により、前記撮像手段と前記パターン投光手段との間の校正に用いる回転行列、並進ベクトル、焦点距離、主点、歪み係数の最適解を算出して校正を行う校正ステップと、前記それぞれの撮像手段により撮像された画像に基づいて、それぞれ３次元点群を計測する３次元点群計測ステップと、前記３次元点群計測ステップにより計測された前記それぞれの３次元点群を前記校正ステップにより得られた校正結果に基づいて、前記パターン投光手段の座標系に射影し、それぞれの信頼度を比較することにより前記それぞれの３次元点群の計測結果を統合する統合ステップと、を有することを特徴としている。

Claims (6)

1. パターン光を計測対象物に投光するパターン投光手段と、
   前記パターン投光手段により前記パターン光が投光された前記計測対象物をそれぞれ異なる方向から撮像する複数の撮像手段と、
   前記パターン投光手段と前記それぞれの撮像手段との間の校正を行う校正手段と、
   前記それぞれの撮像手段により撮像された画像に基づいて、それぞれ３次元点群を計測する３次元点群計測手段と、
   前記３次元点群計測手段により計測された前記それぞれの３次元点群を前記校正手段により得られた校正結果に基づいて、所定の座標系に射影し、それぞれの信頼度を比較することにより前記それぞれの３次元点群の計測結果を統合する統合手段と、を備えることを特徴とする３次元計測装置。
2. 前記パターン光は、縞パターン光であって、
   前記パターン投光手段は、前記縞パターン光の縞方向が前記パターン投光手段と前記各撮像手段のそれぞれのエピポーラ線に対して平行にならないように前記縞パターン光を前記計測対象物に投光することを特徴とする請求項１に記載の３次元計測装置。
3. 前記パターン投光手段により前記計測対象物に投光されるパターン光が、前記計測対象物の表面で反射して、前記撮像手段に直接入射する直接反射成分と、前記パターン投光手段により前記計測対象物に投光されるパターン光が、前記計測対象物の表面で反射した後、前記表面と異なる部分で反射して、前記撮像手段に入射する間接反射成分とを分離する間接反射成分分離手段を備えることを特徴とする請求項１又は２に記載の３次元計測装置。
4. パターン光を計測対象物に投光するパターン投光手段と該パターン投光手段により前記パターン光が投光された前記計測対象物をそれぞれ異なる方向から撮像する複数の撮像手段との間の校正を行う校正ステップと、
   前記それぞれの撮像手段により撮像された画像に基づいて、それぞれ３次元点群を計測する３次元点群計測ステップと、
   前記３次元点群計測ステップにより計測された前記それぞれの３次元点群を前記校正ステップにより得られた校正結果に基づいて、所定の座標系に射影し、それぞれの信頼度を比較することにより前記それぞれの３次元点群の計測結果を統合する統合ステップと、を有することを特徴とする３次元計測方法。
5. 前記パターン光は、縞パターン光であって、
   前記パターン投光手段は、前記縞パターン光の縞方向が前記パターン投光手段と前記各撮像手段のそれぞれのエピポーラ線に対して平行にならないように前記縞パターン光を前記計測対象物に投光することを特徴とする請求項４に記載の３次元計測方法。
6. 前記３次元点群計測ステップを行う前に、前記パターン投光手段により前記計測対象物に投光されるパターン光が、前記計測対象物の表面で反射して、前記撮像手段に直接入射する直接反射成分と、前記パターン投光手段により前記計測対象物に投光されるパターン光が、前記計測対象物の表面で反射した後、前記表面と異なる部分で反射して、前記撮像手段に入射する間接反射成分とを分離する間接反射成分分離ステップを有することを特徴とする請求項４又は５に記載の３次元計測方法。

Images