JP2016080545A - 測定装置、投影パターン - Google Patents
測定装置、投影パターン Download PDFInfo
- Publication number
- JP2016080545A JP2016080545A JP2014213088A JP2014213088A JP2016080545A JP 2016080545 A JP2016080545 A JP 2016080545A JP 2014213088 A JP2014213088 A JP 2014213088A JP 2014213088 A JP2014213088 A JP 2014213088A JP 2016080545 A JP2016080545 A JP 2016080545A
- Authority
- JP
- Japan
- Prior art keywords
- projection pattern
- projection
- stripes
- boundary line
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】測定可能な測定対象の大きさを大きくしつつ分解能の低下を防止することのできる測定装置を提供する。【解決手段】複数のストライプSを並列させた投影パターンPを測定対象に投影する投影部と、測定対象を撮像する撮像部と、撮像部で撮像した投影パターン像から三角測量法を用いて測定対象までの距離を算出する距離算出部と、を備える三次元形状測定装置(測定装置)である。投影パターンPは、mを3以上の自然数として、m値レベルの輝度値でコード化したm種類のストライプSをm×(m−1)本用いて、第2方向D2で隣接する2本のストライプSの組を重複させることなく配列して形成した複数の周期性領域Arを有し、投影パターンPでは、第1方向D1で見て異なるレベルの輝度値となる境界線Bを設け、境界線Bを投影パターンPにおいて第1方向D1および第2方向D2に対して傾斜する直線状に形成している。【選択図】図4
Description
本発明は、測定装置およびそこで用いる投影パターンに関し、特に三次元形状の測定に好適な測定装置および投影パターンに関する。
測定対象の形状を測定する測定装置(三次元形状測定装置)では、測定対象に投影パターンを投影し、投影された投影パターンを撮像するパターン投影法を用いるものがある。このような測定装置では、測定対象に基準となる投影パターンを投影する投影部と、その投影部による投影方向とは異なる方向から撮像する撮像部と、を備えるものがある。
その測定装置では、測定対象の外形形状に沿って変形した投影パターンを撮像部で撮像し、その変形した投影パターン像と投影部で投影した投影パターンとの対応付けを行うことで、測定対象の三次元形状測定を行う。測定装置では、測定対象の三次元形状を適切に測定するために投影パターン像と投影パターンとを適切に対応付けする必要があることから、いかに誤対応を少なくかつ簡便に行うことができるかが求められる。このため、このような測定装置では、投影部がコード化した投影パターンを投影するものとし、その投影パターンの構成や投影の方法等を工夫するものが提案されている(例えば、特許文献1、2、3参照)。その特許文献1では、全白または全黒のストライプと、全白または全黒ではない輝度値または色相を有しコード化されたストライプと、を交互に配置する投影パターンを用いている。また、特許文献2では、投影パターンを投影することと、投影パターンを投影せずにフラッシュを用いることと、投影パターンを投影せずにフラッシュを用いないことと、を連続して行いつつ撮像部で各々を撮像している。さらに、特許文献3では、投影部が複数のスリットを用いるものとし、撮像部での撮像の露光時間内において、投影部がスリット毎の露光時間を変化させつつ用いるスリットを変化させている。
このような測定装置では、より広い面積を高い分解能で三次元形状を測定することが求められている。ところが、測定装置では、投影した投影パターンにおける各ストライプの並列方向で見て、当該投影パターンの寸法(サイズ)よりも大きな寸法(サイズ)の測定対象の三次元形状を測定することができない。このため、測定装置では、投影パターンの寸法(サイズ)を大きくすべく、ストライプの本数を増やすことや、並列方向における各ストライプの幅寸法を大きくすることが考えられる。
ところが、測定装置では、投影パターンにおける並列方向での位置を隣接する各ストライプの組み合わせにより判別することから、投影パターンのストライプの本数を増やすには各ストライプ(そのコード)の種類を増やす必要がある。そして、測定装置では、各ストライプ(そのコード)の種類を増やすとストライプ毎の差異が小さくなるため、各ストライプの判別を適切に行うことが困難となるので、投影パターンのストライプの本数を増やすことは困難である。
また、測定装置では、投影パターン(投影パターン像)の並列方向で見てストライプ毎に三次元形状測定を行うものであることから、投影した各ストライプの幅寸法が測定対象の測定結果(三次元形状)における並列方向での分解能(解像度)となる。このため、測定装置では、各ストライプの幅寸法を大きくすると、分解能(解像度)の低下を招いてしまう。
本発明は、上記の事情に鑑みて為されたもので、測定可能な測定対象の大きさを大きくしつつ分解能の低下を防止することのできる測定装置を提供することを目的とする。
請求項1に記載の測定装置は、第1方向に伸びる複数のストライプを前記第1方向に対して傾斜する第2方向に並列させた投影パターンを投影光軸上で測定対象に投影する投影部と、前記投影光軸とは異なる撮像光軸で前記測定対象を撮像する撮像部と、前記投影部で投影した前記投影パターンを前記撮像部で撮像した投影パターン像から三角測量法を用いて前記測定対象までの距離を算出する距離算出部と、を備え、前記投影パターンは、mを3以上の自然数として、m値レベルの輝度値でコード化したm種類の前記ストライプをm×(m−1)本用いて、前記第2方向で隣接する2本の前記ストライプの組を重複させることなく配列して形成した複数の周期性領域を有し、前記投影パターンでは、前記第1方向で見て異なるレベルの輝度値となる境界線を設け、前記境界線を前記投影パターンにおいて前記第1方向および前記第2方向に対して傾斜する直線状に形成していることを特徴とする。
本発明に係る測定装置では、測定可能な測定対象の大きさを大きくしつつ分解能の低下を防止することができる。
以下に、本発明に係る測定装置の各実施例について図面を参照しつつ説明する。
本発明に係る測定装置の一例としての実施例1の三次元形状測定装置10を、図1から図8を用いて説明する。なお、図1、図2および図3では、三次元形状測定装置10の構成の理解を容易なものとするために、各部の構成を模式的に示している。このため、図1、図2および図3に示す三次元形状測定装置10は、必ずしも実際の構成と一致するものではない。
本発明に係る測定装置としての実施例1の三次元形状測定装置10は、測定対象Oに投影パターンP(図4等参照)を投影し、その投影パターンPを撮像し、その撮像画像(投影パターン像Pi)を元に三次元座標を得るパターン投影法を用いる。この三次元形状測定装置10は、パターン投影法に基づいて測定対象Oまでの距離を算出することにより当該測定対象O(その各点)の三次元座標を求める。三次元形状測定装置10は、図1に示すように、距離を算出するための基準とする基準線L上に設けた投影部11および撮像部12と、それらに接続する制御部13と、を備える。
投影部11は、投影光軸Ap上で基準となる所定の投影パターンP(図4等参照)を投影する。この投影部11は、実施例1では、光源と、マスクが設けられた投影光学系と、を有する。投影部11は、光源から出射した光(光束)を、投影光学系およびそこに設けられたマスクを経て出射させることで、投影光軸Ap上に投影パターンPを投影する。その光源は、レーザ光源やLED光源を用いて構成することができ、実施例1では近赤外光を出射するものとする。投影光学系は、光源から出射した光(光束)を所定の形状に成形する光学部材であり、実施例1では光(光束)を所定の広がり角度で発散させる。マスクは、ガラス基板上に金属膜を蒸着して形成され、その金属膜の膜圧の変化により投影パターンPを形成すべく透過率が設定されたマスクパターンが設けられている。この投影パターンPの構成については後に述べる。このため、投影部11は、実施例1では、無彩色の投影パターンPを投影する。
投影部11は、投影光軸Ap上に位置する測定対象Oへ向けて、投影光学系の焦点距離に応じた広がり角度で徐々に拡散する光(光束)としての投影パターンP(図4等参照)を投影する。このため、投影部11は、所定の視野範囲に投影パターンPを投影することができる。なお、この投影部11は、投影光軸Ap上で所定の投影パターンPを投影するものであれば、例えばプロジェクタを用いるものであってもよく、他の構成であってもよく、実施例1の構成に限定されるものではない。
撮像部12は、投影パターンPが投影された測定対象Oを撮像する。この撮像部12は、実施例1では、撮像光学系と撮像素子とを有し、撮像光軸Asを中心として入射する光(光束)を撮像光学系で撮像素子(その受光面)上に結像させる。その撮像光学系は、実施例1では、投影部11の投影光学系と等しい焦点距離としている。このため、実施例1では、投影部11の視野範囲(投影パターンPを投影する光(光束)の広がり角)を、撮像部12の撮像範囲(画角)と等しいものとしている。撮像素子は、実施例1では、近赤外の波長帯域に感度を有するCCDイメージセンサを用いて構成され、各画素を水平方向および鉛直方向で長方形状に行列を為して設けられている。この撮像素子は、受光面上に結像された被写体像を電気信号(画像データ)に変換して、画像生成部に出力する。その画像生成部は、撮像部12に設けられ、撮像素子から出力された電気信号を、被写体像に対応したデジタル画像データに生成して出力する。なお、撮像部12では、撮像素子としてCMOSを用いて構成してもよく、他の構成であってもよく、実施例1の構成に限定されるものではない。
この撮像部12は、図2および図3に示すように、投影部11とともに基準線L上に設け、その投影部11とは所定の間隔d(図3参照)だけ離した位置関係とし、撮像光軸Asを投影部11の投影光軸Apとは異なる方向に向けている。なお、実施例1では、一例として、投影部11(その投影光軸Ap)と撮像部12(その撮像光軸As)とを等しい高さ位置として、すなわち基準線Lを水平方向に沿うものとして、所定の間隔dだけ離して設けている。また、実施例1では、一例として、投影部11の投影光軸Apを基準線Lに対して直交させるとともに、撮像部12の撮像光軸Asを基準線Lに対して傾斜させつつ投影光軸Apに交わる設定としている。この撮像部12は、撮像した撮像光軸As上の画像I(そのデジタル画像データ)(図7参照)を、制御部13に出力する。
その制御部13は、図1に示すように、駆動制御部14と距離算出部15と記憶部16とを備え、その記憶部16に記憶されたプログラムに基づいて三次元形状測定装置10の動作を統括的に制御する。なお、この制御部13は、投影部11および撮像部12とは別体とされていてもよく、投影部11および撮像部12と一体とされていてもよく、投影部11または撮像部12に内蔵されていてもよい。駆動制御部14は、投影部11(その光源)を制御することで投影部11から投影パターンP(図4等参照)を投影させる。また、駆動制御部14は、撮像部12(その撮像素子および画像生成部)を制御することで撮像光軸As上を撮像させ、その撮像に基づく画像I(そのデジタル画像データ)(図7参照)を生成させる。
距離算出部15は、図3に示すように、撮像部12からの撮像光軸As上の画像I(そのデジタル画像データ)(図7参照)に基づいて、三角測量の原理により画像Iに写し出された任意の点daまでの深度方向距離Zを算出する。その深度方向距離Zとは、三次元形状測定装置10から測定対象O(任意の点da)までの距離を示し、その深度方向Dzは、水平面に沿いつつ基準線Lと直交するものである。距離算出部15は、後述するように画像Iにおける投影パターン像Pi(図7参照)を投影パターンP(図6参照)に対応付けすることにより、投影部11(その基準点)から任意の点daへ向かう方向の投影光軸Apに対する投影角度を求める。その距離算出部15では、投影角度と、撮像部12の撮像光学系の焦点距離と、画像I上での撮像光軸Asと任意の点daとの間隔と、投影部11と撮像部12との所定の間隔dと、を用いて三角測量の原理により任意の点daの深度方向距離Zを算出する。そして、距離算出部15では、測定対象Oを写し出した画像Iにおける全ての測定点に対して深度方向距離Zを算出することにより、当該測定対象Oの三次元座標値を算出する。
次に、本発明に係る測定装置としての実施例1の三次元形状測定装置10の投影部11が投影する本発明に係る投影パターンの一例としての投影パターンPについて説明する。この投影パターンPは、図4に示すように、第1方向D1に伸びる複数のストライプSを、第2方向D2に並列させて形成している。実施例1では、第1方向D1を水平方向と平行とし、第2方向D2を鉛直方向と平行としており、第1方向D1と第2方向D2とを直交させている。このため、実施例1では、投影パターンPにおける第1方向D1および第2方向D2を、撮像部12の撮像素子における画素が並ぶ方向と等しいものとしている。各ストライプSは、第1方向D1で見て互いに等しい長さ寸法とし、第2方向D2で見て互いに等しい幅寸法としている。この各ストライプSの幅寸法は、測定対象Oの三次元座標値を算出する際に求められる分解能(解像度)に対応させる十分に細いものとする。投影パターンPでは、m値レベルの輝度値によりコード化、すなわち輝度値を(m−1)段階に変化させることによりコード化したm種類のストライプSを用いている。その各ストライプSにおけるレベル数すなわち用いる種類の数(m)は、各ストライプSの適切な判別を可能とする観点から輝度値の差異を十分に確保することができるように設定する。実施例1の投影パターンPでは、mを3以上の自然数として、第2方向D2で隣接する2本のストライプSを異なる種類としつつm種類のストライプSを適宜組み合わせてm×(m−1)本のストライプSから為る1つの周期性領域Arを形成する。そして、投影パターンPでは、その周期性領域Arを複数個(図4の例では3個)繰り返し配している。その各周期性領域Arは、次のように形成する。
先ず、投影パターンP(各周期性領域Ar)では、第2方向D2で見て隣接する2本のストライプSのコードを1組として扱い、それぞれの組み合わせを互いに異なるものとすることで、第2方向D2で見た位置の特定を可能とする。このとき、第2方向D2で見てn列目のストライプSとn+1列目のストライプSとのコードを1組とし、n+1列目のストライプSとn+2列目のストライプSとのコードを次の1組とする。すなわち、各ストライプSは、隣接する2つのストライプSの組において、第2方向D2で見た前側と後側とに1回ずつ位置することで、2種類の組み合せの態様C(図5参照)を構成するものとする。ここで、m種類のストライプSで形成することのできる組み合わせの態様Cは、m種類のストライプSから2つを用いた順列で表すことができるので、最大で(mPm-1)種類を形成することができる。これらのことから、各周期性領域Arでは、m種類のストライプSをそれぞれ(m−1)本ずつ用いることで、最も多くの組み合わせパターンを形成することができ、全部でm×(m−1)本のストライプSを用いている。また、実施例1では、各周期性領域Ar(投影パターンP)において、第2方向D2で隣接する3本のストライプSにおいて、中央に位置するストライプSの輝度値を極値すなわち極大値または極小値とするように、各ストライプSを配列する。
この周期性領域Arの一例を図5に示す。その図5の例では、5値レベルの輝度値(m=5)によりコード化して5種類のストライプSを用いるものとし、輝度値別に1、2、3、4、5のコードを割り振っている。ここで、5種類のストライプSから2つを用いた順列は、最大で20種類(5P5-1)の組み合わせの態様Cを形成することができる。そして、上述したように、1本のストライプSがコードの組み合わせにおける2つの態様Cに用いられるので、各周期性領域Arでは、5種類のストライプSを各々4本ずつ用いることで合計20本のストライプSを用いている。この図5に示す例では、第2方向D2で見て最も左側に位置するコードの組み合わせの態様Cが、1列目のストライプSと2列目のストライプSとからなる「12」となる。また、第2方向D2で見て左から2番目に位置するコードの組み合わせの態様Cが、2列目のストライプSと3列目のストライプSとからなる「21」となる。そして、図5に示す例では、第2方向D2で見て最後に位置するコードの組み合わせの態様Cが、20列目のストライプSと1列目のストライプSとからなる「51」となる。これは、上記した周期性領域Arを複数個繰り返し配することによる。そして、各周期性領域Arでは、第2方向D2で隣接する3本のストライプSで見ると、中央に位置するストライプSの輝度値を極値としている。
このように形成した周期性領域Arを複数個繰り返し配することにより、投影パターンP(図4参照)を形成する。その図4に示す例では、図5と同様に5値レベルの輝度値(m=5)によりコード化して5種類のストライプSを用いるものとし、輝度値別に1、2、3、4、5のコードを割り振っている。そして、20(5×(5−1))本のストライプSから為る周期性領域Arを3個繰り返して配することにより、投影パターンPを形成している。
そして、投影パターンPでは、第1方向D1で見て異なるレベルの輝度値とする境界線Bを設けている。このため、投影パターンPでは、n列目において、境界線Bの第1方向D1で見た一方側(図4の例では正面視して上側)と、境界線Bの第1方向D1で見た他方側(図4の例では正面視して下側)と、で異なる輝度値のストライプSが存在している。その境界線Bは、投影パターンPにおいて、第1方向D1および第2方向D2に対して傾斜を為して設ける。図4に示す例の投影パターンPでは、左上の角部から右下の角部を架け渡す対角線上に境界線Bを設けている。このため、投影パターンPでは、3個繰り返し配した各周期性領域Arにおいて、互いに等しい順序で5種類のストライプSが配され、周期性領域Ar毎に第1方向D1および第2方向D2で見た境界線Bの位置が異なっている。境界線Bは、実施例1では、対角線の上側(第1方向D1一方側)でn列目に位置するストライプSが、対角線の下側(第1方向D1他方側)ではn−1列目に位置するように、各ストライプSの位置を1列分だけ第2方向D2にずらして形成している。
次に、距離算出部15による画像I上の投影パターン像Piと投影パターンPとの対応付けについて、図2および図3に加えて、図6および図7を用いて説明する。この図2、図3、図6、図7に示す例では、理解を容易なものとするために、投影パターンPとして図6に示す投影パターンPAを用いるものとする。その投影パターンPAでは、3値レベルの輝度値(m=3)によりコード化して3種類のストライプSを用いるものとし、輝度値別に1、2、3のコードを割り振っている。そして、投影パターンPAは、6(3×(3−1))本のストライプSから為る周期性領域Arを3個繰り返し配して形成している。また、図2、図3、図6、図7に示す例では、スクリーンOsおよびその前方に置かれた突起物Opを測定対象Oとしている。そのスクリーンOsは、図3に示すように、基準線Lに対して平行な平面を規定する板状を呈し、突起物Opは、手前側(三次元形状測定装置10側)が基準線Lに対して平行な平面とされた直方体形状を呈する。
三次元形状測定装置10では、図2および図3に示すように、測定対象Oの三次元座標値(三次元形状)を測定すべく、投影部11が投影光軸Ap上に位置する測定対象Oとしての突起物OpおよびスクリーンOsに投影パターンPAを投影する。その投影パターンPAは、投影された測定対象Oの外形形状に沿って、図2に示す例では、突起物OpおよびスクリーンOsの外形形状に沿って変形する。そして、三次元形状測定装置10では、撮像部12が撮像光軸As上の撮像範囲を撮像することで、投影パターンPが投影された突起物OpおよびスクリーンOs(測定対象O)を撮像し、その画像I(そのデジタル画像データ)を取得する。その取得した画像Iを図7に示す。
その画像Iでは、突起物OpおよびスクリーンOsに投影された投影パターンPAの投影パターン像Piが写し出されている。画像Iでは、高さ位置y2から高さ位置y3の間であって水平位置x1から水平位置x3の間に、突起物Opの手前側の平面に投影された投影パターン像Piが写し出されている。また、画像Iでは、高さ位置y2から高さ位置y3の間であって水平位置x3から水平位置x4の間に、投影パターン像Piが投影されていない突起物Opの側面が写し出されている。そして、画像Iでは、高さ位置y2から高さ位置y3の間であって水平位置x4から水平位置x5の間が、スクリーンOs上において手前に位置する突起物Opにより投影パターンPAが投影されていない箇所とされている。画像Iでは、高さ位置y1から高さ位置y3の間であって水平位置x2から水平位置x6の間において、上記した突起物Opに関連する箇所以外に、スクリーンOsに投影された投影パターン像Piが写し出されている。
ここで、突起物OpとスクリーンOsとが深度方向Dzで異なる位置とされているが(図3参照)、画像Iに写し出された投影パターン像Piの第1方向D1での位置および大きさは変化しない。これは、投影部11の視野範囲(投影パターンPを投影する光(光束)の広がり角)と、撮像部12の撮像範囲(画角)と、を等しいものとしていることによる。すなわち、投影パターンPAは、深度方向Dzの手前側となるほど小さく投影されるが(図2参照)、投影パターン像Piは、深度方向Dzの手前側となるほど画像Iに大きく写し出される。そして、その変化分は、投影部11の視野範囲と、撮像部12の撮像範囲と、が等しいことで互いに相殺される。このため、画像Iの投影パターン像Piは、深度方向Dzにおける投影された位置に拘わらず、画像Iにおける第1方向D1での位置および大きさは変化しない。これにより、投影パターン像Piでは、深度方向Dzでの投影された位置に拘わらず、第1方向D1での位置(各画素の位置)を、投影部11から投影される投影パターンPAにおける鉛直方向での位置(高さ位置)に対応させることができる。なお、投影部11の視野範囲と撮像部12の撮像範囲(焦点距離)とを異なるものとした場合であっても、撮像部12が画像Iを生成する際に撮像範囲の投影部11の視野範囲との差異を打ち消すように計算処理を行うことで同様の効果を得ることができる。
また、投影パターン像Piでは、深度方向Dzにおける投影された位置(その変化)に応じて、画像I上での第2方向D2での位置が変化する。これは、撮像部12を、基準線L上において投影部11と所定の間隔dだけ離して設けていることによる。この例では、投影部11に対して撮像部12を右側に変位させていることから(図2および図3参照)、画像Iにおいて、スクリーンOsの手前に位置する突起物Op上の投影パターン像PiがスクリーンOs上の投影パターン像Piに対して左側に変位する。そこで、投影パターン像Piの各ストライプ像Siと投影パターンPAの各ストライプSとを用いて、当該投影パターン像Piにおける第2方向D2での位置を、投影パターンPAにおける第2方向D2での位置に対応させる。
投影パターン像Piでは、第2方向D2で隣接する2本のストライプ像Siのコードを判別し、投影パターンPAにおいて等しいコードを探し出すことで各周期性領域Arにおける第2方向D2(水平方向)での位置(水平位置)に対応させることができる。これは、投影パターンPAの各周期性領域Arでは、隣接する2本のストライプSのコードの組み合わせの態様Cをすべて異なるものとしていることによる。そして、投影パターン像Piでは、1本のストライプ像Siを2つの態様Cに用いるものとしているので、ストライプ像Si毎に投影パターンPAのストライプSに対応させることができる。なお、実施例1では、投影パターン像Piの隣接する2本のストライプ像Siのコードを判別して投影パターンPAの水平位置に対応させる際、両ストライプ像Siの境目(後述する図7の画素p1等参照)を第2方向D2での位置として扱うこととする。なお、この第2方向D2での位置は、第2方向D2で見て判断したコードの組み合わせを形成する2本のストライプ像Si上であれば、いずれか一方のストライプ像Siの内部もしくは端部であってもよく、他の位置であってもよく、実施例1に限定されるものではない。
しかしながら、投影パターンPAでは、複数の周期性領域Ar(この例では3個)が設けられていることから、隣接する2本のストライプSのコードの組み合わせの態様Cではいずれの周期性領域Arに属するものであるのかを判別することができない。このため、本発明では、第1方向D1で見て異なるレベルの輝度値となる境界線Bを投影パターンPA(投影パターンP)に設けている(図4、図6参照)。ここで、投影パターン像Piでは、上述したように、深度方向Dzにおける投影された位置の変化に応じて、第2方向D2で見た位置が変化するが、第1方向D1で見た位置は変化しない。このため、投影パターン像Piでは、深度方向Dzにおける投影された位置に拘わらず、第1方向D1で見た両端部(上端部Etまたは下端部Eb)から任意の位置までの間隔hを一定のものとすることができる。また、投影パターンPAでは、周期性領域Ar毎に第1方向D1および第2方向D2で見た境界線Bの位置を異なるものとしている。このことから、投影パターンPAでは、各ストライプSにおける任意の位置から、境界線Bまでの間隔kを一対一対応とすることができる。この具体的な例を、図7に示す注目点dsを用いて説明する。
先ず、図7に示す画像I上の投影パターン像Piにおいて、注目点dsと第1方向D1で見た一方の端部(上端部Etまたは下端部Eb)との間隔h(間隔h1または間隔h2)を求めることにより、投影パターンPAにおける注目点dsの高さ位置Hを求める。そして、注目点dsを第2方向D2で挟む2本のストライプ像Siのコードを判別することにより、注目点dsが位置するコードの組み合わせの態様Cを求める。この図7に示す例では、注目点dsは、投影パターンPAにおける各ストライプSのコード(図6参照)に基づいてストライプ像Siのコードを判別することにより、コードの組み合わせの態様Cが「23」となる位置に存在していることが解る。この注目点dsは、投影パターン像Piにおける境界線Bまでの間隔kが、第1方向D1で見ると間隔k1とされ、第2方向D2で見ると間隔k2とされている。
ここで、投影パターンPAでは、図6に示すように、高さ位置Hにおいてコードの組み合わせの態様Cが「23」となる位置が、対応候補点Sc1、Sc2の2箇所に存在する。その対応候補点Sc1では、境界線Bまでの間隔kが、第1方向D1で見ると間隔k3であり、第2方向D2で見ると間隔k4である。また、対応候補点Sc2では、境界線Bまでの間隔kが、第1方向D1で見ると間隔k5であり、第2方向D2で見ると間隔k6である。このため、注目点dsの境界線Bまでの間隔k(図7参照)と、各対応候補点Sc1、Sc2の境界線Bまでの間隔k(図6参照)と、のうちの等しい方向のものを比較することで、注目点dsが両対応候補点Sc1、Sc2のいずれに対応するかを判別することができる。この例では、間隔k1(図7参照)が間隔k3(図6参照)と等しいこと、または間隔k2(図7参照)が間隔k4(図6参照)と等しいことから、注目点ds(図7参照)が対応候補点Sc1に対応する対応点E(図6参照)であると判別することができる。これにより、撮像部12で撮像した画像I上の投影パターン像Piを、投影部11が投影する投影パターンPに対応付けることができる。
このように、本発明では、注目点dsに対する投影パターンPでの対応点Eを適切に求めるために、注目点dsから境界線Bまでの間隔k(図7参照)を用いている。この図7に示す例では、投影パターン像Piにおいて、高さ位置y1から高さ位置y2の間では、いずれの画素を注目点dsとした場合であっても、第2方向D2に境界線B1が存在するので、第2方向D2で見た境界線Bまでの間隔k2を用いることができる。また、投影パターン像Piにおいて、水平位置x5から水平位置x6の間では、いずれの画素を注目点dsとした場合であっても、第1方向D1に境界線B2が存在するので、第1方向D1で見た境界線Bまでの間隔k1を用いることができる。さらに、高さ位置y2から高さ位置y3の間でかつ水平位置x1から水平位置x3の間では、いずれの画素を注目点dsとした場合であっても、第1方向D1(一部では第2方向D2にも)に境界線B3が存在するので、第1方向D1で見た境界線Bまでの間隔k1を用いることができる。このため、投影パターン像Piにおける全ての画素に対して深度方向距離Zを適切に算出することができる。
換言すると、本発明では、少なくとも第1方向D1と第2方向D2とのいずれか一方に境界線Bが存在する箇所であれば、いずれの画素を注目点ds(図7参照)とした場合であっても、境界線Bまでの間隔k(図7参照)を用いて投影パターンPでの対応点E(図6参照)を適切に求めることができる。また、本発明では、投影パターン像Piにおける第1方向D1で見た端部(上端部Etまたは下端部Eb)と注目点dsとの間隔h(間隔h1または間隔h2)を求めることにより(図7参照)、注目点dsの投影パターンPにおける高さ位置H(図6参照)を求めている。このため、本発明では、画像I上に投影パターン像Piにおける第1方向D1で見た少なくとも一方の端部(上端部Etまたは下端部Eb)が映し出されていることが必要となる。
なお、図2および図3に示す例では、スクリーンOsと突起物Opの手前側の面とを基準線Lに対して平行な平面を規定するものとしている。このため、図7に示す画像I上での投影パターン像Piの第2方向D2で見た幅寸法が均一なものとなっている。ところが、測定対象Oは、基準線Lと平行な平面とは限らず、基準線Lの傾斜度合や形状等に応じて、各ストライプSの幅寸法が変化する。このことは、例えば、基準線Lに対して傾斜する平面である場合には、その傾斜度合いと傾斜の向きとに応じて、各ストライプSの幅寸法が一様に収縮する。この場合、基準線Lと平行な平面上の各ストライプ像Siの幅寸法を基準として、画像I上での投影パターン像Piにおける第2方向D2で見た境界線Bまでの間隔kを適宜補正することにより、上記した対応付けを行うことができる。
次に、本発明に係る測定装置としての実施例1の三次元形状測定装置10の制御部13(図1参照)において実行される、測定対象Oの三次元形状を測定する三次元形状測定処理について、図8を用いて説明する。その図8は、実施例1における距離算出部15にて実行される三次元形状測定処理(三次元形状測定方法)を示すフローチャートである。この三次元形状測定処理(三次元形状測定方法)は、制御部13の記憶部16に記憶されたプログラムに基づいて、距離算出部15が実行する。以下では、この三次元形状測定処理(三次元形状測定方法)としての図8のフローチャートの各ステップ(各工程)について説明する。この図8のフローチャートは、測定対象Oの三次元形状を測定する要求が為されると開始される。
ステップS1では、撮像部12により測定対象O上の投影パターン像Piの画像Iを取得して、ステップS2へ進む。このステップS1では、駆動制御部14が、投影部11(その光源)を制御して投影部11から投影パターンP(PA)を投影させ、撮像部12(その撮像素子および画像生成部)を制御して画像I(そのデジタル画像データ)を生成させる。これにより、ステップS1では、投影部11で測定対象Oに投影パターンPを投影し、その投影パターンPが投影された測定対象Oを撮像部12で撮像して、測定対象O上の投影パターン像Piの画像Iを取得する。
ステップS2では、ステップS1での測定対象O上の投影パターン像Piの画像Iを取得することに続き、画像Iにおける投影パターン像Piが写し出された領域をコード化して、ステップS3へ進む。このステップS2では、先ず、距離算出部15が、エッジ検出フィルタを用いて、写し出された投影パターン像Piにおけるエッジ(輝度値が大きく変化している箇所)を検出する。このエッジ検出フィルタとしては、Cannyフィルタや、Laplacianフィルタや、Sobelフィルタが等を用いることができる。これにより、投影パターン像Piにおける外郭線、その外郭線を含む各ストライプ像Siの境目および境界線B(それらを示す画素位置)を算出することができ、各ストライプ像Siの位置を求めることができる。その後、ステップS2では、距離算出部15が、求めた各ストライプ像Siにおける輝度値を算出する。この輝度値は、各ストライプ像Siにおける中心の輝度値を用いてもよく、全体の平均輝度値を用いてもよく、他の方法で求めた輝度値を用いても良い。この後、ステップS2では、距離算出部15が、求めた輝度値に基づいて各ストライプ像Siに輝度レベルを割り当てる。例えば、図6に示す例の投影パターンPAでは、3値レベルの輝度値(m=3)によりコード化して3種類のストライプSを用いていることから、各ストライプ像Siに輝度値に応じた1から3のいずれかの輝度レベルを割り当てる。これにより、画像Iにおける投影パターン像Piが写し出された領域をコード化することができる。
ステップS3では、ステップS2での投影パターン像Piが写し出された領域をコード化することに続き、行数p=1および列数q=1として、ステップS4へ進む。ここで、投影パターン像Piにおける第2方向D2に並ぶ画素の群を行として、最も上側の画素の並びを1行目としかつその下の画素の並びを2行目とするように、各画素を第1方向D1で見て上から順に加算して行数pを割り当てる。また、投影パターン像Piにおける第1方向D1に並ぶ各ストライプ像Siを列として、最も左側を1列目としかつその隣を2列目とするように、各ストライプ像Siを第2方向D2で見て左から順に加算して列数qを割り当てる。このステップS3では、距離算出部15が、ステップS1で取得した投影パターン像Piを用いて三次元形状の計測を開始するために、行数p=1および列数q=1とする。
ステップS4では、ステップS3での行数p=1および列数q=1とすること、あるいは、ステップS11での列数qに1を加算して新たな列数qとすること、あるいは、ステップS12での行数pに1を加算して新たな行数pとすること、に続き、p行目におけるq列目を注目点dsとして、ステップS5へ進む。このステップS4では、距離算出部15が、p行目におけるq列目を、すなわち投影パターン像Piにおいて上端からp番目に位置しかつ左端からq列目に位置するストライプ像Siを示す画素を注目点(注目画素)dsとする。ここで、実施例1では、上述したように、コードを判別する2本のストライプSの境目を第2方向D2での位置として扱うことから、q列目とq+1列目とのストライプ像Siの境目に位置する画素を、q列目に位置するストライプ像Siを示す画素とする。
ステップS5では、ステップS4でのp行目におけるq列目を注目点dsとすることに続き、注目点dsに対する各対応候補点Scを算出して、ステップS6へ進む。このステップS5では、距離算出部15が、投影パターン像Piにおいて、注目点dsの行数pから当該注目点dsの投影パターンPAにおける高さ位置Hを求める。これは、この三次元形状測定処理(三次元形状測定方法)では、投影パターン像Piにおける上端部Etを1行目としており、行数を規定する各画素の寸法(サイズ)が既知であることによる。その後、ステップS5では、距離算出部15が、投影パターン像Piにおいて、注目点dsを第2方向D2で挟む2本のストライプ像Siのコードを判別することにより、注目点dsが位置するコードの組み合わせの態様Cを求める。そして、ステップS5では、距離算出部15が、投影パターンP(PA)において、高さ位置Hでコードの組み合わせが態様Cとなる位置を求め、それぞれの位置を対応候補点Scとする。
ステップS6では、ステップS5での各対応候補点Scの算出に続き、注目点dsから境界線Bまでの間隔kを求めて、ステップS7へ進む。このステップS6では、距離算出部15が、投影パターン像Piにおいて、注目点dsから境界線Bまでの第1方向D1で見た間隔k1または第2方向D2で見た間隔k2を求める。この間隔kは、それぞれの方向での画素数をカウントすることで求めることができる。
ステップS7では、ステップS6での注目点dsから境界線Bまでの間隔kを求めることに続き、対応点Eを求めて、ステップS8へ進む。このステップS7では、距離算出部15が、投影パターン像Piにおける注目点dsから境界線Bまでの間隔kと、既知である投影パターンPにおける各対応候補点Scのから境界線Bまでの間隔kと、を比較する。その投影パターンPにおける間隔kとしては、各対応候補点Scから境界線Bまでの第1方向D1で見た間隔k1または第2方向D2で見た間隔k2を用いることができる。そして、投影パターン像Piの間隔k1(図7参照)を用いる場合には、投影パターンPの第1方向D1の間隔を用い、投影パターン像Piの間隔k2(図7参照)を用いる場合には、投影パターンPの第2方向D2の間隔を用いる。ステップS7では、距離算出部15が、間隔kと最も近似する間隔を有する対応候補点Scを、注目点dsに対応する対応点Eとする。
ステップS8では、ステップS7での対応点Eを求めることに続き、注目点dsまでの深度方向距離Zを算出して、ステップS9へ進む。このステップS8では、距離算出部15が、投影部11(その基準点)から対応点Eへ向かう方向の投影光軸Apに対する投影角度を求める。そして、ステップS8では、距離算出部15が、投影角度と、撮像部12の撮像光学系の焦点距離と、画像I上での撮像光軸Asから注目点dsまでの間隔と、投影部11と撮像部12との所定の間隔dと、を用いて三角測量の原理により注目点dsの深度方向距離Zを算出する。
ステップS9では、ステップS8での深度方向距離Zを算出することに続き、注目点dsが投影パターン像Piにおける右端に位置するか否かを判断し、YESの場合はステップS10へ進み、NOの場合はステップS11へ進む。このステップS9では、距離算出部15が、深度方向距離Zを算出した注目点dsが投影パターン像Piの右端に位置するか否かを判断することにより、p行目におけるすべてのストライプ像Siを示す全ての画素に対して深度方向距離Zを算出したか否かを判断する。ステップS9では、p行目のすべてのストライプ像Siを示す全ての画素に対して算出した場合には、p+1行目における各ストライプ像Siを注目点dsとすべくステップS10に進む。また、ステップS9では、p行目のすべてのストライプ像Siを示す全ての画素に対して算出していない場合には、p行目における未算出のストライプ像Siを注目点dsとすべくステップS11に進む。
ステップS10では、ステップS9での注目点dsが投影パターン像Piにおける右端に位置するとの判断に続き、注目点dsが投影パターン像Piにおける下端に位置するか否かを判断し、YESの場合はこの三次元形状測定処理(三次元形状測定方法)を終了し、NOの場合はステップS12へ進む。このステップS10では、距離算出部15が、深度方向距離Zを算出した注目点dsが投影パターン像Piにおける下端に位置する(p行目が最下端である)か否かを判断する。これにより、ステップS10では、投影パターン像Piの各ストライプ像Siを示す全ての画素に対して深度方向距離Zを算出したか否かを判断する。これは、ステップS10に進んだ場面では、p行目におけるすべてのストライプ像Siに対して深度方向距離Zを算出した場合であるので、p行目が最下端の行数である場合には投影パターン像Piにおける全てのストライプ像Siを示す画素を注目点dsとしたことによる。ステップS10では、投影パターン像Piにおける全てのストライプ像Siを示す画素に対して深度方向距離Zを算出した場合には、この三次元形状測定処理(三次元形状測定方法)を終了する。また、ステップS10では、p行目が最下端ではなく投影パターン像Piにおける全てのストライプ像Siを示す画素に対して深度方向距離Zを算出していない場合には、p+1行目における各ストライプ像Siを注目点dsとすべくステップS12に進む。
ステップS11では、ステップS9での注目点dsが投影パターン像Piにおける右端に位置しないとの判断に続き、列数q(その現状の値)に1を加算して新たな列数qとして(q=q+1)、ステップS4へと戻る。このステップS11では、p行目において深度方向距離Zを算出していないストライプ像Siを示す全ての画素がある。このことから、ステップS11では、その残りのストライプ像Siに対して深度方向距離Zを算出すべく、距離算出部15が列数qを1つ増やしてステップS4からの流れを繰り返させる。
ステップS12では、ステップS10での注目点dsが投影パターン像Piにおける下端に位置しないとの判断に続き、行数p(その現状の値)に1を加算して新たな行数pとして(p=p+1)、ステップS4へと戻る。このステップS12では、p行目において深度方向距離Zを算出していないストライプ像Siを示す全ての画素がなく、かつp行目が投影パターン像Piにおける最下端ではない場面である。このことから、ステップS12では、次の行の各ストライプ像Siを示す全ての画素に対して深度方向距離Zを算出するために、距離算出部15が行数pを1つ増やすとともにステップS4からの流れを繰り返させる。
なお、上記した三次元形状測定処理(三次元形状測定方法)では、画像Iにおける投影パターン像Piが写し出された領域をコード化(ステップS3)する際に、エッジ検出フィルタを用いてエッジを検出している。しかしながら、投影パターン像Piが写し出された領域をコード化すべく各ストライプ像Siの区別を可能とするものであれば、パターンマッチングを用いてもよく、他の方法を用いてもよく、実施例1の構成に限定されるものではない。そのパターンマッチングは、例えば、SSD(Sum−of Square Difference)や、NCC(Normalized Cross−Correlation)や、ZNCC(Zero−mean Normalized Cross−Correlation)等により計算することが挙げられる。
次に、三次元形状測定装置10により測定対象Oの三次元形状を測定する際の画像I上で注目点dsを変化させつつ三次元形状を測定する様子を、図7を用いて説明する。三次元形状測定装置10では、測定対象Oの三次元形状を測定する要求が為されると、図8のフローチャートにおいてステップS1→ステップS2へと進むことにより、測定対象O上の投影パターン像Piの画像Iを取得し、その投影パターン像Piをコード化する。そして、図8のフローチャートにおいてステップS3→ステップS4へと進むことにより、投影パターン像Piにおいて、1行目すなわち第1方向D1で見て最も上側に位置する画素の並びであって、1行目における1列目すなわち1行目における最も左側に位置するストライプ像Siを示す画素p1を注目点dsとする。そして、図8のフローチャートにおいてステップS5→ステップS6→ステップS7→ステップS8へと進むことにより、画素p1(注目点ds)の深度方向距離Zを算出する。
その後、図8のフローチャートにおいてステップS9→ステップS11→ステップS4へと進むことにより、投影パターン像Piにおいて、1行目の画素の並びであって、2列目すなわち画素p1(そのストライプ像Si)の隣に位置する画素p2(そのストライプ像Si)を注目点dsとする。その後、図8のフローチャートにおいてステップS9→ステップS11→ステップS4→ステップS5→ステップS6→ステップS7→ステップS8へと進むこと繰り返すことにより、投影パターン像Piにおいて、1行目の画素の並びであって、その1行目における最も右端(水平位置x6)に位置するストライプ像Siを示す画素p3(注目点ds)の深度方向距離Zを算出する。これにより、投影パターン像Piにおいて高さ位置y1に位置する列の全ての画素(全てのストライプ像Siを示す画素)を測定点として深度方向距離Zを算出することができる。
その後、図8のフローチャートにおいてステップS9→ステップS10→ステップS12→ステップS4へと進むことにより、投影パターン像Piにおいて、2行目の画素の並びであって、1列目すなわち2行目における最も左側に位置するストライプ像Siを示す画素p4を注目点dsとする。その後は、上記したことを繰り返すことにより、投影パターン像Piにおいて、高さ位置y1から高さ位置y2に位置する全てのストライプ像Siに対する深度方向距離Zを算出することができる。
その後、図8のフローチャートにおいてステップS9→ステップS10→ステップS12→ステップS4へと進むことにより、投影パターン像Piにおいて、高さ位置y2を示す行数の画素の並びであって、1列目すなわち最も左側に位置するストライプ像Siを示す画素p5を注目点dsとする。その後、上記したことを繰り返すことにより、高さ位置y2を示す行数において、水平位置x3に位置するストライプ像Siを示す画素p6の深度方向距離Zを算出し、次に水平位置x5の次に位置するストライプ像Siを示す画素p7の深度方向距離Zを算出する。その後、上記したことを繰り返すことにより、高さ位置y2を示す行数における最も右端(水平位置x6)に位置するストライプ像Siを示す画素p8(注目点ds)の深度方向距離Zを算出する。その後、上記したことを繰り返すことにより、高さ位置y3を示す行数における最も右端(水平位置x6)に位置するストライプ像Siを示す画素p9(注目点ds)の深度方向距離Zを算出する。これにより、投影パターン像Piにおける各ストライプ像Siを示す全ての画素を測定点として深度方向距離Zを算出することができる。
次に、このような測定対象Oの三次元形状を測定する三次元形状測定装置(測定装置)の技術の課題について、説明する。なお、この技術の課題は、実施例1の三次元形状測定装置10であっても、投影パターンPに境界線Bを設けていなければ同様であることから、実施例1の三次元形状測定装置10と同様の符号を用いて説明する。
三次元形状測定装置10では、投影パターン像Piにおける各ストライプ像Siを示す画素毎に第2方向D2での測定点を設定することで、投影パターン像Piにおける各ストライプ像Siを示す全ての画素の三次元形状を測定する。このため、三次元形状測定装置10では、投影した投影パターンPにおける第2方向D2で見て、この投影パターンPの寸法(サイズ)よりも大きな寸法(サイズ)の測定対象Oの三次元形状を測定することができない。このことは、例えば、手の形状を測定するためには、一般的な手の大きさが約20cmであることから、第2方向D2に約20cm長さの投影パターンPを投影する必要があることとなる。ここで、三次元形状測定装置10では、投影パターンPの寸法(サイズ)を大きくすべく各ストライプSの種類を増やすと、ストライプS毎の差異が小さくなって各ストライプSの判別を適切に行うことが困難となる。また、三次元形状測定装置10では、各ストライプ像Siを示す画素毎に第2方向D2での測定点を設定するため、各ストライプSの幅寸法を大きくすると、測定結果における第2方向D2での分解能(解像度)の低下を招いてしまう。
このため、三次元形状測定装置10では、求められる分解能(解像度)に対応させた十分に細い幅寸法の各ストライプSを適切な判別を可能とする種類の数だけ用いて、隣接する2本のストライプSを異なる種類として周期性領域Arを形成する。そして、三次元形状測定装置10では、その周期性領域Arを複数個繰り返して配することにより、投影パターンPの寸法(サイズ)を大きくすることが考えられる。この場合、投影パターン像Piにおいて隣接する2本のストライプ像Siのコードの組み合わせの態様Cを求め、投影パターンPにおける態様Cと比較することで、各周期性領域Arにおける第2方向D2での位置(水平位置)に対応させることができる。ところが、投影パターンPでは、複数の周期性領域Ar(この例では3個)が設けられていることから、隣接する2本のストライプSのコードの組み合わせの態様Cではいずれの周期性領域Arに属するものであるのかを判別することができなくなってしまう。
これに対して、本発明に係る測定装置の実施例1の三次元形状測定装置10では、投影パターンPに、第1方向D1で見て異なるレベルの輝度値としつつ投影パターンPの左上の角部から右下の角部を架け渡す対角線上に境界線Bを設けている。このため、三次元形状測定装置10では、周期性領域Ar毎に第1方向D1および第2方向D2で見た境界線Bの位置を異なるものとすることができる。このことから、三次元形状測定装置10では、投影パターン像Piにおけるいずれの位置(画素)を注目点dsとした場合であっても、注目点dsから境界線Bまでの間隔kを用いることにより、当該注目点dsが属する周期性領域Arを判別することができる。これにより、三次元形状測定装置10では、複数個の周期性領域Arを繰り返して配することで投影パターンPの寸法(サイズ)を大きくしても、投影パターン像Pi上に設定した測定点を投影パターンPに適切に対応させることができる。ここで、三次元形状測定装置10では、求められる分解能(解像度)に対応させた十分に細い幅寸法の各ストライプSを適切な判別を可能とする種類の数だけ用いて、隣接する2本のストライプSを異なる種類として周期性領域Arを形成している。よって、三次元形状測定装置10では、適切な各ストライプSの判別を可能としつつ十分な分解能(解像度)を有するとともに、測定可能な測定対象Oの大きさを大きくすることができる。
また、三次元形状測定装置10では、第1方向D1で見て境界線Bの一方側(図4では上側)と他方側(図4では下側)とで各ストライプSの位置を第2方向D2にずらすことにより、第1方向D1で見て異なるレベルの輝度値となる境界線Bを形成している。このため、三次元形状測定装置10では、第1方向D1で見て境界線Bの一方側と他方側とで異なる種類ではあるが切れ目なく各ストライプSを位置させることができる。ここで、三次元形状測定装置10では、投影パターン像Piにおける各ストライプ像Siを示す全ての画素の三次元形状を測定すべく、各ストライプ像Siを示す画素列におけるすべての画素を測定点として設定する。このため、三次元形状測定装置10では、測定結果における第1方向D1での分解能(解像度)が1画素の大きさとなる。これらのことから、三次元形状測定装置10では、第1方向D1で見て切れ目なく各ストライプSを位置させつつ境界線Bを形成することにより、第1方向D1での分解能(解像度)の低下を防止しつつ境界線Bを設けることができる。
さらに、三次元形状測定装置10では、第1方向D1で見て境界線Bの一方側と他方側とで各ストライプSの位置を第2方向D2にずらすことにより境界線Bを形成している。このため、三次元形状測定装置10では、境界線Bを形成するために異なる各ストライプSの配置を形成する必要がないので、簡易な構成で境界線Bを投影パターンPに設けることができる。
三次元形状測定装置10では、無彩色の投影パターンPを投影することから、測定対象Oが有彩色であっても三次元形状を適切に測定することができる。特に、三次元形状測定装置10では、近赤外光を用いて投影パターンPを投影することから、投影した投影パターンPを見えなくすることができる。
三次元形状測定装置10では、第1方向D1で見て境界線Bの一方側と他方側とで各ストライプSの位置を当該ストライプSの幅寸法の整数倍だけ第2方向D2にずらすことにより境界線Bを形成している。このため、三次元形状測定装置10では、第1方向D1で見て異なる2種類のストライプSを位置させるだけでよいので、簡易な構成で境界線Bを投影パターンPに設けることができる。
三次元形状測定装置10では、第1方向D1で見て境界線Bの一方側と他方側とで各ストライプSの位置を1列分だけ第2方向D2にずらすことにより境界線Bを形成している。ここで、三次元形状測定装置10では、隣接する2本のストライプSが異なる種類とすべく各ストライプSを配列して投影パターンPを形成している。このため、三次元形状測定装置10では、第1方向D1で見て異なるレベルの輝度値とする境界線Bを、簡易な構成でかつ確実に投影パターンPに設けることができる。
三次元形状測定装置10では、m値レベルの輝度値によりコード化したm種類のストライプSを、m×(m−1)本用いて各周期性領域Arを形成している。このため、三次元形状測定装置10では、m種類のストライプSを用いて隣接する2本のストライプSのコードにより最も多くの態様Cを形成することができ、効率よく各周期性領域Arの第2方向D2での寸法(サイズ)を大きくすることができる。
三次元形状測定装置10では、第1方向D1で見た境界線Bまでの間隔k1と第2方向D2で見た境界線Bまでの間隔k2とのいずれか一方を用いて、投影パターン像Piを投影する投影パターンPに対応付けることができる。このため、三次元形状測定装置10では、投影パターン像Piにおける注目点dsとした箇所に応じて第1方向D1および第2方向D2の少なくとも一方を適宜選択することで、境界線Bまでの間隔kを用いて投影パターンPでの対応点Eを適切に求めることができる。
三次元形状測定装置10では、投影部11が投影する投影パターンPにおける第1方向D1および第2方向D2を、撮像部12の撮像素子において各画素が行列を為す行列方向と等しくしている。このため、三次元形状測定装置10では、投影パターン像Piにおける各ストライプ像Siを示す全ての画素の三次元形状をより適切に測定することができる。
三次元形状測定装置10では、投影パターンP(各周期性領域Ar)において、第2方向D2で隣接する3本のストライプSで見ると、中央に位置するストライプSの輝度値を極値としている。このため、三次元形状測定装置10では、投影パターン像Piにおける各ストライプ像Siをより適切に判別することができる。
したがって、本発明に係る測定装置としての実施例1の三次元形状測定装置10では、測定可能な測定対象Oの大きさを大きくしつつ分解能の低下を防止することができる。
なお、境界線Bは、投影パターンP上の全ての位置に対して、少なくとも第1方向D1または第2方向D2のいずれか一方で存在させるように設けられていれば、当該全ての位置に対して対応付けを可能とすることができる。このため、境界線Bは、第1方向D1および第2方向D2に対して傾斜を為すとともに、少なくとも第1方向D1または第2方向D2で見て投影パターンPの全域に渡って伸びるものであれば、本数や位置や長さ寸法や傾斜は適宜設定すればよく、実施例1の構成に限定されるものではない。
また、実施例1では、図5に示すように各ストライプSを配列して投影パターンPにおける各周期性領域Arを形成している。しかしながら、各周期性領域Arは、m種類のストライプSを、m×(m−1)本用いて第2方向D2で隣接する2本のストライプSの組(2つのコードの態様C)を重複させることなく配列するものであればよく、実施例1の構成に限定されるものではない。また、各周期性領域Arは、m種類のストライプSを用いて第2方向D2で隣接する2本のストライプSの組(2つのコードの態様C)を重複させることなく配列するものであれば、厳密にm×(m−1)本用いなくてもよく、実施例1の構成に限定されるものではない。
さらに、実施例1では、投影パターンPにおいて、第1方向D1で見て境界線Bの一方側(図4では上側)と他方側(図4では下側)とで各ストライプSの位置を1列分だけ第2方向D2にずらすことにより境界線Bを形成している。しかしながら、境界線Bは、第1方向D1で見て異なるレベルの輝度値となるものであれば、例えば、ストライプSの幅寸法の整数倍だけ第2方向D2にずらすものであってもよく、実施例1の構成に限定されるものではない。
実施例1では、投影パターンP(各周期性領域Ar)において、第2方向D2で隣接する3本のストライプSで見ると、中央に位置するストライプSの輝度値を極値としている。しかしながら、投影パターンP(各周期性領域Ar)では、m種類のストライプSを、m×(m−1)本用いて隣接する2本のストライプSの組(2つのコードの態様C)を重複させることなく配列するものであればよく、実施例1の構成に限定されるものではない。
実施例1では、各ストライプ像Siを示す画素列におけるすべての画素を測定点として設定すなわち1行を1画素としており、第1方向D1での分解能(解像度)を1画素の大きさとしている。しかしながら、求められる分解能(解像度)に応じて、1行を複数の画素とするものであってもよく、実施例1の構成に限定されるものではない。
次に、本発明の測定装置としての実施例2の三次元形状測定装置10について、図9を用いて説明する。この実施例2の三次元形状測定装置10は、投影する本発明に係る投影パターンの一例としての投影パターンPBの構成が、実施例1の投影パターンP(投影パターンPA)とは異なる例である。この実施例2の三次元形状測定装置10は、基本的な概念および構成は上記した実施例1の三次元形状測定装置10と同様であることから、等しい概念および構成の個所には同じ符号を付し、その詳細な説明は省略する。
実施例2の三次元形状測定装置10では、投影部11が投影する投影パターンPBに複数の境界線BBを設けるものとする。その一例としての投影パターンPBを図9に示す。その投影パターンPBは、3値レベルの輝度値(m=3)によりコード化して3種類のストライプSを用いるものとして輝度値別に1、2、3のコードを割り振っている。投影パターンPBは、6(3×(3−1))本のストライプSから為る周期性領域Arを10個繰り返し配して形成している。この投影パターンPBでは、第1方向D1および第2方向D2に対して傾斜しつつ外形線における各辺の中点を架け渡すように4本の境界線BBを設けている。この各境界線BBは、それらが取り囲む内側と外側とで、各ストライプSの位置を1列分だけ第2方向D2にずらして形成している。
このため、投影パターンPBでは、各境界線BBが交わる4つの交点(中点)を除くと、投影パターンPB上の全ての位置に対して、第1方向D1および第2方向D2で見て各々2つの境界線BBを存在させている。これにより、実施例2では、第1方向D1および第2方向D2のいずれであっても2つの境界線BBまでの間隔kを用いて、投影パターン像Piを投影する投影パターンPBに対応付けることができる。
実施例2の三次元形状測定装置10では、基本的に実施例1の三次元形状測定装置10と同様の構成であることから、基本的に実施例1と同様の効果を得ることができる。
それに加えて、実施例2の三次元形状測定装置10では、投影する投影パターンPBに第1方向D1および第2方向D2に対して傾斜しつつ外形線における各辺の中点を架け渡すように4本の境界線BBを設けている。このため、実施例2では、第1方向D1および第2方向D2の一方のみで見た場合であっても、2つの境界線BBまでの間隔kを用いて、投影パターン像Piを投影する投影パターンPBに対応付けることができる。これにより、実施例2では、投影パターン像Piを投影する投影パターンPBにより適切に対応付けることができ、投影パターン像Piにおける各ストライプ像Siを示す全ての画素を測定点として深度方向距離Zをより適切に算出することができる。
また、実施例2の三次元形状測定装置10では、第1方向D1および第2方向D2の一方のみで見た場合であっても、2つの境界線BBまでの間隔kを用いることができるので、一方の間隔kを他方の間隔kに対するエラーチェックとして用いることができる。このため、実施例2では、投影パターン像Piを投影する投影パターンPBにより適切に対応付けることができる。
さらに、実施例2の三次元形状測定装置10では、各境界線BBが交わる4つの交点(中点)を除くと、投影パターンPB上の全ての位置に対して、第1方向D1および第2方向D2で見て各々2つの境界線BBを存在させている。このため、実施例2では、投影パターン像Piにおいて、注目点dsに対して第1方向D1または第2方向D2に境界線BBを存在させる可能性を高めることができるので、投影パターン像Piを投影パターンPBにより確実に対応付けることができる。これは、三次元形状の測定では、オクル―ジョン等により撮像部12が投影パターンPBの全体を投影パターン像Piとして取得できない可能性があることによる。
したがって、本発明に係る測定装置としての実施例2の三次元形状測定装置10では、測定可能な測定対象Oの大きさを大きくしつつ分解能の低下を防止することができる。
なお、実施例3では、図9に示す投影パターンPBを用いているが、複数の境界線が設けられたものであれば、他の構成であってもよく、実施例2の構成に限定されるものではない。
次に、本発明の測定装置としての実施例3の三次元形状測定装置10について、図10を用いて説明する。この実施例3の三次元形状測定装置10は、投影する本発明に係る投影パターンの一例としての投影パターンPCの構成が、実施例1の投影パターンP(投影パターンPA)および実施例2の投影パターンPBとは異なる例である。この実施例3の三次元形状測定装置10は、基本的な概念および構成は上記した実施例1の三次元形状測定装置10と同様であることから、等しい概念および構成の個所には同じ符号を付し、その詳細な説明は省略する。
実施例3の三次元形状測定装置10では、投影部11が投影する投影パターンPCに複数の境界線BCを設けるとともに、その各境界線BCが互いに交わることを防止したものとする。その一例としての投影パターンPCを図9に示す。その投影パターンPCは、3値レベルの輝度値(m=3)によりコード化して3種類のストライプSを用いるものとして輝度値別に1、2、3のコードを割り振っている。投影パターンPCは、6(3×(3−1))本のストライプSから為る周期性領域Arを10個繰り返し配して形成している。この投影パターンPCでは、第1方向D1および第2方向D2に対して傾斜しつつ、互いに平行な3本の境界線BCを設けている。この各境界線BCは、当該各境界線BCの上側(第1方向D1一方側)と下側(第1方向D1他方側)とで各ストライプSの位置を1列分だけ第2方向D2にずらして形成している。図10に示す例では、真ん中に位置する境界線BCを、右上の角部の近傍から左下の角部の近傍を架け渡して設け、上下の2本の境界線BCを外形線における第1方向D1に伸びる辺の中点の近傍と第2方向D2に伸びる辺の中点の近傍とを架け渡して設けている。このため、投影パターンPCでは、第2方向D2に並列する各ストライプSの群が3本の境界線BCにより4段階に分けられている。この投影パターンPCでは、1段目と3段目の各ストライプSの並びを等しくし、2段目と4段目の各ストライプSの並びを等しくしている。
このため、投影パターンPCでは、全ての位置に対して、第1方向D1および第2方向D2で見て各々2つの境界線BCを存在させている。これにより、実施例3では、第1方向D1および第2方向D2のいずれであっても2つの境界線BCまでの間隔kを用いて、投影パターン像Piを投影する投影パターンPCに対応付けることができる。
実施例3の三次元形状測定装置10では、基本的に実施例1の三次元形状測定装置10と同様の構成であることから、基本的に実施例1と同様の効果を得ることができる。
それに加えて、実施例3の三次元形状測定装置10では、投影する投影パターンPCに互いに平行な3本の境界線BCを設けている。このため、実施例3では、第1方向D1および第2方向D2の一方のみで見た場合であっても、2つの境界線BCまでの間隔kを用いて、投影パターン像Piを投影する投影パターンPCに対応付けることができる。これにより、実施例3では、投影パターン像Piを投影する投影パターンPCにより適切に対応付けることができ、投影パターン像Piにおける各ストライプ像Siを示す全ての画素を測定点として深度方向距離Zをより適切に算出することができる。
また、実施例3の三次元形状測定装置10では、第1方向D1および第2方向D2の一方のみで見た場合であっても、2つの境界線BCまでの間隔kを用いることができるので、一方の間隔kを他方の間隔kに対するエラーチェックとして用いることができる。このため、実施例3では、投影パターン像Piを投影する投影パターンPCにより適切に対応付けることができる。
さらに、実施例3の三次元形状測定装置10では、投影パターンPC上の全ての位置に対して、第1方向D1および第2方向D2で見て各々2つの境界線BCを存在させている。このため、実施例3では、投影パターン像Piにおいて、注目点dsに対して第1方向D1または第2方向D2に境界線BCを存在させる可能性を高めることができるので、投影パターン像Piを投影する投影パターンPCにより確実に対応付けることができる。
実施例3の三次元形状測定装置10では、3本の境界線BCが互いに交わることが防止されている。このため、実施例3では、投影パターン像Piにおいて、注目点dsに対して第1方向D1または第2方向D2に境界線BCを存在させる可能性をさらに高めることができ、投影パターン像Piを投影する投影パターンPCにより確実に対応付けることができる。これは、境界線が交わるものとされていると、その交点では境界線が一致していることから、一方の境界線が存在しない場合には同時に他方の境界線も存在しないこととなることによる。特に、実施例3では、3本の境界線BCが互いに平行とされて互いの間隔が変化することがないので、複数の境界線BCが同時に存在しなくなる確率を大幅に低減することができ、投影パターン像Piを投影する投影パターンPCにより確実に対応付けることができる。
したがって、本発明に係る測定装置としての実施例3の三次元形状測定装置10では、測定可能な測定対象Oの大きさを大きくしつつ分解能の低下を防止することができる。
なお、実施例3では、図10に示す投影パターンPCを用いているが、複数の境界線が設けられたものであって、互いに交わることが防止されているものであれば、他の構成であってもよく、実施例3の構成に限定されるものではない。その他の例として、図11に示す投影パターンPDをあげる。この投影パターンPDでは、第1方向D1および第2方向D2に対して傾斜しつつ、互いに平行な2本の境界線BDを設けている。この各境界線BDは、当該各境界線BDの上側(第1方向D1一方側)と下側(第1方向D1他方側)とで各ストライプSの位置を1列分だけ第2方向D2にずらして形成している。図11に示す例では、左側の境界線BDを外形線における上側で第2方向D2に伸びる辺の中点と左下の角部とを架け渡して設け、右側の境界線BDを外形線における下側で第2方向D2に伸びる辺の中点と右上の角部とを架け渡して設けている。このため、投影パターンPCでは、第2方向D2に並列する各ストライプSの群が、2本の境界線BDにより3段階に分けられている。この投影パターンPDでは、全ての位置に対して、第1方向D1で見て1つの境界線BDを存在させるとともに、第2方向D2で見て2つの境界線BCを存在させている。このため、図11に示す例では、第1方向D1では境界線BCまでの間隔kを用いて、第2方向D2では2つの境界線BCまでの間隔kを用いて、投影パターン像Piを投影する投影パターンPCに対応付けることができる。
次に、本発明の測定装置としての実施例4の三次元形状測定装置10について、図12を用いて説明する。この実施例4の三次元形状測定装置10は、投影する本発明に係る投影パターンの一例としての投影パターンPEの構成が、実施例1の投影パターンP(投影パターンPA)、実施例2の投影パターンPBおよび実施例3の投影パターンPC、投影パターンPDとは異なる例である。この実施例4の三次元形状測定装置10は、基本的な概念および構成は上記した実施例1の三次元形状測定装置10と同様であることから、等しい概念および構成の個所には同じ符号を付し、その詳細な説明は省略する。
実施例4の三次元形状測定装置10では、投影部11が投影する投影パターンPEを、次式(1)を満たすものとする。ここで、投影パターンPEの投影パターン像Piにおいて、第2方向D2での総画素数をαとし、境界線BEの本数をβとし、各ストライプ像Siの第2方向D2での画素数をγとする。
α/β=m×(m−1)×γ ・・・(1)
ここで、投影パターンPEでは、第1方向D1で見て各境界線BEを互いに重複させることなく、かつ第2方向D2で見ると全ての境界線BEを連続させるように、各境界線BEを設けるものとする。すると、式(1)において、左項の「α/β」は、投影パターン像Pi(投影パターンPE)において、1つの境界線BEが存在する第2方向D2で見た幅寸法に相当する。また、式(1)において、右項の「m×(m−1)×γ」は、各周期性領域Arにおける各ストライプ像Siの本数に各ストライプ像Siの第2方向D2での画素数を乗算したものであるので、各周期性領域Arの第2方向D2で見た寸法(サイズ)に相当する。このため、式(1)は、周期性領域Arのそれぞれに境界線BEを設けることを意味している。そして、式(1)は、各周期性領域Arを互いに等しいストライプSの配列としている場合、周期性領域Ar同士で見ると、各ストライプSに対する境界線BEとの位置関係が互いに等しくなることを意味する。換言すると、いずれの周期性領域Arであっても、注目点dsにおける第1方向D1で見た境界線BEまでの間隔k1が互いに等しくなり、かつ注目点dsにおける第2方向D2で見た境界線BEまでの間隔k2が互いに等しくなることを意味する。このため、実施例4の三次元形状測定装置10では、注目点dsにおける第2方向D2で見た各境界線BEまでの間隔k2を用いて、投影パターン像Pi上に設定した測定点を投影パターンPEに対応させる。
ここで、投影パターンPEでは、第1方向D1で見て各境界線BEを互いに重複させることなく、かつ第2方向D2で見ると全ての境界線BEを連続させるように、各境界線BEを設けるものとする。すると、式(1)において、左項の「α/β」は、投影パターン像Pi(投影パターンPE)において、1つの境界線BEが存在する第2方向D2で見た幅寸法に相当する。また、式(1)において、右項の「m×(m−1)×γ」は、各周期性領域Arにおける各ストライプ像Siの本数に各ストライプ像Siの第2方向D2での画素数を乗算したものであるので、各周期性領域Arの第2方向D2で見た寸法(サイズ)に相当する。このため、式(1)は、周期性領域Arのそれぞれに境界線BEを設けることを意味している。そして、式(1)は、各周期性領域Arを互いに等しいストライプSの配列としている場合、周期性領域Ar同士で見ると、各ストライプSに対する境界線BEとの位置関係が互いに等しくなることを意味する。換言すると、いずれの周期性領域Arであっても、注目点dsにおける第1方向D1で見た境界線BEまでの間隔k1が互いに等しくなり、かつ注目点dsにおける第2方向D2で見た境界線BEまでの間隔k2が互いに等しくなることを意味する。このため、実施例4の三次元形状測定装置10では、注目点dsにおける第2方向D2で見た各境界線BEまでの間隔k2を用いて、投影パターン像Pi上に設定した測定点を投影パターンPEに対応させる。
この実施例4の三次元形状測定装置10の投影部11が投影する一例としての投影パターンPEを図12に示す。その投影パターンPEは、5値レベルの輝度値(m=5)によりコード化して5種類のストライプSを用いるものとして輝度値別に1、2、3、4、5のコードを割り振っている。投影パターンPEは、20(5×(5−1))本のストライプSから為る周期性領域Arを3個繰り返し配して形成している。この投影パターンPEでは、第1方向D1および第2方向D2に対して傾斜しつつ各周期性領域Arを右上から左下に架け渡して3本の境界線BEを設けている。この各境界線BEは、各周期性領域Arにおいて当該各境界線BEの上側(第1方向D1一方側)と下側(第1方向D1他方側)とで各ストライプSの位置を1列分だけ第2方向D2にずらして形成している。このため、投影パターンPEでは、各周期性領域Arにおける上側の各ストライプSの群同士を互いに等しい各ストライプSの並びとし、各周期性領域Arにおける下側の各ストライプSの群同士を互いに等しい各ストライプSの並びとしている。
このため、投影パターンPEでは、いずれの周期性領域Arに注目点dsが位置するかによって、第2方向D2で見た境界線BEの数が異なるものとなり、第2方向D2で見た各境界線BEまでの間隔kの組み合わせが異なるものとなる。このことを、図12に示す注目点ds1、注目点ds2、注目点ds3を用いて説明する。各注目点は、高さ位置H2でコードの組み合わせの態様Cが「31」となる位置であって、注目点ds1が左側の周期性領域Arに位置し、注目点ds2が真ん中の周期性領域Arに位置し、注目点ds3が右側の周期性領域Arに位置する。ここで、左側の境界線BEを境界線BE1とし、真ん中の境界線BEを境界線BE2とし、右側の境界線BEを境界線BE3とする。また、第2方向D2で見て、左側から右側への向きを正側とし、反対の向きを負側とする。すると、第2方向D2で見て、注目点ds1では、正側に3本の境界線BEが位置し、注目点ds2では、負側に1本かつ正側に2本の境界線BEが位置し、注目点ds3では、負側に2本かつ正側に1本の境界線BEが位置する。そして、注目点ds1では、境界線BE1に対して正側に間隔k11となり、境界線BE2に対して正側に間隔k12となり、境界線BE3に対して正側に間隔k13となる。このため、注目点ds1における各境界線BEまでの間隔kの組み合わせは、間隔k11、間隔k12および間隔k13となる。また、注目点ds2では、境界線BE1に対して負側に間隔k14となり、境界線BE2に対して正側に間隔k15となり、境界線BE3に対して正側に間隔k16となる。このため、注目点ds2における境界線BEまでの間隔kの組み合わせは、間隔k14、間隔k15および間隔k16となる。注目点ds3では、境界線BE1に対して負側に間隔k17となり、境界線BE2に対して負側に間隔k18となり、境界線BE3に対して正側に間隔k19となる。このため、注目点ds3における各境界線BEまでの間隔kの組み合わせは、間隔k17、間隔k18および間隔k19となる。このように、投影パターンPEでは、所定の高さ位置においてコードの組み合わせの態様Cが等しい場合であっても、位置する周期性領域Arによって、第2方向D2で見た境界線BEの数が異なり、第2方向D2で見た各境界線BEまでの間隔kの組み合わせが異なる。
また、投影パターンPEでは、隣接する2本のストライプSのコードによる態様Cと、各周期性領域Arにおける第2方向D2での位置とを一対一対応とすることができる。すなわち、上記した例を用いると、注目点ds1、注目点ds2、注目点ds3は、いずれも高さ位置H2でコードの組み合わせの態様Cが「31」とされている。そして、左側の周期性領域Arにおける注目点ds1の第2方向D2での位置と、真ん中の周期性領域Arにおける注目点ds2の第2方向D2での位置と、右側の周期性領域Arにおける注目点ds3の第2方向D2での位置と、は互いに等しい。このように、投影パターンPEでは、隣接する2本のストライプSのコードによる態様Cにより、各周期性領域Arにおける第2方向D2での位置が一義的に定まる。
この実施例4の三次元形状測定装置10では、注目点dsを第2方向D2で挟む2本のストライプ像Siのコードを判別することにより、注目点dsが位置するコードの組み合わせの態様Cを求める。すると、投影パターンPEでは、各周期性領域Ar内での第2方向D2での位置が態様Cに応じて一義的に定まることから、各周期性領域Ar内での第2方向D2での位置を求めることができる。そして、投影パターン像Piにおいて第2方向D2で見た注目点dsから各境界線BEまでの間隔kの組み合わせと、投影パターンPEにおいて第2方向D2で見た注目点dsから各境界線BEまでの間隔との組み合わせを比較する。すると、この間隔の組み合わせが一致する周期性領域Arが、注目点dsが位置する周期性領域Arとなるので、投影パターン像Piを投影する投影パターンPEに対応付けることができる。
実施例4の三次元形状測定装置10では、基本的に実施例1の三次元形状測定装置10と同様の構成であることから、基本的に実施例1と同様の効果を得ることができる。
それに加えて、実施例4の三次元形状測定装置10では、式(1)を満たす投影パターンPEを用いている。また、その投影パターンPEでは、第1方向D1で見て各境界線BEを互いに重複させることなく、かつ第2方向D2で見ると全ての境界線BEを連続させるように、各境界線BEを設けるものとしている。さらに、投影パターンPEでは、各周期性領域Arを互いに等しいストライプSの配列としている。これらにより、投影パターンPEでは、2本のストライプ像Siの態様Cから各周期性領域Ar内における第2方向D2での位置を求めることができる。また、投影パターンPEでは、第2方向D2で見た各境界線BEまでの間隔kの組み合わせから注目点dsが位置する周期性領域Arを求めることができる。このため、実施例4では、投影パターン像Pi上に設定した測定点を投影パターンPEに対応させることを、より簡易なものとしつつ適切なものとすることができる。これにより、実施例4では、投影パターン像Piを投影する投影パターンPEにより適切に対応付けることができ、投影パターン像Piにおける各ストライプ像Siを示す全ての画素を測定点として深度方向距離Zをより適切に算出することができる。
また、実施例4の三次元形状測定装置10では、投影パターン像Pi上に設定した測定点を投影パターンPEにより簡易に対応させることができるので、測定対象Oの三次元形状を短時間で測定することができる。
したがって、本発明に係る測定装置としての実施例4の三次元形状測定装置10では、測定可能な測定対象Oの大きさを大きくしつつ分解能の低下を防止することができる。
なお、実施例4では、図12に示す投影パターンPEを用いているが、式(1)を満たすものであれば、他の構成であってもよく、実施例5の構成に限定されるものではない。
次に、本発明の測定装置としての実施例5の三次元形状測定装置10について、図13を用いて説明する。この実施例5の三次元形状測定装置10は、投影する本発明に係る投影パターンの一例としての投影パターンPFの構成が、実施例1の投影パターンP(投影パターンPA)、実施例2の投影パターンPB、実施例3の投影パターンPC、投影パターンPDおよび実施例4の投影パターンPEとは異なる例である。この実施例5の三次元形状測定装置10は、基本的な概念および構成は上記した実施例1の三次元形状測定装置10と同様であることから、等しい概念および構成の個所には同じ符号を付し、その詳細な説明は省略する。
実施例5の三次元形状測定装置10では、投影部11が投影する投影パターンPFを有彩色のストライプSで形成するものとし、好適な例としてR、G、Bの3成分を用いてストライプSを形成するものとする。このような投影パターンPFは、例えば、投影部11の投影光学系に設けるマスクに色フィルタを用いることにより形成することができる。その一例としての投影パターンPFを図13に示す。その投影パターンPFでは、互いの色を重畳させることなく、R、G、Bの各ストライプSを用いることとする。すなわち、RのストライプSでは、G、Bの色成分(G、Bの波長帯域での輝度値)を有さないものとし、GのストライプSでは、R、Bの色成分(R、Bの波長帯域での輝度値)を有さないものとし、BのストライプSでは、R、Gの色成分(R、Gの波長帯域での輝度値)を有さないものとする。そして、投影パターンPFでは、R、G、Bのそれぞれの色成分において、3値レベルの輝度値(m=3)によりコード化して3種類のストライプSを用いるものとして輝度値別に1、2、3のコードを割り振っている。投影パターンPFでは、第2方向D2で隣接する2本のストライプSを異なる種類としつつ、3値レベルの輝度値とした3種類のRのストライプSを適宜組み合わせて6(3×(3−1))本のストライプSから為る配列(Rの周期性領域)を形成する。そして、G、Bのそれぞれに対しても、同様に、6(3×(3−1))本のGのストライプSおよびBのストライプSから為る配列(G、Bの周期性領域)を形成する。そして、R、G、Bの各周期性領域すなわちRの6本のストライプSの配列とGの6本のストライプSの配列とBの6本のストライプSの配列とを第2方向D2で並べて配することにより、周期性領域Arを形成する。図13に示す例では、その周期性領域Arを3個繰り返し配して投影パターンPFを形成している。
この投影パターンPFでは、第1方向D1および第2方向D2に対して傾斜しつつ、互いに交わることのない2本の境界線BFを設けている。この各境界線BFは、当該各境界線BFの上側(第1方向D1一方側)と下側(第1方向D1他方側)とで各ストライプSの位置を1列分だけ第2方向D2にずらして形成している。図13に示す例では、左側の境界線BFを外形線における上側で第2方向D2に伸びる辺の中間と左下の角部とを架け渡して設け、右側の境界線BFを外形線における下側で第2方向D2に伸びる辺の中間と右上の角部とを架け渡して設けている。このため、投影パターンPFでは、第2方向D2に並列する各ストライプSの群が、2本の境界線BFにより3段階に分けられている。
この投影パターンPFでは、全ての位置に対して、第2方向D2で見て2つの境界線BFを存在させている。このため、実施例5では、第2方向D2で2つの境界線BFまでの間隔kを用いて、投影パターン像Piを投影する投影パターンPFに対応付けることができる。また、実施例5では、左右両側の一定の範囲において、第1方向D1で見て境界線BFを存在させており、第1方向D1で境界線BFまでの間隔kを用いて、投影パターン像Piを投影する投影パターンPFに対応付けることができる。
実施例5の三次元形状測定装置10では、基本的に実施例1の三次元形状測定装置10と同様の構成であることから、基本的に実施例1と同様の効果を得ることができる。
それに加えて、実施例5の三次元形状測定装置10では、投影する投影パターンPFを、有彩色のストライプSで形成している。このため、実施例5では、輝度値のレベルすなわち輝度値の変化によりストライプSの種類を増やさなくても、用いるストライプSの種類を増やすことができる。これにより、実施例5では、適切な各ストライプSの判別を可能としつつ十分な分解能(解像度)を有するとともに、測定可能な測定対象Oの大きさをより大きくすることができる。
また、実施例5の三次元形状測定装置10では、R、G、Bの3成分を用いて各ストライプSを形成していることから、異なる色成分のストライプSの判別を容易なものとすることができる。特に、実施例5では、互いの色成分を重畳させることなく各色成分のストライプSを形成しているので、異なる色成分のストライプSの判別をより容易なものとすることができる。
したがって、本発明に係る測定装置としての実施例5の三次元形状測定装置10では、測定可能な測定対象Oの大きさを大きくしつつ分解能の低下を防止することができる。
なお、実施例5では、図13に示す投影パターンPFを用いているが、有彩色とされて、境界線が設けられたものであれば、他の構成であってもよく、実施例5の構成に限定されるものではない。
また、実施例5の三次元形状測定装置10では、R、G、Bの3成分を用いてストライプSを形成しているが、有彩色の投影パターンを投影するものであれば、重畳させるか否かに拘わらず用いる色成分は適宜設定すればよく、実施例5の構成に限定されるものではない。
さらに、実施例5の三次元形状測定装置10では、R、G、Bの3成分を用いて互いの色成分を重畳させることなく各色成分のストライプSを形成するものとしているが、有彩色の投影パターンを投影するものであれば、互いの色成分を重畳させるものであってもよく、実施例5の構成に限定されるものではない。
次に、本発明の測定装置としての実施例6の三次元形状測定装置10について、図14を用いて説明する。この実施例6の三次元形状測定装置10は、投影パターン像Piを本発明に係る投影パターンの一例としての投影パターンPGに対応付けする際の方法が、実施例1から実施例5の三次元形状測定装置10とは異なる例である。この実施例6の三次元形状測定装置10は、基本的な概念および構成は上記した実施例1の三次元形状測定装置10と同様であることから、等しい概念および構成の個所には同じ符号を付し、その詳細な説明は省略する。
この実施例6の三次元形状測定装置10では、制御部13の距離算出部15が、第1方向D1で見た境界線BGまでの間隔k1と第2方向D2で見た境界線BGまでの間隔k2とのうちの短い方を用いて、投影パターン像Piを投影した投影パターンPGに対応付ける。この説明のために、この実施例6では、図14に示す一例としての投影パターンPGを用いる。その投影パターンPGは、実施例3と同様に、投影部11が投影する投影パターンPGに複数の境界線BGを設けるとともに、その各境界線BGが互いに交わることを防止したものとする。投影パターンPGは、3値レベルの輝度値(m=3)によりコード化して3種類のストライプSを用いるものとして輝度値別に1、2、3のコードを割り振っている。投影パターンPGは、6(3×(3−1))本のストライプSから為る周期性領域Arを10個繰り返し配して形成している。この投影パターンPGでは、第1方向D1および第2方向D2に対して傾斜する2本の境界線BGを設けている。この各境界線BGは、当該各境界線BGの上側(第1方向D1一方側)と下側(第1方向D1他方側)とで各ストライプSの位置を1列分だけ第2方向D2にずらして形成している。図14に示す例では、上側に位置する境界線BGを、左上の角部から境界線BGを外形線における第1方向D1に伸びる右側の辺の中点を架け渡して設け、下側に位置する境界線BGを、右下の角部から境界線BGを外形線における第1方向D1に伸びる左側の辺の中点を架け渡して設けている。このため、投影パターンPGでは、第2方向D2に並列する各ストライプSの群が2本の境界線BGにより3段階に分けられている。この投影パターンPGでは、1段目と3段目の各ストライプSの並びを等しくし、2段目各ストライプSの並びを1段目と3段目とに対して1列分だけ第2方向D2にずらしている。
実施例6の三次元形状測定装置10では、撮像部12が取得した画像Iの投影パターン像Piが写し出された領域をコード化する際、各ストライプ像Siを示す画素毎に境界線BGまでの第1方向D1で見た間隔k1と第2方向D2で見た間隔k2とを求める。このことは、制御部13の距離算出部15が、検出した投影パターン像Piにおけるエッジを用いて、各ストライプ像Siを示す画素毎に第1方向D1および第2方向D2で見た境界線BGまでの間隔kを求めることにより行うことができる。その後、距離算出部15は、注目点dsを設定すると、当該注目点dsから第1方向D1と第2方向D2とで境界線BGまでの間隔kが短い方を求める。そして、距離算出部15は、第1方向D1で見た境界線BGまでの間隔k1と第2方向D2で見た境界線BGまでの間隔k2とのうちの短い方を用いて、投影パターン像Piを投影した投影パターンPGに対応付ける。なお、距離算出部15は、第1方向D1または第2方向D2で見た一方のみに境界線BGが位置する場合には、その一方の方向で見た境界線BGまでの間隔kを用いて、投影パターン像Piを投影した投影パターンPGに対応付ける。
このため、実施例6の三次元形状測定装置10では、第1方向D1で見た境界線BGまでの間隔k1と第2方向D2で見た境界線BGまでの間隔k2とのうちの短い方を用いて、投影パターン像Piを投影パターンPGに対応付けることができる。また、投影パターンPGでは、全ての位置に対して、第1方向D1で見て2つの境界線BGを位置させているので、全体的に第1方向D1で見た境界線BGまでの間隔k1を短いものとすることができる。
実施例6の三次元形状測定装置10では、基本的に実施例1の三次元形状測定装置10と同様の構成であることから、基本的に実施例1と同様の効果を得ることができる。
それに加えて、実施例6の三次元形状測定装置10では、第1方向D1で見た境界線BGまでの間隔k1と第2方向D2で見た境界線BGまでの間隔k2とのうちの短い方を用いて、投影パターン像Piを投影パターンPGに対応付ける。このため、実施例6では、注目点dsから境界線BGまでの間隔kを求める際の演算処理を簡易なものとすることができるので、投影パターン像Piの投影パターンPGへの対応付けの演算処理を簡易なものとすることができる。これにより、実施例6では、投影パターン像Piにおける各ストライプ像Siを示す全ての画素を測定点とする深度方向距離Zの算出、すなわち三次元形状の測定を簡易なものとすることができ、それに要する時間を短縮することができる。
また、実施例6の三次元形状測定装置10では、全ての位置に対して第1方向D1で見て2つの境界線BGを位置させる投影パターンPGを用いているので、全体的に第1方向D1で見た境界線BGまでの間隔k1を短いものとすることができる。このため、実施例6では、投影パターン像Piの投影パターンPGへの対応付けの演算処理を簡易なものとすることができ、三次元形状に要する時間を短縮することができる。
したがって、本発明に係る測定装置としての実施例6の三次元形状測定装置10では、測定可能な測定対象Oの大きさを大きくしつつ分解能の低下を防止することができる。
なお、実施例6では、図14に示す投影パターンPGを用いているが、第1方向D1および第2方向D2に対して傾斜を為す境界線が設けられた投影パターンを用いるものであれば、実施例1から実施例5までのいずれかの投影パターンを用いてもよく、他の投影パターンを用いてもよく、実施例6の構成に限定されるものではない。
なお、上記した各実施例では、本発明に係る測定装置の一例としての各実施例の三次元形状測定装置10について説明したが、第1方向に伸びる複数のストライプを前記第1方向に対して傾斜する第2方向に並列させた投影パターンを投影光軸上で測定対象に投影する投影部と、前記投影光軸とは異なる撮像光軸で前記測定対象を撮像する撮像部と、前記投影部で投影した前記投影パターンを前記撮像部で撮像した投影パターン像から三角測量法を用いて前記測定対象までの距離を算出する距離算出部と、を備え、前記投影パターンは、mを3以上の自然数として、m値レベルの輝度値でコード化したm種類の前記ストライプをm×(m−1)本用いて、前記第2方向で隣接する2本の前記ストライプの組を重複させることなく配列して形成した複数の周期性領域を有し、前記投影パターンでは、前記第1方向で見て異なるレベルの輝度値となる境界線を設け、前記境界線を前記投影パターンにおいて前記第1方向および前記第2方向に対して傾斜する直線状に形成している測定装置であればよく、上記した各実施例に限定されるものではない。
また、上記した各実施例では、注目点dsと境界線Bとの第2方向D2で見た間隔k2を画素数をカウントすることで求めていたが、ストライプSの本数から求めるものであってもよく、上記した各実施例に限定されるものではない。このような構成とすると、測定対象Oの基準線Lの傾斜度合や形状等に応じて各ストライプSの幅寸法が変化した場合であっても、何らの補正を加えることなく第2方向D2で見た間隔k2を求めることができる。
以上、本発明の測定装置を各実施例に基づき説明してきたが、具体的な構成については各実施例に限られるものではなく、本発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。
10 (測定装置の一例としての)三次元形状測定装置
11 投影部
12 撮像部
15 距離算出部
Ap 投影光軸
Ar 周期性領域
As 撮像光軸
B、BB、BC、BD、BE、BF、BG 境界線
D1 第1方向
D2 第2方向
Et (第1方向で見た端部の一例としての)上端部
Eb (第1方向で見た端部の一例としての)下端部
ds 注目点
H 高さ位置
h (端部から注目点までの)間隔
k (注目点から境界線までの)間隔
O 測定対象
P、PA、PB、PC、PD、PE、PF、PG 投影パターン
Pi 投影パターン像
S ストライプ
Si ストライプ像
11 投影部
12 撮像部
15 距離算出部
Ap 投影光軸
Ar 周期性領域
As 撮像光軸
B、BB、BC、BD、BE、BF、BG 境界線
D1 第1方向
D2 第2方向
Et (第1方向で見た端部の一例としての)上端部
Eb (第1方向で見た端部の一例としての)下端部
ds 注目点
H 高さ位置
h (端部から注目点までの)間隔
k (注目点から境界線までの)間隔
O 測定対象
P、PA、PB、PC、PD、PE、PF、PG 投影パターン
Pi 投影パターン像
S ストライプ
Si ストライプ像
Claims (14)
- 第1方向に伸びる複数のストライプを前記第1方向に対して傾斜する第2方向に並列させた投影パターンを投影光軸上で測定対象に投影する投影部と、
前記投影光軸とは異なる撮像光軸で前記測定対象を撮像する撮像部と、
前記投影部で投影した前記投影パターンを前記撮像部で撮像した投影パターン像から三角測量法を用いて前記測定対象までの距離を算出する距離算出部と、を備え、
前記投影パターンは、mを3以上の自然数として、m値レベルの輝度値でコード化したm種類の前記ストライプをm×(m−1)本用いて、前記第2方向で隣接する2本の前記ストライプの組を重複させることなく配列して形成した複数の周期性領域を有し、
前記投影パターンでは、前記第1方向で見て異なるレベルの輝度値となる境界線を設け、前記境界線を前記投影パターンにおいて前記第1方向および前記第2方向に対して傾斜する直線状に形成していることを特徴とする測定装置。 - 前記距離算出部は、少なくとも、前記投影パターン像において注目した注目点の前記第1方向で見た前記境界線までの間隔と、前記注目点の前記第2方向で見た前記境界線までの間隔と、のいずれか一方を用いて、前記注目点の前記投影パターンとの対応付けを行うことを特徴とする請求項1に記載の測定装置。
- 前記距離算出部は、前記投影パターン像において注目した注目点の前記第1方向で見た前記境界線までの間隔と、前記注目点の前記第2方向で見た前記境界線までの間隔と、の双方を用いて、前記注目点の前記投影パターンとの対応付けを行うことを特徴とする請求項1に記載の測定装置。
- 前記距離算出部は、前記投影パターン像において注目した注目点の前記第1方向で見た前記境界線までの間隔と、前記注目点の前記第2方向で見た前記境界線までの間隔と、のうちの小さい方を用いて、前記注目点の前記投影パターンとの対応付けを行うことを特徴とする請求項1に記載の測定装置。
- 前記距離算出部は、前記投影パターン像における前記第1方向で見た端部から前記注目点までの間隔から、前記投影パターンにおける前記注目点の高さ位置を求めることを特徴とする請求項2から請求項4のいずれか1項に記載の測定装置。
- 前記投影パターンでは、前記境界線を複数設けていることを特徴とする請求項1から請求項5のいずれか1項に記載の測定装置。
- 前記投影パターンでは、前記第2方向での位置に拘わらず前記第2方向で隣接する3本の前記ストライプにおいて、中央に位置する前記ストライプの輝度値を極値とすべく前記各ストライプを配列していることを特徴とする請求項1から請求項6のいずれか1項に記載の測定装置。
- 前記投影パターンでは、前記境界線を複数設けるとともに前記各境界線が交わらないこととし、かつ、前記投影パターン像において、前記第2方向での総画素数をαとし、前記境界線の本数をβとし、前記各ストライプを前記撮像部で撮像した各ストライプ像の前記第2方向での画素数をγとして、式(1)を満たすことを特徴とする請求項1から請求項7のいずれか1項に記載の測定装置。
α/β=m×(m−1)×γ ・・・(1) - 前記投影部は、無彩色の前記投影パターンを投影することを特徴とする請求項1から請求項8のいずれか1項に記載の測定装置。
- 前記投影部は、有彩色の前記投影パターンを投影することを特徴とする請求項1から請求項8のいずれか1項に記載の測定装置。
- 前記投影部は、R、G、Bの3つの色成分のそれぞれを単独で用いることで3種類の前記ストライプを形成して前記投影パターンを投影することを特徴とする請求項10に記載の測定装置。
- 第1方向に伸びる複数のストライプを前記第1方向に対して傾斜する第2方向に並列させた投影パターンを投影光軸上で測定対象に投影する投影部と、
前記投影光軸とは異なる撮像光軸で前記測定対象を撮像する撮像部と、
前記投影部で投影した前記投影パターンを前記撮像部で撮像した投影パターン像から三角測量法を用いて前記測定対象までの距離を算出する距離算出部と、を備え、
前記投影パターンは、mを2以上の自然数として、m値レベルの輝度値でコード化したm種類の前記ストライプを用いて、前記第2方向で隣接する2本の前記ストライプの組を重複させることなく配列して形成した複数の周期性領域を有し、
前記投影パターンでは、前記第1方向で見て異なるレベルの輝度値となる境界線を設け、前記境界線を前記投影パターンにおいて前記第1方向および前記第2方向に対して傾斜する直線状に形成していることを特徴とする測定装置。 - 投影部が測定対象に投影した投影パターンを撮像部で撮像した投影パターン像から三角測量法を用いて前記測定対象までの距離を算出する測定装置で用いる投影パターンであって、
第1方向に伸びる複数のストライプを前記第1方向に対して傾斜する第2方向に並列させて構成され、
mを3以上の自然数として、m値レベルの輝度値でコード化したm種類の前記ストライプをm×(m−1)本用いて、前記第2方向で隣接する2本の前記ストライプの組を重複させることなく配列して形成した複数の周期性領域を備え、
前記第1方向で見て異なるレベルの輝度値となる境界線が設けられ、
前記境界線が、前記第1方向および前記第2方向に対して傾斜する直線状に形成されていることを特徴とする投影パターン。 - 投影部が測定対象に投影した投影パターンを撮像部で撮像した投影パターン像から三角測量法を用いて前記測定対象までの距離を算出する測定装置で用いる投影パターンであって、
第1方向に伸びる複数のストライプを前記第1方向に対して傾斜する第2方向に並列させて構成され、
mを2以上の自然数として、m値レベルの輝度値でコード化したm種類の前記ストライプを用いて、前記第2方向で隣接する2本の前記ストライプの組を重複させることなく配列して形成した複数の周期性領域を備え、
前記第1方向で見て異なるレベルの輝度値となる境界線が設けられ、
前記境界線が、前記第1方向および前記第2方向に対して傾斜する直線状に形成されていることを特徴とする投影パターン。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014213088A JP2016080545A (ja) | 2014-10-17 | 2014-10-17 | 測定装置、投影パターン |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014213088A JP2016080545A (ja) | 2014-10-17 | 2014-10-17 | 測定装置、投影パターン |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016080545A true JP2016080545A (ja) | 2016-05-16 |
Family
ID=55958367
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014213088A Pending JP2016080545A (ja) | 2014-10-17 | 2014-10-17 | 測定装置、投影パターン |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016080545A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180041552A (ko) * | 2016-10-14 | 2018-04-24 | 울산대학교 산학협력단 | 단일 카메라와 멀티 라인 레이저 센서를 이용한 비접촉성 간격 측정 장치 및 그 방법 |
US10775502B2 (en) | 2016-11-10 | 2020-09-15 | Ricoh Company, Ltd | Distance-measuring apparatus, mobile object, robot, three-dimensional measuring device, surveillance camera, and distance-measuring method |
JP2021524908A (ja) * | 2018-05-03 | 2021-09-16 | ザ ガバニング カウンシル オブ ザ ユニバーシティ オブ トロント | 深度イメージングを最適化するための方法およびシステム |
-
2014
- 2014-10-17 JP JP2014213088A patent/JP2016080545A/ja active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180041552A (ko) * | 2016-10-14 | 2018-04-24 | 울산대학교 산학협력단 | 단일 카메라와 멀티 라인 레이저 센서를 이용한 비접촉성 간격 측정 장치 및 그 방법 |
KR101889497B1 (ko) * | 2016-10-14 | 2018-08-17 | 울산대학교 산학협력단 | 단일 카메라와 멀티 라인 레이저 센서를 이용한 비접촉성 간격 측정 장치 및 그 방법 |
US10775502B2 (en) | 2016-11-10 | 2020-09-15 | Ricoh Company, Ltd | Distance-measuring apparatus, mobile object, robot, three-dimensional measuring device, surveillance camera, and distance-measuring method |
JP2021524908A (ja) * | 2018-05-03 | 2021-09-16 | ザ ガバニング カウンシル オブ ザ ユニバーシティ オブ トロント | 深度イメージングを最適化するための方法およびシステム |
JP7296138B2 (ja) | 2018-05-03 | 2023-06-22 | ザ ガバニング カウンシル オブ ザ ユニバーシティ オブ トロント | 深度イメージングを最適化するための方法およびシステム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6796602B2 (ja) | 歯科用オブジェクトの3d測定のためのカメラおよび手法 | |
US11330243B2 (en) | System and method for 3D scanning | |
JP5576726B2 (ja) | 三次元計測装置、三次元計測方法、及びプログラム | |
JP6706904B2 (ja) | 3次元ディスプレイ装置のための補正係数決定方法及びその方法を用いた3次元ディスプレイ装置 | |
JP6484072B2 (ja) | 物体検出装置 | |
JP5742753B2 (ja) | 輝度測定装置 | |
KR101053506B1 (ko) | 어안 렌즈를 구비하는 카메라 모듈에 의해 획득된 영상의 왜곡 보정을 위한 파라미터 조정 방법 | |
EP2813827B1 (en) | Brightness measurement method, brightness measurement device, and image quality adjustment technology using same | |
CN111256662A (zh) | 位置信息取得装置、位置信息取得方法、记录介质以及位置信息取得*** | |
KR101783229B1 (ko) | 화상처리장치 및 그 제어 방법 | |
US10664957B2 (en) | Image projection system and control method for image projection system | |
US11073689B2 (en) | Method and system for calibrating a wearable heads-up display to produce aligned virtual images in an eye space | |
JP2016080545A (ja) | 測定装置、投影パターン | |
US11182918B2 (en) | Distance measurement device based on phase difference | |
KR20180038942A (ko) | 2d 사진술에 대한 길이 측정 방법 | |
JP2012194126A5 (ja) | ||
US20040258297A1 (en) | 3D color information acquisition method and 3D color information acquisition device | |
US10326954B2 (en) | Image sensor for focus detection | |
CN108538246A (zh) | 显示屏像素数据获取方法及装置、像素补偿方法及*** | |
JP5696107B2 (ja) | 画像処理装置、方法、及びプログラム、並びに、立体画像表示装置 | |
CN109756667B (zh) | 位置取得***、位置取得装置、位置取得方法以及记录介质 | |
JP2012068691A (ja) | 光学的情報読取装置 | |
JP2013084031A (ja) | マーカー、二次元コード、およびマーカーの認識方法、二次元コードの認識方法 | |
JP5743433B2 (ja) | 三次元形状計測装置 | |
JP5968370B2 (ja) | 三次元計測装置、三次元計測方法、及びプログラム |