JP2022046063A - 三次元形状計測方法および三次元形状計測装置 - Google Patents

三次元形状計測方法および三次元形状計測装置 Download PDF

Info

Publication number
JP2022046063A
JP2022046063A JP2020151912A JP2020151912A JP2022046063A JP 2022046063 A JP2022046063 A JP 2022046063A JP 2020151912 A JP2020151912 A JP 2020151912A JP 2020151912 A JP2020151912 A JP 2020151912A JP 2022046063 A JP2022046063 A JP 2022046063A
Authority
JP
Japan
Prior art keywords
light
grid pattern
captured image
dimensional shape
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020151912A
Other languages
English (en)
Inventor
宏貞 堀口
Hirosada Horiguchi
修司 成松
Shuji Narimatsu
浩 長谷川
Hiroshi Hasegawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2020151912A priority Critical patent/JP2022046063A/ja
Priority to CN202111044839.1A priority patent/CN114166149A/zh
Priority to US17/469,998 priority patent/US11610324B2/en
Publication of JP2022046063A publication Critical patent/JP2022046063A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/06Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
    • G01B11/0608Height gauges
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2509Color coding
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254Projection of a pattern, viewing through a pattern, e.g. moiré
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/586Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145Illumination specially adapted for pattern recognition, e.g. using gratings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12Acquisition of 3D measurements of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

【課題】対象物の形状によらず、対象物の三次元形状を高い計測精度でかつ高速で計測可能な三次元形状計測方法および三次元形状計測装置を提供する。【解決手段】光の三原色に含まれる2色の光を第1の光および第2の光とするとき、第1の光による第1格子パターンおよび第2の光による第2格子パターンを、互いに交差させて対象物に投影するステップS102と、対象物に投影されている第1格子パターンおよび第2格子パターンを、3色カメラで撮像し、第1の光による第1撮像画像および第2の光による第2撮像画像を得るステップS104と、第1撮像画像および第2撮像画像の少なくとも一方について、格子像の位相解析を行いS107、対象物の高さ情報を算出するステップS109と、を有する三次元形状計測方法。【選択図】図4

Description

本発明は、三次元形状計測方法および三次元形状計測装置に関するものである。
物体の三次元表面形状を計測する方法として、光学的手法を用いた格子投影法が知られている。
特許文献1には、物体面の格子像をカメラにより撮影して得られた撮影像により、物体面の位置を計測する計測方法が開示されている。この計測方法は、格子像の格子の1周期がN画素に合わせられた状態で、カメラにより撮影した撮影像を入力する工程と、入力した撮影像の連続する複数画素を抽出する工程と、抽出した複数画素の画像からN画素を1周期とする周波数成分の位相を求める工程と、位相により物体面の位置を求める工程と、を有している。なお、Nは、2より大きい整数である。
この計測方法は、格子像1周期分の画像データから格子像の位相を解析することによって、物体面の三次元表面形状を計測する方法である。格子像1周期分の画像データから位相を解析する方法を、特に「1ピッチ位相解析法(OPPA法)」という。1ピッチ位相解析法によれば、1枚の撮影像から位相分布を高速に解析することができる。
国際公開第2016/001985号
特許文献1に記載のような格子像1周期分の画像データから格子像の位相を解析する計測方法では、計測分解能に異方性がある。具体的には、格子の方向と平行な方向では、計測分解能がカメラの1画素相当であるのに対し、格子像の方向と直交する方向では、計測分解能が格子像1周期相当にまで低下する。したがって、物体の形状によっては、十分な計測精度が得られないという課題がある。
本発明の適用例に係る三次元形状計測方法は、
光の三原色に含まれる2色の光を第1の光および第2の光とするとき、前記第1の光による第1格子パターンおよび前記第2の光による第2格子パターンを、互いに交差させて対象物に投影するステップと、
前記対象物に投影されている前記第1格子パターンおよび前記第2格子パターンを、3色カメラで撮像し、前記第1の光による第1撮像画像および前記第2の光による第2撮像画像を得るステップと、
前記第1撮像画像および前記第2撮像画像の少なくとも一方について、格子像の位相解析を行い、前記対象物の高さ情報を算出するステップと、
を有することを特徴とする。
本発明の適用例に係る三次元形状計測装置は、
光の三原色に含まれる2色の光を第1の光および第2の光とするとき、前記第1の光による第1格子パターンおよび前記第2の光による第2格子パターンを、互いに交差させて対象物に投影するプロジェクターと、
前記対象物に投影されている前記第1格子パターンおよび前記第2格子パターンを撮像し、前記第1の光による第1撮像画像および前記第2の光による第2撮像画像を得る3色カメラと、
前記第1撮像画像および前記第2撮像画像の少なくとも一方について、格子像の位相解析を行い、前記対象物の高さ情報を算出する演算部と、
を有することを特徴とする。
第1実施形態に係る三次元形状計測装置の概略図である。 図1の三次元形状計測装置の光学系を模式的に示す側面図である。 図1の三次元形状計測装置の光学系を模式的に示す上面図である。 第1実施形態に係る三次元形状計測方法を説明するためのフローチャートである。 プロジェクターで投影された格子パターンをカメラで撮像し、第1の光の成分を分離して得られた撮像画像である。 プロジェクターで投影された格子パターンをカメラで撮像し、第2の光の成分を分離して得られた撮像画像である。 プロジェクター画素の配列方向をx軸およびy軸に対して傾けた場合の第1格子パターンおよび第2格子パターンを示す模式図である。 平面上に置いた4つの棒状体に、一方向の格子パターンのみを投影したときの撮像画像の例である。 平面上に置いた4つの棒状体に、一方向の格子パターンのみを投影したときの撮像画像の例である。 図8に示す撮像画像から求めた高さ情報の分布を、一部で切り出して作成したグラフである。 図9に示す撮像画像から求めた高さ情報の分布を、一部で切り出して作成したグラフである。 1ピッチ格子で得られた輝度値データセットと、位相をずらしながら生成した複数の正弦波と、の相関性を求める手順を説明するための図である。 図12の表から算出した、各カメラ画素における輝度値データセットDSと複数の正弦波との相関係数の絶対値と、その中の最大値と、を示す表である。 第2実施形態に係る三次元形状計測方法を説明するためのフローチャートである。 プロジェクターで投影された第1格子パターン、第2格子パターンおよび全画素照射パターンをカメラで撮像し、第3の光の成分を分離して得られた撮像画像である。
以下、本発明の三次元形状計測方法および三次元形状計測装置を添付図面に示す実施形態に基づいて詳細に説明する。
1.第1実施形態
まず、第1実施形態に係る三次元形状計測方法および三次元形状計測装置について説明する。
1.1.装置構成
図1は、第1実施形態に係る三次元形状計測装置の概略図である。なお、図1では、互いに直交する3つの軸として、x軸、y軸およびz軸を設定している。各軸は矢印で表され、先端側を「プラス側」、基端側を「マイナス側」とする。なお、以下の説明では、z軸のマイナス側を特に「上」とし、z軸のプラス側を「下」としている。また、z軸に沿った位置を「高さ」といい、x-y面内における位置を単に「位置」という。
図1に示す三次元形状計測装置1は、基準面91上に設けられた物体9(対象物)の表面、すなわち物体面92の位置および高さを算出し、三次元形状を計測する装置である。三次元形状の計測には、格子投影法を用いる。格子投影法では、格子パターンを物体9に投影し、その状態を撮像して得られた撮像画像に対して位相解析を行う。位相解析を行うことで、各画素での格子パターンの位相を求めることができる。そして、この位相から高さ情報を算出することにより、物体面92の三次元形状が求められる。
図1に示す三次元形状計測装置1は、プロジェクター2と、カメラ3と、制御装置4と、を備えている。また、図1には、上面が基準面91である載置台90と、基準面91上に載置された物体9と、を図示している。
プロジェクター2は、光の三原色である赤色(R)、緑色(G)および青色(B)のうち、少なくとも2色の光を出射し、所望のパターンを投影する機能を有する。なお、本明細書で「色」とは、この光の三原色のいずれかの色を指している。また、本明細書では、必要に応じて、光の三原色を「RGB」ということがある。
図1に示すプロジェクター2は、光源21と、液晶表示素子のような光変調素子22と、レンズ23と、を備えている。なお、図1に示すプロジェクター2は、実際の構造を簡素化したものであり、例えば実際の光変調素子22は、複数に分かれているという点で図1と相違していることがある。
プロジェクター2では、光源21から出射した光を、光変調素子22によって空間変調することにより、格子パターンを形成する。この格子パターンを、レンズ23を介して物体9に投影する。プロジェクター2は、制御装置4と電気的に接続されている。これにより、プロジェクター2から投影される格子パターンの色や方向、ピッチ等を制御装置4で制御することができる。なお、以下の説明では、光変調素子22の画素を「プロジェクター画素」ともいう。
カメラ3は、光の三原色の輝度を各画素で検出し、得られた輝度値の二次元分布を取得する機能を有する3色カメラである。
図1に示すカメラ3は、撮像素子31と、レンズ32と、を備えている。なお、図1に示すカメラ3は、実際の構造を簡素化したものであり、例えば実際の撮像素子31は、複数に分かれている場合があるという点で図1と相違していることがある。
カメラ3では、物体9に投影されている格子パターンを、レンズ32を介して撮像素子31で撮像する。カメラ3は、制御装置4と電気的に接続されている。カメラ3で撮像した撮像画像は、制御装置4に送信され、位相解析に供される。なお、以下の説明では、撮像素子31の画素を「カメラ画素」ともいう。
制御装置4は、制御部41と、演算部42と、記憶部43と、表示部44と、を備えている。
制御部41は、プロジェクター2による格子パターンの投影や、カメラ3による格子パターンの画像の撮像といった作動を、互いに協調させつつ制御する。
演算部42は、撮像画像に対して位相解析を行う。これにより、各カメラ画素での格子パターンの位相を求め、物体面92の三次元形状を算出する。
記憶部43は、プロジェクター2に投影する格子パターンの制御データ、カメラ3で撮像した撮像画像、演算部42による演算結果等を記憶する。
表示部44は、必要に応じて設けられ、カメラ3の撮像画像、演算部42による演算結果等を表示する。
制御部41、演算部42および記憶部43の一部または全部は、情報を処理するプロセッサーと、プログラムやデータを記憶するメモリーと、外部インターフェースと、を有するハードウェアで構成される。プロセッサーは、メモリーに記憶された各種プログラムやデータを読み込んで実行することにより、各機能を実現する。
プロセッサーとしては、例えば、CPU(Central Processing Unit)、DSP(Digital Signal Processor)等が挙げられる。メモリーとしては、例えば、RAM(Random Access Memory)等の揮発性メモリー、ROM(Read Only Memory)等の不揮発性メモリー、着脱式の外部記憶装置等が挙げられる。外部インターフェースとしては、例えば有線LAN(Local Area Network)、無線LAN等が挙げられる。
また、制御部41および演算部42の一部または全部は、LSI(Large Scale Integration)、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)等のハードウェアによって実現されてもよい。
以上のような三次元形状計測装置1では、後に詳述するが、少なくとも2色の光を用いて、方向が互いに異なる2つの格子パターンを物体9に同時に投影する。次いで、物体9に投影された格子パターンを撮像し、色ごとに、格子像の位相解析を行う。そして、少なくとも一方の色の撮像画像から得られた解析結果を用いて、物体面92の三次元形状を求める。
格子像の位相解析方法の一例として、1ピッチ位相解析法がある。その原理については、国際公開第2016/001985号明細書に記載されている。
1ピッチ位相解析法では、プロジェクター2の光学系およびカメラ3の光学系が、基準面91に対してそれぞれ平行になっている。このような光学系をモアレトポグラフィー光学系ともいう。かかる光学系によれば、物体9に投影された格子パターンをカメラ3で撮像して得られる撮像画像上では、物体面92の高さに関係なく、格子パターンの周期は一定になる。一方、物体面92の高さによって、カメラ画素での格子パターンの位相が変わることになる。したがって、1ピッチ位相解析法により、各カメラ画素の座標および各カメラ画素での格子パターンの位相を解析することで、物体面92の三次元形状を求めることができる。
また、1ピッチ位相解析法のような位相解析方法では、1枚の撮像画像における1つの格子ピッチの輝度分布から位相解析を行うことができる。このため、物体9が動いている場合でも、位相分布を求めることができる点で有用である。これに対し、例えば位相シフト法のように複数枚の撮像画像が必要な解析法の場合には、動いている物体9について三次元形状計測を精度よく行うことは難しい。
図2は、図1の三次元形状計測装置1の光学系を模式的に示す側面図である。
図2に示すように、三次元形状計測装置1では、プロジェクター2のレンズ23の中心から広がるように格子パターンが投影される。ここでは、レンズ23の中心をプロジェクター2の主点O2とする。また、カメラ3の撮像範囲も、レンズ32の中心から広がるような範囲となる。ここでは、レンズ32の中心をカメラ3の主点O1とする。
図2では、多数の直線によって、格子パターンを模式的に表現している。格子パターンを表す直線のうち、実線は、例えば格子パターンの輝度が高い領域を投影している光の光路を示し、破線は、格子パターンの輝度が低い領域を投影している光の光路を示している。
この図2から分かるように、三次元形状計測装置1の光学系では、基準面91や物体面92がどの高さにあっても、カメラ3の撮像画像には、格子パターンの1周期が同じ大きさで映る。つまり、撮像画像における格子パターンの1周期の大きさは、プロジェクター2やカメラ3の内部のパラメーターによって定まり、基準面91や物体面92までの距離には影響されない。したがって、この光学系によれば、基準面91や物体面92までの距離によらず、物体9の三次元形状計測を行うことができる。
図3は、図1の三次元形状計測装置1の光学系を模式的に示す上面図である。
図3に示すように、三次元形状計測装置1では、上方から見たとき、プロジェクター2の主点O2およびカメラ3の主点O1が、x軸に沿った離間距離vxおよびy軸に沿った離間距離vyを隔てて配置されている。これにより、前述したように、方向が互いに異なる2つの格子パターンを物体9に同時に投影し、これを撮像する場合でも、x軸方向およびy軸方向の双方で、図2に示すモアレトポグラフィー光学系を構成することができる。その結果、2つの格子パターンの撮像画像を解析することにより、2つの撮像画像から解析結果を同時に得ることができる。これにより、前述したように物体9が動いている場合でも、2つの撮像画像から得た解析結果を利用することが可能になり、三次元形状計測を高速に精度よく行うことができる。
1.2.計測方法
次に、第1実施形態に係る三次元形状計測方法について説明する。
図4は、第1実施形態に係る三次元形状計測方法を説明するためのフローチャートである。
図4に示す三次元形状計測方法は、投影ステップS102と、撮像ステップS104と、演算ステップS106と、を有する。
1.2.1.投影ステップ
投影ステップS102では、まず、光の三原色に含まれる2色の光でそれぞれ格子パターンを作成し、プロジェクター2で投影する。なお、本明細書では、光の三原色に含まれる3色の光を、第1の光、第2の光および第3の光という。
図5は、プロジェクター2で投影された格子パターンをカメラ3で撮像し、第1の光の成分を分離して得られた撮像画像である。また、図6は、プロジェクター2で投影された格子パターンをカメラ3で撮像し、第2の光の成分を分離して得られた撮像画像である。図5および図6には、格子パターンの方向を定義するx軸およびy軸を表す矢印と、カメラ3の画素間を表す破線と、を併せて図示している。破線で囲まれた四角形が、カメラ画素30に対応している。
また、図5および図6では、カメラ画素30の座標を(i,j)とする。撮像素子31のi軸と格子パターンの方向を規定しているx軸とが重なり、撮像素子31のj軸と格子パターンの方向を規定しているy軸とが重なるように、光学系が設定されている。
ここで、図5および図6では、第1の光による一次元格子の格子パターンを「第1格子パターン51」とし、第2の光による一次元格子の格子パターンを「第2格子パターン52」とする。
第1格子パターン51は、y軸に沿って延在する一次元格子である。具体的には、第1格子パターン51は、第1の光が相対的に低い輝度で照射されている帯状の領域511を複数有している。この帯状の領域511は、y軸と平行に延在し、かつ、x軸に沿って一定の間隔で並んでいる。また、第1格子パターン51は、領域511同士の間に位置し、第1の光が相対的に高い輝度で照射されている帯状の領域512を複数有している。領域511の幅および領域512の幅は、互いに同じである。
第2格子パターン52は、x軸に沿って延在する一次元格子である。具体的には、第2格子パターン52は、第2の光が相対的に低い輝度で照射されている帯状の領域521を複数有している。この帯状の領域521は、x軸と平行に延在し、かつ、y軸に沿って一定の間隔で並んでいる。また、第2格子パターン52は、領域521同士の間に位置し、第2の光が相対的に高い輝度で照射されている帯状の領域522を複数有している。領域521の幅および領域522の幅は、互いに同じである。
なお、第1格子パターン51の格子ピッチと、第2格子パターン52の格子ピッチとは、異なっていてもよいが、同じであるのが好ましい。これにより、双方のパターンによる計測のダイナミックレンジが同じになるため、計測を行いやすく、計測結果も取り扱いやすいものとなる。
一方、格子パターンの1周期に対応するプロジェクター画素の画素数は、特に限定されない。つまり、領域511、512、521、522の幅に対応するプロジェクター画素の画素数は、1であっても、2以上であってもよい。
本実施形態では、第1格子パターン51の方向と第2格子パターン52の方向が、互いに直交しているが、直交していなくても交差していれば本実施形態の効果を奏することができる。
また、本実施形態では、前述したように、格子パターンのx軸と撮像素子31のi軸とが対応し、格子パターンのy軸と撮像素子31のj軸とが対応している。ただし、プロジェクター2のプロジェクター画素の配列方向については、x軸およびy軸に対して傾いていてもよい。
図7は、プロジェクター画素20の配列方向をx軸およびy軸に対して傾けた場合の第1格子パターン51および第2格子パターン52を示す模式図である。
図7では、プロジェクター画素20の配列方向を第1格子パターン51および第2格子パターン52に対して傾けている。換言すれば、プロジェクター2の配列方向に対して、x軸およびy軸が傾いている。
この場合でも、プロジェクター画素20の配列方向に対して斜めに傾けるように第1格子パターン51および第2格子パターン52を作成し、投影する。これにより、前述したように、格子パターンのx軸と撮像素子31のi軸とを対応させ、かつ、格子パターンのy軸と撮像素子31のj軸とを対応させることができる。その結果、本実施形態の効果を奏することができる。
続いて、位相解析の対象となる格子パターン1周期分の範囲について説明する。
本実施形態では、カメラ画素30において連続したN画素に、格子パターンの1周期が映るように、プロジェクター2およびカメラ3で構成される光学系が設定されている。Nは3以上の整数である。
図5および図6の例では、第1格子パターン51が、x軸に沿って連続したカメラ画素30の8つ分の長さの周期を有し、第2格子パターン52は、y軸に沿って連続したカメラ画素30の8つ分の長さの周期を有している。したがって、図5および図6の例では、カメラ画素30の8つ分と、第1格子パターン51の1周期と、が一致するように光学系が設定されている。また、図5および図6の例では、カメラ画素30の8つ分と、第2格子パターン52の1周期と、が一致するように光学系が設定されている。このように、三次元形状計測装置1では、プロジェクター2で投影される格子パターンの1周期が、カメラ画素30の整数倍分の長さになるように、光学系が設定されている。
第1の光および第2の光は、前述したように、RGBのうち、少なくとも2色の光である。投影ステップS102では、これらを同時に照射することで、第1格子パターン51および第2格子パターン52を同時に投影する。
第1の光および第2の光は、光の三原色のうちの2色の光であるため、これらを重ねて照射しても3色カメラであるカメラ3で分離することができる。このため、2色の光を用いても、高速での計測が可能になる。
このような理由から、プロジェクター2は、3色分離プロジェクターであるのが好ましい。3色分離プロジェクターは、全てのプロジェクター画素で3色の光を独立して出射可能であるため、第1の光による第1格子パターン51および第2の光による第2格子パターン52を同時に投影する機能を有する。このため、カメラ3で第1の光による撮像画像および第2の光による撮像画像を同時に取得し、制御装置4で、2つの撮像画像を解析することにより、2つの撮像画像から独立した情報を取得することができる。
3色分離プロジェクターとしては、特に3板式のプロジェクターが好ましく用いられる。3板式のプロジェクターは、3色の光にそれぞれ対応する3つの光変調素子22を備えている。このため、全てのプロジェクター画素で、3色の光を互いに独立して光変調し、位置精度よく照射することが可能になる。
具体的な3板式のプロジェクターとしては、例えば、透過型3LCD方式、反射型3LCD方式、3チップDLP方式等が挙げられる。透過型3LCD方式は、3つの透過型LCD素子を用いた方式であり、反射型3LCD方式は、3つの反射型LCD素子を用いた方式である。LCDは、Liquid Crystal Displayを指す。また、3チップDLP方式は、3つのDMDを用いて3つの光を個別に走査可能な光学系を用いた方式である。DLPは、Digital Light Processingを指し、DMDは、Digital Micromirror Deviceを指す。
なお、プロジェクター2では、前述したように、全てのプロジェクター画素について3色の光を互いに独立して照射することが望ましいが、複数のプロジェクター画素からなる画素群を1つのプロジェクター画素とみなすことができる場合には、光変調素子22が1つであってもよい。この場合、最終的に得られる三次元形状の計測精度は低下するものの、計測は可能である。
1.2.2.撮像ステップ
撮像ステップS104では、物体9に投影されている第1格子パターン51および第2格子パターン52を、カメラ3で撮像する。撮像によって得られた第1撮像画像および第2撮像画像は、カメラ3から演算部42に伝送する。
カメラ3は、前述したように、第1撮像画像と第2撮像画像とを個別かつ同時に取得する機能を有する3色カメラである。これにより、第1格子パターン51と第2格子パターン52とが同時に投影されていても、これらを分離した画像データを取得することができる。その結果、第1撮像画像および第2撮像画像のそれぞれに基づいて、後述するステップで位相解析を行うことができる。
このような理由から、カメラ3(3色カメラ)は、3板式の撮像素子31を有することが好ましい。3板式の撮像素子31は、第1の光、第2の光および第3の光にそれぞれ対応する。このため、全ての撮像画素で、第1の光、第2の光および第3の光について互いに独立して位置精度よく輝度値を取得することができる。
なお、3板式の撮像素子31の具体例としては、3CMOS方式、3CCD方式、垂直色分離方式等が挙げられる。3CMOS方式は、3つのCMOSセンサーを用いた方式である。CMOSは、Complementary Metal Oxide Semiconductor(相補性金属酸化膜半導体)を指す。また、3CCD方式は、3つのCCDセンサーを用いた方式である。CCDは、Charge Coupled Device(電荷結合素子)を指す。
垂直色分離方式は、3層の受光層を積層した撮像素子を用いた方式である。具体例として、Foveon(登録商標)等が挙げられる。
なお、カメラ3では、前述したように、全てのカメラ画素で3色の光について互いに独立に輝度値を取得することが望ましいが、複数のカメラ画素からなる画素群を1つのカメラ画素とみなすことができる場合には、撮像素子31が1つであってもよい。この場合、最終的に得られる三次元形状の計測精度は低下するものの、計測は可能である。
一方、本実施形態では、前述した投影ステップS102より以前に、物体9を配置していない基準面91に対して、投影ステップS102および撮像ステップS104と同様の工程を行っておく。これにより、基準面91についての撮像画像を演算部42に送るとともに、撮像画像または演算結果を記憶部43において記憶しておく。
1.2.3.演算ステップ
演算ステップS106は、さらに、位相解析ステップS107と、データ選別ステップS108と、形状算出ステップS109と、を有している。
1.2.3.1.位相解析ステップ
位相解析ステップS107では、まず、演算部42が撮像画像に対して位相解析を行う。本実施形態では、既知の1ピッチ位相解析(OPPA:One-Pitch Phase Analysis)法により、位相解析を行う。
具体的には、まず、第1格子パターン51を撮像した第1撮像画像および第2格子パターン52を撮像した第2撮像画像から、それぞれ格子パターン1周期分の輝度値を抽出する。
図5では、一例として、x軸、y軸の原点を含み、x軸に沿って連続する8画素について注目している。この8画素を「1ピッチ格子OP1」という。この1ピッチ格子OP1が、第1格子パターン51についての、前述した1周期分の範囲に相当する。
また、図6では、一例として、x軸、y軸の原点を含み、y軸に沿って連続する8画素について注目している。この8画素を「1ピッチ格子OP2」という。この1ピッチ格子OP2が、第2格子パターン52についての、前述した1周期分の範囲に相当する。
1ピッチ位相解析法では、1ピッチ格子OP1の各カメラ画素30で得られた輝度値データのセットを、1カメラ画素ずつ、x軸に沿ってシフトさせながら、順次、位相解析を行う。x軸に沿ったシフトが全て終わったら、続いて、1ピッチ格子OP1の各カメラ画素30で得られた輝度値データのセットを、1カメラ画素ずつ、y軸に沿ってシフトさせながら、順次、位相解析を行う。
また、1ピッチ格子OP2の各カメラ画素30で得られた輝度値データのセットを、1カメラ画素ずつ、y軸に沿ってシフトさせながら、順次、位相解析を行う。y軸に沿ったシフトが全て終わったら、続いて、1ピッチ格子OP2の各カメラ画素30で得られた輝度値データのセットを、1カメラ画素ずつ、x軸に沿ってシフトさせながら、順次、位相解析を行う。
なお、これらの工程の順序は、上記に限定されず、変更してもよい。このようにして、全てのカメラ画素30で位相情報を取得することができる。
1ピッチ格子OP1の位相解析で得られた第1位相情報は、1ピッチ格子OP1中の1つの代表カメラ画素の座標に対応させた状態で、制御装置4の記憶部43に記憶させる。同様に、1ピッチ格子OP2の位相解析で得られた第2位相情報は、1ピッチ格子OP2中の1つの代表カメラ画素に対応させた状態で、制御装置4の記憶部43に記憶させる。
ここで、本実施形態では、第1格子パターン51およびそれに直交する第2格子パターン52の双方を用いている。以下、その意義について説明する。
図8および図9は、平面上に置いた4つの棒状体に、一方向のみの格子パターンを投影したときの撮像画像の例である。なお、図8と図9とで、棒状体の向きがほぼ90°異なっている。このため、図8では、格子パターンの方向と、棒状体の長手方向と、がほぼ平行になっている。これに対し、図9では、格子パターンの方向と、棒状体の長手方向と、がほぼ垂直になっている。なお、図8および図9に示すように、4つの棒状体は、幅が1mm、2mm、3mm、4mmのものである。また、格子パターンのピッチは1.7mmである。
図10および図11は、図8および図9に示す撮像画像から求めた高さ情報の分布を、一部で切り出して作成したグラフである。
図10および図11を比較すると、図10では、高さ情報の変化を示す段差の形状が鈍っており、棒状体の面内における位置の計測分解能が低いことがわかる。図10では、理論的には、第1格子パターン51の1周期分の長さが計測分解能になる。
これに対し、図11では、高さ情報の変化を示す段差の形状が明瞭であり、棒状体の面内における位置の計測分解能が十分に高いことがわかる。図11では、理論的には、カメラ画素の大きさが計測分解能になる。
これらを踏まえると、物体9の形状と、格子パターンの方向と、の関係によって、計測分解能が左右されることがわかる。
そこで、本実施形態では、各カメラ画素において、第1撮像画像および第2撮像画像の双方で輝度値データを取得する。これにより、カメラ画素ごとにいずれか一方の撮像画像を選択して位相解析を行う、というデータの選択が可能になる。その結果、物体9の形状によらず、物体面92の三次元形状を高い精度で計測することができる。
1.2.3.2.データ選別ステップ
データ選別ステップS108では、演算部42が、各カメラ画素について、第1撮像画像の輝度値データと、第2撮像画像の輝度値データと、を比較する。そして、信頼性の高い方の輝度値データを選択するためのマップを作成する。演算部42は、得られたマップに基づき、後述するステップで、選択した方の撮像画像を用いて高さ情報を算出する。このような輝度値データの選別をカメラ画素ごとに行うことで、最終的に信頼性の高い計測結果を求めることができる。
上記の選択における選択基準は、最終的に精度の高い高さ情報を算出し得ること、すなわち輝度値データの信頼性である。この信頼性の良否を評価する例として、本実施形態では、1ピッチ格子OP1の各カメラ画素で得られた輝度値データセットと、第1格子パターン51の周期で位相をずらしながら計算によって生成した正弦波と、の相関性、および、1ピッチ格子OP2の各カメラ画素で得られた輝度値データセットと、第2格子パターン52の周期で位相をずらしながら計算によって作成した正弦波と、の相関性が挙げられる。この相関性は、輝度値データセットが、第1格子パターン51の輝度分布を表す正弦波に対してどの程度近い分布を有しているかを評価する指標となる。
したがって、本ステップでは、まず、1ピッチ格子OP1の輝度値データセットについての正弦波との相関性と、1ピッチ格子OP2の輝度値データセットについての正弦波との相関性と、を比較するという作業を行う。その後、比較結果に基づいて、データ選別用マップを作成する。
以下、相関性を求めるより具体的な手順について説明する。
図12は、1ピッチ格子で得られた輝度値データセットと、位相をずらしながら生成した複数の正弦波と、の相関性を求める手順を説明するための図である。
図12には、一例として、y軸方向に連続する35カメラ画素分の輝度値データを示している。このうち、y=0からy=9までの10カメラ画素分を1ピッチ格子OP1とする。そして、1ピッチ格子OP1分の輝度値データを輝度値データセットDSとする。したがって、図12の例では、格子パターンの1周期が10カメラ画素分の長さである。
一方、図12では、10カメラ画素分の長さを1周期とする正弦波を計算により生成し、カメラ座標ごとの振幅値を記載している。この正弦波は、図12に示すように、S(y)=sin{2π/10(y+φ)}で表される。このとき、S(y)が振幅値、φが正弦波の位相である。この位相を、例えば0.5カメラ画素分ずつ振ることにより、位相の異なる複数の正弦波を生成することができる。図12には、一例として、φ=0からφ=9.5まで、0.5カメラ画素ずつ位相を振った複数の正弦波の振幅値S(y)を示している。なお、位相の振り幅は、特に限定されず、1カメラ画素分またはそれ未満であってもよいし、0.5カメラ画素分未満であってもよい。
次に、輝度値データセットDSと、複数の正弦波と、の間で相関性を求め、比較する。図12では、複数の正弦波のうち、輝度値データセットDSと比較する範囲を「比較対象C」とする。相関性を求めるにあたっては、輝度値データセットDSと、比較対象C中の各正弦波と、の相関係数を算出する。なお、本実施形態では、相関係数を算出するときの参照波として正弦波を用いているが、周期が同じであれば、正弦波に代えて、その他の波を用いるようにしてもよい。
図13は、図12の表から算出した、各カメラ画素における輝度値データセットDSと複数の正弦波との相関係数の絶対値と、その中の最大値と、を示す表である。
前述した手順で算出した輝度値データセットDSと正弦波との相関係数の絶対値およびその最大値は、図13に示す表のうち、y=0の行に示している。
y=0に数値を入れたら、続いて、図12に示す輝度値データセットDSおよび比較対象Cをそれぞれy軸プラス側に1つシフトさせる。そして、再び、相関係数の絶対値およびその最大値を算出し、算出結果を図13に示す表のうちのy=1の行に示す。
この作業を、図13に示すy=25の行まで繰り返すことにより、図13に示す表を作成する。なお、図12に示すφ=5.0~9.5の正弦波は、φ=0~4.5の正弦波を反転させたものであるため、それを踏まえて、図13では、輝度値データセットDSとφ=5.0~9.5の正弦波との相関関数については省略している。以下の説明では、相関係数の絶対値を、単に相関係数という。
このようにして算出した最大値を、各カメラ画素における相関係数として採用する。
また、これと同様にして、1ピッチ格子OP2についても、相関係数およびその最大値を算出する。
以上のような手順を経て、1ピッチ格子OP1から算出した相関係数の最大値、および、1ピッチ格子OP2から算出した相関係数の最大値を、カメラ画素ごとに算出することができる。
したがって、本ステップでは、各カメラ画素で、1ピッチ格子OP1から算出した相関係数の最大値と、1ピッチ格子OP2から算出した相関係数の最大値と、を比較する。そして、高い方を記憶部43に記憶する。つまり、記憶部43には、前述した第1位相情報と第2位相情報のどちらを用いて最終的な高さ情報を得るべきかという「選択先」が、各カメラ画素の座標と関連付けた状態で記憶される。
なお、あらかじめしきい値(基準値)を設けておき、1ピッチ格子OP1から算出した相関係数の最大値と1ピッチ格子OP2から算出した相関係数の最大値の双方がしきい値よりも低い場合には、そのカメラ画素では、最終的な高さ情報を出力しないようにしてもよい。この場合、記憶部43に記憶される「選択先」には、第1位相情報と第2位相情報のいずれも指定しない。そうなると、そのカメラ画素では、高さ情報が存在しないことになるが、誤差の大きい高さ情報が含まれているよりは、誤差の大きい高さ情報をあらかじめ除外しておいた方が、三次元形状データとしての利用しやすさが向上するため、有用である。
なお、図13では、一例として、相関係数の最大値のしきい値を0.95に設定している。そして、相関係数の最大値が0.95未満になっている欄には、ドットを付している。また、特に、相関係数の最大値が0.90未満になっている欄には、相対的に密なドットを付している。一例として、これらの欄に該当するカメラ画素の情報が除外の対象となり得る。
一方、演算部42は、1ピッチ格子OP1から算出した相関係数と1ピッチ格子OP2から算出した相関係数の双方がしきい値以上になった場合に、双方を記憶部43に記憶する。この場合、記憶部43に記憶される「選択先」として、第1位相情報と第2位相情報の双方が指定される。
以上のようにして、記憶部43には、各カメラ画素の座標と、「選択先」の情報と、が関連付けられ、「データ選別用マップ」として記憶される。
1.2.3.3.形状算出ステップ
形状算出ステップS109では、演算部42が、物体面92についての第1位相情報と、基準面91についての第1位相情報と、を比較して位相差を求める。そして、この位相差から、基準面91から物体面92までの第1高さ情報を算出する。
同様に、演算部42は、物体面92についての第2位相情報と、基準面91についての第2位相情報と、を比較して位相差を求める。そして、これらの位相差から、基準面91から物体面92までの第2高さ情報を算出する。
その上で、前述したデータ選別用マップで指定された選択先に基づいて、カメラ画素ごとに、第1高さ情報および第2高さ情報の中から1つまたは2つを選択する。これにより、最終的な出力用の高さ情報を得る。なお、第1高さ情報と第2高さ情報の双方を選択したときには、例えば2つの高さ情報の中間値を算出し、これを最終的な出力用の高さ情報とすればよい。
また、データ選別用マップを適用するタイミングは、上記のタイミングに限定されない。例えば、第1位相情報および第2位相情報を算出する前のタイミングであってもよいし、位相差を算出するタイミングであってもよいし、高さ情報を算出するタイミングであってもよい。
このようにして、物体面92の三次元形状が求められる。
以上、本実施形態に係る三次元形状計測方法について説明したが、この方法に用いられる第1の光の色、および、第2の光の色は、物体9の色に応じて適宜選択される。例えば、上記の三次元形状計測方法を行う前に、あらかじめ、形状が既知の物体に、光の色をRGBに順次変えつつ、三次元形状を計測する。そして、計測精度が最も高い色を、その物体色に適した光の色として用いるようにすればよい。
なお、第1の光または第2の光として、2色の光を併用するようにしてもよい。例えば、第1の光として赤色光および緑色光を用い、第2の光として青色光を用いるようにしてもよい。この場合、赤色光による第1撮像画像と、緑色光による第1撮像画像と、青色光による第2撮像画像と、が得られることになる。そして、2つの第1撮像画像および第2撮像画像のうち、いずれかを選択して位相解析を行うことにより、物体面92の三次元形状をより高い精度で計測することができる。また、2つの第1撮像画像の間でも、相関性に基づいたデータの選別を行うことで、計測精度をさらに高めることができる。
また、第1の光および第2の光に対するRGBの割り振り方は、特に限定されない。一例を挙げると、第1の光として赤色光を用い、第2の光として青色光を用い、緑色光を使用しない組み合わせであってもよいし、第1の光として赤色光を用い、第2の光として青色光および緑色光を用いる組み合わせであってもよい。
以上のように、本実施形態に係る三次元形状計測方法は、前述したように、投影ステップS102と、撮像ステップS104と、演算ステップS106と、を有する。投影ステップS102は、光の三原色に含まれる2色の光を第1の光および第2の光とするとき、第1の光による第1格子パターン51および第2の光による第2格子パターン52を、互いに交差させて物体9(対象物)に投影する。撮像ステップS104は、物体9に投影されている第1格子パターン51および第2格子パターン52を、カメラ3(3色カメラ)で撮像し、第1の光による第1撮像画像および第2の光による第2撮像画像を得る。演算ステップS106は、第1撮像画像および第2撮像画像の少なくとも一方について、格子像の位相解析を行い、物体9の高さ情報を算出する。
このような構成によれば、互いに交差する第1格子パターン51および第2格子パターン52を用い、それぞれの格子像の位相解析を行うため、物体9の形状によらず、物体9の三次元形状を高速で計測することができる。このため、例えば物体9が動いている場合でも、三次元形状を高い精度で計測することができる。
また、演算ステップS106では、まず、同一画素について、第1撮像画像における輝度値と第1格子パターン51との相関性、および、第2撮像画像における輝度値と第2格子パターン52との相関性、を算出する。次に、算出した2つの相関性を比較する。そして、相関性が高い方の撮像画像を用いて、位相解析を行う。
このような構成によれば、信頼性の高い撮像画像について位相解析を行うことができるので、三次元形状をより高い精度で計測することができる。具体的には、例えば、格子像の位相解析に必要な、格子パターン1周期分の輝度値データを得ることができない撮像画像について、位相解析に供しないという選別を行うことができるので、異常な高さ情報が排除された計測結果を得ることができる。このような計測結果は、異常値が少ないため、利用しやすいという点で有用である。
また、本実施形態に係る三次元形状計測装置1は、前述したように、プロジェクター2と、カメラ3(3色カメラ)と、演算部42と、を有している。プロジェクター2は、第1の光による第1格子パターン51および第2の光による第2格子パターン52を、互いに交差させて物体9(対象物)に投影する。カメラ3は、物体9に投影されている第1格子パターン51および第2格子パターン52を撮像し、第1の光による第1撮像画像および第2の光による第2撮像画像を得る。演算部42は、第1撮像画像および第2撮像画像の少なくとも一方について、格子像の位相解析を行い、物体9の高さ情報を算出する。
このような構成によれば、互いに交差する第1格子パターン51および第2格子パターン52を用い、それぞれの格子像の位相解析を行うため、物体9の形状によらず、物体9の三次元形状を高速で計測し得る三次元形状計測装置1を実現することができる。また、この三次元形状計測装置1は、例えば物体9が動いている場合でも、三次元形状を高い精度で計測することができる。
2.第2実施形態
次に、第2実施形態に係る三次元形状計測方法について説明する。
図14は、第2実施形態に係る三次元形状計測方法を説明するためのフローチャートである。図15は、プロジェクター2で投影された第1格子パターン51、第2格子パターン52および全画素照射パターン53をカメラ3で撮像し、第3の光の成分を分離して得られた撮像画像である。
以下、第2実施形態について説明するが、以下の説明では、第1実施形態との相違点を中心に説明し、同様の事項についてはその説明を省略する。なお、図14および図15において、第1実施形態と同様の構成については、同一の符号を付している。
第2実施形態は、第1の光および第2の光に加え、投影パターンの異なる第3の光を用いること以外、第1実施形態と同様である。
本実施形態に係る三次元形状計測方法は、投影ステップS202と、撮像ステップS204と、演算ステップS206と、を有する。また、演算ステップS206は、位相解析ステップS207と、データ選別ステップS208と、形状算出ステップS209と、を有する。
投影ステップS202では、第1実施形態に係る投影ステップS102と同様にして、第1格子パターン51および第2格子パターン52を物体9に投影する。投影ステップS202では、それに加え、少なくとも物体9を覆うように第3の光を照射し、図15に示す全画素照射パターン53を投影する。このとき、各カメラ画素30における輝度値が一定になるように、全画素照射パターン53の輝度分布をあらかじめ調整しておくのが好ましい。
第1の光、第2の光および第3の光は、光の三原色の光であるため、これらを重ねて照射しても、互いに分離させた撮像画像をカメラ3で取得することができる。このため、第1格子パターン51、第2格子パターン52および全画素照射パターン53を、同時に投影することが可能である。
次に、撮像ステップS204において、物体9に投影されている第1格子パターン51および第2格子パターン52に加え、物体9に投影されている全画素照射パターン53を、カメラ3で撮像する。
カメラ3は、第1の光による第1撮像画像、第2の光による第2撮像画像、および第3の光による第3撮像画像を、互いに分離して取得する機能を有する。
次に、演算ステップS206の位相解析ステップS207では、第1実施形態に係る位相解析ステップS107と同様にして、位相解析を行う。
次に、データ選別ステップS208では、第1実施形態に係るデータ選別ステップS108と同様にして、データ選別用マップを作成する。また、本実施形態では、第3撮像画像に基づいて、各カメラ画素30において最終的に高さ情報を出力するか否かの情報を作成し、データ選別用マップに追加する。
具体的には、第1実施形態で作成したデータ選別用マップには、前述したように「選択先」が指定されている。これに加え、本実施形態では、最終的な高さ情報を出力するか否かを判断する「出力要否」を追加する。この出力要否は、各カメラ画素でそもそも高さ情報を出力するか否かを指定する情報である。データ選別ステップS208では、この情報を、第3撮像画像に基づいて作成する。
第3撮像画像は、物体9が映る全カメラ画素に対応するプロジェクター画素で第3の光を出射させた状態で撮像された画像である。
このため、例えば、物体面92中に、例えば物体9自身に遮られて第3の光が当たらない領域(影領域)が含まれていた場合には、極端に低い輝度値として観測される。したがって、極端に低い輝度値を検出することができれば、それに基づいて、影領域に対応するカメラ画素を特定することができる。
また、例えば、物体面92中に、照射された第3の光をカメラ3に向けて反射する領域(反射領域)が含まれていた場合には、極端に高い輝度値として観測される。このような輝度値は、物体面92中に光沢等を有する領域が含まれている場合等に観測されやすい。そして、反射が発生すると、輝度値が飽和してしまい、正しい輝度値が得られないおそれがある。したがって、極端に高い輝度値を検出することができれば、それに基づいて、反射領域に対応するカメラ画素を特定することができる。
したがって、データ選別ステップS208では、第3撮像画素の輝度値が所定の範囲に入っているか否かを判定する。そして、輝度値が、所定の範囲より低い場合、または、所定の範囲より高い場合には、後述する形状算出ステップS209において、そのカメラ画素では高さ情報を出力しないように、出力要否の情報をデータ選別用マップに追加する。これにより、極端に高い輝度値や極端に低い輝度値に起因する誤差の大きい高さ情報が出力されてしまうのを避けることができる。なお、前述したように、誤差が大きい高さ情報が含まれているよりは、あらかじめ除外されていた方が、三次元形状データの利用しやすさが向上するため、有用である。
また、1枚の撮像画像における1つの格子ピッチの輝度分布から位相解析を行う場合、格子パターンの1周期分で信頼性の高い輝度値を有していることが求められる。その観点からすると、影領域や反射領域に対応するカメラ画素の周辺では、位相解析の精度が低下する可能性がある。そこで、データ選別ステップS208では、影領域や反射領域に対応するカメラ画素に加え、その周辺の少なくとも格子パターン1周期分の範囲のカメラ画素でも、最終的な高さ情報が出力されないように、出力要否の情報をデータ選別用マップに追加するようにしてもよい。これにより、影領域や反射領域の影響を間接的に受ける周辺のカメラ画素でも、高さ情報が出力されるのを防止することができる。
次に、形状算出ステップS209では、第1実施形態に係る形状算出ステップS109と同様にして三次元形状を算出する。
以上のような第2実施形態においても、第1実施形態と同様の効果が得られる。
なお、本実施形態でも、第1の光、第2の光および第3の光に対するRGBの割り振り方は、特に限定されない。例えば、第1の光として赤色光を用い、第2の光として緑色光を用い、第3の光として青色光を用いる組み合わせ等が挙げられる。
以上のように、本実施形態では、光の三原色に含まれる3色の光のうち、前述した第1の光および第2の光以外の光を第3の光とするとき、投影ステップS202で、第1格子パターン51および第2格子パターン52に加え、第3の光による全画素照射パターン53を物体9(対象物)に投影する。また、撮像ステップS204で、物体9に投影されている全画素照射パターン53をカメラ3で撮像し、第3撮像画像を得る。そして、演算ステップS206で、第3撮像画像の輝度値が所定の範囲から外れている場合、物体9の高さ情報を算出しない。
このような構成によれば、全画素照射パターン53を撮像した第3撮像画像に基づいて、輝度値の異常値が発生するカメラ画素を特定することができる。これにより、このカメラ画素では高さ情報を算出しないようにあらかじめ設定することができる。その結果、誤差の大きい高さ情報が出力されるのを防止し、三次元形状データの精度が低下するのを防止することができる。
以上、本発明の三次元形状計測方法および三次元形状計測装置を図示の実施形態に基づいて説明したが、本発明の三次元形状計測方法は、前記実施形態に限定されるものではなく、例えば、前記実施形態に任意の目的の工程が追加されたものであってもよい。また、本発明の三次元形状計測装置は、前記実施形態に限定されるものではなく、例えば、前記実施形態の各部が同様の機能を有する任意の構成のものに置換されたものであってもよく、前記実施形態に任意の構成物が付加されたものであってもよい。
1…三次元形状計測装置、2…プロジェクター、3…カメラ、4…制御装置、9…物体、20…プロジェクター画素、21…光源、22…光変調素子、23…レンズ、30…カメラ画素、31…撮像素子、32…レンズ、41…制御部、42…演算部、43…記憶部、44…表示部、51…第1格子パターン、52…第2格子パターン、53…全画素照射パターン、90…載置台、91…基準面、92…物体面、511…領域、512…領域、521…領域、522…領域、C…比較対象、DS…輝度値データセット、O1…主点、O2…主点、OP1…1ピッチ格子、OP2…1ピッチ格子、S102…投影ステップ、S104…撮像ステップ、S106…演算ステップ、S107…位相解析ステップ、S108…データ選別ステップ、S109…形状算出ステップ、S202…投影ステップ、S204…撮像ステップ、S206…演算ステップ、S207…位相解析ステップ、S208…データ選別ステップ、S209…形状算出ステップ、vx…離間距離、vy…離間距離

Claims (7)

  1. 光の三原色に含まれる2色の光を第1の光および第2の光とするとき、前記第1の光による第1格子パターンおよび前記第2の光による第2格子パターンを、互いに交差させて対象物に投影するステップと、
    前記対象物に投影されている前記第1格子パターンおよび前記第2格子パターンを、3色カメラで撮像し、前記第1の光による第1撮像画像および前記第2の光による第2撮像画像を得るステップと、
    前記第1撮像画像および前記第2撮像画像の少なくとも一方について、格子像の位相解析を行い、前記対象物の高さ情報を算出するステップと、
    を有することを特徴とする三次元形状計測方法。
  2. 前記第1格子パターンおよび前記第2格子パターンを3色分離プロジェクターで投影する請求項1に記載の三次元形状計測方法。
  3. 前記3色分離プロジェクターは、3板式のプロジェクターである請求項2に記載の三次元形状計測方法。
  4. 前記3色カメラは、3板式の撮像素子を有する請求項1ないし3のいずれか1項に記載の三次元形状計測方法。
  5. 前記対象物の高さ情報を算出するステップは、
    同一画素について、前記第1撮像画像における輝度値と前記第1格子パターンとの相関性および前記第2撮像画像における輝度値と前記第2格子パターンとの相関性を算出し、
    算出した2つの前記相関性を比較し、
    前記相関性が高い方の撮像画像を用いて、前記位相解析を行う請求項1ないし4のいずれか1項に記載の三次元形状計測方法。
  6. 光の三原色に含まれる3色の光のうち、前記第1の光および前記第2の光以外の光を第3の光とするとき、前記第1格子パターンおよび前記第2格子パターンを前記対象物に投影するステップで、前記第3の光による全画素照射パターンを、前記対象物に投影し、
    前記第1撮像画像および前記第2撮像画像を得るステップで、前記対象物に投影されている前記全画素照射パターンを前記3色カメラで撮像して第3撮像画像を取得し、
    前記対象物の高さ情報を算出するステップで、前記第3撮像画像の輝度値が所定の範囲から外れている場合、前記対象物の高さ情報を算出しない請求項1ないし5のいずれか1項に記載の三次元形状計測方法。
  7. 光の三原色に含まれる2色の光を第1の光および第2の光とするとき、前記第1の光による第1格子パターンおよび前記第2の光による第2格子パターンを、互いに交差させて対象物に投影するプロジェクターと、
    前記対象物に投影されている前記第1格子パターンおよび前記第2格子パターンを撮像し、前記第1の光による第1撮像画像および前記第2の光による第2撮像画像を得る3色カメラと、
    前記第1撮像画像および前記第2撮像画像の少なくとも一方について、格子像の位相解析を行い、前記対象物の高さ情報を算出する演算部と、
    を有することを特徴とする三次元形状計測装置。
JP2020151912A 2020-09-10 2020-09-10 三次元形状計測方法および三次元形状計測装置 Pending JP2022046063A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020151912A JP2022046063A (ja) 2020-09-10 2020-09-10 三次元形状計測方法および三次元形状計測装置
CN202111044839.1A CN114166149A (zh) 2020-09-10 2021-09-07 三维形状测量方法以及三维形状测量装置
US17/469,998 US11610324B2 (en) 2020-09-10 2021-09-09 Three-dimensional shape measuring method and three-dimensional shape measuring device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020151912A JP2022046063A (ja) 2020-09-10 2020-09-10 三次元形状計測方法および三次元形状計測装置

Publications (1)

Publication Number Publication Date
JP2022046063A true JP2022046063A (ja) 2022-03-23

Family

ID=80469932

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020151912A Pending JP2022046063A (ja) 2020-09-10 2020-09-10 三次元形状計測方法および三次元形状計測装置

Country Status (3)

Country Link
US (1) US11610324B2 (ja)
JP (1) JP2022046063A (ja)
CN (1) CN114166149A (ja)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3818028B2 (ja) * 2000-07-10 2006-09-06 富士ゼロックス株式会社 3次元画像撮像装置および3次元画像撮像方法
JP2008180530A (ja) * 2007-01-23 2008-08-07 Nikon Corp 形状測定装置及び形状測定方法
JP2009031150A (ja) * 2007-07-27 2009-02-12 Omron Corp 三次元形状計測装置、三次元形状計測方法、三次元形状計測プログラム、および記録媒体
US9070019B2 (en) * 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
EP3012576B1 (en) 2014-06-30 2020-02-05 4d Sensor Inc. Method for measuring a contour of an object
JP2017215374A (ja) * 2016-05-30 2017-12-07 パナソニックIpマネジメント株式会社 画像投影システムおよび画像投影方法
EP3698541B1 (en) * 2017-10-19 2022-07-27 Signify Holding B.V. Enhanced white light for projection lighting

Also Published As

Publication number Publication date
US20220076435A1 (en) 2022-03-10
US11610324B2 (en) 2023-03-21
CN114166149A (zh) 2022-03-11

Similar Documents

Publication Publication Date Title
US8199335B2 (en) Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, three-dimensional shape measuring program, and recording medium
TWI414750B (zh) Dimensional shape measuring device, three-dimensional shape measurement method and three-dimensional shape measurement program
KR101461068B1 (ko) 삼차원 계측장치, 삼차원 계측방법 및 기억매체
JP4924042B2 (ja) 三次元形状計測装置及びその校正方法、プログラム、並びにコンピュータ読み取り可能な記録媒体
US20180176440A1 (en) Structured-light-based exposure control method and exposure control apparatus
JP6184289B2 (ja) 三次元画像処理装置、三次元画像処理方法、三次元画像処理プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP2009036589A (ja) 校正用ターゲット、校正支援装置、校正支援方法、および校正支援プログラム
JP2011112639A (ja) 三次元形状測定装置
CN112634376A (zh) 标定方法及装置、标定设备和存储介质
JP5545932B2 (ja) 三次元形状計測装置
JP5122729B2 (ja) 3次元形状測定方法
JP2006084286A (ja) 3次元計測方法とその計測装置
JP5743433B2 (ja) 三次元形状計測装置
JP2022046063A (ja) 三次元形状計測方法および三次元形状計測装置
JP5968370B2 (ja) 三次元計測装置、三次元計測方法、及びプログラム
JP2022049269A (ja) 三次元形状計測方法および三次元形状計測装置
JP2008170282A (ja) 形状測定装置
JP2022070696A (ja) 三次元形状計測方法および三次元形状計測装置
JP2022070697A (ja) 三次元形状計測方法および三次元形状計測装置
JP2016008837A (ja) 形状測定方法、形状測定装置、構造物製造システム、構造物製造方法、及び形状測定プログラム
JP2022103954A (ja) 三次元形状計測方法および三次元形状計測装置
JP2022138862A (ja) 三次元形状計測方法および三次元形状計測装置
JP2022103956A (ja) 三次元形状計測方法および三次元形状計測装置
JP2022162287A (ja) 三次元形状計測方法および三次元形状計測装置
JP2022028196A (ja) 情報処理装置、システム、検出方法、及びコンピュータプログラム

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20210914

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20211101