JP2017198470A - 計測装置、計測方法、システム及び物品の製造方法 - Google Patents
計測装置、計測方法、システム及び物品の製造方法 Download PDFInfo
- Publication number
- JP2017198470A JP2017198470A JP2016087120A JP2016087120A JP2017198470A JP 2017198470 A JP2017198470 A JP 2017198470A JP 2016087120 A JP2016087120 A JP 2016087120A JP 2016087120 A JP2016087120 A JP 2016087120A JP 2017198470 A JP2017198470 A JP 2017198470A
- Authority
- JP
- Japan
- Prior art keywords
- test object
- pattern
- light
- imaging
- light sources
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005259 measurement Methods 0.000 title claims abstract description 40
- 238000004519 manufacturing process Methods 0.000 title claims description 9
- 238000000691 measurement method Methods 0.000 title claims description 4
- 238000009826 distribution Methods 0.000 claims abstract description 75
- 238000005286 illumination Methods 0.000 claims abstract description 59
- 230000000737 periodic effect Effects 0.000 claims abstract description 33
- 230000003287 optical effect Effects 0.000 claims abstract description 32
- 238000003384 imaging method Methods 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000012360 testing method Methods 0.000 claims description 98
- 238000000034 method Methods 0.000 claims description 17
- 238000007689 inspection Methods 0.000 abstract description 13
- 238000012937 correction Methods 0.000 description 18
- 230000000694 effects Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 238000002310 reflectometry Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- 229910052804 chromium Inorganic materials 0.000 description 1
- 239000011651 chromium Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000007747 plating Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/529—Depth or shape recovery from texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
【課題】被検物の微細形状に起因する計測誤差を高精度に補正すること。
【解決手段】被検物の位置および姿勢を計測する計測装置は、被検物にパターン光を投影する距離画像用照明ユニット1と、被検物を複数の光源で照明する濃淡画像用照明ユニット2と、パターン光が投影された被検物を撮像し、複数の光源で照明された被検物を撮像する撮像ユニット3と、パターン光が投影された被検物を撮像して得られるパターン投影画像、および、複数の光源で照明された被検物を撮像して得られる濃淡画像に基づき被検物の距離情報を得る演算処理ユニット4とを有する。濃淡画像用照明ユニット2は、被検物の表面の光強度分布の周期方向に基づいて特定される、距離画像用照明ユニット1の光軸に対して互いに反対側に配置されている2つの光源で被検物を照明し、演算処理ユニット4は、2つの光源で照明された被検物を撮像して得られる濃淡画像に基づきパターン投影画像を補正する。
【選択図】図5
【解決手段】被検物の位置および姿勢を計測する計測装置は、被検物にパターン光を投影する距離画像用照明ユニット1と、被検物を複数の光源で照明する濃淡画像用照明ユニット2と、パターン光が投影された被検物を撮像し、複数の光源で照明された被検物を撮像する撮像ユニット3と、パターン光が投影された被検物を撮像して得られるパターン投影画像、および、複数の光源で照明された被検物を撮像して得られる濃淡画像に基づき被検物の距離情報を得る演算処理ユニット4とを有する。濃淡画像用照明ユニット2は、被検物の表面の光強度分布の周期方向に基づいて特定される、距離画像用照明ユニット1の光軸に対して互いに反対側に配置されている2つの光源で被検物を照明し、演算処理ユニット4は、2つの光源で照明された被検物を撮像して得られる濃淡画像に基づきパターン投影画像を補正する。
【選択図】図5
Description
本発明は、計測装置、計測方法、システム及び物品の製造方法に関する。
物体の表面形状を評価する技術の一つに、光学式の三次元情報計測装置が挙げられる。そして、光学式の三次元情報計測の方式の一つに、パターン投影法と称される方式がある。この方式は所定の投影パターンを被検物に投影して撮像を行い、三角測量の原理から各画素位置における距離情報を算出し、被検物の三次元情報を計測するものである。
パターン投影法においては、撮像画像から得られる受光光量の空間分布情報に基づき、パターン座標の検出を行う。しかし、受光光量の空間分布情報は、被検物表面の模様などによる反射率分布、被検物表面の微細形状による反射率分布などによる輝度(光強度)ムラの影響が含まれたデータである。これらの反射率分布により、パターン検出情報に大きな誤差が発生する状況、あるいは、検出自体を不可能なものとなる状況が存在し、結果として計測される三次元情報は精度が低いものとなる。これに対し、特許文献1ではパターン光投影時の画像(以下、パターン投影画像と表記)を取得するタイミングと別のタイミングで均一照明光照射時の画像(以下、濃淡画像と表記)を取得している。濃淡画像のデータを補正用データとして用いることで、被計測物体表面の反射率分布ばらつきをパターン投影画像から除去する事が可能である。
パターン投影法においては、撮像画像から得られる受光光量の空間分布情報に基づき、パターン座標の検出を行う。しかし、受光光量の空間分布情報は、被検物表面の模様などによる反射率分布、被検物表面の微細形状による反射率分布などによる輝度(光強度)ムラの影響が含まれたデータである。これらの反射率分布により、パターン検出情報に大きな誤差が発生する状況、あるいは、検出自体を不可能なものとなる状況が存在し、結果として計測される三次元情報は精度が低いものとなる。これに対し、特許文献1ではパターン光投影時の画像(以下、パターン投影画像と表記)を取得するタイミングと別のタイミングで均一照明光照射時の画像(以下、濃淡画像と表記)を取得している。濃淡画像のデータを補正用データとして用いることで、被計測物体表面の反射率分布ばらつきをパターン投影画像から除去する事が可能である。
しかしながら、特許文献1においては、パターン投影画像と濃淡画像は同一の光源から放射された光により撮影され、両画像取得時のパターン有無の切り換えは液晶シャッタによって行われている。そのため、両画像の取得は同時に行われない。位置姿勢計測装置による計測では、被検物と計測装置のどちらかが移動しつつ距離情報を取得する場合が考えられる。この場合、それらの相対位置関係は一定では無く、パターン投影画像と濃淡画像は違う視点で撮影された画像となり、パターン投影画像の補正を精度良く行う事が出来ない。
本発明は、例えば、被検物の微細形状に起因する計測誤差を高精度に補正する事が可能な位置姿勢計測装置を提供することを目的とする。
上記課題を解決するために、本発明の一側面である被検物の位置および姿勢を計測する計測装置は、前記被検物にパターン光を投影する投影部と、前記被検物を複数の光源で照明する照明部と、前記パターン光が投影された前記被検物を撮像し、前記複数の光源で照明された前記被検物を撮像する撮像部と、前記パターン光が投影された前記被検物を撮像して得られるパターン投影画像、および、前記複数の光源で照明された前記被検物を撮像して得られる濃淡画像に基づき前記被検物の距離情報を得る処理部と、を有する。前記照明部は、前記被検物の表面の光強度分布の周期方向に基づいて特定される、前記投影部の光軸に対して互いに反対側に配置されている2つの光源で、前記被検物を照明し、前記処理部は、前記2つの光源で照明された前記被検物を撮像して得られる濃淡画像に基づき前記パターン投影画像を補正する。
本発明によれば、例えば、被検物の微細形状に起因する計測誤差を高精度に補正する事が可能な位置姿勢計測装置を提供することができる。
(第1実施形態)
図1は、位置姿勢計測装置の全体図である。図1で示される通り、位置姿勢計測装置は、距離画像用照明ユニット1、濃淡画像用照明ユニット2、撮像ユニット3、演算処理ユニット4から構成される。位置姿勢計測装置は、距離画像と濃淡画像を同時に撮像し、二つの画像を同時利用してモデルフィッティングすることにより、被検物5の位置姿勢を計測する。なお、モデルフィッティングは、事前に作成された被検物5のCADモデルに対して行うものであり、被検物5の三次元形状が既知であることを前提とする。また、距離画像用照明ユニット1及び撮像ユニット3は筐体に一体化され搭載されており、筐体はロボットアーム等に搭載されている。
図1は、位置姿勢計測装置の全体図である。図1で示される通り、位置姿勢計測装置は、距離画像用照明ユニット1、濃淡画像用照明ユニット2、撮像ユニット3、演算処理ユニット4から構成される。位置姿勢計測装置は、距離画像と濃淡画像を同時に撮像し、二つの画像を同時利用してモデルフィッティングすることにより、被検物5の位置姿勢を計測する。なお、モデルフィッティングは、事前に作成された被検物5のCADモデルに対して行うものであり、被検物5の三次元形状が既知であることを前提とする。また、距離画像用照明ユニット1及び撮像ユニット3は筐体に一体化され搭載されており、筐体はロボットアーム等に搭載されている。
以下に、距離画像を取得する距離画像計測部と濃淡画像を取得する濃淡画像計測部の概要をそれぞれ述べる。まず、距離画像計測部について説明する。距離画像とは、被検物表面上の点の三次元情報を示すものであり、各画素が奥行きの情報をもつ画像である。距離画像計測部は、距離画像用照明ユニット1と撮像ユニット3と演算処理ユニット4を含む。距離画像計測部では、パターンの投影部である距離画像用照明ユニット1から被検物5に照射されたパターン光を、距離画像用照明ユニット1と異なる方向から撮像ユニット3により撮像し撮像画像(パターン投影画像)を取得する。そして、演算処理ユニット4においてパターン投影画像から三角測量の原理に基づいて距離画像(距離情報)を算出する。
ここで、パターン光の投影部である距離画像用照明ユニット1から被検物5に照射するパターンについて説明する。本実施形態は、ロボットを移動させながら被検物の位置姿勢を計測することを想定している。そのため、複数枚の撮像画像から距離画像を算出する計測方式では、ロボットの移動により各撮像画像の視野ずれが生じてしまい、高精度に距離画像を算出できない。よって、距離画像用照明ユニット1から被検物5に投影するパターンは、一枚のパターン投影画像から距離画像を算出できるパターンである事が望ましい。一枚のパターン投影画像から距離画像を算出できるパターンとしては、例えば、特許第2517062号公報で開示されたものがある。特許第2517062号公報は、図2で示されたようなドットによって符号化されたドットラインパターンを被検物に投影して、ドットの位置関係に基づいて投影パターンと撮像画像の対応づけを行うことで、一枚の撮像画像から距離画像を算出している。尚、上記で本実施形態に適した具体的な投影パターンとして上記のドットラインパターンを挙げたが、本実施形態における投影パターンはこれに限定されるものでは無く、一枚のパターン投影画像から距離画像を算出できるものであれば良い。
距離画像用照明ユニット1は、光源6、照明光学系8、マスク9及び投影光学系10を備える。光源6は、濃淡画像用照明ユニット2の光源7と異なる波長の光を発する。本実施形態において、光源6の波長をλ1、光源7の波長をλ2とする。照明光学系8は、光源6から射出された光束をマスク9に対し均一に照明するための光学系である。マスク9は、被検物5に投影するパターンを描画したものであり、例えば、ガラス基板をクロムメッキする事により所望のパターンを形成する。マスク9に描画されるパターンの一例は、上記で述べた通り、図2のドットラインパターンである。投影光学系10は、マスク9に描画されたパターン像を被検物5上に結像させるための光学系である。以上述べたように、距離画像用照明ユニット1は、光源6から射出された光束を照明光学系8によってマスク9に均一照明し、マスク9に描画されたパターン像を投影光学系10によって被検物5に結像する。なお、本実施形態では、固定マスクパターンを用いて投影する方法に関して述べたが、本実施形態はこれに限定されるものではなく、DLPプロジェクタや液晶プロジェクタを用いてパターン光を投影しても構わない。
撮像部である撮像ユニット3は、撮像光学系11、波長分割素子12、イメージセンサ13及びイメージセンサ14を備える。なお、撮像ユニット3は、距離画像計測用と濃淡画像計測用で共通のユニットとなるため、後述の濃淡画像計測部に関する説明もここで行う。撮像光学系11は、距離画像計測用パターンおよび濃淡画像をイメージセンサ13、14に結像するための光学系である。波長分割素子12は、波長がλ1である光源6からの光と波長がλ2である光源7からの光を分離する為の光学素子である。波長λ1の光源6からの光は透過してイメージセンサ13へ、波長λ2の光源7の光は反射してイメージセンサ14に導光される。イメージセンサ13及びイメージセンサ14は、それぞれパターン投影画像および濃淡画像を撮像する為の素子であり、例えば、CMOSセンサ、CCDセンサなどを用いることができる。
続いて、濃淡画像計測部について説明する。濃淡画像とは、均一照明された被検物を撮像して得られる画像であり、本実施形態では、濃淡画像から物体の輪郭や稜線に相当するエッジを検出し、検出されたエッジを画像特徴量として位置姿勢算出の際に用いる。濃淡画像計測部は、濃淡画像用照明ユニット2と撮像ユニット3と演算処理ユニット4を備えている。照明部である濃淡画像用照明ユニット2により均一に照明された被検物5を、撮像ユニット3により撮像し撮像画像を取得する。そして、演算処理ユニット4で撮像画像からエッジ検出処理によりエッジを算出する。照明部である濃淡画像用照明ユニット2は、複数の光源7を有している。複数の光源7は、図3で示したように距離画像用照明ユニット1の投影光学系10の射出光軸OA1を中心としてリング状に配置される。図3は、濃淡画像用照明ユニット2を投影光学系光軸OA1方向から見た図である。
パターン投影画像と濃淡画像を取得した演算処理ユニット4は、パターン投影画像に対して輝度(光強度)分布の補正(受光光量分布補正)を行う。受光光量分布補正は、前記演算処理ユニット4内の補正処理部により、パターン投影画像I1(x,y)と濃淡画像I2(x,y)を用いて行わる。受光光量分布が補正されたパターン投影画像I1’(x,y)が、下記の式(1)に基づいて算出される。ここで、x,yはカメラ上のピクセル座標値を示す。
なお、本実施形態では、式(1)の通り、除算による補正を行っているが、本実施形態の補正方法は除算に限定される訳ではなく、減算による補正を行っても構わない。
ここで、被検物5の表面が異方的な特性を持つ場合の受光光量分布補正について述べる。図4は、表面にスジ状の微細形状を持つ被検物5の濃淡画像の例を示している。被検物5の表面にはX方向に延びる多数のスジがY方向に周期的に形成されている。図4は、被検物5表面の破線部分を撮影した濃淡画像であり、微細形状に起因したスジ状の受光光量分布が発生している。ここで、図4に示す濃淡画像における受光光量分布がより変化する方向(Y方向)を輝度分布の周期方向tとする。この、スジ状の微細形状は、例えば、金型の研削痕が転写された射出成型樹脂被検物で発生し、製造に用いられる金型の加工方法等に変更がない場合は被検物表面におけるスジ方向は常に同じ方向となり、同種の被検物のでは個体差が無いとみなすことができる。
このようなスジ状の輝度分布を持つ被検物においては、全ての光源7を発光させた場合(リング照明)の濃淡画像に比べて、特定の2箇所の光源7を発光させた場合に得られた濃淡画像で受光光量分布補正をした場合の方が高い補正効果が得られる。この特定の2箇所の光源7を発光させた二重極照明による補正効果の要因について、図5及び図6を用いて述べる。図5は、濃淡画像用照明ユニット2に含まれる一対の光源7と、距離画像用照明ユニット1の射出光軸OA1の関係を示したものである。ここで、Z軸は射出光軸OA1と同軸であり、XY面はZ軸に垂直な面である。被検物5は輝度分布の周期方向がX軸方向を向くように置かれ、Y軸周りにθ傾斜しているとし、光源7と被検物5を結ぶ線分と距離画像用照明ユニット1の射出光軸OA1が成す角度をγとする。また、濃淡画像用照明ユニット2の光源7は投影光学系10の射出光軸OA1を中心としてリング状に配置されている。そのため、濃淡画像用照明ユニット2の2箇所の光源7を発光させた二重極照明は、射出光軸OA1(Z軸)を対称軸としている。
図5(A)は一対の光源7による二重極照明の二重極方向(2つの光源を結ぶ方向)がX’軸方向、つまり、輝度分布の周期方向に平行な場合を示している。この二重極方向は、筋ムラに対し垂直な方向でもある。一方、図5(B)は二重極照明の二重極方向(2つの光源を結ぶ方向)がY’軸方向、つまり、輝度分布の周期方向に垂直な場合を示している。この二重極方向は、筋ムラに対し平行な方向でもある。
図5(A)は一対の光源7による二重極照明の二重極方向(2つの光源を結ぶ方向)がX’軸方向、つまり、輝度分布の周期方向に平行な場合を示している。この二重極方向は、筋ムラに対し垂直な方向でもある。一方、図5(B)は二重極照明の二重極方向(2つの光源を結ぶ方向)がY’軸方向、つまり、輝度分布の周期方向に垂直な場合を示している。この二重極方向は、筋ムラに対し平行な方向でもある。
図6は、被検物の傾斜角度θと反射率R(θ)の関係を示したものであり、図5のように被検物をY軸周りに傾斜させた場合の反射率曲線を実線で、Y軸周りの傾斜角度がθでかつ、X軸周りに傾斜させた場合の反射率曲線を破線で示している。なお、パターン投影に対する被検物の傾斜角度はθである。実線は傾斜角度に対する反射率変化が小さく、傾斜角度(θ−γ)から(θ+γ)の範囲を線形とみなすことができるため、以下の式(2)が近似的に成立する。
つまり、反射率の角度特性が略線形な領域では、パターン投影画像の輝度分布(R(θ))と濃淡画像の輝度分布(例えば、二重極照明との関係が(θ+γ)及び(θ−γ)となる場合、R(θ+γ)+R(θ−γ)/2)とが概略等しくなる。
図7(A)は、パターン投影画像の輝度分布を示す図である。一方、図7(B)及び図7(C)は、濃淡画像の輝度分布を示す図である。図7(B)は、図5(A)に示される二重極照明で被検物5が照明された場合の濃淡画像であり、図5(C)は、図5(B)に示される二重極照明で被検物5が照明された場合の濃淡画像である。図7(A)で示されるパターン投影画像の輝度分布と図7(B)で示される濃淡画像の輝度分布とが概略等しくなっている。図7(B)は、二重極照明が二重極方向がX’軸方向、つまり、輝度分布の周期方向と同じ方向の場合の濃淡画像である。よって、パターン投影画像の輝度分布と濃淡画像の輝度分布の相関は、二重極照明の方向(2つの光源を結ぶ方向)を被検物の輝度分布の周期方向と平行にさせることで高めることができる。したがって、濃淡画像による受光光量分布補正を行う事で、被検物表面の形状起因で発生する輝度分布の影響を除去可能となる。
一方、図5(B)のようにY’方向の二重極照明の場合、距離画像用照明ユニット1の射出光軸OA1で入射した光の反射率を図6中に黒丸(●)で、OA1に対して入射角度γ傾いた光の反射率を白丸(○)でプロットしている。被検物の輝度分布の周期方向がX方向となるように被検物が置かれている場合、距離画像用照明ユニット1の反射率●と二重極照明の反射率○と入射角度はγしか違わないが、反射率は大きく異なる。これは、被検物のスジ構造によりスジ直交方向(輝度分布の周期方向と同じ)には多くの方向に反射光が発生するため、角度に対する反射率特性は滑らかになるからである。一方、スジ方向には構造があまりないため、角度に対する反射率特性は急峻となる。したがって、図7(A)で示されるパターン投影画像の輝度分布と、図7(C)で示される濃淡画像の輝度分布とは大きく異ことなる。図7(C)は、二重極照明の二重極方向(2つの光源を結ぶ方向)がY’軸方向、つまり、輝度分布の周期方向に垂直の場合の濃淡画像である。リング照明の場合は、様々な方向の2重極照明であると考えられ、図7(B)と図7(C)が合算された画像となる。そのため、パターン投影画像の輝度分布と濃淡画像の輝度分布は異なり、補正効果が得られない。
このように、被検物表面に異方性がある場合、パターン投影画像上の輝度分布と濃淡画像上の輝度分布とが高い相関をもつように、濃淡画像用照明ユニット2の二重極照明の二重極方向(2つの光源を結ぶ方向)を被検物の輝度分布の周期方向と平行にする。これにより、高い補正効果を得ることが可能になる。以下に、被検物表面に異方性がある場合の代表的な計測フローを、図8のフローチャートを用いて説明する。
前述のとおり、計測前には被検物のCADモデルの作成・登録が完了しているが、その際にCADモデルの各面に輝度分布周期方向情報を合わせて登録し、濃淡画像照明の二重極方位を決定するために用いる。輝度分布周期方向は、CADモデルの各面に対して登録しておく。図8に、ステップF1〜10からなる本実施形態の計測工程F100を示す。ステップF1とステップF2では、パターン投影画像と濃淡画像を取得する。次に、ステップF3ではパターン投影画像から演算された距離画像と濃淡画像から検出されたエッジ情報を、事前に登録されたCADモデルとマッチングすることで被検物の装置に対する概略位置姿勢を求める。概略位置姿勢は特許第5393318号公報記載の方法等を用いて求めることが可能である。
続いて、ステップF4では濃淡画像内に写る(濃淡画像から認識される)被検物を構成する複数の平面のうち、二面以上が周期的な輝度分布を有するときにはパターン投影画像における最大面積となる平面部を特定する。そして、その最大面積平面部の輝度分布の周期方向(受光光量変化方向)を、ステップF3で求めた概略位置姿勢と事前に登録された被検物の各面における輝度分布の周期方向から決定する。ここで、ステップF3で求める概略位置姿勢は、最大側面部の輝度分布の周期方向を求めるに足る精度が得られればよいため、距離画像は濃淡画像による受光光量分布補正を行っていないパターン投影画像から演算されたものでも構わない。
次に、ステップF5では、ステップF4で求めた被検物の輝度分布の周期方向と同じ方向の(平行な)二重極照明となるように、濃淡画像用照明ユニット2の複数の発光部のうち2つを発光させる。ここで、被検物の表面の光強度分布の周期方向に基づいて、投影部の光軸に対して互いに反対側に配置されている2つの発光部が特定される。なお、2つの発光部は投影部の光軸に対して対称に配置されていることが好ましいが、厳密に対称に配置されていなくてもよい。また、2つに限らず、3つ以上の発光部でもよい。ステップF6とステップF7では、再びパターン投影画像と濃淡画像を取得する。そして、ステップF8で受光光量分布補正を行う。補正方法は、前述の通りパターン投影画像を濃淡画像で除算することで行う。ステップF8により受光光量分布補正の効果が高いパターン投影画像が得られるため、ステップF9では得られたパターン画像から距離を算出する。そして、ステップF10においてモデルフィッティングを行うことで被検物の位置姿勢を求める。
以上説明した本実施形態によれば、異方的な性状を持つ被検物の場合でも、パターン投影画像の輝度分布に対して相関が高い濃淡画像の輝度分布により受光光量分布補正を実施することができるため、高精度に被検物の位置姿勢を計測することができる。
(第2実施形態)
第1実施形態では、計測前にCADモデルの各面に輝度分布周期方向情報を登録していたが、第2実施形態では、被検物に個体差があり、事前にCADモデルの各面に輝度分布周期方向情報を登録できない場合の測定工程について説明する。第2実施形態は、第1実施形態と装置構成は同じであるが、計測工程が異なるためこの点に関して説明を行う。図9に、本実施形態における代表的な計測工程F200を示す。第1実施形態と異なる第1の点は、ステップF1のパターン投影画像取得とステップF3の概略位置姿勢推定が不要になる点である。第1実施形態と異なる第2の点は、概略位置姿勢から最大面積部の輝度分布周期方向を特定するステップF4の代わりに、周波数解析を基に輝度分布周期方向を求めるステップ41に置き換わっている点である。
第1実施形態では、計測前にCADモデルの各面に輝度分布周期方向情報を登録していたが、第2実施形態では、被検物に個体差があり、事前にCADモデルの各面に輝度分布周期方向情報を登録できない場合の測定工程について説明する。第2実施形態は、第1実施形態と装置構成は同じであるが、計測工程が異なるためこの点に関して説明を行う。図9に、本実施形態における代表的な計測工程F200を示す。第1実施形態と異なる第1の点は、ステップF1のパターン投影画像取得とステップF3の概略位置姿勢推定が不要になる点である。第1実施形態と異なる第2の点は、概略位置姿勢から最大面積部の輝度分布周期方向を特定するステップF4の代わりに、周波数解析を基に輝度分布周期方向を求めるステップ41に置き換わっている点である。
ステップF41では、ステップF2において得られた濃淡画像から、取得された受光光量分布を周波数解析し受光光量分布の変化が高い方向、つまり輝度分布の周期方向を特定する。図10に受光光量分布を解析した例を示す。図10(A)は、図4の濃淡画像に2次元FFTの処理を行った結果である各周波数の強度分布を示している。縦軸fxおよび横軸fyは、それぞれx方向の周波数とy方向の周波数を示している。図10(B)の横軸は図10(A)のx軸を0度としたときの方位方向、縦軸は方位方向毎に強度積和した値をプロットしたものである。ここでは、方位方向は各方位に対して±5度の範囲の値を積和しているが、これに限定されるものではない。図10(B)から分かるように、方位90度方向にピークをもつことから、ワークに起因する輝度分布周期方向はy軸方向に強い受光光量変化を持つことがわかる。このように、ステップF41では周波数解析を基に輝度分布周期方向を求めることができる。したがって、濃淡画像のみから輝度分布周期方向を求めるため、計測前の輝度分布周期方向の登録が不要である。
以降のステップF5からステップF10は第1実施形態の計測工程F100と同様である。以上説明したとおり、第2実施形態によれば、異方的な性状を持つ被検物の場合でも、パターン投影画像に対して相関が高い濃淡画像により受光光量分布補正を実施することができるため、高精度に被検物の位置姿勢を計測することができる。
(第3実施形態)
上述の計測装置は、ある支持部材に支持された状態で使用されうる。本実施形態では、一例として、図11のようにロボットアーム300(把持装置)に備え付けられて使用される制御システムについて説明する。計測装置100は、支持台350に置かれた被検物5にパターン光を投影して撮像し、画像を取得する。そして、計測装置100の制御部が、又は、計測装置100の制御部から画像データを取得した制御部310が、被検物5の位置および姿勢を求め、求められた位置および姿勢の情報を制御部310が取得する。制御部310は、計測結果である、被検物5の位置および姿勢の情報に基づいて、ロボットアーム300に駆動指令を送ってロボットアーム300を制御する。ロボットアーム300は先端のロボットハンドなど(把持部)で被検物5を保持して、並進や回転などの移動をさせる。さらに、ロボットアーム300によって被検物5を他の部品に組み付けることにより、複数の部品で構成された物品、例えば電子回路基板や機械などを製造することができる。また、移動された被検物5を加工することにより、物品を製造することができる。制御部310は、CPUなどの演算装置やメモリなどの記憶装置を有する。なお、ロボットを制御する制御部を制御部310の外部に設けても良い。また、計測装置100により計測された計測データや得られた画像をディスプレイなどの表示部320に表示してもよい。
上述の計測装置は、ある支持部材に支持された状態で使用されうる。本実施形態では、一例として、図11のようにロボットアーム300(把持装置)に備え付けられて使用される制御システムについて説明する。計測装置100は、支持台350に置かれた被検物5にパターン光を投影して撮像し、画像を取得する。そして、計測装置100の制御部が、又は、計測装置100の制御部から画像データを取得した制御部310が、被検物5の位置および姿勢を求め、求められた位置および姿勢の情報を制御部310が取得する。制御部310は、計測結果である、被検物5の位置および姿勢の情報に基づいて、ロボットアーム300に駆動指令を送ってロボットアーム300を制御する。ロボットアーム300は先端のロボットハンドなど(把持部)で被検物5を保持して、並進や回転などの移動をさせる。さらに、ロボットアーム300によって被検物5を他の部品に組み付けることにより、複数の部品で構成された物品、例えば電子回路基板や機械などを製造することができる。また、移動された被検物5を加工することにより、物品を製造することができる。制御部310は、CPUなどの演算装置やメモリなどの記憶装置を有する。なお、ロボットを制御する制御部を制御部310の外部に設けても良い。また、計測装置100により計測された計測データや得られた画像をディスプレイなどの表示部320に表示してもよい。
(物品の製造方法に係る実施形態)
以上に説明した実施形態に係る計測装置は、物品製造方法に使用しうる。当該物品製造方法は、当該計測装置を用いて物体の計測を行う工程と、計測の結果に基づいて当該工程で計測を行われた物体の処理を行う工程と、を含みうる。当該処理は、例えば、加工、切断、搬送、組立(組付)、検査、および選別のうちの少なくともいずれか一つを含みうる。本実施形態の物品製造方法は、従来の方法に比べて、物品の性能・品質・生産性・生産コストのうちの少なくとも1つにおいて有利である。
以上に説明した実施形態に係る計測装置は、物品製造方法に使用しうる。当該物品製造方法は、当該計測装置を用いて物体の計測を行う工程と、計測の結果に基づいて当該工程で計測を行われた物体の処理を行う工程と、を含みうる。当該処理は、例えば、加工、切断、搬送、組立(組付)、検査、および選別のうちの少なくともいずれか一つを含みうる。本実施形態の物品製造方法は、従来の方法に比べて、物品の性能・品質・生産性・生産コストのうちの少なくとも1つにおいて有利である。
以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
1 距離画像用照明ユニット
2 濃淡画像用照明ユニット
3 撮像ユニット
4 演算処理ユニット
5 被検物
7 光源
2 濃淡画像用照明ユニット
3 撮像ユニット
4 演算処理ユニット
5 被検物
7 光源
Claims (8)
- 被検物の位置および姿勢を計測する計測装置であって、
前記被検物にパターン光を投影する投影部と、
前記被検物を複数の光源で照明する照明部と、
前記パターン光が投影された前記被検物を撮像し、前記複数の光源で照明された前記被検物を撮像する撮像部と、
前記パターン光が投影された前記被検物を撮像して得られるパターン投影画像、および、前記複数の光源で照明された前記被検物を撮像して得られる濃淡画像に基づき前記被検物の距離情報を得る処理部と、を有し、
前記照明部は、前記被検物の表面の光強度分布の周期方向に基づいて特定される、前記投影部の光軸に対して互いに反対側に配置されている2つの光源で、前記被検物を照明し、
前記処理部は、前記2つの光源で照明された前記被検物を撮像して得られる濃淡画像に基づき前記パターン投影画像を補正する
ことを特徴とする計測装置。 - 前記2つの光源は、前記投影部の光軸に対して対称に配置されていることを特徴とする請求項1に記載の計測装置。
- 前記2つの光源で照明する前記被検物の表面の前記周期方向は、予め求めた前記被検物の位置および姿勢と前記被検物の各面の光強度分布の周期方向の情報とに基づき特定されることを特徴とする請求項1または請求項2に記載の計測装置。
- 前記被検物の表面の前記周期方向は、前記被検物の濃淡画像に基づき特定されることを特徴とする請求項1または請求項2に記載の計測装置。
- 前記周期方向が特定される表面は、前記パターン投影画像または前記濃淡画像から認識される前記被検物の複数の表面のうち、面積に基づいて特定されることを特徴とする請求項1乃至4のうちいずれか1項に記載の計測装置。
- 被検物の位置および姿勢を計測する計測方法であって、
前記被検物の表面の光強度分布の周期方向を特定する工程と、
前記被検物にパターン光を投影して、前記パターン光が投影された前記被検物を撮像する工程と、
前記被検物の表面の光強度分布の周期方向に基づいて特定される、前記パターン光の光軸に対して互いに反対側に配置されている2つの光源で、前記被検物を照明して、前記2つの光源で照明された前記被検物を撮像する工程と、
前記2つの光源で照明された前記被検物を撮像して得られる濃淡画像に基づき、前記パターン光が投影された前記被検物を撮像して得られるパターン投影画像を補正する工程と、
補正されたパターン投影画像に基づき前記被検物の距離情報を算出する工程と、
前記距離情報に基づき前記被検物の位置および姿勢を求める工程と、を有する
ことを特徴とする計測方法。 - 被検物を計測する、請求項1乃至5のいずれか1項に記載の計測装置と、
前記計測装置による計測結果に基づいて前記被検物を保持して移動させるロボットと、を有するシステム。 - 請求項1乃至5のうちいずれか1項に記載の計測装置を用いて被検物の計測を行う工程と、該計測の結果に基づいて前記被検物を処理する工程と、を含むことを特徴とする物品の製造方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016087120A JP2017198470A (ja) | 2016-04-25 | 2016-04-25 | 計測装置、計測方法、システム及び物品の製造方法 |
US15/492,023 US20170309035A1 (en) | 2016-04-25 | 2017-04-20 | Measurement apparatus, measurement method, and article manufacturing method and system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016087120A JP2017198470A (ja) | 2016-04-25 | 2016-04-25 | 計測装置、計測方法、システム及び物品の製造方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017198470A true JP2017198470A (ja) | 2017-11-02 |
Family
ID=60089709
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016087120A Pending JP2017198470A (ja) | 2016-04-25 | 2016-04-25 | 計測装置、計測方法、システム及び物品の製造方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20170309035A1 (ja) |
JP (1) | JP2017198470A (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107429998B (zh) * | 2015-03-30 | 2018-10-02 | 富士胶片株式会社 | 距离图像获取装置以及距离图像获取方法 |
JP2018151832A (ja) * | 2017-03-13 | 2018-09-27 | キヤノン株式会社 | 情報処理装置、情報処理方法、および、プログラム |
US10726569B2 (en) * | 2017-05-16 | 2020-07-28 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and non-transitory computer-readable storage medium |
CN108961329B (zh) * | 2018-06-22 | 2020-10-30 | 成都极米科技股份有限公司 | 投影仪空间位置信息的采集方法、装置和计算机可读存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5973704B2 (ja) * | 2011-08-26 | 2016-08-23 | キヤノン株式会社 | 投影制御装置及び投影制御方法 |
US20130329073A1 (en) * | 2012-06-08 | 2013-12-12 | Peter Majewicz | Creating Adjusted Digital Images with Selected Pixel Values |
JP6478713B2 (ja) * | 2015-03-04 | 2019-03-06 | キヤノン株式会社 | 計測装置および計測方法 |
US20170059305A1 (en) * | 2015-08-25 | 2017-03-02 | Lytro, Inc. | Active illumination for enhanced depth map generation |
-
2016
- 2016-04-25 JP JP2016087120A patent/JP2017198470A/ja active Pending
-
2017
- 2017-04-20 US US15/492,023 patent/US20170309035A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20170309035A1 (en) | 2017-10-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10282855B2 (en) | Determining object properties with respect to particular optical measurement | |
US10157458B2 (en) | Laser projection system and method | |
CN107735645B (zh) | 三维形状测量装置 | |
CN103649674B (zh) | 测量设备以及信息处理设备 | |
JP6532325B2 (ja) | 被計測物の形状を計測する計測装置 | |
JP6478713B2 (ja) | 計測装置および計測方法 | |
JP5385703B2 (ja) | 検査装置、検査方法および検査プログラム | |
US20170309035A1 (en) | Measurement apparatus, measurement method, and article manufacturing method and system | |
JP2021193400A (ja) | アーチファクトを測定するための方法 | |
JP2007093412A (ja) | 3次元形状測定装置 | |
JP6701745B2 (ja) | 三次元形状測定方法、変位測定方法、三次元形状測定装置、変位測定装置、構造物製造方法、構造物製造システム、及び三次元形状測定プログラム | |
US20160346882A1 (en) | Measurement apparatus, calculation method, system, and method of manufacturing article | |
KR20200046789A (ko) | 이동하는 물체의 3차원 데이터를 생성하는 방법 및 장치 | |
US20170255181A1 (en) | Measurement apparatus, system, measurement method, and article manufacturing method | |
JP2018116032A (ja) | 被計測物の形状を計測する計測装置 | |
Lee et al. | 3D foot scanner based on 360 degree rotating-type laser triangulation sensor | |
KR20210060762A (ko) | 디스플레이의 픽셀별 검사를 위한 3차원 스캐닝 시스템 및 그 방법 | |
US10060733B2 (en) | Measuring apparatus | |
KR20170068071A (ko) | 형상측정장치와 이를 이용한 형상측정방법 | |
JP2018044863A (ja) | 計測装置、計測方法、システム及び物品の製造方法 | |
JP2016102755A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2019045346A (ja) | 検査装置 | |
US10068350B2 (en) | Measurement apparatus, system, measurement method, determination method, and non-transitory computer-readable storage medium | |
JP6061631B2 (ja) | 計測装置、情報処理装置、計測方法、情報処理方法、および、プログラム | |
KR101088597B1 (ko) | 직교 줄무늬패턴을 이용한 3차원 측정장치 및 측정방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190312 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200121 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200908 |