JP5986357B2 - 三次元計測装置、三次元計測装置の制御方法、およびプログラム - Google Patents
三次元計測装置、三次元計測装置の制御方法、およびプログラム Download PDFInfo
- Publication number
- JP5986357B2 JP5986357B2 JP2011152342A JP2011152342A JP5986357B2 JP 5986357 B2 JP5986357 B2 JP 5986357B2 JP 2011152342 A JP2011152342 A JP 2011152342A JP 2011152342 A JP2011152342 A JP 2011152342A JP 5986357 B2 JP5986357 B2 JP 5986357B2
- Authority
- JP
- Japan
- Prior art keywords
- pattern
- luminance
- intersection
- distribution
- luminance value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 25
- 238000009826 distribution Methods 0.000 claims description 133
- 238000003384 imaging method Methods 0.000 claims description 61
- 238000004364 calculation method Methods 0.000 claims description 17
- 238000005259 measurement Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 2
- 235000019557 luminance Nutrition 0.000 description 129
- 238000012360 testing method Methods 0.000 description 16
- 230000008859 change Effects 0.000 description 11
- 239000004973 liquid crystal related substance Substances 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 8
- 238000005070 sampling Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 238000003705 background correction Methods 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J1/00—Photometry, e.g. photographic exposure meter
- G01J1/58—Photometry, e.g. photographic exposure meter using luminescence generated by light
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
明部および暗部を有する第1のパターンまたは第2のパターンを投影パターンとして対象物へ投影する投影手段と、
前記投影パターンが投影された前記対象物を撮像素子に輝度分布として結像させる撮像手段であって、前記輝度分布は前記明部に対応する第1の輝度値と前記暗部に対応する第2の輝度値とを有し、前記第1のパターンおよび前記第2のパターンは前記明部の位置または前記暗部の位置が重複する重複部を有し、前記第1のパターンに対応する第1の輝度分布および前記第2のパターンに対応する第2の輝度分布は前記重複部で同輝度値となる交点を有し、前記交点の輝度値は前記第1の輝度値および前記第2の輝度値の平均値と所定値だけ異なる、前記撮像手段と、
前記投影手段及び前記撮像手段の動作を制御する制御手段と、
前記撮像手段の撮像結果に基づいて、前記重複部近傍において前記第1の輝度分布および前記第2の輝度分布を直線補間して、前記第1のパターン及び前記第2のパターンの交点位置を算出する算出手段と、を備え、
前記交点位置に基づいて、空間符号化法により前記対象物の位置姿勢を計測することを特徴とする。
図12を参照して、三次元計測装置の構成を説明する。三次元計測装置は、投影部1と、撮像部8と、投影撮像制御部20と、階調交点算出部21とを備える。投影部1および撮像部8は、対象物へ投影した投影パターンを撮像する撮像装置を構成する。投影部1は、照明部2と、液晶パネル3と、投影光学系4とを備える。また、撮像部8は、撮像光学系9と、撮像素子10とを備える。三次元計測装置は、例えば空間符号化法を用いて対象物の位置姿勢を計測する。
また、縦軸は交点算出誤差であり、輝度交点位置Cと階調交点位置C’との誤差をWrに対するパーセンテージで示している。図4において、点線Aは従来のパターンによる交点算出誤差であり、実線Bは本発明によって階調交点の高さの値を第1の輝度値Saと第2の輝度値Sbとの範囲で約20%の位置に設定した場合の交点算出誤差である。本発明を実施した場合の交点算出誤差が減少している。特に、横軸の画素密度が4以下で交点算出誤差の低減が顕著になっている。すなわち、少ないサンプリング数(撮像画素の数)であっても誤差を低減できることがわかる。
以下に交点輝度を第1の輝度値Saおよび第2の輝度値Sbの中点(平均値)以外(すなわち平均値から所定値だけずれた値)とすることにより交点位置検出精度が向上する原理を説明する。2種の階調分布が同輝度値となる位置を算出する場合、それぞれ位置的に離散的に存在する階調分布の間を直線で補間し、該2種の階調分布に対応した2直線の交点を算出すればよい。あるいは、2種の階調分布の差を算出した差分分布を別途求め、該差分分布をやはり直線で補間し、直線の値が0となる位置を算出することもできる。上記の2種類の方法は数学的には同じ意味を有している。任意の分布を直線で補間して処理を行う場合に発生する誤差の大きな要因は、元の分布の直線からの逸脱である。元の分布の直線からの逸脱はまた、その部分の曲率の大小で表現することができる。即ち曲率が大であれば曲がりが大きく、直線からの逸脱は大きくなり、曲率が小であれば曲がりが小さく直線に近くなるため逸脱は小さくなる。さらに、最終的な交点算出位置を求めるのは差分分布であるから、2つの階調分布の部分的な曲率が大であっても、これを差分した場合にその曲率が打ち消し合えばよいことになる。
(1)第1の輝度値Saと第2の輝度値Sbが滑らかに結ばれている。
(2)交点近傍で2つの分布は座標左右の入れ替えに関してほぼ等しくなる。
(3)S字状の曲率変動を有する。すなわち中点位置で曲率が0となり、その左右で曲率の符号が反転し、かつ極値を有する。
交点の高さを制御する方法を以下に示す。図1においては、パターンAおよびパターンBにおいて、液晶の1画素のみ暗部が共通であるとしたが、明部を共通とすることにより輝度交点の高さを0.5以上にすることもできる。図1においては2つのパターンで共通輝度となる幅を1画素のみとしたが、これを増減することにより交点の高さの値を制御することができる。また液晶の位置にパターンAおよびパターンBに対するナイフエッジを順次設置して投影を行い、これらの間隔を相対的に変化させることにより交点の高さの値を制御することができる。パターンBの輝度分布に対してパターンAの輝度分布を移動させることによって交点の高さを変化させる様子を図7に示す。図7において、パターンA701、パターンA702、パターンA703、パターンA704のように、パターンAの輝度分布を変化させることにより、それぞれ交点711、交点712、交点713、交点714と、交点の高さが変化することがわかる。
また、投影光学系または撮像光学系の結像性能を変えることによっても交点高さを変化させることが可能である。結像性能の制御に際しては、設計において収差を発生させる方法、また瞳フィルタ等を用いて所定のボケを発生させる等の方法を用いればよい。図8は輝度分布A(パターンA)および輝度分布B(パターンB)を、結像性能を低減させて輝度変化をなだらかにした輝度分布A’(パターンA’)および輝度分布B’(パターンB’)として輝度交点高さの値を変化させる状態を示している。ただし、ピントの変動、解像力の変動は通常エッジ像の中点位置には影響を及ぼさないため中点に交点を有する従来系ではこの方法は機能しない。
以上の説明はパターンがエッジ画像であることを前提に行ったが、これは説明を簡略化するために行ったものであり、本発明はエッジ画像のみならず、図9に示されるような明部の幅と暗部の幅とを変えた周期的な繰り返しパターンを用いることによっても同様の効果が得られる。このような繰り返しパターンであってもその交点部分の挙動はエッジ交点での現象と同様となるからである。図9の例では、パターンAとパターンBとの暗部に共通の部分が存在する。図9に示されるような繰り返しパターンの場合の、撮像素子上での輝度分布が図10に示される。図10において、明部輝度に対応する値をSaとし、暗部輝度に対応する値をSbとして、その交点の輝度Scの高さの値を前述したように構成すればよい。
液晶を用いたパターン投影の場合、液晶画素の明暗を用いて交点位置を制御することを述べたが、図11に示すように、ディスクリネーションによる液晶非発光部分を用いることによっても本発明を実施することができる。すなわち、図11において、輝度分布Aとなる液晶状態と、輝度分布Bとなる液晶状態とでは、非発光部分1101が存在する。この非発光部分1101を暗部の重複部分として利用することにより、図1や図9で説明したようなパターンと同様の効果を奏することが可能となる。
以上の説明では、2つのパターンを順次投影することを前提としていたが、二つのパターンそれぞれで投影色を変更し、撮像部で色分解を行うことにより本発明を実現してもよい。この場合対象物やセンサの分光感度、光源色等によって明暗部に対する二色の輝度即ち前述の説明における第1の輝度値、第2の輝度値が各色で異なるという課題が発生する。この課題は、均一な明部パターンで被検物を投影、撮像して得られた階調分布を各色で記憶し、交点算出の際にはこれを用いて階調を正規化するいわゆるシェーディング補正を行うことにより解決できる。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
Claims (8)
- 明部および暗部を有する第1のパターンまたは第2のパターンを投影パターンとして対象物へ投影する投影手段と、
前記投影パターンが投影された前記対象物を撮像素子に輝度分布として結像させる撮像手段であって、前記輝度分布は前記明部に対応する第1の輝度値と前記暗部に対応する第2の輝度値とを有し、前記第1のパターンおよび前記第2のパターンは前記明部の位置または前記暗部の位置が重複する重複部を有し、前記第1のパターンに対応する第1の輝度分布および前記第2のパターンに対応する第2の輝度分布は前記重複部で同輝度値となる交点を有し、前記交点の輝度値は前記第1の輝度値および前記第2の輝度値の平均値と所定値だけ異なる、前記撮像手段と、
前記投影手段及び前記撮像手段の動作を制御する制御手段と、
前記撮像手段の撮像結果に基づいて、前記重複部近傍において前記第1の輝度分布および前記第2の輝度分布を直線補間して、前記第1のパターン及び前記第2のパターンの交点位置を算出する算出手段と、を備え、
前記交点位置に基づいて、空間符号化法により前記対象物の位置姿勢を計測することを特徴とする三次元計測装置。 - 前記第1の輝度値をSa、前記第2の輝度値をSb、前記交点の輝度値をScとした場合、0.15≦(Sc−Sb)/(Sa−Sb)≦0.35、または、0.65≦(Sc−Sb)/(Sa−Sb)≦0.85、という関係を満たすことを特徴とする請求項1に記載の三次元計測装置。
- 前記第1の輝度値をSa、前記第2の輝度値をSb、前記交点の輝度値をScとした場合、(Sc−Sb)/(Sa−Sb)=0.2、または、(Sc−Sb)/(Sa−Sb)=0.8、という関係を満たすことを特徴とする請求項2に記載の三次元計測装置。
- 前記第1の輝度値をSa、前記第2の輝度値をSb、輝度値の幅をWrとした場合、(Sa+Sb)/2−(Sa−Sb)×0.4≦Wr≦(Sa+Sb)/2+(Sa−Sb)×0.4、の範囲における撮像画素の数が4以下であることを特徴とする請求項1乃至3の何れか1項に記載の三次元計測装置。
- 前記投影パターンは、明部と暗部とが異なる幅で周期的に繰り返すパターンであることを特徴とする請求項1乃至4の何れか1項に記載の三次元計測装置。
- 前記交点の位置は、前記第1の輝度分布の曲率分布と前記第2の輝度分布の曲率分布とが共に、曲率の変化が所定値よりも小さく且つ極値となる位置であることを特徴とする請求項1乃至5の何れか1項に記載の三次元計測装置。
- 投影手段と、撮像手段と、前記投影手段及び前記撮像手段の動作を制御する制御手段と、算出手段とを備える三次元計測装置における制御方法であって、
前記制御手段による制御下で、前記投影手段が、明部および暗部を有する第1のパターンまたは第2のパターンを投影パターンとして対象物へ投影する投影工程と、
前記制御手段による制御下で、前記撮像手段が、前記投影パターンが投影された前記対象物を撮像素子に輝度分布として結像させる撮像工程であって、前記輝度分布は前記明部に対応する第1の輝度値と前記暗部に対応する第2の輝度値とを有し、前記第1のパターンおよび前記第2のパターンは前記明部の位置または前記暗部の位置が重複する重複部を有し、前記第1のパターンに対応する第1の輝度分布および前記第2のパターンに対応する第2の輝度分布は前記重複部で同輝度値となる交点を有し、前記交点の輝度値は前記第1の輝度値および前記第2の輝度値の平均値と所定値だけ異なる、前記撮像工程と、
前記算出手段が、前記撮像手段の撮像結果に基づいて、前記重複部近傍において前記第1の輝度分布および前記第2の輝度分布を直線補間して、前記第1のパターン及び前記第2のパターンの交点位置を算出する算出工程と、を有し、
前記交点位置に基づいて、空間符号化法により前記対象物の位置姿勢を計測することを特徴とする制御方法。 - 請求項7に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011152342A JP5986357B2 (ja) | 2011-07-08 | 2011-07-08 | 三次元計測装置、三次元計測装置の制御方法、およびプログラム |
PCT/JP2012/065177 WO2013008578A1 (en) | 2011-07-08 | 2012-06-07 | Image capturing apparatus, control method of image capturing apparatus, three-dimensional measurement apparatus, and storage medium |
US14/124,026 US20140104418A1 (en) | 2011-07-08 | 2012-06-07 | Image capturing apparatus, control method of image capturing apparatus, three-dimensional measurement apparatus, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011152342A JP5986357B2 (ja) | 2011-07-08 | 2011-07-08 | 三次元計測装置、三次元計測装置の制御方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013019729A JP2013019729A (ja) | 2013-01-31 |
JP5986357B2 true JP5986357B2 (ja) | 2016-09-06 |
Family
ID=47505876
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011152342A Expired - Fee Related JP5986357B2 (ja) | 2011-07-08 | 2011-07-08 | 三次元計測装置、三次元計測装置の制御方法、およびプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20140104418A1 (ja) |
JP (1) | JP5986357B2 (ja) |
WO (1) | WO2013008578A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5995484B2 (ja) | 2012-03-30 | 2016-09-21 | キヤノン株式会社 | 三次元形状測定装置、三次元形状測定方法、及びプログラム |
JP6161276B2 (ja) | 2012-12-12 | 2017-07-12 | キヤノン株式会社 | 測定装置、測定方法、及びプログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3385579B2 (ja) * | 1998-08-18 | 2003-03-10 | ダイハツ工業株式会社 | 黒色ワークの形状測定装置及び取出装置 |
EP2459960B1 (en) * | 2009-07-29 | 2019-11-13 | Canon Kabushiki Kaisha | Measuring apparatus, measuring method, and computer program |
JP2011133360A (ja) * | 2009-12-24 | 2011-07-07 | Canon Inc | 距離計測装置、距離計測方法、及びプログラム |
JP5569617B2 (ja) * | 2013-04-11 | 2014-08-13 | カシオ計算機株式会社 | 画像処理装置、及び、プログラム |
-
2011
- 2011-07-08 JP JP2011152342A patent/JP5986357B2/ja not_active Expired - Fee Related
-
2012
- 2012-06-07 WO PCT/JP2012/065177 patent/WO2013008578A1/en active Application Filing
- 2012-06-07 US US14/124,026 patent/US20140104418A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
WO2013008578A1 (en) | 2013-01-17 |
JP2013019729A (ja) | 2013-01-31 |
US20140104418A1 (en) | 2014-04-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20150077573A1 (en) | Projection system, image processing device, and projection method | |
US8310499B2 (en) | Balancing luminance disparity in a display by multiple projectors | |
JP2017078751A5 (ja) | ||
JP6161276B2 (ja) | 測定装置、測定方法、及びプログラム | |
JP2008500529A (ja) | デジタル画像化システムを特徴付ける方法 | |
JP2012103239A (ja) | 三次元計測装置、三次元計測方法及びプログラム | |
JP6444233B2 (ja) | 距離計測装置、距離計測方法、およびプログラム | |
US20150138222A1 (en) | Image processing device and multi-projection system | |
US8659765B2 (en) | Three-dimensional shape determining apparatus and three-dimensional shape determining method | |
JP6330574B2 (ja) | 基板検査装置のティーチング装置及びティーチング方法 | |
JP2011137697A (ja) | 照明装置及び該照明装置を用いた計測システム | |
CN103530852A (zh) | 一种镜头畸变校正方法 | |
JP5971050B2 (ja) | 形状計測装置及び形状計測方法 | |
JP2011061773A (ja) | 露出属性の設定方法、コンピューター読み取り可能な記憶媒体および画像投影の設定方法 | |
JP2014035196A (ja) | 形状計測装置 | |
JP5986357B2 (ja) | 三次元計測装置、三次元計測装置の制御方法、およびプログラム | |
JP2012093235A (ja) | 三次元形状測定装置、三次元形状測定方法、構造物の製造方法および構造物製造システム | |
JP2015119344A (ja) | 撮像素子の感度分布の測定装置及びその制御方法、画像表示装置のキャリブレーション装置及びその制御方法 | |
CN107256540B (zh) | 图像修复方法、装置及三维重建*** | |
JP6148999B2 (ja) | 画像形成装置、キャリブレーションプログラムおよびキャリブレーションシステム | |
JP6776004B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP5446285B2 (ja) | 画像処理装置及び画像処理方法 | |
CN111105365A (zh) | 一种纹理影像的色彩校正方法、介质、终端和装置 | |
US20130108143A1 (en) | Computing device and method for analyzing profile tolerances of products | |
JP2011002401A (ja) | 輝度測定装置における補正係数算出方法および輝度測定装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140708 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150522 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150710 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151214 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160202 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160708 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160805 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5986357 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |