JP7231433B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP7231433B2 JP7231433B2 JP2019025735A JP2019025735A JP7231433B2 JP 7231433 B2 JP7231433 B2 JP 7231433B2 JP 2019025735 A JP2019025735 A JP 2019025735A JP 2019025735 A JP2019025735 A JP 2019025735A JP 7231433 B2 JP7231433 B2 JP 7231433B2
- Authority
- JP
- Japan
- Prior art keywords
- light
- pattern
- image
- liquid crystal
- crystal panel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
- G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
- G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour
- G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour based on liquid crystals, e.g. single liquid crystal display cells
- G02F1/137—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour based on liquid crystals, e.g. single liquid crystal display cells characterised by the electro-optical or magneto-optical effect, e.g. field-induced phase transition, orientation effect, guest-host interaction or dynamic scattering
- G02F1/139—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour based on liquid crystals, e.g. single liquid crystal display cells characterised by the electro-optical or magneto-optical effect, e.g. field-induced phase transition, orientation effect, guest-host interaction or dynamic scattering based on orientation effects in which the liquid crystal remains transparent
- G02F1/1396—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour based on liquid crystals, e.g. single liquid crystal display cells characterised by the electro-optical or magneto-optical effect, e.g. field-induced phase transition, orientation effect, guest-host interaction or dynamic scattering based on orientation effects in which the liquid crystal remains transparent the liquid crystal being selectively controlled between a twisted state and a non-twisted state, e.g. TN-LC cell
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2518—Projection by scanning of the object
- G01B11/2527—Projection by scanning of the object with phase change by in-plane movement of the patern
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/06—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
- G01B11/0608—Height gauges
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2504—Calibration devices
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2536—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object using several gratings with variable grating pitch, projected on the object with the same angle of incidence
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C5/00—Measuring height; Measuring distances transverse to line of sight; Levelling between separated points; Surveyors' levels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G02—OPTICS
- G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
- G02F2203/00—Function characteristic
- G02F2203/48—Variable attenuator
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nonlinear Science (AREA)
- Optics & Photonics (AREA)
- Chemical & Material Sciences (AREA)
- Crystallography & Structural Chemistry (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
ここで、位相シフト法について説明する。位相シフト法において、照度分布を正弦波状に変動させたパターンを有するパターン光を測定対象物に順次投影する場合、正弦波の位相の異なる3つ以上のパターンのパターン光を投影する。高さ測定点の各明度値をパターン光の投影方向とは別の角度からパターン毎に撮像した画像から得て、各明度値よりパターン光の位相値を計算する。測定点の高さに応じて、測定点に投影されたパターン光の位相が変化し、基準となる位置で反射されたパターン光により観察される位相とは異なった位相の光が観察されることになる。そこで、測定点におけるパターン光の位相を計算し、三角測量の原理を利用して、幾何関係式に代入することにより測定点の高さを計測し、これにより、測定対象物Wの三次元形状を求めることができる。位相シフト法によれば、測定対象物Wの高さを、パターン光の周期を小さくすることによって高分解能で測定することができるが、測定できる高さの範囲が、位相のずれ量で2π以内となる低い高さのもの(高低差の小さいもの)しか測定できない。そこで、空間コード法を兼用する。
空間コード法によれば、光が照射される空間を、多数の断面略扇状の小空間に分け、この小空間に一連の空間コード番号を付すことができる。このため、測定対象物Wの高さが高くても、すなわち高低差が大きくても、光が照射される空間内にあれば、空間コード番号から高さが演算できる。したがって、高さの高い測定対象物Wについても全体にわたって形状を測定することができる。このように空間コード法によれば、許容高さのレンジ(ダイナミックレンジ)が広くなる。
図4に示すように、実施形態1に係る照明装置3は、照明ハウジング30と、第1投光部31と、第2投光部32と、第3投光部33と、第4投光部34と、投光制御部39とを備えている。図1に示すように照明装置3とコントローラ部4とは接続線3aによって接続されているが、照明装置3とコントローラ部4とは無線接続するようにしてもよい。
実施形態1の照明装置1の第1~第4投光部31~34は、実施形態2の照明装置1の第1~第4投光部31~34と同じである。
第1LED31bと第1LCD31dとの相対的な位置関係について説明する。図9に示すように、第1LCD31dの表示面は、照明ハウジング30の開口部30aの中心軸Aと直交する平面200と同一面上に位置しており、第1LCD31dにおける照明ハウジング30の径方向外方の端部を外端部側とし、第1LCD31dにおける照明ハウジング30の径方向内方の端部を内端部側とする。第1LED31bは、第1LCD31dにおける外端部側の上方に配置されている。図9における符号SEGは、第1LCD31dを構成するセグメントである。黒色のセグメントSEGは光を透過させないセグメントであり、白色のセグメントSEGは光を透過させるセグメントである。このように、第1LCD31dの表示面に、黒色のセグメントSEGと白色のセグメントSEGとを交互に形成することで、第1LCD31dを透過した光は、その下方に図示するように光の強度が周期的に変化する正弦波状のパターン光となる。これがパターン光の生成原理である。黒色のセグメントSEGと白色のセグメントSEGの個数、間隔、形成位置は任意に変更することができ、波の周期、位相が異なる複数種のパターン光を生成することができる。
図9に示すように、第1LED31bの光出射面における波が連続する方向の寸法Kは、第1LCD31dに形成される波の半周期の寸法以下に設定されている。この実施形態では、第1LCD31dにおける波が連続する方向に並ぶ8個のセグメントSEGにより1つの波を形成しているので、4個のセグメントSEGが波の半周期に相当することになる。つまり、波が連続する方向に並ぶ4個のセグメントSEGの寸法Jと、第1LED31bの光出射面の寸法Kとが等しいか、寸法Jの方が長くなっている。
図13に示すように、第1投光部31には、第1LED31bを駆動する第1LED駆動回路(光源駆動回路)31eと、第1LCD31dを駆動する第1LCD駆動回路(液晶パネル駆動回路)31fとが設けられている。第1LED駆動回路31eは、第1LED31bに対する供給電流値を変更するための回路であり、投光制御部39によって制御される。よって、第1LED31bは、第1LED駆動回路31eを介して投光制御部39によって制御されることになる。第1LED駆動回路31eによる電流値制御は、DAC制御である。
図1に示すように、第2投光部32の第2LED32bの光の出射範囲は、第2LED32bの直下から少なくとも照明ハウジング30の開口部30aの中心軸Aよりも第1辺部30A側(照明装置3の左側)に達するように設定されている。すなわち、第2投光部32の第2LED32bの光の出射範囲は、照明ハウジング30の開口部30aの中心軸Aを対称の中心として、第1投光部31の第1LED31bの光の出射範囲と左右対称となるように設定されている。第2LED32bの光の出射範囲を、図1において右下がりの斜線で示している。
第3投光部33及び第4投光部34は、第1投光部31と同様に構成されており、図13に示すように、第3投光部33は、第3LED(第3光源)33bと、第3LED33bに対応して配置された第3LCD(第3パターン光生成部)33dとを備え、第4投光部34は、第4LED(第4光源)34bと、第4LED34bに対応して配置された第4LCD(第4パターン光生成部)34dとを備えている。第3LED33bと、第4LED34bとが対をなしている。第3LED33bと、第4LED34bとは、互いの相対位置を補正可能に照明ハウジング30に取り付けられている。相対位置の補正の詳細については後述する。
図13に示すように、この実施形態では、第1LED駆動回路31e、第2LED駆動回路32e、第3LED駆動回路33e、第4LED駆動回路34e、第1LCD駆動回路31f、第2LCD駆動回路32f、第3LCD駆動回路33f及び第4LCD駆動回路34fが共通の投光制御部39によって制御されるので、これら駆動回路を精密に同期させることができる。同様に、第5~第8投光部35~38もLED駆動回路とLCD駆動回路とを有しており、精密に同期させることができる。
図1等に示すように、撮像装置2は、照明装置3とは別体に設けられている。図1に示すように撮像装置2とコントローラ部4とは接続線2aによって接続されているが、撮像装置2とコントローラ部4とは無線接続するようにしてもよい。
露光制御部23には、コントローラ部4から、撮像を開始するトリガ信号と、撮像中に照明装置3との同期を取るための再同期トリガ信号とが入力されるようになっている。露光制御部23に入力されるトリガ信号及び再同期トリガ信号は、照明装置3に入力されるトリガ信号及び再同期トリガ信号と同じタイミングとなるように、入力タイミングが設定されている。
図3に示すデータ処理部24は、撮像素子22から出力される画像データに基づいて複数のパターン画像セットを生成する。撮像素子22が第1パターン画像を複数生成すると、データ処理部24は、複数の第1パターン画像からなる第1パターン画像セットを生成する。同様に、複数の第2パターン画像からなる第2パターン画像セットを生成し、複数の第3パターン画像からなる第3パターン画像セットを生成し、複数の第4パターン画像からなる第4パターン画像セットを生成する。したがって、撮像装置2は、各液晶パネルから投影された複数のパターン光の測定対象物Wからの反射光をそれぞれ受光し、各液晶パネルにそれぞれ対応する複数のパターン画像セットを生成することができる。
図3に示す位相計算部26は、高さ画像の元データとなる絶対位相画像を算出する部分である。図14に示すように、ステップSA1において、位相シフトパターン画像セットの各画像データを取得し、位相シフト法を利用することにより、相対位相計算処理を行う。これは図16における相対位相(Unwrapping前位相)のように表現することができ、ステップSA1の相対位相計算処理により位相画像が得られる。
画像処理部27は、前記各パターン画像、位相画像、縞番号画像及び信頼度画像に対して、例えば、ガンマ補正、ホワイトバランスの調整、ゲイン補正等の画像処理を行う部分である。画像処理後の各パターン画像、位相画像、縞番号画像及び信頼度画像を画像記憶部28に記憶させておくこともできる。画像処理は上述した処理に限られるものではない。
出力制御部29は、コントローラ部4から出力された画像出力要求信号を受信すると、その画像出力要求信号に従い、画像記憶部28に記憶されている画像の内、画像出力要求信号で指示された画像のみ、画像処理部27を介してコントローラ部4に出力する部分である。この例では、画像処理前の各パターン画像、位相画像、縞番号画像及び信頼度画像を画像記憶部28に記憶させておき、コントローラ部4からの画像出力要求信号で要求された画像に対してのみ、画像処理部27で画像処理を行い、コントローラ部4に出力する。画像出力要求信号は、使用者が各種測定操作や検査操作を行った時に出力することができる。
図2に示すように、コントローラ部4は、撮像投光制御部41と、高さ測定部42と、画像合成部43と、検査部45と、表示制御部46と、履歴記憶部47とを備えている。コントローラ部4は、撮像装置2及び照明装置3とは別体に設けられている。
撮像投光制御部41は、前記パターン光の形成情報、トリガ信号及び再同期トリガ信号を、照明装置3に所定のタイミングで出力するとともに、前記撮像条件に関する情報、トリガ信号及び再同期トリガ信号を、撮像装置2に所定のタイミングで出力する。照明装置3に出力するトリガ信号及び再同期トリガ信号と、撮像装置2に出力するトリガ信号及び再同期トリガ信号とは同期している。前記パターン光の形成情報及び前記撮像条件に関する情報は、例えば撮像投光制御部41や、別の記憶部(図示せず)に記憶させておくことができる。使用者が所定の操作(高さ測定準備操作、検査準備操作)を行うことで、前記パターン光の形成情報が照明装置3に出力されて照明装置3の投光制御部39に一旦記憶され、また、前記撮像条件に関する情報撮像装置2に出力されて露光制御部23に一旦記憶される。この例では、照明装置3は、該照明装置3に内蔵されている投光制御部39でLED及びLCDの制御を行うように構成されているので、スマートタイプの照明装置と呼ぶことができる。また、撮像装置2は、該撮像装置2に内蔵されている露光制御部23で撮像素子22の制御を行うように構成されているので、スマートタイプの撮像装置と呼ぶことができる。
高さ測定部42は、位相計算部26が生成した第1角度画像の各画素の照射角度情報及び第2角度画像の各画素の照射角度情報と、照明装置3の照明ハウジング30内における第1投光部31及び第2投光部32の相対位置情報とにしたがって、照明装置3の中心軸A方向における測定対象物Wの高さを測定することができるように構成されている。
Z=-1/a2*(X-l) … 式2
式1、式2に対してZを解くと高さが求まる。
a2Z=-X+l
Z=l/(a1+a2)
X=a1*l/(a1+a2)
このようにして、測定対象物Wにおける各点の高さを求めることができる。前記各式には、撮像装置2の位置に関する変数が無いので、測定対象物Wにおける各点の高さを求める際には撮像装置2の位置は無関係であることが分かる。但し、角度画像で無効画素となっている画素については角度情報が無いので、その点の高さを求めることはできない。すなわち、算出されるZ座標は撮像装置2と測定対象物Wとの距離ではなく、照明装置3から見た時の測定対象物Wまでの距離を示すものになっている。撮像装置2の設置位置とは無関係に、照明装置3の設置位置によって得られるZ座標が定まる。
画像合成部43は、第1高さ画像と第2高さ画像とを合成して合成後高さ画像を生成するように構成されている。これにより、第1高さ画像で無効画素になっている部分が、第2高さ画像では無効画素となっていない部分については、合成後高さ画像において有効画素で表されることになり、反対に、第2高さ画像で無効画素になっている部分が、第1高さ画像では無効画素となっていない部分については、合成後高さ画像において有効画素で表されることになる。よって、合成後高さ画像では無効画素の数を少なくすることができる。逆に、高い信頼を持った高さを得たい場合は、第1高さ画像、第2高さ画像の双方とも有効で、かつ、その差が所定以下の小さい場合のみに、その平均高さを有効としてもよい。
検査部45は、第1高さ画像、第2高さ画像及び合成後高さ画像の内、任意の画像に基づいて検査処理を実行する部分である。検査部45には、有無検査部45aと、外観検査部45bと、寸法検査部45cとが設けられているが、これは一例であり、これら全ての検査部が必須ではなく、またこれら検査部以外の検査部を備えていてもよい。有無検査部45aは、測定対象物Wの有無や測定対象物Wに取り付けられている部品の有無等を画像処理によって判断することができるように構成されている。外観検査部45bは、測定対象物Wの外形状等が予め決められた形状であるか否かを画像処理によって判断することができるように構成されている。寸法検査部45cは、測定対象物Wの各部の寸法が予め決められた寸法であるか否か、または各部の寸法を画像処理によって判断することができるように構成されている。これら判断の手法は従来から周知の手法であることから詳細な説明は省略する。
表示制御部46は、第1高さ画像、第2高さ画像及び合成後高さ画像等を表示部5に表示させたり、画像処理装置1を操作するための操作用ユーザーインターフェース、画像処理装置1を設定するための設定用ユーザーインターフェース、測定対象物の高さ測定結果を表示するための高さ測定結果表示用ユーザーインターフェース、測定対象物の各種検査結果を表示するための検査結果表示用ユーザーインターフェース等を生成して表示部5に表示させることができるように構成されている。
履歴記憶部47は、例えばRAM等の記憶装置で構成することができる。履歴記憶部47には、撮像装置2からコントローラ部4に出力された第1高さ画像、第2高さ画像及び合成後高さ画像等を記憶させておくことができるようになっている。コンソール部6やマウス7の操作によって履歴記憶部47に記憶されている画像を読み出して表示部5に表示させることができる。
上述したように、本実施形態では、第1投光部31からパターン光が投影された状態の測定対象物Wを撮像して第1パターン画像を生成し、第2投光部32からパターン光が投影された状態の測定対象物Wを撮像して第2パターン画像を生成し、第1パターン画像及び第2パターン画像に基づいて、照射角度情報を有する角度画像を生成し、既知である第1LED31bと第2LED32bの相対位置と、照射角度情報とにより、撮像装置2と照明装置3との相対的な位置関係に関わらず、測定対象物Wの高さを測定することができる。
h = (l - d * tanθ1) / (tanθ0 + tanθ1)
t1= tanθ1
底辺の長さl=(Z-z) * (t0 + t1)
θ0側端からxまでの距離lx=(x-X) + (Z-z) * t0
P = lx / l
P = {(x-X) + (Z-z) * t0} / {(Z-z) * (t0 + t1)}
P ={(x-(X0 + a * y)) + (Z-z) * t0} / {(Z-z) * (t0 + t1)}
={(x-(X0 + a * y))}/ {(Z-z) * (t0 + t1)}+ t0 / {t0 + t1}
t1 … 第1LED32bの照射幅1
X0 … 照明中心X座標
a … 第1LED32bの傾きxy (a = tanθxy)
Z … 第1LED32bの高さ
P = {(x-(X0 + a * y)) * Ti} / {Z-z}+ t0 * Ti
t1' = t1 / cosθxy
図24は、カメラキャリブレーションの概念を示す図である。まず、ワールド座標とカメラ座標との対応付けのための係数(カメラパラメータ)を推定する。「カメラ」とは撮像装置2である。本実施形態では、ワールド座標=照明座標となる。つまり、第1投光部31及び第2投光部32と、第3投光部33及び第4投光部34の2ペアで互いに異なる方向から測定対象物Wに測定用パターン光を投影できるので、キャリブレーションボードを使用することなく、XYZが求まった状態にすることができる。
図28及び図29は、調整機構を有する第1投光部31の構造例を示すものである。照明装置3の照明ハウジング30は、ベース部材60と、第1LCD31dが固定されたLCDホルダ(第1パターン光生成部ホルダ部材)61と、第1LED31bが固定されたLEDホルダ(第1光源ホルダ部材)62とを備えている。LCDホルダ61は、ベース部材60に対して位置調整可能に取り付けられ、また、LEDホルダ62も、ベース部材60に対して位置調整可能に取り付けられている。図28及び図29における幅方向とは、第1LED31bが並ぶ方向のことである。
図2に示す誤差推定部49aによって各誤差を推定することができ、このとき、第1LCD31dにより投影されるパターン光の投影誤差を推定することもできる。図31の(A)は、第1LED31bと第1LCD31dとの相対位置がずれてしまっていて、第1LED31bから出射された光が第1LCD31dの外に達している状態を示している。この場合に、第1LCD31dを、第1LED31bの照射範囲(0°~45°)よりも大きなサイズのものにしておき、有効セグメントと余剰セグメントとを確保しておく。
上述した各誤差は、照明の構造に起因するものが殆どである。例えば、第1投光部31と第2投光部32との間のθxy,θzx、各投光部31~34のθxy,θzxは、上記調整機構によって補正することができる。また、視野(θ0,θ1)は、上記使用セグメントの変更によって補正することができる。また、視野(θ0,θ1)と、あおり角θyzは絶対位相補正によって補正することができる。さらに、ペアとなる投光部のLED間の距離(l)、ペアとなる投光部のLEDの高さ差(d)は、高さ計測時のパラメータによって補正することができる。
雰囲気温度等の影響により、第1LED31bと第2LED32bの高さ方向のずれや、第3LED33bと第4LED34bの高さ方向のずれがあった場合には、そのずれを画像処理装置1の運用時に補正することができる。例えば、第1LED31bの高さを真とし、最小二乗法で合わせ込むようにする。
次に、画像処理装置1の運用時について説明する。図32~図36は、測定対象物Wが直方体の箱であり、第1投光部31及び第2投光部32からパターン光を投影して測定した場合を示している。
以上説明したように、この実施形態によれば、第1測定用パターン光を投影する第1投光部31と、第2測定用パターン光を投影する第2投光部32と、撮像装置2とにより、複数の第1パターン画像及び第2パターン画像を生成することができる。第1パターン画像及び第2パターン画像に基づいて、各画素が測定対象物Wへの第1測定用パターン光の照射角度情報を有する第1角度画像と、各画素が測定対象物Wへの第2測定用パターン光の照射角度情報を有する第2角度画像とを生成することができる。
2 撮像装置
3 照明装置
22 撮像素子
26 位相計算部
30 照明ハウジング
31 第1投光部
31b 第1LED(第1光源)
31d 第1LCD(第1パターン光生成部)
31e 第1LED駆動回路(光源駆動回路)
31f 第1LCD駆動回路(液晶パネル駆動回路)
32 第2投光部
32b 第2LED(第2光源)
32d 第2LCD(第2パターン光生成部)
32e 第2LED駆動回路(光源駆動回路)
32f 第2LCD駆動回路(液晶パネル駆動回路)
33 第3投光部
33b 第3LED(第3光源)
33d 第3LCD(第3パターン光生成部)
33e 第3LED駆動回路(光源駆動回路)
33f 第3LCD駆動回路(液晶パネル駆動回路)
34 第4投光部
34b 第4LED(第4光源)
34d 第4LCD(第4パターン光生成部)
34e 第4LED駆動回路(光源駆動回路)
34f 第4LCD駆動回路(液晶パネル駆動回路)
35 投光制御部
41a 照明モード切替部
42 高さ測定部(検査対象画像生成部)
43 画像合成部
45 検査部
48a キャリブレーションターゲット生成部
48b キャリブレーション実行部
49a 誤差推定部
49b 使用セグメント決定部
A 開口部
Claims (10)
- 測定対象物の高さを測定する画像処理装置において、
中心に開口部が形成された照明ハウジングと、前記照明ハウジング内において上部に設けられ、拡散光を出射する光源と、前記光源から下方に離れた状態で前記照明ハウジングに設けられ、前記光源から出射された光が入射される液晶パネルと、前記測定対象物に対して前記液晶パネルから互いに異なるパターン光が複数回投影されるように前記光源及び前記液晶パネルを制御する投光制御部とを有する照明装置と、
前記照明ハウジングの前記開口部を介して、前記液晶パネルから投影された複数のパターン光の測定対象物からの反射光を受光してパターン画像セットを生成する撮像装置と、
前記撮像装置が生成した前記パターン画像セットに基づいて、前記照明装置の中心軸方向における測定対象物の高さ情報を含む検査対象画像を生成する検査対象画像生成部と、
前記検査対象画像生成部が生成した前記検査対象画像に基づいて検査処理を実行する検査部とを備え、
前記光源は、前記液晶パネルにおける前記照明ハウジングの径方向外方に位置する外端部側の上方に配置され、前記光源から出射された光が前記液晶パネルに当該液晶パネルの有効角度範囲内で入射されるように、前記液晶パネルと前記光源との相対位置が設定されており、
前記照明ハウジングは、平面視において前記光源及び前記液晶パネルを囲むように環状に配置される複数の観察用発光ダイオードと、当該複数の観察用発光ダイオードを覆うように形成され、当該複数の観察用発光ダイオードから出射された観察用の光を拡散させるカバー部材とを有し、
前記撮像装置は、前記カバー部材により拡散された光の測定対象物からの反射光を受光して輝度画像を生成し、
前記検査部は、前記検査対象画像および前記輝度画像に基づいて検査処理を実行可能に構成されていることを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記液晶パネルの有効角度範囲は、前記パターン光のコントラストを所定以上確保可能な角度範囲であることを特徴とする画像処理装置。 - 請求項1または2に記載の画像処理装置において、
前記液晶パネルの有効角度範囲は、光を最も通しやすい液晶分子配列状態にある前記液晶パネルを前記光源から出射された光が通過する際に、当該光が減衰する減衰率が10%以下となる角度範囲であることを特徴とする画像処理装置。 - 請求項1から3のいずれか1つに記載の画像処理装置において、
前記液晶パネルの駆動方式がTN方式であることを特徴とする画像処理装置。 - 請求項4に記載の画像処理装置において、
前記液晶パネルと前記光源との相対位置は、当該光源から前記液晶パネルの表示面に向けて引いた当該表示面の法線と、当該光源から前記液晶パネルの前記有効角度範囲における前記外端部側の境界に向けて引いた外側仮想線とのなす角度が10°以下となるように設定されていることを特徴とする画像処理装置。 - 請求項4または5に記載の画像処理装置において、
前記液晶パネルと前記光源との相対位置は、当該光源から前記液晶パネルの表示面に向けて引いた当該表示面の法線と、当該光源から前記液晶パネルの前記有効角度範囲における前記照明ハウジングの径方向内方に位置する内端部側の境界に向けて引いた内側仮想線とのなす角度が50°以下となるように設定されていることを特徴とする画像処理装置。 - 請求項1から6のいずれか1つに記載の画像処理装置において、
前記光源と前記液晶パネルの表面との距離と、前記液晶パネルの有効角度範囲の幅とが略一致していることを特徴とする画像処理装置。 - 請求項1から7のいずれか1つに記載の画像処理装置において、
前記光源は、前記照明ハウジング内において前記開口部の周方向に互い離れて設けられた第1光源及び第2光源を含み、
前記液晶パネルは、前記第1光源から出射された光が有効角度範囲内で入射されるように、前記第1光源に対応するように配置された第1液晶パネルと、前記第2光源から出射された光が有効角度範囲内で入射されるように、前記第2光源に対応するように配置された第2液晶パネルとを含み、
前記投光制御部は、前記測定対象物に対して前記液晶パネルから互いに異なるパターン光が複数回投影されるように前記第1光源、前記第2光源、前記第1液晶パネル及び前記第2液晶パネルを制御するように構成されていることを特徴とする画像処理装置。 - 請求項8に記載の画像処理装置において、
前記第1液晶パネルの表示面及び前記第2液晶パネルの表示面は、前記照明ハウジングの前記開口部の前記中心軸と直交する同一平面上に位置するように設けられていることを特徴とする画像処理装置。 - 請求項1から9のいずれか1つに記載の画像処理装置において、
前記カバー部材は、前記照明ハウジングの内部において前記液晶パネルの表示面よりも前記開口部の径方向外側に設けられるとともに、前記液晶パネルの表示面よりも測定対象物に接近する方向へ突出するように設けられていることを特徴とする画像処理装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019025735A JP7231433B2 (ja) | 2019-02-15 | 2019-02-15 | 画像処理装置 |
US16/727,962 US11209712B2 (en) | 2019-02-15 | 2019-12-27 | Image processing apparatus |
CN202010087559.8A CN111578847A (zh) | 2019-02-15 | 2020-02-12 | 图像处理设备 |
DE102020201814.6A DE102020201814A1 (de) | 2019-02-15 | 2020-02-13 | Bildverarbeitungsvorrichtung |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019025735A JP7231433B2 (ja) | 2019-02-15 | 2019-02-15 | 画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020134249A JP2020134249A (ja) | 2020-08-31 |
JP7231433B2 true JP7231433B2 (ja) | 2023-03-01 |
Family
ID=71844014
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019025735A Active JP7231433B2 (ja) | 2019-02-15 | 2019-02-15 | 画像処理装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11209712B2 (ja) |
JP (1) | JP7231433B2 (ja) |
CN (1) | CN111578847A (ja) |
DE (1) | DE102020201814A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114765667A (zh) * | 2021-01-13 | 2022-07-19 | 安霸国际有限合伙企业 | 用于多视图拼接的固定图案校准 |
CN113063368A (zh) * | 2021-04-07 | 2021-07-02 | 杭州江奥光电科技有限公司 | 一种线激光旋转扫描三维轮廓测量方法及装置 |
WO2023190056A1 (ja) * | 2022-03-30 | 2023-10-05 | パナソニックIpマネジメント株式会社 | 視差情報生成装置及び視差情報生成方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003279334A (ja) | 2002-02-01 | 2003-10-02 | Ckd Corp | 三次元計測装置、フィルタ格子縞板及び照明手段 |
JP2005337943A (ja) | 2004-05-28 | 2005-12-08 | Ckd Corp | 三次元計測装置 |
JP2006275529A (ja) | 2005-03-28 | 2006-10-12 | Citizen Watch Co Ltd | 3次元形状測定方法及び測定装置 |
JP2015169510A (ja) | 2014-03-06 | 2015-09-28 | オムロン株式会社 | 検査装置 |
JP2018189497A (ja) | 2017-05-08 | 2018-11-29 | 国立大学法人福井大学 | 特徴量を用いた3次元計測方法およびその装置 |
WO2021199513A1 (ja) | 2020-03-30 | 2021-10-07 | オムロン株式会社 | 検査装置 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5272553A (en) * | 1988-10-28 | 1993-12-21 | Sharp Kabushiki Kaisha | Projection type liquid crystal display device with twisted nematic liquid crystal layers |
US6166789A (en) * | 1994-07-21 | 2000-12-26 | Ncr Corporation | Liquid crystal display |
JP3414624B2 (ja) * | 1997-09-16 | 2003-06-09 | 松下電器産業株式会社 | 実時間レンジファインダ |
JP2004053532A (ja) * | 2002-07-23 | 2004-02-19 | Ricoh Co Ltd | 光学的形状測定装置 |
US8854610B2 (en) * | 2008-02-26 | 2014-10-07 | Koh Young Technology Inc. | Apparatus and method for measuring a three-dimensional shape |
KR101190122B1 (ko) * | 2008-10-13 | 2012-10-11 | 주식회사 고영테크놀러지 | 다중파장을 이용한 3차원형상 측정장치 및 측정방법 |
JP2013124938A (ja) * | 2011-12-15 | 2013-06-24 | Ckd Corp | 三次元計測装置 |
JP5643241B2 (ja) * | 2012-02-14 | 2014-12-17 | Ckd株式会社 | 三次元計測装置 |
JP6029394B2 (ja) * | 2012-09-11 | 2016-11-24 | 株式会社キーエンス | 形状測定装置 |
JP6532325B2 (ja) * | 2015-07-09 | 2019-06-19 | キヤノン株式会社 | 被計測物の形状を計測する計測装置 |
JP6961394B2 (ja) * | 2017-05-31 | 2021-11-05 | 株式会社キーエンス | 画像検査装置、画像検査方法、画像検査装置の設定方法、画像検査プログラム、画像装置の設定検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
JP7090446B2 (ja) | 2018-03-22 | 2022-06-24 | 株式会社キーエンス | 画像処理装置 |
JP7090447B2 (ja) | 2018-03-22 | 2022-06-24 | 株式会社キーエンス | 画像処理装置 |
-
2019
- 2019-02-15 JP JP2019025735A patent/JP7231433B2/ja active Active
- 2019-12-27 US US16/727,962 patent/US11209712B2/en active Active
-
2020
- 2020-02-12 CN CN202010087559.8A patent/CN111578847A/zh not_active Withdrawn
- 2020-02-13 DE DE102020201814.6A patent/DE102020201814A1/de active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003279334A (ja) | 2002-02-01 | 2003-10-02 | Ckd Corp | 三次元計測装置、フィルタ格子縞板及び照明手段 |
JP2005337943A (ja) | 2004-05-28 | 2005-12-08 | Ckd Corp | 三次元計測装置 |
JP2006275529A (ja) | 2005-03-28 | 2006-10-12 | Citizen Watch Co Ltd | 3次元形状測定方法及び測定装置 |
JP2015169510A (ja) | 2014-03-06 | 2015-09-28 | オムロン株式会社 | 検査装置 |
JP2018189497A (ja) | 2017-05-08 | 2018-11-29 | 国立大学法人福井大学 | 特徴量を用いた3次元計測方法およびその装置 |
WO2021199513A1 (ja) | 2020-03-30 | 2021-10-07 | オムロン株式会社 | 検査装置 |
Also Published As
Publication number | Publication date |
---|---|
US11209712B2 (en) | 2021-12-28 |
US20200264464A1 (en) | 2020-08-20 |
CN111578847A (zh) | 2020-08-25 |
DE102020201814A1 (de) | 2020-08-20 |
JP2020134249A (ja) | 2020-08-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7164461B2 (ja) | 画像処理装置 | |
US10627216B2 (en) | Image processing apparatus | |
JP7231433B2 (ja) | 画像処理装置 | |
JP3914638B2 (ja) | 形状計測装置 | |
JP2012053015A (ja) | 外観検査装置及び外観検査方法 | |
JP7090447B2 (ja) | 画像処理装置 | |
JP2012518844A (ja) | 三次元計測システムのための輝度およびカラー表示 | |
US20210041231A1 (en) | Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, three-dimensional shape measuring computer-readable storage medium, and three-dimensional shape measuring computer-readable storage device | |
JP5612969B2 (ja) | 外観検査装置及び外観検査方法 | |
US10630910B1 (en) | Image processing apparatus | |
JP2019144203A (ja) | 画像検査装置および画像検査方法 | |
US8615128B2 (en) | Method for 3D, measurement of the surface of an object, in particular for dental purposes | |
JP7231432B2 (ja) | 画像処理装置 | |
JP5956296B2 (ja) | 形状計測装置及び形状計測方法 | |
US11326874B2 (en) | Structured light projection optical system for obtaining 3D data of object surface | |
JP2012237613A (ja) | 形状計測装置及び形状計測方法 | |
JP2020134251A (ja) | 画像処理装置 | |
JP2020128931A (ja) | 検査装置 | |
JP2018004282A (ja) | 測定装置 | |
JP6077287B2 (ja) | 光学顕微鏡及びパターン投影計測方法 | |
JP7164476B2 (ja) | 画像処理装置 | |
JP5853284B2 (ja) | 形状計測装置及び形状計測方法 | |
JP7246992B2 (ja) | 画像処理装置 | |
JP2003004425A (ja) | 光学的形状測定装置 | |
JP2016008837A (ja) | 形状測定方法、形状測定装置、構造物製造システム、構造物製造方法、及び形状測定プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211217 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220915 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220927 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221122 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230207 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230216 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7231433 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |