CN104704346A - 用于识别场景中的材料的方法和装置 - Google Patents
用于识别场景中的材料的方法和装置 Download PDFInfo
- Publication number
- CN104704346A CN104704346A CN201380051800.XA CN201380051800A CN104704346A CN 104704346 A CN104704346 A CN 104704346A CN 201380051800 A CN201380051800 A CN 201380051800A CN 104704346 A CN104704346 A CN 104704346A
- Authority
- CN
- China
- Prior art keywords
- scene
- light
- image
- polarization
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000000463 material Substances 0.000 title claims abstract description 82
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000005259 measurement Methods 0.000 claims abstract description 19
- 230000010287 polarization Effects 0.000 claims description 64
- 230000003287 optical effect Effects 0.000 claims description 22
- 230000007246 mechanism Effects 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 description 13
- 238000001514 detection method Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 239000004020 conductor Substances 0.000 description 4
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 3
- 239000010949 copper Substances 0.000 description 3
- 229910052802 copper Inorganic materials 0.000 description 3
- 239000003989 dielectric material Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000000711 polarimetry Methods 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 239000004411 aluminium Substances 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000011810 insulating material Substances 0.000 description 1
- 239000012212 insulator Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000003647 oxidation Effects 0.000 description 1
- 238000007254 oxidation reaction Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/21—Polarisation-affecting properties
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/9501—Semiconductor wafers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/956—Inspecting patterns on the surface of objects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N2021/1734—Sequential different kinds of measurements; Combining two or more methods
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N2021/1765—Method using an image detector and processing of image signal
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/956—Inspecting patterns on the surface of objects
- G01N2021/9563—Inspecting patterns on the surface of objects and suppressing pattern images
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/956—Inspecting patterns on the surface of objects
- G01N2021/95638—Inspecting patterns on the surface of objects for PCB's
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明涉及一种识别场景中的材料的方法,包括以下步骤:点亮场景(1);针对光的分开的偏振状态通过使用定位在所述场景的法线上的倾斜的方向上的两个测量装置来取得所述场景的光振幅的至少两个同时测量;并且从此推断材料的识别。
Description
技术领域
本发明涉及用于识别场景中的材料的装置和方法。更具体而言,本发明涉及能够快速识别场景中的、例如装配线上的材料的这种装置和方法。
背景技术
在印刷电路的装配上,很多对齐和定位测试被执行在装配的不同阶段。尤其是在印刷电路板上(PCB)上形成焊垫之后,普遍执行第一对齐和定位测试。这个第一测试能够确定出衬垫是否适合地分布在板表面处。
组件或芯片随后被定位在所述印刷电路板上以使得它们的端子符合焊垫。在这个组件定位步骤之后,可以执行第二对齐和定位测试。最后步骤包括对该结构进行退火以融化焊垫从而使组件或芯片被适当地保持在集成电路板上。
在传统的装配方法中,集成电路板被放置在运输机上并且装配步骤被依次执行。用于测试被定位在运输机上的板的很多装置是公知的、尤其是集成光学检查元件的装置。
然而,识别存在于场景中的材料也是有益的。此处材料的识别一般意味着确定包括待识别的材料的一组材料,也就是说,例如材料的性质(绝缘体、半导体……),确定实际材料(铜、铝……),或者对相同材料的不同表面条件进行区分(例如多个粗糙度或氧化水平)。
已经提供了通过在二维场景中执行颜色检测来识别材料。不利之处在于:结果相对地取决于光照条件。此外,这种方法关于可以被检测到的材料的数量是限制性的。此外,该方法进一步糟糕地对于识别三维场景中的材料,其中突起的元件的阴影能够扭曲该识别。
因而存在用于识别场景中的材料的相对快速的方法和设备的需求,即,该方法和设备能够在移动场景上特别是装配线上执行识别。
发明内容
实施例的一个方面是提供一种用于识别场景中的材料的方法和装置。
实施例的另一方面是提供适于移动场景尤其是装配线上的尤其快速的解决方案。
实施例的另一方面是提供能够识别三维场景中的材料的装置和方法。
为了达到所有的或部分的这些或其他目标,本发明提供了一种识别场景中的材料的方法,包括以下步骤:点亮场景;针对光偏振的不同状态借由沿相对所述场景倾斜的方向进行定位的至少两个测量装置来取得所述场景的光振幅的至少两个同时测量;并且从此推断材料的识别。
本发明的实施例还提供一种用于识别场景中的材料的***,包括:选自于光源和图像获取装置的第一类型的至少一个元件;以及选自于图像获取装置和光源的、不同于第一类型的第二类型的至少两个元件,其中,每个第二元件与直线偏振器以固定关系相关联。
根据本发明的实施例,所述第二类型的每个元件的光轴相对于所述第一类型的元件的光轴形成5度至50度范围内的角度,其中,所述第二类型的元件规则地分布在所述第一类型的元件的光轴的周围。
根据本发明的实施例,图像获取装置针对不同光偏振状态来获取场景的光振幅的图像。
根据本发明的实施例,所述***还包括能够基于由图像获取装置获取的图像来识别场景中的材料的处理装置。
根据本发明的实施例,所述***还包括确定场景的拓扑的装置,其中,所述处理装置从所述确定装置接收信息。
根据本发明的实施例,所述第一类型的元件沿垂直于场景的平面的轴线放置。
根据本发明的实施例,所述第二类型的元件为光源。
本发明还提供一种诸如上述描述的方法,来使用上述描述的***,其中,光源被交替地激活,所述图像获取装置设置为针对每个源激活交替而获取图像。
本发明的实施例还提供一种包括部件输送机以及诸如上述描述的用于识别所述部件中的材料的***的装置。
附图说明
结合说明书附图,在以下具体实施例的非限制性描述中将对前述和其他特征以及益处进行详细的描述,其中:
图1示出了印刷电路板检查装置;
图2示出了用于识别存在于二维(2D)场景中的材料的公知装置;
图3为示出了根据实施例的装置的原理的曲线;
图4为根据实施例的***的框图;
图5为示出了用于描述实施例的符号的透视图;
图6示出了根据实施例的***的元件的实施例;
图7示出了根据可选实施例的***的元件的另一实施例;
图8示出了根据可选实施例的***的元件的另一实施例;以及
图9和图10以框图形式显示了用于识别场景中的材料的方法的实施例;
为了清晰,相同的元件在不同附图中使用相同的参考标记来进行指代,并且进一步地,通常在检测***的表示中,多种附图并不是依比例决定的。
具体实施方式
图1示意性地显示了这样一种装置示例、比如在文献EP-A-2413132以及US-A-2012/019651中所描述的。例如,由印刷电路板ICC支撑的电子电路IC被放置在管线式(in-line)光学检查装置的运输机1上。该装置包括连接到图像处理计算机***3的数字照相机的***2。针对一系列成像,运输机1能够在X,Y平面(一般水平的)内、仅在两个方向中的一个方向、即X方向上移动。
数字照相机***2可以具有多种形式。尤其是,其设置为通过对于在板表面处的形状的检测、也就是说通过装置的三维结构的检测来检测在印刷电路板上的芯片或组件的定位。如果芯片、组件或焊垫并未被合适定位,则这可以通过将板拓扑与参考拓扑进行比较来进行检测。
图2示出了用于识别存在于二维(2D)场景中的材料的公知装置。
该装置包括具有图案14的晶片12,该图案14由来自于期望被识别的晶片12的材料制成,并且形成在所述晶片12的表面处。晶片12例如由环境光来照亮。照相机16相对晶片12放置,并且被定位成获取晶片12的至少一部分表面的图像,其结构期望由材料的识别来识别。在所示的示例中,照相机的光轴垂直于晶片表面。应该了解的是,照相机的倾斜定位也是可以的。
旋转的线性偏振器18被放置在照相机16的前面。偏振器18可以、例如由双折射透镜形成,该双折射透镜沿光偏振轴放大光强度并且沿垂直于第一轴的另一光偏振轴消弱光强度。该照相机与处理和计算装置20相关联。
旋转的线性偏振器被用作为椭圆偏振仪。这能够使得根据偏振的方向对光强度进行映射。为执行这种映射,旋转的线性偏振器可以例如、被装配在马达驱动轴上。
应该了解的是,相似的检测可以通过以下的装置来执行,该装置包括定位在压控液晶延时单元周围的两个线性偏振器的关联。
图3示出了通过图2的装置所能够获取的结果。更具体而言,图3示出了通过图2的装置来确定出的两个椭圆偏振曲线,所述两个椭圆偏振曲线源于针对集中到由不同材料构成的场景的点上的照相机的两个像素而执行的测量结果。这些曲线示出了,针对集中到在支撑件12的表面处的第一材料上的照相机的第一像素(曲线22)以及针对集中到在支撑件12的表面处的第二材料上的照相机的第二像素(曲线24),根据旋转的偏振器角度(在弧度上)的入射强度的调制系数。
在图3中可以看到,曲线22和曲线24在可能的偏振角上具有不同的振幅。在所示的示例中,曲线22对应于由检测传导材料(更具体而言为铜)的区域的照相机16的像素来执行的获取。曲线24对应于由检测介电材料的区域的照相机的像素来执行的获取。
比如图2的测量结果可以因此被用于获得与反射了光波的材料相关的信息。实际上,每种材料具有与其组分、更具体而言与其折射指数相联接的椭圆偏振特征signature)。椭圆偏振特征与参考特征之间的比较能够确定出关联的材料。
然而,通过椭圆偏振法的材料的识别无法被实施在移动场景的处理、例如在装配线上的情形中,其中,针对每个获取所允许的时间是被减少。实际上,为了通过椭圆偏振法以及因此通过比较椭圆偏振曲线来执行识别,针对旋转的线性偏振器的不同位置的很多点的测量是必要的,其中,这种测量是耗时的。通过椭圆偏振法的材料的识别也不能被实施在处理具有未知拓扑的可变形场景的情形中。包括耦接到液晶延时单元的两个偏振器的结构的使用也暗示了装配线上禁止用于应用的测量时间。
根据实施例,用于识别场景中的材料的***不包括可变偏振装置。可变偏振装置是以下一种装置,其能够利用随时间变化的偏振使通过该装置的光束偏振。例如是比如前述的旋转的线性偏振器。根据实施例,应用在识别***中的每个偏振器与图像获取装置或与其相关联的光源处于固定关系中。识别***也不包括光束***器。
图4为示出了根据实施例的能够识别场景中的材料的***的框图,该框图与装配线上的识别兼容。
就场景的每个基本区域而言,测量装置(POLA)26针对至少两个不同的光偏振状态来检测由这个区域所反射的光振幅。***包括处理和计算装置27(PROCESSING),该处理和计算装置27基于***26递送的数据来提供存在于场景的基本区域中的材料的识别。
***还包括用于确定场景28(3D)的拓扑的装置。在以下描述中,场景拓扑指的是场景起伏的描述。场景拓扑的确定可以包括确定场景的三维图像。三维图像对应于包括场景的外表面的至少一部分的点云(例如包括几百万个点),其中,该表面的每个点通过其相对于三维空间参考***而确定的坐标被定位。
在三维场景的情形下,由于用于确定场景28的拓扑的装置的存在,垂直于场景N的表面的向量的值在场景中的任意点处都是已知的。可以使用多种装置来确定场景拓扑。诸如在申请人的专利申请US2012/019651中描述的那些***尤其可以被使用。在垂直于运输机前进的方向的平面中,这种装置包括两个投影仪的集合,其中,每个投影仪与多个照相机相关联以得到3D图像捕捉***。计算和处理装置向所获得的数据施加超分辨率处理。
当然,用于确定3D场景拓扑的其他装置也可以被用作为装置26。
用于确定场景拓扑的装置26可以对应于不同于测量装置26的装置。作为一种变体,用于确定场景28的拓扑的装置的至少特定元件、尤其是照相机和/或投影仪可以与测量装置26一样常见。
在另一实施例中,场景拓扑和场景相对于获取装置的位置可以源于数字描述文件并且对应于场景的理论拓扑表示。
光波在表面上的反射暗示了该波的偏振的变化,该波的振幅除了被检测材料的折射指数η,取决于被分析表面的几何结构、该表面的粗糙度r、以及照亮该表面的光束的波长λ。表面的粗糙度r和照亮该表面的光束的波长λ被忽略或者假设在当前情形中是恒定的。
被分析表面的几何结构可以通过垂直于被分析表面的向量来表征。因此,在表面上所反射的光波的偏振状态取决于被投射在表面上的初始波的偏振状态、参数r和λ、以及材料的折射指数η。
通过位于三维场景中并且由定位在旋转的线性偏振器后的传感器所测量的材料扩散的光的振幅I(η,θ',α,β)可以被写为依照下面的关系(1):
其中:
其中,n和k分别为材料的折射指数η的实部和虚部(吸收指数),一对(θ,α)代表垂直于在照相机参考***中观察到的表面的法线的初始两个球面坐标(顶点和方位角),角度θ'为在材料中折射的半径的角度,其通过施加斯涅尔-笛卡尔定律(sin(θ)=n.sin(θ'))从角度θ来获得,以及β为偏振器角。
图5示意性地示出了在上述公式中提及的不同角度。该附图显示了照亮材料M的表面的光源S。此处考虑由朝向检测器或照相机D的表面M的基本部分反射的光束,其中,偏振器P放置在由材料反射的波的路径上。
照相机的参考系(x,y,z)被限定以使得轴z与由材料M反射的光束的方向相一致。偏振器P的角度β在本示例中被限定为在垂直于z方向的平面中与y轴形成的角度。角度θ是形成在z方向与材料M的表面的法线的方向之间的角度,并且角度α是形成在法线在平面(x,y)中的投影与该平面的y轴之间的角度。
应该注意的是,此处考虑光束的扩散分量,其为在菲涅耳模型中由材料的内层传输的分量。I(1/η,θ',α,β)因此应该被用于表示由传感器测量到的强度。
此处可以设置为,针对于这个光的不同偏振状态,通过测量装置26来执行由场景中的不同材料反射的光的振幅的多个获取。无论场景是二维的(垂直于场景表面的法线向量)或是三维的,此处设置的装置具有相同的操作。
针对至少两个偏振状态,测量***26设置为获取与由像素上的反射进行的光束的修正相关的至少两条信息。
具体地,如果期望确定存在于场景中的材料的性质,例如是介电的或是传导的,则与由在像素上的反射进行的光束的振幅相关的小数量信息是必需的。实际上,通过合适地指定被检测的偏振状态,材料上的振幅变化可以被确定,其中,这种变化直接与材料性质相关。如果与材料相关的更精确的信息是期望的,例如如果其折射指数期望被确定,则不同偏振状态的四个获取可以是必需的。
图6进一步详细示出了图4的测量***26的实施例。
测量***26包括具有沿垂直于待被分析的场景的方向延伸的光轴的投影仪30。
在所示的示例中,***26还包括四个照相机32的集合(四个平行的获取),该四个照相机放置成从不同视角获取以相同的点为中心的场景的图像。由照相机32获取的图像的中心处的点可能与由投影仪30提供的光束的中心相混淆。作为一种示例,照相机32可以相对投影仪的光轴根据相同的角度α倾斜并且被规则地定位在投影仪30的光轴的周围。形成在照相机32的光轴和照相机30的光轴之间的角度α可以在5度至50度的范围内。应该注意的是,显著的角度会改善识别的质量。还应该注意的是,如上所描述的,可以提供多于或少于四个照相机。根据一种变体,针对每个照相机的角度α可以是不同的。
相对每个照相机固定的直线偏振器34被放置在每个照相机32的前面。处理和计算装置27(未在图6中示出)接收不同照相机的获取并且针对场景的每个像素借由像素拓扑的知识而识别存在于场景的像素的水平处的材料。
在每个照相机前面的直线偏振器的多个构造是可能的,这对于在场景上具有不同的观察点的照相机是重要的。实际上,这会导致由不同照相机测量到的强度的变化。直线偏振器34可以被放置在每个照相机的前面以具有相同的偏振测定构造,也就是说,偏振器的偏振角围绕投影仪30的光轴旋转地对称。如果由不同照相机测量到的强度的变化是期望是增加的,则偏振器的偏振角还可以在两个照相机之间进行转换。实际上,在两个照相机之间变化的偏振测定构造提供良好的质量识别。
针对反射光的不同偏振状态,上述提供的直线偏振器的优选位置能够执行由场景的每个像素反射的光振幅的测量(每个照相机与线性偏振器相关联,这确保不同偏振状态的测量)。因此,针对场景的相同像素,每个照相机均接收对应于由像素反射的光的不同偏振的光振幅。基于针对不同光偏振状态而由照相机测量到的值以及基于3D场景情形中的场景拓扑的知识,存在于场景中的材料可以因此被确定(通过它们的折射指数来确定)。
图7和图8示出了根据实施例的装置的两个可选实施例。
图7示出了与图6的装置相似的装置,其中该装置包括沿垂直于场景的方向定位的非偏振光的投影仪30,其中投影仪发射的光能够照亮被研究的场景的至少一部分。在图7的示例中,与直线偏振器相关联的两个照相机32获取场景的图像。两个照相机32相对投影仪被对称放置,其中照相机的光轴与投影仪的光轴形成角度α,优选地在5度至50度范围内。
选择使偏振被施加到两个偏振器34是在本领域技术人员的能力的范围内,因此他们针对平坦的参考表面来检测被检测强度的最大值和最小值。
图8示出了另一可选实施例。针对类似于图6和图7的实施例的结果,两个光源和照相机的关联被提供在图8中。
在图8的示例中,两个光源30A、30B被放置成以在它们的光轴的水平处照亮场景的相同点。两个光源的光轴相对于场景的法线来设置以形成相同的角度α,优选地在5度至50度范围内,并且相对垂直于场景的平面被定向对称。单一照相机32被放置在法线平面上,并且其光轴指向源自于源30A和30B的光束的中心点。
光源30A、30B被偏振。为了***化图7中这个点,两个偏振器34A、34B相对源30A、30B固定并且被放置在源自于源30A、30B的光束的光程上。应该注意的是,偏振光源还可以被直接提供。
源30A、30B的光束的偏振(或者在图7的示例中的偏振器34A、34B的定位)可以被设置为限制镜面反射,这也许在视觉***中是干扰的。源30A、30B的光束的偏振(或者在图7的示例中的偏振器34A、34B的定位)还可以被选择以使得由平坦的参考表面所反射的信号被照相机接收到以与检测到的光振幅的极值相一致(图3的曲线)。
在操作中,可以设置为通过投影仪30A和30B交替照亮场景,其中,照相机在投影仪30A的照亮下执行第一获取和在投影仪30B的照亮下执行第二获取。在批处理情形下,在装配线上,第一获取和第二获取之间的获取延迟可以设置为被校正以使得这两个获取期间被检测到的图像是可比较的。
如果场景是三维的,则针对场景的相同区域以及该区域的拓扑的知识,在投影仪30A和30B的激活的两个阶段期间由照相机检测的振幅信息能够使处理***27识别像素材料。
根据在图8中显示的实施例的变体,偏振器34A和34B是不存在的。相对照相机32固定的直线偏振器被放置在照相机32的前面。照相机在投影仪30A的照亮下执行第一获取和在投影仪30B的照亮下执行第二获取。两个获取的不同偏振状态随后归因于以下事实:即,在获取期间,场景在不同角度下通过每个投影仪30A、30B来照亮。因此,单一投影仪或没有投影仪可以装备有修改入射偏振状态的光学装置。
应该注意的是,可以基于图6和图8的实施例来获取不同的变体。实际上,还可以设置为使用不同于此处提供的多个光源和照相机,只要至少两个发射源/接收器对被提供在该装置中即可(针对两个照相机的至少一个源以及针对一个照相机的至少两个源)。
当然,应该了解的是,源/传感器对的数量越大,则材料的检测可更细致以及更精确。
在实践中,场景中待被识别的材料的数量也许是有限的。实际上,例如,针对装配在板上的印刷电路,在方法应用于装配线中的材料的识别情形下,可以期望的是仅在传导材料(例如芯片互联铜迹线)和介电材料之间做出差别。有益地,这种材料具有不同的椭圆偏振特征(针对传导材料的光振幅变化比针对绝缘材料的光振幅变化更显著),这能够在这些材料之间进行区分。如以前所看到的,在列表里的材料的选择的变窄能够限制识别***的光源/获取装置对的数量。
有益地,此处提供的用于识别场景中的材料的结构可以被集成在用于检测场景的3D拓扑的装置中,并且尤其与在上述提及的US 2012/019651专利申请中描述的装置集成在一起。为了达到这一点,针对识别材料而非拓扑检测,另外使用场景的特定照相机的功能是足够的,或者还添加致力于识别拓扑检测***中的材料的一个或多个照相机是足够的。
根据实施例,识别场景中的材料的方法包括将获取的、对应两个不同偏振状态的图像彼此进行比较。
图9以框图的形式显示了识别场景中的材料的方法的实施例。
在步骤40,装置28确定场景的拓扑。这可以包括确定场景的三维图像。三维图像对应包括场景的外表面的至少一部分的点云(例如包括几百万个点),其中,该表面的每个点均通过其相对三维空间参考***来确定的坐标被定位。
在步骤42,处理和计算装置27针对观察到的场景的每个兴趣点来确定由观察这个兴趣点的测量装置26的所有照相机测量到的光强度。兴趣点意味着具有由于场景拓扑数据而知晓的其位置的场景的点中的一个点,并且针对该点对应的材料期望被识别。对应于在所获取的图像中的兴趣点的像点的位置,通过由装置28递送的场景拓扑数据与例如能够将源于拓扑的点投射到所获取的图像中的图像获取装置的校准相关的信息的组合来给出。
针对观察到的场景的每个兴趣点,处理和计算装置27在由观察场景的这个兴趣点的照相机在不同偏振状态处获取的每个图像中、例如基于在像点周围的图像部分的像素的光强度通过双线性内插法来确定在像点处的光强度。
在步骤44,处理和计算装置27对在步骤42所确定的、针对给定兴趣点的光强度进行比较。这个比较结果可以是以光强度的简单差异的形式或者光强度的比率的形式做出。大体上,根据获取的图像的偏振状态,比较状态显示了光强度的变化。
在步骤46,处理和计算装置27通过在步骤44处确定的差异的值来确定在场景的兴趣点处的性质。作为示例,这可以通过将差异与阈值进行比较来获得。当差异大于或等于阈值时,装置7确定出场景的兴趣点由传导材料制成,并且当差异严格地小于阈值时,装置7确定出场景的兴趣点由介电材料制成。使用的阈值可以由公知场景实验性地进行确定。
当具有不同偏振状态的场景的多于两个图像被获取时,步骤42包括基于由装置28递送的场景拓扑数据,来确定针对每个兴趣点的不同的光强度。作为示例,这种确定可以被执行在两个步骤中。第一步骤包括将场景的兴趣点投射在所有照相机的图像平面上以获得对应的像点。第二步骤包括针对每个获取的图像,对在每个像点处的光强度进行内插。步骤46可以包括对通过将多个照相机对的强度差异与阈值进行比较而得到的材料的性质的识别进行比较的步骤,以使得相对于获取噪音的识别更加强了。
根据实施例,识别场景中的材料的方法包括确定从对应于两个不同偏振状态的获取的图像而得到的价值函数的极值。
图10以框图的形式显示了识别场景中的材料的方法的实施例。
步骤50和52分别等同于前述的步骤40和42。
在步骤54,处理和计算装置27针对与场景的兴趣点相关联的每个图像来确定出价值函数Cost,例如根据下列关系(2):
其中,N为具有不同偏振状态的所获取的图像的数量,为在所考虑像点处测量到的强度,为通过前述关系(1)得到的理论强度,以及||x||为范数、例如绝对值。如前所述,理论强度特别地取决于材料的折射指数η和垂直于观察到的场景的表面的向量法线向量可以通过由装置28提供的拓扑数据来确定。
在步骤56,处理和计算装置27确定价值函数Cost为最小值时的折射指数η。
价值函数Cost还可以包括光学指数之间的、惩罚空间转变的曲线拟合项以增加识别相对获取噪音的加强。在价值函数Cost期望是最小化的情形中,这个曲线拟合项可以例如为与在兴趣点附近的光学指数的同质性一起增加的函数。例如可以通过材料在其中已经例如被观察者识别的多个场景的学习来推断曲线拟合项。
本发明的具体实施例已经被描述了。多种替换或修改对于本领域技术人员而言是容易发生的。此外,具有多种变体的多种实施例已经在上面描述了。应该注意的是,本领域技术人员可以使这些多种实施例的多种元件进行组合并且在不显示任意创造性步骤的前提下对多种变体进行组合。
Claims (15)
1.一种识别场景中的材料的方法,包括以下步骤:
点亮场景(1);
针对光偏振的不同状态借由沿相对所述场景倾斜的方向进行定位的至少两个测量装置来取得所述场景的光振幅的至少两个同时测量,其中所述测量装置不包括可变偏振装置和光束***器;并且
从此推断材料的识别。
2.根据权利要求1所述的方法,还包括确定所述场景的拓扑的步骤,其中,基于所述场景的拓扑来进一步执行材料识别。
3.根据权利要求2所述的方法,其中,每个测量包括获取图像并且其中所述方法还包括基于场景拓扑信息来确定在针对与场景的点相对应的不同偏振状态而获取的图像的点处的光振幅的步骤。
4.根据权利要求3所述的方法,还包括对在针对与场景的相同的点相对应的不同偏振状态而获取的图像的点处的光振幅进行比较的步骤。
5.根据权利要求4所述的方法,还包括确定在针对与场景的相同的点相对应的不同偏振状态而获取的图像的点处的光振幅的差异的步骤,以及将所述差异与阈值进行比较的步骤。
6.根据权利要求3所述的方法,还包括针对每个测量来将在与场景的点相对应的获取的图像的点处确定的光振幅与在所述获取的图像的所述点处接收到的理论振幅进行比较的步骤。
7.根据权利要求6所述的方法,还包括确定价值函数对其而言经历极值的材料的折射指数的步骤,其中所述价值函数使用确定出的光振幅以及在针对与场景的点相对应的不同偏振状态而获取的图像的点处接收到的理论振幅。
8.用于识别场景(1)中的材料的***,包括:
选自于光源和图像获取装置的第一类型的至少一个元件;以及
选自于图像获取装置和光源的、不同于第一类型的第二类型的至少两个元件,其中,每个第二元件与直线偏振器(34)以固定关系相关联,所述***不包括可变偏振装置和光束***器。
9.根据权利要求8所述的***,所述***还包括确定场景(28)的拓扑的装置,以及能够基于由图像获取装置获取的图像以及由拓扑确定装置(28)递送的拓扑信息来识别场景中的材料的处理装置(27)。
10.根据权利要求8或9所述的***,其中,所述第二类型的每个元件的光轴相对于所述第一类型的元件的光轴形成5度至50度范围内的角度,其中,所述第二类型的元件分布在所述第一类型的元件的光轴的周围。
11.根据权利要求8至10任一项所述的***,其中,图像获取装置针对不同光偏振状态来获取场景的光振幅的图像。
12.根据权利要求8至11任一项所述的***,其中,所述第一类型的元件沿垂直于场景(1)的平面的轴线放置。
13.根据权利要求8至12任一项所述的***,其中,所述第二类型的元件为光源(30A,30B)。
14.根据权利要求1所述的方法,使用了权利要求13所述的***,其中,所述光源(30A,30B)被交替地激活,所述图像获取装置(30)设置为针对所述源的激活的每个交替而获取图像。
15.一种包括部件输送机以及根据权利要求8至13任一项的用于识别所述部件中的材料的***的装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR1257518A FR2994263B1 (fr) | 2012-08-02 | 2012-08-02 | Procede et dispositif d'identification de materiaux dans une scene |
FR1257518 | 2012-08-02 | ||
PCT/FR2013/051875 WO2014020289A1 (fr) | 2012-08-02 | 2013-08-02 | Procede et dispositif d'identification de materiaux dans une scene |
Publications (1)
Publication Number | Publication Date |
---|---|
CN104704346A true CN104704346A (zh) | 2015-06-10 |
Family
ID=47714174
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201380051800.XA Pending CN104704346A (zh) | 2012-08-02 | 2013-08-02 | 用于识别场景中的材料的方法和装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20150212009A1 (zh) |
EP (1) | EP2880421A1 (zh) |
KR (1) | KR20150036575A (zh) |
CN (1) | CN104704346A (zh) |
FR (1) | FR2994263B1 (zh) |
WO (1) | WO2014020289A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106018434A (zh) * | 2016-07-06 | 2016-10-12 | 康代影像科技(苏州)有限公司 | 一种光学检测设备 |
CN109752319A (zh) * | 2017-11-01 | 2019-05-14 | 青岛海尔智能技术研发有限公司 | 一种识别衣物材质的光学方法及装置 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6617124B2 (ja) * | 2017-07-20 | 2019-12-11 | セコム株式会社 | 物体検出装置 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3748484A (en) * | 1969-12-31 | 1973-07-24 | Texas Instruments Inc | Object identification by emission polarization |
US4648053A (en) * | 1984-10-30 | 1987-03-03 | Kollmorgen Technologies, Corp. | High speed optical inspection system |
US5028774A (en) * | 1989-02-21 | 1991-07-02 | Olympus Optical Co., Ltd. | Method and apparatus for detecting and measuring the refractive index of an optical disc substrate |
JPH0518889A (ja) * | 1991-07-15 | 1993-01-26 | Mitsubishi Electric Corp | 異物検査方法およびその装置 |
US7092082B1 (en) * | 2003-11-26 | 2006-08-15 | Kla-Tencor Technologies Corp. | Method and apparatus for inspecting a semiconductor wafer |
CN1988674A (zh) * | 2005-12-21 | 2007-06-27 | 国际商业机器公司 | 三维立体式投影的方法和装置 |
US20100165358A1 (en) * | 1998-08-05 | 2010-07-01 | Cadent Ltd. | Method and apparatus for imaging three-dimensional structure |
CN102346021A (zh) * | 2010-07-26 | 2012-02-08 | 维特公司 | 电子电路的三维检测设备 |
US20120206729A1 (en) * | 2011-02-10 | 2012-08-16 | Kla-Tencor Corporation | Structured illumination for contrast enhancement in overlay metrology |
CN103026191A (zh) * | 2010-07-21 | 2013-04-03 | 第一太阳能有限公司 | 温度调整光谱仪 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FI63835C (fi) * | 1981-02-10 | 1983-08-10 | Altim Control Ky | Foerfarande foer identifiering av ett virkes ytegenskaper |
US5138162A (en) * | 1988-12-16 | 1992-08-11 | The United States Of America As Represented By The Secretary Of The Army | Method and apparatus for producing enhanced images of curved thermal objects |
US5798830A (en) * | 1993-06-17 | 1998-08-25 | Ultrapointe Corporation | Method of establishing thresholds for image comparison |
US5611000A (en) * | 1994-02-22 | 1997-03-11 | Digital Equipment Corporation | Spline-based image registration |
US6662116B2 (en) * | 2001-11-30 | 2003-12-09 | Exxonmobile Research And Engineering Company | Method for analyzing an unknown material as a blend of known materials calculated so as to match certain analytical data and predicting properties of the unknown based on the calculated blend |
US7742168B2 (en) * | 2003-04-29 | 2010-06-22 | Surfoptic Limited | Measuring a surface characteristic |
US7710572B2 (en) * | 2006-11-30 | 2010-05-04 | Asml Netherlands B.V. | Inspection method and apparatus, lithographic apparatus, lithographic processing cell and device manufacturing method |
FR2945348B1 (fr) * | 2009-05-07 | 2011-05-13 | Thales Sa | Procede d'identification d'une scene a partir d'images polarisees multi longueurs d'onde |
JP5538862B2 (ja) * | 2009-12-18 | 2014-07-02 | キヤノン株式会社 | 画像処理装置、画像処理システム、画像処理方法、及びプログラム |
DE102010046438A1 (de) * | 2010-09-24 | 2012-03-29 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zur optischen Charakterisierung von Materialien |
US8845107B1 (en) * | 2010-12-23 | 2014-09-30 | Rawles Llc | Characterization of a scene with structured light |
US8638989B2 (en) * | 2012-01-17 | 2014-01-28 | Leap Motion, Inc. | Systems and methods for capturing motion in three-dimensional space |
-
2012
- 2012-08-02 FR FR1257518A patent/FR2994263B1/fr active Active
-
2013
- 2013-08-02 CN CN201380051800.XA patent/CN104704346A/zh active Pending
- 2013-08-02 KR KR20157003764A patent/KR20150036575A/ko not_active Application Discontinuation
- 2013-08-02 WO PCT/FR2013/051875 patent/WO2014020289A1/fr active Application Filing
- 2013-08-02 US US14/418,172 patent/US20150212009A1/en not_active Abandoned
- 2013-08-02 EP EP13756656.8A patent/EP2880421A1/fr not_active Withdrawn
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3748484A (en) * | 1969-12-31 | 1973-07-24 | Texas Instruments Inc | Object identification by emission polarization |
US4648053A (en) * | 1984-10-30 | 1987-03-03 | Kollmorgen Technologies, Corp. | High speed optical inspection system |
US5028774A (en) * | 1989-02-21 | 1991-07-02 | Olympus Optical Co., Ltd. | Method and apparatus for detecting and measuring the refractive index of an optical disc substrate |
JPH0518889A (ja) * | 1991-07-15 | 1993-01-26 | Mitsubishi Electric Corp | 異物検査方法およびその装置 |
US20100165358A1 (en) * | 1998-08-05 | 2010-07-01 | Cadent Ltd. | Method and apparatus for imaging three-dimensional structure |
US7092082B1 (en) * | 2003-11-26 | 2006-08-15 | Kla-Tencor Technologies Corp. | Method and apparatus for inspecting a semiconductor wafer |
CN1988674A (zh) * | 2005-12-21 | 2007-06-27 | 国际商业机器公司 | 三维立体式投影的方法和装置 |
CN103026191A (zh) * | 2010-07-21 | 2013-04-03 | 第一太阳能有限公司 | 温度调整光谱仪 |
CN102346021A (zh) * | 2010-07-26 | 2012-02-08 | 维特公司 | 电子电路的三维检测设备 |
US20120206729A1 (en) * | 2011-02-10 | 2012-08-16 | Kla-Tencor Corporation | Structured illumination for contrast enhancement in overlay metrology |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106018434A (zh) * | 2016-07-06 | 2016-10-12 | 康代影像科技(苏州)有限公司 | 一种光学检测设备 |
CN106018434B (zh) * | 2016-07-06 | 2018-12-28 | 康代影像科技(苏州)有限公司 | 一种光学检测设备 |
CN109752319A (zh) * | 2017-11-01 | 2019-05-14 | 青岛海尔智能技术研发有限公司 | 一种识别衣物材质的光学方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
KR20150036575A (ko) | 2015-04-07 |
WO2014020289A1 (fr) | 2014-02-06 |
FR2994263B1 (fr) | 2018-09-07 |
EP2880421A1 (fr) | 2015-06-10 |
FR2994263A1 (fr) | 2014-02-07 |
US20150212009A1 (en) | 2015-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI414749B (zh) | 表面輪廓測量設備 | |
US7019826B2 (en) | Optical inspection system, apparatus and method for reconstructing three-dimensional images for printed circuit board and electronics manufacturing inspection | |
US8885040B2 (en) | Method and apparatus for 3-dimensional vision and inspection of ball and like protrusions of electronic components | |
KR20130062247A (ko) | 접합 기판의 회전 어긋남량 계측 장치, 접합 기판의 회전 어긋남량 계측 방법 및 접합 기판의 제조 방법 | |
US20020140670A1 (en) | Method and apparatus for accurate alignment of images in digital imaging systems by matching points in the images corresponding to scene elements | |
US9594028B2 (en) | Method and apparatus for determining coplanarity in integrated circuit packages | |
US10444162B2 (en) | Method of testing an object and apparatus for performing the same | |
CN106030283B (zh) | 用于检验半导体封装的装置与方法 | |
CN104704346A (zh) | 用于识别场景中的材料的方法和装置 | |
CN102331240A (zh) | 检查装置以及检查方法 | |
US20020089583A1 (en) | Three-dimensional visual inspection method of semiconductor packages and apparatus using single camera | |
JP5890953B2 (ja) | 検査装置 | |
WO2008075632A1 (ja) | 複眼測距装置の検査方法および検査装置並びにそれに用いるチャート | |
JPH0798216A (ja) | 半導体装置の外観検査装置とその検査方法 | |
JP4825833B2 (ja) | パターン検査装置及びパターン検査方法 | |
JP2007303994A (ja) | 外観検査装置及び外観検査方法 | |
US10955236B2 (en) | Three-dimensional measuring system | |
US11037314B1 (en) | Method for the non-destructive inspection of an aeronautical part and system thereof | |
CN111220904A (zh) | 测试互连基板的方法和用于执行该方法的装置 | |
KR101017300B1 (ko) | 표면형상 측정장치 | |
JP2007303903A (ja) | 表面検査装置 | |
JP6508763B2 (ja) | 表面検査装置 | |
JPH10288508A (ja) | 外観検査装置 | |
WO2022137579A1 (ja) | 検査システムおよび検査方法 | |
KR101846949B1 (ko) | 다중 광학계를 이용한 복합 검사장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20150610 |