CN111879791B - 一种图案表面凸起特征增强的机器视觉***及方法 - Google Patents

一种图案表面凸起特征增强的机器视觉***及方法 Download PDF

Info

Publication number
CN111879791B
CN111879791B CN202010747928.1A CN202010747928A CN111879791B CN 111879791 B CN111879791 B CN 111879791B CN 202010747928 A CN202010747928 A CN 202010747928A CN 111879791 B CN111879791 B CN 111879791B
Authority
CN
China
Prior art keywords
image
gradient
incident
images
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010747928.1A
Other languages
English (en)
Other versions
CN111879791A (zh
Inventor
李晨
熊浩亮
余兰林
丁一
于长斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Westlake University
Original Assignee
Westlake University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Westlake University filed Critical Westlake University
Priority to CN202010747928.1A priority Critical patent/CN111879791B/zh
Publication of CN111879791A publication Critical patent/CN111879791A/zh
Application granted granted Critical
Publication of CN111879791B publication Critical patent/CN111879791B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0106—General arrangement of respective parts
    • G01N2021/0112—Apparatus in one mechanical, optical or electronic block
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0181—Memory or computer-assisted visual determination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G01N2021/8812—Diffuse illumination, e.g. "sky"
    • G01N2021/8816—Diffuse illumination, e.g. "sky" by using multiple sources, e.g. LEDs
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G01N2021/8845—Multiple wavelengths of illumination or detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Chemical & Material Sciences (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开的属于视觉***技术领域，具体为一种图案表面凸起特征增强的机器视觉***及方法，包括图像采集装置、成像装置、第一LED灯、第二LED灯，该种图案表面凸起特征增强的机器视觉***及方法，通过四组不同波长的入射光光源和三棱镜相机两次曝光，能够得到四幅不同入射光照方向条件下的图像，并且相互之间不存在干扰，相比于传统方式的四次分时曝光，提升了检测的效率，光源的角度高度和中心距等参数能够根据待检测表面属性进行调整，通用性强，在***的图像处理方法中，通过计算得到的待检测表面梯度变化分布，结合图像与处理方式，能够减弱由于***光照角度不准确以及光照不均匀引入的计算误差，从而降低***安装的环境条件。

Description

一种图案表面凸起特征增强的机器视觉***及方法
技术领域
本发明涉及视觉***技术领域，具体为一种图案表面凸起特征增强的机器视觉***及方法。
背景技术
机器视觉技术，是一门涉及人工智能、神经生物学、心理物理学、计算机科学、图像处理、模式识别等诸多领域的交叉学科。机器视觉主要用计算机来模拟人的视觉功能，从客观事物的图像中提取信息，进行处理并加以理解，最终用于实际检测、测量和控制。机器视觉技术最大的特点是速度快、信息量大、功能多。
在一些复杂图案表面检测中，利用机器视觉技术能够检测其表面图案纹理的差异。即通过视觉成像方式将不同的信息清晰地保存在二维图像中，利用灰度，形态学以及不同尺度中的差异，将不同的纹理信息进行区分。
在实际应用中，上述技术的检测结果总会遇到待检测表面中凸起物质的干扰，如灰尘，纤维，毛发，字符等。其中，在检测表面印刷图案是否正常时，一些表面凸起的灰尘会干扰纹理检测的准确性；另外，在检测复杂纹理表面中的字符时，凸起的字符会在成像中被复杂的纹理背景干扰。这些物质在机器视觉采集得到的二维图像中，表现出的纹理属性与上述复杂纹理具有很大的相似性，容易和复杂纹理信息混淆在一起。从而在一定程度上影响检测***的误判率，降低产品的生产良率，导致产能的下降。
发明内容
本发明的目的在于提供一种图案表面凸起特征增强的机器视觉***及方法，以解决上述背景技术中提出的在实际应用中，上述技术的检测结果总会遇到待检测表面中凸起物质的干扰，如灰尘，纤维，毛发，字符等。其中，在检测表面印刷图案是否正常时，一些表面凸起的灰尘会干扰纹理检测的准确性；另外，在检测复杂纹理表面中的字符时，凸起的字符会在成像中被复杂的纹理背景干扰。这些物质在机器视觉采集得到的二维图像中，表现出的纹理属性与上述复杂纹理具有很大的相似性，容易和复杂纹理信息混淆在一起。从而在一定程度上影响检测***的误判率，降低产品的生产良率，导致产能的下降的问题。
为实现上述目的，本发明提供如下技术方案：一种图案表面凸起特征增强的机器视觉***及方法，包括图像采集装置、成像装置、第一LED灯、第二LED灯、第三LED灯、第四LED灯和毛玻璃，所述图像采集装置的底部通过螺丝固定连接所述成像装置，所述图像采集装置和所述成像装置电性连接，所述成像装置的输出端四周分别固定连接所述第一LED灯、所述第二LED灯、所述第三LED灯和所述第四LED灯，所述第一LED灯、所述第二LED灯、所述第三LED灯和所述第四LED灯电性串联，所述第一LED灯、所述第二LED灯、所述第三LED灯和所述第四LED灯的光源端放置有毛玻璃，所述成像装置的输入端接触有待检测物。
优选的，所述第一LED灯、所述第二LED灯、所述第三LED灯和所述第四LED灯分别为四个不同方向以及不同波长的均匀条状LED光源，入射角度分别为0°、90°、180°和270°，入射波长分别为425nm、525nm、625nm以及白光光源。
优选的，所述待检测物为具有复杂图案背景的结构。
一种图案表面凸起特征增强的机器视觉***及方法，该图案表面凸起特征增强的机器视觉***的方法包括如下步骤：
S1：利用四组不同波长的入射光，分别从四个角度均匀照射待检测物10表面，利用三棱镜相机的第一次曝光能够同时采集三组不同方向且波长各异的入射光照条件下的待检测表面图像，然后利用第二次曝光，通过相机三通道能够采集白光入射条件下的待检测表面的复合图像，然后利用灰度变化得到第四组光源入射角度条件下的待检测表面的阴影变化图像，进一步，根据四组不同入射方向条件下的待检测表面的光照强度变化分布，并结合表面反射模型计算出物体表面变化的梯度信息，然后通过后端的图像处理技术，避免局部计算误差的干扰，从而能够增强表面复杂图案背景与凸起物的区分特征；
S2：在***的成像单元中，采用的三棱镜相机进行二次曝光，从而能够快速地完成四个方向入射光源条件下的四张图像的采集，避免信息的相互的串扰，相比传统的相机利用频闪曝光四次采集相同的图像结果；
S3：在成像单元中，采集单元采用的三棱镜相机进行两次曝光采集，同样可以利用多通道的面阵相机，如RGB-NIR四通道相机，结合不同通道相应入射波长得到单次曝光完成四个入射波长条件下的待检测表面光照明暗变化图像，另外，成像镜头采用传统的小孔成像镜头的透视投影镜头，在提高检测精度的条件下，可以考虑采用远心正交投影镜头；
S4：入射光源从四个方向0°、90°、180°和270°，并且入射波长分别为425nm、525nm、625nm以及白光光源，同样地，在实际应用中可以根据机构安装的便捷性，调整光源的方向，另外前端采用毛玻璃进行入射光源背景的均匀化，同时均匀化光源可以采用具有相应波长漫射作用的亚克力板等；
S5：四组入射光源的高度h、自旋角度θ以及中心距d，可以根据待检测样品的面积以及光照均匀的情况进行调整，具体调整结果以待检测表面图像不会产生灰度值为255的亮度区域或者灰度为0的暗区域为标准。
与现有技术相比，本发明的有益效果是：该种图案表面凸起特征增强的机器视觉***及方法，通过四组不同波长的入射光光源和三棱镜相机两次曝光，能够得到四幅不同入射光照方向条件下的图像，并且相互之间不存在干扰，相比于传统方式的四次分时曝光，提升了检测的效率。另外，光源的角度高度和中心距等参数能够根据待检测表面属性进行调整，增强了***的通用性。除此之外，在***的图像处理方法中，通过计算得到的待检测表面梯度变化分布，结合图像与处理方式，能够减弱由于***光照角度不准确以及光照不均匀引入的计算误差，从而降低***安装的环境条件，提升了***的通用性。
附图说明
图1为本发明正视结构示意图；
图2为本发明图像采集单元俯视示意图；
图3为本发明图像处理单元的原理流程图示意图；
图4为本发明实验结果示意图。
图中：3图像采集装置、4成像装置、5第一LED灯、6第二LED灯、7第三LED灯、8第四LED灯、9毛玻璃、10待检测物。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种图案表面凸起特征增强的机器视觉***及方法，增强凸起特征，使得凸起物与周围复杂背景差异化增大，从而避免凸起物对图案差异信息的误判或者避免凸起物识别被复杂图案背景干扰，请参阅图1-4，包括图像采集装置3、成像装置4、第一LED灯5、第二LED灯6、第三LED灯7、第四LED灯8和毛玻璃9；
请再次参阅图1，图像采集装置3的底部具有成像装置4，具体的，图像采集装置3的底部通过螺丝固定连接成像装置4，图像采集装置3和成像装置4电性连接；
请再次参阅图1，第一LED灯5、第二LED灯6、第三LED灯7和第四LED灯8与成像装置4接触，具体的，成像装置4的输出端四周分别固定连接第一LED灯5、第二LED灯6、第三LED灯7和第四LED灯8，第一LED灯5、第二LED灯6、第三LED灯7和第四LED灯8电性串联，第一LED灯5、第二LED灯6、第三LED灯7和第四LED灯8的光源端放置有毛玻璃9，成像装置4的输入端接触有待检测物10，第一LED灯5、第二LED灯6、第三LED灯7和第四LED灯8分别为四个不同方向以及不同波长的均匀条状LED光源，入射角度分别为0°、90°、180°和270°，入射波长分别为425nm、525nm、625nm以及白光光源，待检测物10为具有复杂图案背景的结构；
本发明还提供一种图案表面凸起特征增强的机器视觉***的制造方法，该图案表面凸起特征增强的机器视觉***的方法包括如下步骤：
S1：利用四组不同波长的入射光，分别从四个角度均匀照射待检测物10表面，利用三棱镜相机的第一次曝光能够同时采集三组不同方向且波长各异的入射光照条件下的待检测表面图像，然后利用第二次曝光，通过相机三通道能够采集白光入射条件下的待检测表面的复合图像，然后利用灰度变化得到第四组光源入射角度条件下的待检测表面的阴影变化图像，进一步，根据四组不同入射方向条件下的待检测表面的光照强度变化分布，并结合表面反射模型计算出物体表面变化的梯度信息，然后通过后端的图像处理技术，避免局部计算误差的干扰，从而能够增强表面复杂图案背景与凸起物的区分特征；
S2：在***的成像单元中，采用的三棱镜相机进行二次曝光，从而能够快速地完成四个方向入射光源条件下的四张图像的采集，避免信息的相互的串扰，相比传统的相机利用频闪曝光四次采集相同的图像结果；
S3：在成像单元中，采集单元采用的三棱镜相机进行两次曝光采集，同样可以利用多通道的面阵相机，如RGB-NIR四通道相机，结合不同通道相应入射波长得到单次曝光完成四个入射波长条件下的待检测表面光照明暗变化图像，另外，成像镜头采用传统的小孔成像镜头的透视投影镜头，在提高检测精度的条件下，可以考虑采用远心正交投影镜头；
S4：入射光源从四个方向0°、90°、180°和270°，并且入射波长分别为425nm、525nm、625nm以及白光光源，同样地，在实际应用中可以根据机构安装的便捷性，调整光源的方向，另外前端采用毛玻璃进行入射光源背景的均匀化，同时均匀化光源可以采用具有相应波长漫射作用的亚克力板等；
S5：四组入射光源的高度h、自旋角度θ以及中心距d，可以根据待检测样品的面积以及光照均匀的情况进行调整，具体调整结果以待检测表面图像不会产生灰度值为255的亮度区域或者灰度为0的暗区域为标准。
图案表面凸起特征增强的机器视觉***的制造方法，主要包括图像采集单元和图像处理单元两个部分：
其中，图像采集单元包括：利用单目相机和成像镜头作为***的成像单元。在待检测样品表面上方放置四个水平方向角度各异的入射光源，水平方向角度分别为0°、90°、180°和270°，其中每个光源距离待检测表面的距离，成像光轴的距离以及自旋角度可以根据待检测表面属性进行调整，即通过手动调整上述参数将整个待检测表面的全部照亮，不会产生灰度为0的暗区域或者灰度值高于255的高亮区域，进一步为了保证入射到待检测表面光照的均匀性，四组光源采用前置毛玻璃的方式，对光源的出射光进行均匀化。另外，四组入射光源采用不同的入射波长，即入射波长为425nm、525nm、625nm以及白光光源，其中三组入射光源的波长425nm、525nm、625nm、分别对应成像单元中彩色相机采集设备的B、G、R通道，并且该彩色相机采用三棱镜进行不同光波的分离，从而使得后端传感器能够在空间上采集不同波长的入射光，对于不同波长光照条件下，与传统采集设备相比，不会产生不同波长光照图像的干扰，进而实现成像单元单次曝光能够同时采集三张互不串扰的灰度图像。根据上述过程，能够通过采集单元的一次曝光，分别得到三个不同入射方向条件下的待检测表面的灰度图，对于白色复合光源，将相机进行第二次曝光，通过采集单元的三个通道得到待检测表面的彩色图像，利用灰度化处理，得到第四个入射方向光照条件下的待检测表面的灰度图，经过上述过程能够得到四个不同入射光照条件下的待检测表面图像，然后进入图像处理单元中进行特征提取和增强；
图像处理单元包括：根据上述四张不同入射光照条件下的灰度图像，以及四种光源的入射方向，并且结合具体反射模型计算出物体表面变化的梯度信息，由于光源入射方向的求取会出现误差，并且光照依然存在不均匀的情况，导致求取的梯度变化信息存在较大的误差，该误差主要是局部面型的波动，但是局部细节如凸起物与周围图像背景的梯度变化依然存在，根据上述情况，可以将局部面型的波动作为图像中不均匀的背景，并且相比于凸起物梯度变化，局部面型误差的波动为低频信息，因此通过图像处理的方式能够增强凸起物与周围背景梯度变化的特征，降低由于***误差引起的局部面型波动特征，即将图像分为照射分量和反射分量，通过指数变化和傅里叶变化，分割两个分量，然后压缩照射分量和增强反射分量以及傅里叶逆变换，从而得到凸起物梯度变化细节增强后的新的图像信息，对于上述计算过程中四个光源的入射方向，由于后续采用图像处理的方法消除由于光源方向和光源不均匀引入的误差，从而降低了***安装的条件；
实施例1
如图1所示，具有复杂图案背景的待检测物10的样品表面，表面存在凸起物，如字符等，放置在成像单元与照明单元下方，成像单元由图像采集装置3和成像装置4组成，两者可以根据待检测视野范围和分辨率选择相应的靶面的相机和成像镜头的分辨率，照明单元由四个水平方向角度各异的均匀条形光组成，其中四组LED光源入射角度分别为0°、90°、180°和270°，并且每个光源距离待检测样品表面的距离h，自转角度θ以及中心距d可调，即通过调整上述参数将整个待检测表面全部照亮，并且不会产生灰度为0的暗区域或者灰度为255的高亮区域，另外，为了保证入射到待检测表面光照的均匀性，光源前置毛玻璃，确保光源出射光的均匀性；
本***需要采集四张图像然后计算出表面的梯度分布，利用传统的四次分时曝光采集，会降低***的采集效率，因此本***在上述成像单元和照明单元进行特殊设计，即在成像单元中，进一步采用三棱镜相机，利用三棱镜分离不同光波长，使得后端传感器能够在空间上采集不同波长的入射光，即R、G、B通道相互分离，相比于传统的工业彩色相机，不会产生采集光波长的串扰。进一步结合照明单元，将入射光源的波长分别设计为425nm,525nm,625nm以及白光光源,相机采集分为两次曝光，分别为：第一次曝光时，第一LED灯5、第二LED灯6和第三LED灯7同时照亮，即同时采集得到三个不同入射方向条件下待检测表面的灰度图，并且采集通道的波长响应互不干扰，保证了图像信息的分离性；第二次曝光，只有第四LED灯8入射，从而采集得到白色复合光波的图像，并且利用灰度化处理，得到待检测表面的彩色图像，上述采集得到的四张图像的结果分别为：
Figure GDA0002668313380000081
其中I1(B),I1(G),I1(R)分别表示第一次曝光时，采集得到的三张不同入射角度且不同入射波长光源条件下的图像，I2(R),I2(G),I2(B)分别表示第二次曝光时，采集得到的白光入射的彩色图像对应的不同通道，并且进行灰度化处理。
在得到上述四张不同方向入射光照条件下的灰度图像后，利用图像处理单元，根据反射计算模型计算表面梯度的信息，与传统计算梯度方式不同的是，本***为了避免传统计算梯度模型中的远场照明和远场成像的限制，通过图像算法对梯度图像的计算进行了优化处理，如图3所示，由于实际应用安装中不满足远场安装的条件，并且存在入射光照角度矩阵计算误差以及光源不均匀等问题，会在梯度计算中产生较大的局部面型波动，利用后期的算法处理能够减少这种局部面型的波动。其中整个算法模型过程如下所示：
本***可以采用现有的光源方向标定技术(如利用光滑球体或者漫反射球体等)，求得光源方向矩阵为：
Figure GDA0002668313380000091
为了保证亮度统一性，避免四张图像中亮度不一致性，将获得的四张图进行亮度归一化：
Figure GDA0002668313380000092
其中反射模型为：
Figure GDA0002668313380000093
k,N分别表示表面反射率和法向量。
利用最小二乘法求解上述方程，可以得到：
Figure GDA0002668313380000094
进一步，得到x,y两个方向上的梯度分布为：
(p,q)＝(-(Nx/Nz),-(Ny/Nz)) (6)
本***根据两个方向的梯度融合得到待检测表面的梯度分布图：
Figure GDA0002668313380000101
为了避免梯度变化的集中性，将上述梯度图做拉伸：
g'(x,y)＝(g(x,y)-gmin)/(gmax-gmin)×255 (8)
此时，由于光照并不符合反射模型中的远场照明等问题，导致计算得到的梯度图会出现局部波动，并不是真实的面型变化梯度，如果直接利用梯度积分计算高度会出现问题。因此本***没有直接利用积分得到高度特征，而是利用梯度分布图和一些图像算法，将表面凸起的梯度变化进行增强，从而能够将凸起物特征得到增强。
将上述图像进行对数变换，得到分量：
lng'(x,y)＝lng'i(x,y)+lng'r(x,y) (9)
其中，g'i表示不同的光强分量，即梯度图中不均匀的背景，g'r表示反射分量，即凸起物变化的梯度存在于其中。
进一步做傅里叶变化得到
Figure GDA0002668313380000102
设计滤波器H(u,v)增强g'r分量，并抑制g'i分量
Figure GDA0002668313380000103
最后经过傅里叶逆变化以及指数变化还原图像得到g”(x,y)，得到凸起物梯度增强后的图像，然后为了保证图像的对比度，进一步增强将图像进行灰度拉伸，如公式(8)所示的方法，得到最后的凸起特征增强后的结果；
实施例2
本实施例为复杂图案背景中凸起字符的特征增强，并利用现有字符识别技术能够很容易地对其中字符进行识别。
在复杂图案背景中凸起字符的识别，在传统的检测中，测试结果如图4(c)所示，由于图像背景中存在表面固有的明暗变化的印刷图案，然而凸起字符的同样也会具有明暗变化的灰度。从图中可以看出，凸起字符很难从图像中直接观察得到，利用现有的字符识别技术很难识别其中内容。
利用本发明中的***，首先根据待检测表面大小，调整好光源高度、自旋角度以及中心距，将待检测表面字符均匀照亮，尤其将其边界轮廓进行照亮。然后利用相机进行两次曝光，采集得到不同水平入射方向条件下的图像，即通过两次曝光分别得到图4(a)和(b)两组图像，其中(a)为第一次曝光采集的彩色图，将其进行B、G、R通道图像分割，从而得到同时曝光且在感光波长上互不串扰的图像(a3)、(a2)和(a1)，分别对应入射方向0°对应的425nm波长的光照条件，入射方向90°对应的525nm波长的光照条件，入射方向180°对应的625nm波长的光照条件，第二次曝光得到的(b)图像为白光复合光源入射时，相机得到的图像并进行了灰度化的处理结果。
通过上述过程得到了四个不同入射方向条件下的图像(a1)、(a2)、(a3)和(b)然后根据四组不同光源的入射方向计算其表面梯度的分布。其中对于入射光照的方向矩阵的求取，通过现有标定技术(如光滑小球或者漫反射小球等)都能够计算得到，如本***实验中，相应的光照入射角度矩阵L：
Figure GDA0002668313380000111
利用上述光照矩阵并结合公式(4)～(8)得到，待检测表面梯度分布图，如图4(d)所示，从图中可以看到，具有复杂图案的背景已经被削弱，但是由于***并不满足反射模型中的远场照明等条件，并且存在入射光照角度矩阵计算误差以及光源不均匀等问题，导致表面梯度计算出现局部的波动误差。为了避免局部波动对后期字符识别产生的干扰，***通过图像算法抑制背景的波动并且将凸起的字符梯度进行增强，利用公式(9)～(11)等计算，得到凸起字符梯度增强后的图像(e)，从图中可以看出，具有复杂图案背景被较大程度上地削弱，并且凸起字符位置处的特征被明显增强。最后利用现有的字符识别技术即可容易地完成识别其中的字符信息，如(f)所示。
综上所述，利用本发明设计的表面复杂图案背景中凸起物检测的机器视觉***，利用波长各异以及三棱镜相机的特性，利用两次曝光能够得到四张不同光照条件下的图像，相比传统视觉检测中四次分时曝光，提升了检测的效率。另外，通过图像处理技术，能够得到待检测表面的梯度分布图，并且能够避免实际安装不满足远场照明条件等问题引入的局部表面梯度波动，从而降低了***安装的环境条件，增强了***的通用性。
虽然在上文中已经参考实施例对本发明进行了描述，然而在不脱离本发明的范围的情况下，可以对其进行各种改进并且可以用等效物替换其中的部件。尤其是，只要不存在结构冲突，本发明所披露的实施例中的各项特征均可通过任意方式相互结合起来使用，在本说明书中未对这些组合的情况进行穷举性的描述仅仅是出于省略篇幅和节约资源的考虑。因此，本发明并不局限于文中公开的特定实施例，而是包括落入权利要求的范围内的所有技术方案。

Claims (1)

1.一种图案表面凸起特征增强的机器视觉***的方法，其特征在于：该图案表面凸起特征增强的机器视觉***包括图像采集单元和图像处理单元两个部分；
图像采集单元包括：利用单目相机和成像镜头作为***的成像单元；在待检测样品表面上方放置四个水平方向角度各异的入射光源，水平方向角度分别为0°、90°、180°和270°，其中每个光源距离待检测表面的距离，成像光轴的距离以及自旋角度可以根据待检测表面属性进行调整，即通过手动调整上述参数将整个待检测表面的全部照亮，不会产生灰度为0的暗区域或者灰度值高于255的高亮区域，进一步为了保证入射到待检测表面光照的均匀性，四组光源采用前置毛玻璃的方式，对光源的出射光进行均匀化；另外，四组入射光源采用不同的入射波长，即入射波长为425nm、525nm、625nm以及白光光源，其中三组入射光源的波长425nm、525nm、625nm分别对应成像单元中彩色相机采集设备的B、G、R通道，并且该彩色相机采用三棱镜进行不同光波的分离，从而使得后端传感器能够在空间上采集不同波长的入射光，对于不同波长光照条件下，与传统采集设备相比，不会产生不同波长光照图像的干扰，进而实现成像单元单次曝光能够同时采集三张互不串扰的灰度图像；根据上述过程，能够通过采集单元的一次曝光，分别得到三个不同入射方向条件下的待检测表面的灰度图，对于白色复合光源，将相机进行第二次曝光，通过采集单元的三个通道得到待检测表面的彩色图像，利用灰度化处理，得到第四个入射方向光照条件下的待检测表面的灰度图，经过上述过程能够得到四个不同入射光照条件下的待检测表面图像，然后进入图像处理单元中进行特征提取和增强；
图像处理单元包括：根据上述四张不同入射光照条件下的灰度图像，以及四种光源的入射方向，并且结合具体反射模型计算出物体表面变化的梯度信息，由于光源入射方向的求取会出现误差，并且光照依然存在不均匀的情况，导致求取的梯度变化信息存在较大的误差，该误差主要是局部面型的波动，但是局部细节如凸起物与周围图像背景的梯度变化依然存在，根据上述情况，可以将局部面型的波动作为图像中不均匀的背景，并且相比于凸起物梯度变化，局部面型误差的波动为低频信息，因此通过图像处理的方式能够增强凸起物与周围背景梯度变化的特征，降低由于***误差引起的局部面型波动特征，即将图像分为照射分量和反射分量，通过指数变化和傅里叶变化，分割两个分量，然后压缩照射分量和增强反射分量以及傅里叶逆变换，从而得到凸起物梯度变化细节增强后的新的图像信息，对于上述计算过程中四个光源的入射方向，由于后续采用图像处理的方法消除由于光源方向和光源不均匀引入的误差，从而降低了***安装的条件；
方法包括如下步骤：
(1)利用图像采集单元，采集四张图像然后计算出表面的梯度分布，在成像单元中，进一步采用三棱镜相机，利用三棱镜分离不同光波长，使得后端传感器能够在空间上采集不同波长的入射光，即R、G、B通道相互分离；
进一步结合照明单元，将入射光源的波长分别设计为425nm,525nm,625nm以及白光光源,相机采集分为两次曝光，分别为：第一次曝光时，第一LED灯、第二LED灯和第三LED灯同时照亮，即同时采集得到三个不同入射方向条件下待检测表面的灰度图，并且采集通道的波长响应互不干扰，保证了图像信息的分离性；第二次曝光，只有第四LED灯8入射，从而采集得到白色复合光波的图像，并且利用灰度化处理，得到待检测表面的彩色图像，上述采集得到的四张图像的结果分别为：
Figure FDA0004228757930000021
其中I1(B),I1(G),I1(R)分别表示第一次曝光时，采集得到的三张不同入射角度且不同入射波长光源条件下的图像，I2(R),I2(G),I2(B)分别表示第二次曝光时，采集得到的白光入射的彩色图像对应的不同通道，并且进行灰度化处理；
(2)利用图像处理单元，根据反射计算模型计算表面梯度的信息，通过图像算法对梯度图像的计算进行了优化处理，由于实际应用安装中不满足远场安装的条件，并且存在入射光照角度矩阵计算误差以及光源不均匀等问题，会在梯度计算中产生较大的局部面型波动，利用后期的算法处理能够减少这种局部面型的波动；
其中整个算法模型过程如下所示：
采用光源方向标定技术，求得光源方向矩阵为：
Figure FDA0004228757930000031
为了保证亮度统一性，避免四张图像中亮度不一致性，将获得的四张图进行亮度归一化：
Figure FDA0004228757930000032
其中反射模型为：
I＝kL·N
Figure FDA0004228757930000033
k,N分别表示表面反射率和法向量；
利用最小二乘法求解上述方程，可以得到：
k＝||(LTL)-1(LTI)||
N＝(LTL)-1(LTI)/k (5)
进一步，得到x,y两个方向上的梯度分布为：
(p,q)＝(-(Nx/Nz),-(Ny/Nz)) (6)
本***根据两个方向的梯度融合得到待检测表面的梯度分布图：
Figure FDA0004228757930000034
为了避免梯度变化的集中性，将上述梯度图做拉伸：
g'(x,y)＝(g(x,y)-gmin)/(gmax-gmin)×255 (8)
此时，由于光照并不符合反射模型中的远场照明等问题，导致计算得到的梯度图会出现局部波动，并不是真实的面型变化梯度，如果直接利用梯度积分计算高度会出现问题；
因此本***没有直接利用积分得到高度特征，而是利用梯度分布图和一些图像算法，将表面凸起的梯度变化进行增强，从而能够将凸起物特征得到增强；
将上述图像进行对数变换，得到分量：
lng'(x,y)＝lng'i(x,y)+lng'r(x,y) (9)
其中，g'i表示不同的光强分量，即梯度图中不均匀的背景，g'r表示反射分量，即凸起物变化的梯度存在于其中；
进一步做傅里叶变化得到：
F[lng'(x,y)]＝F[lng'i(x,y)]+F[lng'r(x,y)]
G(u,v)＝Gi(u,v)+Gr(u,v) (10)
设计滤波器H(u,v)增强g'r分量，并抑制g'i分量：
G'(u,v)＝H(u,v)Gi(u,v)+H(u,v)Gr(u,v)
Figure FDA0004228757930000041
最后经过傅里叶逆变化以及指数变化还原图像得到g”(x,y)，得到凸起物梯度增强后的图像，然后为了保证图像的对比度，进一步增强将图像进行灰度拉伸，如公式(8)所示的方法，得到最后的凸起特征增强后的结果。
CN202010747928.1A 2020-07-30 2020-07-30 一种图案表面凸起特征增强的机器视觉***及方法 Active CN111879791B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010747928.1A CN111879791B (zh) 2020-07-30 2020-07-30 一种图案表面凸起特征增强的机器视觉***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010747928.1A CN111879791B (zh) 2020-07-30 2020-07-30 一种图案表面凸起特征增强的机器视觉***及方法

Publications (2)

Publication Number Publication Date
CN111879791A CN111879791A (zh) 2020-11-03
CN111879791B true CN111879791B (zh) 2023-06-20

Family

ID=73201201

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010747928.1A Active CN111879791B (zh) 2020-07-30 2020-07-30 一种图案表面凸起特征增强的机器视觉***及方法

Country Status (1)

Country Link
CN (1) CN111879791B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113239823B (zh) * 2021-05-19 2023-05-26 山东财经大学 基于非均匀光照人脸图像增强的混合人脸成分识别方法
CN116429766A (zh) * 2023-03-23 2023-07-14 长园视觉科技(珠海)有限公司 基于多通道分离的方法、***、装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2637004A1 (en) * 2010-11-11 2013-09-11 The Hong Kong Research Institute Of Textiles And Apparel Limited Multispectral imaging color measurement system and method for processing imaging signals thereof
CN107750371A (zh) * 2015-06-30 2018-03-02 倍耐力轮胎股份公司 用于检测轮胎的表面上的缺陷的方法和设备
CN110703385A (zh) * 2019-11-11 2020-01-17 西湖大学 基于光散射的图案化的多模干涉耦合器、设计方法和应用
CN111428673A (zh) * 2020-04-01 2020-07-17 天津大学前沿技术研究院有限公司 一种用于指纹增强显示的偏振矢量彩色图像融合方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002086416A2 (en) * 2001-04-25 2002-10-31 Amnis Corporation Method and apparatus for correcting crosstalk and spatial resolution for multichannel imaging
US6847443B1 (en) * 2002-01-17 2005-01-25 Rudolph Technologies, Inc. System and method for multi-wavelength, narrow-bandwidth detection of surface defects
JP3971943B2 (ja) * 2002-03-26 2007-09-05 アイエスオーエー、 インク 光学的検査方法及び光学的検査システム
US7525659B2 (en) * 2003-01-15 2009-04-28 Negevtech Ltd. System for detection of water defects
EP1566142A1 (en) * 2004-02-19 2005-08-24 Nederlandse Organisatie Voor Toegepast-Natuurwetenschappelijk Onderzoek Tno Imaging of buried structures
FR2925706B1 (fr) * 2007-12-19 2010-01-15 Soc Tech Michelin Dispositif d'evaluation de la surface d'un pneumatique.
JP4719284B2 (ja) * 2008-10-10 2011-07-06 トヨタ自動車株式会社 表面検査装置
CN103645143B (zh) * 2013-12-09 2016-07-06 广州广电运通金融电子股份有限公司 一种多光谱券类质量检测方法和***
CN105651189B (zh) * 2016-02-03 2018-06-19 浙江大学 用于手机盖板中油墨层厚度测量的无损在线检测设备
CN106645161B (zh) * 2016-09-27 2020-02-04 凌云光技术集团有限责任公司 一种表面缺陷检测***及方法
CN107084681B (zh) * 2017-03-15 2019-06-04 上海大学 能主动适应水环境和水下目标的主动光照视觉成像***和方法
CN107980094B (zh) * 2017-03-31 2021-02-26 深圳配天智能技术研究院有限公司 一种视觉检测***及方法
CN108956610B (zh) * 2017-05-18 2020-09-15 南京原觉信息科技有限公司 工业视觉探伤***及工业视觉探伤方法
CN107505325B (zh) * 2017-08-18 2023-04-25 西北农林科技大学 冬枣果实的全方位品质检测方法
CN108171654B (zh) * 2017-11-20 2021-06-22 西北大学 带干扰抑制的汉字图像超分辨率重建方法
CN108956462A (zh) * 2018-05-15 2018-12-07 武汉科技大学 一种彩色相机rgb图像融合视觉检测***及检测方法
CN109523541A (zh) * 2018-11-23 2019-03-26 五邑大学 一种基于视觉的金属表面细微缺陷检测方法
CN209858405U (zh) * 2019-02-14 2019-12-27 惠州市聚真电路板有限公司 基于机器光学的pcb板缺陷检测***装置
CN110031482A (zh) * 2019-05-05 2019-07-19 苏州天准科技股份有限公司 一种基于反射式结构光照明的玻璃瑕疵检测方法
CN111007086A (zh) * 2019-11-25 2020-04-14 合肥维信诺科技有限公司 缺陷检测方法和装置、存储介质
CN111007020B (zh) * 2019-12-23 2021-10-08 武汉呵尔医疗科技发展有限公司 双帧四光谱成像方法及应用

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2637004A1 (en) * 2010-11-11 2013-09-11 The Hong Kong Research Institute Of Textiles And Apparel Limited Multispectral imaging color measurement system and method for processing imaging signals thereof
CN107750371A (zh) * 2015-06-30 2018-03-02 倍耐力轮胎股份公司 用于检测轮胎的表面上的缺陷的方法和设备
CN110703385A (zh) * 2019-11-11 2020-01-17 西湖大学 基于光散射的图案化的多模干涉耦合器、设计方法和应用
CN111428673A (zh) * 2020-04-01 2020-07-17 天津大学前沿技术研究院有限公司 一种用于指纹增强显示的偏振矢量彩色图像融合方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Face Recognition Based on the Combination of Enhanced Local Texture Feature and DBN under Complex Illumination Conditions;Chen Li et al.;Journal of Information Processing Systems;第14卷(第1期);全文 *
基于机器视觉的不同属性表面中微弱缺陷的检测技术研究;李晨;中国博士学位论文全文数据库 信息科技辑(第4期);全文 *
基于机器视觉的香烟条包图像检测***研究;高素美;智淑亚;;金陵科技学院学报(第02期);全文 *
基于融合显著图与GrabCut算法的水下海参图像分割;郭传鑫;李振波;乔曦;李晨;岳峻;;农业机械学报(第S1期);全文 *

Also Published As

Publication number Publication date
CN111879791A (zh) 2020-11-03

Similar Documents

Publication Publication Date Title
CN107229930B (zh) 一种指针式仪表数值智能识别方法
CN103034838B (zh) 一种基于图像特征的特种车辆仪表类型识别与标定方法
CN111612737B (zh) 一种人造板表面瑕疵检测装置及检测方法
CN103759662B (zh) 一种纺织纱线直径动态快速测量装置与方法
CN111879791B (zh) 一种图案表面凸起特征增强的机器视觉***及方法
CN106529559A (zh) 一种指针式圆形多仪表盘实时读数识别方法
CN115018844B (zh) 一种基于人工智能的塑料薄膜质量评估方法
US20080292176A1 (en) Pattern inspection method and pattern inspection apparatus
CN110728312B (zh) 一种基于区域自适应注意力网络的干眼症分级***
CN111551350A (zh) 一种基于U_Net网络的光学镜片表面划痕检测方法
CN114494210A (zh) 基于图像处理的塑料膜生产缺陷检测方法及***
CN109767425B (zh) 机器视觉光源均匀性评估装置及方法
RU2716465C1 (ru) Способ оптической проверки и использующее его устройство
CN112132803A (zh) 一种基于卷积神经网络的鸡蛋新鲜度检测方法
CN108447058A (zh) 一种图像质量评价方法及***
CN106886754B (zh) 一种基于三角面片的三维场景下的物体识别方法及***
CN114216867A (zh) 高光谱图像采集识别装置及方法
CA3132115C (en) Method and system for defect detection in image data of a target coating
CN210664378U (zh) 基于红绿色差的定制光源粗糙度检测装置
CN112329893A (zh) 基于数据驱动的异源多目标智能检测方法及***
CN204202849U (zh) 一种ccd调制传递函数测量装置
CN107300360A (zh) 一种杂粮作物籽粒三轴尺寸快速检测算法
CN116205894A (zh) 基于多信息融合的轴承滚子缺陷检测方法
CN110793472B (zh) 一种基于四元数奇异值熵指标的磨削表面粗糙度检测方法
CN109711253A (zh) 基于卷积神经网络与循环神经网络的电表数值识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant