CN115375590A - 一种亮度非均匀性在线补偿的图像处理方法 - Google Patents
一种亮度非均匀性在线补偿的图像处理方法 Download PDFInfo
- Publication number
- CN115375590A CN115375590A CN202211326022.8A CN202211326022A CN115375590A CN 115375590 A CN115375590 A CN 115375590A CN 202211326022 A CN202211326022 A CN 202211326022A CN 115375590 A CN115375590 A CN 115375590A
- Authority
- CN
- China
- Prior art keywords
- pixel
- compensation
- image
- brightness
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 17
- 238000003384 imaging method Methods 0.000 claims abstract description 53
- 238000001514 detection method Methods 0.000 claims abstract description 43
- 238000005286 illumination Methods 0.000 claims abstract description 38
- 230000007547 defect Effects 0.000 claims abstract description 26
- 238000012937 correction Methods 0.000 claims abstract description 14
- 238000005316 response function Methods 0.000 claims description 21
- 238000002310 reflectometry Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 5
- 238000007689 inspection Methods 0.000 claims description 4
- 230000002950 deficient Effects 0.000 claims description 2
- 238000000034 method Methods 0.000 abstract description 27
- 238000012545 processing Methods 0.000 abstract description 16
- 238000001914 filtration Methods 0.000 abstract description 12
- 230000004044 response Effects 0.000 abstract description 7
- 230000003287 optical effect Effects 0.000 abstract description 5
- 239000000284 extract Substances 0.000 abstract description 2
- 238000009826 distribution Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 229920003169 water-soluble polymer Polymers 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 235000012431 wafers Nutrition 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000006880 cross-coupling reaction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种亮度非均匀性在线补偿的图像处理方法。本发明结合机器视觉缺陷检测场景的特征，通过序列图像提取邻近区域内非均匀性光照在工件表面非缺陷区域上的成像亮度信息，参考光响应非均匀性的校正步骤，设定均匀光照亮度期望值，获得该区域内非均匀亮度的补偿增益参数，实现亮度非均匀性的在线补偿。本发明避免了亮度非均匀性离线补偿方法使用单一视场区域计算补偿增益导致的工件表面其他区域出现过补偿或欠补偿的情况，并避免了FFT滤波等在线图像处理算法导致的图像细节特征失真和无法适应工件边缘图像等问题。
Description
技术领域
本发明涉及机器视觉缺陷检测领域，尤其涉及一种亮度非均匀性在线补偿的图像处理方法。
背景技术
目前，制造业对生产效率和产品质量提升的需求不断增加，随着图像算法的普及以及算力成本的迅速下降，基于图像信息实现对产品质量检测以及生产工艺优化的机器视觉方法在工业界得到了广泛的应用。机器视觉***主要包括光源、镜头、成像相机和计算硬件四个组件，同时每个组件根据不同的应用场景可以选用不同的类型，例如光源的形状、颜色、是否同轴等参数，镜头的视场、口径、是否远心等参数，相机的像素分辨率、线阵或面阵等参数以及计算硬件的***架构、实时性等参数。
机器视觉***的检测能力是否能够达到要求，前提是能够获得低噪声、低失真的图像信息。相机每个成像像素的光电信号响应函数可以表示为y=K*x+B ，其中x为像素表面接收到的光信号强度，y为像素对应输出电压幅值，K对应光电转换环节中的增益值，B对应光电转换环节中的偏置值。理想情况下，每个像素的光电信号响应函数完全相同；实际情况中，不同像素的增益K、偏置值B由于CMOS制造工艺、ADC等***电路的增益和噪声波动，不会完全一致。因此在相机厂家出厂时以及搭配整套光学***进行成像时，都有必要进行相应的预采集和校正工作。常规采用的校正操作包括对光学***进行暗信号非均匀性(DarkSignal Non-Uniformity，DSNU)和光响应非均匀性(Photo Response Non-Uniformity，PRNU)的校正。暗信号非均匀性的校正步骤为在全黑的环境下（ x=0 ）获得像素响应电平值的波动并进行偏置补偿；光响应非均匀性的校正步骤为在完全均匀的光照条件下（像素间x相等）获得像素响应电平值的波动并进行增益补偿。
上述的校正步骤已经能够满足大多数工业检测的需求，前提在于视场范围内光照亮度均匀或者光照不均匀性引起的图像噪声可以忽略。然而，当视场范围内光照亮度不均匀，并且光照亮度不均匀性引起的图像噪声会直接影响到检测精度时，上述的校正步骤无法满足最终的测量要求，需要补充对光照亮度不均匀性的校正步骤。
相机像素光电信号响应函数中像素表面接收到的光信号强度x可以分解为x=I*r，其中I为该像素位置对应的光照亮度，r为该像素位置对应的工件表面反射率参数，因此常规的光照亮度不均匀性的校正步骤可以参考光响应非均匀性的校正方法，在实际的不均匀光照亮度条件下，获得像素响应电平值的波动，并进行K*I总增益参数的补偿。
如图1所示，上述的光照亮度不均匀性校正步骤在检测开始前独立实施，是一种离线的补偿方式，在整个检测环节采用一套固定的K*I总增益补偿参数，因此要求整个检测环节中光照亮度不均匀性始终保持一致，否则则会导致过补偿或欠补偿的情况。
然而，机器视觉***在实际工作场景中，光照亮度的不均匀性会随着光源稳定性、检测成像距离等条件的变化而变化。例如在大多数精密检测测量***中，为获得更高的空间分辨力，往往采用小视场、浅景深的共焦光学***，在检测过程中工件成像距离的变化会导致工件表面成像亮度的明显变化，无法获得清晰的检测图像。
为了获得清晰的检测图像，可以通过对焦高度控制使得工件的成像距离恒定，从而光源在特定位置的不均匀性分布也保持恒定。若无法实现工件表面的对焦高度自动控制，则需要一种针对光照亮度不均匀性的在线的补偿方式。如图3所示，根据光照亮度不均匀性在图像中表现的特征形态，有算法提出对应的特征提取算法并将这类特征从图像中滤除，例如光源不均匀性在线阵相机图像中呈现条状特征，通过FFT滤波去除图像中的阴影和条纹。这个方法的不足之处在于，频域处理带来的频谱泄漏会导致部分细节特征边缘模糊，并且FFT滤波处理只能针对矩形图像区域，当成像到工件边缘轮廓区域时，图像中工件表面区域存在阴影和条纹特征，非工件表面区域为纯黑背景，FFT滤波方法无法对这类图像进行处理。
因此，提供一种亮度非均匀性在线补偿的图像处理方法是本领域技术人员亟待解决的一个技术问题。
发明内容
为了克服现有技术中存在的缺陷，本发明公开了一种亮度非均匀性在线补偿的图像处理方法。
本发明采用的技术方案包括以下步骤：
步骤1：通过机器视觉检测***对成像相机进行暗信号非均匀性和光响应非均匀性的校正工作；
所述步骤1中：
成像相机每个成像像素的光电信号响应函数表述为：
y
ij
=K
ij
*I
ij
*r
ij
+B
ij
其中，i,j为像素坐标；K ij 为出厂状态下相机每个像素的增益值；B ij 为出厂状态下相机每个像素的偏置值；I ij 为每个像素位置对应的光照亮度；r ij 为每个像素位置对应的成像表面反射率；y ij 为像素对应输出电压幅值，即为像素值；
经过暗信号非均匀性和光响应非均匀性的校正工作后，光电信号响应函数变为：
y ij = K ij *K' ij * I ij *r ij + B ij +B' ij
使K ij *K' ij 为恒值， B ij +B' ij 为零值后，光电信号响应函数简化为：
y ij =G * I ij * r ij
其中，G= K ij * K' ij ；K' ij 为补偿增益；B' ij 为补偿偏置。
步骤2：
2.1）将待检工件置于机器视觉检测***的检测区域中，打开***的照明光源，成像相机对检测区域进行成像；
2.2）将待检工件移动微小距离，成像相机在同一位置继续对检测区域进行成像；也可以不移动待检工件，在待检工件没有缺陷的位置进行多次成像。
所述微小距离为一个像素的距离；
2.3）重复步骤2.2），获得多幅（超过五十幅）图像文件；
所述步骤2中：每次成像获得的图像文件对应的光电信号响应函数为：
其中，n表示图像对应的序号。
具体实施时，对于线阵相机，沿线阵相机像素排列的垂直方向依次移动待检工件，将每次移动后成像获得的线阵相机图像序列进行拼接得到工件表面图像，为未经过亮度非均匀性补偿操作的图像。
所述步骤2中：待检工件的移动总距离大于所有缺陷特征中最大典型尺寸的十倍。
所述步骤2中：待检工件具有均匀介质表面。
步骤3：步骤2获得的这些图像成像位置相邻或重合，可以认为光源的不均匀性在这些图像中保持一致，取步骤2每幅图像中相同像素位置的像素值组成序列，求取像素值序列的中位数或平均数，作为当前像素位置在工件表面无缺陷情况时的像素值Y ij ；
所述步骤3中：由于步骤2获取的图像成像位置相邻或重合，故将图像中光源的不
均匀性视为一致，即：
；
因此，步骤2成像获得的图像对应的光电信号响应函数为：
步骤4：根据步骤3对每幅图像中的所有像素位置进行遍历，获得所有像素位置对应的像素值；
所述步骤4中：
根据步骤3获得所有像素位置在工件表面无缺陷情况下的像素值Y ij ；
由于工件为均匀介质表面，故将每个像素位置对应的成像表面反射率视为一致，即：r 00 =r 01 =r 10 =⋯r pq =r，p,q分别为相机在两个方向上的像素数量；因此所有像素位置的像素值Y ij 与对应像素位置的光照亮度I ij 成比例关系：Y ij =G*I ij *r。
步骤5：设定像素均匀亮度值M，将设定的像素均匀亮度值除以每个像素位置对应的像素像素值，即得每个像素最终对应的补偿增益；
所述步骤5中：
设定将不均匀的光源亮度均匀化的像素均匀亮度值M，则每个像素对应的补偿增益C ij 为像素均匀亮度值除以每个像素位置对应的像素值，即C ij =M/Y ij ；
图像中第i个像素经补偿后的像素值
为：
其中，C ij * Y ij =M为恒值，因此C ij *I ij 也为恒值，从而实现了对该区域内光照亮度不均匀性I ij 的补偿。
步骤6：将步骤5得到的每个像素对应的补偿增益按序排列得到补偿增益表，将该补偿增益表用于当前检测区域图像的增益补偿，从而实现当前检测区域内光照亮度不均匀性的补偿。
步骤7：进入其他检测区域后，按照上述步骤1~6重新计算，实现亮度非均匀性的在线补偿效果。
本发明的有益效果如下：
本发明方法避免了亮度非均匀性离线补偿方法使用单一视场区域计算补偿增益导致的工件表面其他区域出现过补偿或欠补偿的情况，并避免了FFT滤波等在线图像处理算法导致的图像细节特征失真和无法适应工件边缘图像等问题。
本发明方法结合机器视觉缺陷检测场景的特征，通过序列图像提取邻近区域内非均匀性光照在工件表面非缺陷区域上的成像亮度信息，参考光响应非均匀性的校正步骤，设定均匀光照亮度期望值，获得该区域内非均匀亮度的补偿增益参数，实现亮度非均匀性的在线补偿。
附图说明
图1是亮度非均匀性离线补偿的流程示意图；
图2是亮度非均匀性在线补偿的流程示意图；
图3是FFT滤波图像处理流程示意图；
图4是亮度非均匀性在线补偿图像处理流程示意图；
图5是实施例1中采用线阵相机获得的未经过亮度非均匀性补偿操作的原始图像；
图6是实施例1中采用线阵相机获得的原始图像经过FFT滤波图像处理算法得到的图像；
图7是实施例1中采用线阵相机获得的原始图像经过亮度非均匀性在线补偿操作的图像；
图8是实施例1中采用线阵相机获得的原始图像经过亮度非均匀性离线补偿操作的图像；
图9是实施例1中采用线阵相机经过亮度非均匀性离线补偿操作后再次进行FFT滤波图像处理算法得到的图像；
图10是实施例1中采用线阵相机经过亮度非均匀性离线补偿操作后再次进行在线补偿操作后的图像；
图11是实施例1中采用线阵相机获得的包括工件边缘轮廓的原始图像；
图12是实施例1中采用线阵相机获得的包括工件边缘轮廓的原始图像经过FFT滤波图像处理算法得到的图像；
图13是实施例1中采用线阵相机获得的包括工件边缘轮廓的原始图像经过亮度非均匀性在线补偿操作的图像；
图14是对均匀条纹图像分别采用FFT滤波器和本发明方法处理的对比图；图14中的（a）为均匀条纹图像；图14中的（b）为图像FFT频域分布；图14中的（c）为FFT竖条纹滤波器；图14中的（d）为FFT滤波后图像；图14中的（e）为本发明方法处理图像；
图15是对带边缘的均匀条纹图像分别采用FFT滤波器和本发明方法处理的对比图；图15中的（a）为带边缘均匀条纹图像；图15中的（b）为图像FFT频域分布；图15中的（c）为FFT竖条纹滤波器；图15中的（d）为FFT滤波后图像；图15中的（e）为本发明方法处理图像。
具体实施方式
以下将对本发明提供的一种亮度非均匀性在线补偿的图像处理方法做进一步的详细描述。
下面将参照附图对本发明进行更详细的描述，其中表示了本发明的优选实施例，应该理解本领域技术人员可以修改在此描述的本发明而仍然实现本发明的有利效果。因此，下列描述应当被理解为对于本领域技术人员的广泛知道，而并不作为对本发明的限制。
为了清楚，不描述实际实施例的全部特征。在下列描述中，不详细描述公知的功能和结构，因为它们会使本发明由于不必要的细节而混乱。应当认为在任何实际实施例的开发中，必须作出大量实施细节以实现开发者的特定目标，例如按照有关***或有关商业的限制，由一个实施例改变为另一个实施例。另外，应当认为这种开发工作可能是复杂和耗费时间的，但是对于本领域技术人员来说仅仅是常规工作。
为使本发明的目的、特征更明显易懂，下面结合附图对本发明的具体实施方式作进一步的说明。需说明的是，附图均采用非常简化的形式且均使用非精准的比率，仅用以方便、明晰地辅助说明本发明实施例的目的。
实施例1：
如图2和图4所示，本实施例将针对线阵相机作为成像相机进行亮度非均匀性在线补偿图像算法的说明。
步骤（1）通过机器视觉检测***对成像相机进行暗信号非均匀性和光响应非均匀性的校正工作。
线阵相机每个成像像素的光电信号响应函数可以表述为：
y
i
=K
i
*I
i
*r
i
+B
i
其中，i为线阵相机像素坐标；K i 为出厂状态下相机每个像素的增益值；B i 为出厂状态下相机每个像素的偏置值；I i 为每个像素位置对应的光照亮度；r i 为每个像素位置对应的成像表面反射率；y i 为像素对应输出电压幅值，即为像素值。
进一步地，所述步骤（1）进行暗信号非均匀性和光响应非均匀性的校正工作后，光电信号响应函数变为y i = K i *K' i * I i *r i + B i +B' i ，K' i 为补偿增益，B' i 为补偿偏置；
使得K i *K' i 为恒值，B i +B' i 为零值，因此此时光电信号响应函数可以简化为y i =G* I i * r i ，其中G= K i * K' i 。
步骤（2）将待检工件置于机器视觉检测***的检测区域中，打开***的照明光源，相机在当前位置对检测区域进行成像。待检工件移动微小距离（一个像素的距离），相机在当前位置进行成像。重复该操作，最终获得超过一定数量（如五十幅）的图像文件；
进一步地，所述步骤（2）对待检工件邻近区域进行多次成像，获得的图像文件对应
的光电信号响应函数为
，其中n对应图像序号。
本实施例中将工件沿线阵相机像素排列方向的垂直方向固定间距移动，获得的线阵相机图像序列拼接后可得到工件表面图像，为未经过亮度非均匀性补偿操作的图像。图5中，横向为线阵相机的像素排列方向，竖向为线阵相机的移动方向。
如图5所示，可以观察到光照亮度非均匀性在特定像素位置保持一致，因此能够看到拼接图像中光照亮度非均匀性引起的明暗条纹特征。
步骤（3）这些图像成像位置相邻或重合，可以认为光源的不均匀性在这些图像中保持一致，因此需要对这些图像进行处理：取每幅图像中相同像素坐标位置的像素值组成序列，求得该序列的中位数或平均数，作为该点像素位置对应的光源亮度；
进一步地，图像成像位置相邻或重合的情况下，可以认为光源的不均匀性在这些
图像中保持一致，即
，因此
。机器视觉缺陷检测***
中工件表面往往是均匀介质表面，缺陷检测是对表面稀疏存在的缺陷数量和种类进行识别
和分类，工件表面的缺陷最小特征尺寸与相机的像素空间分辨率相当，缺陷特征尺寸一般
远小于相机成像视场，例如平板显示玻璃、半导体晶圆、手机背板等工件的缺陷检测场景。
进行所述步骤（3）取像素序列的中位数或平均数，可以将图像中的缺陷信息滤除掉，获得当
前像素位置在工件表面无缺陷情况下的亮度信息。针对本实施例，即对未经过亮度非均匀
性补偿操作的图5中每列像素的像素值序列取中位数，从而获得工件表面无缺陷情况下的
像素值Y i 。
步骤（4）根据步骤3对所有像素位置进行遍历，获得所有像素位置对应的像素亮度值；
进一步地，进行所述步骤（4），获得所有像素位置在工件表面无缺陷情况下的像素值Y i ，工件为均匀介质表面，此时可以认为r 0 =r 1 =⋯ r p =r，p为线阵相机的像素数量。因此此时所有像素位置的像素值Y i 将直接与对应像素位置的光照亮度I i 成比例关系，Y i =G*I i *r。
步骤（5）设定将不均匀的光源亮度均匀化的像素均匀亮度值，该均匀化的亮度值除以每个像素位置对应的像素值即可得到最终每个像素对应的补偿增益；
进一步地，进行所述步骤（5），设定希望得到的像素均匀亮度值M，则每个像素对应的补偿增益为该均匀亮度值除以每个像素位置对应的亮度值，即C i =M/Y i ，最终得到第i个像素经补偿后的像素值Y' i =C i *Y i =C i *G*I i *r，C i * Y i =M为恒值，因此C i *I i 也为恒值，从而实现了对该区域内光照亮度不均匀性I i 的补偿。图7为经过上述亮度非均匀性在线补偿操作后的图像。
步骤（6）将上述步骤得到的每个像素对应的补偿增益按序排列得到补偿增益表，将该补偿增益表用于当前检测区域图像的增益补偿。
步骤（7）进入其他区域后，按照上述步骤重新计算，实现亮度非均匀性的在线补偿效果。
本发明提出的一种亮度非均匀性在线补偿的图像处理方法同样可以对离线补偿算法得到的欠补偿或过补偿的图像进行处理，提高图像质量。如图8是获得的原始图像经过亮度非均匀性离线补偿操作的图像，可以看到由于非离线补偿区域的光照不均匀性发生变化，采用离线补偿区域处的补偿增益会导致欠补偿或过补偿的情况，具体表现为图像中仍存在部分的条纹特征，通过上述在线补偿算法对该图像进行二次补偿后的图像如图10，可以看到能够有效地滤除条纹特征而不引起其他图像信息的失真。
图6和图9分别是对图5和图8采用FFT滤波去除图像中竖向条纹和阴影的处理结果，可以看到在条纹去除的同时，细节特征边缘存在一定的模糊失真。图12和图13分别是采用上述FFT滤波方法和本发明方法对图11包含工件边缘的图像进行处理的结果图，可以看到，FFT滤波在边缘附近的处理结果和原始图像存在较大的失真，而本发明方法采用的是像素值序列中取特征值，可以通过设置图像掩码的方式排查工件边缘外区域对算法的影响，因此能够得到准确的去除条纹的图像。图14和图15分别是对模拟生成的均匀条纹图像和带边缘的均匀条纹图像进行FFT滤波器和本发明方法处理的对比图。可以看到亮度阶跃变化的均匀条纹图像，其在FFT频域中能够观察到一条较亮的水平中心线，代表图像中存在水平分布的特征，FFT竖条纹滤波器的原理即为将该频域中水平中心线对应的值置零，从而消除对应空间域的水平分布特征，即竖条纹。如图14所示，FFT滤波器和本发明方法对均匀条纹图像都能实现条纹特征的去除。针对图15中带边缘的均匀条纹图像，其FFT变换后频域分布中将出现边缘区域的频域信息，并且和竖条纹对应的水平中心线产生交叉耦合，采用水平中心线对应的值置零的方式将导致工件边缘外区域和工件表面边缘邻近区域图像处理严重失真，采用本发明的方法则可以实现对带边缘的均匀条纹图像进行处理。
实施例2：
本实施例将针对面阵相机作为成像相机进行亮度非均匀性在线补偿图像算法的说明。
步骤（1）完成机器视觉检测***的暗信号非均匀性和光响应非均匀性的校正工作。
相机每个成像像素的光电信号响应函数可以表述为y ij =K ij *I ij *r ij +B ij ，其中i, j为像素坐标，K ij 为出厂状态下相机每个像素的增益值，B ij 为出厂状态下相机每个像素的偏置值，I ij 为每个像素位置对应的光照亮度，r ij 为每个像素位置对应的成像表面反射率，y ij 为像素对应输出电压幅值。
进一步地，所述步骤（1）进行暗信号非均匀性和光响应非均匀性的校正工作后，光电信号响应函数变为y ij = K ij *K' ij * I ij *r ij + B ij +B' ij ，使得K ij *K' ij 为恒值， B ij +B' ij 为零值，因此此时光电信号响应函数可以简化为y ij =G * I ij * r ij ，其中G= K ij * K' ij 。
步骤（2）将待检工件置于机器视觉检测***的检测区域中，打开***的照明光源，相机在当前位置进行成像。移动待检工件微小距离，相机在当前位置进行成像。重复该操作，最终获得超过一定数量（如五十幅）的图像文件；
进一步地，所述步骤（2）对待检工件邻近区域进行多次成像，获得的图像文件对应
的光电信号响应函数为
，其中n对应图像序号。
步骤（3）这些图像成像位置相邻，可以认为光源的不均匀性在这些图像中保持一致，因此需要对这些图像进行处理：取每幅图像中相同像素坐标位置的像素值组成序列，求得该序列的中位数或平均数，作为该点像素位置对应的光源亮度；
进一步地，图像成像位置相邻的情况下，可以认为光源的不均匀性在这些图像中
保持一致，即
，因此
。机器视觉缺陷检测***中
工件表面往往是均匀介质表面，缺陷检测是对表面稀疏存在的缺陷数量和种类进行识别和
分类，工件表面的缺陷最小特征与相机的像素空间分辨率相当，缺陷特征尺寸一般远小于
相机成像视场，例如平板显示玻璃、半导体晶圆、手机背板等工件的缺陷检测场景。进行所
述步骤（3）取像素序列的中位数或平均数，可以将图像中的缺陷信息滤除掉，获得当前像素
位置在工件表面无缺陷情况下的亮度信息。
步骤（4）对所有像素位置进行遍历，获得所有像素位置对应的光源亮度值；
进一步地，进行所述步骤（4），获得所有像素位置在工件表面无缺陷情况下的亮度信息Y ij ，工件为均匀介质表面，此时可以认为r 00 =r 01 =r 10 =⋯r pq =r，p,q分别为相机在两个方向上的像素数量。因此此时所有像素位置的亮度信息Y ij 将直接与对应像素位置的光照亮度I ij 成比例关系，Y ij =G*I ij *r。
步骤（5）设定希望将不均匀的光源亮度均匀化的像素背景亮度值，该均匀化的亮度值除以每个像素位置对应的像素值即可得到最终每个像素对应的补偿增益；
进一步地，进行所述步骤（5），设定希望得到的像素均匀亮度值M，则每个像素对应
的补偿增益为该均匀亮度值除以每个像素位置对应的亮度值，即C ij =M/Y ij ，最终得到
，C ij * Y ij =M为恒值，因此C ij *I ij 也为恒值，从而实
现了对该区域内光照亮度不均匀性I ij 的补偿。
步骤（6）将上述步骤得到的每个像素对应的补偿增益按序排列得到补偿增益表，将该补偿增益表用于当前检测区域图像的增益补偿。
步骤（7）进入其他区域后，按照上述步骤重新计算，实现亮度非均匀性的在线补偿效果。
Claims (9)
1.一种亮度非均匀性在线补偿的图像处理方法，其特征在于，包括以下步骤：
步骤1：通过机器视觉检测***对成像相机进行暗信号非均匀性和光响应非均匀性的校正工作；
步骤2：成像相机对检测区域进行成像，获得多幅图像文件；
步骤3：取步骤2每幅图像中相同像素位置的像素值组成序列，求取像素值序列的中位数或平均数，作为当前像素位置在工件表面无缺陷情况时的像素值Y ij ；
步骤4：根据步骤3对每幅图像中的所有像素位置进行遍历，获得所有像素位置对应的像素值；
步骤5：设定像素均匀亮度值M，将设定的像素均匀亮度值除以每个像素位置对应的像素值，即得每个像素最终对应的补偿增益；
步骤6：将步骤5得到的每个像素对应的补偿增益按序排列得到补偿增益表，将该补偿增益表用于当前检测区域图像的增益补偿，从而实现当前检测区域内光照亮度不均匀性的补偿；
步骤7：进入其他检测区域后，按照上述步骤1~6重新计算，实现亮度非均匀性的在线补偿效果。
2.根据权利要求1所述的一种亮度非均匀性在线补偿的图像处理方法，其特征在于，所述步骤1中：
成像相机每个成像像素的光电信号响应函数表述为：
y
ij
=K
ij
*I
ij
*r
ij
+B
ij
其中，i,j为像素坐标；K ij 为出厂状态下相机每个像素的增益值；B ij 为出厂状态下相机每个像素的偏置值；I ij 为每个像素位置对应的光照亮度；r ij 为每个像素位置对应的成像表面反射率；y ij 为像素对应输出电压幅值，即为像素值；
经过暗信号非均匀性和光响应非均匀性的校正工作后，光电信号响应函数变为：
y ij = K ij *K' ij * I ij *r ij + B ij +B' ij
使K ij *K' ij 为恒值， B ij +B' ij 为零值后，光电信号响应函数简化为：
y ij =G * I ij * r ij
其中，G= K ij * K' ij ；K' ij 为补偿增益；B' ij 为补偿偏置。
3.根据权利要求1所述的一种亮度非均匀性在线补偿的图像处理方法，其特征在于，所述步骤2具体为：
2.1）将待检工件置于机器视觉检测***的检测区域中，打开***的照明光源，成像相机对检测区域进行成像；
2.2）将待检工件移动微小距离，成像相机在同一位置继续对检测区域进行成像；
2.3）重复步骤2.2），获得多幅图像文件。
4.根据权利要求3所述的一种亮度非均匀性在线补偿的图像处理方法，其特征在于，所述步骤2中：每次成像获得的图像文件对应的光电信号响应函数为：
其中，n表示图像对应的序号。
5.根据权利要求3所述的一种亮度非均匀性在线补偿的图像处理方法，其特征在于，所述步骤2中：待检工件的移动总距离大于所有缺陷特征中最大典型尺寸的十倍。
6.根据权利要求3所述的一种亮度非均匀性在线补偿的图像处理方法，其特征在于，所述步骤2中：待检工件具有均匀介质表面。
7.根据权利要求1所述的一种亮度非均匀性在线补偿的图像处理方法，其特征在于，所
述步骤3中：将步骤2获取的图像中光源的不均匀性视为一致，即：
；
则步骤2成像获得的图像对应的光电信号响应函数为：
8.根据权利要求1所述的一种亮度非均匀性在线补偿的图像处理方法，其特征在于，所述步骤4中：
根据步骤3获得所有像素位置在工件表面无缺陷情况下的像素值Y ij ；
将每个像素位置对应的成像表面反射率视为一致，即：r 00 =r 01 =r 10 =⋯r pq =r，p,q分别为相机在两个方向上的像素数量；因此所有像素位置的像素值Y ij 与对应像素位置的光照亮度I ij 构成比例关系：Y ij =G*I ij *r。
9.根据权利要求1所述的一种亮度非均匀性在线补偿的图像处理方法，其特征在于，所述步骤5中：
将不均匀的光源亮度均匀化的像素均匀亮度值设定为M，则每个像素对应的补偿增益C ij 为像素均匀亮度值除以每个像素位置对应的像素值，即C ij =M/Y ij ；
图像中第i个像素经补偿后的像素值
为：
其中，C ij * Y ij =M为恒值，因此C ij *I ij 也为恒值，从而实现了对该区域内光照亮度不均匀性I ij 的补偿。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211326022.8A CN115375590B (zh) | 2022-10-27 | 2022-10-27 | 一种亮度非均匀性在线补偿的图像处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211326022.8A CN115375590B (zh) | 2022-10-27 | 2022-10-27 | 一种亮度非均匀性在线补偿的图像处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115375590A true CN115375590A (zh) | 2022-11-22 |
| CN115375590B CN115375590B (zh) | 2023-04-07 |
Family
ID=84073677
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211326022.8A Active CN115375590B (zh) | 2022-10-27 | 2022-10-27 | 一种亮度非均匀性在线补偿的图像处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115375590B (zh) |
Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060016648A (ko) * | 2004-08-18 | 2006-02-22 | 엠텍비젼 주식회사 | 이미지 센서에서의 렌즈 셰이딩 현상 보정 방법 및 장치 |
| CN101340523A (zh) * | 2008-08-14 | 2009-01-07 | 北京中星微电子有限公司 | 一种对数字图像进行曝光补偿的方法和装置 |
| AU2008230061A1 (en) * | 2008-10-23 | 2010-05-13 | Canon Kabushiki Kaisha | Lighting change correction |
| JP2010124362A (ja) * | 2008-11-21 | 2010-06-03 | Nikon Corp | 撮像装置及び画像補正プログラム |
| CN102508144A (zh) * | 2011-10-26 | 2012-06-20 | 西安电子科技大学 | 测量ccd芯片暗信号非均匀性和光子响应非均匀性的方法 |
| CN102855610A (zh) * | 2012-08-03 | 2013-01-02 | 南京理工大学 | 采用参数正确性因子的红外图像非均匀性校正方法 |
| CN102938137A (zh) * | 2012-10-25 | 2013-02-20 | 苏州有色金属研究院有限公司 | 基于图像序列分析的线扫描图像动态非均匀性校正方法 |
| CN105466566A (zh) * | 2015-12-05 | 2016-04-06 | 中国航空工业集团公司洛阳电光设备研究所 | 一种红外非均匀性校正实时补偿方法 |
| CN105869129A (zh) * | 2015-12-01 | 2016-08-17 | 中国科学院上海技术物理研究所 | 针对非均匀校正后的热红外图像剩余非均匀噪声去除方法 |
| CN107255521A (zh) * | 2017-06-28 | 2017-10-17 | 华中科技大学鄂州工业技术研究院 | 一种红外图像非均匀性校正方法及*** |
| CN109872286A (zh) * | 2019-01-22 | 2019-06-11 | 西安电子科技大学 | 一种基于fpga的低功耗多通道非均匀性图像校正方法及*** |
| CN110033414A (zh) * | 2019-03-18 | 2019-07-19 | 华中科技大学 | 一种基于均值化处理的红外图像非均匀性校正方法及*** |
| CN112330568A (zh) * | 2020-11-27 | 2021-02-05 | 云南省烟草农业科学研究院 | 一种不均匀光照烟叶图像的亮度补偿方法 |
| CN112950657A (zh) * | 2021-03-29 | 2021-06-11 | 合肥京东方显示技术有限公司 | 伽马值校正方法及其装置、电子装置和可读存储介质 |
| CN113450270A (zh) * | 2021-05-26 | 2021-09-28 | 浙江大华技术股份有限公司 | 校正参数生成方法、电子装置和存储介质 |
| CN114079735A (zh) * | 2020-08-19 | 2022-02-22 | 瑞昱半导体股份有限公司 | 固定图像噪声的影像补偿*** |
| CN114331873A (zh) * | 2021-12-07 | 2022-04-12 | 南京邮电大学 | 一种基于区域划分的非均匀光照彩色图像校正方法 |
| CN114627011A (zh) * | 2022-03-08 | 2022-06-14 | 云南师范大学 | 改进双边滤波与多帧平均联合的红外序列图像降噪方法 |
-
2022
- 2022-10-27 CN CN202211326022.8A patent/CN115375590B/zh active Active
Patent Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060016648A (ko) * | 2004-08-18 | 2006-02-22 | 엠텍비젼 주식회사 | 이미지 센서에서의 렌즈 셰이딩 현상 보정 방법 및 장치 |
| CN101340523A (zh) * | 2008-08-14 | 2009-01-07 | 北京中星微电子有限公司 | 一种对数字图像进行曝光补偿的方法和装置 |
| AU2008230061A1 (en) * | 2008-10-23 | 2010-05-13 | Canon Kabushiki Kaisha | Lighting change correction |
| JP2010124362A (ja) * | 2008-11-21 | 2010-06-03 | Nikon Corp | 撮像装置及び画像補正プログラム |
| CN102508144A (zh) * | 2011-10-26 | 2012-06-20 | 西安电子科技大学 | 测量ccd芯片暗信号非均匀性和光子响应非均匀性的方法 |
| CN102855610A (zh) * | 2012-08-03 | 2013-01-02 | 南京理工大学 | 采用参数正确性因子的红外图像非均匀性校正方法 |
| CN102938137A (zh) * | 2012-10-25 | 2013-02-20 | 苏州有色金属研究院有限公司 | 基于图像序列分析的线扫描图像动态非均匀性校正方法 |
| CN105869129A (zh) * | 2015-12-01 | 2016-08-17 | 中国科学院上海技术物理研究所 | 针对非均匀校正后的热红外图像剩余非均匀噪声去除方法 |
| CN105466566A (zh) * | 2015-12-05 | 2016-04-06 | 中国航空工业集团公司洛阳电光设备研究所 | 一种红外非均匀性校正实时补偿方法 |
| CN107255521A (zh) * | 2017-06-28 | 2017-10-17 | 华中科技大学鄂州工业技术研究院 | 一种红外图像非均匀性校正方法及*** |
| CN109872286A (zh) * | 2019-01-22 | 2019-06-11 | 西安电子科技大学 | 一种基于fpga的低功耗多通道非均匀性图像校正方法及*** |
| CN110033414A (zh) * | 2019-03-18 | 2019-07-19 | 华中科技大学 | 一种基于均值化处理的红外图像非均匀性校正方法及*** |
| CN114079735A (zh) * | 2020-08-19 | 2022-02-22 | 瑞昱半导体股份有限公司 | 固定图像噪声的影像补偿*** |
| CN112330568A (zh) * | 2020-11-27 | 2021-02-05 | 云南省烟草农业科学研究院 | 一种不均匀光照烟叶图像的亮度补偿方法 |
| CN112950657A (zh) * | 2021-03-29 | 2021-06-11 | 合肥京东方显示技术有限公司 | 伽马值校正方法及其装置、电子装置和可读存储介质 |
| CN113450270A (zh) * | 2021-05-26 | 2021-09-28 | 浙江大华技术股份有限公司 | 校正参数生成方法、电子装置和存储介质 |
| CN114331873A (zh) * | 2021-12-07 | 2022-04-12 | 南京邮电大学 | 一种基于区域划分的非均匀光照彩色图像校正方法 |
| CN114627011A (zh) * | 2022-03-08 | 2022-06-14 | 云南师范大学 | 改进双边滤波与多帧平均联合的红外序列图像降噪方法 |
Non-Patent Citations (3)
| Title |
|---|
| NILANJAN DEY: "Uneven illumination correction of digital images: A survey of the state-of-the-art", 《OPTIK》 * |
| 张明明: "水下成像校正技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 李苏宁: "基于微透镜阵列光场成像的不确定性分析及三维火焰重构", 《中国博士学位论文全文数据库 基础科学辑》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115375590B (zh) | 2023-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108088845B (zh) | 一种基于微弱信息保留的成像校正方法与装置 | |
| JP6615172B2 (ja) | Ｏｌｅｄスタック膜の品質査定のためのシステム、デバイス、および方法 | |
| US5040228A (en) | Method and apparatus for automatically focusing an image-acquisition device | |
| CN110455815B (zh) | 一种电子元器件外观缺陷检测的方法及*** | |
| KR100809346B1 (ko) | 엣지 보정 장치 및 방법 | |
| TW201706910A (zh) | 檢查裝置及基板處理裝置 | |
| JP2008506174A (ja) | 画像モデルにおける色成分の修復のための方法、システム、プログラムモジュールおよびコンピュータプログラム製品 | |
| CN108986170B (zh) | 一种适用于现场工况的线阵相机平场校正方法 | |
| CN112583999B (zh) | 相机模块的镜头脏污检测方法 | |
| US8045788B2 (en) | Product setup sharing for multiple inspection systems | |
| CN108508022B (zh) | 多相机拼接成像检测方法 | |
| JP2013519069A (ja) | センサ内均一性補正を使用した光学的ウェブベース欠陥検出 | |
| WO2004074822A1 (de) | Verfahren, vorrichtung und software zur optischen inspektion eines halbleitersubstrats | |
| CN110060625B (zh) | 一种led显示屏采集渐晕补偿方法 | |
| CN115375590B (zh) | 一种亮度非均匀性在线补偿的图像处理方法 | |
| CN108489989B (zh) | 基于多相机拼接成像检测的光伏组件双面外观检测仪 | |
| CN116342435B (zh) | 一种线扫描相机畸变校正方法、计算设备及存储介质 | |
| JP2005140655A (ja) | シミ欠陥の検出方法及びその検出装置 | |
| JP6864738B2 (ja) | デフォーカス検出方法 | |
| Edwards et al. | NextGen calibration utility for tool setup and matching in real-time automated visual inspection systems | |
| CN112017207A (zh) | 一种滤光片计数方法及计数装置 | |
| Kordecki et al. | A smooth local polynomial model of vignetting | |
| CN110930380A (zh) | 一种缺陷观测机台及其的图像分析补偿方法 | |
| JP4893938B2 (ja) | 欠陥検査装置 | |
| CN111325707B (zh) | 一种图像处理方法和***、检测方法和*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |