CN106934786B - 一种实现模具监视器的图像处理软件的方法 - Google Patents

Abstract

一种实现模具监视器的图像处理软件算法，可以对塑件和模腔同时进行检测，通过增加与过曝欠曝模板对比，解决了以往模具保护器由于图像像素值饱和(达到接近255和0附近区域)而导致的图像误检，或者需要人工干预将容易误检区域添加到忽略区，从而减少了人工干预，同时还可以通过结构相似度判断来解决亮度变化问题，将多余模板原有轮廓与差分图像轮廓对比，进一步减少了误检的可能性，大大降低了人工干预的次数。同时通过方差比值对比加快了图像处理速度，只对检出的疑似NG区域进行多模板匹配，加快了检测速度，缩短了对生产周期的影响。

Description

一种实现模具监视器的图像处理软件的方法

技术领域

本发明涉及图像处理软件算法领域，尤其涉及一种实现模具监视器的图像处理软件算法。

背景技术

模具作为制造业注塑产品加工最重要的成型设备，其质量优劣直接关系到产品质量优劣。此外由于模具在注塑加工生产成本中占较大比重，其使用寿命直接影响产品成本。因此，提高模具质量，并对其进行适当维护和保养，延长其使用周期，是注塑产品加工业降低成本、提高效率的重要砝码。而在实际生产中，由于模具更换频繁，注塑机运行时，每个生产周期内价值高昂的模具都可能因为产品残留或滑块错位等而有损坏的危险，模具保护器均可以有效应对各种潜在问题，从而避免停机修模，降低生产成本，提高产品质量，保障交货工期。

现有模具保护器的实现方法主要有以下几种：

1、基于标准模板图像的图像匹配技术：通过采集多张合格的模板图像作为基准图像，每次开模到位后获取当前图像和所有模板图像依次对比，只要和其中一张基准图像基本类似，即认为当前模板图像是合格的，反之则为不合格。此方法是实现容易，但如果动模位置不准，环境光照变化等因素会导致图像差异而引起误报，另外匹配的模板较多则处理速度变慢从而影响生产效率。

2、像素颜色值范围判断：采集多幅合格的模板图像，作为基准图像，若待检图像的每个像素点颜色值在最小值图像对应像素点的颜色值和最大值图像对应像素点的颜色值之间，则该待检图像的像素点为合格点，否则为不合格点。该方法对于图像像素点饱区域附近或者环境光照亮度变化比较大时，则容易产生误报。

3、基于机构光的双目视觉技术：该技术可以提高检测精度，但是成本比较昂贵，并且检测速度也受到一定影响，在中低端市场很难获得用户认可。

发明内容

本发明实施例所要解决的技术问题在于，提供一种实现模具监视器的图像处理软件算法，其特征在于包括以下步骤：

1)调整相机图像，获取清晰的相机图像，用聚焦指数指示图像的清晰程度；

2)设置自动测光区域，自动调整图像亮度，获取正常亮度模板图像，并计算相机增益与图像亮度之间关系；

3)设置图像过曝和欠曝区间，获取过曝和欠曝模板图像；

4)获取待测图像，与当前模板图像亮度进行对比，并调整到与模板亮度差小于允许的范围；

5)分别计算模板和待测图像的轮廓角点，根据设置的允许位置偏差范围，对模板进行配准；

6)求出待测图像与当前模板图像的差分图像，并作灰度拉伸处理；

7)获取忽略告警点、忽略区和被忽略的毛边处理区域，在下一步计算图像匹配时，忽略该区域集合；

8)将拉伸处理后的图像用canny算子求边缘图像，并膨胀尽量让边缘连通；

9)去除与原来轮廓重合部分的边缘，防止光照变化带来的额外边缘噪声；

10)取出疑似缺陷区域，并求方差，如果方差大于设定阈值，则该区域确认为缺陷，如果小于设定阈值，则计算待测图像与模板图像对应区域的结构相似度，如果大于设定的相似度阈值，则认为该区域为OK区域，否则认为NG区域；

11)如果在9)步骤中检测到NG区域，则判断NG区域灰度直方图是否存在过曝或者欠曝，如果曝光正常，则进行到11)步骤，如果该区域图像偏暗，则进行12)步骤，如果是偏亮，则进行13)步骤：

12)遍历所有正常曝光模板，只对对NG区域再次进行一遍对比，如果全部都NG则认为该区域NG，如果对比到某一区域为OK，则检测结果为OK，并将当前匹配OK的模板自动调整到排序第一位，剩余的自动进行模板排序；

13)将当前图像过曝，遍历所有过曝模板，只对对NG区域再次进行一遍对比，如果全部都NG则认为该区域NG，如果对比到某一区域为OK，则检测结果为OK，并将当前匹配OK的模板自动调整到排序第一位，剩余的自动进行模板排序；

14)将当前图像欠曝，遍历所有欠曝模板，只对对NG区域再次进行一遍对比，如果全部都NG则认为该区域NG，如果对比到某一区域为OK，则检测结果为OK，并将当前匹配OK的模板自动调整到排序第一位，剩余的自动进行模板排序；

15)如果检测结果为NG，则用户可以将当前图像添加为模板，***将自动同时添加过曝和欠曝模板，同时将当前检测结果默认为OK；

16)如果检测结果为NG，也可将当前的告警点添加到忽略区域，同时将当前检测结果默认为OK；

17)在算法集成过程中，当出现NG时，如果不需要人工干预，则可直接默认当前检测结果，继续进行下一次检测。

本发明结果通过方差比值、结构相似度、多模板局部匹配、亮度自动调整、过曝和欠曝模板对比等各级算法层层过滤筛选，确保检测结果的准确性和稳定性，同时通过人为干预，添加多个模板和忽略告警点，以及自动曝光，进一步增加了算法的环境适应性，增强了***的鲁棒性。同时通过差分图像后进行灰度拉伸，去除边缘噪声后，提高了***在低对比度环境下(白色背景下的白色缺陷和黑色背景下的黑色缺陷)缺陷的检测能力，采用NG缺陷部分进行多层算法过滤，以及多模板的有效排序策略，提高了误检确认的检测效率，对于模具保护器中存在的各种问题提出了完整的解决方案。本算法采用C++语言模块化编程，可以很好地集成到各种平台上，提供模具监视器的各种解决方案。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

附图1为初始化流程图

附图2为算法软件流程框图

附图3为图像调整界面

附图4为测光区域设置界面

附图5为测光拟合

附图6为欠曝模板直方图

附图7为过曝模板直方图

附图8为欠曝模板

附图9为过曝模板

附图10为正常曝光模板

附图11为输出结果

附图12为检测界面

附图13为检测结果测试观察窗口

附图14为参数设置界面

附图15为光线变化导致的新增轮廓

附图16为检测结果为NG界面

具体实施方式

下面结合附图和实施例对本发明进行进一步说明。

下面结合附图，对本发明技术方案做进一步介绍如图1，2所示，将多幅合格图像的正常曝光、欠曝和过曝图像作为算法的模板；

模板过曝和欠曝策略：采用灰度值[5-15]，[240-250]亮度区间且该区间可设置进行的直方图分布进行曝光调整；

曝光的调整通过自动学习得出当前模板亮度与增益的关系，同时设定增益范围，防止调整越界。

当增益越界时，通过调整曝光时间，将增益调整回正常范围内；

图像模板排序策略：最新添加的模板最为头号排序，其后的木板根据匹配概率的大小进行排序；

采用测试图像与模板图像的差分图像，图像灰度拉伸，提高缺陷的对比度，突出缺陷特征，然后进行椒盐噪声滤波，并进行边缘的提取，并让边缘尽量膨胀，并求出边缘区域，计算该区域的方差比值和结构相似度。

方差比值判断：当方差比值大于设定阈值时，直接判定为NG，否则需要进一步进行结构相似度判断；

对于光照变化在边缘处的非线性问题，通过边缘去除和结构相似度进行排除；

结构相似度判断：通过与模板比较，计算其结构相似度，大于设定的阈值则认为合格，小于阈值则认为疑似NG区域。

取出疑似NG区域，判断疑似NG区域直方图灰度值，如果靠近255附近的区间范围则取一张欠曝图像与对应的欠曝模板进行对比，同理如果靠近0附近区间范围则取一张过曝图像与过曝模板进行对比，对于该区域处于正常曝光范围，则与正常曝光模板对比，以上三种情况，如果检测结果合格，则认为疑似NG区域为合格，否则认为不合格为NG。

调整镜头，根据画面聚焦指数，使得图像清晰度达到最大，同时***通过自动曝光算法，获取亮度适中图像，并显示亮度直方图，通过直方图可以清楚图像亮度分布，并将该图像作为模板图像，如图3所示；

设置测光区域如图4所示，整幅图像的亮度以模板该区域亮度为准进行调节，这样可以减少环境关照变化带来的与模板图像的差异。

设置ROI区域和忽略区域，在实际操作中，最终的检测区域为ROI区域去除掉忽略区、毛边忽略区以及忽略掉的告警点区域而得到的区域，对于区域之外图像则不检测。

进行测光拟合如图5所示，寻找相机增益与图像亮度之间关系，用于后期亮度环境光照变化较大时，作为图像亮度调整的参考值，将当前图像亮度调整到图版图像亮度误差在合理范围之内，并且设置增益的调节范围，一旦超出该范围则曝光时间进行20-50％范围调节，该范围可设置，然后再次对增益进行调节，这样***可增大对大范围光比变化的适应能力。

获取过曝和欠曝模板：对于欠曝模板，主要是为了防止图像像素值达到255好喝后，图像细节无法体现，在接近255值像素附近的区域，亮度变化稍微增大一些，图像细节就被淹没，因此为了这个区域能够准确地检测出来，需要将图像亮度降低，使该区域的图像像素灰度值离255值有较大的安全距离，通过欠曝将过曝区域调整到合适亮度；同理，对于过曝模板，是解决在像素灰度值接近于0附近，图像暗部细节损失问题。如图6、图7所示直方图，目前实例设置为[5，10]，[245，250]区间像素分布为0，进行曝光调节，分别得到如图8所示的欠曝模板和图9所示的过曝模板图和图10所示的正常曝光模板。

运行结果输出窗口如图11所示，同时将结果保存本地的excel文件中，图12为正常检测结果。输出窗口如图13所示，通过调节图14所示的参数调节窗口，对各种参数进行调节，各个参数意义如下：

面积阈值：对可检测的最小面积进行设置，可适应不同应用场景，调整检测灵敏度；

结果相似度：OK和NG的判别标准阈值，此值不能调整过高或者过低，过高则容易将OK误判为NG，过低则容易将NG误判为OK，因此需要根据现场具体情况进行设置；

椒盐噪声阈值：椒盐噪声滤波值的大小；

方差比值：当方差大于该设定值时，直接判定为NG，不进行下一步运算，提高了检测效率；

结构相似度面积：调节结构相似度计算的最小面积，防止局部特征过少造成结构相似度值偏高，同时通过结构相似度可以将如图15所示光照变化导致的多余干扰轮廓去除拉伸阈值1，拉伸阈值2：当差分图像对比度比较小时，容易出现误检，通过调节这2个值，提高对比度，将对比度比较小的缺陷检测出来；

边缘系数：调节毛边检测的大小。

可以理解的是，以上关于本发明的具体描述，仅用于说明本发明而并非受限于本发明实施例所描述的技术方案，本领域的普通技术人员应当理解，仍然可以对本发明进行修改或等同替换，以达到相同的技术效果；只要满足使用需要，都在本发明的保护范围之内。

Claims (1)

1.一种实现模具监视器的图像处理软件的方法，其特征在于包括以下步骤：

1)调整相机图像，获取清晰的相机图像，用聚焦指数指示图像的清晰程度；

2)设置自动测光区域，自动调整图像亮度，获取正常亮度模板图像，并计算相机增益与图像亮度之间关系；

3)设置图像过曝和欠曝区间，获取过曝和欠曝模板图像；

4)获取待测图像，与当前模板图像亮度进行对比，并调整到与模板亮度差小于允许的范围；

5)分别计算模板和待测图像的轮廓角点，根据设置的允许位置偏差范围，对模板进行配准；

6)求出待测图像与当前模板图像的差分图像，并作灰度拉伸处理；

7)获取忽略告警点、忽略区和被忽略的毛边处理区域，在下一步计算图像匹配时，忽略所述忽略区和被忽略的毛边处理区域的集合；

8)将拉伸处理后的图像用canny算子求边缘图像，并膨胀尽量让边缘连通；

9)去除与原来轮廓重合部分的边缘，防止光照变化带来的额外边缘噪声；

10)取出疑似缺陷区域，并求方差，如果方差大于设定阈值，则该区域确认为缺陷，如果小于设定阈值，则计算待测图像与模板图像对应区域的结构相似度，如果大于设定的相似度阈值，则认为该区域为OK区域，否则认为NG区域；

11)如果在10)步骤中检测到NG区域，则判断NG区域灰度直方图是否存在过曝或者欠曝，如果曝光正常，则进行到12)步骤，如果该区域图像偏暗，则进行13)步骤，如果是偏亮，则进行14)步骤：

12)遍历所有正常曝光模板，只对NG区域再次进行一遍对比，如果全部都NG则认为该区域NG，如果对比到某一区域为OK，则检测结果为OK，并将当前匹配OK的模板自动调整到排序第一位，剩余的自动进行模板排序；

13)将当前图像过曝，遍历所有过曝模板，只对NG区域再次进行一遍对比，如果全部都NG则认为该区域NG，如果对比到某一区域为OK，则检测结果为OK，并将当前匹配OK的模板自动调整到排序第一位，剩余的自动进行模板排序；

14)将当前图像欠曝，遍历所有欠曝模板，只对NG区域再次进行一遍对比，如果全部都NG则认为该区域NG，如果对比到某一区域为OK，则检测结果为OK，并将当前匹配OK的模板自动调整到排序第一位，剩余的自动进行模板排序；

15)如果检测结果为NG，则用户可以将当前图像添加为模板，***将自动同时添加过曝和欠曝模板，同时将当前检测结果默认为OK；

16)如果检测结果为NG，也可将当前的告警点添加到忽略区域，同时将当前检测结果默认为OK；

17)在算法集成过程中，当出现NG时，如果不需要人工干预，则可直接默认当前检测结果，继续进行下一次检测。

Images