CN111369480A - 一种处理周期性纹理的方法及装置 - Google Patents

Abstract

本申请提供一种处理周期性纹理的方法及装置，所述方法根据周期性纹理的特征自动生成无缺陷的模板图像，将模板图像与原始图像作差获得差值图像，从而既能消除背景纹理的影响，又能凸显出目标物图像，而且不会对目标物图像造成损失，进一步地，可以通过拓展差值图像来消除边缘不完整的纹理。

Description

一种处理周期性纹理的方法及装置

技术领域

本申请属于图像处理领域，特别涉及一种处理周期性纹理的方法及装置。

背景技术

在图像处理领域，经常遇到的问题是提取或者去除具有周期性纹理背景的微小目标物图像中的周期性纹理。例如，在检测显示屏缺陷通常需要去除显示屏显微图像上的周期性纹理，以便更准确地提取缺陷的形态和尺寸，并依据所获得的缺陷形态和尺寸来判断该显示屏是否为良品。具有周期性纹理背景的微小目标物图像的特点是整幅图像以周期性纹理为背景，所述周期性纹理的周期较小，以纹理周期作为一个像元，所述目标物影像在整幅图像中所占比例小于10％。

去除图像背景中周期性纹理的常规方法是频域法，频域法通常是利用傅里叶变换将原始图像转换到频域空间，通过对频域图像进行滤波处理或者是去除某些特定的频率，再利用傅里叶反变换得到纹理抑制后的图像。由此可知，频域法只需要抑制某些特定的频率即可达到纹理抑制的效果，但是在纹理抑制效果和保留目标图像信息完整上存在矛盾，具体表现在以下两个方面：

(1)频域图像是以频率为自变量描述图像的梯度分布；空域图像的自变量是二维空间的点，所以频域图像的频率与空域图像的点不是一一对应的关系，空域图像是通过不同频率的图像叠加而成，由于背景中周期性纹理在频域空间对应的频率与实际缺陷对应的频率可能存在重叠，如图1a至图1c所示，图1a示出一种具有周期性纹理背景目标物的原始图像，图1b示出采用频域法低纹理抑制的背景去除效果图，图1c示出采用频域法高纹理抑制的背景去除效果图，因此，对比图1a与图1b可知，如果要保证目标物的图像不出现任何损失，则纹理抑制效果可能不理想，对比图1a与图1c可知，如果直接去除某些频率，则周期性纹理去除效果可能比较理想，但是同时会造成目标物图像出现不同程度的损失，而目标物图像的损失会对目标物分割造成影响，进而导致目标物信息损失。

(2)由于待处理图像的边缘会存在不完整的周期性纹理单元，导致待处理图像边缘的周期与待处理图像内部的周期不相同，而且由于不同图像的边缘情况不相同，周期性也存在差异，如图2a与图2b所示，图2a示出另一种具有周期性纹理背景目标物的原始图像，图2b示出采用频域法对图2a示出图像去除背景后的效果图，对比图2a与图2b可知，频域法会造成待处理图像边缘的纹理抑制效果不理想，对后续目标物图像的分割提取等会造成不同程度的影响。

发明内容

为了解决图像背景中周期性纹理去除、目标物图像损失以及边缘纹理去除之间的矛盾，本申请提供一种处理周期性纹理的方法及装置，所述方法及装置根据周期性纹理的特征自动生成无缺陷的模板图像，将模板图像与原始图像作差获得差值图像，从而既能消除背景纹理的影响，又能凸显出目标物图像，而且不会对目标物图像造成损失，进一步地，可以通过拓展差值图像来消除边缘不完整的纹理。

本申请的目的在于提供以下几个方面：

第一方面，本申请提供一种处理周期性纹理的方法，所述方法包括：获取待处理图像；在所述待处理图像上确定候选图像；从多个候选图像中选取模板图像；根据所述候选图像与所述模板图像获得每个候选图像与模板图像的差值子图像；获取差值图像，所述差值子图像由每个差值子图像拼接而得。

在一种可实现的方式中，在所述待处理图像上确定候选图像包括：对所述待处理图像进行阈值分割；获取阈值分割图像上ROI区域；根据各个ROI区域确定候选区域；根据所述候选区域获取候选图像。

进一步地，在对所述待处理图像进行阈值分割前还包括对待处理图像进行滤波处理，以消除周期性纹理绘素间隙以及绘素之间的灰度差异，从而避免候选图像出现断裂，造成候选图像无法与模板图像建立正确的映射关系。

在本申请中，在滤波处理中所用模板可以为长宽不一致的矩形。所述模板长边的方向与绘素间隙延伸的方向一致。

进一步地，所述根据各个ROI区域确定候选区域包括：确定阈值分割图像上各个ROI区域的中心；获取阈值分割图像上各个ROI区域之间水平距离的最大值；根据所述最大值以及各个ROI区域的中心确定候选区域。

可选地，根据所述最大值以及各个ROI区域的中心确定候选区域包括：在ROI区域的中心两侧确定候选区域边缘点，所述候选区域边缘点与所述ROI区域的中心位于同一像素行上，所述候选区域边缘点与所述ROI区域的中心之间的距离等于所述最大值的一半；确定候选区域边缘线，所述候选区域边缘线为将所述边缘点向图像竖直方向延伸所得直线；确定候选区域，所述候选区域为以同一ROI区域的中心为基础所确定的相邻两候选区域边缘线之间的区域。

进一步地，所述根据所述候选区域获取候选图像包括在所述待处理图像上按照候选区域所划定的范围截取候选图像。

在一种可实现的方式中，所述从多个候选图像中确定模板图像包括：获取每个候选图像中所有像素点的灰度值；获取每个候选图像的平均灰度值；根据每个候选图像的平均灰度值确定模板图像，所述模板图像为平均灰度值最大的候选图像。

在一种可实现的方式中，所述根据所述候选图像与所述模板图像获得每个候选图像与模板图像的差值子图像包括：将所述模板图像分别映射至每个候选图像；根据映射结果分别生成每个候选图像与模板图像的差值子图像，所述差值子图像上每个像素点的灰度值为候选图像上对应像素点灰度值与模板图像上对应像素点灰度值的差值。

在一种可实现的方式中，所述处理周期性纹理的方法在根据各个ROI区域确定候选区域之后，并且在根据所述候选区域获取候选图像之前还包括校正待处理图像。

进一步地，所述校正所述候选图像包括：获取每个ROI区域的偏转角度；确定ROI区域的平均偏转角度；根据所述平均偏转角度校正所述待处理图像。

在一种可实现的方式中，在获取差值图像之后还包括：获取边缘图像；在所述模板图像上获取模板子图像；根据所述模板子图像获取边缘图像的边缘差值子图像；拼接所述边缘差值子图像与差值图像。

第二方面，本申请还提供一种处理周期性纹理的装置，所述装置包括：图像获取单元，用于获取待处理图像；候选图像确定单元，用于在所述待处理图像上确定候选图像；模板图像获取单元，用于从多个候选图像中选取模板图像；差值子图像获取单元，用于根据所述候选图像与所述模板图像获得每个候选图像与模板图像的差值子图像；差值图像获取单元，用于获取差值图像，所述差值子图像由每个差值子图像拼接而得。

在一种可实现的方式中，所述候选图像确定单元包括：阈值分割子单元，用于对所述待处理图像进行阈值分割；ROI区域获取子单元，用于获取阈值分割图像上ROI区域；候选区域确定子单元，用于根据各个ROI区域确定候选区域；候选图像获取子单元，用于根据所述候选区域获取候选图像。

在一种可实现的方式中，所述模板图像获取单元包括：灰度值获取子单元，用于获取每个候选图像中所有像素点的灰度值；灰度值获取子单元还用于获取每个候选图像的平均灰度值；模板图像确定子单元，用于根据每个候选图像的平均灰度值确定模板图像，所述模板图像为平均灰度值最大的候选图像。

在一种可实现的方式中，所述差值子图像获取单元包括：图像映射子单元，用于将所述模板图像分别映射至每个候选图像；差值子图像获取子单元，用于根据映射结果分别生成每个候选图像与模板图像的差值子图像，所述差值子图像上每个像素点的灰度值为候选图像上对应像素点灰度值与模板图像上对应像素点灰度值的差值。

在一种可实现的方式中，图像获取单元还用于获取边缘图像；模板图像获取单元还用于在所述模板图像上获取模板子图像；差值子图像获取单元还用于根据所述模板子图像获取边缘图像的边缘差值子图像；差值图像获取单元还用于拼接所述边缘差值子图像与差值图像。

第三方面，本申请还提供一种程序，获取待处理图像；在所述待处理图像上确定候选图像；从多个候选图像中选取模板图像；根据所述候选图像与所述模板图像获得每个候选图像与模板图像的差值子图像；获取差值图像，所述差值子图像由每个差值子图像拼接而得。

进一步地，所述程序用于执行第一方面所述技术方案。

第四方面，本申请还提供一种存储介质，所述存储介质用于存储并执行以下程序：获取待处理图像；在所述待处理图像上确定候选图像；从多个候选图像中选取模板图像；根据所述候选图像与所述模板图像获得每个候选图像与模板图像的差值子图像；获取差值图像，所述差值子图像由每个差值子图像拼接而得。

进一步地，所述程序为第三方面所述程序。

与现有技术相比，本申请提供的处理周期性纹理的方法根据周期性纹理的特征自动生成无缺陷的模板图像，将模板图像与原始图像作差获得差值图像，进一步地，可以通过差值子图像来消除边缘不完整的纹理，拼接所述差值图像与所述差值子图像所得图像即为去除周期性纹理背景后的目标物图像，本申请提供的方法能够协调图像背景中周期性纹理去除、目标物图像损失以及边缘纹理去除之间的矛盾，既能消除背景纹理的影响，又能凸显出目标物图像，而且不会对目标物图像造成损失。

附图说明

图1a示出一种具有周期性纹理背景目标物的原始图像；

图1b示出采用频域法低纹理抑制的背景去除效果图；

图1c示出采用频域法高纹理抑制的背景去除效果图；

图2a示出另一种具有周期性纹理背景目标物的原始图像；

图2b示出采用频域法对图2a示出图像去除背景后的效果图；

图3a示出LCD普通绘素显示屏的显微图像；

图3b示出LCD四色绘素显示屏的显微图像；

图3c示出OLED三绘素显示屏的显微图像；

图4a示出一种缺陷不连续的显示屏显微图像；

图4b示出缺陷与绘素间隙粘连的显示屏显微图像；

图5a示出彩色滤光层上缺陷的显微图像；

图5b示出背光层上缺陷的显微图像；

图5c示出盖板层缺陷的显微图像；

图5d示出偏光层缺陷的显微图像；

图6示出本申请所提供处理周期性纹理方法的流程示意图；

图7示出LCD显示屏的背光层显微图像与所述显示屏的对应关系示意图；

图8a示出LCD某单层的显微图像；

图8b示出对图8a所示LCD显微图像划分ROI区域的结果；

图8c示出OLED某单层的显微图像；

图8d示出对图8c所示显微图像划分ROI区域的结果；

图9示出本实例一种优选确定候选区域的方法流程示意图；

图10示出倾斜的ROI区域中长轴与水平面之间夹角θ的示意图；

图11a示出如图8a所示图像经过步骤S101至步骤S105处理后所得差值图像；

图11b示出如图8c所示图像经过步骤S101至步骤S105处理后所得差值图像；

图12示出差值图像区域、边缘图像区域以及待处理图像原始图像区域之间的关系；

图13a示出对图8a所示LCD显微图像拼接差值子图像与差值图像的结果；

图13b示出对图8c所示OLED显微图像拼接差值子图像与差值图像的结果。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致方法的例子。

下面通过具体的实施例对本申请提供的基于邻域像素关系的边缘像素点提取方法及装置进行详细阐述。

首先，对本申请的应用场景做以简要说明。本申请适用于提取具有周期性纹理背景图像中微小目标物影像，例如，液晶显示屏(LCD)屏幕缺陷检测或者有机发光显示屏(OLED)屏幕缺陷检测，本申请以LCD屏幕缺陷检测以及OLED屏幕缺陷检测为例说明本申请的方案。

具体地，显示屏是一种输入/输出设备，它是一种将电子文件通过特定传输设备显示到屏幕上的显示工具，人眼可通过显示屏查看所述电子文件。由于显示屏独特的显示特性而广泛应用于电子产品，例如：手机、电脑、车载***和遥控器等。按照材质分类，目前市面上的显示屏主要包括LCD和OLED。

显示屏通常包括多层，例如，LCD示屏包括彩色滤光层、背光层、偏光层和盖板层，OLED示屏包括发光层、传输层和盖板层。上述两种显示屏在生产过程中会产生不同类型的缺陷，常见的缺陷按照形态大致分为点、线、色斑三种缺陷。对显示屏的质检包括显示屏是否存在缺陷、缺陷的精确尺寸以及缺陷存在于哪个层中。如果缺陷尺寸小于阈值，可以认为该显示屏为良品，如果缺陷尺寸大于阈值或存在于特定层中，则认为该显示屏为不良品，因此，获取缺陷的精确尺寸以及存在于哪一层中尤为重要。

由于线和色斑缺陷的特征形态比较明显，通常情况下，利用工业相机对显示屏进行整体拍摄即可分辨出缺陷的形态和尺寸。但是，点类缺陷尺寸较小，形态不定，因此，利用工业相机对显示屏进行整体拍摄往往难以检测出点缺陷的形态、精确尺寸，以及点缺陷具体存在于显示屏的哪个层中，因此，利用工业相机对屏幕整体拍摄的检测方式难以达到市场要求的检测标准，如果对显示屏进行精细测量，通常需要在显示屏的显微图像中进一步检测点缺陷。

显示屏显微图像中的每个像素均包括RGB三种绘素或者RGBW四种绘素。例如，图3a示出LCD普通绘素显示屏的显微图像，图3b示出LCD四色绘素显示屏的显微图像，图3c示出OLED三绘素显示屏的显微图像，由图3a至图3c可知，在各种LCD以及OLED显示屏中，绘素形态虽然各有不同，但都是呈周期性分布。

由于相邻绘素在水平和竖直方向上均存在有一定的间隙，而显示屏缺陷在显微图像中可能不连续，或者缺陷与绘素间隙连接到一起，例如，图4a示出一种缺陷不连续的显示屏显微图像，图4b示出缺陷与绘素间隙粘连的显示屏显微图像，由图4a和图4b可知，如果直接在显微图像上提取缺陷，容易导致缺陷轮廓不完整或者缺陷轮廓较大，最终导致缺陷尺寸测量失准。

本申请人发现，同一缺陷在不同层显微图像上表现出的形态和清晰度不同。以LCD显示屏的显微图像为例进行说明，在显微图像上，彩色滤光层的绘素清晰可见，而背光层、偏光层和盖板层的绘素由于虚焦导致清晰度和形态发生变化。例如，图5a示出彩色滤光层上缺陷的显微图像，图5b示出背光层上缺陷的显微图像，图5c示出盖板层缺陷的显微图像，图5d示出偏光层缺陷的显微图像，由图5a至图5d可知，该缺陷在背光层上的影像最清晰，形态最准确，相比较地，在其它层呈现的形态不准确，影像也比较模糊，进一步可知，LCD和OLED显示屏彩色滤光层的显微图像在绘素最清晰，其它层图像是在对焦图像的基础上进行模糊处理得到的，其周期性纹理也是在对焦图像的基础上演变过来。对焦层图像在水平和竖直方向上均存在周期性纹理，但是纹理间隙不同，LCD屏幕竖直方向的绘素间隙较小，水平方向的绘素间隙较大；OLED屏幕水平和竖直的绘素间隙差别不大。

对于显示屏显微图像上的缺陷影像，即是一种具有周期性背景的微小目标物影像，可以通过去除周期性纹理背景的方法提取该微小目标物影像的精确形态和尺寸。可以理解的是，上述LCD或者OLED中的任意一层均属于具有周期性纹理背景的图像，进一步地，本申请提供的方法不限于以上示意性应用场景，还适用于与上述示意性应用场景相类似的各场景。

图6示出本申请所提供处理周期性纹理方法的流程示意图，所述方法包括以下步骤S101至步骤S105：

步骤S101，获取待处理图像。

利用显微相机在显示屏局部分别采集待检测显示屏不同层的彩色图像，具体地，对于LCD显示屏分别采集彩色滤光层、背光层和偏光层的图像，对于OLED显示屏分别采集彩色滤光层、传输层和盖板层的图像。

图7示出LCD显示屏的背光层显微图像与所述显示屏的对应关系示意图。如图7所示，左侧是待检测LCD显示屏，虚线方框位置是显微相机的采集范围，所述采集范围即显微相机的视野，本实施例中使用的相机的分辨率为2448×2048，相机单个像素的尺寸为8.625μm，对应的相机视野范围为2.1114mm×1.766mm，该显示屏上缺陷的位置由主检相机提供，图7中右侧示出所采集到的LCD背光层的显微图像。

步骤S102，在所述待处理图像上确定候选图像。

在本实例中，在所述待处理图像上确定候选图像可以包括以下步骤S111至步骤S114：

S121，对所述待处理图像进行阈值分割。

本实例中，所述阈值分割是指利用动态阈值选择较亮的区域即灰度值较高的区域作为前景区域，可以根据下式(1)进行阈值分割：

其中，g_o表示原始图像中各个像素的灰度值，

g_t表示滤波图像中与原始图像中g_o像素所对应像素的灰度值，

offset表示动态阈值的偏差值。

则，分割亮区域即提取原始图像与滤波图像差值高于+offset对应的区域，分割暗区域即提取原始图像与滤波图像差值低于-offset对应的区域。

在本实施中，在对所述待处理图像进行阈值分割前还可以对待处理图像进行滤波处理，以消除周期性纹理绘素间隙以及绘素之间的灰度差异，从而避免候选图像出现断裂，造成候选图像无法与模板图像建立正确的映射关系。

本申请所用滤波处理的方法为均值滤波，以尽量消除由于图像中缺陷造成的干扰。

一种优选的方式中，滤波处理所用模板为矩形模板，进一步地，所述模板长边的延伸方向与绘素间隙的延伸方向一致。

S122，获取阈值分割图像上ROI区域。

在本实例中，所述ROI区域是指感兴趣区域(Region Of Interest)，具体到本申请的方案中，ROI区域用于从中选取候选区域，进而根据候选区域确定候选图像。

图8a示出LCD某单层的显微图像，由图8a可知，从竖直方向看，LCD某单层显微图像由呈间隔分布的亮暗纹理组成，对于此类图像，可以亮纹理，即绘素区域的几何中心为中心，以纹理间距，即相邻两个绘素区域的中心距为宽，以显微图像的高度为高绘制矩形区域，每个矩形区域即为一个ROI区域，将显微图像左右两侧未被划分入ROI区域中的图像条保留为边缘图像，结果如图8b所示，图8b示出对图8a所示LCD显微图像划分ROI区域的结果。

在本实例中，图8c示出OLED某单层的显微图像，由图8c可知，从竖直方向看，OLED某单层显微图像规律分布有离散的绘素亮点，这些离散的绘素点至少包括两种尺寸，对于此种周期性纹理，可以绘素周期，即，相邻两个绘素区域的中心距为宽度，以显微图像的高度为高绘制矩形区域，每个矩形区域即为一个ROI区域，结果如图8d所示，图8d示出对图8c所示显微图像划分ROI区域的结果。

S123，根据各个ROI区域确定候选区域。

在本实例中，后续步骤所用模板图像是由候选图像中选取的，进一步地，所述候选图像是根据候选区域而确定的，因此，候选区域的确定结果直接影响模板区域的选择。以LCD显微图像为例，不同层显微图像上的周期性纹理存在差异，具体地，彩色滤光层绘素比较清晰，而且绘素间隙与绘素之间边界分明，背光层和偏光层图像绘素比较模糊，绘素间隙与绘素的边界模糊，因此，在对周期性纹理背景图像上确定候选区域的过程中需要考虑不同层图像之间的纹理差异，如果根据阈值在显微图像上直接分割出候选区域，则会造成在不同层显微图像上所选取的候选区域不具备相似性，在后续步骤中无法统一处理。因此，本申请可以采用如下方法确定候选区域。

图9示出本实例一种优选确定候选区域的方法流程示意图，如图9所示，在本实例中，所述根据各个ROI区域确定候选区域包括以下步骤S1231至步骤S1233：

步骤S1231，确定阈值分割图像上各个ROI区域的中心。

在本实例中，所述ROI区域的中心是指该ROI区域的几何中心，该几何中心可以采用现有技术中任意一种计算矩形区域几何中心的方法计算得到。

进一步地，可以计算每个ROI区域的宽度，再根据各ROI区域的宽度去除宽度异常值，例如，图像边缘处的不完整周期等，以保证各ROI区域为完整周期。

在本实例中，所述每个ROI区域的宽度可以根据该ROI区域最大列序号与最小列序号之差计算，例如，该ROI区域最大列序号为100，最小列序号为40，则所ROI区域的宽度为100-40＝60。

本实例对去除宽度异常值的方法不做特别限定，可以采用现有技术中任意一种用于去除异常数据的方法，例如，箱线图方法。

以下以箱线图方法为例说明去宽度异常值。首先，将各ROI区域的宽度数据降序排列，计算降序数据的上四分位数Q3、中位数Q2和下四分位数Q1，其中，上四分位数为数据序列中第Q3个数据，中位数为数据序列中第Q2个数据，下四分位数为数据序列中第Q1个数据，计算四分位数差IQR(Q3-Q1)，正常数据的范围[Q1-1.5*IQR,Q3+1.5*IQR]，在这个范围之外的即为异常值。

其中，上四分位数Q3，中位数Q2和下四分位数Q1可以根据下式(2)计算的计算公式：

其中，n表示宽度数据的个数。

步骤S1232，获取阈值分割图像上各个ROI区域之间水平距离的最大值。

在本步骤中，所述各ROI区域为去除异常区域后所剩余所有ROI区域。

在本实例中，各个ROI区域之间水平距离的最大值可以根据以下步骤获取：

获取相邻两ROI区域之间的水平距离；

选取所述水平距离的最大值。

其中，相邻两ROI区域之间的水平距离为相邻两个ROI区域中心点之间的水平距离。

步骤S1233，根据所述最大值以及各个ROI区域的中心确定候选区域。

进一步地，根据所述最大值以及各个ROI区域的中心确定候选区域可以包括：

以所述ROI区域的中心为基础，在所述ROI区域的中心两侧确定候选区域边缘点，所述候选区域边缘点与所述ROI区域的中心位于同一像素行上，所述候选区域边缘点与所述ROI区域的中心之间的距离等于所述最大值的一半；

确定候选区域边缘线，所述候选区域边缘线为将所述边缘点向图像竖直方向延伸所得直线；

确定候选区域，所述候选区域为以同一ROI区域的中心为基础所确定的相邻两边候选区域缘线之间的区域。

本申请人发现，根据所述最大值确定候选区域边缘线可以使相邻两个候选区域恰好相接或者存在冗余，从而保证在后续处理后，拼接所得差值图像完整，避免图像缺损。

在本实例中，可以在本步骤之后，并且在根据所述候选区域获取候选图像之前校正待处理图像。

由于待处理图像，例如，显微图像在采集过程中可能出现倾斜，因此，在确定候选区域后需要对待处理图像进行校正，以将倾斜的待处理图像调整至于水平面垂直，即使θ＝90°。

本申请人发现，校正待处理图像过程中所选取的旋转角度是根据ROI区域与候选区域之间的偏转角度确定的，因此，本实例中先确定候选区域，然后再根据ROI区域与候选区域之间的偏转角度对待处理图像进行校正。

所述校正待处理图像可以包括以下步骤S1241和步骤S1243：

步骤S1241，获取每个ROI区域的偏转角度。

图10示出倾斜的ROI区域中长轴与水平面，即，候选区域之间夹角θ的示意图，如图10所示，ROI区域的偏转角度为θ。

在本实例中，对于每个ROI区域来说，若θ<90°，则以ROI区域的几何中心为中心，将ROI区域逆时针旋转(90-θ)°即可得到校正后的ROI区域；若θ>90°，则以ROI区域的几何中心为中心，将ROI区域顺时针旋转(θ-90)°即可得到校正后的ROI区域。

步骤S1242，确定ROI区域的平均偏转角度。

在本实例中，所述平均偏转角度

各ROI区域偏转角度的平均值。

步骤S1243，根据所述平均偏转角度校正所述待处理图像。

在本实例中，根据所述平均偏转角度校正所述待处理图像可以根据所述平均偏转角度计算获得校正前像素点P(x,y)与校正后像素点P’(x’,y’)之间的旋转矩阵R，再根据所述旋转矩阵R利用下式(3)计算待处理图像中各像素点校正后的坐标，从而根据校正后的坐标获得校正图像。

其中，旋转矩阵R可以根据下式(4)计算而得：

其中，R表示旋转矩阵；

(Px,Py)是校正旋转中心像素点的坐标；

phi表示校正的角度，校正过程中的旋转中心是待处理图像的中心，旋转角度

S124，根据所述候选区域获取候选图像。

在本实例中，根据所述候选区域获取候选图像可以包括在所述校正图像上按照候选区域所划定的范围截取候选图像。

本实例中，可以采用现有技术中任意一种在图像上根据选定区域截取部分图像的方法在所述校正图像上按照候选区域所划定的范围截取候选图像。

步骤S103，从多个候选图像中选取模板图像。

在本实例中，由于每张待检测显微图像中缺陷出现的具***置不同，而且，不同层图像之间周期性纹理存在差异，因此，如何自动确定模板图像，并且生成无缺陷的模板图像是本方案的关键。

本申请人发现，对于周期性纹理，较小的绘素间隙易于保证周期的完整性，特别地，对于本实例中LCD显微图像和OLED显微图像，可以利用竖直方向上的纹理来确定模板图像，可以理解的是，对于类似于本实例所用图像旋转90类的周期性纹理，可以利用水平方向上的纹理来确定模板图像。

在本实例中，所述从多个候选图像中确定模板图像包括以下步骤S131至步骤S133：

步骤S131，获取每个候选图像中所有像素点的灰度值。

在本实例中，对获取候选图像中所有像素点灰度值的方法不做特别限定，可以使用现有技术中任意一种获取图像中像素点灰度值的方法。

步骤S132，获取每个候选图像的平均灰度值。

在本实例中，所述候选图像的平均灰度值即该候选图像中所有像素点灰度值的平均值，具体地，所述候选图像的平均灰度值可以根据下式(5)计算：

其中，Mean表示候选图像的平均灰度值，

I表示候选图像，

p表示候选图像内任意一像素点，

g(p)表示像素点p的灰度值，

F表示候选图像I的面积。

步骤S133，根据每个候选图像的平均灰度值确定模板图像，所述模板图像为平均灰度值最大的候选图像。

在本实例中，所述模板图像选自候选图像，而且，所述模板图像中不能存在缺陷。本申请人发现，经过阈值分割后，待处理图像中缺陷位置的灰度值较低，从而导致候选图像的平均灰度值较低，因此，可以选择平均灰度值最大的候选作为模板图像，如果平均灰度值最大的候选图像存在多个，则可以选择其中任意一个候选图像作为模板图像，例如，选择这些候选图像中最左侧的候选图像作为模板图像。

步骤S104，根据所述候选图像与所述模板图像获得每个候选图像与模板图像的差值子图像。

在本实例中，所述根据所述候选图像与所述模板图像获得每个候选图像与模板图像的差值子图像可以包括以下步骤S141和步骤S142：

步骤S141，将所述模板图像分别映射至每个候选图像。

在本实例中，对映射的方法不做特别限定，可以采用现有技术中任意一种图像映射的方法，例如，利用映射矩阵进行映射的方法。

具体地，候选图像与模板图像之间的位置偏差计算模板图像与候选图像之间的映射矩阵T，再根据所述映射矩阵T将所述模板图像映射至所述候选图像上，即，通过映射矩阵T将模板图像平移至候选图像上。

其中，所述映射矩阵T可以根据下式(6)计算：

其中，Tx表示在图像在列方向上的偏移量，

Ty表示在图像在行方向上的偏移量。

假设模板图像中心像素点的坐标为(x1,y1)，候选图像中心像素点的坐标为(x2,y2)，则Tx与Ty可以根据下式(7)计算：

步骤S142，根据映射结果分别生成每个候选图像与模板图像的差值子图像，所述差值子图像上每个像素点的灰度值为候选图像上对应像素点灰度值与模板图像上对应像素点灰度值的差值。

步骤S105，获取差值图像，所述差值子图像由每个差值子图像拼接而得。

在本实例中，所有差值子图像根据各候选图像在待处理图像中原有的顺序进行拼接，拼接而成的图像即为差值图像。图11a示出图8a所示图像经过步骤S101至步骤S105处理后所得差值图像，图11b示出如图8c所示图像经过步骤S101至步骤S105处理后所得差值图像。

本申请人发现，经过上述处理后，与待处理图像相比，拼接所得差值图像小于原始待处理图像，这是由于在进行前述处理过程中，将待处理图像中具有非完整周期的边缘图像删除，图12示出差值图像区域、边缘图像区域以及待处理图像原始图像区域之间的关系，如图12所示，差值图像区域与边缘图像区域共同构成待处理图像原始图像区域。如果仅处理差值图像区域，则可能导致边缘图像中微小目标物影像损失。

在本实例中，在获取差值图像之后还可以包括以下步骤S161至步骤164：

步骤S161，获取边缘图像。

所述边缘图像为原待处理图像中去除候选图像后剩余的图像。

在本实例中，如前所述，利用竖直方向上的纹理来确定模板图像，因此，所述边缘图像是指原待处理图像中竖直边缘处存在非完整周期纹理的图像。可以理解的是，在其它实例中，如果利用水平方向上的纹理来确定模板图像，则边缘图像为原待处理图像中水平边缘处存在非完整周期纹理的图像。

步骤S162，在所述模板图像上获取模板子图像。

在本实例中，在所述模板图像上获取模板子图像可以包括以下步骤：

在所述模板图像上选取与边缘图像对应的模板子区域；

根据所述模板子区域在所述模板图像上截取模板子图像。

在本实例中，在在所述模板图像上选取与边缘图像对应的模板子区域可以采用包括以下步骤的方法：

将所述边缘图像在所述模板图像上进行遍历；

在每个位置分别计算边缘图像与所述模板图像的形状匹配分数；

获取模板子图像，所述模板子图像为所述形状匹配分数最大位置对应的图像。

在本实例中，计算边缘图像与所述模板图像的形状匹配分数可以为现有技术中任意一种用于计算两个图像匹配分数的方法。

在本实例中，在所述模板图像上截取模板子图像上的方法可以为现有技术中任意一种在图像上根据特定区域截取子图像的方法。

步骤S163，根据所述模板子图像获取边缘图像的边缘差值子图像。

在本实例中，根据所述模板子图像获取边缘图像的边缘差值子图像与根据模板图像获取候选图像的差值子图像的方法类似，区别仅在于所用映射矩阵不同，具体方法可以参见步骤S141至步骤S142。

本申请人发现，通过上述方法得到的差值子图像能够精确地确定边缘图像中微小目标物影像，从而减小微小目标物影像在边缘图像中的损失，使得具有周期性纹理背景的微小目标物影像更精确。

步骤S164，拼接所述边缘差值子图像与差值图像。

在本实例中，差值子图像与差值图像按照它们在待处理图像中原有的顺序进行拼接，拼接所得图像与待处理图像大小相等，本申请对拼接所用的方法不做特别限定，可以采用现有技术中任意一种图像拼接的方法。

图13a示出对图8a所示LCD显微图像拼接差值子图像与差值图像的结果，图13b示出对图8c所示OLED显微图像拼接差值子图像与差值图像的结果。

本申请提供的方法利用原始图像中微小目标物影像与背景的差异提取微小目标物影像，从而使缺陷损失降到最低。

以上仅以处理显示屏显微图像上的周期性纹理为例说明本申请提供的技术方案，可以理解地，本申请提供的技术方案可以应用于其它周期性纹理的提取或者去除等处理。

第二方面，本申请还提供一种处理周期性纹理的装置，所述装置包括：图像获取单元，用于获取待处理图像；候选图像确定单元，用于在所述待处理图像上确定候选图像；模板图像获取单元，用于从多个候选图像中选取模板图像；差值子图像获取单元，用于根据所述候选图像与所述模板图像获得每个候选图像与模板图像的差值子图像；差值图像获取单元，用于获取差值图像，所述差值子图像由每个差值子图像拼接而得。

在一种可实现的方式中，所述候选图像确定单元包括：阈值分割子单元，用于对所述待处理图像进行阈值分割；ROI区域获取子单元，用于获取阈值分割图像上ROI区域；候选区域确定子单元，用于根据各个ROI区域确定候选区域；候选图像获取子单元，用于根据所述候选区域获取候选图像。

在一种可实现的方式中，所述模板图像获取单元包括：灰度值获取子单元，用于获取每个候选图像中所有像素点的灰度值；灰度值获取子单元还用于获取每个候选图像的平均灰度值；模板图像确定子单元，用于根据每个候选图像的平均灰度值确定模板图像，所述模板图像为平均灰度值最大的候选图像。

在一种可实现的方式中，所述差值子图像获取单元包括：图像映射子单元，用于将所述模板图像分别映射至每个候选图像；差值子图像获取子单元，用于根据映射结果分别生成每个候选图像与模板图像的差值子图像，所述差值子图像上每个像素点的灰度值为候选图像上对应像素点灰度值与模板图像上对应像素点灰度值的差值。

在一种可实现的方式中，图像获取单元还用于获取边缘图像；模板图像获取单元还用于在所述模板图像上获取模板子图像；差值子图像获取单元还用于根据所述模板子图像获取边缘图像的边缘差值子图像；差值图像获取单元还用于拼接所述边缘差值子图像与差值图像。

第三方面，本申请还提供一种程序，获取待处理图像；在所述待处理图像上确定候选图像；从多个候选图像中选取模板图像；根据所述候选图像与所述模板图像获得每个候选图像与模板图像的差值子图像；获取差值图像，所述差值子图像由每个差值子图像拼接而得。

进一步地，所述程序用于执行第一方面所述技术方案。

第四方面，本申请还提供一种存储介质，所述存储介质用于存储并执行以下程序：获取待处理图像；在所述待处理图像上确定候选图像；从多个候选图像中选取模板图像；根据所述候选图像与所述模板图像获得每个候选图像与模板图像的差值子图像；获取差值图像，所述差值子图像由每个差值子图像拼接而得。

进一步地，所述程序为第三方面所述程序。

以上结合具体实施方式和范例性实例对本申请进行了详细说明，不过这些说明并不能理解为对本申请的限制。本领域技术人员理解，在不偏离本申请精神和范围的情况下，可以对本申请技术方案及其实施方式进行多种等价替换、修饰或改进，这些均落入本申请的范围内。本申请的保护范围以所附权利要求为准。

Claims (10)

1.一种处理周期性纹理的方法，其特征在于，所述方法包括：

获取待处理图像；

在所述待处理图像上确定候选图像；

从多个候选图像中选取模板图像；

根据所述候选图像与所述模板图像获得每个候选图像与模板图像的差值子图像；

获取差值图像，所述差值子图像由每个差值子图像拼接而得。

2.根据权利要求1所述的方法，其特征在于，在所述待处理图像上确定候选图像包括：

对所述待处理图像进行阈值分割；

获取阈值分割图像上ROI区域；

根据各个ROI区域确定候选区域；

根据所述候选区域获取候选图像。

3.根据权利要求1或2所述的方法，其特征在于，所述从多个候选图像中确定模板图像包括：

获取每个候选图像中所有像素点的灰度值；

获取每个候选图像的平均灰度值；

根据每个候选图像的平均灰度值确定模板图像，所述模板图像为平均灰度值最大的候选图像。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述根据所述候选图像与所述模板图像获得每个候选图像与模板图像的差值子图像包括：

将所述模板图像分别映射至每个候选图像；

根据映射结果分别生成每个候选图像与模板图像的差值子图像，所述差值子图像上每个像素点的灰度值为候选图像上对应像素点灰度值与模板图像上对应像素点灰度值的差值。

5.根据权利要求1至4任一项所述的方法，其特征在于，在获取差值图像之后还包括：

获取边缘图像；

在所述模板图像上获取模板子图像；

根据所述模板子图像获取边缘图像的边缘差值子图像；

拼接所述边缘差值子图像与差值图像。

6.一种处理周期性纹理的装置，其特征在于，所述装置包括：

图像获取单元，用于获取待处理图像；

候选图像确定单元，用于在所述待处理图像上确定候选图像；

模板图像获取单元，用于从多个候选图像中选取模板图像；

差值子图像获取单元，用于根据所述候选图像与所述模板图像获得每个候选图像与模板图像的差值子图像；

差值图像获取单元，用于获取差值图像，所述差值子图像由每个差值子图像拼接而得。

7.根据权利要求6所述的装置，其特征在于，所述候选图像确定单元包括：

阈值分割子单元，用于对所述待处理图像进行阈值分割；

ROI区域获取子单元，用于获取阈值分割图像上ROI区域；

候选区域确定子单元，用于根据各个ROI区域确定候选区域；

候选图像获取子单元，用于根据所述候选区域获取候选图像。

8.根据权利要求6或7所述的装置，其特征在于，所述模板图像获取单元包括：

灰度值获取子单元，用于获取每个候选图像中所有像素点的灰度值；

灰度值获取子单元还用于获取每个候选图像的平均灰度值；

模板图像确定子单元，用于根据每个候选图像的平均灰度值确定模板图像，所述模板图像为平均灰度值最大的候选图像。

9.根据权利要求6至8任一项所述的装置，其特征在于，所述差值子图像获取单元包括：

图像映射子单元，用于将所述模板图像分别映射至每个候选图像；

差值子图像获取子单元，用于根据映射结果分别生成每个候选图像与模板图像的差值子图像，所述差值子图像上每个像素点的灰度值为候选图像上对应像素点灰度值与模板图像上对应像素点灰度值的差值。

10.根据权利要求6至9任一项所述的装置，其特征在于，

图像获取单元还用于获取边缘图像；

模板图像获取单元还用于在所述模板图像上获取模板子图像；

差值子图像获取单元还用于根据所述模板子图像获取边缘图像的边缘差值子图像；

差值图像获取单元还用于拼接所述边缘差值子图像与差值图像。

Images