CN115457296A - 一种面向非平稳纹理结构属性的结构提取方法 - Google Patents

Abstract

本发明公开了一种面向非平稳纹理结构属性的结构提取方法，提取非平稳纹理中结构属性呈现为特征轮廓、元素分布的纹理示例的结构信息，得到非平稳纹理的纹理结构图。具体步骤：1）针对结构属性表现为特征轮廓的纹理示例，获取示例特征轮廓结构的边界线，确定边界线邻域范围内的其他特征轮廓点，从而得到纹理结构图；2）针对结构属性表现为元素分布的纹理示例，根据元素示例块进行局部图像块匹配，提取块内的纹理元素，从而得到纹理结构图。在纹理合成与纹理迁移任务中，非平稳纹理的结构属性一直是研究难点。本发明与现有技术相比能够提取非平稳纹理图像的结构属性，为纹理相关任务提供新的解决思路，具有一定的应用前景。

Description

一种面向非平稳纹理结构属性的结构提取方法

技术领域

本发明涉及针对非平稳纹理的纹理合成领域，尤其是一种面向非平稳纹理结构属性的结构提取方法。

背景技术

纹理合成是对输入的纹理图像进行分析，并生成新的更大尺度的目标纹理图像，目标纹理需要在视觉特征与结构特征上与输入的纹理图像保持一致。在计算机图像学领域，基于示例的纹理合成在视觉特征上已经取得优异的成绩，但是在结构特征上依旧存在极大的挑战，尤其是具有大尺度结构特征的非平稳纹理。

随着深度学习的不断发展，2016年深度学习技术开始被运用到基于示例的纹理合成中，基于深度学习的纹理合成方法开始蓬勃发展。纹理合成作为计算机图形学领域的重要技术之一，可以为纹理贴图、纹理缝合、纹理重建、纹理识别等提供纹理内容相关的支持。

现有的基于深度学***稳纹理中结构属性的分析与利用，且神经网络模型难以精准提取非平稳纹理图像的结构特征。虽然部分学者对结构信息展开研究，但大多集中在指定的少量纹理结构上，计算复杂度高、推理时间长且模型通常只能解决单张纹理的特定结构问题，例如铁锈纹理，技术可扩展性差。

发明内容

本发明的目的是提供一种针对非平稳纹理结构属性的结构提取方法，进而解决纹理合成中非平稳纹理中结构特征无法提取和学***稳纹理中占比最大的两类纹理示例，提取速度小于1分钟，因此有效解决纹理任务中结构特征无法获取的问题，为非平稳纹理的纹理合成和纹理结构迁移提供更有效的解决方案，具有一定的运用前景。

实现本发明目的的具体技术方案是：

一种面向非平稳纹理结构属性的结构提取方法，特点是根据非平稳纹理示例呈现的不同结构属性，分类别进行结构提取，该方法具体包括以下步骤：

步骤1：具有特征轮廓结构的纹理示例的结构提取

1.1：针对结构属性呈现为特征轮廓的纹理示例，根据纹理示例中的特征轮廓之间的欧式距离来确定高斯模糊核的大小，利用超参数模糊核的高斯滤波对纹理示例进行卷积操作来去除纹理示例中的噪声信息，再利用固定模糊核大小5×5的高斯滤波再次进行卷积得到过滤后的纹理示例；

1.2：计算纹理示例的梯度幅值和梯度方向，并沿着梯度方向对梯度幅值进行非极大值抑制；非极大值抑制是指沿着对应的梯度方向将中心像素点的像素值与周围的两个像素点的像素值进行比较，若中心像素点的像素值为最大值，则保留中心像素点的原始像素值，否则将其置为0；

1.3：设定超参数高低阈值来检测和连接特征轮廓结构的边缘：小于设定的低阈值的像素点置为0，大于设定的高阈值的像素点置为1，小于设定的高阈值、大于设定的低阈值且与大于设定的高阈值的像素点相连的像素点置为1，进一步将所有被置为1的像素点定义为特征轮廓结构的边界像素点；

1.4：遍历特征轮廓结构的边界像素点，分别从8邻域方向查找设定的超参数欧式距离阈值范围内的其他边界像素点，并沿着查找方向将两个边界像素点之间的像素点的值全部重新设置为1，将所有被置为1的像素点定义为特征轮廓结构；由像素值为0和像素值为1的像素点组成的图像为具有特征轮廓结构的纹理示例的纹理结构图；

步骤2：具有元素分布结构的纹理示例的结构提取

2.1：针对结构属性呈现为元素分布的纹理示例，根据纹理元素的大小和颜色差异将其分为不同类别，并为每个类别的元素提供一个元素示例，即在纹理示例中为每一类纹理元素任意截取一个包含单个此类别纹理元素的图像块；

2.2：基于提供的元素示例，遍历纹理示例中与元素示例尺寸相等的局部区域，并计算元素示例与局部区域的相似度值，相似度值高于给定相似度阈值的局部区域块被定义为初始元素块；不同类别的相似度阈值设定不一致，相似度阈值是一个需要调整的超参数，设置相似度阈值为0.15-0.4；

2.3：在初始元素块中，对两个元素块重合度高于设定的重合阈值0.5的元素块进行筛选：若两个元素块属于相同类别，则保留相似度值高的元素块；否则保留面积更大的元素块，最终保留的元素块被统一标记为目标元素块；

2.4：利用基于DUTS-TR数据集中10553张图像数据训练的显著性检测模型提取目标元素块中包含的纹理元素，将提取出的纹理元素按照所在元素块的原始绝对位置进行缝合，得到具有元素分布结构的纹理示例的纹理结构图。

步骤1.2中所述计算纹理示例的梯度幅值和梯度方向，具体步骤是：

ⅰ)通过利用Sobel滤波器中的卷积阵列对纹理示例进行卷积，得出水平方向的梯度值和垂直方向的梯度值；

ⅱ)针对水平方向和垂直方向的梯度值，利用平方和的开方计算出纹理示例的梯度幅值，利用反正切函数计算出纹理示例的梯度方向。

步骤1.4中所述分别从8邻域方向查找设定的超参数欧式距离阈值范围内的其他边界像素点，具体步骤是：

ⅰ)针对特征轮廓结构倾斜的纹理示例，先沿着45°、135°、225°、315°的方向进行搜索，然后再从0°、90°、180°、270°的方向补充搜索；

ⅱ)针对轮廓线条水平或垂直的纹理图像，只需要分别从0°、90°、180°、270°的方向进行搜索。

步骤2.2中所述计算元素示例与局部区域的相似度值，具体步骤是：

ⅰ)对参与计算的元素示例块和局部区域块进行减去像素均值，除以像素方差的计算；

ⅱ)将元素示例块与局部区域块的相同位置的像素值对应相乘后累计求和，进一步得到元素示例块与局部区域块之间的相似度值。

步骤2.3中所述对两个元素块重合度高于设定的重合阈值0.5的元素块进行筛选，重合度的计算方式为两个元素块的交集与两个元素块的并集之比。

本发明与现有技术相比可以提取非平稳纹理图像中的结构属性，在轻量用户交互下提取纹理图像中占比最大的两类纹理中的结构特征：特征轮廓结构、元素分布结构，且无需根据单张纹理进行复杂的计算或耗时的模型训练，即针对任意纹理示例可在不超过1分钟内提取结构特征，因此在非平稳纹理的纹理合成与纹理结构迁移领域具有一定的应用前景。

附图说明

图1为本发明流程图；

图2为本发明特征轮廓结构提取流程图；

图3为本发明元素分布结构提取流程图；

图4为发明实施例纹理示例结果图。

具体实施方式

以下结合附图及实施例，对本发明作进一步详细描述。

本发明针对非平稳纹理的结构属性提出一种面向非平稳纹理结构属性的结构提取方法，针对非平稳纹理数据集中占比最大的两类纹理结构属性提出与之对应的结构提取方案，在轻量的人工交互下不需要进行复杂的计算和耗时的模型训练，可以在1分钟中获取纹理示例的结构特征，该方法具体包含以下步骤：

步骤1：具有特征轮廓结构的纹理示例的结构提取

步骤2：具有元素分布结构的纹理示例的结构提取。

参阅图1与图4，结合步骤1和步骤2完成输入非平稳纹理示例的结构属性提取，获得包含纹理结构属性的纹理结构图，具体包括：

S100-S140：提取结构属性为特征轮廓类的非平稳纹理示例中的特征轮廓结构，例如树叶纹理中的叶脉轮廓，参阅图2；

S200-S240：提取结构属性为元素分布类的非平稳纹理示例中的元素分布结构，例如孔雀羽毛纹理中的羽毛斑点分布，参阅图3。

本发明根据现有的非平稳纹理中常见的结构属性，总结归纳出两类常见的结构类型：特征轮廓结构、元素分布结构。对于任意输入的非平稳纹理示例，判断该纹理示例内包含的结构属性所属的结构类型，选择对应的结构提取方式完成结构提取，进一步得到非平稳纹理的纹理结构图。本发明从非平稳纹理的结构属性出发，在轻量用户交互下对非平稳纹理内的结构特征进行提取，提取阶段无需对纹理示例进行复杂的数学计算与耗时的模型操作，提取特征轮廓结构或元素分布结构操作均能在1分钟内完成。非平稳纹理的结构特征在非平稳纹理合成与纹理结构迁移任务中能起到结构监督的作用，具有一定的应用前景。

实施例1

参阅图2，本实施例步骤1针对输入的非平稳纹理示例中结构属性表现为特征轮廓结构的纹理展开研究，利用高斯滤波、边缘检测和邻域搜索等方法提取出纹理的特征轮廓结构，具体步骤如下：

S100：针对结构属性呈现为特征轮廓的纹理示例，例如树叶纹理示例中的叶脉，根据纹理示例中的特征轮廓之间的欧式距离来确定高斯模糊核的大小。

S110：利用超参数模糊核的高斯滤波对纹理示例进行卷积操作来去除纹理示例中的噪声信息，再利用固定模糊核大小5×5的高斯滤波再次进行卷积得到过滤后的纹理示例。

S120：计算纹理示例的梯度幅值和梯度方向：1)通过利用Sobel滤波器中的卷积阵列对纹理示例进行卷积，得出水平方向的梯度值和垂直方向的梯度值；2)针对水平方向和垂直方向的梯度值，利用平方和的开方计算出纹理示例的梯度幅值，利用反正切函数计算出纹理示例的梯度方向。沿着梯度方向对梯度幅值进行非极大值抑制：沿着对应的梯度方向将中心像素点的像素值与周围的两个像素点的像素值进行比较，若中心像素点的像素值为最大值，则保留中心像素点的原始像素值，否则将其置为0；

S130：设定超参数高低阈值来检测和连接特征轮廓结构的边缘：小于设定的低阈值的像素点置为0，大于设定的高阈值的像素点置为1，小于设定的高阈值、大于设定的低阈值且与大于设定的高阈值的像素点相连的像素点置为1，进一步将所有被置为1的像素点定义为特征轮廓结构的边界像素点。

S140：遍历特征轮廓结构的边界像素点，分别从8邻域方向查找设定的超参数欧式距离阈值范围内的其他边界像素点，并沿着查找方向将两个边界像素点之间的像素点的值全部重新设置为1，将所有被置为1的像素点定义为特征轮廓结构。由像素值为0和像素值为1的像素点组成的图像为具有特征轮廓结构的纹理示例的纹理结构图。从8邻域方向查找设定的超参数欧式距离阈值范围内的其他边界像素点的具体步骤是：1)针对特征轮廓结构倾斜的纹理示例，先沿着45°、135°、225°、315°的方向进行搜索，然后再从0°、90°、180°、270°的方向补充搜索；2)针对轮廓线条水平或垂直的纹理图像，只需要分别从0°、90°、180°、270°的方向进行搜索。

参阅图3，本实施例步骤2针对输入的非平稳纹理示例中大尺度结构属性表现为元素分布结构的纹理展开研究，利用元素示例选取、元素块匹配、目标元素检测等方法提取出纹理的元素分布结构，具体步骤如下：

S200：针对结构属性呈现为元素分布的纹理示例，例如孔雀羽毛纹理上不同的纹理元素的分布关系，根据纹理元素的大小和颜色差异将其分为不同类别，并为每个类别的元素提供一个元素示例，即纹理示例中为每一类纹理元素任意截取一个包含单个此类别纹理元素的图像块。

S210：基于提供的元素示例，遍历纹理示例中与元素示例尺寸相等的局部区域，并计算元素示例与局部区域的相似度值，相似度值高于给定相似度阈值的局部区域块被定义为初始元素块。不同类别的相似度阈值设定不一致，相似度阈值是一个需要调整的超参数，本实施例中相似度阈值的设置下限为0.15，相似度阈值的设置上限为0.4。计算元素示例与局部区域的相似度值的具体步骤是：1)对参与计算的元素示例块和局部区域块进行减去像素均值，除以像素方差的计算；2)将元素示例块与局部区域块的相同位置的像素值对应相乘后累计求和，进一步得到元素示例块与局部区域块之间的相似度值。

S220：在初始元素块中，对两个元素块重合度高于设定的重合阈值0.5的元素块进行筛选：若两个元素块属于相同类别，则保留相似度值高的元素块；否则保留面积更大的元素块，最终保留的元素块被统一标记为目标元素块；重合度的计算方式为两个元素块的交集与两个元素块的并集之比。

S230：利用显著性检测模型提取目标元素块中包含的纹理元素。显著性检测模型所采用的基础框架为U^2-Net，基于开源代码和默认参数，在开源数据集DUTS-TR上进行模型训练。训练完成后，将目标元素块逐一输入显著性检测模型，输入对应的目标元素块中的纹理元素。

S240：将提取出的纹理元素按照所在目标元素块的原始绝对位置进行缝合，得到具有元素分布结构的纹理示例的纹理结构图。原始绝对位置即目标元素块在纹理示例中的坐标位置。

以上只是对本发明作进一步说明，并非用以限制本发明，凡为本发明等效实施，均应包含于本发明的权利要求范围之内。

Claims (5)

1.一种面向非平稳纹理结构属性的结构提取方法，其特征在于，根据非平稳纹理示例呈现的不同结构属性，分类别进行结构提取，该方法具体包括以下步骤：

步骤1：具有特征轮廓结构的纹理示例的结构提取

1.1：针对结构属性呈现为特征轮廓的纹理示例，根据纹理示例中的特征轮廓之间的欧式距离来确定高斯模糊核的大小，利用超参数模糊核的高斯滤波对纹理示例进行卷积操作来去除纹理示例中的噪声信息，再利用固定模糊核大小5×5的高斯滤波再次进行卷积得到过滤后的纹理示例；

1.2：计算纹理示例的梯度幅值和梯度方向，并沿着梯度方向对梯度幅值进行非极大值抑制；非极大值抑制是指沿着对应的梯度方向将中心像素点的像素值与周围的两个像素点的像素值进行比较，若中心像素点的像素值为最大值，则保留中心像素点的原始像素值，否则将其置为0；

1.3：设定超参数高低阈值来检测和连接特征轮廓结构的边缘：小于设定的低阈值的像素点置为0，大于设定的高阈值的像素点置为1，小于设定的高阈值、大于设定的低阈值且与大于设定的高阈值的像素点相连的像素点置为1，进一步将所有被置为1的像素点定义为特征轮廓结构的边界像素点；

1.4：遍历特征轮廓结构的边界像素点，分别从8邻域方向查找设定的超参数欧式距离阈值范围内的其他边界像素点，并沿着查找方向将两个边界像素点之间的像素点的值全部重新设置为1，将所有被置为1的像素点定义为特征轮廓结构；由像素值为0和像素值为1的像素点组成的图像为具有特征轮廓结构的纹理示例的纹理结构图；

步骤2：具有元素分布结构的纹理示例的结构提取

2.1：针对结构属性呈现为元素分布的纹理示例，根据纹理元素的大小和颜色差异将其分为不同类别，并为每个类别的元素提供一个元素示例，即在纹理示例中为每一类纹理元素任意截取一个包含单个此类别纹理元素的图像块；

2.2：基于提供的元素示例，遍历纹理示例中与元素示例尺寸相等的局部区域，并计算元素示例与局部区域的相似度值，相似度值高于给定相似度阈值的局部区域块被定义为初始元素块；设置相似度阈值为0.15-0.4；

2.3：在初始元素块中，对两个元素块重合度高于设定的重合阈值0.5的元素块进行筛选：若两个元素块属于相同类别，则保留相似度值高的元素块；否则保留面积更大的元素块，最终保留的元素块被统一标记为目标元素块；

2.4：利用基于DUTS-TR数据集中10553张图像数据训练的显著性检测模型提取目标元素块中包含的纹理元素，将提取出的纹理元素按照所在元素块的原始绝对位置进行缝合，得到具有元素分布结构的纹理示例的纹理结构图。

2.根据权利要求1所述的面向非平稳纹理结构属性的结构提取方法，其特征在于，步骤1.2中所述计算纹理示例的梯度幅值和梯度方向，具体步骤是：

ⅰ)通过利用Sobel滤波器中的卷积阵列对纹理示例进行卷积，得出水平方向的梯度值和垂直方向的梯度值；

ⅱ)针对水平方向和垂直方向的梯度值，利用平方和的开方计算出纹理示例的梯度幅值，利用反正切函数计算出纹理示例的梯度方向。

3.根据权利要求1所述的面向非平稳纹理结构属性的结构提取方法，其特征在于，步骤1.4中所述分别从8邻域方向查找设定的超参数欧式距离阈值范围内的其他边界像素点，具体步骤是：

ⅰ)针对特征轮廓结构倾斜的纹理示例，先沿着45°、135°、225°、315°的方向进行搜索，然后再从0°、90°、180°、270°的方向补充搜索；

ⅱ)针对轮廓线条水平或垂直的纹理图像，只需要分别从0°、90°、180°、270°的方向进行搜索。

4.根据权利要求1所述的面向非平稳纹理结构属性的结构提取方法，其特征在于，步骤2.2中所述计算元素示例与局部区域的相似度值，具体步骤是：

ⅰ)对参与计算的元素示例块和局部区域块进行减去像素均值，除以像素方差的计算；

ⅱ)将元素示例块与局部区域块的相同位置的像素值对应相乘后累计求和，进一步得到元素示例块与局部区域块之间的相似度值。

5.根据权利要求1所述的面向非平稳纹理结构属性的结构提取方法，其特征在于，步骤2.3中所述对两个元素块重合度高于设定的重合阈值0.5的元素块进行筛选，重合度的计算方式为两个元素块的交集与两个元素块的并集之比。

Images