CN111507946A - 基于相似性样本的元素数据驱动的花型图案快速生成方法 - Google Patents

Abstract

本发明公开了一种基于相似性样本的元素数据驱动的花型图案快速生成方法，包括以下步骤：对输入的花型图案进行循环单元检测和拼接方式判断，对单元图片进行灰度增强处理，进行相似性元素提取；对花型图像的元素对象分割处理，把元素对象按照区域进行分割，将背景和无关零部件清除；新的相似花型图案的生成，对元素在元素库中进行相似性比对，对同类元素进行元素替换，合并替换后的元素图层，获得相似的花型图案。该发明能够最大限度地确保新生成的花型与原输入样品花型有一致的风格和布局，不受某种特定风格和布局的限制，具有很好的广泛实用性和可操作性。

Description

基于相似性样本的元素数据驱动的花型图案快速生成方法

技术领域

本发明涉及一种花型图案快速生成方法，属于计算机辅助设计技术领域，具体地说是一种基于相似性样本的元素数据驱动的花型图案快速生成方法。

背景技术

纺织服装行业属于劳动密集型行业，需要生成大量的纺织品花型面料满足人类的日常生活和精神需求。纺织品花型图案设计随着流行趋势变化和大众市场的喜好而变化。工业化大量生产的花样图案设计包括但不仅限于如下一些特点：对花型设计的风格定位和设计主题的要求非常明确，对花型设计的响应时间要求非常快，对花样设计的内容变化要求非常多样性，对设计元素的内容丰富性要求也越来越高。研究和统计分析表明，纺织服装工业实际生产中新的花型图案的面料产品开发数量，绝大部分是对已有花型元素的重用或者微小修改来完成。因此，工业化生产的花型图案的设计越来越依靠计算机辅助设计方法的效率提升和互联网上元素素材的丰富数据来提高设计效率和降低设计成本。当前，已有许多研究者尝试从不同的角度利用计算机辅助设计方法进行花型图案生成。有采用拓扑构型生成图案的方法、针对某一固定风格的图案生成方法、分形技术的图案设计方法、进化艺术墙绘图案设计、基于重复模式发现的印花图案生成方法等等。

现有方法生成的图案内容的外轮廓是固定的或者需要用户自定义，很难满足实际生产中对丰富图案造型的需求，而且只能生成某一种特定风格的图案。用户如果需要生成理想的风格，需要花费大量的时间进行手工修改，设计的效率和效果无法满足实际生产中快速变化和快速响应的需求。因此，市场上一直未见成熟的相关软件产品投入到纺织服装工业的实际生产中推广使用。

发明内容

本发明的目的是为了解决上述现有技术的不足而提供一种基于相似性样本的元素数据驱动的花型图案快速生成方法，用于快速生成具有相似性关联的花型图案，该方法能够应用于但不仅仅局限于工业化生产的服装、墙布、家纺、包装等产品的花型图案设计。

为了实现上述目的，本发明所设计的本发明公开了一种基于相似性样本的元素数据驱动的花型图案快速生成方法，包括以下步骤：

步骤1，生成元素图层：输入样品图案，检测出循环单元，对单元图片进行灰度增强处理，进行相似性元素提取。

步骤2，元素对象分割处理：对样品图案中提取的元素对象按照区域进行分割，将背景和无关零部件清除。

步骤3，相似元素替换：将分割后的元素在元素库中进行相似性比对，对同类元素进行元素替换，合并替换后的元素图层，获得相似的花型图案。

与现有技术相比所具有的有益效果如下：实现了基于已有花型图案快速生成新的花型图案的方法，将复杂的花型分析与设计过程化繁为简，降低了人工分析花型循环、元素、拼接和组合等所需的时间和成本，对于以高量产、多样性、短周期、快时尚为特色的纺织品花型设计行业，能够显著降低工人的劳动强度，降低企业的人工成本。该方法便于操作，生成特定风格和主题的新花型所需时间非常短，无需用户对花型轮廓进行复杂的编辑和操作。该方法能够最大限度地确保新生成的花型与原输入样品花型有一致的风格和布局，不受某种特定风格和布局的限制，具有很好的广泛实用性和可操作性，能够直接应用于纺织、服装、包装、印刷、装饰等图案设计行业，能够显著降低花型设计开发所需的时间和成本。

附图说明

图1本发明的处理流程示意图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

如图1所示，本发明提供的一种基于相似性样本的元素数据驱动的花型图案快速生成方法，包括以下步骤：

步骤1，生成元素图层：输入样品图案，检测出循环单元，对单元图片进行灰度增强处理，进行相似性元素提取。

步骤2，元素对象分割处理：对样品图案中提取的元素对象按照区域进行分割，将背景和无关零部件清除。

步骤3，相似元素替换：将分割后的元素在元素库中进行相似性比对，对同类元素进行元素替换，合并替换后的元素图层，获得相似的花型图案。

步骤1包括以下步骤：

步骤1-1，循环单元检测：工业化量产的花型图案可以看成是一种周期性重复的图案。图案的内容变化多样，图案内容通常不够稠密，比较稀疏，具有丰富的视觉变化效果。如果直接对图案内容进行处理，通常计算量非常大，实际生产中也要求生产时用的图案必须是一个完整的循环单元。因此，对输入的样品图案必须分析出一个完整的循环单元。由于图案变化多样，同一主题的元素对象通常具有不同程度的相似性，有的时候人眼也很难快速识别出一个完整的循环单元。如果图案存在扭曲或变形，手工对图像的矫正和拼接更是十分费时费力。现有文献提出的满足多样性图案内容的花型图案循环单元的检测方法一般都需要人工监督，且不会考虑复杂的图案拼接形式，例如跳接。然而，跳接拼接方式在图案设计领域是一种十分常见的拼接方式，例如印花行业和墙布行业等。本文提出循环单元检测的作用是自动和无监督式地切分出单元图像，能够分析出跳接拼接的循环单元图像，减少后续处理所需的时间，并且自动纠正织物图案中存在的位置倾斜或物理变形，在实际生成中无需进行裁剪或拼接即可直接使用。输入一张织物样品图案图像I_rgb，样品图案图像I可能在实际情况中存在一定的整体或局部变形和扭曲，采用基于Harris角点检测改进的Shi-Tomasi角点检测，该方法与传统的角点检测方法相比具有更加的稳健性。对图像I的局部图像进行处理获得角点位置信息，特征点的横纵坐标用(i,j)表示。由于量产用的花型图案构成可以看成是一种周期性重复单元的构成模式，包括平接和跳接两种方式。令

是角特征点沿着i方向的相邻四边形的两边，

是角特征点沿着j方向的相邻四边形的两边。可以将重复单元四边形的空间一致性描述为：

式中E表示一个归一化的误差函数，|| ||₂表示L₂正则化项。如果E 小于一个给定值ε，则表示近似规则的程度，ε值越小，重复单元的相似程度越相似。利用互相关(cross-correlation)函数可以求得临近重复单元的候选对象。

对样品中存在的重复四边形单元的角点特征点分布信息使用马尔科夫随机场模型进行建模：

式中x表示重复单元，z表示图像特征距离，Ψ和Φ分别表示重复单元的空间约束成对关系函数和关于在给定位置s的近似重复单元值的函数。采用置信传播算法(BP算法)可以对织物样品图片中的重复单元进行检测并评估重复单元的倾斜和扭曲程度。采用文献1：Park M,Brocklehurst K,Collins RT,Liu Y.Deformed lattice detection in real-world images using mean-shift belief propagation.IEEE Transactions on PatternAnalysis and Machine Intelligence.2009；31(10):1804-16.中所述的基于均值偏移BP算法对马尔科夫随机场模型进行求解得到织物图片中近似规则纹理基元的四边形边缘角点坐标。

计算样品图片倾斜角度。对检测到的候选四边形，在i、j方向的边与水平和竖直方向的夹角，分别记为H_α、V_β，根据H_α或V_β判断样品图片旋转角度。

判断样品图案的拼接方式。在纺织行业，织物样品图案在设计和生产过程时需要判断样品循环单元的拼接方式，判断样品图案的拼接方式P如下：

式中P＝0表示样品为平接，P＝1表示样品为跳接，例如1/2、1/3、 1/4跳接等等。S是相邻循环单元的拼接步长。当S＝0时，样品循环单元的拼接方式为拼接，此时上下左右的相邻拼接单元共享所有的边和四边形网格顶点；当S＞0时，样品循环单元的拼接方式为跳接，此时上下左右的相邻拼接单元并非共享所有的边和四边形网格顶点。最简单的平接拼接方式表示为：P＝0∧θ＝90°∧H_α＝0∧V_β＝0，θ为四边形两边的夹角。

跳接和平接的关系。当S＝0时，并非所有的平接拼接方式都能转换为跳接拼接方式，例如最简单的平接拼接方式不能转换为跳接拼接方式。当S＞0时，所有的花型图案循环单元均可以用平接的平接方式表示，即跳接拼接方式能够转换为平接拼接方式。根据本文提出的平行四边形网格模型的检测结果，能够方便地分析出各种跳接方式与平接方式的特点以及二者之间的转换关系。例如，1/2跳接和平接的方法表示如下：

式中P＝1/2表示跳接拼接方式。平接和1/2跳接的循环单元的边长计算方法如下：

式中，

表示平接四边形的两边的边长，

分别表示1/2跳接的相邻两边的边长。同理，根据平行四边形网格模型的检测结果，能够分析出1/3、1/4、1/5等跳接方式与平接方式的特点，以各种跳接和平接的转换关系。

图案的循环单元的扭曲变形矫正。对多次迭代后检测到的四边形的边，采用Spline Warping算法可将扭曲变形的边矫正到规则状态四边形，对四边形区域内的图像根据循环单元的边长计算方法可以将跳接循环单元的图片求出来，记为I_Unit-rgb。

步骤1-2，灰度图片增强对比度：相似性特征的提取首先需要将循环单元图片的颜色模式从RGB转化到灰度图的模式。当彩色图片转为灰度图会导致色彩信息丢失，会使花型中的某一些元素很难从花型图片中分辨出来，进而对花型元素的识别和分割产生影响，造成图像处理结果的误差增大和正确率降低。现有相似性特征提取算法和图像配准的文献提出颜色不变量、颜色描述子、颜色仿射变换、纹理特征融合、自适应处理等方法，但在实时性和样品多样适应性方面存在问题。本文提出采用一种最新的颜色对比增强算法，将织物图片的RGB 三维空间降到一维空间，把步骤1-1处理得到的I_Unit-rgb图像降维后得到图片记为I_Unit-d1。图像颜色从三维降到一维的方法如下：

式中r、g、b表示输入图像I在R、G、B三个颜色通道的颜色值。P表示成对的局部和非局部的候选集，g_x-g_y表示像素g_x和g_y之间的灰度值之差。对比度增强模型如下：

式中w是一组颜色权重***。求解该权重系数采用加权投影算法。算法的细节及其求解方法见文献2：Liu Q,Li S,Xiong J,Qin B. WpmDecolor:weighted projectionmaximum solver for contrast-preserving decolorization.The Visual Computer.2019；35:205-21。

步骤1-3，相似性元素提取：本文采用基于SURF算子的特征提取方法对织物样品图案中的相似性图案进行匹配。SURF一种基于 SIFT(尺度不变性特征变换)的加速稳健特征算法，SURF算法的运算速度比SIFT提高了3～5倍，准确度并未降低。SURF算法要把彩色图像转换为灰度图像再进行模板特征匹配和配准。现有文献主要采用颜色信息近似或转换处理，以及一些颜色自适应和纹理特征融合等处理，但存在实时性差和样品多样适应困难等问题。本文采用步骤1-2 所述的灰度图片增强对比度，很好实现了实时计算以及增强了彩色图片元素的颜色对比信息，适合于SURF算法特征匹配。由于纺织品图案的多样性和复杂性，对图案的分解涉及到语义分割和图像内容理解等。同时，考虑到实际不同需求，我们可以手工大致从步骤1-2处理所得的I_Unit-d1图像中框选出感兴趣的元素对象区域T_E，并以此区域作为SURF特征匹配的模板图像。对于模板图像T_E和待识别的单元图像I_Unit-d1建立积分图像，积分图像中任意一点(i,j)的值ii(i,j)为原图像左上角到点(i,j)相对应的对角线区域灰度值之和：

式中p(r,c)表示I_Unit-d1图像中点(r,c)的值。SURF算法通过Hessian 矩阵提取特征点：

式中L_xx(x,y,σ)、L_xy(x,y,σ)、L_yy(x,y,σ)分别为高斯二阶偏导数

和

与图像I_Unit-d1(x,y)在点(x,y) 处的卷积，其中二维高斯函数为：

为了计算方便，采用近似Hessian矩阵的行列式：Det(H)＝D_xxD_yy-(ωD_xy)²，式中ω是补偿参数，一般取值0.9，D_xx、D_xx、D_xx分别为不同尺寸盒式滤波(box filter)与图像I_Unit-d1(x,y)的卷积。尺度不变性的特征点提取以及特征匹配详见文献3：[1]Bay H,Ess A,Tuytelaars T, Van L.Speeded-up robust features(SURF).Computer vision and image understanding.2008；110(3):346-59.中的方法。为了解决同一元素对象T_E可能在I_Unit-d1重复多次的匹配特征点选择问题，本文提出一种基于迭代循环的特征点匹配模式。对待检测的第i个T_E元素对象，我们使用更新后的剩余特征图像I_Unit-d1 ⁱ进行特征匹配，具体描述如下：

上式迭代循环的特征点匹配模式能够很好地解决复杂图像中部件特征点对整体元素特征点匹配判断的干扰问题。

步骤2包括以下步骤：

步骤2-1，元素对象区域分割：纺织面料图案的规模化设计与生产，由于考虑到成本和时间，以及特定的流行元素、主题和风格等实际市场偏好因素，一般都是从现有的元素库中查找相似性元素作为灵感素材进行再次创作。企业的搜寻的元素对象库通常包括各种背景颜色和附带区域或杂点的元素对象，为了降低其他多余信息对元素对象的相似性匹配干扰，提高相似性比对的准确率和成功率，本文提出了采用多区域模糊竞争分割的处理方法对步骤1-3检测得到的元素对象T_Ei进行区域分割。元素对象区域分割的目标是建立一个透明背景的干净元素对象图像，降低无关区域和不同颜色背景对相似性元素比对的影响。在实际比对过程中，本文提出的处理方法是十分必要的。例如，纺织品图案内容对象的边缘一般很难直接提取，需要人工监督和矫正，且颜色层次一般比较丰富又接近(常用邻近的颜色进行协调配色)，黑色背景和白色背景的图像相似性比对就是一个对比对结果影响非常明显的问题。多余的无关的背景区域或其他无关的零部件区域对图案构成和分布也会有十分明显的影响，导致对比对结果也有十分明显的影响。元素对象T_Ei进行区域分割的方法如下：

式中N是区域类别分割数，Ω是输入的元素对象T_Ei的平面空间， u是区域分割的模糊隶属度，▽是梯度算子，λ是区域数据项控制参数。

是一个用于刻画某一区域内的隶属度波动的误差函数，在本实施例中其表达式等于||f-c_i||²，其中c_i为一常数。v是一个辅助变量，θ是一个足够小的控制参数使u_i和v_i的值近似相等。通过变量分离，上式方程可采用Chambolle快速投影算法和交替最小化方法求解，即：

式中υ是一个数值为正的拉格朗日乘数。p^*求解通过令

并进行迭代：

式中τ是一个数值很小的参数以确保迭代收敛。

步骤2-2，元素背景及无关零部件清除：获得高质量的元素分割结果需要满足两个条件：(1)分割时间为实时或准实时；(2)分割元素完整且将无关零部件区域或杂点区域降到最少甚至完全消除。步骤 2-1的分割方法是一个具有快速求解方法且收敛的凸函数，分割时间短，达到了分割时间的要求。由于元素对象T_Ei是从原样品图像中检测出来的部分区域，其颜色数量和区域数量通常控制在比较少的范围，这保证了步骤2-1的分割方法的适用性。这是因为步骤2-1的分割方法一般适用于分割数量N∈[2,6]的图像，且区域的面积比例和颜色区分度在一个相对明显的范围，这也是彩色图像模糊区域竞争模型的本质原理。

根据彩色图像模糊区域竞争模型的原理，元素图像T_Ei如果包含较多的颜色区域，去除背景是选择的分割数量N一般在4-6之间。如果是背景颜色和元素有明显分别的简单元素图像T_Ei，则N∈[2,3]。用户根据分割结果，只需选取元素区域相对完整的部分作为输出结果。对输出结果的区域，检测步骤2-1结果中的u的感兴趣的区域。u通过图像二值化处理可以获得二值图像，采用8联通的方法标记出联通区域数以及每个联通区域的外切矩形轮廓。同时，计算外轮廓围成的区域的质心位置x、y坐标，分别为x＝∑j*x_i,j/∑x_i,j、y＝∑i*x_i,j/∑x_i,j， x_i,j表示像素点坐标在(i,j)处的值0∨1。将每个分割的结果进行背景和无关零部件清除处理。具体如下:(1)将分割结果u采用二值化的方式对元素对象T_Ei进行显示，生成一个与T_Ei在平面内大小相同的MAP 矩阵，MAP矩阵的取值范围为0∨1，0表示背景，1表示显示内容。为了便于人眼观察，将背景显示为马赛克图案。(2)根据感兴趣区域的外切矩形轮廓确定是否需要将无关零部件清除。由于步骤2-1的分割方法已经将微小区域进行强制分割到数量为N∈[2,6]的图像，此时无关零部件的数量通常已经很少，用户可以很容易地根据需求选择将感兴趣区域的外切矩形轮之外的无关零部件清除。(3)将外切矩形轮之内的图像显示出来，并且生成一个与外切矩形轮廓等大小的MAP_TE矩阵，该矩阵中的值为0表示背景，用马赛克图案显示，1表示背景及无关零部件清除后的元素。

步骤3包括以下步骤：

步骤3-1，元素对象相似性比对。分为3个子步骤。

步骤3-1-1：元素神经网络特征提取：采用卷积神经网络(CNN) 提取元素数据库中元素图片的神经网络特征。元素库包括的元素是已有花型的元素，根据企业中实际使用的元素风格、内容和语义分类而定，已有元素的数量通常在数万到数十万之间。采用文献5：Dong W, Zhou N,Paul J,Zhang X.Optimized image resizing using seam carving andscaling.ACM Transactions on Graphics 2009；28(5):1-10.中的图像接缝裁剪(seamcarving)算法对元素进行接缝裁剪，减少冗余的空白区域对后期特征提取以及使用元素图片合成时的影响。对得到的接缝裁剪图像、彩色图像、灰度图像分别进行卷积运算得到特征映射(feature map)，在CNN中用卷积层和池化层实现图片特征提取方法，经过反向传播算法最终确定卷积核参数，得到最终的元素神经网络特征。

步骤3-1-2：生成临时特征库。从元素图层集{T_Ei}_i＝1:M,M是步骤 2分割出的元素对象数，选取所需的元素图层利用图像接缝裁剪(seam carving)算法对元素进行接缝裁剪，将得到的元素图片按照步骤 3-1-1所述的方法进行神经网络特征提取。

步骤3-1-3：元素相似性比对。从临时特征库中根据实际需求抽取一定比例的特征进行组合，计算与元素库中元素神经网络特征的距离，按照距离值从小到大排序。接缝裁剪图像、彩色图像、灰度图像各自的元素神经网络特征的权重分别为w₁、w₂、w₃，取值范围均为[0, 1]。计算距离时，根据临时特征组合权重分别给元素库中对应的图像元素神经网络特征进行权重赋值。距离函数采用欧氏距离计算。排序靠前的元素与步骤2中的内容完整的元素相似。根据元素库中的语义分类标签，例如花朵、鸟、小猪等，对排序结果进行筛选，能够提高元素的相似性比对成功率。

步骤3-2，元素替换。分为四个子步骤。

步骤3-2-1，图层关联：依次选取元素图集{T_Ei}_i＝1:M中的元素进行步骤3-1的相似性比对后，将符合要求的比对查找结果按照输入样品图像的大小建立空白图像，比对结果元素在空白图像中的位置和角度按照原元素在原图中的位置和角度而定：步骤1-3计算得到的与匹配模板同一元素的旋转角度，步骤2-2计算的中心位置x、y坐标。将每一个需要被替换的元素对应的多个比对而得的相似性元素建成一个相似图层关联集{I_SE1,I_SE2,I_SE3,...I_SEn}，n表示相似图层关联集的图层数。

步骤3-2-2，图层组合：根据需求设定原图中某一个元素需要用于进行替换的相似图层关联集{I_SE1,I_SE2,I_SE3,...I_SEn}，按照步骤3-1元素相似性比对距离取排序靠前的k个，k≤n，k值越小，重复度越高。原图中不同元素对应的相似图层关联集中的图层进行组合。

步骤3-2-3，图层合并：将步骤3-2-2中图层组合的结果按照图层编号的先后顺序在空白图层中不断进行填充，采用后者图层内容覆盖前者的方式判断某一像素点应该显示的内容。

步骤3-2-4，形状和颜色调整：用户可以根据实际需求对替换元素的大小进行适当的缩放、裁剪、移动等编辑操作，根据实际需求对局部对象的颜色进行改变，得到相似性花型图案。

Claims (1)

1.一种基于相似性样本的元素数据驱动的花型图案快速生成方法，包括以下步骤：

步骤1，生成元素图层：输入样品图案，检测出循环单元，对单元图片进行灰度增强处理，进行相似性元素提取。

步骤2，元素对象分割处理：对样品图案中提取的元素对象按照区域进行分割，将背景和无关零部件清除。

步骤3，相似元素替换：将分割后的元素在元素库中进行相似性比对，对同类元素进行元素替换，合并替换后的元素图层，获得相似的花型图案。

Images