CN110675463A - 一种局部彩色铅笔画生成方法及装置 - Google Patents

Abstract

本发明提供一种局部彩色铅笔画生成方法及装置，属于图像处理技术领域。该方法包括：输入原始彩色图像；对原始彩色图像进行图像分割得到彩色分割图，对彩色分割图进行灰度处理得到灰度分割图，对灰度分割图进行二值化处理得到二值图像，根据二值图像确定原始彩色图像的前景区域和背景区域；对原始彩色图像进行图像处理得到轮廓图和纹理图，将轮廓图和纹理图合并得到灰度铅笔画；将原始彩色图像前景区域的色彩信息添加到灰度铅笔画中的对应区域，得到并输出局部彩色铅笔画。本发明将原始彩色图像前景区域的色彩信息添加到灰度铅笔画中的对应区域，得到局部彩色铅笔画，能够较好地突出局部色彩，丰富了彩色铅笔画绘制的艺术表现形式。

Description

一种局部彩色铅笔画生成方法及装置

技术领域

本发明涉及一种局部彩色铅笔画生成方法及装置，属于图像处理技术领域。

背景技术

彩色铅笔是一种表现技法多样的绘画工具，用力的大小可以使颜色的深浅有不同的变化，而数十种颜色的交错融和可以创造无限的色彩效果、细腻的层次与空间。创作一幅彩色铅笔画作品需要考虑铅笔的材质、硬度、纸张等因素，创作难度较高，为解决这一问题，已有利用计算机图像处理技术自动生成彩色铅笔画的方法，例如谢党恩，张志立等在2013年计算机应用与软件第30卷第8期，公开的一篇名为《一种改进的二维彩色铅笔画自动绘制算法》的文献中所述的方法。

但是，现有的彩色铅笔画生成方法，基本都是实现全彩铅笔画，对于一些需要突出图像局部色彩的应用，现有的彩色铅笔画生成方法无法满足突出图像局部色彩的需求。

发明内容

发明的目的是提供一种局部彩色铅笔画生成方法及装置，用以解决现有彩色铅笔画生成方法无法满足突出图像局部色彩的需求的问题。

为实现上述目的，本发明提供了一种局部彩色铅笔画生成方法，该方法包括以下步骤：

1)输入原始彩色图像；

2)对原始彩色图像进行图像分割得到彩色分割图，对彩色分割图进行灰度处理得到灰度分割图，对灰度分割图进行二值化处理得到二值图像，根据二值图像确定原始彩色图像的前景区域和背景区域；

3)对原始彩色图像进行图像处理得到轮廓图和纹理图，将轮廓图和纹理图合并得到灰度铅笔画；

4)将原始彩色图像前景区域的色彩信息添加到灰度铅笔画中的对应区域，得到并输出局部彩色铅笔画。

本发明还提供了一种局部彩色铅笔画生成装置，包括存储器和处理器，所述处理器用于运行存储在所述存储器中的程序指令，以实现以上局部彩色铅笔画生成方法。

本发明的有益效果是：通过对原始彩色图像依次进行图像分割、灰度处理和二值化处理得到二值图像，并根据二值图像确定原始彩色图像的前景区域，将原始彩色图像前景区域的色彩信息添加到灰度铅笔画中的对应区域，得到局部彩色铅笔画。本发明得到的局部彩色铅笔画能够较好地突出局部色彩，丰富了彩色铅笔画绘制的艺术表现形式，不再是单一的灰度铅笔画或全彩铅笔画，铅笔画效果更加丰富鲜活。

进一步地，在上述方法和装置中，得到所述纹理图的步骤包括：

将原始彩色图像从RGB色彩空间转换到HSV色彩空间得到HSV色彩空间图像，提取HSV色彩空间图像亮度通道上的亮度分量，得到亮度分量图；

根据彩色分割图的各个分割区域相应得到亮度分量图的各个分割区域，按区域对亮度分量图添加白噪声得到白噪声图，并确定亮度分量图的各个分割区域的纹理方向；

将白噪声图和根据纹理方向产生的向量场进行线积分卷积，得到纹理图。

进一步地，在上述方法和装置中，得到所述白噪声图的步骤包括：

计算亮度分量图的每个分割区域内所有像素的平均亮度值，作为相应区域的区域亮度均值；

将亮度分量图中每个像素点的像素值与对应分割区域的区域亮度均值作比较，并利用白噪声公式求取每个像素点对应的白噪声值；

将亮度分量图中每个像素点的像素值用对应的白噪声值替代得到白噪声图；

其中，所述白噪声公式为：

式中，T₁＝k₁(1-I_{input_i})，k₁是比例系数，k₁∈[0,1.0]，I_{input_i}是第i个分割区域的亮度分量图像素值，I为常数，R_i为区域i内所有像素的平均亮度值，I_noise是输出像素值，I_max为最大亮度值，p为随机数。

对白噪声公式进行了改进，不仅使白噪声图的生成条件更加简单化，能够适用于彩色铅笔画的绘制需求，还能在体现图像的明暗关系的同时又能保留图像的信息，且产生的白噪声更细腻。

进一步地，在上述方法和装置中，得到所述纹理方向的步骤包括：

利用转换公式将亮度分量图的像素值转换为弧度值；

确定构图的主要方向和次要方向，计算亮度分量图的各个分割区域的平均弧度值，将平均弧度值与设定阈值作比较，若平均弧度值大于设定阈值，则令该平均弧度值对应的分割区域的纹理方向为主要方向，否则为次要方向；

其中，所述转换公式为：

其中，I(i,j)为亮度分量图中像素点(i,j)的像素值，radian(i,j)为I(i,j)对应的弧度值。

进一步地，在上述方法和装置中，利用霓虹处理公式对HSV色彩空间图像进行霓虹处理得到轮廓图，所述霓虹处理公式为：

其中，HSV色彩空间图像中像素点Ig(i,j)的色调、饱和度、亮度分量分别为h₁、s₁、v₁，与像素点Ig(i,j)相同行的像素点Ig1(i,j+1)的色调、饱和度、亮度分量分别为h₂、s₂、v₂，与像素点Ig(i,j)相同列的像素点Ig2(i+1,j)的色调、饱和度、亮度分量分别为h₃、s₃、v₃，处理后的图像中像素点Img(i,j)的色调、饱和度、亮度分量分别为H、S、V。

进一步地，在上述方法和装置中，利用mean shift分割方法对原始彩色图像进行图像分割。

进一步地，在上述方法和装置中，利用最大类间方差法对灰度分割图进行二值化处理。

利用mean shift分割方法得到彩色分割图，并利用最大类间方差法对灰度分割图进行处理得到二值图像，具有以下优点：能够有效减弱图像的过分割，使用最大类间方差法能够对分割图像进行再一次的区域合并，减少分割区域个数，提高了分割的有效性，使得二值化后能够提取出接近完整的目标图像。

附图说明

图1是本发明方法实施例中的局部彩色铅笔画生成方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例对本发明进行进一步详细说明。

方法实施例：

如图1所示，本实施例的局部彩色铅笔画生成方法，包括以下步骤：

步骤1、输入原始彩色图像。

步骤2、对原始彩色图像进行图像分割得到彩色分割图，对彩色分割图进行灰度处理得到灰度分割图，对灰度分割图进行二值化处理得到二值图像，根据二值图像确定原始彩色图像的前景区域和背景区域。

本实施例中，对原始彩色图像进行mean shift分割，得到彩色分割图。其中，得到彩色分割图的具体过程如下：

1)搜索原始彩色图像的模值点；

给定d维空间R^d中n个样本点x_i(i＝1,2,3,...,n)，则在x点处的mean shift向量的基本形式如下：

式中，S_h为半径为h的高维球区域，区域内的点y应满足以下条件：S_h(x)＝{y:(y-x_i)^T(y-x_i)≤h²}；k为落在S_h区域内的样本点的个数；x_i-x为样本点x_i与中心点x的偏移量；M_h(x)为落入S_h区域内的所有样本点x_i与中心点x的偏移量的平均值，即均值偏移向量。

其中，样本点x_i服从概率密度分布函数f(x)，S_h区域内的样本点更多地落在沿着概率密度梯度的方向，模值点为概率密度梯度为零的点。对于样本点x_i，x点的概率密度核函数估计为：

式中，k(||x||²)是一个核函数，令g(x)＝-k'(x)，核函数G(x)＝g(||x||²)。

则x点的mean shift向量的形式为：

令初始点为x＝y₁，通过迭代执行下述公式计算均值漂移量y_j+1直至收敛得到对应的模值点：

2)根据模值点，对原始彩色图像进行平滑处理，得到平滑图像；

基于mean shift的图像分割算法综合考虑图像的空间信息和颜色信息，组成一个维数为5维的联合域来表示彩色图像：x＝(x^s,x^r)，x^s为坐标空间的特征向量，x^r为颜色空间的特征向量。

基于mean shift的图像分割算法采用多元核函数来估计x的分布：

式中，C为归一化常数，

为坐标空间的函数，

为颜色空间的核函数，h_s,h_r分别为坐标空间和颜色空间的核函数带宽，x^s,x^r分别为坐标空间和颜色空间的特征向量。

令x＝(x^s,x^r)，z＝(z^s,z^r)分别表示原始图像和平滑后图像，则基于mean shift的图像平滑具体步骤如下：

①初始化j＝1；

②计算y_j+1；

③计算mean shift向量M_h,G(x)：M_h,G(x)＝y_j+1-x；

给定误差ε，当||M_h,G(x)||＞ε，令x＝M_h,G(x)，j＝j+1，并返回第二步继续迭代，否则结束迭代，并指向下一个像素点x，直至遍历图像中的每一个像素点。

④令z＝(x^s,M_h,G(x)(x))。

3)对平滑图像中的相似区域进行合并，得到彩色分割图。

①筛选颜色值差别较大的像素点，并计算其邻域像素点的颜色均值，替换此像素点颜色值；

②将空间距离小于h_s，颜色距离小于h_r的像素点划分到相同的区域中；

③在完成初始区域合并后，计算不同区域像素点个数sum_i，若sum_i＜S，则该区域合并到其相邻区域内，通过设置参数S限制不同区域内的最少像素点，以限制最终分割的区域大小。

本实施例中，利用最大类间方差法对灰度分割图进行二值化处理，得到二值图像。其中，得到二值图像的具体过程如下：

首先，利用最大类间方差法求二值化处理所需的阈值，具体步骤如下：

设灰度分割图的灰度范围为{0,1,2,3,...,l}，灰度为i的像素数为n_i，记图像的总像素数为

灰度为i的像素出现的概率为：

其中，

选择一个阈值t∈[1,l-1]，阈值t将图像的灰度像素分割成C₁:{0,1,2......,t}和C₂:{t+1,t+2,......,l}两部分，C₁、C₂出现的概率P₁(t)、P₂(t)分别为：

其对应的均值μ₁(t)、μ₂(t)分别为：

图像的总体灰度均值μ_T为：

阈值所分得的两个区域的最大类间方差

为：

采用遍历的方法，在t∈[1,l-1]的范围内，求取使得

最大的阈值t，即为所求阈值。

接着，利用求得的阈值对灰度分割图进行二值化处理，得到二值图像。

本实施例中，利用mean shift分割方法得到彩色分割图，并利用最大类间方差法对灰度分割图进行处理得到二值图像，具有以下优点：能够有效减弱图像的过分割，使用最大类间方差法能够对分割图像进行再一次的区域合并，减少分割区域个数，提高了分割的有效性，使得二值化后能够提取出接近完整的目标图像。

步骤3、对原始彩色图像进行图像处理得到轮廓图和纹理图，将轮廓图和纹理图合并得到灰度铅笔画。

本实施例中，将纹理图和轮廓图进行点乘操作生成灰度铅笔画。其中，得到纹理图的步骤包括：

将原始彩色图像从RGB色彩空间转换到HSV色彩空间得到HSV色彩空间图像，提取HSV色彩空间图像亮度通道上的亮度分量，得到亮度分量图；

根据彩色分割图的各个分割区域相应得到亮度分量图的各个分割区域，按区域对亮度分量图添加白噪声得到白噪声图，并确定亮度分量图的各个分割区域的纹理方向；

将白噪声图和根据纹理方向产生的向量场进行线积分卷积(即LIC)，得到纹理图。

其中，按区域对亮度分量图添加白噪声得到白噪声图的具体过程如下：

1)计算亮度分量图的每个分割区域内所有像素的平均亮度值，作为相应区域的区域亮度均值；

2)将亮度分量图中每个像素点的像素值与对应分割区域的区域亮度均值作比较，并利用白噪声公式求取每个像素点对应的白噪声值；其中，亮度分量图中像素点的像素值就是亮度值；

白噪声公式如下：

式中，T₁＝k₁(1-I_{input_i})，k₁是比例系数，k₁∈[0,1.0]，I_input-i是第i个分割区域的亮度分量图像素值(即亮度分量图第i个分割区域内像素点的像素值)，I为常数，R_i为区域i内所有像素的平均亮度值(即亮度分量图第i个分割区域的区域亮度均值)，I_noise是输出像素值(即白噪声值)，I_max为最大亮度值，p为随机数。

通过白噪声公式可知：当亮度分量图第i个分割区域内某个像素点的像素值I_input-i小于等于该区域的区域亮度均值R_i，且满足p≥T₁,I_input-i-I＜0时，该像素点对应的白噪声值等于最大亮度值I_max；否则，该像素点对应的白噪声值等于I_input-i-I。

对白噪声公式进行了改进，不仅使白噪声图的生成条件更加简单化，能够适用于彩色铅笔画的绘制需求，还能在体现图像的明暗关系的同时又能保留图像的信息，且产生的白噪声更细腻。

3)将亮度分量图中每个像素点的像素值用对应的白噪声值替代得到白噪声图。

确定亮度分量图的各个分割区域的纹理方向的具体过程如下：

1)利用转换公式将亮度分量图的像素值转换为弧度值，转换公式如下：

其中，I(i,j)为亮度分量图中像素点(i,j)的像素值，radian(i,j)为I(i,j)对应的弧度值。

2)确定构图的主要方向和次要方向，计算亮度分量图的各个分割区域的平均弧度值，将平均弧度值与设定阈值作比较，若平均弧度值大于设定阈值，则令该平均弧度值对应的分割区域的纹理方向为主要方向，否则为次要方向。

在实际的绘画过程中，画家通常会选取四个可能的方向：水平方向、垂直方向、曲线方向、对角线方向，而在构图的过程中只有一种方向占主导位置，其他方向属于次要地位。本实施例中，选取45°对角线方向为主要方向，-30°方向为次要方向，设定阈值为60°(作为其他实施方式，设定阈值的大小可根据实际需要调整)，将亮度分量图的各个分割区域的平均弧度值与设定阈值作比较，若平均弧度值大于60°，则该分割区域内各个像素点的纹理方向(也称分割区域的纹理方向)为45°，否则该分割区域内各个像素点的纹理方向为-30°。具体如以下公式所示：

式中，radian_i为第i个分割区域的平均弧度值，I_{out_θ}为第i个分割区域内各个像素点的纹理方向。

将白噪声图和根据纹理方向产生的向量场进行线积分卷积，得到纹理图的具体过程如下：

设点P为输出图像中(x,y)点处的像素点，则该点的输出纹理值为：

其中，I(p(0))是输出图像中像素值，p(0)表示P点；K(w)为滤波卷积核，满足L为积分流线步长；p(w)为流线，T(p(w))为流线上对应的白噪声值。

离散化形式：

式中，

L、L′分别是流线的正向、反向的积分步数；T(p(w_i))是与输入矢量场中坐标点处对应的输入纹理的像素值；公式中的分子表示流线上每一点的卷积核的线积分h_i乘以输入纹理中对应点的T(p(w_i))像素值的累加；分母表示卷积核的线积分的累加，用来对输出结果做归一化处理；ΔS_i为流线在第i段上走过的实际距离；k(w)为卷积核函数，本实施例中选择汉宁窗口函数，因为它能满足对低通滤波的要求，具体形式为：

式中，c、d为2个汉宁函数的扩大系数，β为汉宁函数的相移。

本实施例中，先对HSV色彩空间图像进行霓虹处理，再经过反相和后续灰度化处理得到轮廓图，其中，霓虹处理公式为：

其中，HSV色彩空间图像中第i行第j列像素点Ig(i,j)的色调、饱和度、亮度分量分别为h₁、s₁、v₁，与像素点Ig(i,j)相同行的像素点Ig1(i,j+1)的色调、饱和度、亮度分量分别为h₂、s₂、v₂，与像素点Ig(i,j)相同列的像素点Ig2(i+1,j)的色调、饱和度、亮度分量分别为h₃、s₃、v₃，处理后的图像(即轮廓图)中第i行第j列像素点Img(i,j)的色调、饱和度、亮度分量分别为H、S、V。

步骤4、将原始彩色图像前景区域的色彩信息添加到灰度铅笔画中的对应区域，得到并输出局部彩色铅笔画。

局部彩色铅笔画主要突出图像局部颜色，即前景区域颜色，而背景区域无颜色，即需要实现彩色图像特定区域内的彩色保留，而其他区域显示为灰色。

HSV色彩空间颜色参数分别为H(色调)、S(饱和度)、V(亮度)，在HSV色彩空间中H是0到360度，S为控制颜色的纯度，当S＝0时，H的值无定义，当V逐渐减小时，从该点表现为不同灰度的灰色。因此，在将输入图像由RGB色彩空间转换到HSV色彩空间生成灰度铅笔画后，将灰度铅笔画背景区域的饱和度设置为0，将灰度铅笔画前景区域的饱和度用输入图像前景区域的饱和度代替，就能实现将输入图像前景区域的色彩信息添加到灰度铅笔画中的对应区域，具体公式如下：

其中，S_{out_I}为输出图像饱和度的值，S_{input_i}为输入图像的每个像素点的饱和度的值，i为输入图像的第i个像素点。

本实施例中，根据二值图像确定原始彩色图像的前景区域和背景区域后，将原始彩色图像前景区域的色彩信息添加到灰度铅笔画中的对应区域，并由HSV色彩空间转换到RGB色彩空间，得到局部彩色铅笔画并输出。

作为其他实施方式，得到彩色分割图、二值图像、亮度分量图、白噪声图、纹理方向、轮廓图的方法，均可以采用现有技术中的其他方法，例如背景技术部分所引用文献中提到的方法。

装置实施例：

本实施例提供了一种局部彩色铅笔画生成装置，包括存储器和处理器，处理器用于运行存储在存储器中的程序指令，以实现局部彩色铅笔画生成方法，该方法与方法实施例中的局部彩色铅笔画生成方法相同，此处不再赘述。

Claims (8)

1.一种局部彩色铅笔画生成方法，其特征在于，该方法包括以下步骤：

1)输入原始彩色图像；

2)对原始彩色图像进行图像分割得到彩色分割图，对彩色分割图进行灰度处理得到灰度分割图，对灰度分割图进行二值化处理得到二值图像，根据二值图像确定原始彩色图像的前景区域和背景区域；

3)对原始彩色图像进行图像处理得到轮廓图和纹理图，将轮廓图和纹理图合并得到灰度铅笔画；

4)将原始彩色图像前景区域的色彩信息添加到灰度铅笔画中的对应区域，得到并输出局部彩色铅笔画。

2.根据权利要求1所述的局部彩色铅笔画生成方法，其特征在于，得到所述纹理图的步骤包括：

将原始彩色图像从RGB色彩空间转换到HSV色彩空间得到HSV色彩空间图像，提取HSV色彩空间图像亮度通道上的亮度分量，得到亮度分量图；

根据彩色分割图的各个分割区域相应得到亮度分量图的各个分割区域，按区域对亮度分量图添加白噪声得到白噪声图，并确定亮度分量图的各个分割区域的纹理方向；

将白噪声图和根据纹理方向产生的向量场进行线积分卷积，得到纹理图。

3.根据权利要求2所述的局部彩色铅笔画生成方法，其特征在于，得到所述白噪声图的步骤包括：

计算亮度分量图的每个分割区域内所有像素的平均亮度值，作为相应区域的区域亮度均值；

将亮度分量图中每个像素点的像素值与对应分割区域的区域亮度均值作比较，并利用白噪声公式求取每个像素点对应的白噪声值；

将亮度分量图中每个像素点的像素值用对应的白噪声值替代得到白噪声图；

其中，所述白噪声公式为：

式中，T₁＝k₁(1-I_input-i)，k₁是比例系数，k₁∈[0,1.0]，I_{input_i}是第i个分割区域的亮度分量图像素值，I为常数，R_i为区域i内所有像素的平均亮度值，I_noise是输出像素值，I_max为最大亮度值，p为随机数。

4.根据权利要求2所述的局部彩色铅笔画生成方法，其特征在于，得到所述纹理方向的步骤包括：

利用转换公式将亮度分量图的像素值转换为弧度值；

确定构图的主要方向和次要方向，计算亮度分量图的各个分割区域的平均弧度值，将平均弧度值与设定阈值作比较，若平均弧度值大于设定阈值，则令该平均弧度值对应的分割区域的纹理方向为主要方向，否则为次要方向；

其中，所述转换公式为：

其中，I(i,j)为亮度分量图中像素点(i,j)的像素值，radian(i,j)为I(i,j)对应的弧度值。

5.根据权利要求2所述的局部彩色铅笔画生成方法，其特征在于，利用霓虹处理公式对HSV色彩空间图像进行霓虹处理得到轮廓图，所述霓虹处理公式为：

其中，HSV色彩空间图像中像素点Ig(i,j)的色调、饱和度、亮度分量分别为h₁、s₁、v₁，与像素点Ig(i,j)相同行的像素点Ig1(i,j+1)的色调、饱和度、亮度分量分别为h₂、s₂、v₂，与像素点Ig(i,j)相同列的像素点Ig2(i+1,j)的色调、饱和度、亮度分量分别为h₃、s₃、v₃，处理后的图像中像素点Img(i,j)的色调、饱和度、亮度分量分别为H、S、V。

6.根据权利要求1所述的局部彩色铅笔画生成方法，其特征在于，利用mean shift分割方法对原始彩色图像进行图像分割。

7.根据权利要求1或6所述的局部彩色铅笔画生成方法，其特征在于，利用最大类间方差法对灰度分割图进行二值化处理。

8.一种局部彩色铅笔画生成装置，其特征在于，包括存储器和处理器，所述处理器用于运行存储在所述存储器中的程序指令，以实现权利要求1-7任一项所述的局部彩色铅笔画生成方法。

Images