CN105893649A - 一种基于最优化模型的交互式图像重新着色方法 - Google Patents

Abstract

本发明公开了一种基于最优化模型的交互式图像重新着色方法，包括将待处理彩色图像转换进行人工线条着色，随后将着色图像分别进行基于全局最优化和基于局部最优化的抠图，分别获得全局最优化的抠图图像和局部最优化的抠图图像，对获得的全局最优化的抠图图像和局部最优化的抠图图像进行二值化处理，根据线条着色的选区属性采取添加或者减去的策略合并二值化图像，计算待处理彩色图像中需要重新着色区域，将着色区域的RGB颜色空间转换到HSV颜色空间，采用交互式的方式调整着色区域中的色调通道和饱和度通道，将图像的HSV颜色空间转换到RGB色彩空间，最后将区域重新着色后的图像和原彩色图像合并后获得重新着色图像九个步骤。

Description

一种基于最优化模型的交互式图像重新着色方法

技术邻域

本发明涉及一种彩色图像重新着色方法，尤其是一种基于最优化模型的交互式图像重新着色方法。

背景技术

图像重新着色技术是指通过改变图像的颜色来改变图像的原有风格，达到某种特定的彩色效果的处理过程。重新着色技术通常涉及到图像的分割、聚类、运动估计等众多图像与视频处理技术，能直接产生巨大的经济效益，重新着色技术是源自实践、直接面向应用的技术，所以当前重新着色技术研究是计算机图形学与计算机视觉邻域的一个富有挑战性的热点课题，在影视、动漫，图像、以及科学、工业和军事等诸多工程邻域具有十分广阔的应用前景。传统的重新着色技术是通过纯手工或者在计算机软件辅助下完成的，这项工作需要人工消耗大量的时间，比如Photoshop采用了颜色替换工具来实现图像的重新着色，但是该工具在选区的时候简单的采用了色差容差，很多时候很难实现精确的选取。因此近几年国内外许多科研人员不断探索新的算法来改善重新着色技术的效率和效果。目前，实现图像重新着色的技术可以粗略的分为基于参考图像的颜色迁移方法和基于线条涂色的颜色扩散方法。基于颜色迁移的图像重新着色技术根据像素与邻域统计特征的相似性实现颜色转移，即将一副彩色参考图像的颜色转移到目标图像上，该方法的效果强烈依赖于参考图像与目标图像的相似程度，当参考图像和目标图像的亮度条件差异较大时，会产生不正确的重新着色结果。因此，参考图像的选取对重新着色的结果起着至关重要的作用。基于线条涂色的颜色扩散方法是利用用户输入的粗略涂色线条，结合图像的自身特征(如像素间颜色或者纹理的相似性)将颜色扩展到整幅图像。相对而言，基于线条涂色的颜色扩散方法的处理形式更能符合用户的需求，因此本发明采用了类似于基于线条涂色的颜色扩散方法，所不同的是基于线条涂色的颜色扩散方法由用户直接输入重新着色后的线条颜色，然后采用不同的策略进行色彩传播，而本发明的涂色线条(仅含前景色和背景色)只用来选取重新着色的区域，精确选定区域后转 换到HSV色彩空间进行交互式色彩调整，保证了原图像颜色的色彩分布。图像重新着色技术研究与图像抠图，图像编辑，图像色度调整等技术息息相关。按照传播邻域像素的分布，基于线条涂色的颜色扩散方法可以粗略地分为局部邻域传播和全局邻域传播的两种方法。

基于局部邻域传播的方法具有代表性的是Levin等人的工作。Levin等人假设相邻近像素间的颜色是平滑的，提出了一个能量最优化模型。当用户输入足够多的涂色线条的情况下，该方法能产生高质量的重新着色效果。之后，Yatziv等人和Criminisi等人提出基于测地线距离融合的重新着色方法，Fattal等人把小波变换技术引入了图像编辑方法，Bhat等人建立了梯度域的能量最优化框架用于图像编辑。前面提到的几种方法是基于图像像素的空间连续性的假设，因此对于高对比度纹理图像就不能得到理想的重新着色效果。为了能在高纹理区域和片段区域取得好的效果，Farbman等人用扩散距离代替欧拉距离计算像素之间的亲和性。Qu等人和Sheng等人利用图像的纹理信息分别用于动漫和自然图像的彩色化。基于局部邻域传播的重新着色方法可以实现很好的用户局部控制，但是当像素离涂色线条距离较远时，重新着色的效果往往就达不到预期的效果。

最近，基于全局邻域传播的方法吸引了众多研究者的关注。基于全局邻域传播的重新着色方法能实现全局色彩传播，即使当需要重新着色的像素离用户输入涂色线条距离较远时，色彩也能很好的进行传播。因此该方法对基于局部邻域传播的重新着色方法进行了很好的补充。近年来，许多学者对基于全局邻域传播的方法展开了研究，Chen等人和Lee等人定义了一个非局部邻域的图像抠图算法。Musialski等人和Chen等人提出了非局部邻域主域保持的编辑距离算法。与基于局部邻域传播的重新着色方法相比，基于全局邻域传播的重新着色方法能实现全局的色彩传播，因此可以减少用户输入的涂色线条数量，但是该方法缺少局部或者直接的选择控制，当两个相似的颜色被涂色成不同颜色时，会造成色彩混合而出现错误。

先前基于色彩传播的重新着色技术中存在的如下问题：(1)人工着色线条需要把图像中所有颜色都覆盖到，否则重新着色时会存在颜色丢失；(2)减少了重新着色区域的颜色纹理信息；(3)需要调整算法参数来匹配需要重新着色的区域，方法不直观；(4)全局色彩传播方法缺少局部控制，而局部色彩传播方法需要更多的用户输入线条；(6)针对图片中存在镜面反射和物体阴影部分，重新着色过程容易出现色彩渗透现象。本发明提出的重新着色方法，第一步为用 户着色，类似与Photoshop中替换颜色工具，画笔分为前景色和背景色，可以增加、减少选择区域，同时增加了Photoshop中不具有的全局传播、局部传播属性，改进了先前全局色彩传播方法缺少局部控制，而局部色彩传播方法需要更多的用户输入线条的限制。第二步选择重新着色区域时，由于加入了全局和局部的传播最优化方案，仅需要用户输入少量的前景和背景色，除了抠图出来的区域，其他区域颜色自动保持不变，这样就不需要像先前重新着色方法一样涂色线条要把所有的颜色都覆盖到，极大的减少了用户的输入线条。第三步为对抠图出来的区域进行HSV统一的色彩调整，保证了区域内纹理的分布，同时也适用存在镜面反射和物体阴影的图片，整个调整过程很容易进行人工交互，方便、简单、快捷，算法中不需要调整额外的参数。

发明内容

本发明的目的是：提供了一种有效的仅需要少量线条的基于最优化模型的交互式彩色图像重新着色方法，改进了现有基于色彩传播的重新着色技术中存在的如下问题：(1)人工着色线条需要把图像中所有颜色都覆盖到，否则重新着色时会存在颜色丢失；(2)减少了重新着色区域的颜色纹理信息；(3)需要调整算法参数来匹配需要重新着色的区域，方法不直观；(4)全局色彩传播方法缺少局部控制，而局部色彩传播方法需要更多的用户输入线条；(5)当用户输入线条颜色不合适需要调整时，整个算法需要重新计算，需要消耗大量的时间。

本发明所设计的基于最优化模型的交互式图像重新着色方法，包括以下九个步骤：

(1)输入待处理彩色图像I_Org，然后将待处理彩色图像进行人工线条着色，获得着色图像；

(2)将着色图像分别进行基于全局最优化和基于局部最优化的抠图，分别获得全局最优化的抠图图像I_AlphaGlobal和局部最优化的抠图图像I_AlphaLocal；

(3)对获得的全局最优化的抠图图像I_AlphaGlobal和局部最优化的抠图图像I_AlphaLocal进行二值化处理，对应的二值化图像分别为I_SegGlobal和I_SegLocal；

(4)根据着色线条的选区属性，采取添加或者减去的策略，合并二值化图像I_SegGlobal和I_SegLocal为I_Seg；

(5)根据二值化图像I_Seg和待处理彩色图像I_Org，计算待处理彩色图像I_Org中需要重新着色区域I_Sel；

(6)将着色区域I_Sel的RGB颜色空间转换到HSV颜色空间，分别获得色调通道H、饱和度通道S和亮度通道V；

(7)用户采用交互式的方式调整着色区域I_Sel中的色调通道H、饱和度通道S，即实现选中区域进行重新着色，获得图像I_recolor；

(8)将图像I_recolor的HSV颜色空间转换到RGB色彩空间，获得图像I_RGBcolor；

(9)将区域重新着色后的图像I_RGBcolor和彩色图像I合并后获得重新着色图像I_New。

2、根据权利要求1所述的基于最优化模型的交互式图像重新着色方法，其特征在于：在步骤(1)中所述的人工着色线条具有如下属性(输入线条的属性见下表)：从颜色上分为前景色白色和背景色黑色，其中前景色从色彩传播上分为全局传播和局部传播，从区域属性分别为添加和减去。

颜色	色彩传播	区域属性
			前景色白色	全局传播或局部传播	添加或减去
背景色黑色	--	--

3、根据权利要求1或权利要求2所述的基于最优化模型的交互式图像重新着色方法，其特征在于：在步骤(2)中所述的分别进行基于全局最优化和基于局部最优化的抠图方法分为如下三个步骤：

(1)首先搜索每个像素的K个邻域像素；所用的高维特征空间包括了HSV色彩通道和空间坐标，特征空间F(i)定义如下：

F(i)＝(H(i)，S(i)，V(i)，γx(i)，γy(i))

式中，H是图像HSV色彩空间的色调值，S是饱和度，V是亮度值，γ参数控制色彩传播是采用全局传播还是局部传播，γ取值为0或者∞(如果γ取值为0则为全局色彩传播，如果γ取值为∞则为局部色彩传播)，采用FLANN库实现来查找像素i的K个邻域N_i(KNN)；

(2)其次构建重新着色的最优化模型，并且考虑用户输入着色线条，构建如下最优化代价函数：

J(U)＝λ(U-G)^TD_s(U-G)+U^TL_ColorU

式中：

U为求解的抠图矩阵；

D_s为对角矩阵，在该对角矩阵中，涂色线条像素对应的对角线上的值为1，其余对角线上的值为0；

G对应为涂色线条的值，其中前景线条对应值为1，背景线条对应的值为0；

公式中第一项确保了抠图图像和用户涂色线条的值尽可能的接近，第二项保证了像素和其邻域的相似性，使得已经涂色的像素通过邻域进行传播，参数λ用来调整这两项的平衡，算法实现中λ设置为1；

邻域的彩色图像的拉普拉斯矩阵L_Color构建如下：

$L_{\mathrm{Color}}=\underset{k|(i,j)\∈N_k}{\mathrm{\Σ}}({\mathrm{\δ}}_{\mathrm{ij}}-\frac{1}{K}(1+(I_i-{\mathrm{\μ}}_k){({\mathrm{\Σ}}_k+\frac{\mathrm{\ϵ}}{K}{I}_3)}^{-1}(I_j-{\mathrm{\μ}}_k)))$

式中：

j和k为图像像素索引值；

δ_ij是克罗内克函数，如果i和j相等，则δ_ij为1，否则δ_ij为0；

μ_k和分别像素k的K个非局部邻域像素的平均值和方差；

K为像素k的非局部邻域个数；

∈为规则化参数取值为10^-6；

I₃为输入图像在HSV色彩空间的色度值，饱和度以及亮度值；

求解最优化模型获得如下稀疏线性***：

U＝(L_Color+λD_s)^-1λD_sG

式中：L_Color+λD_s为稀疏矩阵求解，算法选择通过高斯-赛德尔迭代法求解；

(3)最终，把输入线条的前景色按照色彩传播属性分为全局前景色和局部前景色，利用全局前景色和背景色进行基于全局的图像抠图，即邻域像素搜索时γ取值为0；利用局部前景色和背景色进行基于局部的图像抠图，即邻域像素搜索时γ取值为∞。

4、根据权利要求1所述的基于最优化模型的交互式图像重新着色方法，其特征在于：在步骤(3)中所述的对获得的全局最优化的抠图图像I_AlphaGlobal和局部最优化的抠图图像I_AlphaLocal进行二值化处理如下：

$I_{\mathrm{SegGlobal}}=\left\{\begin{array}{ccc}0& \mathrm{if}& I_{\mathrm{AlphaGlobal}}=0;\\ 1& \mathrm{if}& I_{\mathrm{AlphaGlobal}>0.}\end{array}\right.$

$I_{\mathrm{SegLocal}}=\left\{\begin{array}{ccc}0& \mathrm{if}& I_{\mathrm{AlphaLocal}}=0;\\ 1& \mathrm{if}& I_{\mathrm{AlphaLocal}>0.}\end{array}\right.$

5、根据权利要求1所述的基于最优化模型的交互式图像重新着色方法，其特征在于：在步骤(4)中所述的合并二值化图像I_SegGlobal和I_SegLocal为I_Seg如下：

I_Seg1＝S_Global×I_SegGlobal+S_Local×I_SegLocal

$I_{\mathrm{Seg}}\left(i\right)=\left\{\begin{array}{cc}{I}_{\mathrm{Seg}1}\left(i\right)& \mathrm{if}{I}_{\mathrm{seg}1}\left(i\right)\≥0\\ 0& \mathrm{otherelse}.\end{array}\right.$

式中S_Global和S_Local分别对应选取属性，如果为添加，则数值为1，如果为减去，则数值为-1。

6、根据权利要求1所述的基于最优化模型的交互式图像重新着色方法，其特征在于：在步骤(5)中所述的计算待处理彩色图像I_Org中需要重新着色区域I_Sel如下：

I_Sel＝I_Org×I_Seg

7、根据权利要求1所述的基于最优化模型的交互式图像重新着色方法，其特征在于：在步骤(6)中所述的由RGB颜色空间转换到HSV颜色空间的转换方法如下：

我们标记Max为(R，G，B)中的最大值，Min为(R，G，B)中的最小值，

$H=\left\{\begin{array}{ccc}\mathrm{undefined},& \mathrm{if}& \mathrm{MAX}=\mathrm{MIN}\\ 60\&times;\frac{G-B}{\mathrm{MAX}-\mathrm{MIN}}+0,& \mathrm{if}& \mathrm{MAX}=\mathrm{R\; and\; G}\&GreaterEqual;B\\ 60\&times;\frac{G-B}{\mathrm{MAX}-\mathrm{MIN}}+360,& \mathrm{if}& \mathrm{MAX}=\mathrm{R\; and\; G}<B\\ 60\&times;\frac{B-R}{\mathrm{MAX}-\mathrm{MIN}}+120,& \mathrm{if}& \mathrm{MAX}=G\\ 60\&times;\frac{R-G}{\mathrm{MAX}-\mathrm{MIN}}+240,& \mathrm{if}& \mathrm{MAX}=B\end{array}\right.$

$S=\left\{\begin{array}{cc}0,& \mathrm{if\; MAX}=0\\ 1-\frac{\mathrm{MIN}}{\mathrm{MAX}},& \mathrm{otherwise}\end{array}\right.$

V＝MAX

式中R，G，B分别表示图像的红、绿、蓝颜色值，H是图像的色调值，S是图像的饱和度，V是图像的亮度。

8、根据权利要求1所述的基于最优化模型的交互式图像重新着色方法，其特征在于：在步 骤(8)中所述的由HSV颜色空间转换到RGB颜色空间的转换方法按如下公式：

$H_i=\begin{array}{ccc}\left[\frac{H}{60}\right]& \mathrm{mod}& 6\end{array}$

$f=\frac{H}{60}-H_i$

p＝V(1-S)

q＝V(1-fS)

t＝V(1-(1-f)S)

R＝V，G＝t，B＝p if H_i＝0

R＝q，G＝V，B＝p if H_i＝1

R＝p，G＝V，B＝t if H_i＝2

R＝p，G＝q，B＝V if H_i＝3

R＝t，G＝p，B＝V if H_i＝4

R＝V，G＝p，B＝q if H_i＝5

9、根据权利要求1所述的基于最优化模型的交互式图像重新着色方法，其特征在于：在步骤(9)中所述的合并重新着色后的图像I_RGBcolor和彩色图像I_Org为I_New如下：

I_New＝I_Sel×I_RGBcolor+(1-I_Sel)×I_Org

本发明所设计的基于最优化模型的交互式图像重新着色方法的有益效果是：

1、本发明提出的重新着色方法，第一步为用户着色，类似与Photoshop中替换颜色工具，画笔分为前景色和背景色，可以增加、减少选择区域，同时增加了Photoshop中不具有的全局传播、局部传播属性。第二步选择重新着色区域时，由于加入了全局和局部的传播最优化方案，仅需要用户输入少量的前景和背景色，除了抠图出来的区域，其他区域颜色自动保持不变，这样就不需要所有颜色都覆盖到了，第三步为对抠图出来的区域进行HSV颜色调整，保证了区域内纹理的分布，同时也适用存在镜面反射和物体阴影的图片，调整颜色方便、简单、快捷。

2、本方法给出的图像重新着色技术，仅需要输入少量的涂色线条(仅含前景色和背景色)，能精确的提取重新着色区域，实现前景区域和背景区域的有效分离，能产生高质量的 重新着色效果，为非专业人员提供了简便直观的图像颜色替换方法。

3、本方法所提出的图像重新着色技术提高计算机辅助设计的效率、减少设计师的劳动时间、改善重新着色技术的效果，支持图像的批量重新着色。该***能精确的提取用户需要重新着色的区域，采用交互式的方式，使设计师能很好地和软件进行交互，设计出高质量的艺术效果。

附图说明

图1是实施例1的流程示意图；

图2是本发明重新着色过程中图像效果示意图；

具体实施方式

下面通过实施例结合附图对本发明作进一步的描述。

下面结合附图对本发明一种基于最优化模型的交互式图像重新着色方法通过实施例进行详细说明：本实施例在以本发明技术方案为前提下进行实施，结合了详细的实施方式和过程，但本发明的保护范围不限于下述的实施例。图1是实施例1的流程示意图，共包括九个步骤，图2是本发明重新着色过程中图像效果示意图，图2描述了从对待处理图像进行人工着色，其中白色线条表示前景区域，黑色线条表示背景区域，线条旁边标准的(G+)表示全局色彩传播和区域属性选择添加，(L-)表示局部色彩传播和区域选择选择为减去。本发明中提出的全局和局部的色彩传播使得用户使用更少的交互，快速实现重新着色区域的选择，而且用户采用交互式的方式快速的调整区域的颜色，符合用户的习惯。

实施例1：

如图1所示，本实施例所描述的基于最优化模型的交互式图像重新着色方法，包括以下九个步骤：

(10)输入待处理彩色图像I_Org，然后将待处理彩色图像进行人工线条着色，获得着色图像；

(11)将着色图像分别进行基于全局最优化和基于局部最优化的抠图，分别获得全局最优化的抠图图像I_AlphaGlobal和局部最优化的抠图图像I_AlphaLocal；

(12)对获得的全局最优化的抠图图像I_AlphaGlobal和局部最优化的抠图图像I_AlphaLocal进行二值化处理，对应的二值化图像分别为I_SegGlobal和I_SegLocal；

(13)根据着色线条的选区属性，采取添加或者减去的策略，合并二值化图像I_SegGlobal和I_SegLocal为I_Seg；

(14)根据二值化图像I_Seg和待处理彩色图像I_Org，计算待处理彩色图像I_Org中需要重新着色区域I_Sel；

(15)将着色区域I_Sel的RGB颜色空间转换到HSV颜色空间，分别获得色调通道H、饱和度通道S和亮度通道V；

(16)用户采用交互式的方式调整着色区域I_Sel中的色调通道H、饱和度通道S，即实现选中区域进行重新着色，获得图像I_recolor；

(17)将图像I_recolor的HSV颜色空间转换到RGB色彩空间，获得图像I_RGBcolor；

(18)将区域重新着色后的图像I_RGBcolor和彩色图像I合并后获得重新着色图像I_New。

2、根据权利要求1所述的基于最优化模型的交互式图像重新着色方法，其特征在于：在步骤(1)中所述的人工着色线条具有如下属性(输入线条的属性见下表)：从颜色上分为前景色白色和背景色黑色，其中前景色从色彩传播上分为全局传播和局部传播，从区域属性分别为添加和减去。

颜色	色彩传播	区域属性
			前景色白色	全局传播或局部传播	添加或减去
背景色黑色	--	--

3、根据权利要求1或权利要求2所述的基于最优化模型的交互式图像重新着色方法，其特征在于：在步骤(2)中所述的分别进行基于全局最优化和基于局部最优化的抠图方法分为如下三个步骤：

(1)首先搜索每个像素的K个邻域像素；所用的高维特征空间包括了HSV色彩通道和空间坐标，特征空间F(i)定义如下：

F(i)＝(H(i)，S(i)，V(i)，γx(i)，γy(i))

式中，H是图像HSV色彩空间的色调值，S是饱和度，V是亮度值，γ参数控制色彩传播是采用全局传播还是局部传播，γ取值为0或者∞(如果γ取值为0则为全局色彩传播，如果γ取值为∞则为局部色彩传播)，采用FLANN库实现来查找像素i的K个邻域N_i(KNN)；

(2)其次构建重新着色的最优化模型，并且考虑用户输入着色线条，构建如下最优化代价函数：

J(U)＝λ(U-G)^TD_s(U-G)+U^TL_ColorU

式中：

U为求解的抠图矩阵；

D_s为对角矩阵，在该对角矩阵中，涂色线条像素对应的对角线上的值为1，其余对角线上的值为0；

G对应为涂色线条的值，其中前景线条对应值为1，背景线条对应的值为0；

公式中第一项确保了抠图图像和用户涂色线条的值尽可能的接近，第二项保证了像素和其邻域的相似性，使得已经涂色的像素通过邻域进行传播，参数λ用来调整这两项的平衡，算法实现中λ设置为1；

邻域的彩色图像的拉普拉斯矩阵L_Color构建如下：

$L_{\mathrm{Color}}=\underset{k|(i,j)\&Element;N_k}{\mathrm{\&Sigma;}}({\mathrm{\&delta;}}_{\mathrm{ij}}-\frac{1}{K}(1+(I_i-{\mathrm{\&mu;}}_k){({\mathrm{\&Sigma;}}_k+\frac{\mathrm{\&epsiv;}}{K}{I}_3)}^{-1}(I_j-{\mathrm{\&mu;}}_k)))$

式中：

j和k为图像像素索引值；

δ_ij是克罗内克函数，如果i和j相等，则δ_ij为1，否则δ_ij为0；

μ_k和分别像素k的K个非局部邻域像素的平均值和方差；

K为像素k的非局部邻域个数；

∈为规则化参数取值为10^-6；

I₃为输入图像在HSV色彩空间的色度值，饱和度以及亮度值；

求解最优化模型获得如下稀疏线性***：

U＝(L_Color+λD_s)^-1λD_sG

式中：L_Color+λD_s为稀疏矩阵求解，算法选择通过高斯-赛德尔迭代法求解；

(3)最终，把输入线条的前景色按照色彩传播属性分为全局前景色和局部前景色，利用全局前景色和背景色进行基于全局的图像抠图，即邻域像素搜索时γ取值为0；利用局部前景色和背景色进行基于局部的图像抠图，即邻域像素搜索时γ取值为∞。

4、根据权利要求1所述的基于最优化模型的交互式图像重新着色方法，其特征在于：在步骤(3)中所述的对获得的全局最优化的抠图图像I_AlphaGlobal和局部最优化的抠图图像I_AlplhaLocal进行二值化处理如下：

$I_{\mathrm{SegGlobal}}=\left\{\begin{array}{ccc}0& \mathrm{if}& I_{\mathrm{AlphaGlobal}}=0;\\ 1& \mathrm{if}& I_{\mathrm{AlphaGlobal}>0.}\end{array}\right.$

$I_{\mathrm{SegLocal}}=\left\{\begin{array}{ccc}0& \mathrm{if}& I_{\mathrm{AlphaLocal}}=0;\\ 1& \mathrm{if}& I_{\mathrm{AlphaLocal}>0.}\end{array}\right.$

5、根据权利要求1所述的基于最优化模型的交互式图像重新着色方法，其特征在于：在步骤(4)中所述的合并二值化图像I_SegGlobal和I_SegLocal为I_Seg如下：

I_Seg1＝S_Global×I_SegGlobal+S_Local×I_SegLocal

$I_{\mathrm{Seg}}\left(i\right)=\left\{\begin{array}{cc}{I}_{\mathrm{Seg}1}\left(i\right)& \mathrm{if}{I}_{\mathrm{seg}1}\left(i\right)\&GreaterEqual;0\\ 0& \mathrm{otherelse}.\end{array}\right.$

式中S_Global和S_Local分别对应选取属性，如果为添加，则数值为1，如果为减去，则数值为-1。

6、根据权利要求1所述的基于最优化模型的交互式图像重新着色方法，其特征在于：在步骤(5)中所述的计算待处理彩色图像I_Org中需要重新着色区域I_Sel如下：

I_Sel＝I_Org×I_Seg

7、根据权利要求1所述的基于最优化模型的交互式图像重新着色方法，其特征在于：在步骤(6)中所述的由RGB颜色空间转换到HSV颜色空间的转换方法如下：

我们标记Max为(R，G，B)中的最大值，Min为(R，G，B)中的最小值，

$H=\left\{\begin{array}{ccc}\mathrm{undefined},& \mathrm{if}& \mathrm{MAX}=\mathrm{MIN}\\ 60\&times;\frac{G-B}{\mathrm{MAX}-\mathrm{MIN}}+0,& \mathrm{if}& \mathrm{MAX}=\mathrm{R\; and\; G}\&GreaterEqual;B\\ 60\&times;\frac{G-B}{\mathrm{MAX}-\mathrm{MIN}}+360,& \mathrm{if}& \mathrm{MAX}=\mathrm{R\; and\; G}<B\\ 60\&times;\frac{B-R}{\mathrm{MAX}-\mathrm{MIN}}+120,& \mathrm{if}& \mathrm{MAX}=G\\ 60\&times;\frac{R-G}{\mathrm{MAX}-\mathrm{MIN}}+240,& \mathrm{if}& \mathrm{MAX}=B\end{array}\right.$

$S=\left\{\begin{array}{cc}0,& \mathrm{if\; MAX}=0\\ 1-\frac{\mathrm{MIN}}{\mathrm{MAX}},& \mathrm{otherwise}\end{array}\right.$

V＝MAX

式中R，G，B分别表示图像的红、绿、蓝颜色值，H是图像的色调值，S是图像的饱和度，V是图像的亮度。

8、根据权利要求1所述的基于最优化模型的交互式图像重新着色方法，其特征在于：在步骤(8)中所述的由HSV颜色空间转换到RGB颜色空间的转换方法按如下公式：

$H_i=\begin{array}{ccc}\left[\frac{H}{60}\right]& \mathrm{mod}& 6\end{array}$

$f=\frac{H}{60}-H_i$

p＝V(1-S)

q＝V(1-fS)

t＝V(1-(1-f)S)

R＝V，G＝t，B＝p if H_i＝0

R＝q，G＝V，B＝p if H_i＝1

R＝p，G＝V，B＝t if H_i＝2

R＝p，G＝q，B＝V if H_i＝3

R＝t，G＝p，B＝V if H_i＝4

R＝V，G＝p，B＝q if H_i＝5

9、根据权利要求1所述的基于最优化模型的交互式图像重新着色方法，其特征在于：在步骤(9)中所述的合并重新着色后的图像I_RGBcolor和彩色图像I_Org为I_New如下：

I_New＝I_Sel×I_RGBcolor+(1-I_Sel)×I_Org

这里给出局部线性模型的具体推导过程：

本发明算法基于如下假设：特征空间中相似的邻域，抠图后具有相似的alpha值。基于这个假设，给出了每个像素的邻域满足如下的彩色线性模型：

$U_i={\mathrm{\&alpha;}}^c{I}_i^c+\mathrm{\&beta;},\&ForAll;i\&Element;N_i---\left(1\right)$

式中，(α，β)是线性系数，I是输入图像(采用HSV色彩空间)，C为色彩通道。N_i是像素i的邻域，U是抠图后的alpha值。值得注意的是本方法采用了基于高维特征的空间邻域。为了找到像素i的邻域，非常关键的一个步骤就是设计合适的特征空间，本发明提出的特征空间 包括了HSV色彩通道和空间坐标，特征空间F(i)定义如下：

F(i)＝(H(i)，S(i)，V(i)，γx(i)，γy(i)) (2)

式中，H是图像HSV色彩空间的色调值，S是饱和度，V是亮度值，γ参数控制色彩传播是采用全局传播还是局部传播，γ取值为0或者∞(如果γ取值为0则为全局色彩传播，如果γ取值为∞则为局部色彩传播)，采用FLANN库实现来查找像素i的K个邻域N_i(KNN)；

通过基于邻域的彩色线性模型，定义如下代价函数：

$J(U,\mathrm{\&alpha;},\mathrm{\&beta;})=\underset{k\&Element;I}{\mathrm{\&Sigma;}}\left(\underset{i\&Element;N_j}{\mathrm{\&Sigma;}}({({\mathrm{\&alpha;}}_k{I}_i+{\mathrm{\&beta;}}_k-U_i)}^2+\mathrm{\&epsiv;}\underset{c}{\mathrm{\&Sigma;}}{\mathrm{\&alpha;}}_k^{c^2})\right)$

式中，∈为规则化参数，防止α_k取的太大，增加数值稳定性(提出是算法中∈＝10^-6)。

线性系数(α，β)可以通过求解式(3)取得最小化代价函数获得

$J\left(U\right)=\underset{\mathrm{\&alpha;},\mathrm{\&beta;}}{\min }J(U,\mathrm{\&alpha;},\mathrm{\&beta;})$

式中能量最优化模型可以看做变量(α_k，β_k)的二次方程，可以通过对公式进行求一阶偏导数获得，求解可以获得：

$J\left(U\right)=\underset{\mathrm{\&alpha;},\mathrm{\&beta;}}{\min }J(U,\mathrm{\&alpha;},\mathrm{\&beta;})=U^T{L}_{\mathrm{Color}}U$

其中邻域的彩色图像的拉普拉斯矩阵L_Color构建如下如下：

$L_{\mathrm{Color}}=\underset{k|(i,j)\&Element;N_k}{\mathrm{\&Sigma;}}({\mathrm{\&delta;}}_{\mathrm{ij}}-\frac{1}{K}(1+(I_i-{\mathrm{\&mu;}}_k){({\mathrm{\&Sigma;}}_k+\frac{\mathrm{\&epsiv;}}{K}{I}_3)}^{-1}(I_j-{\mathrm{\&mu;}}_k)))---\left(3\right)$

式中，δ_ij是克罗内克函数，如果i和j相等，则δ_ij为1，否则δ_ij为0；μ_k和分别像素k的K个非局部邻域像素的平均值和方差。K为像素k的邻域个数。

通过合并基于邻域的彩色线性模型和用户输入的涂色限制，可以获得如下能量最优化方程：

J(U)＝λ(U-G)^TD_s(U-G)+U^TL_ColorU (4)

D_s为对角矩阵，在该对角矩阵中，涂色线条像素对应的对角线上的值为1，其余对角线上的值为0。G对应为涂色线条的值，其中前景线条对应值为1，背景线条对应的值为0。公式中第一项确保了抠图图像和用户涂色线条的值尽可能的接近，第二项保证了像素和其邻域的相似性，使得已经涂色的像素通过邻域进行传播。参数λ用来调整这两项的平衡，算法实现中λ设置为1。式(4)中的J(U)是抠图矩阵U的二次方程，因此J(U)的全局最小值可以通过对抠 图矩阵U的一阶偏导数为零求解得到。可以获得如下稀疏线性***：

U＝(L_Color+λD_s)^-1λD_sG (5)

式(5)中L_Color+λD_s为稀疏矩阵求解，求解稀疏线性矩阵方程应用非常广泛，如何提高求解稀疏线性矩阵方程的速度和减少内存的使用，已经成为学术界和工程界研究的热点。求解稀疏矩阵可以分为直接法和迭代法。相对而言，迭代法算法的复杂度和内存消耗比用直接法求解低，而且迭代法通常比较容易并行计算，因此本发明的算法选择通过高斯-赛德尔迭代法求解。

本发明提出的重新着色方法，第一步为用户着色，类似与Photoshop中替换颜色工具，画笔分为前景色和背景色，可以增加、减少选择区域，同时增加了Photoshop中不具有的全局传播、局部传播属性。第二步选择重新着色区域时，由于加入了全局和局部的传播最优化方案，仅需要用户输入少量的前景和背景色，除了抠图出来的区域，其他区域颜色自动保持不变，这样就不需要所有颜色都覆盖到了，第三步为对抠图出来的区域进行HSV颜色调整，保证了区域内纹理的分布，调整颜色方便、简单、快捷。

Claims (9)

1.一种基于最优化模型的交互式图像重新着色方法，其特征在于：包括如下九个步骤：

(1)输入待处理彩色图像I_Org，然后将待处理彩色图像进行人工线条着色，获得着色图像；

(2)将着色图像分别进行基于全局最优化和基于局部最优化的抠图，分别获得全局最优化的抠图图像I_AlphaGlobal和局部最优化的抠图图像I_AlphaLocal；

(3)对获得的全局最优化的抠图图像I_AlphaGlobal和局部最优化的抠图图像I_AlphaLocal进行二值化处理，对应的二值化图像分别为I_SegGlobal和I_SegLocal；

(4)根据着色线条的选区属性，采取添加或者减去的策略，合并二值化图像I_SegGlobal和I_SegLocal为I_Seg；

(5)根据二值化图像I_Seg和待处理彩色图像I_Org，计算待处理彩色图像I_Org中需要重新着色区域I_Sel；

(6)将着色区域I_Sel的RGB颜色空间转换到HSV颜色空间，分别获得色调通道H、饱和度通道S和亮度通道V；

(7)用户采用交互式的方式调整着色区域I_Sel中的色调通道H、饱和度通道S，即实现选中区域进行重新着色，获得图像I_recolor；

(8)将图像I_recolor的HSV颜色空间转换到RGB色彩空间，获得图像I_RGBcolor；

(9)将区域重新着色后的图像I_RGBcolor和彩色图像I合并后获得重新着色图像I_New。

2.根据权利要求1所述的基于最优化模型的交互式图像重新着色方法，其特征在于：在步骤(1)中所述的人工着色线条具有如下属性(输入线条的属性见下表)：从颜色上分为前景色白色和背景色黑色，其中前景色从色彩传播上分为全局传播和局部传播，从区域属性分别为添加和减去。

3.根据权利要求1或权利要求2所述的基于最优化模型的交互式图像重新着色方法，其特征在于：在步骤(2)中所述的分别进行基于全局最优化和基于局部最优化的抠图方法分为如下三个步骤：

(1)首先搜索每个像素的K个邻域像素；所用的高维特征空间包括了HSV色彩通道和空间坐标，特征空间F(i)定义如下：

F(i)＝(H(i)，S(i)，V(i)，γx(i)，γy(i))

式中，H是图像HSV色彩空间的色调值，S是饱和度，V是亮度值，γ参数控制色彩传播是采用全局传播还是局部传播，γ取值为0或者∞(如果γ取值为0则为全局色彩传播，如果γ取值为∞则为局部色彩传播)，采用FLANN库实现来查找像素i的K个邻域N_i(KNN)；

(2)其次构建重新着色的最优化模型，并且考虑用户输入着色线条，构建如下最优化代价函数：

J(U)＝λ(U-G)^TD_S(U-G)+U^TL_ColorU

式中：

U为求解的抠图矩阵；

D_s为对角矩阵，在该对角矩阵中，涂色线条像素对应的对角线上的值为1，其余对角线上的值为0；

G对应为涂色线条的值，其中前景线条对应值为1，背景线条对应的值为0；

公式中第一项确保了抠图图像和用户涂色线条的值尽可能的接近，第二项保证了像素和其邻域的相似性，使得已经涂色的像素通过邻域进行传播，参数λ用来调整这两项的平衡，算法实现中λ设置为1；

邻域的彩色图像的拉普拉斯矩阵L_Color构建如下：

式中：

j和k为图像像素索引值；

δ_ij是克罗内克函数，如果i和j相等，则δ_ij为1，否则δ_ij为0；

μ_k和分别像素k的K个非局部邻域像素的平均值和方差；

K为像素k的非局部邻域个数；

∈为规则化参数取值为10^-6；

I₃为输入图像在HSV色彩空间的色度值，饱和度以及亮度值；

求解最优化模型获得如下稀疏线性***：

U＝(L_Color+λD_s)^-1λD_sG

式中：L_Color+λD_s为稀疏矩阵求解，算法选择通过高斯-赛德尔迭代法求解；

(3)最终，把输入线条的前景色按照色彩传播属性分为全局前景色和局部前景色，利用全局前景色和背景色进行基于全局的图像抠图，即邻域像素搜索时γ取值为0；利用局部前景色和背景色进行基于局部的图像抠图，即邻域像素搜索时γ取值为∞。

4.根据权利要求1所述的基于最优化模型的交互式图像重新着色方法，其特征在于：在步骤(3)中所述的对获得的全局最优化的抠图图像I_AlphaGlobal和局部最优化的抠图图像I_AlphaLocal进行二值化处理如下：

。

5.根据权利要求1所述的基于最优化模型的交互式图像重新着色方法，其特征在于：在步骤(4)中所述的合并二值化图像I_SegGlobal和I_SegLocal为I_Seg如下：

I_Segl＝S_Global×I_SegGlobal+S_Local×I_SegLocal

式中S_Global和S_Local分别对应选取属性，如果为添加，则数值为1，如果为减去，则数值为-1。

6.根据权利要求1所述的基于最优化模型的交互式图像重新着色方法，其特征在于：在步骤(5)中所述的计算待处理彩色图像I_Org中需要重新着色区域I_Sel如下：

I_Sel＝I_Org×I_seg。

7.根据权利要求1所述的基于最优化模型的交互式图像重新着色方法，其特征在于：在步骤(6)中所述的由RGB颜色空间转换到HSV颜色空间的转换方法如下：

我们标记Max为(R，G，B)中的最大值，Min为(R，G，B)中的最小值，

V＝MAX

式中R，G，B分别表示图像的红、绿、蓝颜色值，H是图像的色调值，S是图像的饱和度，V是图像的亮度。

8.根据权利要求1所述的基于最优化模型的交互式图像重新着色方法，其特征在于：在步骤(8)中所述的由HSV颜色空间转换到RGB颜色空间的转换方法按如下公式：

p＝V(1-S)

q＝V(1-fS)

t＝V(1-(1-f)S)

R＝V，G＝t，B＝p if H_i＝0

R＝q，G＝V，B＝p if H_i＝1

R＝p，G＝V，B＝t if H_i＝2

R＝p，G＝q，B＝V if H_i＝3

R＝t，G＝p，B＝V if H_i＝4

R＝V，G＝p，B＝q if H_i＝5 。

9.根据权利要求1所述的基于最优化模型的交互式图像重新着色方法，其特征在于：在步骤(9)中所述的合并重新着色后的图像I_RGBcolor和彩色图像I_Org为I_New如下：

I_New＝I_Sel×I_RGBcolor+(1-I_Sel)×I_Org。