CN103413331B - 一种支持编辑传播的高分辨率视频图像内容稀疏表达方法 - Google Patents

Abstract

本发明提供一种支持编辑传播的高分辨率视频图像内容稀疏表达方法，它有五大步骤：一、输入高分辨率原始图像或视频，统计原始图像或视频中的像素特征信息；二、利用稀疏表达技术获取原始图像或视频的高度稀疏样本；三、将输入图像或视频中的每个像素由原始稀疏样本中的少量样本重构，并计算出重构系数；四、对原始稀疏样本进行编辑传播，得到新的稀疏样本结果；五、根据稀疏样本结果和重构系数，生成最终高分辨率图像或视频结果。本发明只对高度稀疏样本进行编辑传播操作，而不是全部的像素信息，因此大大降低了内存消耗，从而可以用极少的内存空间处理高分辨率图像或视频。它在图像处理、计算机视觉和增强现实技术领域里具有广阔地应用前景。

Description

一种支持编辑传播的高分辨率视频图像内容稀疏表达方法

技术领域

本发明属于图像处理、计算机视觉和增强现实技术领域，具体地说是涉及一种支持编辑传播的高分辨率视频图像内容稀疏表达方法。

背景技术

交互式视频图像编辑是视频图像处理领域的一个重要组成部分。视频图像编辑传播已成为计算机视觉领域的一个研究热点。当用户编辑一个图像或视频时，只需要编辑少量的部分像素，其它像素会根据像素之间建立的关联关系发生改变，从而使用户的编辑效果传播到整个图像或视频。

目前，一些科研工作者在相关技术上做了大量研究。在图像编辑传播方面，AnatLevin等人在2004年首次提出了关于图像编辑传播的方法框架。通过对此框架的扩展，XiaoboAn等人在2008年提出了基于所有像素相似性的编辑传播方法，但该方法消耗内存资源太多，无法处理大图像或视频数据。KunXu等人在2009年提出了基于KD-tree的编辑传播方法，该方法利用像素之间的KD-tree距离来建立像素之间的关联关系，从而达到传播效果；ZeevFarbman等人在2010年提出了基于扩散距离(diffusionmap)的编辑传播方法，利用扩散距离来衡量像素点之间的相似度；但是这些方法不能有效地处理颜色过渡区域，经常发生颜色渗透与失真现象。XiaowuChen等人在2012年提出了基于局部特征结构保持的编辑传播方法，虽然解决了颜色过渡区域的颜色渗透与失真问题，但在内存与时间消耗上仍然存在很大局限。总体来说，在编辑传播过程中为了保持所有像素之间的相似关系，必将消耗巨大的内存空间。而现有方法在限制时间与空间的情况下并不能很好地保持结果的真实感。

随着高分辨率视频图像的出现和增长，对于此类大规模视频图像的处理技术的需求也开始出现。但是目前的编辑传播技术大多是基于全局优化的方法，将不可避免地导致过大的内存消耗和过长的处理时间。例如上面提到的美国达特茅斯学院的XiaoboAn等人提出的一种编辑传播方法在处理60兆像素大小的图像时需要约23GB的内存空间，这完全超过了现有的普通计算机的内存大小，使得这种技术很难推广使用。清华大学的YongLi等人提出的视频图像编辑传播的另一种方法虽然在内存消耗上得到了改善，但处理结果却产生失真。所以现在急需一种在保持视频图像结果真实度的条件下，消耗极少内存的视频图像编辑传播方法。

近些年来，稀疏表达技术已经应用到了不同领域，如图像的分析与理解。JianchaoYang等人将稀疏表达技术应用到图像超分辨率中，提出了将低分辨率图像看作高分辨率图像的稀疏样本的观念。JulienMairal等人在2008年提出了一种基于多尺度稀疏表达的有监督学习框架，用来解决视频图像的去噪和填补问题。ShenlongWang等人在2012年提出了一种半耦合的字典学习模型来解决图像合成问题。除此之外，稀疏表达技术还广泛应用在人脸识别、图像建模、图像分类等领域。但是，还没有人将稀疏表达技术应用到编辑传播领域，并着重解决处理高分辨率视频图像时的内存消耗问题。

发明内容

（1）目的：为了克服上述现有技术的不足，本发明的目的是提供了一种支持编辑传播的高分辨率视频图像内容稀疏表达方法，该方法通过稀疏表达技术获取原视频图像的高度稀疏样本，只对稀疏样本进行编辑传播操作，而不是全部的像素信息，因此大大降低了内存消耗，从而可以用较少的内存空间处理高分辨率图像和视频；同时，利用稀疏表达技术得到稀疏样本和原始视频图像的重构系数，此系数保证了所得最终结果的良好视觉效果和真实感。

（2）技术方案：为完成发明目的，本发明采用的技术方案是：

本发明一种支持编辑传播的高分辨率视频图像内容稀疏表达方法，其具体步骤如下：

步骤一：输入高分辨率原始图像或视频，统计原始图像或视频中的像素特征信息，去除特征相同的像素；

步骤二：利用稀疏表达技术获取原始图像或视频的高度稀疏样本；利用11基本色，根据像素颜色与11基本色的欧式距离，将原始图像或视频中的像素分成11类，对11类中的像素分别提取出能代表其本质特征的稀疏样本，再将得到的11个稀疏样本合并成为最终的稀疏样本，此稀疏样本包含了原始图像或视频所有像素的本质特征。

步骤三：将输入图像或视频中的每个像素由原始稀疏样本中的少量样本重构，并计算出重构系数；每个像素在重构时选取的稀疏样本中的样本个数是自适应的，原则为用尽可能少的样本重构出原始像素；计算出的重构系数建立了输入像素和原始稀疏样本之间的线性关系。

步骤四：对原始稀疏样本进行编辑传播，得到稀疏样本结果；

对原始稀疏样本进行编辑传播包含以下三种方法：视频对象交互式重着色，视频场景颜色风格转换，对象与场景的无缝融合。

步骤五：根据稀疏样本结果和重构系数，生成所有像素的结果，从而生成高分辨率结果图像或视频。、

其中，在步骤一中所述的“像素特征信息”，包括像素的RGB颜色特征和XY位置特征。

其中，在步骤二中所述的“稀疏表达技术”，是通过将下式最小化得到稀疏样本D和重构系数α。

$\underset{i}{\mathrm{\Σ}}{\left|\right|x_i-D{\mathrm{\α}}_i\left|\right|}_2^2+\mathrm{\λ}\underset{i}{\mathrm{\Σ}}{\left|\right|{\mathrm{\α}}_i\left|\right|}_0$

上述公式第一项表示输入的像素x_i可以由稀疏样本D和重构系数α完美重构，第二项中的零范数||·||₀表示系数向量α中的非零项个数，说明重构系数α是高度稀疏的。

其中，在步骤二中所述的“11基本色”，指红、黄、蓝、绿、紫、橘、粉、棕、灰、黑、白11种颜色。

其中，在步骤四中所述的“视频对象交互式重着色”，是一种编辑传播方法，包含以下步骤：选取前景画笔的颜色，并用画笔在图像或视频上标记需要重着色的对象的某些像素；用背景画笔在图像或视频上标记颜色保持不变的区域的某些像素；计算稀疏样本中像素和被标记像素之间的颜色欧氏距离，在稀疏样本中选取距离最近的像素代替被标记的像素，成为新的被标记像素；将前景标记像素映射为前景画笔颜色，将背景标记像素映射为自己本身的颜色，然后利用流形保持编辑传播方法将颜色变化传播到所有稀疏样本中。

其中，在步骤四中所述的“视频场景颜色风格转换”，是一种编辑传播方法，包含以下步骤：提取稀疏样本中的颜色主色调模板，作为原始主色调模板；指定目标主色调模板；在稀疏样本中选取和主色调模板颜色的欧式距离最近的样本，并代替主色调模板，成为新的主色调模板；建立新的主色调模板与目标主色调模板之间的一一对应关系，然后利用流形保持编辑传播方法将颜色变化传播到所有稀疏样本中。

其中，在步骤四中所述的“对象与场景的无缝融合”，是一种编辑传播方法，包含以下步骤：将前景对象轮廓边缘的像素颜色作为稀疏样本，将对象轮廓边缘的前景颜色与背景颜色之差作为编辑后的结果，从而直接获得了编辑传播的结果。

（3）优点及功效：本发明与现有的技术相比，其有益的特点是：

1、本发明通过稀疏表达技术获取稀疏样本，稀疏样本和原始像素个数的比例可达到0.01%，而且随着图像分辨率的增大和视频时长的增加，此比例可进一步缩小。

2、本发明只对稀疏样本进行编辑传播操作，而不是全部的像素信息，因此大大降低了处理过程中的内存消耗，从而可以用较少的内存空间处理高分辨率图像和视频；

3、本发明通过稀疏表达技术计算原始像素与稀疏样本之间的稀疏重构系数，建立它们之间的线性关系，利用此重构系数可以很好的保持原始视频图像的颜色分布，从而高质高效地生成整个视频图像结果。

4、本发明提出的方法可以应用在很多应用中且效果显著，包括：视频对象交互式重着色，视频场景颜色风格转换，对象与场景的无缝融合。

附图说明：

图1是本发明所述方法流程框图；

图2是本发明的原理示意图；

图3是本发明的具体算法实现流程图；

图4是本发明的视频对象交互式重着色流程图；

图5是本发明的视频场景颜色风格转换流程图；

图6是本发明的对象与场景无缝融合流程图。

图中符号说明如下：

X：输入的图像或视频；

x：输入图像或视频的某一个像素；

Y：图像或视频结果：

y：图像或视频结果的某一个像素；

n：稀疏样本大小；

D：原始稀疏样本；

稀疏样本结果；

α：重构系数；

具体实施方式：

为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图，对本发明的方法作详细解释说明。应当理解，此处所描述的具体实例仅仅用以解释本发明，并不用于限定本发明。

本发明提出一个框架，此框架基于稀疏表达技术，从高分辨率视频图像中获取高度系数样本，其能够仅对高度稀疏样本进行编辑传播，从而达到减少内存消耗的目的，并通过重构系数来保证生成结果的良好视觉效果及真实性；同时，将该框架应用到三个典型应用，包括视频对象交互式重着色、视频场景颜色风格转换、对象与场景无缝融合。

本发明提供了一种支持编辑传播的高分辨率视频图像内容稀疏表达方法，参考图1整体方法流程图所示，具体实施方式如下：

步骤一：输入高分辨率原始图像或视频，统计原始图像或视频中的像素特征信息，去除特征相同的像素；

对输入的高分辨率视频图像，去除特征信息相同的像素，只保留特征信息不同的像素，减少信息冗余度，为获取高度稀疏样本做准备。

根据不同应用需求，包括视频对象交互式重着色、视频场景颜色风格转换、对象与场景无缝融合，选取不同的特征。其中，针对视频对象交互式重着色和视频场景颜色风格转换，所选择的特征为RGB颜色；针对对象与场景无缝融合，所选择的特征为RGB颜色和XY位置特征。

步骤二：利用稀疏表达技术获取原始图像或视频的高度稀疏样本；

利用11基本色，根据像素颜色与11基本色的欧式距离，将原始图像或视频中的像素分成11类，对11类中的像素分别提取出能代表其本质特征的稀疏样本，再将得到的11个稀疏样本合并成为最终的稀疏样本。此稀疏样本包含了原始图像或视频所有像素的本质特征。

具体的，参考图2原理示意图，图2中（b）表示输入的高分辨率图像或视频，（a）表示高度稀疏样本，（b）中的任何一个像素都可以用（a）中的若干样本线性表示。利用稀疏表达技术获取原始图像或视频的高度稀疏样本的数学原理如下：

假设用向量x_i表示输入视频图像中像素i的特征，用D表示待求的稀疏样本集合，且D={d₁,d₂,...,d_n}，其中n表示稀疏样本中的样本数量，用α表示重构系数，则原始视频图像的任意像素可以由稀疏样本线性重构，即x_i≈Dα_i。根据稀疏表达原理，通过将下式最小化则可得到稀疏样本D和重构系数α：

$\underset{i}{\mathrm{\Σ}}{\left|\right|x_i-D{\mathrm{\α}}_i\left|\right|}_2^2+\mathrm{\λ}\underset{i}{\mathrm{\Σ}}{\left|\right|{\mathrm{\α}}_i\left|\right|}_0---\left(1\right)$

其中，公式（1）第一项表示输入的像素x_i可以由稀疏样本D和重构系数α完美重构，第二项中的零范数||·||₀表示系数向量α中的非零项个数，说明重构系数α是高度稀疏的。

步骤三：将输入图像或视频中的每个像素由原始稀疏样本中的少量样本重构，计算出重构系数α。

此步骤可以由公式（1）计算得出。注意到，通过公式（1）可以同时求得稀疏样本D和重构系数α，但是在具体实现时，为了达到节省内存的目的，我们首先计算出稀疏样本D，再计算重构系数α，具体算法步骤参考图3。

每个像素在重构时选取的稀疏样本中的样本个数是自适应的，原则为用尽可能少的样本重构出原始像素。具体表现为公式（1）中的第二项||α||₀，表示α的非零项个数，最小化此式表明个数越少越好，以达到节省内存空间的目的。计算出的重构系数建立了输入像素和原始稀疏样本之间的线性关系，此线性关系保证了结果的真实感。

步骤四：对原始稀疏样本进行编辑传播，得到稀疏样本结果；

这里用X来表示输入数据，使用Y来表示对应的输出结果，用D表示从X中获取的稀疏样本，表示对D编辑传播过后的新的稀疏样本结果。因为输入数据可以由稀疏样本D和重构系数α线型表示：x_i≈Dα_i，所以说只需要编辑稀疏样本D，就相当于编辑了所有的输入数据。又因为稀疏样本D的数量远远小于输入数据X的像素数量，所以可以达到用少量的内存求解大规模数据的目的。

编辑传播过程通过最小化下面的能量公式（2）实现：

argminE=γ₁E₁+γ₂E₂+γ₃E₃（2）

其中

$E_1=\underset{i\∈S}{\mathrm{\Σ}}{({\tilde{d}}_i-g_i)}^2$

$E_2=\underset{i}{\mathrm{\Σ}}{({\tilde{d}}_i-\underset{{\tilde{d}}_{\mathrm{ij}}\∈N_i}{\mathrm{\Σ}}{w}_{\mathrm{ij}}{\tilde{d}}_{\mathrm{ij}})}^2$

$E_3=\underset{i}{\mathrm{\Σ}}{\left|\right|y_i-\tilde{D}{\mathrm{\α}}_i\left|\right|}_2^2$

其中第一项E₁保证用户编辑的效果；第二项E₂保持编辑传播过程中各个样本之间的线性关系；第三项E₃即为稀疏表达项，维持了原始数据与稀疏样本之间的关系。

在编辑传播过程中，对稀疏样本进行不同的编辑，会得到不同的结果，从而达到不同的应用目的。

本发明给出三种不同的应用来进行具体说明，包括视频对象交互式重着色、视频场景颜色风格转换和对象与场景无缝融合。

参考图4视频对象交互式重着色流程图，其编辑传播过程为：选取前景画笔的颜色，并用画笔在图像或视频上标记需要重着色的对象的某些像素；用背景画笔在图像或视频上标记颜色保持不变的区域的某些像素；计算稀疏样本中像素和被标记像素之间的颜色欧氏距离，在稀疏样本中选取距离最近的像素代替被标记的像素，成为新的被标记像素；将前景标记像素映射为前景画笔颜色，将背景标记像素映射为自己本身的颜色，然后利用流形保持编辑传播方法将颜色变化传播到所有稀疏样本中。

参考图5视频场景颜色风格转换流程图，其编辑传播过程为：提取稀疏样本中的颜色主色调模板，作为原始主色调模板；指定目标主色调模板；在稀疏样本中选取和主色调模板颜色的欧式距离最近的样本，并代替主色调模板，成为新的主色调模板；建立新的主色调模板与目标主色调模板之间的一一对应关系，然后利用流形保持编辑传播方法将颜色变化传播到所有稀疏样本中。

参考图6对象与场景无缝融合流程图，过程为直接将前景对象轮廓边缘的像素颜色作为稀疏样本，将对象轮廓边缘的前景颜色与背景颜色之差作为编辑后的结果，从而直接获得了编辑传播的结果。

步骤五：根据稀疏样本结果和重构系数，生成所有像素的结果，从而生成高分辨率结果图像或视频。

求出稀疏样本的编辑结果后，利用先前求出的重构系数α，可以得到所有的输出结果为 $Y\≈\tilde{D}\mathrm{\α}.$

需要注意的是，为了节省内存空间，我们并不一次性将所有的重构系数α求出，而是每求出一个像素i的重构系数α_i，立即求出结果然后释放α_i的内存空间。这样，常驻内存空间的只有稀疏样本结果这一个参数，具体参考图3。

为了使本发明最大程度节省内存，设计并编程实现了具体的算法，参考图3算法实现流程图，具体算法步骤如下：

（1）输入高分辨率图像或视频X和稀疏样本大小n；

（2）利用稀疏表达技术计算得出稀疏样本D，D中样本个数为n；

（3）根据具体应用，用户对稀疏样本进行编辑操作；

（4）将用户的编辑操作传播到整个稀疏样本中，得到稀疏样本结果；

（5）遍历原图像或视频的所有像素x，计算重构系数α，根据α和计算结果y；

（6）输出结果Y。

此算法很大程度上节省了内存消耗。步骤（2）中的稀疏样本D的样本个数n是人为设定的，一般情况下设为200-1000，因此不论多大的图像或视频，都可以将其压缩到200-1000个样本来求解，大约只需内存5-20MB；步骤（3）中的用户编辑操作是稀疏的，不需要额外的内存空间；步骤（4）中的编辑传播过程在稀疏样本D上进行，因此占用的内存也极小；步骤（5）中采用了循环方法遍历每一个像素，求解单个像素时的内存消耗小到可以忽略不计，在多核计算机上运行时还可以并行处理，节省时间。综上可得，本发明的内存消耗主要依赖于稀疏样本D的大小n，且此参数是可以人为控制的。

以上所述仅为本发明的一些基本说明，依据本发明的技术方案所做的任何等效变换，均应属于本发明的保护范围。

Claims (6)

1.一种支持编辑传播的高分辨率视频图像内容稀疏表达方法，其特征在于：该方法具体步骤如下：

步骤一：输入高分辨率原始图像或视频，统计原始图像或视频中的像素特征信息，去除特征相同的像素；

步骤二：利用稀疏表达技术获取原始图像或视频的高度稀疏样本；利用11基本色，根据像素颜色与11基本色的欧式距离，将原始图像或视频中的像素分成11类，对11类中的像素分别提取出能代表其本质特征的稀疏样本，再将得到的11个稀疏样本合并成为最终的稀疏样本，此稀疏样本包含了原始图像或视频所有像素的本质特征；

步骤三：将输入图像或视频中的每个像素由原始稀疏样本中的少量样本重构，并计算出重构系数；每个像素在重构时选取的稀疏样本中的样本个数是自适应的，原则为用尽可能少的样本重构出原始像素，计算出的重构系数建立了输入像素和原始稀疏样本之间的线性关系；

步骤四：对原始稀疏样本进行编辑传播，得到稀疏样本结果；

对原始稀疏样本进行编辑传播包含以下三种方法：视频对象交互式重着色，视频场景颜色风格转换，对象与场景的无缝融合；

步骤五：根据稀疏样本结果和重构系数，生成所有像素的结果，从而生成高分辨率结果图像或视频；

其中，步骤二中所述的“稀疏表达技术”，是通过将下式最小化得到稀疏样本D和重构系数α；

$\underset{i}{\Σ}\left|\right|x_i-{\mathrm{D\α}}_i|{|}_2^2+\mathrm{\λ}\underset{i}{\Σ}|\left|{\mathrm{\α}}_i\right|{|}_0$

上述公式第一项表示输入的像素x_i由稀疏样本D和重构系数α_i完美重构，第二项中的零范数||·||₀表示系数向量α_i中的非零项个数，说明重构系数α_i是高度稀疏的。

2.根据权利要求1所述的一种支持编辑传播的高分辨率视频图像内容稀疏表达方法，其特征在于：步骤一中所述的“像素特征信息”，包括像素的RGB颜色特征和XY位置特征。

3.根据权利要求1所述的一种支持编辑传播的高分辨率视频图像内容稀疏表达方法，其特征在于：步骤二中所述的“11基本色”，指红、黄、蓝、绿、紫、橘、粉、棕、灰、黑、白11种颜色。

4.根据权利要求1所述的一种支持编辑传播的高分辨率视频图像内容稀疏表达方法，其特征在于：步骤四中所述的“视频对象交互式重着色”，是一种编辑传播方法，包含以下步骤：选取前景画笔的颜色，并用画笔在图像或视频上标记需要重着色的对象的某些像素；用背景画笔在图像或视频上标记颜色保持不变的区域的某些像素；计算稀疏样本中像素和被标记像素之间的颜色欧氏距离，在稀疏样本中选取距离最近的像素代替被标记的像素，成为新的被标记像素；将前景标记像素映射为前景画笔颜色，将背景标记像素映射为自己本身的颜色，然后利用流形保持编辑传播方法将颜色变化传播到所有稀疏样本中。

5.根据权利要求1所述的一种支持编辑传播的高分辨率视频图像内容稀疏表达方法，其特征在于：步骤四中所述的“视频场景颜色风格转换”，是一种编辑传播方法，包含以下步骤：提取稀疏样本中的颜色主色调模板，作为原始主色调模板；指定目标主色调模板；在稀疏样本中选取和主色调模板颜色的欧式距离最近的样本，并代替主色调模板，成为新的主色调模板；建立新的主色调模板与目标主色调模板之间的一一对应关系，然后利用流形保持编辑传播方法将颜色变化传播到所有稀疏样本中。

6.根据权利要求1所述的一种支持编辑传播的高分辨率视频图像内容稀疏表达方法，其特征在于：其中，在步骤四中所述的“对象与场景的无缝融合”，是一种编辑传播方法，包含以下步骤：将前景对象轮廓边缘的像素颜色作为稀疏样本，将对象轮廓边缘的前景颜色与背景颜色之差作为编辑后的结果，从而直接获得了编辑传播的结果。