CN110728690A - 一种利用小波变换对图像进行边缘平滑处理的抠图方法 - Google Patents

一种利用小波变换对图像进行边缘平滑处理的抠图方法 Download PDF

Info

Publication number
CN110728690A
CN110728690A CN201910911972.9A CN201910911972A CN110728690A CN 110728690 A CN110728690 A CN 110728690A CN 201910911972 A CN201910911972 A CN 201910911972A CN 110728690 A CN110728690 A CN 110728690A
Authority
CN
China
Prior art keywords
image
edge
feature vector
pixel points
utilizing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910911972.9A
Other languages
English (en)
Other versions
CN110728690B (zh
Inventor
李晋江
张婉婉
范辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Technology and Business University
Original Assignee
Shandong Technology and Business University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Technology and Business University filed Critical Shandong Technology and Business University
Priority to CN201910911972.9A priority Critical patent/CN110728690B/zh
Publication of CN110728690A publication Critical patent/CN110728690A/zh
Application granted granted Critical
Publication of CN110728690B publication Critical patent/CN110728690B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种利用小波变换对图像进行边缘处理的抠图方法，该方法包括以下步骤：将原始图像划分为前景、背景以及未知区域；根据所得到的三分图收集像素点i的所有非局部临近像素点j；根据收集到的像素点，在K近邻matting算法中计算关系矩阵；构建特征向量这一步用到小波变换，利用边缘避免小波对图像进行分解，再通过YUV空间的各个分量以及图像在水平和垂直方向经EAW变换后的纹理信息来构建特征向量；利用上一步得出的特征向量构造拉普拉斯矩阵；最后利用拉普拉斯矩阵和用户输入的trimap，可以得到闭合形式解。本发明的方法可以利用小波变换的优点，在保持图像轮廓信息的前提下，改变小波变换域中的某些参数的大小，对边缘的处理更加精细，准确保留微小的背景信息，达到图像增强的目的。

Description

一种利用小波变换对图像进行边缘平滑处理的抠图方法
技术领域
本发明涉及图像处理技术领域，具体涉及一种利用小波变换对图像进行边缘处理的抠图方法。
背景技术
matting是图像处理领域的热门问题，在图像和视频处理方面发挥着巨大的作用，图像matting的主要是为了实现将选取的目标图像与虚拟场景相结合，将前景对象从目标图像中完整地提取出来。图像中每一点的颜色都可以建模为前景颜色和背景颜色的线性组合：
（1）
可以得到更一般的形式：
Figure 565620DEST_PATH_IMAGE002
（2）
其中α为透明度遮罩。此方程奠定了数字图像matting技术的数学基础。对于大部分图像来说，大部分像素点都是确定的前景或背景像素点。但想要将前景物体从背景中准确的提取出来，怎样准确的估计出每个像素的alpha值是matting问题的关键所在。而matting需要用三个已知量求解七个未知量，是一个约束不足问题。
小波是分析和处理非平稳信号的一个有力的工具，以局部化函数所形成的小波基作为基底展开，在时频表示和多尺度分析方面更为合理。可以将图像分层次按小波基展开，并且可以根据图像的性质及事先给定的图像处理要求确定需要展开到哪一级，有效地控制计算量，满足实时处理的需要。
小波变换具有较好的多分辨率特性，它可以将图像以不同的尺度分解，利用小波变换将图像变换至频域，不仅可以将图像分解成低频、水平方向高频、垂直方向高频和对角方向高频信息，而且可以将图像进行不同尺度不同分辨率的分解，得到不同尺度的小波分解系数。现在利用小波对图像处理的主流方法是将小波分解后得到的不同尺度的小波系数分别进行处理，由于各层次尺度不同，要将处理后的每层小波系数进行逐级重构恢复图像，而每一级的重构都会包含上一层的低频和高频信息。
利用边缘避免小波，在不同尺度上编码图像的边缘结构，对图像的细节进行多尺度的增强，并将边缘平滑处理。根据数据相关思想设计的小波，避免边缘两侧像素的干扰，对于细节的增强效果更为显著。实验证明，经过小波处理后，可以得到更为鲁棒的结果。
发明内容
本发明的内容就是为了解决问题，提供一种利用小波变换对图像进行边缘处理的抠图方法，在保持轮廓信息的前提下，对图像边缘的处理更加精细，准确地保留了图像微小的背景信息。
为了实现上述目的，本发明采用如下技术方案：
一种利用小波变换对图像进行边缘处理的抠图方法，基于图像的边缘信息构建小波，将目标边缘两侧的像素平滑处理，具有更好的数据相关性。在计算特征向量时，转换到YUV色彩空间计算，然后由归一化的特征向量给出内核函数，最后构造拉普拉斯矩阵，并使用闭合形式解方法进行优化。
本发明的具体步骤为：
1) 将原始图像划分为前景、背景以及未知区域；
2）收集像素点i的所有非局部临近像素点j；
3）根据收集到的像素点，计算关系矩阵；
4）提取特征向量；
5）构造拉普拉斯矩阵；
6）闭合形式解的快速实现。
所述步骤1）中，将原始图像划分为前景、背景以及未知区域三部分；
所述步骤2）中，对三分图进行收集像素点i的所有非局部临近像素点j；
所述步骤3）利用所收集到的非局部临近像素点，在K近邻matting算法中求解关系矩阵；
所述步骤4）提取特征向量，包含以下几个步骤：
4-1）利用边缘避免小波分解，将最粗糙级别利用边缘避免小波(EAW)分解，将最粗糙级 别
Figure 345357DEST_PATH_IMAGE003
平坦化近似系数
Figure 740566DEST_PATH_IMAGE004
，并且逐渐减小细节系数
Figure 554939DEST_PATH_IMAGE005
，实现对图像细节的增强。在YUV色彩空 间运行亮度通道的对数Y(x.y)。考虑到它的EAW分解
Figure 691915DEST_PATH_IMAGE006
，并通过下式在重构 之前缩放不同分量计算细节增强的亮度分量Y’(x.y)
Figure 958949DEST_PATH_IMAGE007
（3）
其中，β=1。且
Figure 157849DEST_PATH_IMAGE008
由三次多项式p(j)确定。这个多项式设置了们想要的最佳尺度p (1)，中尺度p(j/2)和最粗尺度p(j)所需要的增量。平滑是通过设置一个较小的p(1)实现 的，而用较大的p(1)实现对细节精度的提高并用较大的p(j/2)来获得中等尺度的增强。在 边缘避免小波对图像分解过程中，预测和更新都仅限于域内的变量，在计算过程中保持一 定程度的标准化。
4-2）为输入图像在YUV空间构建特征向量：
Figure 826728DEST_PATH_IMAGE009
（4）
式中，y,u,v表示YUV空间的各个分量，x，y表示图像在水平和垂直方向经EAW变换后的纹理信息。
所述步骤5）构造拉普拉斯矩阵：
将内核函数表示成1-x的形式：
Figure 820091DEST_PATH_IMAGE010
（5）
式中，X(·)为特征向量，C为权值系数，使得0≤k(i,j)≤1。内核函数的取值在0和1之间，符合未知区域的取值范围。可以将未知区域之间的混合像素如实的提取出来，对于边界的处理可以更加清晰。在K近邻matting中无需设置参数并且允许返回最小的X(i)-X(j)的值。
所述步骤6）闭合形式解的快速实现：
利用拉普拉斯矩阵和用户输入的trimap，可以得到一个图层的闭式解：
（6）
式中，
Figure 373749DEST_PATH_IMAGE012
表示第i个图层的不透明度，m是一个二进制向量，它的所有标记的像素值为1， λ是一个约束项系数。
K近邻算法最优化的闭式解通过式(6)可以得到：
Figure 897135DEST_PATH_IMAGE013
（7）
式中，v是一个二值向量，表示用户的标记区域。 可进一步写为：
（8）
对g(x)求导可以得到最优解：
Figure 568605DEST_PATH_IMAGE015
（9）
本发明的优点：
本文提出一种利用小波变换对图像进行边缘处理的抠图方法，利用小波对图像细节增强以及弱边缘强化的优点，利用边缘避免小波，在YUV色彩空间计算特征向量。与传统的方法相比较，本文法方法在细节处理上更占优势。在一定程度上改善了KNN算法在处理前背景复杂交错时matting质量下降的问题，同时对弱边缘失真问题也有一定程度的改善。本文在保持轮廓信息的前提下，对边缘毛发的处理更加精细，准确的保留了图像微小的背景信息。
附图说明
图1是本发明的流程示意图；
图2是本发明在细节方面的处理；
图3是本发明对自然图像的处理。
具体实施方式
下面结合附图与实施例对本发明进一步说明。
如图1所示，包括以下步骤：
1）将原始图像划分为前景、背景以及未知区域三部分；
2）对三分图进行收集像素点i的所有非局部临近像素点j；
3）利用所收集到的非局部临近像素点，在K近邻matting算法中求解关系矩阵；
4）提取特征向量：
4-1）利用边缘避免小波分解，将最粗糙级别利用边缘避免小波(EAW)分解，将最粗糙级 别
Figure 843728DEST_PATH_IMAGE003
平坦化近似系数
Figure 300248DEST_PATH_IMAGE004
，并且逐渐减小细节系数
Figure 635415DEST_PATH_IMAGE005
，实现对图像细节的增强。在YUV色彩空 间运行亮度通道的对数Y(x.y)。考虑到它的EAW分解
Figure 364336DEST_PATH_IMAGE006
，并通过下式在重构 之前缩放不同分量计算细节增强的亮度分量Y’(x.y)
（3）
其中，β=1。且
Figure 941128DEST_PATH_IMAGE008
由三次多项式p(j)确定。这个多项式设置了们想要的最佳尺度p (1)，中尺度p(j/2)和最粗尺度p(j)所需要的增量。平滑是通过设置一个较小的p(1)实现 的，而用较大的p(1)实现对细节精度的提高并用较大的p(j/2)来获得中等尺度的增强。在 边缘避免小波对图像分解过程中，预测和更新都仅限于域内的变量，在计算过程中保持一 定程度的标准化；
4-2）为输入图像在YUV空间构建特征向量：
（4）
式中，y,u,v表示YUV空间的各个分量，x，y表示图像在水平和垂直方向经EAW变换后的纹理信息；
5）构造拉普拉斯矩阵：
将内核函数表示成1-x的形式：
Figure 725730DEST_PATH_IMAGE010
（5）
式中，X(·)为特征向量，C为权值系数，使得0≤k(i,j)≤1。内核函数的取值在0和1之间，符合未知区域的取值范围。可以将未知区域之间的混合像素如实的提取出来，对于边界的处理可以更加清晰。在K近邻matting中无需设置参数并且允许返回最小的X(i)-X(j)的值；
6）闭合形式解的快速实现：
利用拉普拉斯矩阵和用户输入的trimap，可以得到一个图层的闭式解：
Figure 608236DEST_PATH_IMAGE011
（6）
式中，
Figure 960720DEST_PATH_IMAGE012
表示第i个图层的不透明度，m是一个二进制向量，它的所有标记的像素值为1， λ是一个约束项系数；
K近邻算法最优化的闭式解通过式(6)可以得到：
Figure 903268DEST_PATH_IMAGE013
（7）
式中，v是一个二值向量，表示用户的标记区域。 可进一步写为：
（8）
对g(x)求导可以得到最优解：
Figure 761820DEST_PATH_IMAGE015
（9）
图2中，选择两个小人间的狭长区域放大。经过本文的方法对图像细节增强后，可以取得高质量的结果。图中表示对边缘毛发的处理。在前景背景交错的情况下，前景颜色和背景颜色比较接近，KNN算法会将部分背景处理为前景，使结果失真，而使用本文的方法得到的结果可以将细节尽可能地保存下来。
图3中，我们选择了几组自然图像，经过本文的方法对图像进行处理，可以得到图中的效果。我们发现，在图像结构简单、背景不复杂的条件下，可以取得和其他方法相近的结果。但在背景结构复杂、边缘存在细小毛发的图像中，本文的方法可以取得更好的结果。
根据对实验结果的评价，不论是在总绝对差异值评价还是均方差评价中，本文的方法都占优势。
综上，本发明利用小波变换对图像细节增强以及弱边缘强化的优点，在细节上更占优势。在一定程度上改善了KNN算法在处理前背景复杂交错时matting质量下降的问题，同时对弱边缘失真问题也有一定程度的改善。

Claims (6)

1.一种利用小波变换对图像进行边缘处理的抠图方法，其特征是，基于图像的边缘信息构建小波，将目标边缘两侧的像素平滑处理，具有更好的数据相关性，在计算特征向量时，转换到YUV色彩空间计算，然后由归一化的特征向量给出内核函数，最后构造拉普拉斯矩阵，并使用闭合形式解方法进行优化，最后实现对图像细节的改善。
2.如权利要求1所述的一种利用小波变换对图像进行边缘处理的抠图方法，其特征是，主要包含以下几个步骤：
1）将原始图像划分为前景、背景以及未知区域；
2）收集像素点i的所有非局部临近像素点j；
3）根据收集到的像素点，计算关系矩阵；
4）提取特征向量；
5）构造拉普拉斯矩阵；
6）闭合形式解的快速实现。
3.如权利要求2所述的一种利用小波变换对图像进行边缘处理的抠图方法，其特征是，所述步骤3）根据收集到的像素点，计算关系矩阵：在K近邻matting算法中求解关系矩阵，需要在特征向量匹配之前收集像素点i的所有非局部近邻的像素点j，与非局部matting需要用一个大内核函数对图像进行操作相比较，K近邻matting只需要计算K个近邻实现非局部的准则。
4.如权利要求2所述的一种利用小波变换对图像进行边缘处理的抠图方法，其特征是，所述步骤4）提取特征向量，分为以下几个步骤：
4-1）利用边缘避免小波分解，将最粗糙级别利用边缘避免小波(EAW)分解，实现对图像细节的增强；
在YUV色彩空间运行亮度通道的对数，并在重构之前计算细节增强的亮度分量，在边缘避免小波对图像分解过程中，预测和更新都仅限于域内的变量，在计算过程中保持一定程度的标准化；
4-2）为输入图像在YUV空间构建特征向量，通过YUV空间的各个分量以及图像在水平和垂直方向经EAW变换后的纹理信息来构建特征向量。
5.如权利要求2所述的一种利用小波变换对图像进行边缘处理的抠图方法，其特征是，所述步骤5）构造拉普拉斯矩阵：将内核函数表示成特定形式，内核函数的取值在0和1之间，符合未知区域的取值范围，可以将未知区域之间的混合像素如实的提取出来，对于边界的处理可以更加清晰。
6.如权利要求2所述的一种利用小波变换对图像进行边缘处理的抠图方法，其特征是，所述步骤6）闭合形式解的快速实现：利用拉普拉斯矩阵和用户输入的trimap，可以得到一个图层的闭式解，通过优化和进一步的推算可以得到最优解。
CN201910911972.9A 2019-09-25 2019-09-25 一种利用小波变换对图像进行边缘平滑处理的抠图方法 Active CN110728690B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910911972.9A CN110728690B (zh) 2019-09-25 2019-09-25 一种利用小波变换对图像进行边缘平滑处理的抠图方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910911972.9A CN110728690B (zh) 2019-09-25 2019-09-25 一种利用小波变换对图像进行边缘平滑处理的抠图方法

Publications (2)

Publication Number Publication Date
CN110728690A true CN110728690A (zh) 2020-01-24
CN110728690B CN110728690B (zh) 2023-09-08

Family

ID=69219410

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910911972.9A Active CN110728690B (zh) 2019-09-25 2019-09-25 一种利用小波变换对图像进行边缘平滑处理的抠图方法

Country Status (1)

Country Link
CN (1) CN110728690B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112436975A (zh) * 2020-10-09 2021-03-02 北京邮电大学 一种天地一体化信息网络流量预测方法及装置
CN112801896A (zh) * 2021-01-19 2021-05-14 西安理工大学 基于前景提取的逆光图像增强方法
CN113450262A (zh) * 2020-03-25 2021-09-28 武汉金山办公软件有限公司 一种实现图像处理的方法、装置、计算机存储介质及终端

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100183222A1 (en) * 2009-01-21 2010-07-22 Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. System and method for edge-enhancement of digital images using wavelets
CN102779351A (zh) * 2012-06-08 2012-11-14 温州大学 基于局部线性模型优化的交互式灰度图像彩色化方法
CN107092890A (zh) * 2017-04-24 2017-08-25 山东工商学院 基于红外视频的舰船检测及跟踪方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100183222A1 (en) * 2009-01-21 2010-07-22 Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. System and method for edge-enhancement of digital images using wavelets
CN102779351A (zh) * 2012-06-08 2012-11-14 温州大学 基于局部线性模型优化的交互式灰度图像彩色化方法
CN107092890A (zh) * 2017-04-24 2017-08-25 山东工商学院 基于红外视频的舰船检测及跟踪方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
LI, JINJIANG等: "Multifocus Image Fusion Using Wavelet-Domain-Based Deep CNN" *
RAANAN FATTAL等: "Edge-avoiding wavelets and their applications" *
李晋江等: "梯度稀疏性先验图像matting算法" *
阳伟等: "基于纹理聚类的抠图算法" *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113450262A (zh) * 2020-03-25 2021-09-28 武汉金山办公软件有限公司 一种实现图像处理的方法、装置、计算机存储介质及终端
CN112436975A (zh) * 2020-10-09 2021-03-02 北京邮电大学 一种天地一体化信息网络流量预测方法及装置
CN112801896A (zh) * 2021-01-19 2021-05-14 西安理工大学 基于前景提取的逆光图像增强方法
CN112801896B (zh) * 2021-01-19 2024-02-09 西安理工大学 基于前景提取的逆光图像增强方法

Also Published As

Publication number Publication date
CN110728690B (zh) 2023-09-08

Similar Documents

Publication Publication Date Title
CN105574534B (zh) 基于稀疏子空间聚类和低秩表示的显著性目标检测方法
CN110728690B (zh) 一种利用小波变换对图像进行边缘平滑处理的抠图方法
CN101980284B (zh) 基于两尺度稀疏表示的彩色图像降噪方法
CN109903301B (zh) 一种基于多级特征信道优化编码的图像轮廓检测方法
CN108765336B (zh) 基于暗亮原色先验与自适应参数优化的图像去雾方法
CN106709964B (zh) 基于梯度修正和多向纹理提取的素描画生成方法及装置
WO2013168618A1 (ja) 画像処理装置及び画像処理方法
Shahamat et al. Face recognition under large illumination variations using homomorphic filtering in spatial domain
CN109525847B (zh) 一种恰可察觉失真模型阈值计算方法
CN112801896B (zh) 基于前景提取的逆光图像增强方法
CN103295010A (zh) 一种处理人脸图像的光照归一化方法
CN106529378B (zh) 一种亚裔人脸的年龄特征模型生成方法及年龄估计方法
CN110428450B (zh) 应用于矿井巷道移动巡检图像的尺度自适应目标跟踪方法
CN101149787A (zh) 一种基于方向场模型和Gabor滤波器指纹合成方法及***
CN107909083B (zh) 一种基于轮廓匹配优化的矩形检测提取方法
CN113139557B (zh) 一种基于二维多元经验模态分解的特征提取方法
CN109741358B (zh) 基于自适应超图学习的超像素分割方法
CN101976340B (zh) 基于压缩域的车牌定位方法
Zou et al. A nonlocal low-rank regularization method for fractal image coding
Jeon et al. Low-light image enhancement using inverted image normalized by atmospheric light
Larsen et al. Texture enhanced appearance models
CN104616259A (zh) 一种噪声强度自适应的非局部均值图像去噪方法
Feng et al. Low-light color image enhancement based on Retinex
Hong et al. Image interpolation using interpolative classified vector quantization
CN111105430A (zh) 基于Landmark单纯形约束的变分水平集图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant