CN106920222B - 一种图像平滑方法及装置 - Google Patents
一种图像平滑方法及装置 Download PDFInfo
- Publication number
- CN106920222B CN106920222B CN201710146581.3A CN201710146581A CN106920222B CN 106920222 B CN106920222 B CN 106920222B CN 201710146581 A CN201710146581 A CN 201710146581A CN 106920222 B CN106920222 B CN 106920222B
- Authority
- CN
- China
- Prior art keywords
- image
- smoothed
- default
- original image
- square
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 155
- 238000003706 image smoothing Methods 0.000 title claims abstract description 48
- 238000001914 filtration Methods 0.000 claims abstract description 77
- 238000009499 grossing Methods 0.000 claims abstract description 49
- 230000002146 bilateral effect Effects 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 29
- 238000011084 recovery Methods 0.000 claims description 12
- 238000010276 construction Methods 0.000 claims description 6
- 238000004064 recycling Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 27
- 230000008901 benefit Effects 0.000 abstract description 7
- 239000000470 constituent Substances 0.000 abstract description 6
- 230000006870 function Effects 0.000 description 69
- 239000013598 vector Substances 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 238000002474 experimental method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000004075 alteration Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000004615 ingredient Substances 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000021615 conjugation Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000002633 protecting effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
本发明实施例提供了一种图像平滑方法，先利用局部平滑法中的双边滤波以及变换域滤波对原始图像进行平滑处理，获得引导图像；然后利用最小二乘法对原始图像、引导图像以及预设平滑图像构造最小二乘模型，加入对预设平滑图像的约束函数以控制平滑图像的稀疏度，得到平滑能量目标函数；最后利用半二次***法以及交替固定变量法求解该函数，从而获得原始图像经过平滑处理后的平滑图像。综合考虑全局特征以及局部特征，增强了原始图像中结构成分的保护，同时恢复了一些高对比度的细节，获得了好的图像平滑效果，有利于提高图像识别的准确率。此外，本发明实施例还提供了相应的实现装置，进一步使得所述方法更具有实用性，所述装置具有相应的优点。
Description
技术领域
本发明实施例涉及图像处理技术领域，特别是涉及一种图像平滑方法及装置。
背景技术
随着计算机图像处理技术的迅猛发展，图像平滑技术为了满足当前图像处理技术领域的高要求，也得到了较快的发展。图像平滑技术是指用于突出图像的宽大区域、低频成分、主干部分或抑制图像噪声和干扰高频成分，使图像亮度平缓渐变，减小突变梯度，改善图像质量的图像处理技术，广泛的应用于图像分割、去噪、细节增强，目标分类，边缘提取等领域中。
图像在获取和传递过程中往往不可避免的会受到噪声、不重要的细节(尤其是高对比度)的干扰，使得待识别的目标出现轮廓特征不明显的问题，给识别带来了困难。利用图像平滑技术对图像进行处理可以在一定程度上规避干扰，从而提高图像识别的成功率。
现有技术中，图像平滑方法一般为局部平滑方法以及全局平滑方法。局部平滑方法，例如高斯滤波、双边滤波、中值滤波、变换域滤波等，是指对图像的局部区域或补丁进行处理。局部平滑法仅仅顾及到图像的局部区域特征，对图像局部的平滑效果较好，但容易造成结构模糊问题。全局平滑法，如全变分平滑算法、加权最小均方平滑算法、L0梯度最小化平滑算法等，是同时对整个图像的所有区域进行处理。全局平滑法的结构保持约束项的优化框架较为灵活，对于图像的全局特征要优于局部平滑法，特别是对图像的背景部分等不重要的细节，但是全局平滑算法往往对局部高对比度噪声的平滑效果较差。
综上所述，局部平滑方法以及全局平滑方法各有优劣，在对图像进行平滑处理时，如何综合应用全局特征以及局部特征，规避局部平滑方法以及全局平滑方法的劣势，以提高图像平滑算法的鲁棒性，获得好的图像平滑效果，是本领域技术人员亟待解决的问题。
发明内容
本发明实施例的目的是提供一种图像平滑方法及装置，以提高图像平滑算法的鲁棒性，获得好的图像平滑效果。
为解决上述技术问题，本发明实施例提供以下技术方案：
本发明实施例一方面提供了一种图像平滑方法，包括：
对原始图像循环进行预设次数的双边滤波以及变换域滤波，以获得引导图像；
根据最小二乘法对所述原始图像、所述引导图像以及预设平滑图像构造最小二乘模型；
利用范数定义所述预设平滑图像的像素强度以及梯度，以获得所述预设平滑图像的约束函数；
根据所述最小二乘模型以及所述约束函数得到平滑能量目标函数；
利用半二次***法以及交替固定变量法求解所述平滑能量目标函数，以获得平滑图像。
可选的，所述根据最小二乘法对所述原始图像、所述引导图像以及预设平滑图像构造最小二乘模型为：
根据所述最小二乘法以及2-范数的平方对所述原始图像、所述引导图像以及预设平滑图像构造最小二乘模型为：
式中，S为所述预设平滑图像，I为所述原始图像，G为所述引导图像，α为细节恢复因子。
可选的，所述利用范数定义所述预设平滑图像的像素强度以及梯度为：
利用0-范数定义所述预设平滑图像的像素强度以及梯度。
可选的，所述根据所述最小二乘模型以及所述约束函数得到平滑能量目标函数为：
根据所述最小二乘模型以及所述约束函数得到平滑能量目标函数为：
式中，E(S)为所述平滑能量目标函数，S为所述预设平滑图像，I为所述原始图像，G为所述引导图像，α为所述细节恢复因子，λ为平滑因子，||▽S||0为所述约束函数。
可选的，所述根据最小二乘法对所述原始图像、所述引导图像以及预设平滑图像构造最小二乘模型为：
根据所述最小二乘法对经过中值滤波的原始图像、所述引导图像以及预设平滑图像构造最小二乘模型。
可选的，所述对原始图像循环进行预设循环次数的双边滤波以及变换域滤波，以获得引导图像包括：
S1：获取所述原始图像、常值图像、空间权重值以及范围权重值；
S2：以所述常值图像为初始引导函数，根据变换域滤波法对所述原始图像以及所述初始引导函数进行变换域滤波，得到新引导函数；
S3：根据双边滤波法对所述原始图像以及所述新引导函数进行双边滤波，得到一次引导函数；
S4：对S2以及S3循环执行所述预设次数，以获得所述引导图像。
可选的，所述预设次数为3次。
可选的，所述空间权重值以及范围权重值为：
所述空间权重值为3；
所述范围权重值为0.01。
可选的，所述利用半二次***法以及交替固定变量法求解所述平滑能量目标函数，以获得平滑图像包括：
引入辅助变量替换所述平滑能量目标函数中的约束函数项；
利用所述半二次***法对替换过的平滑能量目标函数进行最小化处理，加入误差惩罚项，得到平滑最小化模型；
根据所述交替固定变量法求解所述平滑最小化模型，以获得所述平滑图像。
本发明实施例另一方面提供了一种图像平滑装置，包括：
滤波平滑模块，用于对原始图像循环进行预设次数的双边滤波以及变换域滤波，以获得引导图像；
建立模型模块，用于根据最小二乘法对所述原始图像、所述引导图像以及预设平滑图像构造最小二乘模型；
获取平滑图像模块，用于利用范数定义所述预设平滑图像的像素强度以及梯度，以获得所述预设平滑图像的约束函数；根据所述最小二乘模型以及所述约束函数得到平滑能量目标函数；利用半二次***法以及交替固定变量法求解所述平滑能量目标函数，以获得平滑图像。
本发明实施例提供了一种图像平滑方法，先利用局部平滑法中的双边滤波以及变换域滤波对原始图像进行平滑处理，获得引导图像；然后利用最小二乘法对原始图像、引导图像以及预设平滑图像构造最小二乘模型，加入对预设平滑图像的约束函数以控制平滑图像的稀疏度，得到平滑能量目标函数；最后利用半二次***法以及交替固定变量法求解该函数，从而获得原始图像经过平滑处理后的平滑图像。
本申请提供的技术方案，综合考虑全局特征以及局部特征，先对原始图像进行局部平滑处理，然后进行全局平滑处理，规避了局部平滑方法以及全局平滑方法的劣势，有效的利用了二者的优势。通过控制平滑图像与原始图像之间差异以及控制平滑图像与引导图像差异，增强了对原始图像中结构成分的保护，保留了图像的结构，在去除细节纹理特征的同时恢复了一些高对比度的细节，获得了好的图像平滑效果；此外，对图像进行了有效的噪声滤除，加强了边界像素的强度，有利于图像轮廓的提取，从而有利于提高图像识别的准确率与效率。
此外，本发明实施例还针对图像平滑方法提供了相应的实现装置，进一步使得所述方法更具有实用性，所述装置具有相应的优点。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1-1为本发明实施例提供的一个示例性例子的原始图像；
图1-2为本发明实施例提供的图1-1中的原始图像经平滑处理后的图像；
图2为本发明实施例提供的一种图像平滑方法的流程示意图；
图3为本发明实施例提供的另一个示例性例子的原始图像；
图4为本发明实施例提供的图3中原始图像经过输入不同的空间权重值进行平滑处理得到的图像；
图5为本发明实施例提供的图3中原始图像经过输入不同的范围权重值进行平滑处理得到的图像；
图6为本发明实施例提供的图3中原始图像经过输入不同的细节恢复因子进行平滑处理得到的图像；
图7为本发明实施例提供的图3中原始图像经过输入不同的平滑因子进行平滑处理得到的图像；
图8为本发明实施例提供的图像平滑装置的一种实施方式结构图；
图9为本发明实施例提供的另一个示例性例子的原始图像；
图10为本发明实施例提供的图9中原始图像经过RGF和BLF算法进行平滑处理得到的图像；
图11为本发明实施例提供的图9中原始图像经过RTV算法进行平滑处理得到的图像；
图12为本发明实施例提供的图9中原始图像经过NLGRTV算法进行平滑处理得到的图像；
图13为本发明实施例提供的图9中原始图像经过SSPTF算法进行平滑处理得到的图像；
图14为本发明实施例提供的图9中原始图像经过本申请提供的算法进行平滑处理得到的图像；
图15为本发明实施例提供的另一个示例性例子的原始图像；
图16为本发明实施例提供的图15中原始图像经过RGF和BLF算法进行去噪处理得到的图像；
图17为本发明实施例提供的图15中原始图像经过本申请提供的算法进行去噪处理得到的图像；
图18为本发明实施例提供的再一个示例性例子的原始图像；
图19为本发明实施例提供的图19中原始图像经过本申请提供的算法进行图像增强处理得到的图像。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。
本申请的发明人经过研究发现，现有技术中往往只考虑局部特征或只考虑全局特征，导致平滑处理过的图像要么结构较为模糊，要么就是细节处理不好，局部噪声较大，总之，图像平滑效果难以符合图像处理技术领域的要求。鉴于此，本申请通过综合考虑全局特征以及局部特征，先对原始图像进行局部平滑处理，然后进行全局平滑处理，规避了局部平滑方法以及全局平滑方法的劣势，有效的利用了二者的优势，获得了好的图像平滑效果。
基于上述本发明实施例的技术方案，下面首先结合图1以及图2对本发明实施例的技术方案涉及的一些可能的应用场景进行举例介绍，图1-1为本发明实施例提供的原始图像，图1-2为经过本申请提供的方法进行处理后的图像。
先利用局部平滑法中的双边滤波以及变换域滤波对原始图像(图1-1)进行平滑处理，获得引导图像；然后利用最小二乘法对原始图像、引导图像以及预设平滑图像构造最小二乘模型，加入对预设平滑图像的约束函数以控制平滑图像的稀疏度，得到平滑能量目标函数；最后利用半二次***法以及交替固定变量法求解该函数，从而获得原始图像经过平滑处理后的平滑图像(图1-2)。对比图1-1和图1-2可以看出，本申请提供的技术方案对图形的进行平滑处理后，不仅保留了图像的结构，在去除细节纹理特征的同时恢复了一些高对比度的细节，得到了很好的平滑效果。
需要注意的是，上述应用场景仅是为了便于理解本申请的思想和原理而示出，本申请的实施方式在此方面不受任何限制。相反，本申请的实施方式可以应用于适用的任何场景。
在介绍了本发明实施例的技术方案后，下面详细的说明本申请的各种非限制性实施方式。
首先参见图2，图2为本发明实施例提供的一种图像平滑方法的流程示意图，本发明实施例可包括以下内容：
S201：对原始图像循环进行预设次数的双边滤波以及变换域滤波，以获得引导图像。
双边滤波与变换域滤波均属于局部平滑法。
双边滤波是一种非线性的滤波方法，是结合图像的空间邻近度和像素值相似度的一种折衷处理，同时考虑空域信息和灰度相似性，达到保边去噪的目的。具有简单、非迭代、局部的特点。双边滤波的优势是可以做边缘保存，一般过去用的维纳滤波或者高斯滤波去降噪，都会较明显地模糊边缘，对于高频细节的保护效果并不明显。双边滤波器顾名思义比高斯滤波多了一个高斯方差，它是基于空间分布的高斯滤波函数，所以在边缘附近，离的较远的像素不会太多影响到边缘上的像素值，这样就保证了边缘附近像素值的保存。但是由于保存了过多的高频信息，对于彩色图像里的高频噪声，双边滤波器不能够干净的滤掉，只能够对于低频信息进行较好的滤波。
经过多次实验发现，在仅使用双边滤波时，获得的引导图像会损坏主要结构的边角，但所得图像平滑效果较好；而在仅使用变换域滤波时，获得的引导图像能更好地保护主要结构的边角，但所得图像平滑效果较差。故本申请同时使用双边滤波与变换域滤波对图像进行处理，具体流程可如下所示：
S2011：获取原始图像、常值图像、空间权重值以及范围权重值；
S2012：以常值图像为初始引导函数，根据变换域滤波法对原始图像以及初始引导函数进行变换域滤波，得到新引导函数；
S2013：根据双边滤波法对原始图像以及新引导函数进行双边滤波，得到一次引导函数；
S2014：对S2012以及S2013循环执行所述预设次数，以获得引导图像。
原始图像即为待平滑处理图像，可以为任意格式的图像，例如tiff、tif、bmp、gif等，这均不影响本申请技术方案的实现。
常值图像为全为常数0的图像。
空间权重σs以及范围权重σr为在对图像进行滤波时，用到的参数，一般在使用变换域滤波时，可设置空间权重为双边滤波空间权重的1.5倍，范围权重可设为双边滤波空间权重的3倍。当然，也可不按照上述的参数进行设置，本领域技术人员可根据实际情况进行配置参数，这均不影响本申请的实现。
关于空间权重以及范围权重的取值(空间权重σs＞1，范围权重σr＞0)，对图像的平滑效果以及分辨率的影响，可参见图3-5，图3为待处理的原始图像。由图4-5可知，在其他参数不变时，随着σs的减大，图像越来越模糊；在其他参数不变时，随着σr的增大，图像越来越模糊。由图可见，可选的，在空间权重值σs＝3，范围权重值σr＝0.01时，图像较为清晰，且具有较好的平滑效果。当然，本领域技术人员可根据具体需求及图像分辨率而定，本申请对此不做任何限定。
需要说明的是，可以先经过双边滤波，再经过变换域滤波，然后循环执行n次；也可先经过变换域滤波，再经过双边滤波，然后循环执行n次；当然可也利用双边滤波进行n次滤波，再利用变换域滤波进行n次滤波；或者先利用变换域滤波进行n次滤波，再利用双边滤波进行n次滤波，这均不影响本申请的实现。但是，经过多次实验发现，先经过变换域滤波进行处理，再经过双边滤波进行滤波处理，然后循环执行n次，得到的图像平滑效果最好。故，可选的，可采用先对原始图像进行变换域滤波，再进行双边滤波，然后循环执行预设次数。
一次完整的滤波是先对原始图像进行变换域滤波，再进行双边滤波，循环执行是指对一次完整的滤波进行多次操作，举例来说，一次完整的滤波得到的引导图像为一次引导函数，再执行一次完整的滤波得到的是二次引导函数；循环n次，得到的即是n次引导函数。
据多次实验分析，循环预设次数超过3次就仅有细微的变化，而且增加次数对实验结果没有任何效果，反而会增大图像处理的时间，造成图像处理效率较低。故，可选的，预设次数可取值为3次。
经过循环执行上述操作，可以模糊原始图像的细节及小尺度噪声，同时还保留原始图像的结构成分。
S202：根据最小二乘法对所述原始图像、所述引导图像以及预设平滑图像构造最小二乘模型。
最小二乘法(又称最小平方法)是一种数学优化方法。它通过最小化误差的平方和寻找数据的最佳函数匹配，利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。
平滑图像为原始图像经过本申请的图像平滑方法进行平滑处理后，得到的图像。因为平滑图像是未知的，而采用最小二乘法构造的模型可实现对未知数据的求解，故可假设平滑图像为预设平滑图像，作为未知的数据带入最小二乘模型中。例如数学中一元一次方程的概念，对于求解未知量，一般会先假设变量x，然后将已知量带入求解，从而得到x的值。
范数，是具有“长度”概念的函数其为矢量空间内的所有矢量赋予非零的正长度或大小。半范数反而可以为非零的矢量赋予零长度。举例来说，在二维的欧氏几何空间R就可定义欧氏范数。在这个矢量空间中的元素常常在笛卡儿坐标***中被画成一个从原点出发的带有箭头的有向线段。每一个矢量的欧氏范数就是有向线段的长度。
范数一般可分为向量范数与矩阵范数，在向量范数中，0-范数是指向量中非零元素的个数；1-范数为向量元素绝对值之和；2-范数向量元素绝对值的平方和再开方。在矩阵范数中，0-范数是指矩阵中非零元素的个数；1-范数为所有矩阵列向量绝对值之和的最大值；2-范数，也叫谱范数，是指矩阵的最大特征值的开平方，也就是通常意义上的模。
可根据最小二乘法以及2-范数的平方对原始图像、引导图像以及预设平滑图像构造最小二乘模型为：
式中，S为预设平滑图像，I为原始图像，G为引导图像，α为细节恢复因子。
需要说明的是，α通常取值为α∈[0，1]。
构造的最小二乘模型具有双数据保真项，一项用于控制平滑图像与原始图像之间差异(即)，另一项用于控制平滑图像与引导图像差异通过这两项控制，既可增强对原始图像中结构成分的保护，同时还提供细节恢复因子来恢复一些高对比度的细节。
需要说明的是，相较现有技术中使用一个数据保真项(即用于控制平滑图像与原始图像之间差异)，本申请采用的双数据保真项的两项均保留了原图中主要结构，区别是一个任保留细节(第一项)，另一个模糊削弱了细节(第二项)。使用双数据保真项能够更加有效地保留主要结构，同时可根据选择不同的恢复参数不同程度上保留高对比度细节成分。若仅使用第一个数据保真项，则无法有效滤除高对比度细节，而且易损坏主要结构，若仅使用第二个数据保真项，则武断地删除所有小的成分(可能包含有用成分)。
S203：利用范数定义所述预设平滑图像的像素强度以及梯度，以获得所述预设平滑图像的约束函数。
可利用0-范数定义预设平滑图像的像素强度以及梯度，当然，也可采用1-范数，2-范数进行定义，这均不影响本申请的实现。但是，经过多次实验和分析，相对于1-范数和2-范数，0-范数可以取得更好的效果。
0-范数是指变量中不为零的个数，S为预设平滑图像，▽S为预设平滑图像的梯度图，利用0-范数定义所述预设平滑图像的像素强度以及梯度为||▽S||0，其中，▽S∈RM×N。表示▽S中不为零的个数。
通过构造约束函数，可用来控制平滑图像的稀疏度。
S204：根据所述最小二乘模型以及所述约束函数得到平滑能量目标函数。
根据最小二乘模型以及所述约束函数得到平滑能量目标函数为：
式中，E(S)为平滑能量目标函数，S为预设平滑图像，I为原始图像，G为引导图像，α为细节恢复因子，λ为平滑因子，||▽S||为约束函数。
当约束函数为利用0-范数进行定义时，上述平滑能量目标函数即为：
式中，E(S)为平滑能量目标函数，S为预设平滑图像，I为原始图像，G为引导图像，α为细节恢复因子，λ为平滑因子，||▽S||0为约束函数。
关于细节恢复因子以及平滑因子(α∈[0，1]，λ≥0)，对图像的平滑效果以及分辨率的影响，可参见图6和图7。由图可知，在其他参数不变时，随着α的减小，图像越来越模糊；在其他参数不变时，随着λ的增大，图像越来越模糊。由图可见，可选的，在α＝1，λ＝0.005时，图像较为清晰，具有较好的平滑效果。当然，本领域技术人员可根据具体需求及图像分辨率而定，本申请对此不做任何限定。
S205：利用半二次***法以及交替固定变量法求解所述平滑能量目标函数，以获得平滑图像。
具体的可包括：
引入辅助变量替换所述平滑能量目标函数中的约束函数项；
利用所述半二次***法对替换过的平滑能量目标函数进行最小化处理，加入误差惩罚项，得到平滑最小化模型；
根据所述交替固定变量法求解所述平滑最小化模型，以获得所述平滑图像。
由于无法实现直接最小化平滑能量目标函数，这是非凸优化问题，故需要引入辅助变量来替代约束函数，使其尽可能逼近最小值。
举例来说，当平滑能量目标函数为：
引入辅助变量g＝(gx，gy)T代替约束项中的||▽S||0；
利用半二次***法对替换过的平滑能量目标函数进行最小化处理，原先的平滑图像函数为：
在上述平滑图像函数上加误差惩罚项，构成最终的平滑最小化模型为：
其中，β是自适应参数，以控制g与▽S的相似度。
交替固定变量法一般为固定一个量，求解另外一个量，为一个迭代过程。即需要交替求解g与S，最终求得平滑图像S。具体流程可如下所示：
对预设平滑图像、自适应参数β、迭代次数i进行初始化；
利用下述计算关系式进行迭代计算：
β＝kβ；
直至β＞βmax，输出S，即为最终获得的平滑图像。
其中，预设平滑图像初始化为原始图像，自适应参数β初始化为β0，k为增率。
F-1(·)表示离散傅里叶逆变换算子，F(·)表示复共轭算子，F(1)表示δ函数的离散傅立叶变换。上述所有的操作符，加、乘、除均按元素来操作。通过傅里叶变换，加快了S的求解速度，有利于提高整体图像平滑处理的效率。
可选的，β0＝λ，βmax＝105，k＝2。当然，本领域技术人员可根据具体需求及图像分辨率而定，本申请对此不做任何限定。
综合可知，本申请提供的图像平滑处理方法，S201为局部平滑，S202-S205为全局平滑。采用局部平滑法可有效模糊小的高对比度成分，保留大的结构；采用全局平滑法，可有效去除受局部滤波模糊的小的结构，也保留大的结构，最终导致原图中大的结果保留，小的细节噪声去除。
由上可知，本发明实施例综合考虑全局特征以及局部特征，先对原始图像进行局部平滑处理，然后进行全局平滑处理，规避了局部平滑方法以及全局平滑方法的劣势，有效的利用了二者的优势。通过控制平滑图像与原始图像之间差异以及控制平滑图像与引导图像差异，增强了对原始图像中结构成分的保护，保留了图像的结构，在去除细节纹理特征的同时恢复了一些高对比度的细节，获得了好的图像平滑效果；此外，对图像进行了有效的噪声滤除，加强了边界像素的强度，有利于图像轮廓的提取，从而有利于提高图像识别的准确率与效率。
当图像含有大量高对比度噪声的时候，在构造最小二乘模型时，由于原始函数噪声太大，导致构造的模型受噪声干扰太大，求解出的平滑图像会有很大的偏差，难以保证平滑后图像的准确率。因此，本申请基于上述实施例还提供了一个实施例。
在构造最小二乘模型之前，先对原始图像进行中值滤波。
中值滤波法是一种非线性平滑技术，基于排序统计理论的一种能有效抑制噪声的非线性信号处理技术，它将每一像素点的灰度值设置为该点某邻域窗口内的所有像素点灰度值的中值。中值滤波的基本原理是把数字图像或数字序列中一点的值用该点的一个邻域中各点值的中值代替，让周围的像素值接近的真实值，从而消除孤立的噪声点。方法是用某种结构的二维滑动模板，将板内像素按照像素值的大小进行排序，生成单调上升(或下降)的为二维数据序列。
即根据最小二乘法对经过中值滤波的原始图像、所述引导图像以及预设平滑图像构造最小二乘模型。具体的，跟上述实施例的实现方法相同，此处，就不在赘述。
在采用中值滤波对原始图像进行处理后，可有效的滤除原始图像中的高对比度噪声，提高图像平滑效果，提升平滑图像的准确率。
本发明实施例还针对图像平滑方法提供了相应的实现装置，进一步使得所述方法更具有实用性。下面对本发明实施例提供的图像平滑装置进行介绍，下文描述的图像平滑装置与上文描述的图像平滑方法可相互对应参照。
参见图8，图8为本发明实施例提供的一种图像平滑装置的结构图，该装置可包括：
滤波平滑模块801，用于对原始图像循环进行预设次数的双边滤波以及变换域滤波，以获得引导图像。
建立模型模块802，用于根据最小二乘法对所述原始图像、所述引导图像以及预设平滑图像构造最小二乘模型。
获取平滑图像模块803，用于利用范数定义所述预设平滑图像的像素强度以及梯度，以获得所述预设平滑图像的约束函数；根据所述最小二乘模型以及所述约束函数得到平滑能量目标函数；利用半二次***法以及交替固定变量法求解所述平滑能量目标函数，以获得平滑图像。
在一种具体实施方式中，所述获取平滑图像模块803为根据所述最小二乘法以及2-范数的平方对所述原始图像、所述引导图像以及预设平滑图像构造最小二乘模型的模块，所述最小二乘模型为：
式中，S为所述预设平滑图像，I为所述原始图像，G为所述引导图像，α为细节恢复因子。
本发明实施例所述图像平滑装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
由上可知，本发明实施例综合考虑全局特征以及局部特征，先对原始图像进行局部平滑处理，然后进行全局平滑处理，规避了局部平滑方法以及全局平滑方法的劣势，有效的利用了二者的优势。通过控制平滑图像与原始图像之间差异以及控制平滑图像与引导图像差异，增强了对原始图像中结构成分的保护，保留了图像的结构，在去除细节纹理特征的同时恢复了一些高对比度的细节，获得了好的图像平滑效果；此外，对图像进行了有效的噪声滤除，加强了边界像素的强度，有利于图像轮廓的提取，从而有利于提高图像识别的准确率与效率。
为了验证本申请提供的技术方案具有好的图像平滑效果，本申请提供了具体的实施例，请参阅图9-14，图9为待处理的原始图像，图10-13为其他算法处理过的图像，图14为本申请处理的图像，图中方框中的图为相应方框的局部放大图。由图可见，经过RTV(Relative Total Variation，相关性全变差)算法处理的图像，相近的两条线条比较模糊，无法识别；其他算法(例如RGF(Rolling Guidance Filter，循环引导滤波)和BLF(Bilateral filter，双边滤波)算法、NLGRTV(Nonlocal version of GeneralizedRelative Total Variation，非局部版本的通用相关性全变差)算法以及SSPTF(Scale-aware Structure-Preserving Texture Filtering，尺度关注结构保存纹理滤波)算法)对图像细节的平滑效果较为粗糙。可见，本申请的方法具有好的图像平滑效果。
为了验证本申请提供的技术方案具有有效的去噪效果，本申请提供了具体的实施例，请参阅图15-17，图15为待处理的原始图像，图16为经过RGF和BLF算法处理过的图像，图17为本申请处理的图像，由图可见，图16中仍有模糊的杂乱的线条，本申请提供的方法有效的去除了原始图像中杂乱的线条，获得目标对象(长方体结构的对象)。可见，本申请提供的技术方案可有效的滤除图像噪声，避免图像噪声的干扰。
为了验证本申请提供的技术方案具有增强图像的效果，本申请提供了具体的实施例，请参阅图18以及19，图18为原始图像，图19为本申请处理的图像，由图可见，经过本申请提供的方法，原始图像像素明显增强，尤其是边缘像素的强度，有利于提取图像的轮廓，从而有利于提高图像识别的准确率与效率。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的一种图像平滑方法以及装置进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
Claims (9)
1.一种图像平滑方法，其特征在于，包括：
对原始图像循环进行预设次数的双边滤波以及变换域滤波，以获得引导图像；
根据最小二乘法对所述原始图像、所述引导图像以及预设平滑图像构造最小二乘模型；
利用范数定义所述预设平滑图像的像素强度以及梯度，以获得所述预设平滑图像的约束函数；
根据所述最小二乘模型以及所述约束函数得到平滑能量目标函数；
利用半二次***法以及交替固定变量法求解所述平滑能量目标函数，以获得平滑图像；
其中，所述根据最小二乘法对所述原始图像、所述引导图像以及预设平滑图像构造最小二乘模型为：
根据所述最小二乘法以及2-范数的平方对所述原始图像、所述引导图像以及预设平滑图像构造最小二乘模型为：
式中，S为所述预设平滑图像，I为所述原始图像，G为所述引导图像，α为细节恢复因子。
2.根据权利要求1所述的图像平滑方法，其特征在于，所述利用范数定义所述预设平滑图像的像素强度以及梯度为：
利用0-范数定义所述预设平滑图像的像素强度以及梯度。
3.根据权利要求2所述的图像平滑方法，其特征在于，所述根据所述最小二乘模型以及所述约束函数得到平滑能量目标函数为：
根据所述最小二乘模型以及所述约束函数得到平滑能量目标函数为：
式中，E(S)为所述平滑能量目标函数，S为所述预设平滑图像，I为所述原始图像，G为所述引导图像，α为细节恢复因子，λ为平滑因子，为所述约束函数。
4.根据权利要求1至3任意一项所述的图像平滑方法，其特征在于，所述根据最小二乘法对所述原始图像、所述引导图像以及预设平滑图像构造最小二乘模型为：
根据所述最小二乘法对经过中值滤波的原始图像、所述引导图像以及预设平滑图像构造最小二乘模型。
5.根据权利要求4所述的图像平滑方法，其特征在于，所述对原始图像循环进行预设循环次数的双边滤波以及变换域滤波，以获得引导图像包括：
S1：获取所述原始图像、常值图像、空间权重值以及范围权重值；
S2：以所述常值图像为初始引导函数，根据变换域滤波法对所述原始图像以及所述初始引导函数进行变换域滤波，得到新引导函数；
S3：根据双边滤波法对所述原始图像以及所述新引导函数进行双边滤波，得到一次引导函数；
S4：对S2以及S3循环执行所述预设次数，以获得所述引导图像。
6.根据权利要求5所述的图像平滑方法，其特征在于，所述预设次数为3次。
7.根据权利要求6所述的图像平滑方法，其特征在于，所述空间权重值以及范围权重值为：
所述空间权重值为3；
所述范围权重值为0.01。
8.根据权利要求7所述的图像平滑方法，其特征在于，所述利用半二次***法以及交替固定变量法求解所述平滑能量目标函数，以获得平滑图像包括：
引入辅助变量替换所述平滑能量目标函数中的约束函数项；
利用所述半二次***法对替换过的平滑能量目标函数进行最小化处理，加入误差惩罚项，得到平滑最小化模型；
根据所述交替固定变量法求解所述平滑最小化模型，以获得所述平滑图像。
9.一种图像平滑装置，其特征在于，包括：
滤波平滑模块，用于对原始图像循环进行预设次数的双边滤波以及变换域滤波，以获得引导图像；
建立模型模块，用于根据最小二乘法对所述原始图像、所述引导图像以及预设平滑图像构造最小二乘模型；
获取平滑图像模块，用于利用范数定义所述预设平滑图像的像素强度以及梯度，以获得所述预设平滑图像的约束函数；根据所述最小二乘模型以及所述约束函数得到平滑能量目标函数；利用半二次***法以及交替固定变量法求解所述平滑能量目标函数，以获得平滑图像；
其中，所述建立模型模块具体用于：
根据所述最小二乘法以及2-范数的平方对所述原始图像、所述引导图像以及预设平滑图像构造最小二乘模型为：
式中，S为所述预设平滑图像，I为所述原始图像，G为所述引导图像，α为细节恢复因子。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710146581.3A CN106920222B (zh) | 2017-03-13 | 2017-03-13 | 一种图像平滑方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710146581.3A CN106920222B (zh) | 2017-03-13 | 2017-03-13 | 一种图像平滑方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106920222A CN106920222A (zh) | 2017-07-04 |
| CN106920222B true CN106920222B (zh) | 2019-11-08 |
Family
ID=59460670
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710146581.3A Active CN106920222B (zh) | 2017-03-13 | 2017-03-13 | 一种图像平滑方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106920222B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108897044A (zh) * | 2018-07-25 | 2018-11-27 | 梧州市兴能农业科技有限公司 | 一种可视化地显示地质异常体的装置 |
| CN109345478B (zh) * | 2018-09-27 | 2020-11-17 | 深圳市牧月科技有限公司 | 一种基于梯度最小化的图像平滑处理方法 |
| CN109389565A (zh) * | 2018-10-19 | 2019-02-26 | 山东大学 | 一种保持边缘和平滑度可调节的图像平滑方法 |
| CN109598680B (zh) * | 2018-10-19 | 2021-11-23 | 浙江工业大学 | 基于快速非局部均值和tv-l1模型的剪切波变换医学ct图像去噪方法 |
| CN110517201B (zh) * | 2019-08-29 | 2021-11-16 | 北京迈格威科技有限公司 | 循环保边平滑滤波的方法、装置和电子设备 |
| CN111882810B (zh) * | 2020-07-31 | 2022-07-01 | 广州市微智联科技有限公司 | 一种火灾识别与预警方法及其*** |
| CN112967195B (zh) * | 2021-03-04 | 2024-04-23 | 浙江大华技术股份有限公司 | 一种图像去噪方法、设备及计算机可读存储介质 |
| CN113436163B (zh) * | 2021-06-23 | 2023-06-09 | 四川大学 | 一种叶轮机械叶栅试验纹影图像流场特征识别处理方法 |
| CN116977227B (zh) * | 2023-09-22 | 2023-12-15 | 福建晟哲自动化科技有限公司 | 基于局部结构变差的图像平滑方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103606132A (zh) * | 2013-10-31 | 2014-02-26 | 西安电子科技大学 | 基于空域和时域联合滤波的多帧数字图像去噪方法 |
| CN104217405A (zh) * | 2014-09-23 | 2014-12-17 | 闽江学院 | 融合局部与全局信息的图像椒盐噪声滤波方法 |
| CN105023245A (zh) * | 2015-05-05 | 2015-11-04 | 苏州大学 | 强度和梯度稀疏约束下的图像平滑方法 |
-
2017
- 2017-03-13 CN CN201710146581.3A patent/CN106920222B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103606132A (zh) * | 2013-10-31 | 2014-02-26 | 西安电子科技大学 | 基于空域和时域联合滤波的多帧数字图像去噪方法 |
| CN104217405A (zh) * | 2014-09-23 | 2014-12-17 | 闽江学院 | 融合局部与全局信息的图像椒盐噪声滤波方法 |
| CN105023245A (zh) * | 2015-05-05 | 2015-11-04 | 苏州大学 | 强度和梯度稀疏约束下的图像平滑方法 |
Non-Patent Citations (2)
| Title |
|---|
| "Rolling guidance filter";Qi Zhang etc.;《European conference on computer vision.Springer》;20141231;论文第4.1-4.3节 * |
| "基于空间域和变换域的图像降噪方法研究";崔艳萌;《通讯世界》;20160531;论文1-2节 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106920222A (zh) | 2017-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106920222B (zh) | 一种图像平滑方法及装置 | |
| Jain et al. | A survey of edge-preserving image denoising methods | |
| Ta et al. | Nonlocal PDEs-based morphology on weighted graphs for image and data processing | |
| Bornemann et al. | Fast image inpainting based on coherence transport | |
| Mollenhoff et al. | The primal-dual hybrid gradient method for semiconvex splittings | |
| CN105335947A (zh) | 图像去噪方法和图像去噪装置 | |
| Ullah et al. | A new variational approach for restoring images with multiplicative noise | |
| Waheed et al. | Discrete Laplacian operator and its applications in signal processing | |
| Shahdoosti et al. | Combined ripplet and total variation image denoising methods using twin support vector machines | |
| Möllenhoff et al. | Low rank priors for color image regularization | |
| Lou et al. | Nonlocal similarity image filtering | |
| CN101739670B (zh) | 非局部均值空域时变图像滤波方法 | |
| Larsen et al. | Texture enhanced appearance models | |
| Pham | Kriging-weighted laplacian kernels for grayscale image sharpening | |
| Sun et al. | Edge guidance filtering for structure extraction | |
| Zhao et al. | Constant time texture filtering | |
| WO2009047208A1 (en) | Method of generating a multiscale contrast enhanced image | |
| Wang et al. | Image enhancement | |
| Chen et al. | A template matching approach for segmenting microscopy images | |
| Duran et al. | On the implementation of collaborative TV regularization: Application to cartoon+ texture decomposition | |
| CN113160069B (zh) | 一种基于图信号的高光谱图像去噪方法 | |
| Yadav et al. | Performance Comparison of Image Restoration techniques using CNN and their applications | |
| Xing et al. | The algorithms about fast non-localmeans based image denoising | |
| Nakamura et al. | Fast implementation of box filtering | |
| Hazavei et al. | A new method for removing the moire'pattern from images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |