CN109064434A - 图像增强的方法、装置、存储介质及计算机设备 - Google Patents
图像增强的方法、装置、存储介质及计算机设备 Download PDFInfo
- Publication number
- CN109064434A CN109064434A CN201810687742.4A CN201810687742A CN109064434A CN 109064434 A CN109064434 A CN 109064434A CN 201810687742 A CN201810687742 A CN 201810687742A CN 109064434 A CN109064434 A CN 109064434A
- Authority
- CN
- China
- Prior art keywords
- color histogram
- low
- deep learning
- quality images
- mapping relations
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000013135 deep learning Methods 0.000 claims abstract description 91
- 238000013507 mapping Methods 0.000 claims abstract description 77
- 230000002708 enhancing effect Effects 0.000 claims abstract description 66
- 238000012549 training Methods 0.000 claims abstract description 58
- 230000004913 activation Effects 0.000 claims abstract description 47
- 238000010276 construction Methods 0.000 claims abstract description 15
- 230000013016 learning Effects 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 36
- 238000012545 processing Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 5
- 230000000149 penetrating effect Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明涉及图像增强的方法及装置。所述方法包括:遍历预设的训练样本库,统计所述训练样本库中低质图像的第一颜色直方图以及对应的增强图像的第二颜色直方图;求解映射关系,使得训练样本库中低质图像的第一颜色直方图与对应的增强图像的第二颜色直方图最大程度匹配;根据所述映射关系构造深度学习网络中最后一个隐含层的激活函数;然后将待增强的低质图像输入所述深度学习网络,根据所述深度学习网络的输出得到所述低质图像对应的增强图像。通过本发明的激活函数能够缩小低质图像与增强图像在颜色空间上的差异,使深度学习网络寻优更加容易,图像增强效果更好。
Description
技术领域
本发明涉及图像处理技术领域,特别是涉及图像增强的方法、装置、存储介质及计算机设备。
背景技术
在深度学习网络结构中,一个卷积操作通常伴随着一个激活函数,目前,在深度学习网络结构中主要用ReLU及其改进版作为激活函数。
在图像增强任务中,深度学习技术已经取得了远优于传统增强方法的效果。这一类任务输入为质量较差的图像,输出为增强后的图像。为了使最终输出能够映射到图像的颜色空间内,深度学习网络的最后一层通常采用ReLU或者不采用激活函数。不使用任何激活函数的操作可以理解为采用的是一个输入等于输出的线性激活函数。当样本中低质图像与增强图像在颜色空间范围内相差很大时(例如夜景图像增强),使用ReLU或不使用激活函数,均不能较好的描述输入低质图像与输出增强图像的映射关系,因此,基于此得到的增强图像的质量效果并不理想。
发明内容
基于此,本发明提供了实现图像增强的方法及装置,能够有效提高增强图像的质量。
本发明方案包括:
一种实现图像增强的方法,包括:
遍历预设的训练样本库,统计所述训练样本库中低质图像的第一颜色直方图以及对应的增强图像的第二颜色直方图;
求解映射关系,所述映射关系能够使得训练样本库中低质图像的第一颜色直方图与对应的增强图像的第二颜色直方图最大程度匹配;
根据所述映射关系构造深度学习网络中最后一个隐含层的激活函数;
将待增强的低质图像输入所述深度学习网络,根据所述深度学习网络的输出得到所述低质图像对应的增强图像。
可选地,所述求解第一颜色直方图与第二颜色直方图之间的映射关系,包括:
通过多项式函数来拟合第一颜色直方图与第二颜色直方图之间的映射关系,所述多项式函数为:
f(x)=anxn+an-1xn-1+...+a1x+a0
其中,ai为多项式系数,i=0,1,...,n,n为设定的阶数;
对第一颜色直方图与第二颜色直方图进行直方图匹配处理,得到向量P;
令向量q为长度固定的已知向量,q中的各个向量元素分别表示不同的颜色值;通过f(q)=P求解多项式系数,根据求解出的多项式系数得到映射关系函数f()。
可选地,所述向量q为长度为256的固定向量,且q=[0,1/255,2/255,...,254/255,1]。
可选地,根据所述映射关系构造深度学习网络中最后一个隐含层的激活函数为:
其中,S(y)表示深度学习网络中最后一个隐含层的激活函数,y表示所述最后一个隐含层的输出。
可选地,所述深度学习网络为全卷积网络,且为多层网络,最后一个隐含层之外的隐含层对应的激活函数为ReLU函数。
可选地,所述颜色直方图为灰度直方图。
一种图像增强网络构建的方法,包括:
遍历预设的训练样本库,统计所述训练样本库中低质图像的第一颜色直方图以及对应的增强图像的第二颜色直方图;
求解映射关系,所述映射关系能够使得训练样本库中低质图像的第一颜色直方图与对应的增强图像的第二颜色直方图最大程度匹配;
构建用于图像增强的深度学习网络,该深度学习网络中最后一个隐含层的激活函数采用所述映射关系构造得到。
一种图像增强的方法,包括:
获取待增强的低质图像,获取预先构建的用于图像增强的深度学习网络;
将所述低质图像作为所述深度学习网络的输入,获取所述深度学习网络的对应输出;其中,所述深度学习网络中最后一个隐含层的激活函数采用映射关系构造得到,所述映射关系能够使得训练样本库中低质图像的第一颜色直方图与对应的增强图像的第二颜色直方图最大程度匹配;
根据所述输出得到所述低质图像对应的增强图像。
一种实现图像增强的装置,包括:
样本统计模块,用于遍历预设的训练样本库,统计所述训练样本库中低质图像的第一颜色直方图以及对应的增强图像的第二颜色直方图;
关系求解模块,用于求解映射关系,所述映射关系能够使得训练样本库中低质图像的第一颜色直方图与对应的增强图像的第二颜色直方图最大程度匹配;
网络构造模块,用于根据所述映射关系构造深度学习网络中最后一个隐含层的激活函数;
以及,图像增强模块,用于将待增强的低质图像输入所述深度学习网络,根据所述深度学习网络的输出得到所述低质图像对应的增强图像。
可选地,所述关系求解模块,具体用于:
通过多项式函数来拟合第一颜色直方图与第二颜色直方图之间的映射关系,所述多项式函数为:
f(x)=anxn+an-1xn-1+...+a1x+a0
其中,ai为多项式系数,i=0,1,...,n,n为设定的阶数;
对第一颜色直方图与第二颜色直方图进行直方图匹配处理,得到向量P;
令向量q为长度固定的已知向量,q中的各个向量元素分别表示不同的颜色值;通过f(q)=P求解多项式系数,根据求解出的多项式系数得到映射关系函数f()。
一种图像增强网络构建的装置,包括:
样本统计模块,用于遍历预设的训练样本库,统计所述训练样本库中低质图像的第一颜色直方图以及对应的增强图像的第二颜色直方图;
关系求解模块,用于求解映射关系,所述映射关系能够使得训练样本库中低质图像的第一颜色直方图与对应的增强图像的第二颜色直方图最大程度匹配;
网络构造模块,用于构建用于图像增强的深度学习网络,该深度学习网络中最后一个隐含层的激活函数采用所述映射关系构造得到。
一种图像增强的装置,包括:
获取模块,用于获取待增强的低质图像,获取预先构建的用于图像增强的深度学习网络;
网络处理模块,用于将所述低质图像作为所述深度学习网络的输入,获取所述深度学习网络的对应输出;其中,所述深度学习网络中最后一个隐含层的激活函数采用映射关系构造得到,所述映射关系能够使得训练样本库中低质图像的第一颜色直方图与对应的增强图像的第二颜色直方图最大程度匹配;
增强结果确定模块,用于根据所述输出得到所述低质图像对应的增强图像。
一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述任一实施例的方法的步骤。
一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述任一实施例的方法的步骤.
上述技术方案,通过遍历预设的训练样本库,统计所述训练样本库中低质图像的第一颜色直方图以及对应的增强图像的第二颜色直方图;求解映射关系,使得训练样本库中低质图像的第一颜色直方图与对应的增强图像的第二颜色直方图最大程度匹配;根据所述映射关系构造深度学习网络中最后一个隐含层的激活函数;然后将待增强的低质图像输入所述深度学习网络,根据所述深度学习网络的输出得到所述低质图像对应的增强图像。由于通过离线学习的激活函数能够缩小低质图像与增强图像在颜色空间上的差异,因此通过上述方法能够使深度学习网络寻优更加容易,图像增强效果更好。
附图说明
图1为一实施例的图像增强的方法的示意性流程图;
图2为另一实施例的图像增强的方法的示意性流程图;
图3为一实施例的图像增强的装置的示意性结构图;
图4为另一实施例的图像增强的装置的示意性结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明中的步骤虽然用标号进行了排列,但并不用于限定步骤的先后次序,除非明确说明了步骤的次序或者某步骤的执行需要其他步骤作为基础,否则步骤的相对次序是可以调整的。
图1为一实施例的实现图像增强的方法的示意性流程图;如图1所示,本实施例中的实现图像增强的方法包括步骤:
S11,遍历预设的训练样本库,统计所述训练样本库中低质图像的第一颜色直方图以及对应的增强图像的第二颜色直方图。
在一实施例中,训练样本库中包含多个低质图像和多个增强图像,每一低质图像对应一增强图像。其中,第一颜色直方图与第二颜色直方图可表示为向量形式。
S12,求解映射关系,所述映射关系能够使得训练样本库中低质图像的第一颜色直方图与对应的增强图像的第二颜色直方图最大程度匹配。
求解映射关系即是,求解第一颜色直方图与对应的第二颜色直方图之间的映射关系函数。在一可选实施例中,可以通过向量P计算该映射关系函数,其中,向量P为第对一颜色直方图与第二颜色直方图进行直方图匹配处理得到的向量,能够使得Hy≈P(Hx);其中,Hx和Hy分别表示第一颜色直方图与第二颜色直方图。
S13,根据所述映射关系构造深度学习网络中最后一个隐含层的激活函数。
在一可选实施例中,所述深度学习网络为全卷积网络,且为多层网络,最后一个隐含层之外的隐含层对应的激活函数为ReLU函数。可参考图2所示。
S14,将待增强的低质图像输入所述深度学习网络,根据所述深度学习网络的输出得到所述低质图像对应的增强图像。
通过上述实施例的的实现图像增强的方法,基于颜色直方图对训练样本库的离线学习,由此得到的激活函数能够缩小低质图像与增强图像在颜色空间上的差异,因此能够使深度学习网络寻优更加容易,图像增强效果更好。
在一实施例中,上述步骤S12中,求解映射关系的具体方式可包括:
通过多项式函数来拟合第一颜色直方图与第二颜色直方图之间的映射关系,所述多项式函数为:
f(x)=anxn+an-1xn-1+...+a1x+a0
其中,ai为多项式系数,i=0,1,...,n,n为设定的阶数。
对第一颜色直方图与第二颜色直方图进行直方图匹配处理计算,得到一向量P,使得Hy≈P(Hx);
令向量q为长度固定的已知向量,q中的各个向量元素分别表示不同的颜色值;通过f(q)=P求解多项式系数,根据求解出的多项式系数得到映射关系函数f()。具体求解过程包括:
假设qj表示向量q的第j个元素,pj表示向量P的第j个元素,那么有函数关系f(qj)=pj。待求解的多项式系数用向量A表示,即:
A=[an,an-1,......,a0]T;
对于第j个元素函数qj可描述矩阵相乘的形式:
[(qj)n(qj)n-1...(qj)1(qj)0]*A=Pj
用矩阵Q表示q向量的n阶组合形成,即
整个向量对应的函数f(q)=P可表示为:
Q*A=P
待求解的多项式系数A则为:
A=(QTQ)-1P
进一步地,在一可选实施例中,令向量q为长度为256的固定向量,且q=[0,1/255,2/255,...,254/255,1]。
进一步地,在一可选实施例中,根据所述映射关系构造深度学习网络中最后一个隐含层的激活函数为:
其中,S(y)表示深度学习网络中最后一个隐含层的激活函数,y表示所述最后一个隐含层的输出,f(y)即上述方法求解得到的映射关系函数。
在一可选实施例中,所述颜色直方图为灰度直方图,对应地,在统计所述训练样本库中低质图像的第一颜色直方图以及对应的增强图像的第二颜色直方图之前,还需将训练样本库中包含的多个低质图像和多个增强图像分别转换为对应的灰度图像,进而分别统计低质图像的灰度直方图以及增强图像的灰度直方图。
下面以基于灰度直方图的离线学习为例,对上述实现图像增强的方法作进一步的解释说明。
在图像增强的训练样本库中,每一幅低质图像X对应一幅增强图像Y。所有图像的灰度除以255,使其灰度取值为0~1之间。统计所有低质图像和增强图像的灰度直方图,分别记为Hx和Hy。Hx和Hy均为长度为256的向量。
使用直方图规定化(即直方图匹配),计算两个灰度直方图之间的映射向量P,使得Hy≈P(Hx)。直方图规定化通过输入两个直方图,能够得到一个在[0,1]区间上的向量。向量P能够使得低质图像集的直方图与增强图像集的直方图尽可能的相匹配。
其中,为了能够将映射向量P作为深度学习的激活函数,利用多项式函数f()来拟合所述映射向量P,所述多项式函数为:
f(x)=anxn+an-1xn-1+...+a1x+a0
其中,ai为多项式系数;i=0,1,...,n。n为设定的阶数。
令向量q为长度固定的已知向量,q中的各个向量元素分别表示不同的颜色值;通过f(q)=P求解多项式系数,根据求解出的多项式系数得到映射关系函数f()。
进一步地,构建深度学习网络结构
(1)构造深度学习网络中最后一个隐含层的激活函数S(x)
考虑到深度学习网络中最后一个隐含层输出y可以是任意值,结合上述步骤得到的得到映射关系函数f(y)来构造待使用的最后一个隐含层的激活函数S(y):
其中,S(y)表示深度学习网络中最后一个隐含层的激活函数,y表示所述最后一个隐含层的输出。
(2)深度学习网络的网络结构
可选地,采用全卷积网络作为深度学习的网络结构。输入及输出图像均除以255,使其灰度值在[0,1]之间。图2中给出了一个含有三个隐含层的网络结构示意图。可以理解的,网络结构并不局限于三层网络,可以是多层网络。与传统网络不同,本发明的深度学习网络在最后一个隐含层采用已构造的激活函数S(y)来增强深度学习网络性能。
与此同时,在一实施例中,还提供一种图像增强网络构建的方法,该方法的步骤包括:
遍历预设的训练样本库,统计所述训练样本库中低质图像的第一颜色直方图以及对应的增强图像的第二颜色直方图。
在一实施例中,训练样本库中包含多个低质图像和多个增强图像,每一低质图像对应一增强图像。
求解映射关系,所述映射关系能够使得训练样本库中低质图像的第一颜色直方图与对应的增强图像的第二颜色直方图最大程度匹配。
构建用于图像增强的深度学习网络,该深度学习网络中最后一个隐含层的激活函数采用所述映射关系构造得到。
在本实施例中,映射关系以及深度学习网络的具体构建方法,可以参照上述实施例对应部分的描述,不作赘述。
与此同时,在一实施例中,还提供一种图像增强的方法,该方法的步骤包括:
获取待增强的低质图像,获取预先构建的用于图像增强的深度学习网络;
将所述低质图像作为所述深度学习网络的输入,获取所述深度学习网络的对应输出;其中,所述深度学习网络中最后一个隐含层的激活函数采用映射关系构造得到,所述映射关系能够使得训练样本库中低质图像的第一颜色直方图与对应的增强图像的第二颜色直方图最大程度匹配;
根据所述输出得到所述低质图像对应的增强图像。
在本实施例中,映射关系以及深度学习网络的具体训练方法,可以参照上述实施例对应部分的描述,不作赘述。通过本实施例,得到的待增强的低质图像的增强图像的质量效果得到提升。
需要说明的是,本发明上述实施例的方法,不仅局限于处理灰度图像。当采用彩色图像(例如RGB图像)时,则通过对训练样本库中的图像的每个颜色通道学习得到一个对应的激活函数。此时,所述深度学习网络的输出也是一个多通道的彩色图像。将所得的多个激活函数作用于深度学习网络的最后一个隐含层的相应通道上,由此可得到彩色增强图像,且各个颜色通道得到的增强效果均能得到保障。
通过上述方法,针对基于深度学习的图像增强任务,利用输入输出图像之间的直方图信息构造出一个合适的激活函数,作用于深度学习网络的最后一个隐含层,令深度学习网络更加容易优化,以及图像增强效果更好。
需要说明的是,对于前述的各方法实施例,为了简便描述,将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其它顺序或者同时进行。
基于与上述方法实施例相同的思想,本发明还提供图像增强的装置以及图像增强网络构建的装置。为了便于说明,装置实施例的结构示意图中,仅仅示出了与本发明实施例相关的部分,本领域技术人员可以理解,图示结构并不构成对装置的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
图3为本发明一实施例的图像增强的装置的示意性结构图,如图3所示,本实施例的图像增强的装置包括:
样本统计模块310,用于遍历预设的训练样本库,统计所述训练样本库中低质图像的第一颜色直方图以及对应的增强图像的第二颜色直方图;所述训练样本库中包含多个低质图像和多个增强图像,且每一低质图像对应一增强图像;
关系求解模块320,用于求解第一颜色直方图与第二颜色直方图之间的映射关系,所述映射关系能够使得训练样本库中低质图像的第一颜色直方图与对应的增强图像的第二颜色直方图最大程度匹配;
网络构造模块330,用于根据所述映射关系构造深度学习网络中最后一个隐含层的激活函数;
以及,图像增强模块340,用于将待增强的低质图像输入所述深度学习网络,根据所述深度学习网络的输出得到所述低质图像对应的增强图像。
在一可选实施例中,所述关系求解模块320,具体用于:
通过多项式函数来拟合第一颜色直方图与第二颜色直方图之间的映射关系,所述多项式函数为:
f(x)=anxn+an-1xn-1+...+a1x+a0
其中,ai为多项式系数,i=0,1,...,n,n为设定的阶数;
对第一颜色直方图与第二颜色直方图进行直方图匹配处理计算,得到一向量P,使得Hy≈P(Hx);
令向量q为长度固定的已知向量,q中的各个向量元素分别表示不同的颜色值;通过f(q)=P求解多项式系数,根据求解出的多项式系数得到映射关系函数f()。
进一步地,所述网络构造模块330,具体用于:
根据所述映射关系构造深度学习网络中最后一个隐含层的激活函数为:
其中,S(y)表示深度学习网络中最后一个隐含层的激活函数,y表示所述最后一个隐含层的输出。
可选地,设定所述向量q为长度为256的固定向量,且q=[0,1/255,2/255,...,254/255,1]。
可选地,所述深度学习网络为全卷积网络,且为多层网络,最后一个隐含层之外的隐含层对应的激活函数为ReLU函数。
在一可选实施例中,所述颜色直方图为灰度直方图。
通过上述实现图像增强的装置,能够针对基于深度学习的图像增强任务,利用输入输出图像之间的直方图信息构造出一个合适的激活函数,作用于深度学习网络的最后一个隐含层,令深度学习网络更加容易优化,以及图像增强效果更好。
在一实施例中,还提供一种图像增强网络构建的装置,该装置包括:
样本统计模块,用于遍历预设的训练样本库,统计所述训练样本库中低质图像的第一颜色直方图以及对应的增强图像的第二颜色直方图;所述训练样本库中每一低质图像对应一增强图像;
关系求解模块,用于求解映射关系,所述映射关系能够使得训练样本库中低质图像的第一颜色直方图与对应的增强图像的第二颜色直方图最大程度匹配;
以及,网络构造模块,用于构建用于图像增强的深度学习网络,该深度学习网络中最后一个隐含层的激活函数采用所述映射关系构造得到。
需要说明的是,上述各模块的具体实现方式,可以参照上述方法实施例对应部分的描述,不作赘述。
在一实施例中,还提供一种图像增强的装置,例如图4所示,包括:
获取模块410,用于获取待增强的低质图像,获取预先构建的用于图像增强的深度学习网络;
网络处理模块420,用于将所述低质图像作为所述深度学习网络的输入,获取所述深度学习网络的对应输出;其中,所述深度学习网络中最后一个隐含层的激活函数采用映射关系构造得到,所述映射关系能够使得训练样本库中低质图像的第一颜色直方图与对应的增强图像的第二颜色直方图最大程度匹配;
以及,增强结果确定模块430,用于根据所述输出得到所述低质图像对应的增强图像。
需要说明的是,图4中所示各模块的具体实现方式,可以参照上述方法实施例对应部分的描述,不作赘述。其中,深度学习网络的训练方法,可以参照上述方法实施例对应部分的描述,不作赘述。
需要说明的是,上述示例的图像增强的装置和图像增强网络构建的装置的实施例中,各模块之间的信息交互、执行过程等内容,由于与本发明前述方法实施例基于同一构思,其带来的技术效果与本发明前述方法实施例相同,具体内容可参见本发明方法实施例中的叙述,此处不再赘述。
此外,上述示例的实现图像增强的装置的实施方式中,各程序模块的逻辑划分仅是举例说明,实际应用中可以根据需要,例如出于相应硬件的配置要求或者软件的实现的便利考虑,将上述功能分配由不同的程序模块完成,即将所述实现图像增强的装置的内部结构划分成不同的程序模块,以完成以上描述的全部或者部分功能。
在一个实施例中,还提供一种计算机设备,该计算机设备包括存储器、处理器,所述存储器用于存储可在处理器上运行的计算机程序,并且,该处理器执行所述程序时,能够用于实现如上述任一实施例的图像增强的方法,或者图像增强网络构建的方法。
本领域普通技术人员可以理解,实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,作为独立的产品销售或使用。所述程序在执行时,可执行如上述各方法的实施例的全部或部分步骤。
在一个实施例中,还提供一种计算机存储介质,其上存储有计算机程序,其中,该程序被处理器执行时实现如上述任一实施例的图像增强的方法,或者图像增强网络构建的方法。其中,所述计算机存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。可以理解,其中所使用的术语“第一”、“第二”等在本文中用于区分对象,但这些对象不受这些术语限制。
以上所述实施例仅表达了本发明的几种实施方式,不能理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (14)
1.一种图像增强的方法,其特征在于,包括:
遍历预设的训练样本库,统计所述训练样本库中低质图像的第一颜色直方图以及对应的增强图像的第二颜色直方图;
求解映射关系,所述映射关系能够使得训练样本库中低质图像的第一颜色直方图与对应的增强图像的第二颜色直方图最大程度匹配;
根据所述映射关系构造深度学习网络中最后一个隐含层的激活函数;
将待增强的低质图像输入所述深度学习网络,根据所述深度学习网络的输出得到所述低质图像对应的增强图像。
2.根据权利要求1所述的方法,其特征在于,所述求解映射关系,包括:
通过多项式函数来拟合第一颜色直方图与第二颜色直方图之间的映射关系,所述多项式函数为:
f(x)=anxn+an-1xn-1+...+a1x+a0
其中,ai为多项式系数,i=0,1,...,n,n为设定的阶数;
对第一颜色直方图与第二颜色直方图进行直方图匹配处理,得到向量P;
令向量q为长度固定的已知向量,q中的各个向量元素分别表示不同的颜色值;通过f(q)=P求解多项式系数,根据求解出的多项式系数得到映射关系函数f()。
3.根据权利要求2所述的方法,其特征在于,
所述向量q为长度为256的固定向量,且q=[0,1/255,2/255,...,254/255,1]。
4.根据权利要求3所述的方法,其特征在于,根据所述映射关系构造深度学习网络中最后一个隐含层的激活函数为:
其中,S(y)表示深度学习网络中最后一个隐含层的激活函数,y表示所述最后一个隐含层的输出。
5.根据权利要求1至4任一所述的方法,其特征在于,所述深度学习网络为全卷积网络,且为多层网络,最后一个隐含层之外的隐含层对应的激活函数为ReLU函数。
6.根据权利要求5所述的方法,其特征在于,所述颜色直方图为灰度直方图。
7.一种图像增强网络构建的方法,其特征在于,包括:
遍历预设的训练样本库,统计所述训练样本库中低质图像的第一颜色直方图以及对应的增强图像的第二颜色直方图;
求解映射关系,所述映射关系能够使得训练样本库中低质图像的第一颜色直方图与对应的增强图像的第二颜色直方图最大程度匹配;
构建用于图像增强的深度学习网络,该深度学习网络中最后一个隐含层的激活函数采用所述映射关系构造得到。
8.一种图像增强的方法,其特征在于,包括:
获取待增强的低质图像,获取预先构建的用于图像增强的深度学习网络;
将所述低质图像作为所述深度学习网络的输入,获取所述深度学习网络的对应输出;其中,所述深度学习网络中最后一个隐含层的激活函数采用映射关系构造得到,所述映射关系能够使得训练样本库中低质图像的第一颜色直方图与对应的增强图像的第二颜色直方图最大程度匹配;
根据所述输出得到所述低质图像对应的增强图像。
9.一种图像增强的装置,其特征在于,包括:
样本统计模块,用于遍历预设的训练样本库,统计所述训练样本库中低质图像的第一颜色直方图以及对应的增强图像的第二颜色直方图;
关系求解模块,用于求解映射关系,所述映射关系能够使得训练样本库中低质图像的第一颜色直方图与对应的增强图像的第二颜色直方图最大程度匹配;
网络构造模块,用于根据所述映射关系构造深度学习网络中最后一个隐含层的激活函数;
以及,图像增强模块,用于将待增强的低质图像输入所述深度学习网络,根据所述深度学习网络的输出得到所述低质图像对应的增强图像。
10.根据权利要求8所述的装置,其特征在于,所述关系求解模块,具体用于:
通过多项式函数来拟合第一颜色直方图与第二颜色直方图之间的映射关系,所述多项式函数为:
f(x)=anxn+an-1xn-1+...+a1x+a0
其中,ai为多项式系数,i=0,1,...,n,n为设定的阶数;
对第一颜色直方图与第二颜色直方图进行直方图匹配处理,得到向量P;
令向量q为长度固定的已知向量,q中的各个向量元素分别表示不同的颜色值;通过f(q)=P求解多项式系数,根据求解出的多项式系数得到映射关系函数f()。
11.一种图像增强网络构建的装置,其特征在于,包括:
样本统计模块,用于遍历预设的训练样本库,统计所述训练样本库中低质图像的第一颜色直方图以及对应的增强图像的第二颜色直方图;
关系求解模块,用于求解映射关系,所述映射关系能够使得训练样本库中低质图像的第一颜色直方图与对应的增强图像的第二颜色直方图最大程度匹配;
网络构造模块,用于构建用于图像增强的深度学习网络,该深度学习网络中最后一个隐含层的激活函数采用所述映射关系构造得到。
12.一种图像增强的装置,其特征在于,包括:
获取模块,用于获取待增强的低质图像,获取预先构建的用于图像增强的深度学习网络;
网络处理模块,用于将所述低质图像作为所述深度学习网络的输入,获取所述深度学习网络的对应输出;其中,所述深度学习网络中最后一个隐含层的激活函数采用映射关系构造得到,所述映射关系能够使得训练样本库中低质图像的第一颜色直方图与对应的增强图像的第二颜色直方图最大程度匹配;
增强结果确定模块,用于根据所述输出得到所述低质图像对应的增强图像。
13.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时能够实现权利要求1至8任一所述方法的步骤。
14.一种计算机设备,包括存储器以及处理器,所述存储器用于存储可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时能够实现权利要求1至8任一所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810687742.4A CN109064434B (zh) | 2018-06-28 | 2018-06-28 | 图像增强的方法、装置、存储介质及计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810687742.4A CN109064434B (zh) | 2018-06-28 | 2018-06-28 | 图像增强的方法、装置、存储介质及计算机设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109064434A true CN109064434A (zh) | 2018-12-21 |
CN109064434B CN109064434B (zh) | 2021-01-08 |
Family
ID=64817747
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810687742.4A Active CN109064434B (zh) | 2018-06-28 | 2018-06-28 | 图像增强的方法、装置、存储介质及计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109064434B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111050211A (zh) * | 2019-12-13 | 2020-04-21 | 广州酷狗计算机科技有限公司 | 视频处理方法、装置及存储介质 |
CN111091075A (zh) * | 2019-12-02 | 2020-05-01 | 北京华捷艾米科技有限公司 | 人脸识别方法、装置、电子设备及存储介质 |
CN111260593A (zh) * | 2020-01-14 | 2020-06-09 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN114662678A (zh) * | 2022-05-17 | 2022-06-24 | 华中科技大学 | 一种变激活函数卷积神经网络及其训练方法 |
CN114781628A (zh) * | 2022-03-29 | 2022-07-22 | 清华大学 | 基于忆阻器噪声的数据增强方法、装置、电子设备及介质 |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100290703A1 (en) * | 2009-05-14 | 2010-11-18 | National University Of Singapore | Enhancing Photograph Visual Quality Using Texture and Contrast Data From Near Infra-red Images |
CN102665062A (zh) * | 2012-03-16 | 2012-09-12 | 华为技术有限公司 | 一种使视频中目标物体图像稳定的方法及装置 |
CN102918562A (zh) * | 2010-02-16 | 2013-02-06 | 苹果公司 | 用于生成增强图像的方法和*** |
US20160253466A1 (en) * | 2013-10-10 | 2016-09-01 | Board Of Regents, The University Of Texas System | Systems and methods for quantitative analysis of histopathology images using multiclassifier ensemble schemes |
CN106157273A (zh) * | 2015-03-30 | 2016-11-23 | 阿里巴巴集团控股有限公司 | 生成合成图片的方法及装置 |
CN106600571A (zh) * | 2016-11-07 | 2017-04-26 | 中国科学院自动化研究所 | 融合全卷积神经网络和条件随机场的脑肿瘤自动分割方法 |
CN106780367A (zh) * | 2016-11-28 | 2017-05-31 | 上海大学 | 基于字典学习的hdr照片风格转移方法 |
US20170237961A1 (en) * | 2015-04-17 | 2017-08-17 | Google Inc. | Hardware-Based Convolutional Color Correction in Digital Images |
CN107067402A (zh) * | 2016-01-28 | 2017-08-18 | 太豪生医股份有限公司 | 医疗图像处理装置及其***图像处理方法 |
CN107230187A (zh) * | 2016-03-25 | 2017-10-03 | 北京三星通信技术研究有限公司 | 多媒体信息处理的方法和装置 |
CN107563350A (zh) * | 2017-09-21 | 2018-01-09 | 深圳市唯特视科技有限公司 | 一种基于尺度建议网络的人脸检测方法 |
CN107729379A (zh) * | 2017-09-15 | 2018-02-23 | 中原智慧城市设计研究院有限公司 | 基于深度学习算法的特定车辆检索方法 |
US20180068463A1 (en) * | 2016-09-02 | 2018-03-08 | Artomatix Ltd. | Systems and Methods for Providing Convolutional Neural Network Based Image Synthesis Using Stable and Controllable Parametric Models, a Multiscale Synthesis Framework and Novel Network Architectures |
CN108038846A (zh) * | 2017-12-04 | 2018-05-15 | 国网山东省电力公司电力科学研究院 | 基于多层卷积神经网络的输电线路设备图像缺陷检测方法及*** |
CN108108677A (zh) * | 2017-12-12 | 2018-06-01 | 重庆邮电大学 | 一种基于改进的cnn人脸表情识别方法 |
-
2018
- 2018-06-28 CN CN201810687742.4A patent/CN109064434B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100290703A1 (en) * | 2009-05-14 | 2010-11-18 | National University Of Singapore | Enhancing Photograph Visual Quality Using Texture and Contrast Data From Near Infra-red Images |
CN102918562A (zh) * | 2010-02-16 | 2013-02-06 | 苹果公司 | 用于生成增强图像的方法和*** |
CN102665062A (zh) * | 2012-03-16 | 2012-09-12 | 华为技术有限公司 | 一种使视频中目标物体图像稳定的方法及装置 |
US20160253466A1 (en) * | 2013-10-10 | 2016-09-01 | Board Of Regents, The University Of Texas System | Systems and methods for quantitative analysis of histopathology images using multiclassifier ensemble schemes |
CN106157273A (zh) * | 2015-03-30 | 2016-11-23 | 阿里巴巴集团控股有限公司 | 生成合成图片的方法及装置 |
US20170237961A1 (en) * | 2015-04-17 | 2017-08-17 | Google Inc. | Hardware-Based Convolutional Color Correction in Digital Images |
CN107067402A (zh) * | 2016-01-28 | 2017-08-18 | 太豪生医股份有限公司 | 医疗图像处理装置及其***图像处理方法 |
CN107230187A (zh) * | 2016-03-25 | 2017-10-03 | 北京三星通信技术研究有限公司 | 多媒体信息处理的方法和装置 |
US20180068463A1 (en) * | 2016-09-02 | 2018-03-08 | Artomatix Ltd. | Systems and Methods for Providing Convolutional Neural Network Based Image Synthesis Using Stable and Controllable Parametric Models, a Multiscale Synthesis Framework and Novel Network Architectures |
CN106600571A (zh) * | 2016-11-07 | 2017-04-26 | 中国科学院自动化研究所 | 融合全卷积神经网络和条件随机场的脑肿瘤自动分割方法 |
CN106780367A (zh) * | 2016-11-28 | 2017-05-31 | 上海大学 | 基于字典学习的hdr照片风格转移方法 |
CN107729379A (zh) * | 2017-09-15 | 2018-02-23 | 中原智慧城市设计研究院有限公司 | 基于深度学习算法的特定车辆检索方法 |
CN107563350A (zh) * | 2017-09-21 | 2018-01-09 | 深圳市唯特视科技有限公司 | 一种基于尺度建议网络的人脸检测方法 |
CN108038846A (zh) * | 2017-12-04 | 2018-05-15 | 国网山东省电力公司电力科学研究院 | 基于多层卷积神经网络的输电线路设备图像缺陷检测方法及*** |
CN108108677A (zh) * | 2017-12-12 | 2018-06-01 | 重庆邮电大学 | 一种基于改进的cnn人脸表情识别方法 |
Non-Patent Citations (5)
Title |
---|
XIAFENG YANG ET.AL: ""An Adaptive Edge Enhancement Method Based on Histogram Matching for Ultrasound Images"", 《2010 INTERNATIONAL CONFERENCE ON COMPUTATIONAL AND INFORMATION SCIENCES》 * |
XIAOYING WANG ET.AL: ""Improved(STEM) cell segmentation with histogram matching image contrast enhancement"", 《2015 IEEE CHINA SUMMIT AND INTERNATIONAL CONFERENCE ON SIGNAL AND INFORMATION PROCESSING》 * |
周妍 等: ""基于非下采样Contourlet变换系数直方图匹配的自适应图像增强"", 《光学精密工程》 * |
胡中中: ""图像信息多层次融合技术的研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
胡刚毅 等: ""一种基于细胞神经网络的直方图均衡化红外图像增强算法"", 《电脑知识与技术》 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111091075A (zh) * | 2019-12-02 | 2020-05-01 | 北京华捷艾米科技有限公司 | 人脸识别方法、装置、电子设备及存储介质 |
CN111091075B (zh) * | 2019-12-02 | 2023-09-05 | 北京华捷艾米科技有限公司 | 人脸识别方法、装置、电子设备及存储介质 |
CN111050211A (zh) * | 2019-12-13 | 2020-04-21 | 广州酷狗计算机科技有限公司 | 视频处理方法、装置及存储介质 |
CN111050211B (zh) * | 2019-12-13 | 2021-10-26 | 广州酷狗计算机科技有限公司 | 视频处理方法、装置及存储介质 |
CN111260593A (zh) * | 2020-01-14 | 2020-06-09 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、电子设备及存储介质 |
WO2021143241A1 (zh) * | 2020-01-14 | 2021-07-22 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN111260593B (zh) * | 2020-01-14 | 2023-03-14 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN114781628A (zh) * | 2022-03-29 | 2022-07-22 | 清华大学 | 基于忆阻器噪声的数据增强方法、装置、电子设备及介质 |
CN114662678A (zh) * | 2022-05-17 | 2022-06-24 | 华中科技大学 | 一种变激活函数卷积神经网络及其训练方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109064434B (zh) | 2021-01-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109064434A (zh) | 图像增强的方法、装置、存储介质及计算机设备 | |
CN105359190B (zh) | 根据单个图像估计深度 | |
CN105184366B (zh) | 一种时分复用的通用神经网络处理器 | |
CN111754596B (zh) | 编辑模型生成、人脸图像编辑方法、装置、设备及介质 | |
CN107358293B (zh) | 一种神经网络训练方法及装置 | |
Xu et al. | Ask, attend and answer: Exploring question-guided spatial attention for visual question answering | |
CN110503074A (zh) | 视频帧的信息标注方法、装置、设备及存储介质 | |
CN106548192B (zh) | 基于神经网络的图像处理方法、装置和电子设备 | |
CN109919316A (zh) | 获取网络表示学习向量的方法、装置和设备及存储介质 | |
CN110309856A (zh) | 图像分类方法、神经网络的训练方法及装置 | |
CN106780512A (zh) | 分割图像的方法、应用及计算设备 | |
CN108985317A (zh) | 一种基于可分离卷积和注意力机制的图像分类方法 | |
CN110288614A (zh) | 图像处理方法、装置、设备及存储介质 | |
CN108829763A (zh) | 一种基于深度神经网络的影评网站用户的属性预测方法 | |
CN111681177B (zh) | 视频处理方法及装置、计算机可读存储介质、电子设备 | |
CN106599805A (zh) | 一种基于有监督数据驱动的单目视频深度估计方法 | |
CN108235116A (zh) | 特征传播方法和装置、电子设备、程序和介质 | |
CN109919209A (zh) | 一种领域自适应深度学习方法及可读存储介质 | |
CN109657715A (zh) | 一种语义分割方法、装置、设备及介质 | |
CN115830402A (zh) | 一种细粒度图像识别分类模型训练方法、装置及设备 | |
CN112214616B (zh) | 知识图谱流畅展示方法、装置 | |
CN110489574A (zh) | 一种多媒体信息推荐方法、装置和相关设备 | |
CN109408669A (zh) | 一种针对不同应用场景的内容审核方法及装置 | |
CN109919112A (zh) | 一种复杂场景中流动人群的分布与计数检测的方法 | |
CN115620190A (zh) | 基于数据分析的联合鉴别平台 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |