CN109493296A - 图像增强方法、装置、电子设备及计算机可读介质 - Google Patents

图像增强方法、装置、电子设备及计算机可读介质 Download PDF

Info

Publication number
CN109493296A
CN109493296A CN201811291358.9A CN201811291358A CN109493296A CN 109493296 A CN109493296 A CN 109493296A CN 201811291358 A CN201811291358 A CN 201811291358A CN 109493296 A CN109493296 A CN 109493296A
Authority
CN
China
Prior art keywords
image
neural network
convolutional neural
deep convolutional
image enhancement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811291358.9A
Other languages
English (en)
Inventor
朱兴杰
刘岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taikang Insurance Group Co Ltd
Original Assignee
Taikang Insurance Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taikang Insurance Group Co Ltd filed Critical Taikang Insurance Group Co Ltd
Priority to CN201811291358.9A priority Critical patent/CN109493296A/zh
Publication of CN109493296A publication Critical patent/CN109493296A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本公开涉及一种图像增强方法、装置、电子设备及计算机可读介质。涉及图像处理领域,该方法包括:对原始图像进行预处理,生成标准图像;对所述标准图像进行颜色校正,生成校正图像;以及将所述校正图像输入图像增强模型中获取增强图像;其中,所述图像增强模型为包含非固定层数的深度卷积神经网络模型。本公开涉及的图像增强方法、装置、电子设备及计算机可读介质,能够提升图像增强的效果,高效解决图像资料结构化处理的问题,提高面部识别时候的认证效率,同时节省了大量的人力成本。

Description

图像增强方法、装置、电子设备及计算机可读介质
技术领域
本公开涉及计算机信息处理领域,具体而言,涉及一种图像增强方 法、装置、电子设备及计算机可读介质。
背景技术
随着各种数字仪器和数码产品的普及,图像和视频已成为人类活动中 最常用的信息载体,它们包含着物体的大量信息,成为人们获取外界原始 信息的主要途径。然而由于拍摄操作或者拍摄环境因素等影响,我们获得 的图像经常会出现模糊、失真等现象。并且图像在生成、传输、记录和存 储的过程中,因为存在成像***、传输介质和记录设备的不完备,不可避 免的受到各类不利因素影响,使图像信息丢失、质量下降。图像增强就是 通过对模糊图像进行处理而恢复清晰图像的过程。图像增强技术一直是图 像处理和计算机视觉研究的热点。
然而,由于图像通常存在噪声,图像增强过程中,模糊因子和清晰图 像均为未知,而已知量通常只有观测到的模糊图像,因此求解该问题时未 知量多余已知量。图像增强存在很多的不可靠性。
因此,需要一种新的图像增强方法、装置、电子设备及计算机可读 介质。
在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的 理解,因此它可以包括不构成对本领域普通技术人员已知的现有技术的 信息。
发明内容
有鉴于此,本公开提供一种图像增强方法、装置、电子设备及计算 机可读介质,能够提升图像增强的效果,高效解决图像资料结构化处理 的问题,提高面部识别时候的认证效率,同时节省了大量的人力成本。
本公开的其他特性和优点将通过下面的详细描述变得显然,或部分 地通过本公开的实践而习得。
根据本公开的一方面,提出一种图像增强方法,包括:对原始图像 进行预处理,生成标准图像;对所述标准图像进行颜色校正,生成校正 图像;以及将所述校正图像输入图像增强模型中获取增强图像;其中, 所述图像增强模型为包含非固定层数的深度卷积神经网络模型。
在本公开的一种示例性实施例中,还包括:通过图像数据训练深度卷 积神经网络以获取所述图像增强模型。
在本公开的一种示例性实施例中,通过图像数据训练深度卷积神经网 络以获取所述图像增强模型包括:确定深度卷积神经网络的层数;确定深 度卷积神经网络的激活函数;确定深度卷积神经网络的损失函数;以及将 图像训练数据与图像对照数据输入所述深度卷积神经网络中,通过训练获 取所述图像增强模型。
在本公开的一种示例性实施例中,确定深度卷积神经网络的层数包括: 通过深度卷积神经网络的输出的增强图像确定深度卷积神经网络的层数;
其中,d为深度卷积神经网络的层数,s为深度卷积神经网络的增强 图像中像素点在原始图像上的映射区域,n为深度卷积神经网络的滤波器 尺寸。
在本公开的一种示例性实施例中,深度卷积神经网络的激活函数为 ReLU激活函数。
在本公开的一种示例性实施例中,确定深度卷积神经网络的损失函数 包括:
其中,为损失函数,为训练使用的噪声图像,yi为输入 的图像训练数据,xi为图像对照数据,n为训练图像数量。
在本公开的一种示例性实施例中,对原始图像进行预处理,生成标准 图像包括以下情况至少一者:对原始图像进行归一化处理,生成标准图像; 对原始图像进行标准化处理,生成标准图像;以及调整原始图像的分辨率, 生成标准图像。
在本公开的一种示例性实施例中,对所述标准图像进行颜色校正,生 成校正图像包括:将所述标准图像由三原色空间转换到YCbCr空间;以及对 YCbCr空间的标准图像进行颜色校正,生成所述校正图像。
在本公开的一种示例性实施例中,将所述校正图像输入图像增强模型 中获取增强图像包括:将所述校正图像输入图像增强模型的带有激活函数 的卷积层,得到第一数据;将第一数据输入多个带有激活函数的卷积归一 层,得到第二数据;将第二数据输入卷积层以获取所述增强图像。
在本公开的一种示例性实施例中,将所述校正图像输入图像增强模型 中获取增强图像还包括:在每次卷积计算之后,均对计算结果进行边界处 理。
在本公开的一种示例性实施例中,将所述校正图像输入图像增强模型 中获取增强图像之前还包括:通过维纳滤波对所述校正图像进行去模糊处 理。
根据本公开的一方面,提出一种图像增强装置,该装置包括:预处理 模块,用于对原始图像进行预处理,生成标准图像;颜色校正模块,用于 对所述标准图像进行颜色校正,生成校正图像;图像增强模块,用于将所 述校正图像输入图像增强模型中获取增强图像;其中,所述图像增强模型 为包含非固定层数的深度卷积神经网络模型。
在本公开的一种示例性实施例中,还包括:训练模块,用于通过图像 数据训练深度卷积神经网络以获取所述图像增强模型。
根据本公开的一方面,提出一种电子设备,该电子设备包括:一个 或多个处理器;存储装置,用于存储一个或多个程序;当一个或多个程 序被一个或多个处理器执行,使得一个或多个处理器实现如上文的方 法。
根据本公开的一方面,提出一种计算机可读介质,其上存储有计算 机程序,该程序被处理器执行时实现如上文中的方法。
根据本公开的图像增强方法、装置、电子设备及计算机可读介质,能 够提升图像增强的效果,高效解决图像资料结构化处理的问题,提高面 部识别时候的认证效率,同时节省了大量的人力成本。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的, 并不能限制本公开。
附图说明
通过参照附图详细描述其示例实施例,本公开的上述和其它目标、 特征及优点将变得更加显而易见。下面描述的附图仅仅是本公开的一些 实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提 下,还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的一种图像增强方法的流程图。
图2是根据一示例性实施例示出的一种图像增强方法的应用场景图。
图3是根据一示例性实施例示出的一种图像增强方法的应用场景图。
图4是根据另一示例性实施例示出的一种图像增强方法的流程图。
图5是根据另一示例性实施例示出的一种图像增强方法的流程图。
图6是根据另一示例性实施例示出的一种图像增强方法的示意图。
图7是根据另一示例性实施例示出的一种图像增强方法的流程图。
图8是根据一示例性实施例示出的一种图像增强装置的框图。
图9是根据另一示例性实施例示出的一种图像增强装置的框图。
图10是根据一示例性实施例示出的一种电子设备的框图。
图11是根据一示例性实施例示出一种计算机可读存储介质示意图。
具体实施方式
现在将参考附图更全面地描述示例实施例。然而,示例实施例能够以 多种形式实施,且不应被理解为限于在此阐述的实施例;相反,提供这些 实施例使得本公开将全面和完整,并将示例实施例的构思全面地传达给本 领域的技术人员。在图中相同的附图标记表示相同或类似的部分,因而将 省略对它们的重复描述。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个 或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本公开 的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本公开 的技术方案而没有特定细节中的一个或更多,或者可以采用其它的方法、 组元、装置、步骤等。在其它情况下,不详细示出或描述公知方法、装置、 实现或者操作以避免模糊本公开的各方面。
附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实 体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个 硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装 置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操 作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以 分解,而有的操作/步骤可以合并或部分合并,因此实际执行的顺序有可 能根据实际情况改变。
应理解,虽然本文中可能使用术语第一、第二、第三等来描述各种组 件,但这些组件不应受这些术语限制。这些术语乃用以区分一组件与另一 组件。因此,下文论述的第一组件可称为第二组件而不偏离本公开概念的 教示。如本文中所使用,术语“及/或”包括相关联的列出项目中的任一 个及一或多者的所有组合。
本领域技术人员可以理解,附图只是示例实施例的示意图,附图中的 模块或流程并不一定是实施本公开所必须的,因此不能用于限制本公开的 保护范围。
本申请的发明人发现,数字图像增强技术结合了模式识别、机器学习、 人工智能以及视觉神经生理学等多个交叉学科。现有的图像增强方法大多 数是基于图像的概率先验模型,即对于给定的模糊图像和模糊核,找到潜 在的清晰图像的最大后验概率估计。随着大数据和机器学习的兴起,众多 学者开始尝试将机器学习用于图像的增强方法中,受到广泛关注的浅层学 习方法可以看做人工神经网络模型从大量训练样本中学习统计规律,实现 对未知事件做预测。本申请的发明人认为这种基于统计的机器学习方法比 基于人工规则的***在很多方面显示优越性。
图像增强是根据观测到的模糊图像估计原始清晰图像,它是一类逆问 题。因为图像增强过程中,模糊因子和清晰图像均为未知,而已知量通常 只有观测到的模糊图像,因此求解该问题时未知量多余已知量。图像增强 存在不可靠性,目前主要通过空域和频域的参数估计方法,利于基于高频 能量分析、hough变换和Radon变换对图像频谱计算模糊参数;并根据受 约束最小二乘滤波、维纳滤波、逆滤波等方法求得清晰图像。然而,由于 图像通常存在噪声,并且模糊参数估计一般不够准确,这些反卷积算法得 到的清晰图像通常会存在各种瑕疵。基于以上问题,本文提出了一种新的 图像增强方法,该方法在一定程度上解决了现有技术方案遇到的一些技术 难题。
下面是对本申请中图像增强方法的详细说明:
图1是根据一示例性实施例示出的一种图像增强方法的流程图。图像 增强方法10至少包括步骤S102至S106。
如图1所示,在S102中,对原始图像进行预处理,生成标准图像。 由于输入的图像来源的不同,图像分辨率会有很大的不同。为了后续处理 的一致性,需要对原始图像进行预处理。
在一个实施例中,对原始图像进行预处理,生成标准图像包括以下情 况至少一者:对原始图像进行归一化处理,生成标准图像;对原始图像进 行标准化处理,生成标准图像;以及调整原始图像的分辨率,生成标准图 像。
在S104中,对所述标准图像进行颜色校正,生成校正图像。可例如 通过白平衡算法对图像进行颜色矫正,该步骤可以有效的处理图像偏色等 导致的图像质量不清晰情况,具体包括:将所述标准图像由三原色空间转 换到YCbCr空间;以及对YCbCr空间的标准图像进行颜色校正,生成所述校 正图像。
其中,三原色色彩空间RGB(red,green,blue)是工业界的一种颜色 标准,是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互 之间的叠加来得到各式各样的颜色的,RGB即是代表红、绿、蓝三个通道 的颜色,这个标准几乎包括了人类视力所能感知的所有颜色,是目前运用 最广的颜色***之一。
YCbCr颜色空间将亮度作由它的主要组件,YCbCr通常会用于影片中的影 像连续处理,或是数字摄影***中。YCbCr中Y是指亮度分量,Cb指蓝色色 度分量,而Cr指红色色度分量。
由于用户的肉眼对视频的Y分量更敏感,因此在通过对色度分量进行 子采样来减少色度分量后,用户肉眼察觉不到的图像质量的变化。因此将 原有的三原色色彩空间中的图像转换为YCbCr空间之后,采用YCbCr颜色空 间来保存原始图像,在保留了图像的清晰度的基础上,还可以节约存储空 间。
在S106中,将所述校正图像输入图像增强模型中获取增强图像,其 中,所述图像增强模型为包含非固定层数的深度卷积神经网络模型。
在一个实施例中,预先从大量训练数据中学习模糊图像和其对应清晰 图像之间的映射模型,并给定一组模糊图像{Pi}和他们对应的清晰图像 {Pi F}。通过深度卷积神经网络模型对上述数据进行训练,获取图像增强模 型。
在一个实施例中,该图像增强模型具有非固定的卷积层数,层数可通 过深度卷积神经网络的输出的增强图像确定;
其中,d为深度卷积神经网络的层数,s为深度卷积神经网络的增强 图像中像素点在原始图像上的映射区域,n为深度卷积神经网络的滤波器 尺寸。即为,可通过比对增强图像中的像素点在原始图像上映射区域的大 小,进而确定图像增强模型的计算层数。
可例如,指定图像增强模型中卷积滤波器大小为n*n,在某些使用场 景中,对于图像清晰度需求不严格,增强图像中像素点在原始图像上的映 射区域择可确定的较小,在滤波器不变的情况下,最终确定的图像增强模 型的中深度卷积神经网络计算层数较少。
在一个实施例中,图像增强模型中的深度卷积神经网络的激活函数为 修正线性单元(Rectified linear unit,ReLU)。ReLU函数是分段线性 函数,把所有的负值都变为0,而正值不变,这种操作被成为单侧抑制。 通过单侧抑制,使得本申请图像增强模型中的神经网络中的神经元具有了 稀疏激活性。
通过ReLU实现稀疏后的图像增强模型能够更好地挖掘相关特征,拟 合训练数据。对于线性函数而言,ReLU的表达能力更强;而对于非线性 函数而言,ReLU由于非负区间的梯度为常数,因此不存在梯度消失问题, 使得图像增强模型的收敛速度维持在一个稳定状态。
在一个实施例中,将所述校正图像输入图像增强模型的带有激活函数 的卷积层,得到第一数据;将第一数据输入多个带有激活函数的卷积归一 层,得到第二数据;将第二数据输入卷积层以获取所述增强图像。校正图 像在图像增强模型中的具体处理过程,将在后文对照图6的实施例进行描 述。
根据本公开的图像增强方法,通过将原始图像进过预处理与白平衡处 理之后,输入到通过深度卷积神经网络建立的图像增强模型中,以获取增 强后的图像的方式,能够提升图像增强的效果。
图2是根据一示例性实施例示出的一种图像增强方法的应用场景图。
如图2所示,在保险赔付领域,客户在办理理赔的过程中都需要上传 身份证等图像相关信息,而这些信息在拍摄和传输的过程中往往会存在一 些噪声,在对数字图像进行结构化识别时,由于图像质量较差,而无法及 时识别到图像的内容。随着信息量的增加,而人工逐个的查看校验也变的 越来越难以控制。
根据本公开的图像增强方法,首先对待识别的证件图像进行图像增强 处理,根据增强图像进行后续的结构化识别,能够提高文字识别处理的效 率和实时性,能够非常高效的解决资料结构化处理的问题,同时节省了大 量的人力成本。
图3是根据一示例性实施例示出的一种图像增强方法的应用场景图。
如图3所示,随着信息化程度的提高,客户通过移动端购买保险的意 愿逐渐增强。客户线上购买后往往需要对客户进行人脸识别来校验客户信 息,而客户在拍摄或者上传本人人脸照片的过程中由于各种因素的影响, 人脸图像质量往往会存在一些噪点信息。而对于这类情况,通常需要人工 进行校验或者线下客户拜访的方式解决。
为了提高客户的一次认证通过率,减少客户在购买保险的人工干预, 根据本公开的图像增强方法,通过对待识别的人脸照片图像进行图像增强 处理,通过增强图像再继续进行人脸识别,能够极大的提高认证通过率, 也能够最大程度的提高客户满意度并大大节省人工成本。
应清楚地理解,本公开描述了如何形成和使用特定示例,但本公开 的原理不限于这些示例的任何细节。相反,基于本公开公开的内容的教 导,这些原理能够应用于许多其它实施例。
图4是根据另一示例性实施例示出的一种图像增强方法的流程图。 图4示例性的说明了“通过图像数据训练深度卷积神经网络以获取所述图 像增强模型”的具体过程。
如图4所示,在S402中,确定深度卷积神经网络的层数。给定卷积 滤波器大小为n*n,由于本实施例中预测模型为输入图像对应的清晰图像, 则在原有的深度卷积神经网络模型的基础上,在卷积网络中删除了对应的 池化层,本实施例中图像增强模型对应的深度卷积神经网络的层数为d 可以根据以下公式定义;
其中,d为深度卷积神经网络的层数,s为深度卷积神经网络的增强 图像中像素点在原始图像上的映射区域,n为深度卷积神经网络的滤波器 尺寸。
在S404中,确定深度卷积神经网络的激活函数。其中,深度卷积神 经网络的激活函数为ReLU激活函数。
在S406中,确定深度卷积神经网络的损失函数。失函数是模型对数 据拟合程度的反映,拟合的越差,损失函数的值就应该越大,同时在损失 函数在比较大时,它对应的梯度也要比较大,这样的话在本实施例中的数 据训练的过程中,更新变量就可以更新的更快一点。在本实施例中,深度 卷积神经网络的损失函数包括:
其中,为损失函数,为训练使用的噪声图像,yi为输入 的图像训练数据,xi为图像对照数据,n为训练图像数量。
在S408中,将图像训练数据与图像对照数据输入所述深度卷积神经 网络中,通过训练获取所述图像增强模型。可预先从大量训练数据获取学 习模糊图像和其对应清晰图像,给定一组模糊图像{Pi}和他们对应的清晰 图像{Pi F},将模糊图像作为图像训练数据,将清晰图像作为图像对照数据 输入参数设定完毕的所述深度卷积神经网络中,通过训练获取所述图像增 强模型。
根据本公开的图像增强方法,结合实际情况,通过特定结构,特定参 数的深度卷积神经网络,对模糊图像和其对应清晰图像进行学习,获取图 像增强模型的方式,能够获得准确有效的图像增强模型。
图5是根据另一示例性实施例示出的一种图像增强方法的流程图。 如图5所示的图像增强方法的流程图50是对图1所示的图像增强方法的 流程图10中“对所述标准图像进行颜色校正,生成校正图像”的详细描 述。
如图5所示,在S502中,将所述标准图像由三原色空间转换到YCbCr空 间。将图像从RGB颜色空间转换到YCbCr空间,转换公式可如下所示:
其中R,G,B,分别表示RGB颜色空间上不通颜色通道的值。
在S504中,计算子图方差。基于YCbCr空间图,将图像根据一定规则 划分子图,并计算每个子图的均值和方差。具体的,对图像进行分割为 小大为h*w的子图sub_P(x,y)i,并分别计算Cr,Cb的平均值Mr,Mb。根 据Mr,Mb,通过下面公式计算Cr,Cb的方差Dr,Db
在S506中,确定白色参考点。基于上文中,不同通道的方差值,计 算并得到图像中“白色参考点”。具体的如公式下所示。
设一个“白色参考点”的亮度矩阵RL,大小为w*h。若符合判别式, 则作为“白色参考点”,并把该点(i,j)的亮度(Y分量)值赋给RL(i,j); 若不符合,则该点的RL(i,j)值为0。并选取参考“白色参考点”中最大的 10%的亮度(Y分量)值,并选取其中的最小值Lu_min。
在S508中,基于所述参考点进行对所述标准图像进行颜色校正,生 成校正图像。基于所述参考点的亮度矩阵RL,调整RL
若RL(i,j))<Lu_min,RL(i,j)=0;
否则,RL(i,j)=1;
分别把R,G,B与RL相乘,得到R2,G2,B2。并分别计算R2,G2, B2的平均值,Rav,Gav,Bav;得到调整增益计算方法如下公式所示。
其中Ymax为亮度图像中最大值。通过下文公式对图像进行颜色矫正。 具体的如下公式所示。
图6是根据另一示例性实施例示出的一种图像增强方法的示意图。 如图6所示的图像增强方法的流程图是对图1所示的图像增强方法的流程 图10中“将所述校正图像输入图像增强模型中获取增强图像”的详细描 述。
本申请实施例中的图像增强模型给包含三种类型的层结构:
对于第一层,可设置W个3*3个滤波器,并使用ReLU激活函数, ReLU激活函数可以定义为:
同理,对于第二层到倒数第二层,可在每第一层的基础上加上了归 一化方法。对于最后一层,可使用W个3*3的滤波器进行卷积,得到最后 的增强图像。
在一个实施例中,将所述校正图像输入图像增强模型中获取增强图像 还包括:在每次卷积计算之后,均对计算结果进行边界处理。具体可为: 在每层卷积之后,为了使输入图像与输出图像的分辨率一致,对每层的 卷积结果进行边界处理。可例如对边界全部进行置0填充,从而在保持 图像原尺寸的基础之上,不增加额外的噪点信息。
图7是根据另一示例性实施例示出的一种图像增强方法的流程图。 如图7所示的图像增强方法的流程图70在图1所示的图像增强方法的流 程图10的基础上,增加了“通过维纳滤波对所述校正图像进行去模糊处 理”的过程。
在S702中,原始图像输入。
在S704中,图像预处理。
在S706中,基于白平衡算法的颜色修正。
在S708中,基于维纳滤波的图像去模糊。
在S710中,基于深度卷积神经网络的图像增强。
在S712中,输出增强图像。
在一个实施例中,首先对白平衡算法的颜色修正后的模糊图像Po(x,y)进 行二维傅里叶变换得到频域G(u,v);计算离焦模糊的点扩散函数(PSF)h(x,y), 对其进行二维傅里叶变换得到频域的H(u,v)和复共轭H*(u,v)。
然后根据下式构造维纳滤波器函数;将频域G(u,v)的频谱与维纳滤波器 频谱根据式运算,便可得到去模糊后的图像频谱F(u,v),如下公式所示。
其中|H(u,v)|2=H(u,v)H*(u,v),在实际应用中,可根据处理的效果选 取合适的K值。
根据本公开的图像增强方法,通过使用维纳滤波(最小均方误差滤 波)对图像进行去模糊操作,能够减小原始图像中的噪声污染现象。
根据本公开的图像增强方法,通过基于多步骤的图像增强方法,该 方法通过对模糊图像进行不同方向的增强,从而加强算法的有效性;
根据本公开的图像增强方法,提出了一种基于深度学习方法的图像 增强方法,在不影响算法性能的基础上,大大的优化了图像增强的效 果。
本领域技术人员可以理解实现上述实施例的全部或部分步骤被实现 为由CPU执行的计算机程序。在该计算机程序被CPU执行时,执行本公 开提供的上述方法所限定的上述功能。所述的程序可以存储于一种计算 机可读存储介质中,该存储介质可以是只读存储器,磁盘或光盘等。
此外,需要注意的是,上述附图仅是根据本公开示例性实施例的方 法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图 所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解, 这些处理可以是例如在多个模块中同步或异步执行的。
下述为本公开装置实施例,可以用于执行本公开方法实施例。对于 本公开装置实施例中未披露的细节,请参照本公开方法实施例。
图8是根据一示例性实施例示出的一种图像增强装置的框图。如图8 所示图像增强装置80包括:预处理模块802,颜色校正模块804,以及图 像增强模块806。
预处理模块802用于对原始图像进行预处理,生成标准图像;例如, 对原始图像进行归一化处理,生成标准图像;对原始图像进行标准化处理, 生成标准图像;以及调整原始图像的分辨率,生成标准图像。
颜色校正模块804用于对所述标准图像进行颜色校正,生成校正图像; 可例如通过白平衡算法对图像进行颜色矫正,该步骤可以有效的处理图像 偏色等导致的图像质量不清晰情况,具体包括:将所述标准图像由三原色 空间转换到YCbCr空间;以及对YCbCr空间的标准图像进行颜色校正,生成 所述校正图像。
图像增强模块806用于将所述校正图像输入图像增强模型中获取增 强图像;其中,所述图像增强模型为包含非固定层数的深度卷积神经网络 模型。将所述校正图像输入图像增强模型的带有激活函数的卷积层,得到 第一数据;将第一数据输入多个带有激活函数的卷积归一层,得到第二数 据;将第二数据输入卷积层以获取所述增强图像。校正图像在图像增强模 型中的具体处理过程,将在后文对照图6的实施例进行描述。
根据本公开的图像增强装置,通过将原始图像进过预处理与白平衡处 理之后,输入到通过深度卷积神经网络建立的图像增强模型中,以获取增 强后的图像的方式,能够提升图像增强的效果。
图9是根据另一示例性实施例示出的一种图像增强装置的框图。如 图9所示的图像增强装置90在如图8所示的图像增强装置80的基础上还 包括:训练模块902,滤波模块904。
训练模块902用于通过图像数据训练深度卷积神经网络以获取所述 图像增强模型。例如,预先从大量训练数据中学习模糊图像和其对应清晰 图像之间的映射模型,并给定一组模糊图像{Pi}和他们对应的清晰图像 {Pi F}。通过深度卷积神经网络模型对上述数据进行训练,获取图像增强模 型。
滤波模块904用于通过维纳滤波对所述校正图像进行去模糊处理。例 如,对白平衡算法的颜色修正后的模糊图像Po(x,y)进行二维傅里叶变换得 到频域G(u,v);然后构造维纳滤波器函数;将频域G(u,v)的频谱与维纳 滤波器频谱根据式运算,便可得到去模糊后的图像频谱F(u,v)。
图10是根据一示例性实施例示出的一种电子设备的框图。
下面参照图10来描述根据本公开的这种实施方式的电子设备200。 图10显示的电子设备200仅仅是一个示例,不应对本公开实施例的功能 和使用范围带来任何限制。
如图10所示,电子设备200以通用计算设备的形式表现。电子设备 200的组件可以包括但不限于:至少一个处理单元210、至少一个存储单 元220、连接不同***组件(包括存储单元220和处理单元210)的总线 230、显示单元240等。
其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理 单元210执行,使得所述处理单元210执行本说明书上述电子处方流转处 理方法部分中描述的根据本公开各种示例性实施方式的步骤。例如,所述 处理单元210可以执行如图1,图4,图5,以及图7中所示的步骤。
所述存储单元220可以包括易失性存储单元形式的可读介质,例如随 机存取存储单元(RAM)2201和/或高速缓存存储单元2202,还可以进一 步包括只读存储单元(ROM)2203。
所述存储单元220还可以包括具有一组(至少一个)程序模块2205 的程序/实用工具2204,这样的程序模块2205包括但不限于:操作***、 一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一 个或某种组合中可能包括网络环境的实现。
总线230可以为表示几类总线结构中的一种或多种,包括存储单元总 线或者存储单元控制器、***总线、图形加速端口、处理单元或者使用多 种总线结构中的任意总线结构的局域总线。
电子设备200也可以与一个或多个外部设备300(例如键盘、指向设 备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备 200交互的设备通信,和/或与使得该电子设备200能与一个或多个其它 计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这 种通信可以通过输入/输出(I/O)接口250进行。并且,电子设备200还可以通过网络适配器260与一个或者多个网络(例如局域网(LAN),广 域网(WAN)和/或公共网络,例如因特网)通信。网络适配器260可以通 过总线230与电子设备200的其它模块通信。应当明白,尽管图中未示出, 可以结合电子设备200使用其它硬件和/或软件模块,包括但不限于:微 代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁 带驱动器以及数据备份存储***等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述 的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方 式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式 体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM, U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可 以是个人计算机、服务器、或者网络设备等)执行根据本公开实施方式的 上述方法。
图11示意性示出本公开示例性实施例中一种计算机可读存储介质示 意图。
参考图11所示,描述了根据本公开的实施方式的用于实现上述方法 的程序产品400,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程 序代码,并可以在终端设备,例如个人电脑上运行。然而,本公开的程序 产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的 有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合 使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可 以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于 电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以 上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一 个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只 读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、 便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述 的任意合适的组合。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传 播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用 多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可 读存储介质还可以是可读存储介质以外的任何可读介质,该可读介质可以 发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结 合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的 组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开 操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如 Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似 的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在 用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部 分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在 涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包 括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连 接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个 程序被一个该设备执行时,使得该计算机可读介质实现如下功能:对原始 图像进行预处理,生成标准图像;对所述标准图像进行颜色校正,生成校 正图像;以及将所述校正图像输入图像增强模型中获取增强图像;其中, 所述图像增强模型为包含非固定层数的深度卷积神经网络模型。
本领域技术人员可以理解上述各模块可以按照实施例的描述分布于 装置中,也可以进行相应变化唯一不同于本实施例的一个或多个装置中。 上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
通过以上的实施例的描述,本领域的技术人员易于理解,这里描述 的示例实施例可以通过软件实现,也可以通过软件结合必要的硬件的方 式来实现。因此,根据本公开实施例的技术方案可以以软件产品的形式 体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM, U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可 以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开 实施例的方法。
以上具体地示出和描述了本公开的示例性实施例。应可理解的是, 本公开不限于这里描述的详细结构、设置方式或实现方法;相反,本公 开意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设 置。
此外,本说明书说明书附图所示出的结构、比例、大小等,均仅用 以配合说明书所公开的内容,以供本领域技术人员了解与阅读,并非用 以限定本公开可实施的限定条件,故不具技术上的实质意义,任何结构 的修饰、比例关系的改变或大小的调整,在不影响本公开所能产生的技 术效果及所能实现的目的下,均应仍落在本公开所公开的技术内容得能 涵盖的范围内。同时,本说明书中所引用的如“上”、“第一”、“第二” 及“一”等的用语,也仅为便于叙述的明了,而非用以限定本公开可实施 的范围,其相对关系的改变或调整,在无实质变更技术内容下,当也视 为本公开可实施的范畴。

Claims (15)

1.一种图像增强方法,其特征在于,包括:
对原始图像进行预处理,生成标准图像;
对所述标准图像进行颜色校正,生成校正图像;以及
将所述校正图像输入图像增强模型中获取增强图像;
其中,所述图像增强模型为包含非固定层数的深度卷积神经网络模型。
2.如权利要求1所述的方法,其特征在于,还包括:
通过图像数据训练深度卷积神经网络以获取所述图像增强模型。
3.如权利要求2所述的方法,其特征在于,通过图像数据训练深度卷积神经网络以获取所述图像增强模型包括:
确定深度卷积神经网络的层数;
确定深度卷积神经网络的激活函数;
确定深度卷积神经网络的损失函数;以及
将图像训练数据与图像对照数据输入所述深度卷积神经网络中,通过训练获取所述图像增强模型。
4.如权利要求3所述的方法,其特征在于,确定深度卷积神经网络的层数包括:
通过深度卷积神经网络的输出的增强图像确定深度卷积神经网络的层数;
其中,d为深度卷积神经网络的层数,s为深度卷积神经网络的增强图像中像素点在原始图像上的映射区域,n为深度卷积神经网络的滤波器尺寸。
5.如权利要求3所述的方法,其特征在于,深度卷积神经网络的激活函数为修正线性单元。
6.如权利要求3所述的方法,其特征在于,确定深度卷积神经网络的损失函数包括:
其中,为损失函数,为训练使用的噪声图像,yi为输入的图像训练数据,xi为图像对照数据,n为训练图像数量。
7.如权利要求1所述的方法,其特征在于,对原始图像进行预处理,生成标准图像包括以下情况至少一者:
对原始图像进行归一化处理,生成标准图像;
对原始图像进行标准化处理,生成标准图像;以及
调整原始图像的分辨率,生成标准图像。
8.如权利要求1所述的方法,其特征在于,对所述标准图像进行颜色校正,生成校正图像包括:
将所述标准图像由三原色空间转换到YCbCr空间;以及
对YCbCr空间的标准图像进行颜色校正,生成所述校正图像。
9.如权利要求1所述的方法,其特征在于,将所述校正图像输入图像增强模型中获取增强图像包括:
将所述校正图像输入图像增强模型的带有激活函数的卷积层,得到第一数据;
将第一数据输入多个带有激活函数的卷积归一层,得到第二数据;
将第二数据输入卷积层以获取所述增强图像。
10.如权利要求9所述的方法,其特征在于,将所述校正图像输入图像增强模型中获取增强图像还包括:
在每次卷积计算之后,均对计算结果进行边界处理。
11.如权利要求1所述的方法,其特征在于,将所述校正图像输入图像增强模型中获取增强图像之前还包括:
通过维纳滤波对所述校正图像进行去模糊处理。
12.一种图像增强装置,其特征在于,包括:
预处理模块,用于对原始图像进行预处理,生成标准图像;
颜色校正模块,用于对所述标准图像进行颜色校正,生成校正图像;以及
图像增强模块,用于将所述校正图像输入图像增强模型中获取增强图像;其中,所述图像增强模型为包含非固定层数的深度卷积神经网络模型。
13.如权利要求12所述的装置,其特征在于,还包括:
训练模块,用于通过图像数据训练深度卷积神经网络以获取所述图像增强模型。
14.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-11中任一所述的方法。
15.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-11中任一所述的方法。
CN201811291358.9A 2018-10-31 2018-10-31 图像增强方法、装置、电子设备及计算机可读介质 Pending CN109493296A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811291358.9A CN109493296A (zh) 2018-10-31 2018-10-31 图像增强方法、装置、电子设备及计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811291358.9A CN109493296A (zh) 2018-10-31 2018-10-31 图像增强方法、装置、电子设备及计算机可读介质

Publications (1)

Publication Number Publication Date
CN109493296A true CN109493296A (zh) 2019-03-19

Family

ID=65693619

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811291358.9A Pending CN109493296A (zh) 2018-10-31 2018-10-31 图像增强方法、装置、电子设备及计算机可读介质

Country Status (1)

Country Link
CN (1) CN109493296A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110120024A (zh) * 2019-05-20 2019-08-13 百度在线网络技术(北京)有限公司 图像处理的方法、装置、设备和存储介质
CN112019827A (zh) * 2020-09-02 2020-12-01 上海网达软件股份有限公司 视频图像色彩增强的方法、装置、设备及存储介质
CN112887758A (zh) * 2019-11-29 2021-06-01 北京百度网讯科技有限公司 视频处理方法和装置
CN113436081A (zh) * 2020-03-23 2021-09-24 阿里巴巴集团控股有限公司 数据处理方法、图像增强方法及其模型训练方法
CN115222606A (zh) * 2021-04-16 2022-10-21 腾讯科技(深圳)有限公司 图像处理方法、装置、计算机可读介质及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105528638A (zh) * 2016-01-22 2016-04-27 沈阳工业大学 灰色关联分析法确定卷积神经网络隐层特征图个数的方法
CN106485230A (zh) * 2016-10-18 2017-03-08 中国科学院重庆绿色智能技术研究院 基于神经网络的人脸检测模型的训练、人脸检测方法及***
CN108304793A (zh) * 2018-01-26 2018-07-20 北京易真学思教育科技有限公司 在线学习分析***及方法
CN108550125A (zh) * 2018-04-17 2018-09-18 南京大学 一种基于深度学习的光学畸变修正方法
CN108711141A (zh) * 2018-05-17 2018-10-26 重庆大学 利用改进的生成式对抗网络的运动模糊图像盲复原方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105528638A (zh) * 2016-01-22 2016-04-27 沈阳工业大学 灰色关联分析法确定卷积神经网络隐层特征图个数的方法
CN106485230A (zh) * 2016-10-18 2017-03-08 中国科学院重庆绿色智能技术研究院 基于神经网络的人脸检测模型的训练、人脸检测方法及***
CN108304793A (zh) * 2018-01-26 2018-07-20 北京易真学思教育科技有限公司 在线学习分析***及方法
CN108550125A (zh) * 2018-04-17 2018-09-18 南京大学 一种基于深度学习的光学畸变修正方法
CN108711141A (zh) * 2018-05-17 2018-10-26 重庆大学 利用改进的生成式对抗网络的运动模糊图像盲复原方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
CHING-CHIH WENG 等: "A novel automatic white balance method for digital still cameras", 《2005 IEEE INTERNATIONAL SYMPOSIUM ON CIRCUITS AND SYSTEMS (ISCAS)》 *
KAI ZHANG 等: "Beyond a Gaussian Denoiser: Residual Learning of Deep CNN for Image Denoising", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
徐岩 等: "基于卷积神经网络的水下图像增强方法", 《吉林大学学报(工学版)》 *
穆德远: "《数字时代的电影摄影》", 31 July 2011 *
肖健华: "《智能模式识别方法》", 31 January 2006 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110120024A (zh) * 2019-05-20 2019-08-13 百度在线网络技术(北京)有限公司 图像处理的方法、装置、设备和存储介质
CN112887758A (zh) * 2019-11-29 2021-06-01 北京百度网讯科技有限公司 视频处理方法和装置
CN112887758B (zh) * 2019-11-29 2023-04-14 北京百度网讯科技有限公司 视频处理方法和装置
CN113436081A (zh) * 2020-03-23 2021-09-24 阿里巴巴集团控股有限公司 数据处理方法、图像增强方法及其模型训练方法
CN112019827A (zh) * 2020-09-02 2020-12-01 上海网达软件股份有限公司 视频图像色彩增强的方法、装置、设备及存储介质
CN115222606A (zh) * 2021-04-16 2022-10-21 腾讯科技(深圳)有限公司 图像处理方法、装置、计算机可读介质及电子设备

Similar Documents

Publication Publication Date Title
CN109493296A (zh) 图像增强方法、装置、电子设备及计算机可读介质
Li et al. Edge-preserving decomposition-based single image haze removal
CN109087269B (zh) 弱光图像增强方法及装置
US10325346B2 (en) Image processing system for downscaling images using perceptual downscaling method
Xiong et al. Unsupervised low-light image enhancement with decoupled networks
US10817984B2 (en) Image preprocessing method and device for JPEG compressed file
CN107358586A (zh) 一种图像增强方法、装置及设备
Liu et al. Graph-based joint dequantization and contrast enhancement of poorly lit JPEG images
KR102095443B1 (ko) 구조텐서를 이용한 딥러닝 기반의 영상 개선 방법 및 장치
US11750935B2 (en) Systems and methods of image enhancement
Kousha et al. Modeling srgb camera noise with normalizing flows
CN111353955A (zh) 一种图像处理方法、装置、设备和存储介质
Ma et al. Underwater image restoration through a combination of improved dark channel prior and gray world algorithms
CN113554739A (zh) 重光照图像的生成方法、装置及电子设备
CN110717864B (zh) 一种图像增强方法、装置、终端设备及计算机可读介质
WO2016051716A1 (ja) 画像処理方法、画像処理装置、及び画像処理プログラムを記憶する記録媒体
CN109410143B (zh) 图像增强方法、装置、电子设备及计算机可读介质
Kumar et al. Dynamic stochastic resonance and image fusion based model for quality enhancement of dark and hazy images
Song et al. Hue-preserving and saturation-improved color histogram equalization algorithm
CN111861940A (zh) 一种基于条件连续调节的图像调色增强方法
CN111292251B (zh) 图像偏色校正方法、装置以及计算机存储介质
WO2023215371A1 (en) System and method for perceptually optimized image denoising and restoration
Ahn et al. CODEN: combined optimization-based decomposition and learning-based enhancement network for Retinex-based brightness and contrast enhancement
Wang et al. Balanced color contrast enhancement for digital images
WO2020241337A1 (ja) 画像処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190319

RJ01 Rejection of invention patent application after publication