CN110378852A - 图像增强方法、装置、计算机设备和存储介质 - Google Patents
图像增强方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN110378852A CN110378852A CN201910626028.9A CN201910626028A CN110378852A CN 110378852 A CN110378852 A CN 110378852A CN 201910626028 A CN201910626028 A CN 201910626028A CN 110378852 A CN110378852 A CN 110378852A
- Authority
- CN
- China
- Prior art keywords
- image
- enhancing
- area image
- area
- reinforced
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 143
- 230000002708 enhancing effect Effects 0.000 claims abstract description 348
- 230000006872 improvement Effects 0.000 claims abstract description 99
- 230000003014 reinforcing effect Effects 0.000 claims abstract description 20
- 230000008569 process Effects 0.000 claims description 92
- 238000004590 computer program Methods 0.000 claims description 21
- 230000015654 memory Effects 0.000 claims description 20
- 230000004927 fusion Effects 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 17
- 230000001965 increasing effect Effects 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 238000012216 screening Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 2
- TVZRAEYQIKYCPH-UHFFFAOYSA-N 3-(trimethylsilyl)propane-1-sulfonic acid Chemical compound C[Si](C)(C)CCCS(O)(=O)=O TVZRAEYQIKYCPH-UHFFFAOYSA-N 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本申请涉及一种图像增强方法、装置、计算机设备和存储介质。所述方法包括：获取原始图像和原始图像对应的多个区域图像，多个区域图像中包括至少一个待增强区域图像，区域图像包括至少一个待增强图像，分别输入原始图像至各个待增强区域图像对应的增强模型，输出对应的增强图像，根据各个待增强区域图像和对应的增强图像生成目标增强区域图像，当区域图像全部为待增强区域图像时，若区域图像全部为待增强区域图像，则融合各个目标增强区域图像，得到原始图像的目标增强图像。由于图像中不同的区域所需要的增强需求不同，通过不同的增强模型对各个不同的区域进行针对性的图像增强，提升整个图像的增强效果。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及一种图像增强方法、装置、计算机设备和存储介质。
背景技术
随着计算机视觉技术的发展，数字图像处理技术不断发展。数字图像处理技术以被应用各个领域中。其中，数字图像处理技术包括图像增强、图像去燥、边缘检测、目标跟踪等等。图像增强是指对图像的感兴趣区域进行强化处理，从而凸显感兴趣区域的特征，提高图像的质量。
现在的主流图像增强方案均为对图片统一处理。利用大量成对数据集训练一个端到端的超分/去噪/锐化网络，劣质图片经过该网络，变为增强后的图片。每张图像的各个区域的内容并不相同，现有的网路是对整张图像进行同样的增强处理，导致图像增强的效果不佳。
发明内容
为了解决上述技术问题，本申请提供了一种图像增强方法、装置、计算机设备和存储介质。
第一方面，本申请提供了一种图像增强方法，包括：
获取原始图像和原始图像对应的多个区域图像，多个区域图像中包括至少一个待增强区域图像；
分别输入原始图像至各个待增强区域图像对应的增强模型，输出对应的增强图像；
根据各个待增强区域图像和对应的增强图像生成目标增强区域图像；
若区域图像全部为待增强区域图像，则融合各个目标增强区域图像，得到原始图像的目标增强图像。
第二方面，本申请提供了一种图像增强装置，包括：
数据获取模块，用于获取原始图像和原始图像对应的多个区域图像，多个区域图像中包括至少一个待增强区域图像；
图像增强模块，用于分别输入原始图像至各个待增强区域图像对应的增强模型，输出对应的增强图像；
图像融合模块，用于根据各个待增强区域图像和对应的增强图像生成目标增强区域图像；
若区域图像全部为待增强区域图像，则融合各个目标增强区域图像，得到原始图像的目标增强图像。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取原始图像和原始图像对应的多个区域图像，多个区域图像中包括至少一个待增强区域图像；
分别输入原始图像至各个待增强区域图像对应的增强模型，输出对应的增强图像；
根据各个待增强区域图像和对应的增强图像生成目标增强区域图像；
若区域图像全部为待增强区域图像，则融合各个目标增强区域图像，得到原始图像的目标增强图像。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取原始图像和原始图像对应的多个区域图像，多个区域图像中包括至少一个待增强区域图像；
分别输入原始图像至各个待增强区域图像对应的增强模型，输出对应的增强图像；
根据各个待增强区域图像和对应的增强图像生成目标增强区域图像；
若区域图像全部为待增强区域图像，则融合各个目标增强区域图像，得到原始图像的目标增强图像。
上述图像增强方法、装置、计算机设备和存储介质，所述方法包括：获取原始图像和原始图像对应的多个区域图像，多个区域图像中包括至少一个待增强区域图像；分别输入原始图像至各个待增强区域图像对应的增强模型，输出对应的增强图像；根据各个待增强区域图像和对应的增强图像生成目标增强区域图像，若区域图像全部为待增强区域图像，则融合各个目标增强区域图像，得到原始图像的目标增强图像。由于图像中不同的区域所需要的增强需求不同，通过不同的增强模型对各个不同的区域进行针对性的图像增强，提升整个图像的增强效果。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中图像增强方法的应用环境图；
图2为一个实施例中图像增强方法的流程示意图；
图3为一个实施例中图像增强方法的模块结构示意图；
图4为一个实施例中增强模型的网络结构图；
图5为一个实施例中原始图像的示意图；
图6为一个实施例中增强图像的效果示意图；
图7为一个实施例中图像增强装置的结构框图；
图8为一个实施例中增强模型生成模块的结构框图；
图9为一个实施例中计算机设备的内部结构图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1为一个实施例中图像增强方法的应用环境图。参照图1，该图像增强方法应用于图像增强***。该图像增强***包括终端110和服务器120。终端110和服务器120通过网络连接。终端或服务器获取原始图像和原始图像对应的多个区域图像，多个区域图像中包括至少一个待增强区域图像，分别输入原始图像至各个待增强区域图像对应的增强模型，输出对应的增强图像，根据各个待增强区域图像和对应的增强图像生成目标增强区域图像，若区域图像全部为待增强区域图像，则融合各个目标增强区域图像，得到原始图像的目标增强图像。
终端110具体可以是台式终端或移动终端，移动终端具体可以手机、平板电脑、笔记本电脑等中的至少一种。服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
如图2所示，在一个实施例中，提供了一种图像增强方法。本实施例主要以该方法应用于上述图1中的终端110(或服务器120)来举例说明。参照图2，该图像增强方法具体包括如下步骤：
步骤S201，获取原始图像和原始图像对应的多个区域图像。
在本具体实施例中，多个区域图像中包括至少一个待增强区域图像。
具体地，原始图像是指需要进行增强处理的图像。原始图像可以是用户拍摄的后或下载后，上传至图像增强***中的图像。待增强区域是指需要进行增强处理的图像区域。图像增强是指将不清晰的图像变得清晰，或强调图像中的感兴趣的特征，抑制不感兴趣的特征，使之改善图像质量、丰富信息量，加强图像判读和识别效果的图像处理方法。待增强区域可以根据需求定义，如待增强区域可以包括但不限于文字区域、前景区域和背景区域等等。其中前景区域为感兴趣区域，如图像中的特定标识所在区域、人物所在区域、动物所在区域等等均可以定义为感兴趣区域。前景区域可以为一个或多个。待增强区域图像是指包含待增强区域的图像，该图像中出待增强区域外的区域采用特定像素表达，如采用二值化蒙版图像表示待增强区域图像。二值化蒙版图像是指待增强区域的像素值为1，非增强区域的像素值为0。
在一个实施例中，获取原始图像对应的多个区域图像，多个区域图像中包括至少一个待增强区域图像之前还包括：检测原始图像的目标区域，得到多个区域图像，其中区域图像包括待增强区域图像和/或非增强区域图像。
具体地，目标区域是指原始图像的特定区域，所有的目标区域组成原始图像。检测不同的目标区域可以采用不同的检测算法，如检测而文字区域时，采用文字检测算法，文字检测算法可以采用常见的文字检测算法，现有的文字检测算法包括但不限于EAST(AnEfficient and Accurate Scene Text Detector,高效准确的场景文本检测)算法或CTPN(Detecting Text in Natural Image with Connectionist Text Proposal Network,连接文本提议网络)算法等等。检测前景区域时，采用的前景检测算法，为常见的前景检测算法，其中常见的前景检测算法包括但不限于显著性检测网络、光流法、平均背景法等等。其中显著性检测网络DSS(Deeply Supervised Salient Object Detection with ShortConnections，深度监督显著性目标检测)等。
非增强区域图像是指不需要进行增强的区域图像。原始图像对应的区域图像中，可以根据需求定义全部或部分区域图像为待增强区域图像。根据需求定义待增强区域图像，使得后续图像增强过程中有针对的对图像进行增强。
步骤S202，分别输入原始图像至各个待增强区域图像对应的增强模型，输出对应的增强图像。
具体地，各个待增强区域图像对应的增强模型是指用于按照不同增强区域图像的增强需求训练得到的增强模型。增强模型可以为常见的图像增强模型，如卷积网络模型、深度卷积网络模型等等。如文字增强区域图像对应的增强模型为文字增强模型，前景增强区域图像对应的增强模型为前景增强模型，背景增强区域图像对应的增强模型为背景增强模型，以此类推。不同增强需求根据各个区域的特征确定，增强需求包括去燥和锐化等等，如文字区域的增强一般包括去燥和锐化，前景区域的增强包括去燥和锐化等，相对于文字区域的增强，前景区域的增强强度小于文字区域的增强的强度。背景区域包括去燥和锐化等，背景区域的增强强度小于或等于前景区域的增强的强度。之所以设置文字区域的增强强度大于前景区域和背景区域，是因为文字区域的主要信息为文字，为了使得文字清晰，则需要较大强度的去燥和锐化。前景区域的特征一般图像的重要信息存在区域，为了突出前景区域的信息，设置前景区域的增强强度大于或等于背景区域的增强强度。
在一个实施例中，各个待增强区域图像对应的增强模型具有相同的网络结构。采用相同的网络结构模型节约模型设计时间。
在一个实施例中，各个待增强区域图像对应的增强模型为卷积神经网络模型。卷积网络模型能够较好的对图像增加处理。
步骤S203，根据各个待增强区域图像和对应的增强图像生成目标增强区域图像。
步骤S204，若区域图像全部为待增强区域图像，则融合各个目标增强区域图像，得到原始图像的目标增强图像。
具体地，通过各个待增强区域图像对对应的增强图像进行区域筛选，得到各个待增强区域图像对应的目标增强区域图像。当原始图像对应的区域图像均为待增强区域图像时，对各个目标增强区域图像求和得到目标增强图像。
在一个实施例中，当区域图像包括待增强区域图像和非增强区域图像时，融合各个所述非增强区域图像和各个目标增强区域图像，得到原始图像的目标增强图像。
具体地，当原始图像对应的区域图像中的部分区域图像为待增强区域图像，剩余部分区域图像为非增加区域图像时，对各个目标增强区域图像和非增强区域图像求和，得到目标增强图像。
原始图像的待增强区域图像可以自定义，如待增强区域图像可以分为以下几个类型：第一类的待增强区域包括前景区域图像和背景区域图像；第二类的待增强区域包括前景区域图像、文字区域和背景区域图像；第三类的待增强区域包括前景区域图像和文字区域图像。各个类的具体实现过程如下：
第一类：
步骤S202，包括：分别输入原始图像至前景增强模型和背景增强模型，输出前景增强图像和背景增强图像，其中，待增强区域图像包括前景区域图像和背景区域图像，增强模型包括前景增强模型和背景增强模型，前景区域和背景区域组成原始图像。
步骤S203，包括：根据前景区域图像和前景增强图像生成前景增强区域图像，根据背景区域图像和背景增强图像生成背景增强区域图像。
步骤S204，包括：融合前景增强区域图像和背景增强区域图像，得到目标增强图像。
具体地，当原始图像仅包括前景区域和背景区域时，分别输入原始图像至前景增强模型和背景增强模型，输出前景增强图像和背景增强图像。通过前景区域图像对前景增强图像进行区域筛选，得到前景增强区域图像。通过背景区域图像对背景增强图像进行区域筛选，得到背景增强区域图像。前景增强区域图像和背景增强区域图像相加得到目标增强图像。
第二类：
步骤S202，包括：分别输入原始图像至前景增强模型和文字增强模型，输出前景增强图像、背景增强图像和文字增强图像，待增强区域图像包括前景区域图像、背景区域图像和文字区域图像，增强模型包括前景增强模型、背景增强模型和文字增强模型。
步骤S203，包括：根据前景区域图像和前景增强图像生成前景增强区域图像，根据背景区域图像和背景增强图像生成背景增强区域图像，根据文字区域图像和文字增强图像生成文字增强区域图像。
步骤S204，包括：融合前景增强区域图像、背景增强区域图像和文字增强区域图像，得到目标增强图像。
具体地，当原始图像包括前景区域、文字区域和背景区域时，分别输入原始图像至文字增强模型、前景增强模型和背景增强模型，输出文字增强图像、前景增强图像和背景增强图像。通过文字区域图像对文字增强图像进行区域筛选，得到文字增强区域图像。通过前景区域图像对前景增强图像进行区域筛选，得到前景增强区域图像。通过背景区域图像对背景增强图像进行区域筛选，得到背景增强区域图像。文字增强区域图像、前景增强区域图像和背景增强区域图像相加得到目标增强图像。
第三类：
步骤S202，包括：分别输入原始图像至前景增强模型和文字增强模型，输出前景增强图像和文字增强图像，其中，待增强区域图像包括前景区域图像和文字区域图像，增强模型包括前景增强模型和文字增强模型。
在本实施例中，步骤S203，包括：根据前景区域图像和前景增强图像生成前景增强区域图像，根据文字区域图像和文字增强图像生成文字增强区域图像。
在本实施例中，融合前景增强区域图像和文字增强区域图像，得到目标增强图像。
具体地，当原始图像包括前景区域、文字区域和背景区域时，分别输入原始图像至文字增强模型、前景增强模型和背景增强模型，输出文字增强图像、前景增强图像和背景增强图像。通过文字区域图像对文字增强图像进行区域筛选，得到文字增强区域图像。通过前景区域图像对前景增强图像进行区域筛选，得到前景增强区域图像。文字增强区域图像、前景增强区域图像和背景区域图像相加得到目标增强图像。
上述图像增强方法，包括：获取原始图像和原始图像对应的多个区域图像，多个区域图像中包括至少一个待增强区域图像，区域图像包括至少一个待增强图像，分别输入原始图像至各个待增强区域图像对应的增强模型，输出对应的增强图像，根据各个待增强区域图像和对应的增强图像生成目标增强区域图像，当区域图像全部为待增强区域图像时，若区域图像全部为待增强区域图像，则融合各个目标增强区域图像，得到原始图像的目标增强图像。通过不同的增强模型对各个不同的区域进行针对性的图像增强，解决了传统的图像增强方法对全图做相同的处理，导致前景去噪过度，从而导致细节丢失，背景锐化过度丢失层次信息等问题，提升整个图像的增强效果。
在一个实施例中，输入原始图像至各个待增强区域图像对应的增强模型之前，还包括：生成各个待增强区域图像对应的增强模型。其中生成步骤具体包括：
步骤S301，获取多个训练图像对。
具体地，训练图像对包括真实图像和待增强区域图像对应的增强模型的模糊图像，各个待增强区域图像对应的模糊图像的模糊强度不相同。模糊图像是通过对真实图像进行预处理得到的图像，预处理包括添加噪声和添加模糊等中的至少一种处理。每个真实图像对应多个模糊图像。各个模糊图像根据待增强区域图像的增强需求确定。
步骤S302，输入待增强区域图像对应的增强模型的模糊图像至对应的初始增强模型，输出待增强区域图像对应的初始增强模型的增强图像。
步骤S303，计算待增强区域图像对应的初始增强模型的增强图像和真实图像的差异度。
步骤S304，判断待增强区域图像对应的初始增强模型的差异度，是否小于或等于待增强区域图像对应的初始增强模型的预设差异度阈值。
步骤S305，当待增强区域图像对应的初始增强模型的差异度，小于或等于待增强区域图像对应的初始增强模型的预设差异度阈值时，得到待增强区域图像对应的增强模型。
具体地，待增强区域图像包括但不限于文字区域图像、背景区域图像和前景区域图像等等。将各个待增强区域图像对应的增强模型的模糊图像分别输入对应的初始增强模型，通过各个初始增强模型对输入的对应的模糊图像进行去燥和锐化等操作，得到各个初始增强模型对应的增强图像。各个增强模型为相同的网络模型，为了便于说明，以多个增强模型中的中的任意一个增强模型为例进行说明，以前景增强模型为例，输入前景区域图像对应的模糊图像至初始前景增强模型，输出前景增强图像，计算前景增强图像与真实图像之间的差异度，差异度计算方法为常见的图像差异度计算方法，如均方误差、像素差值的均值等等。判断差异度，是否小于或等于前景增强模型对应的预设差异度阈值，当小于或等于时，初始前景增强模型收敛，得到前景增强模型。
在一个实施例中，生成各个待增强区域图像对应的增强模型，还包括：
步骤S306，当待增强区域图像对应的初始增强模型的差异度，大于待增强区域图像对应的初始增强模型的预设差异度阈值时，更新待增强区域图像对应的初始增强模型的模型参数，将各个更新了模型参数的待增强区域图像对应的初始增强模型作为待增强区域图像对应的初始增强模型，执行输入待增强区域图像对应的增强模型的模糊图像至对应的初始增强模型，直至得到各个待增强区域图像对应的增强模型。
具体地，根据差异度更新初始前景增强模型的模型参数，采用更新了模型参数的初始前景增强模型对模糊图像进行再次去燥和退化等增强处理，得到前景增强图像，再次判断前景增强图像和真实图像之间的差异度是否小于或等于前景增强模型对应的预设差异度阈值，当小于或等于时，初始前景增强模型收敛，得到前景增强模型。反之，根据差异度再次更新初始前景增强模型的模型参数，直至得到前景增强模型。采用与前景增强模型同样的训练过程等到其他的增强模型。
在一个具体的实施例中，图像增强方法，包括：
获取多张原始图像，对每张图像添加噪声，对添加了噪声的图像添加模糊，得到原始图像对应的模糊图像，其中，噪声图像根据不同的需求添加的噪声和模糊不同。图像增强模型包括：文字增强模型、前景增强模型和背景增强模型，三个增强模型具有相同的网络结构，每个增强模型的训练过程相同，为了便于说明，以其中文字增强模型为例。训练时，输入原始图像和对应的模糊图像至初始文字增强模型，通过初始文字增强模型恢复模糊图像，得到增强图像，判断增强图像与原始图像之间的差异度是否小于或等于预设差异度，当差异度小于或等于预设差异度时，初始文字增强模型收敛，得到文字增强模型。反之，则根据差异度更新初始文字增强模型的模型参数，采用更新了模型参数的初始文字增强模型，作为初始文字增强模型，对模糊图像进行再次恢复，得到增强图像，再次判断增强图像与原始图像之间的差异度是否小于或等于预设差异度，当差异度小于或等于预设差异度时，得到文字增强模型，反之，则再次更新初始文字增强模型的模型参数，直至得到文字增强模型。
通过与文字增强模型相同的训练方法，得到前景增强模型和背景增强模型。其中，文字增强模型的原始图像对应的模糊图像的噪声强度大于前景增强模型的噪声强度，文字增强模型的原始图像对应的模糊图像的模糊强度大于前景增强模型的模糊强度。前景增强模型的原始图像对应的模糊图像的噪声强度大于或等于背景增强模型的噪声强度，前景增强模型的原始图像对应的模糊图像的模糊强度大于或等于背景增强模型的模糊强度。如文字增强模型中的模糊图像为在原始图像中添加噪声为标准差为20的0均值高斯噪声，添加模糊为窗口尺寸为3，sigma为2的高斯模糊。前景增强模型中的模糊图像为在原始图像中添加噪声为标准差为10的0均值高斯噪声，添加模糊为窗口尺寸为3，sigma为1的高斯模糊。背景增强模型中的模糊图像为在原始图像中添加噪声为标准差为10的0均值高斯噪声。损失函数为增强图像和原始图像的均方误差(Mean Squared Erro，MSE)，且选取步长0.001的SGD优化器更新模型参数。对文字区域的增强时，去噪和锐化强度较大，因为文字的边缘都比较锐利，内部细节少，前景区域除了噪声还包括较多纹理细节，需尽量保留细节，故增强时，去燥强度和锐化强度较小。背景区域的增强为去噪，且去燥强度较小，由于背景虚化的存在，可以选择不对背景进行锐化，破坏图片的层次感。
在一个实施例中，如图3所示，图3为图像增强方法的模块结构示意图，原始图像分别输入文字增强模型、文字检测模块、显著性检测模块、背景增强模型和前景增强模型，分别输出文字增强图像、文字区域图像、显著性区域图像、背景增强图像和前景增强图像，将输出的各个图像输入融合模块。根据显著性区域图像和文字区域图像生成前景区域图像，显著性区域图像包括显著性区域，文字区域图像包括文字区域，前景区域是指显著性区域图像中的显著性区域中去除文字区域的区域。根据显著性区域图像和文字区域图像生成背景区域图像，其中背景区域是指除显著性区域和文字区域之外的区域。根据文字区域图像和文字增强图像的生成文字增强区域图像，根据背景区域图像和背景增强图像的生成背景增强区域图像，根据前景区域图像和前景增强图像的生成前景增强区域图像，计算文字增强区域图像、背景增强区域图像和前景增强区域图像得到目标增强图像。
在一个实施例中，文字增强模型、前景增强模型和背景增强模型的具体网络结构如图4所示，图4为目标增强模型的网络结构图。目标增强模型包括7个卷积层，各个卷积层的卷积核为64个，卷积核的大小为3*3，除最后一个卷积层外，各个卷积层后设置有激活层RELU。RELU是用于卷积层输出的数据进行非线性变换，得到更多的数据特征，提高数据处理准确度。
分别输入原图像IO至文字检测模型和显著性检测模型中，其中，文字检测模型用于检测图像中的文字区域，显著检测模型用于检测图像中的显著性区域M显著，输出文字区域图像M文字、前景区域图像M前景＝(！M文字)&M显著，背景区域图像M背景＝(！M文字)&(！M显著)，其中,！表示逻辑“非”，&表示逻辑“与”。文字区域图像中的文字区域、前景区域图像中的前景区域，背景区域图像中的背景区域组成原始图像，且各个区域之间不存在重叠区域。各个区域图像采用二值化蒙版图像表示，二值化蒙版图像是指目标区域的像素值为1，目标区域之外的像素值为0。原始图像IO分别输入文字增强模型、前景增强模型和背景增强模型，得到文字增强图像I文字、I前景和I背景，则输出的目标增强图像I增强＝I文字*M文字+I前景*M前景+I背景*M背景，其中原始图像IO如图5所示，目标增强图像I增强如图6所示。对比图5和图6中，图5中的文字区域中的文字边缘更清晰，前景区域中的脸部更加光滑，去除了噪点，背景并未过度锐化。
上述图像增强方法对图像前景区域、文字区域和背景区域采用对应的强度的增强模型，对原图进行增强。解决了使用单个端到端模型导致的细节损失过大和层次感下降等问题，提升了图像的增强效果。
图2为一个实施例中图像增强方法的流程示意图。应该理解的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图7所示，提供了一种图像增强装置200，包括：
数据获取模块201，用于获取原始图像和原始图像对应的多个区域图像，多个区域图像中包括至少一个待增强区域图像。
图像增强模块202，用于分别输入原始图像至各个待增强区域图像对应的增强模型，输出对应的增强图像。
图像融合模块203，用于根据各个待增强区域图像和对应的增强图像生成目标增强区域图像，若区域图像全部为待增强区域图像，则融合各个目标增强区域图像，得到原始图像的目标增强图像。
在一个实施例中，图像融合模块203还用于若区域图像包括待增强区域图像和非增强区域图像，融合各个非增强区域图像和各个目标增强区域图像，得到原始图像的目标增强图像。
在一个实施例中，图像增强模块202具体用于分别输入原始图像至前景增强模型和背景增强模型，输出前景增强图像和背景增强图像，其中待增强区域图像包括前景区域图像和背景区域图像，增强模型包括前景增强模型和背景增强模型，前景区域和背景区域组成原始图像。
图像融合模块203具体用于根据前景区域图像和前景增强图像生成前景增强区域图像，根据背景区域图像和背景增强图像生成背景增强区域图像，融合前景增强区域图像和背景增强区域图像，得到目标增强图像。
在一个实施例中图像增强模块202还用于分别输入原始图像至前景增强模型和文字增强模型，输出前景增强图像、背景增强图像和文字增强图像，其中，待增强区域图像包括前景区域图像、背景区域图像和文字区域图像，增强模型包括前景增强模型、背景增强模型和文字增强模型。根据前景区域图像和前景增强图像生成前景增强区域图像，根据背景区域图像和背景增强图像生成背景增强区域图像，根据文字区域图像和文字增强图像生成文字增强区域图像；
图像融合模块203还用于融合前景增强区域图像、背景增强区域图像和文字增强区域图像，得到目标增强图像。
在一个实施例中，图像增强模块202还用于分别输入原始图像至前景增强模型和文字增强模型，输出前景增强图像和文字增强图像，其中区域图像包括前景区域图像、背景区域图像和文字区域图像，待增强区域图像包括前景区域图像和文字区域图像，增强模型包括前景增强模型和文字增强模型。
图像融合模块203还用于根据前景区域图像和前景增强图像生成前景增强区域图像，根据文字区域图像和文字增强图像生成文字增强区域图像，融合背景区域图像、前景增强区域图像和文字增强区域图像，得到目标增强图像。
在一个实施例中，图像增强模块202中的各个待增强区域图像对应的增强模型具有相同的网络结构。
在一个实施例中，图像增强模块202中各个待增强区域图像对应的增强模型为卷积神经网络模型。
在一个实施例中，如图8所示，上述图像增强装置200，还包括：
增强模型生成模块204，用于生成各个待增强区域图像对应的增强模型，其中，增强模型生成模块204，包括：
训练数据获取单元2041，用于获取多个训练图像对，训练图像对包括真实图像和待增强区域图像对应的增强模型的模糊图像，各个待增强区域图像对应的模糊图像的模糊强度不相同。
图像增强单元2042，用于输入待增强区域图像对应的增强模型的模糊图像至对应的初始增强模型，输出待增强区域图像对应的初始增强模型的增强图像。
差异度计算单元2043，用于计算待增强区域图像对应的初始增强模型的增强图像和真实图像的差异度。
差异度判断单元2044，用于判断待增强区域图像对应的初始增强模型的差异度，是否小于或等于待增强区域图像对应的初始增强模型的预设差异度阈值；
模型生成单元2045，用于当待增强区域图像对应的初始增强模型的差异度，小于或等于待增强区域图像对应的初始增强模型的预设差异度阈值时，得到待增强区域图像对应的增强模型。
在一个实施例中，模型生成单元2045还用于当待增强区域图像对应的初始增强模型的差异度，大于待增强区域图像对应的初始增强模型的预设差异度阈值时，更新待增强区域图像对应的初始增强模型的模型参数，将各个更新了模型参数的待增强区域图像对应的初始增强模型作为待增强区域图像对应的初始增强模型，执行输入待增强区域图像对应的增强模型的模糊图像至对应的初始增强模型，直至得到各个待增强区域图像对应的增强模型。
图9示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的终端110(或服务器120)。如图9所示，该计算机设备包括该计算机设备包括通过***总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作***，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现图像增强方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行图像增强方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的图像增强装置可以实现为一种计算机程序的形式，计算机程序可在如图9所示的计算机设备上运行。计算机设备的存储器中可存储组成该图像增强装置的各个程序模块，比如，图7所示的数据获取模块201、图像增强模块202和图像融合模块203。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的图像增强方法中的步骤。
例如，图9所示的计算机设备可以通过如图7所示的图像增强装置中的图像划分模块201执行获取原始图像和原始图像对应的多个区域图像，多个区域图像中包括至少一个待增强区域图像。计算机设备可以通过图像增强模块202执行于分别输入原始图像至各个待增强区域图像对应的增强模型，输出对应的增强图像。计算机设备可以通过图像融合模块203执行根据各个待增强区域图像和对应的增强图像生成目标增强区域图像，融合原各个目标增强区域图像，得到原始图像的目标增强图像。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：获取原始图像和原始图像对应的多个区域图像，多个区域图像中包括至少一个待增强区域图像，分别输入原始图像至各个待增强区域图像对应的增强模型，输出对应的增强图像，根据各个待增强区域图像和对应的增强图像生成目标增强区域图像，若区域图像全部为待增强区域图像，则融合各个目标增强区域图像，得到原始图像的目标增强图像。
在一个实施例中，若区域图像包括待增强区域图像和非增强区域图像，处理器执行计算机程序时还实现以下步骤：融合各个非增强区域图像和各个目标增强区域图像，得到原始图像的目标增强图像。
在一个实施例中，待增强区域图像包括前景区域图像和背景区域图像，增强模型包括前景增强模型和背景增强模型，前景区域和背景区域组成原始图像，分别输入原始图像至各个待增强区域图像对应的增强模型，输出对应的增强图像，包括：分别输入原始图像至前景增强模型和背景增强模型，输出前景增强图像和背景增强图像，根据各个待增强区域图像和对应的增强图像生成目标增强区域图像，包括：根据前景区域图像和前景增强图像生成前景增强区域图像，根据背景区域图像和背景增强图像生成背景增强区域图像，融合各个目标增强区域图像，得到原始图像的目标增强图像，包括：融合前景增强区域图像和背景增强区域图像，得到目标增强图像。
在一个实施例中，待增强区域图像包括前景区域图像、背景区域图像和文字区域图像，增强模型包括前景增强模型、背景增强模型和文字增强模型，分别输入原始图像至各个待增强区域图像对应的增强模型，输出对应的增强图像，包括：分别输入原始图像至前景增强模型和文字增强模型，输出前景增强图像、背景增强图像和文字增强图像；根据各个待增强区域图像和对应的增强图像生成目标增强区域图像，包括：根据前景区域图像和前景增强图像生成前景增强区域图像，根据背景区域图像和背景增强图像生成背景增强区域图像，根据文字区域图像和文字增强图像生成文字增强区域图像，融合各个目标增强区域图像，得到原始图像的目标增强图像，包括：融合前景增强区域图像、背景增强区域图像和文字增强区域图像，得到目标增强图像。
在一个实施例中，区域图像包括前景区域图像、背景区域图像和文字区域图像，待增强区域图像包括前景区域图像和文字区域图像，增强模型包括前景增强模型和文字增强模型，分别输入原始图像至各个待增强区域图像对应的增强模型，输出对应的增强图像，包括：分别输入原始图像至前景增强模型和文字增强模型，输出前景增强图像和文字增强图像；根据各个待增强区域图像和对应的增强图像生成目标增强区域图像，包括：根据前景区域图像和前景增强图像生成前景增强区域图像，根据文字区域图像和文字增强图像生成文字增强区域图像；融合各个非增强区域图像和各个目标增强区域图像，得到原始图像的目标增强图像，包括：融合背景区域图像、前景增强区域图像和文字增强区域图像，得到目标增强图像。
在一个实施例中，各个待增强区域图像对应的增强模型具有相同的网络结构。
在一个实施例中，各个待增强区域图像对应的增强模型为卷积神经网络模型。
在一个实施例中，输入原始图像至各个所述待增强区域图像对应的增强模型之前，处理器执行计算机程序时还实现以下步骤：获取多个训练图像对，训练图像对包括真实图像和待增强区域图像对应的增强模型的模糊图像，各个待增强区域图像对应的模糊图像的模糊强度不相同；输入待增强区域图像对应的增强模型的模糊图像至对应的初始增强模型，输出待增强区域图像对应的初始增强模型的增强图像；计算待增强区域图像对应的初始增强模型的增强图像和真实图像的差异度；判断待增强区域图像对应的初始增强模型的差异度，是否小于或等于待增强区域图像对应的初始增强模型的预设差异度阈值，当待增强区域图像对应的初始增强模型的差异度，小于或等于待增强区域图像对应的初始增强模型的预设差异度阈值时，得到待增强区域图像对应的增强模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：当待增强区域图像对应的初始增强模型的差异度，大于待增强区域图像对应的初始增强模型的预设差异度阈值时，更新待增强区域图像对应的初始增强模型的模型参数，将各个更新了模型参数的待增强区域图像对应的初始增强模型作为待增强区域图像对应的初始增强模型，执行输入待增强区域图像对应的增强模型的模糊图像至对应的初始增强模型，直至得到各个待增强区域图像对应的增强模型。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取原始图像和原始图像对应的多个区域图像，多个区域图像中包括至少一个待增强区域图像，分别输入原始图像至各个待增强区域图像对应的增强模型，输出对应的增强图像，根据各个待增强区域图像和对应的增强图像生成目标增强区域图像，若区域图像全部为待增强区域图像，则融合各个目标增强区域图像，得到原始图像的目标增强图像。
在一个实施例中，若区域图像包括待增强区域图像和非增强区域图像，计算机程序被处理器执行时还实现以下步骤：融合各个非增强区域图像和各个目标增强区域图像，得到原始图像的目标增强图像。
在一个实施例中，待增强区域图像包括前景区域图像和背景区域图像，增强模型包括前景增强模型和背景增强模型，前景区域和背景区域组成原始图像，分别输入原始图像至各个待增强区域图像对应的增强模型，输出对应的增强图像，包括：分别输入原始图像至前景增强模型和背景增强模型，输出前景增强图像和背景增强图像，根据各个待增强区域图像和对应的增强图像生成目标增强区域图像，包括：根据前景区域图像和前景增强图像生成前景增强区域图像，根据背景区域图像和背景增强图像生成背景增强区域图像，融合各个目标增强区域图像，得到原始图像的目标增强图像，包括：融合前景增强区域图像和背景增强区域图像，得到目标增强图像。
在一个实施例中，待增强区域图像包括前景区域图像、背景区域图像和文字区域图像，增强模型包括前景增强模型、背景增强模型和文字增强模型，分别输入原始图像至各个待增强区域图像对应的增强模型，输出对应的增强图像，包括：分别输入原始图像至前景增强模型和文字增强模型，输出前景增强图像、背景增强图像和文字增强图像；根据各个待增强区域图像和对应的增强图像生成目标增强区域图像，包括：根据前景区域图像和前景增强图像生成前景增强区域图像，根据背景区域图像和背景增强图像生成背景增强区域图像，根据文字区域图像和文字增强图像生成文字增强区域图像，融合各个目标增强区域图像，得到原始图像的目标增强图像，包括：融合前景增强区域图像、背景增强区域图像和文字增强区域图像，得到目标增强图像。
在一个实施例中，待增强区域图像包括前景区域图像和文字区域图像，增强模型包括前景增强模型和文字增强模型，分别输入原始图像至各个待增强区域图像对应的增强模型，输出对应的增强图像，包括：分别输入原始图像至前景增强模型和文字增强模型，输出前景增强图像和文字增强图像；根据各个待增强区域图像和对应的增强图像生成目标增强区域图像，包括：根据前景区域图像和前景增强图像生成前景增强区域图像，根据文字区域图像和文字增强图像生成文字增强区域图像；融合各个非增强区域图像和各个目标增强区域图像，得到原始图像的目标增强图像，包括：融合背景区域图像、前景增强区域图像和文字增强区域图像，得到目标增强图像。
在一个实施例中，各个待增强区域图像对应的增强模型具有相同的网络结构。
在一个实施例中，各个待增强区域图像对应的增强模型为卷积神经网络模型。
在一个实施例中，输入原始图像至各个所述待增强区域图像对应的增强模型之前，计算机程序被处理器执行时实现以下步骤：获取多个训练图像对，训练图像对包括真实图像和待增强区域图像对应的增强模型的模糊图像，各个待增强区域图像对应的模糊图像的模糊强度不相同；输入待增强区域图像对应的增强模型的模糊图像至对应的初始增强模型，输出待增强区域图像对应的初始增强模型的增强图像；计算待增强区域图像对应的初始增强模型的增强图像和真实图像的差异度；判断待增强区域图像对应的初始增强模型的差异度，是否小于或等于待增强区域图像对应的初始增强模型的预设差异度阈值；当待增强区域图像对应的初始增强模型的差异度，小于或等于待增强区域图像对应的初始增强模型的预设差异度阈值时，得到待增强区域图像对应的增强模型；
在一个实施例中，计算机程序被处理器执行时实现以下步骤：当待增强区域图像对应的初始增强模型的差异度，大于待增强区域图像对应的初始增强模型的预设差异度阈值时，更新待增强区域图像对应的初始增强模型的模型参数，将各个更新了模型参数的待增强区域图像对应的初始增强模型作为待增强区域图像对应的初始增强模型，执行输入待增强区域图像对应的增强模型的模糊图像至对应的初始增强模型，直至得到各个待增强区域图像对应的增强模型。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
Claims (12)
1.一种图像增强方法，其特征在于，所述方法包括：
获取原始图像和所述原始图像对应的多个区域图像，多个所述区域图像中包括至少一个待增强区域图像；
输入所述原始图像至各个所述待增强区域图像对应的增强模型，输出对应的增强图像；
根据各个所述待增强区域图像和对应的增强图像生成目标增强区域图像；
若所述区域图像全部为待增强区域图像，则融合各个所述目标增强区域图像，得到所述原始图像的目标增强图像。
2.根据权利要求1所述的方法，其特征在于，若所述区域图像还包括非增强区域图像，所述方法还包括：
融合各个所述非增强区域图像和各个所述目标增强区域图像，得到所述原始图像的目标增强图像。
3.根据权利要求1所述的方法，其特征在于，所述待增强区域图像包括前景区域图像和背景区域图像，所述增强模型包括前景增强模型和背景增强模型，所述前景区域和所述背景区域组成所述原始图像，
所述输入所述原始图像至各个所述待增强区域图像对应的增强模型，输出对应的增强图像，包括：分别输入所述原始图像至前景增强模型和背景增强模型，输出前景增强图像和背景增强图像；
所述根据各个待增强区域图像和对应的增强图像生成目标增强区域图像，包括：根据所述前景区域图像和所述前景增强图像生成前景增强区域图像，根据所述背景区域图像和所述背景增强图像生成背景增强区域图像；
所述融合各个所述目标增强区域图像，得到所述原始图像的目标增强图像，包括：融合所述前景增强区域图像和所述背景增强区域图像，得到所述目标增强图像。
4.根据权利要求1所述的方法，其特征在于，所述待增强区域图像包括前景区域图像、背景区域图像和文字区域图像，所述增强模型包括前景增强模型、背景增强模型和文字增强模型，
所述输入所述原始图像至各个所述待增强区域图像对应的增强模型，输出对应的增强图像，包括：分别输入所述原始图像至前景增强模型和文字增强模型，输出前景增强图像、背景增强图像和文字增强图像；
所述根据各个待增强区域图像和对应的增强图像生成目标增强区域图像，包括：根据所述前景区域图像和所述前景增强图像生成前景增强区域图像，根据所述背景区域图像和所述背景增强图像生成背景增强区域图像，根据所述文字区域图像和所述文字增强图像生成文字增强区域图像；
所述融合各个所述目标增强区域图像，得到所述原始图像的目标增强图像，包括：融合所述前景增强区域图像、所述背景增强区域图像和所述文字增强区域图像，得到所述目标增强图像。
5.根据权利要求2所述的方法，其特征在于，所述区域图像包括前景区域图像、背景区域图像和文字区域图像，所述待增强区域图像包括所述前景区域图像和所述文字区域图像，所述非增强区域图像为所述背景区域图像，所述增强模型包括前景增强模型和文字增强模型，
所述输入所述原始图像至各个所述待增强区域图像对应的增强模型，输出对应的增强图像，包括：分别输入所述原始图像至前景增强模型和文字增强模型，输出前景增强图像和文字增强图像；
所述根据各个待增强区域图像和对应的增强图像生成目标增强区域图像，包括：根据所述前景区域图像和所述前景增强图像生成前景增强区域图像，根据所述文字区域图像和所述文字增强图像生成文字增强区域图像；
所述融合各个所述非增强区域图像和各个所述目标增强区域图像，得到所述原始图像的目标增强图像，包括：融合所述背景区域图像、前景增强区域图像和所述文字增强区域图像，得到所述目标增强图像。
6.根据权利要求1至5中任一项所述的方法，其特征在于，各个所述待增强区域图像对应的增强模型具有相同的网络结构。
7.根据权利要求6所述的方法，其特征在于，各个所述待增强区域图像对应的增强模型为卷积神经网络模型。
8.根据权利要求1所述的方法，其特征在于，所述输入所述原始图像至各个所述待增强区域图像对应的增强模型之前，所述方法还包括：
获取多个训练图像对，所述训练图像对包括真实图像和所述待增强区域图像对应的增强模型的模糊图像，各个所述待增强区域图像对应的模糊图像的模糊强度不相同；
输入所述待增强区域图像对应的增强模型的模糊图像至对应的初始增强模型，输出所述待增强区域图像对应的初始增强模型的增强图像；
计算所述待增强区域图像对应的初始增强模型的增强图像和所述真实图像的差异度；
判断所述待增强区域图像对应的初始增强模型的差异度，是否小于或等于所述待增强区域图像对应的初始增强模型的预设差异度阈值；
当所述待增强区域图像对应的初始增强模型的差异度，小于或等于所述待增强区域图像对应的初始增强模型的预设差异度阈值时，得到所述待增强区域图像对应的增强模型。
9.根据权利要求8所述的方法，其特征在于，当所述待增强区域图像对应的初始增强模型的差异度，大于所述待增强区域图像对应的初始增强模型的预设差异度阈值时，所述方法还包括：
更新所述待增强区域图像对应的初始增强模型的模型参数，将各个更新了模型参数的待增强区域图像对应的初始增强模型作为所述待增强区域图像对应的初始增强模型，执行输入所述待增强区域图像对应的增强模型的模糊图像至对应的初始增强模型，直至得到各个所述待增强区域图像对应的增强模型。
10.一种图像增强装置，其特征在于，所述装置包括：
数据获取模块，用于获取原始图像和所述原始图像对应的多个区域图像，多个所述区域图像中包括至少一个待增强区域图像；
图像增强模块，用于输入所述原始图像至各个所述待增强区域图像对应的增强模型，输出对应的增强图像；
图像融合模块，用于根据各个待增强区域图像和对应的增强图像生成目标增强区域图像，若所述区域图像全部为待增强区域图像，融合各个所述目标增强区域图像，得到所述原始图像的目标增强图像。
11.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述方法的步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910626028.9A CN110378852A (zh) | 2019-07-11 | 2019-07-11 | 图像增强方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910626028.9A CN110378852A (zh) | 2019-07-11 | 2019-07-11 | 图像增强方法、装置、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110378852A true CN110378852A (zh) | 2019-10-25 |
Family
ID=68252812
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910626028.9A Pending CN110378852A (zh) | 2019-07-11 | 2019-07-11 | 图像增强方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110378852A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112001940A (zh) * | 2020-08-21 | 2020-11-27 | Oppo（重庆）智能科技有限公司 | 图像处理方法及装置、终端及可读存储介质 |
| CN113313650A (zh) * | 2021-06-09 | 2021-08-27 | 北京百度网讯科技有限公司 | 图像画质增强方法、装置、设备和介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105654436A (zh) * | 2015-12-24 | 2016-06-08 | 广东迅通科技股份有限公司 | 一种基于前景背景分离的背光图像增强去噪方法 |
| CN106447677A (zh) * | 2016-10-12 | 2017-02-22 | 广州视源电子科技股份有限公司 | 图像处理方法和装置 |
| WO2017173578A1 (zh) * | 2016-04-05 | 2017-10-12 | 华为技术有限公司 | 一种图像增强方法及装置 |
| CN108876745A (zh) * | 2018-06-27 | 2018-11-23 | 厦门美图之家科技有限公司 | 图像处理方法及装置 |
| CN109214322A (zh) * | 2018-08-27 | 2019-01-15 | 厦门哲林软件科技有限公司 | 一种文档图像视觉效果的优化方法及*** |
| CN109697706A (zh) * | 2018-12-28 | 2019-04-30 | 哈尔滨工业大学 | 一种低对比度图像的自定义区域增强方法 |
| CN109801224A (zh) * | 2018-12-04 | 2019-05-24 | 北京奇艺世纪科技有限公司 | 一种图片处理方法、装置、服务器和存储介质 |
-
2019
- 2019-07-11 CN CN201910626028.9A patent/CN110378852A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105654436A (zh) * | 2015-12-24 | 2016-06-08 | 广东迅通科技股份有限公司 | 一种基于前景背景分离的背光图像增强去噪方法 |
| WO2017173578A1 (zh) * | 2016-04-05 | 2017-10-12 | 华为技术有限公司 | 一种图像增强方法及装置 |
| CN106447677A (zh) * | 2016-10-12 | 2017-02-22 | 广州视源电子科技股份有限公司 | 图像处理方法和装置 |
| CN108876745A (zh) * | 2018-06-27 | 2018-11-23 | 厦门美图之家科技有限公司 | 图像处理方法及装置 |
| CN109214322A (zh) * | 2018-08-27 | 2019-01-15 | 厦门哲林软件科技有限公司 | 一种文档图像视觉效果的优化方法及*** |
| CN109801224A (zh) * | 2018-12-04 | 2019-05-24 | 北京奇艺世纪科技有限公司 | 一种图片处理方法、装置、服务器和存储介质 |
| CN109697706A (zh) * | 2018-12-28 | 2019-04-30 | 哈尔滨工业大学 | 一种低对比度图像的自定义区域增强方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112001940A (zh) * | 2020-08-21 | 2020-11-27 | Oppo（重庆）智能科技有限公司 | 图像处理方法及装置、终端及可读存储介质 |
| CN113313650A (zh) * | 2021-06-09 | 2021-08-27 | 北京百度网讯科技有限公司 | 图像画质增强方法、装置、设备和介质 |
| JP2022088588A (ja) * | 2021-06-09 | 2022-06-14 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | 画像画質補強方法、装置、機器および媒体 |
| EP4033444A3 (en) * | 2021-06-09 | 2022-12-07 | Beijing Baidu Netcom Science Technology Co., Ltd. | Method and apparatus for enhancing image quality, device, and medium |
| CN113313650B (zh) * | 2021-06-09 | 2023-10-13 | 北京百度网讯科技有限公司 | 图像画质增强方法、装置、设备和介质 |
| JP7389840B2 (ja) | 2021-06-09 | 2023-11-30 | ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド | 画像画質補強方法、装置、機器および媒体 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109389556B (zh) | 一种多尺度空洞卷积神经网络超分辨率重构方法及装置 | |
| CN111723860B (zh) | 一种目标检测方法及装置 | |
| Ma et al. | Learning deep context-sensitive decomposition for low-light image enhancement | |
| CN110675339A (zh) | 基于边缘修复和内容修复的图像修复方法及*** | |
| Zhang et al. | Gated fusion network for degraded image super resolution | |
| Wen et al. | Video super-resolution via a spatio-temporal alignment network | |
| CN110516541B (zh) | 文本定位方法、装置、计算机可读存储介质和计算机设备 | |
| CN112184585B (zh) | 一种基于语义边缘融合的图像补全方法及*** | |
| CN107085825A (zh) | 图像虚化方法、装置及电子设备 | |
| CN111951172A (zh) | 一种图像优化方法、装置、设备和存储介质 | |
| CN113793286B (zh) | 一种基于多阶注意力神经网络的媒体图像水印移除方法 | |
| Kim et al. | Zoom-to-inpaint: Image inpainting with high-frequency details | |
| Zhong et al. | Deep attentional guided image filtering | |
| CN110378852A (zh) | 图像增强方法、装置、计算机设备和存储介质 | |
| CN113744142A (zh) | 图像修复方法、电子设备及存储介质 | |
| CN107578375B (zh) | 图像处理方法及装置 | |
| US20230360180A1 (en) | Digital image inpainting utilizing a cascaded modulation inpainting neural network | |
| Maeda | Image super-resolution with deep dictionary | |
| DE102023104829A1 (de) | Objektklasseninpainting - bzw. manipulieren in Digitalbildern unter Einsatz von klassenspezifischen Inpainting-Neuronalen- Netzwerken | |
| Liu et al. | Facial image inpainting using multi-level generative network | |
| CN112801911B (zh) | 一种去除自然图像中文字类噪声的方法及装置、存储介质 | |
| Wang et al. | A multi-scale attentive recurrent network for image dehazing | |
| Peng et al. | Mpib: An mpi-based bokeh rendering framework for realistic partial occlusion effects | |
| CN111145107B (zh) | 一种图像美化方法、装置、介质及设备 | |
| Gupta et al. | A robust and efficient image de-fencing approach using conditional generative adversarial networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191025 |