CN110796624B - 一种图像生成方法、装置及电子设备 - Google Patents

一种图像生成方法、装置及电子设备 Download PDF

Info

Publication number
CN110796624B
CN110796624B CN201911055646.9A CN201911055646A CN110796624B CN 110796624 B CN110796624 B CN 110796624B CN 201911055646 A CN201911055646 A CN 201911055646A CN 110796624 B CN110796624 B CN 110796624B
Authority
CN
China
Prior art keywords
image
image block
quality classification
classification result
enhanced
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911055646.9A
Other languages
English (en)
Other versions
CN110796624A (zh
Inventor
贺沁雯
樊鸿飞
蔡媛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kingsoft Cloud Network Technology Co Ltd
Beijing Kingsoft Cloud Technology Co Ltd
Original Assignee
Beijing Kingsoft Cloud Network Technology Co Ltd
Beijing Kingsoft Cloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kingsoft Cloud Network Technology Co Ltd, Beijing Kingsoft Cloud Technology Co Ltd filed Critical Beijing Kingsoft Cloud Network Technology Co Ltd
Priority to CN201911055646.9A priority Critical patent/CN110796624B/zh
Publication of CN110796624A publication Critical patent/CN110796624A/zh
Priority to PCT/CN2020/117213 priority patent/WO2021082819A1/zh
Priority to SG11202100123VA priority patent/SG11202100123VA/en
Priority to US17/259,907 priority patent/US11836898B2/en
Application granted granted Critical
Publication of CN110796624B publication Critical patent/CN110796624B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供了一种图像生成方法、装置及电子设备，包括：对待处理图像分别进行多个类型的图像增强处理，以得到多张预增强图像，并且对待处理图像中的第一图像块进行图像质量分类，得到第一图像块对应的第一质量分类结果，以及基于第一图像块对应的第一质量分类结果，在多张预增强图像中确定出目标预增强图像，以及在目标预增强图像中确定出第二图像块，以及根据第二图像块，生成目标图，由于对第一图像块进行质量分类，从而可以确定影响第一图像块图像质量的影响因素，再结合通过预增强图像确定出第二图像块，生成目标图像从而提高了图像增强的效果。

Description

一种图像生成方法、装置及电子设备
技术领域
本发明涉及图像处理技术领域，特别是涉及一种图像生成方法、装置及电子设备。
背景技术
随着社会的不断发展，以及图像拍摄技术的不断进步，越来越多人愿意通过电子设备拍摄图像来记录生活，然而，由于设备、环境等因素的影响，使得图像在采集和生成的过程中，会产生各种噪声，从而影响图像的图像质量，例如，当拍摄环境的光线不足，亮度过暗时，拍摄的图像会产生采集噪声，以及在拍摄的过程中，拍摄对象运动、电子设备抖动或者拍摄对象失焦，都会造成拍摄的图像变得模糊。现有技术中存在一些图像增强处理方法，但是采用现有技术进行图像增强，只能粗略的针对一种影响因素对图像进行图像增强，图像增强的效果一般。
发明内容
本发明实施例的目的在于提供一种图像生成方法、装置及电子设备，以提高图像增强的效果。具体技术方案如下：
本发明实施例提供一种图像生成方法，包括：
对待处理图像分别进行多个类型的图像增强处理，以得到多张预增强图像，其中，每张所述预增强图像对应一种类型的所述图像增强处理，每种类型的所述图像增强处理对应一种影响图像质量的影响因素；
对所述待处理图像中的第一图像块进行图像质量分类，得到所述第一图像块对应的第一质量分类结果，其中，所述第一质量分类结果用于指示所述第一图像块中存在的影响图像质量的影响因素；
基于所述第一图像块对应的第一质量分类结果，在多张所述预增强图像中确定出目标预增强图像，其中，所述目标增强图像所对应的图像增强处理的类型与所述第一质量分类结果所指示的所述第一图像块中存在的影响图像质量的影响因素相匹配；
在所述目标预增强图像中确定出第二图像块，其中，所述第二图像块在所述预增强图像中所属的区域与所述第一图像块在所述待处理图像中所属的区域相同；
根据所述第二图像块，生成目标图像。
进一步的，所述对所述待处理图像中的第一图像块进行图像质量分类，得到所述第一图像块对应的第一质量分类结果，包括：
将所述待处理图像中的第一图像块输入预先建立的质量分类模型，得到所述第一图像块对应的初始质量分类结果，其中，所述质量分类模型用于对图像进行质量分类；
基于预设的图像处理策略和所述第一图像块对应的初始质量分类结果，确定出所述第一图像块的对应的第一质量分类结果。
进一步的，所述初始质量分类结果包括各所述影响因素存在的概率；
所述基于预设的图像处理策略和所述第一图像块对应的初始质量分类结果，确定出所述第一图像块的对应的第一质量分类结果，包括：
确定出所述第一图像块对应的初始质量分类结果中存在的概率最大的影响因素，作为所述第一图像块对应的目标影响因素；
根据所述第一图像块对应的目标影响因素，确定出所述第一图像块对应的第一质量分类结果。
进一步的，所述基于所述第一图像块对应的第一质量分类结果，在多张所述预增强图像中确定出目标预增强图像，包括：
基于所述第一图像块对应的目标影响因素，在多张所述预增强图像中确定出目标预增强图像。
进一步的，所述基于预设的图像处理策略和所述第一图像块对应的初始质量分类结果，确定出所述第一图像块的对应的第一质量分类结果，包括：
基于所述第一图像块在所述待处理图像中的位置，确定出与所述第一图像块在位置上存在对应关系的图像块，作为所述第一图像块对应的参考图像块；
根据所述第一图像块对应的初始质量分类结果，以及所述第一图像块对应的参考图像块所对应的初始质量分类结果，确定出所述第一图像块对应的综合质量分类结果，作为所述第一图像块对应的第一质量分类结果。
进一步的，所述根据所述第一图像块对应的初始质量分类结果，以及所述第一图像块对应的参考图像块所对应的初始质量分类结果，确定出所述第一图像块对应的综合质量分类结果，作为所述第一图像块对应的第一质量分类结果，包括：
判断所述第一图像块对应的参考图像块所对应的初始质量分类结果是否相同；
若相同，则将所述第一图像块对应的参考图像块所对应的初始质量分类结果确定为所述第一图像块对应的综合质量分类结果；
若不同，则将所述第一图像块对应初始质量分类结果确定为所述第一图像块对应的综合质量分类结果。
进一步的，所述初始质量分类结果包括各所述影响因素存在的概率；
所述根据所述第一图像块对应的初始质量分类结果，以及所述第一图像块对应的参考图像块所对应的初始质量分类结果，确定出所述第一图像块对应的综合质量分类结果，包括：
根据所述第一图像块对应的参考图像块中每个所述影响因素存在的概率，调整所述第一图像块中每个所述影响因素存在的概率，并将所述第一图像块中每个所述影响因素调整后的存在的概率作为所述第一图像块的综合质量分类结果所包含的每个所述影响因素存在的概率。
进一步的，所述在所述目标预增强图像中确定出第二图像块，包括：
获取各所述目标预增强图像中每个像素的像素值；
将各所述目标预增强图像中对应目标像素的像素的像素值进行加权求和，以得到对应所述目标像素的综合像素值，其中，所述目标像素为所述第一图像块中的一个像素，每个所述目标预增强图像中像素的权重为每个所述目标预增强图像对应的影响因素在所述第一图像块中存在的概率；
将所述目标像素的像素值调整为所述综合像素值，以生成对应所述第一图像块的第二图像块。
进一步的，所述影响因素至少包括无噪声低分辨率、压缩噪声、采集噪声和模糊；
所述对待处理图像分别进行多个类型的图像增强处理，以得到多张预增强图像，包括：
将所述待处理图像输入预先建立的第一模型，得到对应所述无噪声低分辨率的预增强图像，其中，所述第一模型用于提高所述待处理图像的分辨率；
将所述待处理图像输入预先建立的第二模型，得到对应所述压缩噪声的预增强图像，其中，所述第二模型用于去除所述待处理图像所包含的所述压缩噪音；
将所述待处理图像输入预先建立的第三模型，得到对应所述采集噪声的预增强图像，其中，所述第三模型用于去除所述待处理图像所包含的所述采集噪音；
将所述待处理图像输入预先建立的第四模型，得到对应所述模糊的预增强图像，其中，所述第四模型用于消除所述待处理图像所包含的所述模糊。
本发明实施例还提供一种图像生成装置，所述装置包括：
图像增强处理模块，用于对待处理图像分别进行多个类型的图像增强处理，以得到多张预增强图像，其中，每张所述预增强图像对应一种类型的所述图像增强处理，每种类型的所述图像增强处理对应一种影响图像质量的影响因素；
图像质量分类模块，用于对所述待处理图像中的第一图像块进行图像质量分类，得到所述第一图像块对应的第一质量分类结果，其中，所述第一质量分类结果用于指示所述第一图像块中存在的影响图像质量的影响因素；
图像确定模块，用于基于所述第一图像块对应的第一质量分类结果，在多张所述预增强图像中确定出目标预增强图像，其中，所述目标增强图像所对应的图像增强处理的类型与所述第一质量分类结果所指示的所述第一图像块中存在的影响图像质量的影响因素相匹配；
第二图像块确定模块，用于在所述目标预增强图像中确定出第二图像块，其中，所述第二图像块在所述预增强图像中所属的区域与所述第一图像块在所述待处理图像中所属的区域相同；
目标图像生成模块，用于根据所述第二图像块，生成目标图像。
进一步的，所述图像质量分类模块，具体用于将所述待处理图像中的第一图像块输入预先建立的质量分类模型，得到所述第一图像块对应的初始质量分类结果，其中，所述质量分类模型用于对图像进行质量分类，并且基于预设的图像处理策略和所述第一图像块对应的初始质量分类结果，确定出所述第一图像块的对应的第一质量分类结果。
进一步的，所述初始质量分类结果包括各所述影响因素存在的概率；
所述图像质量分类模块，具体用于确定出所述第一图像块对应的初始质量分类结果中存在的概率最大的影响因素，作为所述第一图像块对应的目标影响因素，并且根据所述第一图像块对应的目标影响因素，确定出所述第一图像块对应的第一质量分类结果。
进一步的，所述图像确定模块，具体用于基于所述第一图像块对应的目标影响因素，在多张所述预增强图像中确定出目标预增强图像。
进一步的，所述图像质量分类模块，具体用于基于所述第一图像块在所述待处理图像中的位置，确定出与所述第一图像块在位置上存在对应关系的图像块，作为所述第一图像块对应的参考图像块，并且根据所述第一图像块对应的初始质量分类结果，以及所述第一图像块对应的参考图像块所对应的初始质量分类结果，确定出所述第一图像块对应的综合质量分类结果，作为所述第一图像块对应的第一质量分类结果。
进一步的，所述图像质量分类模块，具体用于判断所述第一图像块对应的参考图像块所对应的初始质量分类结果是否相同，并且若相同，则将所述第一图像块对应的参考图像块所对应的初始质量分类结果确定为所述第一图像块对应的综合质量分类结果，以及若不同，则将所述第一图像块对应初始质量分类结果确定为所述第一图像块对应的综合质量分类结果。
进一步的，所述初始质量分类结果包括各所述影响因素存在的概率；
所述图像质量分类模块，具体用于根据所述第一图像块对应的参考图像块中每个所述影响因素存在的概率，调整所述第一图像块中每个所述影响因素存在的概率，并将所述第一图像块中每个所述影响因素调整后的存在的概率作为所述第一图像块的综合质量分类结果所包含的每个所述影响因素存在的概率。
进一步的，所述第二图像块确定模块，用于获取各所述目标预增强图像中每个像素的像素值，并且将各所述目标预增强图像中对应目标像素的像素的像素值进行加权求和，以得到对应所述目标像素的综合像素值，其中，所述目标像素为所述第一图像块中的一个像素，每个所述目标预增强图像中像素的权重为每个所述目标预增强图像对应的影响因素在所述第一图像块中存在的概率，以及将所述目标像素的像素值调整为所述综合像素值，以生成对应所述第一图像块的第二图像块。
进一步的，所述影响因素至少包括无噪声低分辨率、压缩噪声、采集噪声和模糊；
所述图像增强处理模块，具体用于将所述待处理图像输入预先建立的第一模型，得到对应所述无噪声低分辨率的预增强图像，其中，所述第一模型用于提高所述待处理图像的分辨率，并且将所述待处理图像输入预先建立的第二模型，得到对应所述压缩噪声的预增强图像，其中，所述第二模型用于去除所述待处理图像所包含的所述压缩噪音，并且将所述待处理图像输入预先建立的第三模型，得到对应所述采集噪声的预增强图像，其中，所述第三模型用于去除所述待处理图像所包含的所述采集噪音，并且将所述待处理图像输入预先建立的第四模型，得到对应所述模糊的预增强图像，其中，所述第四模型用于消除所述待处理图像所包含的所述模糊。
本发明实施例还提供一种电子设备，包括处理器和存储器；所述存储器上存储有计算机程序，所述计算机程序在被所述处理器运行时执行上述图像生成方法。
本发明提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述图像生成方法。
本发明实施例还提供一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一图像生成方法的步骤。
本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一图像生成方法。
本发明实施例提供的一种图像生成方法、装置及电子设备，方案中，对待处理图像分别进行多个类型的图像增强处理，以得到多张预增强图像，其中，每张预增强图像对应一种类型的图像增强处理，每种类型的图像增强处理对应一种影响图像质量的影响因素，并且对待处理图像中的第一图像块进行图像质量分类，得到第一图像块对应的第一质量分类结果，其中，第一质量分类结果用于指示第一图像块中存在的影响图像质量的影响因素，以及基于第一图像块对应的第一质量分类结果，在多张预增强图像中确定出目标预增强图像，其中，目标增强图像所对应的图像增强处理的类型与第一质量分类结果所指示的第一图像块中存在的影响图像质量的影响因素相匹配，以及在目标预增强图像中确定出第二图像块，其中，第二图像块在预增强图像中所属的区域与第一图像块在待处理图像中所属的区域相同，以及根据第二图像块，生成目标图像，由于对第一图像块进行质量分类，从而可以确定影响第一图像块图像质量的影响因素，再结合通过预增强图像确定出第二图像块，生成目标图像，也就是可以对待处理图像中的不同的图像块根据自身的图像质量进行对应的增强处理，解决了对整张图像进行的单一图像处理效果差的问题，从而提高了图像增强的效果。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明一个实施例提供的图像生成方法的流程图；
图2为本发明另一个实施例提供的图像生成方法的流程图；
图3为本发明一个实施例提供的待处理图像剪裁示意图；
图4为本发明一个实施例提供的图像生成装置的结构示意图；
图5为本发明实施例提供的电子设备的结构示意图。
具体实施方式
为了给出提高图像增强的效果的实现方案，本发明实施例提供了一种图像生成方法、装置及电子设备，以下结合说明书附图对本发明的实施例进行说明。并且在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的一个实施例中，提供一种图像生成方法，如图1所示，该方法包括以下步骤：
S101：对待处理图像分别进行多个类型的图像增强处理，以得到多张预增强图像。
本步骤中，每张预增强图像对应一种类型的图像增强处理，每种类型的图像增强处理对应一种影响图像质量的影响因素。
其中，影响图像质量的影响因素至少包括无噪声低分辨率、压缩噪声、采集噪声和模糊。
对于待处理图像，可以分别通过图像增强算法对其进行图像增强处理，且至少分别进行无噪声低分辨率增强处理、压缩噪声增强处理、采集噪声增强处理和模糊增强处理，其中，无噪声低分辨率增强处理用来提升处理图像的分辨率，压缩噪声增强处理用于去除待处理图像所包含的压缩噪音，采集噪声增强处理用于去除待处理图像所包含的采集噪音，模糊增强处理消除待处理图像所包含的模糊。
在一个实施例中，可以通过预先建立的模对待处理图像进行图像增强处理，包括：
针对无噪声低分辨率，可以将待处理图像输入预先建立的第一模型，得到对应无噪声低分辨率的预增强图像，其中，第一模型用于提高待处理图像的分辨率。
其中，预先建立的第一模型可以为超分辨图像重建SRIR模型，而超分辨图像重建SRIR模型的训练样本可以为高清图像和对于该高清图像经过下采样再上采样的得到的低分辨率图像。通过将待处理图像输入超分辨图像重建SRIR模型，得到提高分辨率的无噪声低分辨率增强图像。
针对压缩噪声，可以将待处理图像输入预先建立的第二模型，得到对应压缩噪声的预增强图像，其中，第二模型用于减少待处理图像所包含的压缩噪音。
其中，第二模型可以为去压缩噪声模型，去压缩噪声模型的训练样本为高清图像和该高清图像经过JPEG压缩的含压缩噪声的低分辨率图像。通过将待处理图像输入去压缩噪声模型，得到去除压缩噪声的去压缩噪声增强图像
针对采集噪声，将待处理图像输入预先建立的第三模型，得到对应采集噪声的预增强图像，其中，第三模型用于降低待处理图像所包含的采集噪音；
其中，第三模型可以为去采集噪声模型，去采集噪声模型，去采集噪声模型的训练样本为高清图像和对应该高清图像的含采集噪声的低分辨率图像。通过将待处理图像输入去采集噪声模型，得到去除采集噪声的去采集噪声增强图像
针对模糊，将待处理图像输入预先建立的第四模型，得到对应模糊的预增强图像，其中，第四模型用于减少待处理图像所包含的模糊。
其中，第四模型可以为去模糊模型，而去模糊模型的训练样本为高清图像和对应该高清图像的含模糊的低分辨率图像。通过将待处理图像输入去模糊模型，得到去除模糊的去模糊增强图像。
在一个实施例中，上述针对不同影响因素的图像增强处理可以是在不同线程或进程中同时执行的，从而进一步的提高了效率，节约了时间。
S102：对待处理图像中的第一图像块进行图像质量分类，得到第一图像块对应的第一质量分类结果。
本步骤中，第一质量分类结果用于指示第一图像块中存在的影响图像质量的影响因素。
可选的，待处理图像中的图像块被称为第一图像块，也就是第一图像块可以是待处理图像中的任意一个图像块。
在一个实施例中，可以预先基于设置剪裁规则，对待处理图像进行剪裁，得到剪裁后的第一图像块。
其中，预设的剪裁规则可以是根据实际需求及经验进行确定的，本领域的技术人员所知的，可以通过调整图像块的batch_size和patch_size参数来调整剪裁后的图像块大小，如果在实际使用过程中，需要精度高一点就将剪裁后的图像块设置得小一点。
在一个实施例中，预设的剪裁规则可以是将待处理图像剪裁成大小相同的第一预设数量个第一图像块，其中，第一预设数量个可以基于实际需求和经验，以及该待处理图像的实际大小确定。
本实施例中，确定第一预设数量后，可以将该待处理图像均等分的剪裁，得到第一预设数量个图像块，示例性的，第一预设数量为10，则将待处理图像均等分的剪裁为10个大小相同的第一图像块。
在一个实施例中，预设的剪裁规则还可以是对待处理图像进行随机剪裁，得到第二预设数量个图像块，其中，第二预设数量个可以基于实际需求和经验，以及该待处理图像的实际大小确定，也可以是随机确定的，例如，随机的对待处理图像进行剪裁，得到n张第一图像块，则该第二预设数量为n。
在一个实施例中，针对待处理图像的每一张第一图像块，可以将第一图像块输入预先建立的质量分类模型，并且将质量分类模型输出的结果作为第一图像块的第一质量分类结果。
其中，第一质量分类结果可以是第一图像块中影响因素存在的概率，示例性的，对第一图像块a进行图像质量分类后，得到图像块a的第一质量分类结果为：无噪声低分辨率存在的概率为10％，采集噪声存在的概率为50％，压缩噪声存在的概率为15％，模糊存在的概率为25％。
在一个实施例中，质量分类模型输出的可以是对第一图像块的图像质量影响最大的影响因素，例如对图像块a进行图像质量分类后，确定图像块a的第一质量分类结果为采集噪声图像。
S103：基于第一图像块对应的第一质量分类结果，在多张预增强图像中确定出目标预增强图像。
本步骤中，目标增强图像所对应的图像增强处理的类型与第一质量分类结果所指示的第一图像块中存在的影响图像质量的影响因素相匹配。
可选的，可以基于第一图像块的第一质量分类结果，在各预增强图像中，确定对应第一图像块的第一质量分类结果的预增强图像，作为第一图像块对应的目标预增强图像。
在一个实施例中，存在四张预增强图像，分别为无噪声低分辨率增强图像、去压缩噪声增强图像、去采集噪声增强图像和去模糊增强图像。
在一个实施例中，第一图像块的第一质量分类结果表示影响第一图像块图像质量的各影响因素中存在的概率最大的影响因素，则可以基于第一图像块的第一质量分类结果表示的影响因素，在各预增强图像中，确定针对该影响因素进行处理得到的预增强图像，作为该图像块对应的目标预增强图像。
示例性的，第一图像块a的第一质量分类结果为无噪声低分辨率，则在上述四张预增强图像中，确定无噪声低分辨率增强图像为第一图像块a对应的目标预增强图像。
在一个实施例中，第一质量分类结果表示各影响因素存在的概率，则可以基于第一图像块的第一质量分类结果表示的各影响因素存在的概率，确定影响第一图像块图像质量的各影响因素中存在的概率大于第一阈值的影响因素，作为第一图像块对应的第一影响因素，并且在各预增强图像中，确定针对第一图像块对应的第一影响因素进行处理得到的预增强图像，作为第一图像块对应的目标预增强图像。其中，第一阈值可以是根据实际使用的场景和经验确定的，例如第一阈值为0。
示例性的，第一图像块a的第一质量分类结果为：无噪声低分辨率存在的概率为0％，采集噪声存在的概率为55％，压缩噪声存在的概率为10％，模糊存在的概率为35％，其中，第一阈值为0，确定第一图像a的第一影响因素的采集噪声、压缩噪声和模糊，进一步的，确定针对第一图像块对应的第一影响因素进行处理得到的预增强图像分别为：去采集噪声增强图像、去压缩噪声增强图像和去模糊增强图像，及确定去采集噪声增强图像、去压缩噪声增强图像和去模糊增强图像为图像a的目标预增强图像。
S104：在目标预增强图像中确定出第二图像块。
本步骤中，第二图像块在预增强图像中所属的区域与第一图像块在待处理图像中所属的区域相同；
可选的，可以对第一图像块对应的目标预增强图像进行处理，得到与第一图像块对应的区域图像，作为第二图像块，也可以直接将目标预增强图像中对应对第一图像块的区域，确定为第二图像块。
在一个实施例中，若第一图像块的第一质量分类结果表示影响第一图像块图像质量的各影响因素中存在的概率最大的影响因素，则获取目标预增强图像中对应第一图像块的区域，作为第二图像块。
示例性的，待处理图像被剪裁为第一图像块a和第一图像块b，其中，图像块a对应的目标预增强图像为无噪声低分辨率增强图像，对于图像块a，则可以获取无噪声低分辨率增强图像对应第一图像块a的区域，作为与第一图像块a对应的第二图像块。
S105：根据第二图像块，生成目标图像。
本步骤中，可以根据与待处理图像中的图像块数量相同的第二图像块生成的目标图像，其中，第二图像块与待处理图像中的第一图像块一一对应。
可以将与待处理图像各第一图像块一一对应的第二图像进行拼接，生成目标图像。
在一个实施例中，待处理图像被剪裁为第一图像块a和第一图像块b，则可以将第一图像块a对应的第二图像块和第一图像块b对应的第二图像块进行拼接。
在一个实施例中，可以按照第一图像块a和第一图像块b在待处理图像中的位置，对第一图像块a对应的第二图像块和第一图像块b对应的第二图像块进行拼接，生成目标图像。
本发明实施例提供的上述如图1所示的图像生成方法中，对待处理图像分别进行多个类型的图像增强处理，以得到多张预增强图像，其中，每张预增强图像对应一种类型的图像增强处理，每种类型的图像增强处理对应一种影响图像质量的影响因素，并且对待处理图像中的第一图像块进行图像质量分类，得到第一图像块对应的第一质量分类结果，其中，第一质量分类结果用于指示第一图像块中存在的影响图像质量的影响因素，以及基于第一图像块对应的第一质量分类结果，在多张预增强图像中确定出目标预增强图像，其中，目标增强图像所对应的图像增强处理的类型与第一质量分类结果所指示的第一图像块中存在的影响图像质量的影响因素相匹配，以及在目标预增强图像中确定出第二图像块，其中，第二图像块在预增强图像中所属的区域与第一图像块在待处理图像中所属的区域相同，以及根据第二图像块，生成目标图，由于对第一图像块进行质量分类，从而可以确定影响第一图像块图像质量的影响因素，再结合通过预增强图像确定出第二图像块，生成目标图像从而提高了图像增强的效果。
在本发明的一个实施例中，提供另一种图像生成方法，如图2所示，该方法包括以下步骤：
S201：对待处理图像分别进行多个类型的图像增强处理，以得到多张预增强图像。
本步骤中，具体实现方式与步骤S101相同或相似，在此不再赘述。
S202：将待处理图像中的第一图像块输入预先建立的质量分类模型，得到第一图像块对应的初始质量分类结果。
本步骤中，预先建立的质量分类模型可以是采用基于深度学习的图像质量分类方案，构建卷积神经网络模型，并投入大量训练样本(图像块及其质量分类标签)进行训练得到的。
为了提高第一图像块质量分类的准确性，可以将质量分类模型输出的质量分类结果作为第一图像块对应的初始质量分类结果。
在一个实施例中，初始质量分类结果包括各影响因素存在的概率，示例性的，将第一图像块a通过训练后构建卷积神经网络模型的网络末层softmax函数输出的到第一图像块a的初始质量分类结果为：无噪声低分辨率存在的概率为10％，采集噪声存在的概率为50％，压缩噪声存在的概率为15％，模糊存在的概率为25％。
S203：基于预设的图像处理策略和第一图像块对应的初始质量分类结果，确定出第一图像块的对应的第一质量分类结果。
本步骤中，不同的图像处理策略可以确定出不同的第一质量分类结果。当初始质量分类结果包括各影响因素存在的概率，可选的，可以通过如下方式实现上述步骤；
当图像处理策略为第一质量分类结果为初始质量分类结果中，存在的概率最大的影响因素，采用如下方式：
确定出第一图像块对应的初始质量分类结果中存在的概率最大的影响因素，作为第一图像块对应的目标影响因素，并且根据第一图像块对应的目标影响因素，确定出第一图像块对应的第一质量分类结果。
当图像处理策略为综合考虑初始质量分类结果中，则可以采用如下方式实现上述步骤：
步骤A：基于第一图像块在待处理图像中的位置，确定出与第一图像块在位置上存在对应关系的图像块，作为第一图像块对应的参考图像块。
上述步骤A中，与第一图像块在位置上存在对应关系的图像可以是与第一图像块相邻的第一图像块。
示例性的，如图3所示的待处理图像存在9个第一图像块，分别用A、B、C、D、E、F、G、H和I表示，则对于第一图像E，与第一图像块E相邻的第一图像块分别为B、D、F和H，对于第一图像块A，与第一图像块A相邻的第一图像块分别为B和D。
与第一图像块在位置上存在对应关系的图像还可以是与第一图像块相接的第一图像块。
示例性的，对于如图3所示的第一图像E，第一图像块E相接的第一图像块分别为A、B、C、D、F、G、H和I。对于第一图像块A，与第一图像块A相接的第一图像块分别为B、D和E。
步骤B：根据第一图像块对应的初始质量分类结果，以及第一图像块对应的参考图像块所对应的初始质量分类结果，确定出第一图像块对应的综合质量分类结果，作为第一图像块对应的第一质量分类结果。
可选的，步骤B可以通过以下方式实现：
第一种方式：判断第一图像块对应的参考图像块所对应的初始质量分类结果是否相同，并且若相同，则将第一图像块对应的参考图像块所对应的初始质量分类结果确定为第一图像块对应的综合质量分类结果，以及若不同，则将第一图像块对应初始质量分类结果确定为第一图像块对应的综合质量分类结果。
示例性的，对于如图3所示的第一图像块A，其相邻的第一图像块分别为B和D，若第一图像块B和第一图像块D的初始质量分类结果相同，例如，第一图像块B和第一图像块D的初始质量分类结果都为采集噪声图像，则确定第一图像块A的综合分类结果为采集噪声图像，若第一图像块A的初始质量分类结果为无噪声低分辨率图像、第一图像块B的初始质量分类结果为压缩噪声低分辨率图像、第一图像块D的初始质量分类结果为采集噪声图像，则确定第一图像块A的综合分类结果为无噪声低分辨率图像
第二种方式：根据第一图像块对应的参考图像块中每个影响因素存在的概率，调整第一图像块中每个影响因素存在的概率，并将第一图像块中每个影响因素调整后的存在的概率作为第一图像块的综合质量分类结果所包含的每个影响因素存在的概率。
对于如图3所示的第一图像块A，其相邻的第一图像块分别为B和D，若第一图像块A的初始类质量分类结果为无噪声低分辨率存在的概率为10％，采集噪声存在的概率为50％，压缩噪声存在的概率为15％，模糊存在的概率为25％，第一图像块B的初始质量分类结果为：无噪声低分辨率存在的概率为0％，采集噪声存在的概率为20％，压缩噪声存在的概率为55％，模糊存在的概率为25％，图像D的初始质量分类结果为：无噪声低分辨率存在的概率为20％，采集噪声存在的概率为20％，压缩噪声存在的概率为20％，模糊存在的概率为40％，计算得到无噪声低分辨率存在的平均概率为(10％+0％+20％)/3＝10％，采集噪声存在的平均概率为(50％+20％+20％)/3＝30％，压缩噪声存在的平均概率为(15％+55％+20％)/3＝30％，模糊存在的平均概率为(25％+25％+40％)/3＝30％，则第一图像块A的综合质量分类结果(既第一图像块A的第一质量分类结果)为：无噪声低分辨率存在的平均概率10％，采集噪声存在的概率为30％，压缩噪声存在的概率为30％，模糊存在的概率为30％。可以理解的是，上述数值仅是本发明为了说明所作的举例，本发明并不限于上述数值。
S204：基于第一图像块对应的第一质量分类结果，在多张预增强图像中确定出目标预增强图像。
本步骤中，当第一质量分类结果根据目标影响因素确定时，可以基于第一图像块对应的目标影响因素，在多张预增强图像中确定出目标预增强图像。
在一个实施例中，不同的图像处理策略可以确定出不同的第一质量分类结果，从而确定出不同的目标预增强图像。
在一个实施例中，其确定目标预增强图像与步骤S104类似，在此不再赘述。
S205：在目标预增强图像中确定出第二图像块。
本步骤中，在一个实施例中，若第一质量分类结果表示各影响因素存在的概率可以通过以下方式实现：
获取各目标预增强图像中每个像素的像素值，并且将各目标预增强图像中对应目标像素的像素的像素值进行加权求和，以得到对应目标像素的综合像素值，其中，目标像素为第一图像块中的一个像素，每个目标预增强图像中像素的权重为每个目标预增强图像对应的影响因素在第一图像块中存在的概率，以及将目标像素的像素值调整为综合像素值，以生成对应第一图像块的第二图像块。
其中，对于第一图像块的每一个像素来说，可以分别获取无噪声低分辨率增强图像、去采集噪声增强图像、去压缩噪声增强图像和去模糊增强图像中对应第一图像块a的像素的像素值，例如获取的像素值分别为x1、x2、x3和x4，并分别将15％、35％、25％和25％作为x1、x2、x3和x4的权重，进行加权求和，并将求和结果作为像素的像素值。
S206：根据第二图像块，生成目标图像。
本步骤中，具体实现方式与步骤S105相同或相似，在此不再赘述。
本发明实施例提供的上述如图2所示的图像生成方法中，可以对待处理图像分别进行多个类型的图像增强处理，以得到多张预增强图像并且将待处理图像中的第一图像块输入预先建立的质量分类模型，得到第一图像块对应的初始质量分类结果，以及基于预设的图像处理策略和第一图像块对应的初始质量分类结果，确定出第一图像块的对应的第一质量分类结果，以及基于第一图像块对应的目标影响因素，在多张预增强图像中确定出目标预增强图像，以及在目标预增强图像中确定出第二图像块，以及根据第二图像块，生成目标图像，由于对第一图像块进行质量分类，从而可以确定影响第一图像块图像质量的影响因素，再结合通过预增强图像确定出第二图像块，生成目标图像从而提高了图像增强的效果。
基于同一发明构思，根据本发明实施例提供的图像生成方法，本发明实施例还提供了一种图像生成装置，如图4所示，该装置包括：
图像增强处理模块401，用于对待处理图像分别进行多个类型的图像增强处理，以得到多张预增强图像，其中，每张预增强图像对应一种类型的图像增强处理，每种类型的图像增强处理对应一种影响图像质量的影响因素；
图像质量分类模块402，用于对待处理图像中的第一图像块进行图像质量分类，得到第一图像块对应的第一质量分类结果，其中，第一质量分类结果用于指示第一图像块中存在的影响图像质量的影响因素；
图像确定模块403，用于基于第一图像块对应的第一质量分类结果，在多张预增强图像中确定出目标预增强图像，其中，目标增强图像所对应的图像增强处理的类型与第一质量分类结果所指示的第一图像块中存在的影响图像质量的影响因素相匹配；
第二图像块确定模块404，用于在目标预增强图像中确定出第二图像块，其中，第二图像块在预增强图像中所属的区域与第一图像块在待处理图像中所属的区域相同；
目标图像生成模块405，用于根据第二图像块，生成目标图像。
进一步的，图像质量分类模块402，具体用于将待处理图像中的第一图像块输入预先建立的质量分类模型，得到第一图像块对应的初始质量分类结果，其中，质量分类模型用于对图像进行质量分类，并且基于预设的图像处理策略和第一图像块对应的初始质量分类结果，确定出第一图像块的对应的第一质量分类结果。
进一步的，初始质量分类结果包括各影响因素存在的概率；
图像质量分类模块402，具体用于确定出第一图像块对应的初始质量分类结果中存在的概率最大的影响因素，作为第一图像块对应的目标影响因素，并且根据第一图像块对应的目标影响因素，确定出第一图像块对应的第一质量分类结果。
进一步的，图像确定模块403，具体用于基于第一图像块对应的目标影响因素，在多张预增强图像中确定出目标预增强图像。
进一步的，图像质量分类模块402，具体用于基于第一图像块在待处理图像中的位置，确定出与第一图像块在位置上存在对应关系的图像块，作为第一图像块对应的参考图像块，并且根据第一图像块对应的初始质量分类结果，以及第一图像块对应的参考图像块所对应的初始质量分类结果，确定出第一图像块对应的综合质量分类结果，作为第一图像块对应的第一质量分类结果。
进一步的，图像质量分类模块402，具体用于判断第一图像块对应的参考图像块所对应的初始质量分类结果是否相同，并且若相同，则将第一图像块对应的参考图像块所对应的初始质量分类结果确定为第一图像块对应的综合质量分类结果，以及若不同，则将第一图像块对应初始质量分类结果确定为第一图像块对应的综合质量分类结果。
进一步的，初始质量分类结果包括各影响因素存在的概率；
图像质量分类模块402，具体用于根据第一图像块对应的参考图像块中每个影响因素存在的概率，调整第一图像块中每个影响因素存在的概率，并将第一图像块中每个影响因素调整后的存在的概率作为第一图像块的综合质量分类结果所包含的每个影响因素存在的概率。
进一步的，第二图像块确定模块404，用于获取各目标预增强图像中每个像素的像素值，并且将各目标预增强图像中对应目标像素的像素的像素值进行加权求和，以得到对应目标像素的综合像素值，其中，目标像素为第一图像块中的一个像素，每个目标预增强图像中像素的权重为每个目标预增强图像对应的影响因素在第一图像块中存在的概率，以及将目标像素的像素值调整为综合像素值，以生成对应第一图像块的第二图像块。
进一步的，影响因素至少包括无噪声低分辨率、压缩噪声、采集噪声和模糊；
图像增强处理模块401，具体用于将待处理图像输入预先建立的第一模型，得到对应无噪声低分辨率的预增强图像，其中，第一模型用于提高待处理图像的分辨率，并且将待处理图像输入预先建立的第二模型，得到对应压缩噪声的预增强图像，其中，第二模型用于去除待处理图像所包含的压缩噪音，并且将待处理图像输入预先建立的第三模型，得到对应采集噪声的预增强图像，其中，第三模型用于去除待处理图像所包含的采集噪音，并且将待处理图像输入预先建立的第四模型，得到对应模糊的预增强图像，其中，第四模型用于消除待处理图像所包含的模糊。
本发明实施例还提供了一种电子设备，如图5所示，包括处理器501、通信接口502、存储器503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信，
存储器503，用于存放计算机程序；
处理器501，用于执行存储器503上所存放的程序时，实现如下步骤：
对待处理图像分别进行多个类型的图像增强处理，以得到多张预增强图像，其中，每张所述预增强图像对应一种类型的所述图像增强处理，每种类型的所述图像增强处理对应一种影响图像质量的影响因素；
对所述待处理图像中的第一图像块进行图像质量分类，得到所述第一图像块对应的第一质量分类结果，其中，所述第一质量分类结果用于指示所述第一图像块中存在的影响图像质量的影响因素；
基于所述第一图像块对应的第一质量分类结果，在多张所述预增强图像中确定出目标预增强图像，其中，所述目标增强图像所对应的图像增强处理的类型与所述第一质量分类结果所指示的所述第一图像块中存在的影响图像质量的影响因素相匹配；
在所述目标预增强图像中确定出第二图像块，其中，所述第二图像块在所述预增强图像中所属的区域与所述第一图像块在所述待处理图像中所属的区域相同；
根据所述第二图像块，生成目标图像。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一图像生成方法的步骤。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一图像生成方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质、计算机程序产品而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (11)

1.一种图像生成方法，其特征在于，包括：
对待处理图像分别进行多个类型的图像增强处理，以得到多张预增强图像，其中，每张所述预增强图像对应一种类型的所述图像增强处理，每种类型的所述图像增强处理对应一种影响图像质量的影响因素；
对所述待处理图像中的第一图像块进行图像质量分类，得到所述第一图像块对应的第一质量分类结果，其中，所述第一质量分类结果用于指示所述第一图像块中存在的影响图像质量的影响因素；
基于所述第一图像块对应的第一质量分类结果，在多张所述预增强图像中确定出目标预增强图像，其中，所述目标增强图像所对应的图像增强处理的类型与所述第一质量分类结果所指示的所述第一图像块中存在的影响图像质量的影响因素相匹配；
获取各所述目标预增强图像中每个像素的像素值；
将各所述目标预增强图像中对应目标像素的像素的像素值进行加权求和，以得到对应所述目标像素的综合像素值，其中，所述目标像素为所述第一图像块中的一个像素，每个所述目标预增强图像中像素的权重为每个所述目标预增强图像对应的影响因素在所述第一图像块中存在的概率；
将所述目标像素的像素值调整为所述综合像素值，以生成对应所述第一图像块的第二图像块，其中，所述第二图像块在所述预增强图像中所属的区域与所述第一图像块在所述待处理图像中所属的区域相同；
根据所述第二图像块，生成目标图像。
2.根据权利要求1所述的方法，其特征在于，所述对所述待处理图像中的第一图像块进行图像质量分类，得到所述第一图像块对应的第一质量分类结果，包括：
将所述待处理图像中的第一图像块输入预先建立的质量分类模型，得到所述第一图像块对应的初始质量分类结果，其中，所述质量分类模型用于对图像进行质量分类；
基于预设的图像处理策略和所述第一图像块对应的初始质量分类结果，确定出所述第一图像块的对应的第一质量分类结果。
3.根据权利要求2所述的方法，其特征在于，所述初始质量分类结果包括各所述影响因素存在的概率；
所述基于预设的图像处理策略和所述第一图像块对应的初始质量分类结果，确定出所述第一图像块的对应的第一质量分类结果，包括：
确定出所述第一图像块对应的初始质量分类结果中存在的概率最大的影响因素，作为所述第一图像块对应的目标影响因素；
根据所述第一图像块对应的目标影响因素，确定出所述第一图像块对应的第一质量分类结果。
4.根据权利要求3所述的方法，其特征在于，所述基于所述第一图像块对应的第一质量分类结果，在多张所述预增强图像中确定出目标预增强图像，包括：
基于所述第一图像块对应的目标影响因素，在多张所述预增强图像中确定出目标预增强图像。
5.根据权利要求2所述的方法，其特征在于，所述基于预设的图像处理策略和所述第一图像块对应的初始质量分类结果，确定出所述第一图像块的对应的第一质量分类结果，包括：
基于所述第一图像块在所述待处理图像中的位置，确定出与所述第一图像块在位置上存在对应关系的图像块，作为所述第一图像块对应的参考图像块；
根据所述第一图像块对应的初始质量分类结果，以及所述第一图像块对应的参考图像块所对应的初始质量分类结果，确定出所述第一图像块对应的综合质量分类结果，作为所述第一图像块对应的第一质量分类结果。
6.根据权利要求5所述的方法，其特征在于，所述根据所述第一图像块对应的初始质量分类结果，以及所述第一图像块对应的参考图像块所对应的初始质量分类结果，确定出所述第一图像块对应的综合质量分类结果，作为所述第一图像块对应的第一质量分类结果，包括：
判断所述第一图像块对应的参考图像块所对应的初始质量分类结果是否相同；
若相同，则将所述第一图像块对应的参考图像块所对应的初始质量分类结果确定为所述第一图像块对应的综合质量分类结果；
若不同，则将所述第一图像块对应初始质量分类结果确定为所述第一图像块对应的综合质量分类结果。
7.根据权利要求5所述的方法，其特征在于，所述初始质量分类结果包括各所述影响因素存在的概率；
所述根据所述第一图像块对应的初始质量分类结果，以及所述第一图像块对应的参考图像块所对应的初始质量分类结果，确定出所述第一图像块对应的综合质量分类结果，包括：
根据所述第一图像块对应的参考图像块中每个所述影响因素存在的概率，调整所述第一图像块中每个所述影响因素存在的概率，并将所述第一图像块中每个所述影响因素调整后的存在的概率作为所述第一图像块的综合质量分类结果所包含的每个所述影响因素存在的概率。
8.根据权利要求1所述的方法，其特征在于，所述影响因素至少包括无噪声低分辨率、压缩噪声、采集噪声和模糊；
所述对待处理图像分别进行多个类型的图像增强处理，以得到多张预增强图像，包括：
将所述待处理图像输入预先建立的第一模型，得到对应所述无噪声低分辨率的预增强图像，其中，所述第一模型用于提高所述待处理图像的分辨率；
将所述待处理图像输入预先建立的第二模型，得到对应所述压缩噪声的预增强图像，其中，所述第二模型用于去除所述待处理图像所包含的所述压缩噪音；
将所述待处理图像输入预先建立的第三模型，得到对应所述采集噪声的预增强图像，其中，所述第三模型用于去除所述待处理图像所包含的所述采集噪音；
将所述待处理图像输入预先建立的第四模型，得到对应所述模糊的预增强图像，其中，所述第四模型用于消除所述待处理图像所包含的所述模糊。
9.一种图像生成装置，其特征在于，包括：
图像增强处理模块，用于对待处理图像分别进行多个类型的图像增强处理，以得到多张预增强图像，其中，每张所述预增强图像对应一种类型的所述图像增强处理，每种类型的所述图像增强处理对应一种影响图像质量的影响因素；
图像质量分类模块，用于对所述待处理图像中的第一图像块进行图像质量分类，得到所述第一图像块对应的第一质量分类结果，其中，所述第一质量分类结果用于指示所述第一图像块中存在的影响图像质量的影响因素；
图像确定模块，用于基于所述第一图像块对应的第一质量分类结果，在多张所述预增强图像中确定出目标预增强图像，其中，所述目标增强图像所对应的图像增强处理的类型与所述第一质量分类结果所指示的所述第一图像块中存在的影响图像质量的影响因素相匹配；
第二图像块确定模块，用于获取各所述目标预增强图像中每个像素的像素值，并且将各所述目标预增强图像中对应目标像素的像素的像素值进行加权求和，以得到对应所述目标像素的综合像素值，其中，所述目标像素为所述第一图像块中的一个像素，每个所述目标预增强图像中像素的权重为每个所述目标预增强图像对应的影响因素在所述第一图像块中存在的概率，以及将所述目标像素的像素值调整为所述综合像素值，以生成对应所述第一图像块的第二图像块，其中，所述第二图像块在所述预增强图像中所属的区域与所述第一图像块在所述待处理图像中所属的区域相同；
目标图像生成模块，用于根据所述第二图像块，生成目标图像。
10.一种电子设备，其特征在于，包括处理器和存储器；
所述存储器上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如权利要求1至8任一项所述的方法。
11.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1至8中任一项所述的方法。
CN201911055646.9A 2019-10-31 2019-10-31 一种图像生成方法、装置及电子设备 Active CN110796624B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201911055646.9A CN110796624B (zh) 2019-10-31 2019-10-31 一种图像生成方法、装置及电子设备
PCT/CN2020/117213 WO2021082819A1 (zh) 2019-10-31 2020-09-23 一种图像生成方法、装置及电子设备
SG11202100123VA SG11202100123VA (en) 2019-10-31 2020-09-23 Method and apparatus for generating image, and electronic device
US17/259,907 US11836898B2 (en) 2019-10-31 2020-09-23 Method and apparatus for generating image, and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911055646.9A CN110796624B (zh) 2019-10-31 2019-10-31 一种图像生成方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN110796624A CN110796624A (zh) 2020-02-14
CN110796624B true CN110796624B (zh) 2022-07-05

Family

ID=69440666

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911055646.9A Active CN110796624B (zh) 2019-10-31 2019-10-31 一种图像生成方法、装置及电子设备

Country Status (4)

Country Link
US (1) US11836898B2 (zh)
CN (1) CN110796624B (zh)
SG (1) SG11202100123VA (zh)
WO (1) WO2021082819A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110796624B (zh) * 2019-10-31 2022-07-05 北京金山云网络技术有限公司 一种图像生成方法、装置及电子设备
US20220067879A1 (en) * 2020-09-03 2022-03-03 Nvidia Corporation Image enhancement using one or more neural networks
CN112070744B (zh) * 2020-09-08 2022-11-22 济南博观智能科技有限公司 一种人脸识别的方法、***、设备及可读存储介质
CN112967273B (zh) * 2021-03-25 2021-11-16 北京的卢深视科技有限公司 图像处理方法、电子设备及存储介质
CN114677578A (zh) * 2022-03-30 2022-06-28 腾讯科技（深圳）有限公司 确定训练样本数据的方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1402191A (zh) * 2002-09-19 2003-03-12 上海交通大学 基于块分割的多聚焦图像融合方法
CN103905822A (zh) * 2014-03-25 2014-07-02 公安部第一研究所 一种基于视觉敏感度和空域滤波的低比特压缩图像去块效应方法
CN104115482A (zh) * 2012-10-04 2014-10-22 松下电器（美国）知识产权公司 图像噪声除去装置、以及图像噪声除去方法
CN106251318A (zh) * 2016-09-29 2016-12-21 杭州雄迈集成电路技术有限公司 一种序列图像的去噪装置及方法
CN107224359A (zh) * 2017-07-20 2017-10-03 李良 自动控制的轮椅
CN107545544A (zh) * 2016-06-29 2018-01-05 诺基亚技术有限公司 去除图像中的混浊对象的方法和装置

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8717456B2 (en) * 2002-02-27 2014-05-06 Omnivision Technologies, Inc. Optical imaging systems and methods utilizing nonlinear and/or spatially varying image processing
JP4123356B2 (ja) * 2002-11-13 2008-07-23 富士ゼロックス株式会社 画像処理装置、画像処理プログラム、記憶媒体
US8682097B2 (en) * 2006-02-14 2014-03-25 DigitalOptics Corporation Europe Limited Digital image enhancement with reference images
US7346224B2 (en) * 2003-11-07 2008-03-18 Mitsubishi Electric Research Laboratories, Inc. System and method for classifying pixels in images
US7822286B2 (en) * 2003-11-07 2010-10-26 Mitsubishi Electric Research Laboratories, Inc. Filtering artifacts in images with 3D spatio-temporal fuzzy filters
KR101054582B1 (ko) 2004-08-20 2011-08-04 인터그레이티드 디바이스 테크널러지, 인크. 테두리 적응형 영상 확대/개선 시스템 및 방법
US7933454B2 (en) * 2007-06-25 2011-04-26 Xerox Corporation Class-based image enhancement system
US8472716B2 (en) * 2007-12-05 2013-06-25 Canon Kabushiki Kaisha Block-based noise detection and reduction method with pixel level classification granularity
US20120015825A1 (en) * 2010-07-06 2012-01-19 Pacific Biosciences Of California, Inc. Analytical systems and methods with software mask
CN103020947B (zh) * 2011-09-23 2016-04-06 阿里巴巴集团控股有限公司 一种图像的质量分析方法及装置
US10742475B2 (en) * 2012-12-05 2020-08-11 Origin Wireless, Inc. Method, apparatus, and system for object tracking sensing using broadcasting
US8724919B2 (en) * 2012-09-21 2014-05-13 Eastman Kodak Company Adjusting the sharpness of a digital image
TWI486906B (zh) * 2012-12-14 2015-06-01 Univ Nat Central Using Image Classification to Strengthen Image Matching
US9186909B1 (en) * 2014-09-26 2015-11-17 Intel Corporation Method and system of lens shading color correction using block matching
US9538126B2 (en) * 2014-12-03 2017-01-03 King Abdulaziz City For Science And Technology Super-resolution of dynamic scenes using sampling rate diversity
US10235608B2 (en) * 2015-12-22 2019-03-19 The Nielsen Company (Us), Llc Image quality assessment using adaptive non-overlapping mean estimation
CN105894507B (zh) 2016-03-31 2019-03-26 西安电子科技大学 基于图像信息量自然场景统计特征的图像质量评价方法
CN107481238A (zh) 2017-09-20 2017-12-15 众安信息技术服务有限公司 图像质量评估方法及装置
CN109949264A (zh) 2017-12-20 2019-06-28 深圳先进技术研究院 一种图像质量评价方法、设备及存储设备
CN108364017B (zh) * 2018-01-24 2019-11-05 华讯方舟科技有限公司 一种图像质量分类方法、***及终端设备
CN108629747B (zh) 2018-04-25 2019-12-10 腾讯科技（深圳）有限公司 图像增强方法、装置、电子设备及存储介质
CN109685785A (zh) 2018-12-20 2019-04-26 上海众源网络有限公司 一种图像质量评估方法、装置及电子设备
CN109697705B (zh) 2018-12-24 2019-09-03 北京天睿空间科技股份有限公司 适于视频拼接的色差矫正方法
CN109859152B (zh) 2018-12-25 2021-05-25 北京奇艺世纪科技有限公司 模型生成方法、图像增强方法、装置及计算机可读存储介质
US11195060B2 (en) * 2019-07-05 2021-12-07 Art Eye-D Associates Llc Visualization of subimage classifications
CN110363753B (zh) 2019-07-11 2021-06-22 北京字节跳动网络技术有限公司 图像质量评估方法、装置及电子设备
CN110796624B (zh) 2019-10-31 2022-07-05 北京金山云网络技术有限公司 一种图像生成方法、装置及电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1402191A (zh) * 2002-09-19 2003-03-12 上海交通大学 基于块分割的多聚焦图像融合方法
CN104115482A (zh) * 2012-10-04 2014-10-22 松下电器（美国）知识产权公司 图像噪声除去装置、以及图像噪声除去方法
CN103905822A (zh) * 2014-03-25 2014-07-02 公安部第一研究所 一种基于视觉敏感度和空域滤波的低比特压缩图像去块效应方法
CN107545544A (zh) * 2016-06-29 2018-01-05 诺基亚技术有限公司 去除图像中的混浊对象的方法和装置
CN106251318A (zh) * 2016-09-29 2016-12-21 杭州雄迈集成电路技术有限公司 一种序列图像的去噪装置及方法
CN107224359A (zh) * 2017-07-20 2017-10-03 李良 自动控制的轮椅

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Patch-based models and algorithms for iamge denoising:a comparative review between patch-based images denoising methods for additive noise reduction";Monagi H.Alkinani 等;《EURASIP Journal on image and video processing》;20170824;全文 *
"基于视觉特性的图像质量综合评价方法研究";丰明坤;《中国优秀博士学位论文全文数据库》;20170115;全文 *
Soft Decision Based Gaussian-Laplacian Combination Model for Noisy Speech Enhancement;OU Shifeng等;《Chinese Journal of Electronics》;20180715(第04期);全文 *

Also Published As

Publication number Publication date
CN110796624A (zh) 2020-02-14
US20210295475A1 (en) 2021-09-23
US11836898B2 (en) 2023-12-05
SG11202100123VA (en) 2021-06-29
WO2021082819A1 (zh) 2021-05-06

Similar Documents

Publication Publication Date Title
CN110796624B (zh) 一种图像生成方法、装置及电子设备
CN108337551B (zh) 一种屏幕录制方法、存储介质及终端设备
CN109785246B (zh) 一种非局部均值滤波的降噪方法、装置及设备
CN111695421B (zh) 图像识别方法、装置及电子设备
CN110675334A (zh) 一种图像增强方法及装置
CN111696064B (zh) 图像处理方法、装置、电子设备及计算机可读介质
CN111882565B (zh) 一种图像二值化方法、装置、设备及存储介质
US11741579B2 (en) Methods and systems for deblurring blurry images
CN112967207A (zh) 一种图像处理方法、装置、电子设备及存储介质
CN110717864B (zh) 一种图像增强方法、装置、终端设备及计算机可读介质
CN111325671B (zh) 网络训练方法、装置、图像处理方法及电子设备
CN114943649A (zh) 图像去模糊方法、装置及计算机可读存储介质
CN112801890B (zh) 一种视频处理方法、装置及设备
CN110689496A (zh) 降噪模型的确定方法、装置、电子设备和计算机存储介质
Chanu et al. A new algorithm for removing salt and pepper noise from color medical images
WO2021013139A1 (zh) 图像处理的方法和装置
CN111222446B (zh) 人脸识别方法、人脸识别装置及移动终端
JP4460368B2 (ja) 画像補正装置および方法，ならびに画像補正プログラム
WO2023125503A1 (zh) 一种暗光图像降噪方法及装置
CN114372941B (zh) 一种低光照图像增强方法、装置、设备及介质
CN113239738B (zh) 一种图像的模糊检测方法及模糊检测装置
CN115760660A (zh) 基于多帧融合的二维码成像及识别方法、电子设备、介质
CN114119377A (zh) 一种图像处理方法及装置
CN111080515A (zh) 图像处理方法、神经网络训练方法及装置
Trubakov et al. Image Restoration Using Genetic Algorithms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant