CN112927144A - 图像增强方法、图像增强装置、介质和电子设备 - Google Patents
图像增强方法、图像增强装置、介质和电子设备 Download PDFInfo
- Publication number
- CN112927144A CN112927144A CN201911233406.3A CN201911233406A CN112927144A CN 112927144 A CN112927144 A CN 112927144A CN 201911233406 A CN201911233406 A CN 201911233406A CN 112927144 A CN112927144 A CN 112927144A
- Authority
- CN
- China
- Prior art keywords
- video frame
- image enhancement
- current video
- frame
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000012545 processing Methods 0.000 claims abstract description 94
- 238000007499 fusion processing Methods 0.000 claims abstract description 29
- 238000012549 training Methods 0.000 claims description 30
- 238000013528 artificial neural network Methods 0.000 claims description 26
- 230000004927 fusion Effects 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 11
- 230000008569 process Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000009826 distribution Methods 0.000 description 7
- 230000000903 blocking effect Effects 0.000 description 6
- 230000009467 reduction Effects 0.000 description 6
- 238000003062 neural network model Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 101100248200 Arabidopsis thaliana RGGB gene Proteins 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000005282 brightening Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明的方面涉及图像处理技术领域，提供一种图像增强方法、图像增强装置、介质及电子设备，该图像增强方法包括：获取当前视频帧以及当前视频帧之前的在先视频帧，其中在先视频帧为经图像增强处理后的图像；根据在先视频帧和当前视频帧，确定当前视频帧对应的第一掩膜；根据第一掩膜，对在先视频帧和当前视频帧进行融合处理，得到当前视频帧的经图像增强处理后的图像。本公开利用图像增强处理后的在先视频帧，对当前视频帧进行图像增强处理，能获得更好的图像增强处理效果和速度。
Description
技术领域
本发明一般地涉及图像处理技术领域，特别是涉及一种图像增强方法、图像增强装置、介质及电子设备。
背景技术
随着电子信息技术的飞速发展，移动终端多具有拍摄功能，其携带方便、摄录性能也越来越高，使人们在生活中录制视频成为可能。视频资源以其丰富的信息量、生动的呈现方式，受到人们的青睐。光线不足或者夜晚时拍摄到的视频，由于光线暗会给拍摄得到的视频带来噪声，无法满足用户对视频清晰度的需求。如何降低视频中的噪声是目前亟待解决的问题。
当前技术中，降噪的算法在降低噪声的同时会噪声画面细节的损失、计算复杂、对于视频的处理速度慢或者无法同时处理静止区域与运动区域的视频。
发明内容
为了解决现有技术中存在的上述问题，本发明提供一种图像增强方法、图像增强装置、介质及电子设备。
根据本公开实施例的一方面，提供一种图像增强方法，包括：获取当前视频帧以及当前视频帧之前的在先视频帧，其中在先视频帧为经图像增强处理后的图像；根据在先视频帧和当前视频帧，确定当前视频帧对应的第一掩膜；根据第一掩膜，对在先视频帧和当前视频帧进行融合处理，得到当前视频帧的经图像增强处理后的图像。
在一实施例中，图像增强方法还包括：根据在先视频帧和当前视频帧，确定在先视频帧所对应的第二掩膜；其中，根据第一掩膜，对在先视频帧和当前视频帧进行融合处理，得到当前视频帧的经图像增强处理后的图像，包括：根据第一掩膜和第二掩膜，对在先视频帧和当前视频帧进行融合处理；对融合处理后的图像进行单帧图像增强处理，得到当前视频帧的经图像增强处理后的图像。
在一实施例中，图像增强方法还包括：对当前视频帧进行单帧图像增强处理，得到增强后的当前视频帧；其中，根据第一掩膜，对在先视频帧和当前视频帧进行融合处理，包括：根据第一掩膜，对在先视频帧和增强后的当前视频帧进行融合处理，得到当前视频帧的经图像增强处理后的图像。
在一实施例中，获取当前视频帧之前的在先视频帧，包括：获取当前视频帧之前的预设数量的在先视频帧的多帧平均图像和/或当前视频帧的前一视频帧。
在一实施例中，图像增强方法还包括：对神经网络进行训练，得到预设图像增强模型；通过预设图像增强模型对当前视频帧和在先视频帧进行处理，得到当前视频帧的经图像增强处理后的图像；其中，对神经网络进行训练，得到预设图像增强模型，包括：获取原始格式的第一样本帧；对第一样本帧进行预处理，得到第二样本帧；通过第一样本帧和第二样本帧对神经网络进行训练，得到预设图像增强模型。
在一实施例中，通过第一样本帧和第二样本帧对神经网络进行训练，得到预设图像增强模型，包括：通过N个第一样本帧和N个第二样本帧对N个神经网络进行训练，得到预设图像增强模型，其中，N个神经网络共享网络参数。
在一实施例中，获取原始格式的第一样本帧，包括：获取原始样本视频帧；对原始样本视频帧进行逆向伽马变换、去除马赛克、去除白平衡以及去除色调映射处理中的至少一种变换，得到原始格式的第一样本帧。
根据本公开实施例的又一方面，提供一种用于图像增强装置，包括：获取模块，用于获取当前视频帧以及当前视频帧之前的在先视频帧，其中在先视频帧为经图像增强处理后的图像；确定模块，用于根据在先视频帧和当前视频帧，确定当前视频帧对应的第一掩膜；融合模块，用于根据第一掩膜，对在先视频帧和当前视频帧进行融合处理，得到当前视频帧的经图像增强处理后的图像。
根据本公开实施例的又一方面，提供一种电子设备，其中，电子设备包括：存储器，用于存储指令；以及处理器，用于调用存储器存储的指令执行上述图像增强方法。
根据本公开实施例的又一方面，提供一种计算机可读存储介质，其中，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在由处理器执行时，执行上述图像增强方法。
本发明实施例提供的图像增强方法，利用图像增强处理后的在先视频帧，对当前视频帧进行图像增强处理，能获得更好的图像增强处理效果和速度。
附图说明
通过参考附图阅读下文的详细描述，本发明实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：
图1示出了本发明实施例提供的一种图像增强方法的流程图；
图2示出了本发明实施例提供的一种图像增强方法的流程图；
图3示出了本发明实施例提供的又一种图像增强方法的流程图；
图4示出了本发明实施例提供的一种神经网络训练方法的流程图；
图5示出了本发明实施例提供的一种图像增强装置示意图；
图6示出了本发明实施例提供的一种图像增强装置示意图；
图7示出了本发明实施例提供的一种图像增强装置示意图；
图8示出了本发明实施例提供的一种电子设备示意图；
在附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。
需要注意，虽然本文中使用“第一”、“第二”等表述来描述本发明的实施方式的不同模块、步骤和数据等，但是“第一”、“第二”等表述仅是为了在不同的模块、步骤和数据等之间进行区分，而并不表示特定的顺序或者重要程度。实际上，“第一”、“第二”等表述完全可以互换使用。
在本公开的实例性实施方式中，下面所述的图像增强方法通常可以由服务起来实现，也就是说，可以由服务器执行模型训练方法的各个步骤，在这种情况下，图像增强装置可以配置在该服务器内。可以理解的，图像增强方法还可以由例如智能手机、智能平板、智能掌上电脑等终端设备来实现，本公开对此不作限定。
另外，下面所述的图像增强方法通常由终端设备实现，以便可以对终端设备拍摄的图像实时处理，在这种情况下，图像增强装置可以配置在该终端设备内，也可以由服务器来实现此图像增强方法。
图1示出了本发明实施例提供的一种图像增强方法的流程图。如图1所示，图像增强方法方法包括：
在步骤S101中，获取当前视频帧以及当前视频帧之前的在先视频帧，其中在先视频帧为经图像增强处理后的图像。
在本公开实施例中，对图像增强处理可以是指对拍摄得到的视频帧进行降噪、去模糊、去雨、去雾、超分辨率以及去字幕等处理。
当前视频帧之前的在先视频帧，可以是指与当前视频帧相邻的、当前视频帧之前的视频帧。可以理解地，当前视频帧之前的在先视频帧可以是一帧，也可以是多帧。
在步骤S102中，根据在先视频帧和当前视频帧，确定当前视频帧对应的第一掩膜。
掩膜，即mask。与光电行业光刻技术中心的掩膜概念类似，可以是用选定的图像、图形或物体，对处理的图像的全部或局部进行遮挡，来控制图像处理的区域。
例如，掩膜矩阵是有0和1组成的二进制矩阵，当应用掩膜时，1值区域被处理，0值区域被屏蔽不被处理。利用掩膜确定需要处理的区域，例如降噪所要针对的动态图像区域，即视频帧的前景区域，可以使视频帧的增强处理效果更加。
当前视频帧对应的第一掩膜，可以是根据当前视频帧的前一在先视频帧，确定当前视频帧对应的前景区域，在掩膜矩阵中，将前景区域设置为1值区域，背景区域设置为0值区域，得到当前帧对应的第一掩膜。第一掩膜的作用是提取当前视频帧的前景区域，即将背景区域进行屏蔽。
在步骤S103中，根据第一掩膜，对在先视频帧和当前视频帧进行融合处理，得到当前视频帧的经图像增强处理后的图像。
可以是根据第一掩膜，对在先视频帧和当前视频帧进行融合处理，例如alpha融合，得到当前视频帧的经图像增强处理后的图像。
使用如下融合公式对在先视频帧和当前视频帧进行融合处理，该融合公式可以表达如下：
I(x，y)＝A(x，y)*alpha(x，y)+B(x，y)*(1-alpha(x，y))
其中，(x，y)为像素点位置坐标；A为当前帧的像素值；B为在先视频帧像素值；alpha为权重；I为融合后的像素值。融合的结果可以综合在先视频帧增强处理后的结果，使图像增加处理效果更佳。
本发明实施例提供的图像增强方法，利用图像增强处理后的在先视频帧，对当前视频帧进行图像增强处理，能获得更好的图像增强处理效果和速度。
图2示出了本发明实施例提供的又一种图像增强方法的流程图。如图2所示，图像增强方法包括：
在步骤S201中，获取当前视频帧以及当前视频帧之前的在先视频帧，其中在先视频帧为经图像增强处理后的图像。
在步骤S202中，根据在先视频帧和当前视频帧，确定当前视频帧对应的第一掩膜。
在步骤S203中，根据在先视频帧和当前视频帧，确定在先视频帧所对应的第二掩膜。
与上述掩膜概念相同，在先视频帧所对应的第二掩膜，可以是确定当前视频帧对应的前景背景区域。在掩膜矩阵中，将前景区域设置为0值区域，背景区域设置为1值区域，得到在先视频帧所对应的第二掩膜。第二膜的作用是将前景区域进行屏蔽，确定当前视频帧对应的背景区域。
可以理解地，相邻的视频帧之间，背景区域即静止区域之间的位置相对变化不明显，可以根据前一在先视频帧的增强结果估计当前帧的背景区域的增强处理。
在步骤S204中，根据第一掩膜和第二掩膜，对在先视频帧和当前视频帧进行融合处理。
使用如下融合公式对在先视频帧和当前视频帧进行融合处理，该融合公式可以表达如下：
I(x，y)＝A(x，y)*alpha(x，y)+B(x，y)*(1-alpha(x，y))
其中，(x，y)为像素点位置坐标；A为当前帧的像素值；B为在先视频帧像素值；alpha为权重；I为融合后的像素值。融合的结果可以综合在先视频帧增强处理后的结果，使图像增加处理效果更佳。
在步骤S205中，对融合处理后的图像进行单帧图像增强处理，得到当前视频帧的经图像增强处理后的图像。
对融合处理后的图像进行单帧图像增强处理可以是对融合处理后的图像进行降噪、去模糊、去雨、去雾、超分辨率以及去字幕等处理。
图3示出了本发明实施例提供的又一种图像增强方法的流程图。如图3所示，图像增强方法还包括：
在步骤S301中，获取当前视频帧以及当前视频帧之前的在先视频帧，其中在先视频帧为经图像增强处理后的图像。
在步骤S302中，根据在先视频帧和当前视频帧，确定当前视频帧对应的第一掩膜。
在步骤S303中，对当前视频帧进行单帧图像增强处理，得到增强后的当前视频帧。
对当前视频帧进行单帧图像增强处理可以是对当前视频帧进行降噪、去模糊、去雨、去雾、超分辨率以及去字幕等处理。
在步骤S304中，根据第一掩膜，对在先视频帧和增强后的当前视频帧进行融合处理，得到当前视频帧的经图像增强处理后的图像。
当前帧对应的第一掩膜，根据在先视频帧，确定当前视频帧对应的前景区域。根据第一掩膜，对在先视频帧和增强后的当前视频帧的前景区域进行融合处理，得到当前视频帧的经图像增强处理后的图像，可以对当前视频帧的前景区域处理效果更佳。
在一实施例中，在先视频帧为当前视频帧之前的预设数量的多帧平均图像和/或当前视频帧的前一视频帧。
通常来说视频帧可以分解为四个通道数据，分别为R通道数据、G通道数据、B通道数据和alpha通道数据。其中，alpha通道数据即为视频帧的透明度数据。
可以获取当前帧RGGB 4通道的数据、前一帧在先视频帧RGGB 4通道的数据、预设数量的在先视频帧的多帧平均图像的RGGB 4通道的数据，拼接得到12通道的视频帧，获取拼接后的图像数据作为训练数据进行处理。在通道上进行拼接作为图像增强处理的处理对象输入，可以增加额外信息，使图像增强处理获得更佳效果。
在一实施例中，通过预设图像增强模型对当前视频帧和在先视频帧进行处理，得到当前视频帧的经图像增强处理后的图像。
图4示出了本发明实施例提供的一种神经网络训练方法流程图。如图4所示，神经网络训练方法还包括：
在步骤S401中，获取原始格式的第一样本帧。
原始格式，即数字化的原始图像数据，也称RAW图像数据。电子设备的摄像头由透镜和图像传感器构成，其中透镜用于采集外部的光源信号提供给图像传感器，图像传感器感应来自于透镜的光源信号，将其转换为RAW图像数据。
RAW域视频是未经处理、也未经压缩的格式，包含相机拍摄内容的原始像素信息，可以将其形象的称为“数字底片”。也就是说图像从传感器输出，经过信号处理，每一步的信号处理操作都会造成噪声不同的变化，图像的噪声性质变得更加复杂。RAW域视频具有增强图像清晰度的最佳和最有效的功能，在前端对RAW域视频进行去噪处理是合适的选择。
对于单反或者摄像头拍摄的视频图像，其RAW域图像可以直接获取。对于来自网络视频的视频片段，其RAW域图像需要经过处理得到。
在步骤S402中，对第一样本帧进行预处理，得到第二样本帧。
对第一样本帧进行预处理，包括对第一样本帧添加噪声的处理，第二样本帧为第一样本帧添加噪声的图像。
对第一样本帧进行预处理，可以是人工在第一样本帧添加模拟传感器噪声，模拟传感器噪声可以是高斯噪声、泊松-高斯混合噪声或柯西-高斯混合噪声中的至少一种。
本发明实施例对添加的噪声种类不作限定。噪声是对RAW域图像产生干扰的数据，第二样本帧是携带干扰数据的第一样本帧。
高斯噪声是指它的概率密度函数服从高斯分布，即正态分布的一类噪声，泊松噪声的分布的方差期望与亮度和感光度有关，高斯噪声分布跟感光度的平方有关。添加高斯噪声是为了对真实噪声更好的模拟。
在真实环境中，噪音往往不是由单一源头造成的，而是很多不同来源的噪音复合体。假设，把真实噪音看成非常多不同概率分布的随机变量的加合，并且每一个随机变量都是独立的，则随着噪音源数量的上升，他们的分步趋近于高斯分布。因此，添加高斯噪音或者各种联合高斯噪音，符合噪音分布复杂且未知的情况下对噪音的模拟。
在步骤S403中，通过第一样本帧和第二样本帧对神经网络进行训练，得到预设图像增强模型。
本公开所述的神经网络模型可以是卷积神经网络模型，该卷积网络模型的输入、输出均未图像，例如可以采用fcn(Fully Convolutional Networks，全卷积网络)、UNet等网络架构来实现。
本公开对神经网络模型中卷积层的数量、权重、特征结合方式不作限定。利用训练样本进行训练，还可以确定一些样本，进行验证。第一神经网络模型是经过训练后具有图像生成能力的机器学习算法模型，用于进行图像增强处理。
神经网络模型用于去除原始视频片段的噪声。对降噪问题的解决方法本质是对数据本身的重建，以起到排除噪声的作用。这里面涉及到需要对数据以及噪声的模型。第一样本帧和第二样本帧形成训练神经网络的图像对，即用目标图像验证神经网络模型图像增强处理的效果，以得到预设图像增强模型。
在一实施例中，将N个第一样本帧和N个第二样本帧分别输入N个神经网络中进行训练，得到N个预设图像增强模型。N个神经网络共享网络参数，因而训练后的N个预设图像增强模型的参数相同。
在模型测试时，由于训练时神经网络共享网络参数，则部署一个预设图像增强模型即可。根据本公开实施例，可以实现高效流式计算，从而达到计算时与图像增强等效，有效地降低了图像增强中的时间复杂度，能有效地消除视频中运动图像产生的模糊和鬼影，进一步增强视频处理效果。
在一实施例中，获取原始样本视频帧，对原始样本视频帧进行逆向伽马变换、去除马赛克、去除白平衡以及去除色调映射处理中的至少一种变换，得到原始格式的第一样本帧。
当原始样本视频帧的***于网络，需要对采集到的网络视频进行处理，得到原始格式的第一样本帧。
对原始样本视频帧逆向处理，得到原始格式的第一样本帧。由于在信号处理过程中，原始格式的视频帧可以是经过伽马变化、白平衡、提亮以及色彩映射等处理进行显象。因此，为了得到原始格式的视频帧，需要经过这些处理的逆向处理进行恢复，其过程可以包括逆向伽马变化,去马赛克、白平衡以及逆向色彩映射。
可以理解地，为了得到较佳的图像增强效果，所采集的原始样本视频帧的分辨率以及画质有较高要求，例如，原始样本视频帧可以是来源于大于一定段数的原始样本视频、高分辨率并且无噪的。
在一实施例中，对原始格式的第一样本帧进行压暗处理，将压暗处理后的第一样本帧作为第二样本帧的目标图像。
例如，图像增强可以是对视频的去噪处理，视频中的噪声是拍摄时亮度过低引入的，为了得到符合去噪处理条件的原始格式的第一样本帧，可以对正常光线下或者光线强的条件下获取的第一样本帧进行压暗操作，使其亮度符合降噪处理所针对的第一样本帧的亮度要求。
在一实施例中，对第一样本帧进行分块处理，得到分块处理后的第一样本帧。
当第一样本帧分辨率较高时，为了提高图像增强处理的精度，获取更多的学习样本，可以根据需要对第一样本帧进行分块处理，本公开对分块方法以及分块的数量不作限定。得到分块处理后的第一样本帧。使图像增强处理的数据更丰富，图像增强处理更佳。
在一实施例中，第一样本帧和第二样本帧之间的匹配损失函数值可以用于评价第一样本帧和第二样本帧之间的相似程度。在实际实现时，第一样本帧和第二样本帧之间的匹配损失函数值可以通过计算欧式距离、最小均方误差、梯度误差等多种方式计算获得。
需要说明的是，在训练预设图像增强模型的过程中，使用的训练数据可以为彼此不同的样本组，也可以存在相互重复的样本组。
通常，模型使用多组样本组经上述步骤进行多次反复训练后，第一样本帧和第二样本帧之间的匹配损失函数值才会收敛，此时可以停止训练，得到预设图像增强模型。
基于同样的发明构想，本公开提供一种图像增强装置。
图5示出了本发明实施例提供的一种图像增强装置示意图。如图5所示，该装置500包括：获取模块510、确定模块520和融合模块530。
获取模块510，用于获取当前视频帧以及当前视频帧之前的在先视频帧，其中在先视频帧为经图像增强处理后的图像。
确定模块520，用于根据在先视频帧和当前视频帧，确定当前视频帧对应的第一掩膜。
融合模块530，用于根据第一掩膜，对在先视频帧和当前视频帧进行融合处理，得到当前视频帧的经图像增强处理后的图像。
在一实施例中，确定模块520，还用于根据在先视频帧和当前视频帧，确定在先视频帧所对应的第二掩膜。
图6示出了本发明实施例提供的一种图像增强装置示意图。如图6所示，该装置500还包括增强模块540。
增强模块540，用于对当前视频帧进行单帧图像增强处理，得到增强后的当前视频帧。
融合模块530，采用如下方式根据第一掩膜，对在先视频帧和当前视频帧进行融合处理：根据第一掩膜，对在先视频帧和增强后的当前视频帧进行融合处理，得到当前视频帧的经图像增强处理后的图像。
在一实施例中，获取模块510，还用于获取当前视频帧之前的预设数量的在先视频帧的多帧平均图像和/或当前视频帧的前一视频帧。
图7示出了本发明实施例提供的一种图像增强装置示意图。如图7所示，该装置500还包括：训练模块550和处理模块560。
训练模块550，用于对神经网络进行训练，得到预设图像增强模型。
处理模块560，用于通过预设图像增强模型对当前视频帧和在先视频帧进行处理，得到当前视频帧的经图像增强处理后的图像。
训练模块550采用如下方式对神经网络进行训练，得到所述预设图像增强模型：获取原始格式的第一样本帧。对所述第一样本帧进行预处理，得到第二样本帧。通过所述第一样本帧和所述第二样本帧对神经网络进行训练，得到所述预设图像增强模型。
在一实施例中，训练模块550采用如下方式通过第一样本帧和第二样本帧对神经网络进行训练，得到预设图像增强模型：通过N个第一样本帧和N个第二样本帧对N个神经网络进行训练，得到预设图像增强模型，其中，N个神经网络共享网络参数。
在一实施例中，训练模块550采用如下方式获取原始格式的第一样本帧：获取原始样本视频帧，对原始样本视频帧进行逆向伽马变换、去除马赛克、去除白平衡以及去除色调映射处理中的至少一种变换，得到原始格式的第一样本帧。
融合模块530，采用如下方式根据第一掩膜，对在先视频帧和当前视频帧进行融合处理，得到当前视频帧的经图像增强处理后的图像：根据第一掩膜和第二掩膜，对在先视频帧和当前视频帧进行融合处理。对融合处理后的图像进行单帧图像增强处理，得到当前视频帧的经图像增强处理后的图像。
如图8所示，本发明的一个实施方式提供了一种电子设备30。其中，该电子设备30包括存储器310、处理器320、输入/输出(Input/Output，I/O)接口330。其中，存储器310，用于存储指令。处理器320，用于调用存储器310存储的指令执行本发明实施例的用于图像增强方法。其中，处理器320分别与存储器310、I/O接口330连接，例如可通过总线***和/或其他形式的连接机构(未示出)进行连接。存储器310可用于存储程序和数据，包括本发明实施例中涉及的用于图像增强的程序，处理器320通过运行存储在存储器310的程序从而执行电子设备30的各种功能应用以及数据处理。
本发明实施例中处理器320可以采用数字信号处理器(Digital SignalProcessing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现，所述处理器320可以是中央处理单元(Central Processing Unit，CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元中的一种或几种的组合。
本发明实施例中的存储器310可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(Random Access Memory，RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(Read-OnlyMemory，ROM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)等。
本发明实施例中，I/O接口330可用于接收输入的指令(例如数字或字符信息，以及产生与电子设备30的用户设置以及功能控制有关的键信号输入等)，也可向外部输出各种信息(例如，图像或声音等)。本发明实施例中I/O接口330可包括物理键盘、功能按键(比如音量控制按键、开关按键等)、鼠标、操作杆、轨迹球、麦克风、扬声器、和触控面板等中的一个或多个。
在一些实施方式中，本发明提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在由处理器执行时，执行上文所述的任何方法。
尽管在附图中以特定的顺序描述操作，但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作，或是要求执行全部所示的操作以得到期望的结果。在特定环境中，多任务和并行处理可能是有利的。
本发明的方法和装置能够利用标准编程技术来完成，利用基于规则的逻辑或者其他逻辑来实现各种方法步骤。还应当注意的是，此处以及权利要求书中使用的词语“装置”和“模块”意在包括使用一行或者多行软件代码的实现和/或硬件实现和/或用于接收输入的设备。
此处描述的任何步骤、操作或程序可以使用单独的或与其他设备组合的一个或多个硬件或软件模块来执行或实现。在一个实施方式中，软件模块使用包括包含计算机程序代码的计算机可读介质的计算机程序产品实现，其能够由计算机处理器执行用于执行任何或全部的所描述的步骤、操作或程序。
出于示例和描述的目的，已经给出了本发明实施的前述说明。前述说明并非是穷举性的也并非要将本发明限制到所公开的确切形式，根据上述教导还可能存在各种变形和修改，或者是可能从本发明的实践中得到各种变形和修改。选择和描述这些实施例是为了说明本发明的原理及其实际应用，以使得本领域的技术人员能够以适合于构思的特定用途来以各种实施方式和各种修改而利用本发明。
Claims (10)
1.一种图像增强方法，其特征在于，包括：
获取当前视频帧以及所述当前视频帧之前的在先视频帧，其中所述在先视频帧为经图像增强处理后的图像；
根据所述在先视频帧和所述当前视频帧，确定所述当前视频帧对应的第一掩膜；
根据所述第一掩膜，对所述在先视频帧和所述当前视频帧进行融合处理，得到所述当前视频帧的经图像增强处理后的图像。
2.根据权利要求1所述的图像增强方法，其特征在于，还包括：根据所述在先视频帧和所述当前视频帧，确定所述在先视频帧所对应的第二掩膜；
其中，所述根据所述第一掩膜，对所述在先视频帧和所述当前视频帧进行融合处理，得到所述当前视频帧的经图像增强处理后的图像，包括：
根据所述第一掩膜和所述第二掩膜，对所述在先视频帧和所述当前视频帧进行融合处理；
对融合处理后的图像进行单帧图像增强处理，得到所述当前视频帧的经图像增强处理后的图像。
3.根据权利要求1所述的图像增强方法，其特征在于，还包括：对所述当前视频帧进行单帧图像增强处理，得到增强后的当前视频帧；
其中，所述根据所述第一掩膜，对所述在先视频帧和所述当前视频帧进行融合处理，包括：
根据所述第一掩膜，对所述在先视频帧和所述增强后的当前视频帧进行融合处理，得到所述当前视频帧的经图像增强处理后的图像。
4.根据权利要求1所述的图像增强方法，其特征在于，所述获取所述当前视频帧之前的在先视频帧，包括：
获取所述当前视频帧之前的预设数量的在先视频帧的多帧平均图像和/或所述当前视频帧的前一视频帧。
5.根据权利要求1-4任一项所述的图像增强方法，其特征在于，还包括：
对神经网络进行训练，得到预设图像增强模型；
通过所述预设图像增强模型对当前视频帧和所述在先视频帧进行处理，得到所述当前视频帧的经图像增强处理后的图像；
其中，所述对神经网络进行训练，得到所述预设图像增强模型，包括：
获取原始格式的第一样本帧；
对所述第一样本帧进行预处理，得到第二样本帧；
通过所述第一样本帧和所述第二样本帧对神经网络进行训练，得到所述预设图像增强模型。
6.根据权利要求5所述的图像增强方法，其特征在于，所述通过所述第一样本帧和所述第二样本帧对神经网络进行训练，得到所述预设图像增强模型，包括：
通过N个第一样本帧和N个第二样本帧对N个神经网络进行训练，得到所述预设图像增强模型，其中，所述N个神经网络共享网络参数。
7.根据权利要求5所述的图像增强方法，其特征在于，所述获取原始格式的第一样本帧，包括：
获取原始样本视频帧；
对所述原始样本视频帧进行逆向伽马变换、去除马赛克、去除白平衡以及去除色调映射处理中的至少一种变换，得到原始格式的所述第一样本帧。
8.一种图像增强装置，其特征在于，包括：
获取模块，用于获取当前视频帧以及所述当前视频帧之前的在先视频帧，其中所述在先视频帧为经图像增强处理后的图像；
确定模块，用于根据所述在先视频帧和所述当前视频帧，确定所述当前视频帧对应的第一掩膜；
融合模块，用于根据所述第一掩膜，对所述在先视频帧和所述当前视频帧进行融合处理，得到所述当前视频帧的经图像增强处理后的图像。
9.一种电子设备，其中，所述电子设备包括：
存储器，用于存储指令；以及
处理器，用于调用所述存储器存储的指令执行权利要求1-7中任一项所述的图像增强方法。
10.一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在由处理器执行时，执行权利要求1-7中任一项所述的图像增强方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911233406.3A CN112927144A (zh) | 2019-12-05 | 2019-12-05 | 图像增强方法、图像增强装置、介质和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911233406.3A CN112927144A (zh) | 2019-12-05 | 2019-12-05 | 图像增强方法、图像增强装置、介质和电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112927144A true CN112927144A (zh) | 2021-06-08 |
Family
ID=76162202
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911233406.3A Pending CN112927144A (zh) | 2019-12-05 | 2019-12-05 | 图像增强方法、图像增强装置、介质和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112927144A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113450275A (zh) * | 2021-06-28 | 2021-09-28 | 上海人工智能研究院有限公司 | 基于元学习的画质增强***及方法、存储介质 |
| CN113592719A (zh) * | 2021-08-14 | 2021-11-02 | 北京达佳互联信息技术有限公司 | 视频超分辨模型的训练方法、视频处理方法及相应设备 |
| CN113610713A (zh) * | 2021-08-13 | 2021-11-05 | 北京达佳互联信息技术有限公司 | 视频超分辨模型的训练方法、视频超分辨方法及装置 |
| CN114125462A (zh) * | 2021-11-30 | 2022-03-01 | 北京达佳互联信息技术有限公司 | 视频处理方法及装置 |
| CN114463584A (zh) * | 2022-01-29 | 2022-05-10 | 北京百度网讯科技有限公司 | 图像处理、模型训练方法、装置、设备、存储介质及程序 |
| WO2023279863A1 (zh) * | 2021-07-07 | 2023-01-12 | 荣耀终端有限公司 | 图像处理方法、装置和电子设备 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080279476A1 (en) * | 2007-05-11 | 2008-11-13 | Koninklijke Philips Electronics, N.V. | Method for producing an image and system for producing an image |
| CN106097284A (zh) * | 2016-07-29 | 2016-11-09 | 努比亚技术有限公司 | 一种夜景图像的处理方法和移动终端 |
| CN107341775A (zh) * | 2017-06-16 | 2017-11-10 | 广东欧珀移动通信有限公司 | 图像处理方法和装置 |
| CN108171677A (zh) * | 2017-12-07 | 2018-06-15 | 腾讯科技（深圳）有限公司 | 一种图像处理方法及相关设备 |
| CN108288253A (zh) * | 2018-01-08 | 2018-07-17 | 厦门美图之家科技有限公司 | Hdr图像生成方法及装置 |
| CN108428215A (zh) * | 2017-02-15 | 2018-08-21 | 阿里巴巴集团控股有限公司 | 一种图像处理方法、装置和设备 |
| CN108805898A (zh) * | 2018-05-31 | 2018-11-13 | 北京字节跳动网络技术有限公司 | 视频图像处理方法和装置 |
| CN109671106A (zh) * | 2017-10-13 | 2019-04-23 | 华为技术有限公司 | 一种图像处理方法、装置与设备 |
| CN109993712A (zh) * | 2019-04-01 | 2019-07-09 | 腾讯科技（深圳）有限公司 | 图像处理模型的训练方法、图像处理方法及相关设备 |
| CN110070511A (zh) * | 2019-04-30 | 2019-07-30 | 北京市商汤科技开发有限公司 | 图像处理方法和装置、电子设备及存储介质 |
-
2019
- 2019-12-05 CN CN201911233406.3A patent/CN112927144A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080279476A1 (en) * | 2007-05-11 | 2008-11-13 | Koninklijke Philips Electronics, N.V. | Method for producing an image and system for producing an image |
| CN106097284A (zh) * | 2016-07-29 | 2016-11-09 | 努比亚技术有限公司 | 一种夜景图像的处理方法和移动终端 |
| CN108428215A (zh) * | 2017-02-15 | 2018-08-21 | 阿里巴巴集团控股有限公司 | 一种图像处理方法、装置和设备 |
| CN107341775A (zh) * | 2017-06-16 | 2017-11-10 | 广东欧珀移动通信有限公司 | 图像处理方法和装置 |
| CN109671106A (zh) * | 2017-10-13 | 2019-04-23 | 华为技术有限公司 | 一种图像处理方法、装置与设备 |
| CN108171677A (zh) * | 2017-12-07 | 2018-06-15 | 腾讯科技（深圳）有限公司 | 一种图像处理方法及相关设备 |
| CN108288253A (zh) * | 2018-01-08 | 2018-07-17 | 厦门美图之家科技有限公司 | Hdr图像生成方法及装置 |
| CN108805898A (zh) * | 2018-05-31 | 2018-11-13 | 北京字节跳动网络技术有限公司 | 视频图像处理方法和装置 |
| CN109993712A (zh) * | 2019-04-01 | 2019-07-09 | 腾讯科技（深圳）有限公司 | 图像处理模型的训练方法、图像处理方法及相关设备 |
| CN110070511A (zh) * | 2019-04-30 | 2019-07-30 | 北京市商汤科技开发有限公司 | 图像处理方法和装置、电子设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 王岩红等: "基于小波变换的多规则图像融合方法", 电讯技术, vol. 52, no. 11, pages 1778 - 1782 * |
| 王浩等: "图像增强算法综述", 中国光学, vol. 10, no. 4, pages 438 - 448 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113450275A (zh) * | 2021-06-28 | 2021-09-28 | 上海人工智能研究院有限公司 | 基于元学习的画质增强***及方法、存储介质 |
| WO2023279863A1 (zh) * | 2021-07-07 | 2023-01-12 | 荣耀终端有限公司 | 图像处理方法、装置和电子设备 |
| CN115601244A (zh) * | 2021-07-07 | 2023-01-13 | 荣耀终端有限公司（Cn） | 图像处理方法、装置和电子设备 |
| CN115601244B (zh) * | 2021-07-07 | 2023-12-12 | 荣耀终端有限公司 | 图像处理方法、装置和电子设备 |
| CN113610713A (zh) * | 2021-08-13 | 2021-11-05 | 北京达佳互联信息技术有限公司 | 视频超分辨模型的训练方法、视频超分辨方法及装置 |
| CN113610713B (zh) * | 2021-08-13 | 2023-11-28 | 北京达佳互联信息技术有限公司 | 视频超分辨模型的训练方法、视频超分辨方法及装置 |
| CN113592719A (zh) * | 2021-08-14 | 2021-11-02 | 北京达佳互联信息技术有限公司 | 视频超分辨模型的训练方法、视频处理方法及相应设备 |
| CN113592719B (zh) * | 2021-08-14 | 2023-11-28 | 北京达佳互联信息技术有限公司 | 视频超分辨模型的训练方法、视频处理方法及相应设备 |
| CN114125462A (zh) * | 2021-11-30 | 2022-03-01 | 北京达佳互联信息技术有限公司 | 视频处理方法及装置 |
| CN114125462B (zh) * | 2021-11-30 | 2024-03-12 | 北京达佳互联信息技术有限公司 | 视频处理方法及装置 |
| CN114463584A (zh) * | 2022-01-29 | 2022-05-10 | 北京百度网讯科技有限公司 | 图像处理、模型训练方法、装置、设备、存储介质及程序 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112927144A (zh) | 图像增强方法、图像增强装置、介质和电子设备 | |
| WO2020238560A1 (zh) | 视频目标跟踪方法、装置、计算机设备及存储介质 | |
| CN111369545B (zh) | 边缘缺陷检测方法、装置、模型、设备及可读存储介质 | |
| CN108229526B (zh) | 网络训练、图像处理方法、装置、存储介质和电子设备 | |
| CN110189336B (zh) | 图像生成方法、***、服务器及存储介质 | |
| CN110335216B (zh) | 图像处理方法、图像处理装置、终端设备及可读存储介质 | |
| CN110062157B (zh) | 渲染图像的方法、装置、电子设备和计算机可读存储介质 | |
| CN112785507A (zh) | 图像处理方法及装置、存储介质、终端 | |
| WO2021082819A1 (zh) | 一种图像生成方法、装置及电子设备 | |
| CN111382647B (zh) | 一种图片处理方法、装置、设备及存储介质 | |
| CN110213479B (zh) | 一种视频拍摄防抖方法和装置 | |
| CN112381717A (zh) | 图像处理方法、模型训练方法、装置、介质及设备 | |
| CN111325704A (zh) | 图像修复方法、装置、电子设备及计算机可读存储介质 | |
| CN111985281A (zh) | 图像生成模型的生成方法、装置及图像生成方法、装置 | |
| CN112967207A (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| US11783454B2 (en) | Saliency map generation method and image processing system using the same | |
| Luo et al. | Defocus to focus: Photo-realistic bokeh rendering by fusing defocus and radiance priors | |
| CN110349108B (zh) | 处理图像的方法、装置、电子设备、及存储介质 | |
| CN113962873A (zh) | 一种图像去噪方法、存储介质及终端设备 | |
| CN110047126B (zh) | 渲染图像的方法、装置、电子设备和计算机可读存储介质 | |
| CN111784726A (zh) | 人像抠图方法和装置 | |
| CN113052768A (zh) | 一种处理图像的方法、终端及计算机可读存储介质 | |
| US20230368340A1 (en) | Gating of Contextual Attention and Convolutional Features | |
| CN110555799A (zh) | 用于处理视频的方法和装置 | |
| CN115049572A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |