CN113096014B - 视频超分处理方法、电子设备及存储介质 - Google Patents

视频超分处理方法、电子设备及存储介质 Download PDF

Info

Publication number
CN113096014B
CN113096014B CN202110351978.2A CN202110351978A CN113096014B CN 113096014 B CN113096014 B CN 113096014B CN 202110351978 A CN202110351978 A CN 202110351978A CN 113096014 B CN113096014 B CN 113096014B
Authority
CN
China
Prior art keywords
image frame
gradient operator
super
video
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110351978.2A
Other languages
English (en)
Other versions
CN113096014A (zh
Inventor
程志鹏
王�琦
丁丹丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Bravo Technology Co ltd
China Mobile Communications Group Co Ltd
MIGU Video Technology Co Ltd
MIGU Culture Technology Co Ltd
Original Assignee
Beijing Bravo Technology Co ltd
China Mobile Communications Group Co Ltd
MIGU Video Technology Co Ltd
MIGU Culture Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Bravo Technology Co ltd, China Mobile Communications Group Co Ltd, MIGU Video Technology Co Ltd, MIGU Culture Technology Co Ltd filed Critical Beijing Bravo Technology Co ltd
Priority to CN202110351978.2A priority Critical patent/CN113096014B/zh
Publication of CN113096014A publication Critical patent/CN113096014A/zh
Application granted granted Critical
Publication of CN113096014B publication Critical patent/CN113096014B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种视频超分处理方法、电子设备及存储介质，所述方法包括：确定待进行超分处理的视频的图像帧；根据所述图像帧的横向梯度算子、纵向梯度算子以及除所述横向和所述纵向以外的剩余方向梯度算子，计算所述图像帧的边缘强度，并根据所述图像帧的边缘强度，对所述图像帧进行超分处理。本发明在计算边缘强度时加入了除横向和纵向以外的剩余方向梯度算子，从而使得超分增强在横向和纵向以外方向上的效果变得更好，从而使得改进后的Anime4k算法可以应用于一般视频中，而不再局限于应用在没有较多复杂横纹的动漫图像。

Description

视频超分处理方法、电子设备及存储介质
技术领域
本发明涉及图像增强技术领域，具体涉及一种视频超分处理方法、电子设备及存储介质。
背景技术
超分辨率(Super-Resolution)即通过硬件或软件的方法提高原有图像的分辨率，通过一系列低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重建。近年来超分辨率(以下简称“超分”)技术在图片增强、图片放大、细节恢复等方面展现出广阔的应用前景。
随着互联网用户消费形式的升级，网络视频、网络直播正在改变着人们的生活方式。用户对视频质量要求越来越高。Anime4K是现有的较为先进的、高质量的超分算法。但该方法适合应用于没有较多复杂横纹的动漫图像，用于一般视频图像效果较差。如何改进Anime4K算法使其可以应用于一般视频是一个值得探索的问题。
发明内容
由于现有方法存在上述问题，本发明实施例提出一种视频超分处理方法、电子设备及存储介质。
具体地，本发明实施例提供了以下技术方案：
第一方面，本发明实施例提供了一种视频超分处理方法，包括：
确定待进行超分处理的视频的图像帧；
根据所述图像帧的横向梯度算子、纵向梯度算子以及除所述横向和所述纵向以外的剩余方向梯度算子，计算所述图像帧的边缘强度，并根据所述图像帧的边缘强度，对所述图像帧进行超分处理。
进一步地，根据所述图像帧的横向梯度算子、纵向梯度算子以及除所述横向和所述纵向以外的剩余方向梯度算子，计算所述图像帧的边缘强度，并根据所述图像帧的边缘强度，对所述图像帧进行超分处理，包括：
根据所述图像帧的横向梯度算子、纵向梯度算子、45°方向梯度算子和135°方向梯度算子，计算所述图像帧的边缘强度，并根据所述图像帧的边缘强度，对所述图像帧进行超分处理。
进一步地，根据所述图像帧的横向梯度算子、纵向梯度算子、45°方向梯度算子和135°方向梯度算子，计算所述图像帧的边缘强度，并根据所述图像帧的边缘强度，对所述图像帧进行超分处理，包括：
计算所述图像帧的第一横向梯度算子、第一纵向梯度算子、第一45°方向梯度算子和第一135°方向梯度算子；
根据所述第一横向梯度算子、所述第一纵向梯度算子、所述第一45°方向梯度算子和所述第一135°方向梯度算子，计算得到第一边缘图；
计算所述第一边缘图的第二横向梯度算子、第二纵向梯度算子、第二45°方向梯度算子和第二135°方向梯度算子；
根据所述第二横向梯度算子、所述第二纵向梯度算子、所述第二45°方向梯度算子和所述第二135°方向梯度算子，计算得到第二边缘图；
根据所述第二边缘图对所述第二横向梯度算子、所述第二纵向梯度算子、所述第二45°方向梯度算子和所述第二135°方向梯度算子分别进行归一化处理，得到归一化后的第二横向梯度算子、归一化后的第二纵向梯度算子、归一化后的第二45°方向梯度算子和归一化后的第二135°方向梯度算子；
根据归一化后的第二横向梯度算子、归一化后的第二纵向梯度算子、归一化后的第二45°方向梯度算子和归一化后的第二135°方向梯度算子，分配x方向、y方向、45°方向和135°方向的权重；
根据x方向、y方向、45°方向和135°方向的权重，确定所述图像帧中的像素点的替换像素值。
进一步地，确定待进行超分处理的视频的图像帧，包括：
获取待进行超分处理的视频的图像帧；
对所述图像帧进行锐化处理，得到锐化处理后的图像帧。
进一步地，确定待进行超分处理的视频的图像帧，包括：
获取待进行超分处理的视频的图像帧；
对所述图像帧进行去噪处理，得到去噪后的图像帧。
进一步地，对所述图像帧进行锐化处理，得到锐化处理后的图像帧，包括：
确定所述图像帧的边缘点的边缘强度；
根据边缘点的边缘强度确定边缘点的锐化权重；其中，边缘强度越强，锐化权重越大；
根据边缘点的锐化权重对所述图像帧进行锐化处理，得到锐化处理后的图像帧。
进一步地，在得到锐化处理后的图像帧后，所述方法还包括：
通过预设亮度值区间对锐化处理后的图像帧进行黑白边抑制处理。
进一步地，对所述图像帧进行去噪处理，得到去噪后的图像帧，包括：
将所述图像帧输入至去噪模型中，得到去噪后的图像帧；
其中，所述去噪模型是利用带有噪声的样本图像作为输入，利用去噪后的样本图像作为输出，进行深度学习训练后得到的模型；所述去噪模型对应的损失函数中，为边缘点分配第一损失计算权重，为非边缘点分配第二损失计算权重，其中，所述第一损失计算权重大于所述第二损失计算权重。
第二方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的视频超分处理方法。
第三方面，本发明实施例还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述的视频超分处理方法。
由上述技术方案可知，本发明实施例提供的视频超分处理方法、电子设备及存储介质，先确定待进行超分处理的视频的图像帧，然后根据所述图像帧的横向梯度算子、纵向梯度算子以及除所述横向和所述纵向以外的剩余方向梯度算子，计算所述图像帧的边缘强度，并根据所述图像帧的边缘强度，对所述图像帧进行超分处理。本发明实施例在计算边缘强度时加入了除横向和纵向以外的剩余方向梯度算子，从而使得超分增强在横向和纵向以外方向上的效果变得更好，从而使得改进后的Anime4k算法可以应用于一般视频中，而不再局限于应用在没有较多复杂横纹的动漫图像。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。
图1是本发明一实施例提供的视频超分处理方法的流程图；
图2是本发明一实施例提供的超分增强流程图；
图3是本发明一实施例提供的去噪模型训练示意图；
图4是本发明一实施例提供的模型推理过程示意图；
图5是待进行超分处理的原图像；
图6是对图5采用双线性插值方法进行超分处理得到的图像；
图7是对图5采用本申请提出的方法进行超分处理得到的图像；
图8是本发明一实施例提供的视频超分处理装置的结构示意图；
图9是本发明一实施例提供的电子设备的结构示意图。
具体实施方式
下面结合附图，对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
本发明下述实施例中的术语“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
图1示出了本发明一实施例提供的视频超分处理方法的流程图，如图1所示，本发明实施例提供的视频超分处理方法，具体包括如下内容：
步骤101：确定待进行超分处理的视频的图像帧；
在本步骤中，可以理解的是，超分处理是指通过硬件或软件的方法提高原有图像的分辨率，也即通过一系列低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重建。超分处理技术在图片增强、图片放大、细节恢复等环节均得到了很好的应用。本步骤从待进行超分处理的视频中提取图像帧，然后进行后续超分处理。
步骤102：根据所述图像帧的横向梯度算子、纵向梯度算子以及除所述横向和所述纵向以外的剩余方向梯度算子，计算所述图像帧的边缘强度，并根据所述图像帧的边缘强度，对所述图像帧进行超分处理。
在本步骤中，在计算边缘强度时，除横向梯度算子、纵向梯度算子以外，还额外增加了其他方向的梯度算子，如0-90°之间的某一方向或多个方向的梯度算子，和/或，90°-180°之间的某一方向或多个方向的梯度算子，从而使得超分增强效果在横向和纵向以外方向上效果变得更好，从而使得超分算法可以用于所有的视频场景，而不局限没有较多复杂横纹的动漫场景。
例如，在一种实现方式中，在计算边缘强度时，除横向梯度算子、纵向梯度算子以外，还额外增加了45°方向的梯度算子。
又如，在一种实现方式中，在计算边缘强度时，除横向梯度算子、纵向梯度算子以外，还额外增加了135°方向的梯度算子。
又如，在一种实现方式中，在计算边缘强度时，除横向梯度算子、纵向梯度算子以外，还额外增加了45°和135°方向的梯度算子。
又如，在一种实现方式中，在计算边缘强度时，除横向梯度算子、纵向梯度算子以外，还额外增加了60°和150°方向的梯度算子。
又如，在一种实现方式中，在计算边缘强度时，除横向梯度算子、纵向梯度算子以外，还额外增加了70°和160°方向的梯度算子。
又如，在一种实现方式中，在计算边缘强度时，除横向梯度算子、纵向梯度算子以外，还额外增加了40°和130°方向的梯度算子。
又如，在一种实现方式中，在计算边缘强度时，除横向梯度算子、纵向梯度算子以外，还额外增加了30°和120°方向的梯度算子。
又如，在一种实现方式中，在计算边缘强度时，除横向梯度算子、纵向梯度算子以外，还额外增加了20°和110°方向的梯度算子。
又如，在一种实现方式中，在计算边缘强度时，除横向梯度算子、纵向梯度算子以外，还额外增加了20°、30°、45°、60°和110°、120°、135°和150°方向的梯度算子。可以理解的是，当额外增加的梯度算子包含的方向更多、同时各方向分布的更为均匀时，可以有效增强这些方向上的超分效果，从而使得最终的超分效果变得更好。
需要说明的是，上面几种情况只是为了示意，并不具有限制作用，在实际应用时，可以根据待处理的图像的特点(如图像纹理分布特点等)，选择增加特定的一个或多个方向上的梯度算子，从而使得相应方向上超分效果变得更为理想。例如，在实际应用时，可以根据需要，在0-90°之间的某一方向或多个方向的梯度算子，和/或，90°-180°之间的某一方向或多个方向的梯度算子中选择一种或多种进行组合使用。由此可见，本实施例旨在增强水平和垂直方向以外的方向上的超分效果，使Anime4k算法可以更为广泛地应用于一般视频图像中，或者，使Anime4k算法可以更为广泛地应用于各种不同类型的视频图像中，而不再是局限于应用在没有较多复杂横纹的动漫图像。
由上述技术方案可知，本发明实施例提供的视频超分处理方法，先确定待进行超分处理的视频的图像帧，然后根据所述图像帧的横向梯度算子、纵向梯度算子以及除所述横向和所述纵向以外的剩余方向梯度算子，计算所述图像帧的边缘强度，并根据所述图像帧的边缘强度，对所述图像帧进行超分处理。本发明实施例在计算边缘强度时加入了除横向和纵向以外的剩余方向梯度算子，从而使得超分增强在横向和纵向以外方向上的效果变得更好，从而使得改进后的Anime4k算法可以应用于一般视频中，而不再局限于应用在没有较多复杂横纹的动漫图像。
基于上述实施例的内容，在本实施例中，根据所述图像帧的横向梯度算子、纵向梯度算子以及除所述横向和所述纵向以外的剩余方向梯度算子，计算所述图像帧的边缘强度，并根据所述图像帧的边缘强度，对所述图像帧进行超分处理，包括：
根据所述图像帧的横向梯度算子、纵向梯度算子、45°方向梯度算子和135°方向梯度算子，计算所述图像帧的边缘强度，并根据所述图像帧的边缘强度，对所述图像帧进行超分处理。
在本实施例中，需要说明的是，Anime4k超分技术是针对动漫数据设计的，水平和垂直方向的效果较好，但如果在一般视频中直接使用，其他方向的效果欠佳，会存在锯齿感。针对Anime4k算法现存的技术问题，本申请在求边缘强度时加入45°以及135°方向的梯度算子，使得超分增强效果在横向和纵向以外方向上效果变得更好，本实施例旨在增强水平和垂直方向以外的方向上的超分效果，使Anime4k算法可以应用于一般视频中。需要说明的是，本实施例这种处理方式，选择了较为典型的45°以及135°方向，由于这两个方向能够较好地涵盖除横向和纵向以外的其他方向的纹理分布特点，从而使得可以在增加较少方向的梯度算子(尽可能不增加过多计算量)的同时，获得较佳的超分效果。
基于上述实施例的内容，在本实施例中，根据所述图像帧的横向梯度算子、纵向梯度算子、45°方向梯度算子和135°方向梯度算子，计算所述图像帧的边缘强度，并根据所述图像帧的边缘强度，对所述图像帧进行超分处理，包括：
计算所述图像帧的第一横向梯度算子、第一纵向梯度算子、第一45°方向梯度算子和第一135°方向梯度算子；
根据所述第一横向梯度算子、所述第一纵向梯度算子、所述第一45°方向梯度算子和所述第一135°方向梯度算子，计算得到第一边缘图；
计算所述第一边缘图的第二横向梯度算子、第二纵向梯度算子、第二45°方向梯度算子和第二135°方向梯度算子；
根据所述第二横向梯度算子、所述第二纵向梯度算子、所述第二45°方向梯度算子和所述第二135°方向梯度算子，计算得到第二边缘图；
根据所述第二边缘图对所述第二横向梯度算子、所述第二纵向梯度算子、所述第二45°方向梯度算子和所述第二135°方向梯度算子分别进行归一化处理，得到归一化后的第二横向梯度算子、归一化后的第二纵向梯度算子、归一化后的第二45°方向梯度算子和归一化后的第二135°方向梯度算子；
根据归一化后的第二横向梯度算子、归一化后的第二纵向梯度算子、归一化后的第二45°方向梯度算子和归一化后的第二135°方向梯度算子，分配x方向、y方向、45°方向和135°方向的权重；
根据x方向、y方向、45°方向和135°方向的权重，确定所述图像帧中的像素点的替换像素值。
在本实施例中，计算边缘强度时加入45°方向和135°方向的sobel算子分别用Gxy和Gyx表示，如下表1、表2、表3和表4所示：
表1
表2
表3
表4
利用四个sobel算子模板计算四个方向上的梯度值：
其中，表示卷积运算，具体计算如下：
GX(x，y)＝(-1)*I(x-1，y-1)+0*I(x，y-1)+1*I(x+1，y-1)+(-2)*I(x-1，y)+0*I(x，y)+2*I(x+1，y)+(-1)*I(x-1，y+1)+0*I(x，y+1)+1*I(x+1，y+1)＝[I(x+1，y-1)+2*I(x+1，y)+I(x+1，y+1)]-[I(x-1，y-1)+2*I(x-1，y)+I(x-1，y+1)]
GY(x，y)＝(-1)*I(x-1，y-1)+(-2)*I(x，y-1)+(-1)*I(x+1，y-1)+0*I(x-1，y)+0*I(x，y)+0*I(x+1，y)+1*I(x-1，y+1)+2*I(x，y+1)+1*I(x+1，y+1)＝[I(x-1，y+1)+2*I(x，y+1)+I(x+1，y+1)]-[I(x-1，y-1)+2*I(x，y-1)+I(x+1，y-1)]
GXY(x，y)＝(-2)*I(x-1，y-1)+(-1)*I(x，y-1)+0*I(x+1，y-1)+(-1)*I(x-1，y)+0*I(x，y)+1*I(x+1，y)+0*I(x-1，y+1)+1*I(x，y+1)+2*I(x+1，y+1)＝[I(x+1，y)+2*I(x+1，y+1)+I(x，y+1)]-[I(x-1，y)+2*I(x-1，y-1)+I(x，y-1)]
GYX(x，y)＝0*I(x-1，y-1)+(-1)*I(x，y-1)+(-2)*I(x+1，y-1)+1*I(x-1，y)+0*I(x，y)+(-1)*I(x+1，y)+2*I(x-1，y+1)+1*I(x，y+1)+0*I(x+1，y+1)＝[I(x-1，y)+2*I(x-1，y+1)+I(x，y+1)]-[I(x，y-1)+2*I(x+1，y-1)+I(x+1，y)]
其中，I(x，y)表示图像(x，y)点的灰度值。
则整体梯度为：
然后，计算边缘图G的边缘G2，即以G为输入，利用上述方法得到横向梯度G2X，纵向梯度G2Y，45°方向梯度G2XY以及135°方向的梯度G2YX，以及总体边缘强度G2，即：
然后归一化：
其中，eps为了防止除零。
对双线性插值得到的高分辨率图像I进行重新赋值，首先得到每个像素点处横向和纵向，45°方向以及135°方向上的新值，计算方法如所示：
最后，根据和/>分配x和y方向以及45°、135°方向的权重，加权得到该点替换的像素值I'(x,y)。
权重的计算：
加权之后的值:
I'(x,y)＝wx*I'x(x,y)+wy*I'y(x,y)+wxy*I'xy(x,y)+wyx*I'yx(x,y)。
基于上述实施例的内容，在本实施例中，确定待进行超分处理的视频的图像帧，包括：
获取待进行超分处理的视频的图像帧；
对所述图像帧进行去噪处理，得到去噪后的图像帧。
在本实施例中，需要说明的是，由于超分技术会提高原有图像的分辨率，不可避免的，原图像中的噪声也会随之放大。因此对视频图像进行超分处理前对其进行去噪预处理就显得尤为重要。本实施例在超分处理前先对其进行去噪预处理，然后对去噪后的图像帧进行超分处理，从而可以提高超分效果。
此外，需要说明的是，在对图像帧进行去噪处理时，采用何种去噪方法也是一个比较重要的课题。传统去噪方法，例如导向图滤波去噪，双边滤波去噪等，主要针对高斯噪声，而视频帧中更多的是压缩噪声，因此传统方法对压缩噪声效果不太理想。目前较好的去噪方法是基于深度学习的方法，然而目前在模型训练过程中，现有的loss函数无法保留图片边缘，因此如何改进训练模型是一个较有潜力的方向。为此，本申请对此做出了改进。
基于上述实施例的内容，在本实施例中，对所述图像帧进行去噪处理，得到去噪后的图像帧，包括：
将所述图像帧输入至去噪模型中，得到去噪后的图像帧；
其中，所述去噪模型是利用带有噪声的样本图像作为输入，利用去噪后的样本图像作为输出，进行深度学习训练后得到的模型；所述去噪模型对应的损失函数中，为边缘点分配第一损失计算权重，为非边缘点分配第二损失计算权重，其中，所述第一损失计算权重大于所述第二损失计算权重。
在本实施例中，需要说明的是，现有技术中在计算loss函数时，边缘和非边缘分配的权重是一样的，在此情况下真正的边缘会被当做噪声而被磨掉。为解决该问题，本申请在CNN去噪模型训练过程中改进了loss函数，在loss函数基础上增加了权重系数，给边缘分配较高权重，给非边缘分配较低权重，从而可以实现去噪过程中保留正常边缘的效果。
基于上述实施例的内容，在本实施例中，确定待进行超分处理的视频的图像帧，包括：
获取待进行超分处理的视频的图像帧；
对所述图像帧进行锐化处理，得到锐化处理后的图像帧。
在本实施例中，需要说明的是，在视频增强过程中，锐化可以提高视频清晰度，将获取图像帧后，首先对其锐化，然后再对锐化后的图像进行超分处理，从而可以提高超分处理的效果。
在本实施例中，需要说明的是，当前一种效果较好且常用的锐化方法是USM(unsharpen mask)，该方法首先对原视频帧做一个模糊，然后用原视频帧减去模糊视频帧得到边缘残差，将该残差乘以一个系数(该系数即为锐化强度)，然后将其和原视频帧相加即得到锐化结果。但是USM方法存在以下问题：①容易放大细小噪声；②容易产生黑白边。为此，针对USM方法现存的技术问题，本申请在USM方法的基础上通过计算边缘强度得到融合权重，给弱边缘分配较小权重，给强边缘分配较高的权重。通过分配权重以避免放大细小的噪声。此外，在得到锐化结果后，若亮度值过低有可能是锐化黑边，若亮度值过高，则有可能是锐化白边。为了抑制黑白边，本申请对亮度值过低或过高的锐化结果进行重新矫正，以达到抑制黑白边的效果。下面将通过2个实施例对本申请的这两点改进进行解释说明。
基于上述实施例的内容，在本实施例中，对所述图像帧进行锐化处理，得到锐化处理后的图像帧，包括：
确定所述图像帧的边缘点的边缘强度；
根据边缘点的边缘强度确定边缘点的锐化权重；其中，边缘强度越强，锐化权重越大；
根据边缘点的锐化权重对所述图像帧进行锐化处理，得到锐化处理后的图像帧。
由此可见，本实施例针对USM方法现存的技术问题，在USM方法的基础上通过计算边缘强度得到融合权重，给弱边缘分配较小权重，给强边缘分配较高的权重，通过分配权重的方式避免放大细小的噪声，从而解决了现有技术中存在的问题。
基于上述实施例的内容，在本实施例中，在得到锐化处理后的图像帧后，所述方法还包括：
通过预设亮度值区间对锐化处理后的图像帧进行黑白边抑制处理。
在本实施例中，在得到锐化结果后，若亮度值过低有可能是锐化黑边，若亮度值过高，则有可能是锐化白边。为了抑制黑白边，本实施例对亮度值过低或过高的锐化结果进行重新矫正，从而达到抑制黑白边的效果。
由此可见，本实施例对USM锐化方法进行了改进，通过计算边缘强度的大小获得权重，给弱边缘分配较小权重，给强边缘分配较高权重，这样避免放大细小噪声。
将锐化结果
S(x,y)＝I(x,y)+(I(x,y)-B(x,y))*α
改进为：
S(x,y)＝I(x,y)+(I(x,y)-B(x,y))*α*wsh(x,y)
其中，wsh为权重。
此外，本实施例对USM锐化方法进行了二次改进，为抑制锐化后的黑白边，将S(x,y)亮度值过低(有可能是锐化黑边)和亮度值过高(有可能是锐化白边)的像素减弱锐化强度，即分配了权重的锐化图像再乘以黑白边的惩罚因子：
β(x,y)＝1.0-min(((S(x,y)-127.5)/120)2,1.0)
最终得到抑制黑白边的锐化图像：
S'(x,y)＝I(x,y)+(I(x,y)-B(x,y))*α*wsh(x,y)*β(x,y)
由此可见，本申请旨在提供一种移动端实时超分增强的方法，本申请先使用改进后的USM方法对待超分的视频图片进行锐化避免放大噪声，抑制产生黑白边；然后再将视频图片输入改进后的CNN去噪网络模型进行去噪，并保留图片的正常边缘；最后通过改进后的Anime4k算法对视频图片进行超分操作，输出高清视频。下面结合图2、图3和图4对本实施例提供的实时超分增强的方法进行解释和说明。
参见图2，本发明实施例所采用的技术方案如下：
步骤1、基于融合权重Wsh和黑白边惩罚因子，对待处理视频的图片帧进行锐化；
步骤2、将锐化后的图片帧输入训练好的CNN去噪网络模型，该模型训练过程中，基于权重系数Wedge对Loss函数进行改进；
步骤3、采用改进的Anime4K算法对CNN输出的去噪后的图像进行超分增强，其中改进的点在于增加45°，135°两个方向的梯度算子计算边缘强度。
下面对锐化处理过程给予详细介绍。
首先获取待进行锐化处理的源图片帧，然后对源图片帧进行sobel边缘检测，然后对边缘强度进行变换，变换公式为：f(x)＝p5x5+p4x4+p3x3+p2x2+p1x+p0，将边缘强度代入变换公式得到融合权重Wsh，Wsh会给弱边缘分配较小权重，给强边缘分配较高权重，锐化结果如下：
S(x,y)＝I(x,y)+(I(x,y)-B(x,y))*α*wsh(x,y)
此外，在锐化结果的基础上增加黑白边的惩罚因子：
β(x,y)＝1.0-min(((S(x,y)-127.5)/120)2,1.0)
得到最终的锐化图片：
S'(x,y)＝I(x,y)+(I(x,y)-B(x,y))*α*wsh(x,y)*β(x,y)
然后将上上述经过锐化处理后的图片输入训练好的CNN去噪网络模型中，得到去噪的视频图片。
如图3和图4所述，训练过程包括如下步骤：
首先筛选得到一批高清视频，对其使用不同编码器进行不同码率的转码压缩，得到若干组低清视频，然后随机抽取低清视频和对应的高清视频的图片对作为训练集，最终输入CNN去噪网络模型进行训练。本实施例利用均值滤波对原图进行模糊，然后与原图相减求绝对值，即得到图片的边缘强度。将边缘强度乘以一个因子λ，即得到最终的权重系数，计算公式如下，其中λ表示保边的强度：
wedge(x,y)＝|I(x,y)-B(x,y)|*λ
经过去噪输出的高清图片I'与原高清图片I做loss计算，将loss函数：
改进为：
最后输出去噪模型参数。
由此可见，本申请改进了CNN去噪模型，在loss函数中增加了权重系数，可以实现去噪的同时保留正常边缘。
综上所述，本申请在求边缘强度时，加入45°以及135°方向的梯度算子，使得原Anime4k算法在横向和纵向以外的方向上获得更好的超分效果。此外，本申请改进了USM锐化方法，在原方法的基础上增加了锐化权重避免放大噪声。此外，本申请通过增加惩罚因子，可以抑制锐化产生的黑白边。此外，本申请在loss函数中增加权重系数，实现去噪的同时能保留边缘。由此可见，本申请具有如下优势：A.本申请提案改进了现有技术USM锐化方法，与原方法相比，本申请提案避免锐化过程中放大噪声，且抑制了锐化后产生的黑白边。B.本申请提案改进了现有CNN去噪模型，与原模型相比，本申请提案在loss函数中增加权重，去噪的同时还能保留边缘。C.本申请提案改进了现有的Anime4k超分算法，与原算法相比，本申请提案增强了横向和纵向以外的方向的超分效果。结合图5、图6和图7可以看出本申请方案的效果。其中，图5为原图像，图6为采用双线性插值方法进行超分处理后的图像，图7为采用本申请提出的方法进行超分处理后的图像。通过对比可发现，通过本申请的方法进行超分处理后的图像相较于双线性插值的效果更清晰。
图8示出了本发明实施例提供的视频超分处理装置的结构示意图。如图8所示，本发明实施例提供的视频超分处理装置包括：确定模块21和处理模块22，其中：
确定模块21，用于确定待进行超分处理的视频的图像帧；
处理模块22，用于根据所述图像帧的横向梯度算子、纵向梯度算子以及除所述横向和所述纵向以外的剩余方向梯度算子，计算所述图像帧的边缘强度，并根据所述图像帧的边缘强度，对所述图像帧进行超分处理。
由于本实施例提供的视频超分处理装置，可以用于执行上述实施例提供的视频超分处理方法，其工作原理和有益效果类似，此处不再详述。
基于相同的发明构思，本发明又一实施例提供了一种电子设备，参见图9，所述电子设备具体包括如下内容：处理器301、存储器302、通信接口303和通信总线304；
其中，所述处理器301、存储器302、通信接口303通过所述通信总线304完成相互间的通信；所述通信接口303用于实现各设备之间的信息传输；
所述处理器301用于调用所述存储器302中的计算机程序，所述处理器执行所述计算机程序时实现上述视频超分处理方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：确定待进行超分处理的视频的图像帧；根据所述图像帧的横向梯度算子、纵向梯度算子以及除所述横向和所述纵向以外的剩余方向梯度算子，计算所述图像帧的边缘强度，并根据所述图像帧的边缘强度，对所述图像帧进行超分处理。
基于相同的发明构思，本发明又一实施例提供了一种非暂态计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述视频超分处理方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：确定待进行超分处理的视频的图像帧；根据所述图像帧的横向梯度算子、纵向梯度算子以及除所述横向和所述纵向以外的剩余方向梯度算子，计算所述图像帧的边缘强度，并根据所述图像帧的边缘强度，对所述图像帧进行超分处理。
此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的视频超分处理方法。
此外，在本发明中，诸如“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
此外，在本发明中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
此外，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种视频超分处理方法，其特征在于，包括：
确定待进行超分处理的视频的图像帧；
根据所述图像帧的横向梯度算子、纵向梯度算子以及除所述横向和所述纵向以外的剩余方向梯度算子，计算所述图像帧的边缘强度，并根据所述图像帧的边缘强度，对所述图像帧进行超分处理；
根据所述图像帧的横向梯度算子、纵向梯度算子以及除所述横向和所述纵向以外的剩余方向梯度算子，计算所述图像帧的边缘强度，并根据所述图像帧的边缘强度，对所述图像帧进行超分处理，包括：
根据所述图像帧的横向梯度算子、纵向梯度算子、45°方向梯度算子和135°方向梯度算子，计算所述图像帧的边缘强度，并根据所述图像帧的边缘强度，对所述图像帧进行超分处理。
2.根据权利要求1所述的视频超分处理方法，其特征在于，根据所述图像帧的横向梯度算子、纵向梯度算子、45°方向梯度算子和135°方向梯度算子，计算所述图像帧的边缘强度，并根据所述图像帧的边缘强度，对所述图像帧进行超分处理，包括：
计算所述图像帧的第一横向梯度算子、第一纵向梯度算子、第一45°方向梯度算子和第一135°方向梯度算子；
根据所述第一横向梯度算子、所述第一纵向梯度算子、所述第一45°方向梯度算子和所述第一135°方向梯度算子，计算得到第一边缘图；
计算所述第一边缘图的第二横向梯度算子、第二纵向梯度算子、第二45°方向梯度算子和第二135°方向梯度算子；
根据所述第二横向梯度算子、所述第二纵向梯度算子、所述第二45°方向梯度算子和所述第二135°方向梯度算子，计算得到第二边缘图；
根据所述第二边缘图对所述第二横向梯度算子、所述第二纵向梯度算子、所述第二45°方向梯度算子和所述第二135°方向梯度算子分别进行归一化处理，得到归一化后的第二横向梯度算子、归一化后的第二纵向梯度算子、归一化后的第二45°方向梯度算子和归一化后的第二135°方向梯度算子；
根据归一化后的第二横向梯度算子、归一化后的第二纵向梯度算子、归一化后的第二45°方向梯度算子和归一化后的第二135°方向梯度算子，分配x方向、y方向、45°方向和135°方向的权重；
根据x方向、y方向、45°方向和135°方向的权重，确定所述图像帧中的像素点的替换像素值。
3.根据权利要求1所述的视频超分处理方法，其特征在于，确定待进行超分处理的视频的图像帧，包括：
获取待进行超分处理的视频的图像帧；
对所述图像帧进行锐化处理，得到锐化处理后的图像帧。
4.根据权利要求1所述的视频超分处理方法，其特征在于，确定待进行超分处理的视频的图像帧，包括：
获取待进行超分处理的视频的图像帧；
对所述图像帧进行去噪处理，得到去噪后的图像帧。
5.根据权利要求3所述的视频超分处理方法，其特征在于，对所述图像帧进行锐化处理，得到锐化处理后的图像帧，包括：
确定所述图像帧的边缘点的边缘强度；
根据边缘点的边缘强度确定边缘点的锐化权重；其中，边缘强度越强，锐化权重越大；
根据边缘点的锐化权重对所述图像帧进行锐化处理，得到锐化处理后的图像帧。
6.根据权利要求5所述的视频超分处理方法，其特征在于，在得到锐化处理后的图像帧后，所述方法还包括：
通过预设亮度值区间对锐化处理后的图像帧进行黑白边抑制处理。
7.根据权利要求4所述的视频超分处理方法，其特征在于，对所述图像帧进行去噪处理，得到去噪后的图像帧，包括：
将所述图像帧输入至去噪模型中，得到去噪后的图像帧；
其中，所述去噪模型是利用带有噪声的样本图像作为输入，利用去噪后的样本图像作为输出，进行深度学习训练后得到的模型；所述去噪模型对应的损失函数中，为边缘点分配第一损失计算权重，为非边缘点分配第二损失计算权重，其中，所述第一损失计算权重大于所述第二损失计算权重。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一所述的视频超分处理方法。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一所述的视频超分处理方法。
CN202110351978.2A 2021-03-31 2021-03-31 视频超分处理方法、电子设备及存储介质 Active CN113096014B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110351978.2A CN113096014B (zh) 2021-03-31 2021-03-31 视频超分处理方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110351978.2A CN113096014B (zh) 2021-03-31 2021-03-31 视频超分处理方法、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113096014A CN113096014A (zh) 2021-07-09
CN113096014B true CN113096014B (zh) 2023-12-08

Family

ID=76672577

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110351978.2A Active CN113096014B (zh) 2021-03-31 2021-03-31 视频超分处理方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113096014B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113689333A (zh) * 2021-08-23 2021-11-23 深圳前海微众银行股份有限公司 一种图像增强的方法及装置

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102651122A (zh) * 2011-02-24 2012-08-29 索尼公司 图像增强装置和方法
CN103391392A (zh) * 2012-05-11 2013-11-13 索尼公司 图像增强装置和方法
CN104637064A (zh) * 2015-02-28 2015-05-20 中国科学院光电技术研究所 一种基于边缘强度权重的离焦模糊图像清晰度检测方法
CN105678700A (zh) * 2016-01-11 2016-06-15 苏州大学 基于预测梯度的图像插值方法及***
US9589324B1 (en) * 2014-03-27 2017-03-07 Pixelworks, Inc. Overshoot protection of upscaled images
CN106604057A (zh) * 2016-12-07 2017-04-26 乐视控股（北京）有限公司 视频处理方法及装置
CN109242807A (zh) * 2018-11-07 2019-01-18 厦门欢乐逛科技股份有限公司 渲染参数自适应的边缘软化方法、介质及计算机设备
CN109934785A (zh) * 2019-03-12 2019-06-25 湖南国科微电子股份有限公司 图像锐化方法及装置
CN110880160A (zh) * 2019-11-14 2020-03-13 Oppo广东移动通信有限公司 图片帧超分方法、装置、终端设备及计算机可读存储介质
CN110956594A (zh) * 2019-11-27 2020-04-03 北京金山云网络技术有限公司 图像滤波方法、装置、电子设备及存储介质
CN111028182A (zh) * 2019-12-24 2020-04-17 北京金山云网络技术有限公司 图像锐化方法、装置、电子设备及计算机可读存储介质
CN111415399A (zh) * 2020-03-19 2020-07-14 北京奇艺世纪科技有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN111986069A (zh) * 2019-05-22 2020-11-24 三星电子株式会社 图像处理装置及其图像处理方法
CN112561802A (zh) * 2021-02-20 2021-03-26 杭州太美星程医药科技有限公司 连续序列图像的插值方法、插值模型训练方法及其***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012175010A1 (en) * 2011-06-24 2012-12-27 Technicolor (China) Technology Co., Ltd. Method and device for processing of an image

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102651122A (zh) * 2011-02-24 2012-08-29 索尼公司 图像增强装置和方法
CN103391392A (zh) * 2012-05-11 2013-11-13 索尼公司 图像增强装置和方法
US9589324B1 (en) * 2014-03-27 2017-03-07 Pixelworks, Inc. Overshoot protection of upscaled images
CN104637064A (zh) * 2015-02-28 2015-05-20 中国科学院光电技术研究所 一种基于边缘强度权重的离焦模糊图像清晰度检测方法
CN105678700A (zh) * 2016-01-11 2016-06-15 苏州大学 基于预测梯度的图像插值方法及***
CN106604057A (zh) * 2016-12-07 2017-04-26 乐视控股（北京）有限公司 视频处理方法及装置
CN109242807A (zh) * 2018-11-07 2019-01-18 厦门欢乐逛科技股份有限公司 渲染参数自适应的边缘软化方法、介质及计算机设备
CN109934785A (zh) * 2019-03-12 2019-06-25 湖南国科微电子股份有限公司 图像锐化方法及装置
CN111986069A (zh) * 2019-05-22 2020-11-24 三星电子株式会社 图像处理装置及其图像处理方法
CN110880160A (zh) * 2019-11-14 2020-03-13 Oppo广东移动通信有限公司 图片帧超分方法、装置、终端设备及计算机可读存储介质
CN110956594A (zh) * 2019-11-27 2020-04-03 北京金山云网络技术有限公司 图像滤波方法、装置、电子设备及存储介质
CN111028182A (zh) * 2019-12-24 2020-04-17 北京金山云网络技术有限公司 图像锐化方法、装置、电子设备及计算机可读存储介质
CN111415399A (zh) * 2020-03-19 2020-07-14 北京奇艺世纪科技有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN112561802A (zh) * 2021-02-20 2021-03-26 杭州太美星程医药科技有限公司 连续序列图像的插值方法、插值模型训练方法及其***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于稀疏表示的图像超分辨率重建算法;王琦; 谢淑翠; 王至琪;《现代电子技术》;第42卷(第3期);45-48 *

Also Published As

Publication number Publication date
CN113096014A (zh) 2021-07-09

Similar Documents

Publication Publication Date Title
Liu et al. Efficient single image dehazing and denoising: An efficient multi-scale correlated wavelet approach
CN108205804B (zh) 图像处理方法、装置及电子设备
JP4858610B2 (ja) 画像処理方法
CN103236040B (zh) 一种色彩增强方法及装置
Pang et al. Improved single image dehazing using guided filter
Ma et al. An effective fusion defogging approach for single sea fog image
Kong et al. Low-light image enhancement via poisson noise aware retinex model
CN110298792B (zh) 低光照图像增强与去噪方法、***及计算机设备
Tsai Adaptive local power-law transformation for color image enhancement
Xu et al. A new approach for very dark video denoising and enhancement
Hossain et al. Medical image enhancement based on nonlinear technique and logarithmic transform coefficient histogram matching
Zheng et al. Ultra-high-definition image hdr reconstruction via collaborative bilateral learning
CN105931206A (zh) 一种颜色恒常的彩色图像清晰度增强方法
CN111353955A (zh) 一种图像处理方法、装置、设备和存储介质
US10229479B2 (en) Image signal processing apparatus, image signal processing method and image signal processing program
Mu et al. Low and non-uniform illumination color image enhancement using weighted guided image filtering
US20080002904A1 (en) Adaptive image sharpening method
CN113096014B (zh) 视频超分处理方法、电子设备及存储介质
TWI827771B (zh) 圖像處理設備和方法
Abdullah-Al-Wadud A modified histogram equalization for contrast enhancement preserving the small parts in images
CN201726464U (zh) 一种新的视频图像锐化处理装置
Yang et al. Underwater image enhancement based on structure-texture decomposition
US11574391B2 (en) Median based frequency separation local area contrast enhancement
Lee et al. Motion deblurring using edge map with blurred/noisy image pairs
CN114092407A (zh) 一种视频会议共享文档清晰化处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant