CN114998172A - 图像处理方法及相关*** - Google Patents

图像处理方法及相关*** Download PDF

Info

Publication number
CN114998172A
CN114998172A CN202210588150.3A CN202210588150A CN114998172A CN 114998172 A CN114998172 A CN 114998172A CN 202210588150 A CN202210588150 A CN 202210588150A CN 114998172 A CN114998172 A CN 114998172A
Authority
CN
China
Prior art keywords
image
weight coefficient
semantic
enhanced
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210588150.3A
Other languages
English (en)
Inventor
马翼鹏
汪涛
宋风龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202210588150.3A priority Critical patent/CN114998172A/zh
Publication of CN114998172A publication Critical patent/CN114998172A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例提供一种图像处理方法及相关***。该方法包括：对初始图像进行处理，以得到所述初始图像的语义兴趣区域图、N个增强处理后的图像以及N个融合权重系数图；根据所述语义兴趣区域图、所述N个融合权重系数图和所述N个增强处理后的图像得到融合后的增强图像。通过对初始图像进行处理，得到初始图像的语义兴趣区域图、N个增强处理后的图像以及N个融合权重系数图；然后对该语义兴趣区域图、N个增强处理后的图像以及N个融合权重系数图进行融合处理，得到融合后的增强图像。采用该手段，通过结合语义兴趣区域信息和增强处理后的图像信息，使得图像增强过程中获取ROI区域先验信息，有助于提升视觉任务精度。

Description

图像处理方法及相关***
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像处理方法及相关***。
背景技术
传统的图像增强方案中通常包含多个子模块，每个子模块独立完成各自的图像处理子任务。例如颜色校正、伽马校正(Gamma Correction)、锐化、颜色增强等。这些子模块通常采用串行叠加的方式形成一个图像处理流水线进行图像的处理，最终获得增强后的图像。这样的图像处理流程，需要极高的人力和时间成本对各模块之间的协同效果进行联调，以获得最优的图像质量和视觉效果。
深度学习方法，尤其是基于卷积神经网络(Convolutional Neural Networks，CNN)的方法，是近年来人工智能领域发展的关键推动力，在计算机视觉的多种任务取得了令人瞩目的效果。在图像复原和图像质量增强领域，基于深度学习的方法都已经超过了传统方法。
无论传统方法还是深度学习方法都能获取到对于人类视觉感观友好的图像质量；但是，这类面向人类视觉感观的增强方法并非一定对视觉任务(例如目标检测任务)友好，并且通常是不友好的。例如，经过图像专家精修后的图像会丢失场景中的某些目标，即无法正常检出目标；而通过视觉任务引导优化的图像增强方法增强后的增强图像，尽管场景中的目标均可正常检出，但是图像的动态范围较低，并且色彩缺失。这两种方式均会降低视觉任务精度。
发明内容
本申请公开了一种图像处理方法及相关***，有助于提升视觉任务性能，提高视觉任务的精度。
第一方面，本申请实施例提供一种图像处理方法，包括：对初始图像进行处理，以得到所述初始图像的语义兴趣区域图、N个增强处理后的图像以及N个融合权重系数图，N为不小于2的整数；根据所述语义兴趣区域图、所述N个融合权重系数图和所述N个增强处理后的图像得到融合后的增强图像。
本申请实施例，通过对初始图像进行处理，得到初始图像的语义兴趣区域图、N个增强处理后的图像以及N个融合权重系数图；然后对该语义兴趣区域图、N个增强处理后的图像以及N个融合权重系数图进行融合处理，得到融合后的增强图像。采用该手段，通过结合ROI语义信息和增强处理后的图像信息，使得图像增强过程中获取ROI区域先验信息，有助于提升视觉任务精度。
在一种可能的实现方式中，所述根据所述语义兴趣区域图、所述N个融合权重系数图和所述N个增强处理后的图像得到融合后的增强图像，包括：根据所述语义兴趣区域图和所述N个融合权重系数图得到N个语义融合权重系数图，所述N个语义融合权重系数图与所述N个融合权重系数图对应；根据所述N个语义融合权重系数图对所述N个增强处理后的图像进行融合处理，得到所述融合后的增强图像。
本方案针对ROI区域进行着重的增强，弱化非ROI区域，其有利于后端CV任务提前感知具有ROI优化方向的特征。且，多维度图像增强在融合过程相互交互、信息互通，进而在图像增强过程中可获得更加丰富的特征信息。
在一种可能的实现方式中，所述方法还包括：对所述N个语义融合权重系数图分别进行平滑处理，以得到N个平滑处理后的语义融合权重系数图；所述根据所述N个语义融合权重系数图对所述N个增强处理后的图像进行融合处理，得到所述融合后的增强图像，包括：根据所述N个平滑处理后的语义融合权重系数图对所述N个增强处理后的图像进行融合处理，得到所述融合后的增强图像。
本申请实施例，通过对初始图像并行进行图像增强处理，各个处理任务单元独立、并行运行，完成独有的图像处理任务，然后将处理结果结合语义兴趣区域进行自适应融合，得到融合后的增强图像。本方案通过引入ROI语义图，可以让图像增强过程提前获取视觉任务ROI信息，在增强过程前有区分的进行前背景增强；且通过基于语义、模型双感知设计的图像融合处理，结合ROI语义信息和后端视觉任务梯度，使得图像增强过程获取ROI区域先验信息和视觉任务模型先验，显著提升视觉任务精度。
在另一种可能的实现方式中，所述根据所述语义兴趣区域图、所述N个融合权重系数图和所述N个增强处理后的图像得到融合后的增强图像，包括：根据所述N个融合权重系数图和所述N个增强处理后的图像得到融合后的初始增强图像；根据所述融合后的初始增强图像和所述语义兴趣区域图得到所述融合后的增强图像。
在一种可能的实现方式中，所述对初始图像进行处理，以得到N个增强处理后的图像以及N个融合权重系数图，包括：对初始图像并行进行N次增强处理，以得到N个增强处理后的图像以及N个融合权重系数图，所述N个增强处理后的图像与N次增强处理对应，所述N个融合权重系数图与N次增强处理对应。
本方案中每个增强单元独立负责各自的增强任务，更容易获得专属特性的增强效果。同时，单独的图像处理单元更容易构建，不需要单元间的协同联调，降低寻找图像增强最优解的难度；还显著降低了级联串行模式的误差累积；且，各个增强单元并行运行，大幅缩减运行时间。
第二方面，本申请实施例提供一种图像处理装置，包括：处理模块，用于对初始图像进行处理，以得到所述初始图像的语义兴趣区域图、N个增强处理后的图像以及N个融合权重系数图，N为不小于2的整数；融合模块，用于根据所述语义兴趣区域图、所述N个融合权重系数图和所述N个增强处理后的图像得到融合后的增强图像。
本申请实施例，通过对初始图像进行处理，得到初始图像的语义兴趣区域图、N个增强处理后的图像以及N个融合权重系数图；然后对该语义兴趣区域图、N个增强处理后的图像以及N个融合权重系数图进行融合处理，得到融合后的增强图像。采用该手段，通过结合ROI语义信息和增强处理后的图像信息，使得图像增强过程中获取ROI区域先验信息，有助于提升视觉任务精度。
在一种可能的实现方式中，所述融合模块，用于：根据所述语义兴趣区域图和所述N个融合权重系数图得到N个语义融合权重系数图，所述N个语义融合权重系数图与所述N个融合权重系数图对应；根据所述N个语义融合权重系数图对所述N个增强处理后的图像进行融合处理，得到所述融合后的增强图像。
本方案针对ROI区域进行着重的增强，弱化非ROI区域，其有利于后端CV任务提前感知具有ROI优化方向的特征。且，多维度图像增强在融合过程相互交互、信息互通，进而在图像增强过程中可获得更加丰富的特征信息。
在一种可能的实现方式中，所述处理模块，还用于：对所述N个语义融合权重系数图分别进行平滑处理，以得到N个平滑处理后的语义融合权重系数图；所述融合模块，还用于：根据所述N个平滑处理后的语义融合权重系数图对所述N个增强处理后的图像进行融合处理，得到所述融合后的增强图像。
本申请实施例，通过对初始图像并行进行图像增强处理，各个处理任务单元独立、并行运行，完成独有的图像处理任务，然后将处理结果结合语义兴趣区域进行自适应融合，得到融合后的增强图像。本方案通过引入ROI语义图，可以让图像增强过程提前获取视觉任务ROI信息，在增强过程前有区分的进行前背景增强；且通过基于语义、模型双感知设计的图像融合处理，结合ROI语义信息和后端视觉任务梯度，使得图像增强过程获取ROI区域先验信息和视觉任务模型先验，显著提升视觉任务精度。
在另一种可能的实现方式中，所述融合模块，用于：根据所述N个融合权重系数图和所述N个增强处理后的图像得到融合后的初始增强图像；根据所述融合后的初始增强图像和所述语义兴趣区域图得到所述融合后的增强图像。
在一种可能的实现方式中，所述处理模块，用于：对初始图像并行进行N次增强处理，以得到N个增强处理后的图像以及N个融合权重系数图，所述N个增强处理后的图像与N次增强处理对应，所述N个融合权重系数图与N次增强处理对应。
本方案中每个增强单元独立负责各自的增强任务，更容易获得专属特性的增强效果。同时，单独的图像处理单元更容易构建，不需要单元间的协同联调，降低寻找图像增强最优解的难度；还显著降低了级联串行模式的误差累积；且，各个增强单元并行运行，大幅缩减运行时间。
第三方面，本申请实施例提供一种图像处理装置，包括处理器和存储器；其中，所述存储器用于存储程序代码，所述处理器用于调用所述程序代码，以执行如第一方面任一种实现方式提供的方法。
第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现如第一方面任一种实现方式提供的方法。
第五方面，本申请实施例提供一种计算机程序产品，其特征在于，当计算机程序产品在计算机上运行时，使得所述计算机执行如第一方面任一种实现方式提供的方法。
第六方面，本申请实施例提供一种芯片***，所述芯片***应用于电子设备；所述芯片***包括一个或多个接口电路，以及一个或多个处理器；所述接口电路和所述处理器通过线路互联；所述接口电路用于从所述电子设备的存储器接收信号，并向所述处理器发送所述信号，所述信号包括所述存储器中存储的计算机指令；当所述处理器执行所述计算机指令时，所述电子设备执行如第一方面任一种实现方式提供的方法。
可以理解地，上述提供的第二方面所述的装置、第三方面所述的装置、第四方面所述的计算机可读存储介质、第五方面所述的计算机程序产品或者第六方面所述的芯片***均用于执行第一方面中任一所提供的方法。因此，其所能达到的有益效果可参考对应方法中的有益效果，此处不再赘述。
附图说明
下面对本申请实施例用到的附图进行介绍。
图1是本申请实施例提供的一种图像处理***的架构示意图；
图2是本申请实施例提供的一种图像处理方法的流程示意图；
图3是本申请实施例提供的另一种图像处理方法的流程示意图；
图4是本申请实施例提供的一种面向人车目标检测任务的图像处理示意图；
图5是本申请实施例提供的一种融合处理示意图；
图6是本申请实施例提供的又一种图像处理方法的流程示意图；
图7是本申请实施例提供的一种图像处理装置的结构示意图；
图8是本申请实施例提供的另一种图像处理装置的结构示意图。
具体实施方式
下面结合本申请实施例中的附图对本申请实施例进行描述。本申请实施例的实施方式部分使用的术语仅用于对本申请的具体实施例进行解释，而非旨在限定本申请。
首先对本方案应用到的名词进行解释：
图像(图像质量)增强：指对图像的亮度、颜色、对比度、饱和度、动态范围等中的至少一项进行处理，满足某种特定指标的技术。
伪像Artifact：指在图像处理中，原本图像中并不存在而在图像处理后存在于图像中的各种形态的信息。
计算视觉任务(Computer Vision Task，CV)：指对单张图像或一系列图像的有用信息进行自动提取、分析和理解。其通常包括图像分类、图像实例分割、图像目标检测等基础任务。
感兴趣区域(Region of Interest，ROI)：在机器视觉、图像处理中，从被处理的图像中以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域，称为感兴趣区域。
PR曲线线下面积(Average Precision，AP)：其为主流的目标检测模型的评价指标。该数值越高表明模型在该目标类表上的精度越高。
各类别AP的平均值(mean Average Precision，mAP)：检测目标各类别AP的平均值。该数值越高表明模型精度越高，性能越好。
需要说明的是，本申请可应用于自动驾驶、视频监控、智慧城市、手机智能等多种应用场景中的图像质量增强或视频质量增强等。本方案还可以适用于需要同时满足视觉任务精度性能提升和运行速度两方面需求的任务。
本方案的执行主体可以是手机终端、视频监控、车载等计算设备。通过部署在相关设备上，通过软件改造来提高图像或视频质量增强任务的效果，以使得部署在后端的视觉任务算法性能提升(精度提升)。
参照图1所示，为本申请实施例提供的一种图像处理***的架构示意图。如图1所示，该***可包括图像预处理单元1001、多任务并行化图像增强单元1002、语义与模型感知融合单元1003和计算视觉算法单元1004。
其中，图像预处理单元1001，用于接收输入的初始图像，例如为低质量的图像；通过对输入的初始图像进行预处理，输出预处理后的图像，实现图像的基础变化，以便适配特定的视觉任务。该预处理例如可以是Gamma校正、色域转换等基础功能。
多任务并行化图像增强单元1002，用于接收预处理后的图像，输出增强图像组(例如N个增强处理后的图像)和融合权重系数图组(例如N个融合权重系数图)。该多任务并行化图像增强单元1002内部可包括多个子增强单元，例如第一图像增强单元、第二图像增强单元……第N图像增强单元。每个子增强单元完成独立的增强功能，例如：高动态范围成像(High Dynamic Range Imaging，HDR)增强、对比度增强、锐度增强、色彩增强、亮度增强等功能。子单元具体种类可由用户等根据实际情况选择配置，本方案对此不作具体限定。
语义与模型感知融合单元1003，用于接收上述增强图像组和融合权重系数图组，输出融合后的增强图像。该语义与模型感知融合单元1003包括语义ROI生成单元和模型感知融合单元。其中，语义ROI生成单元可以是预先训练好的神经网络，用于接收输入的初始图像，并生成ROI语义图。其中，ROI语义图指示图像中后端视觉任务所感兴趣的区域。模型感知融合单元用于接收增强图像组、融合权重系数图组以及ROI语义图，融合输出最终的增强图像。
计算视觉算法单元1004，用于接收上述增强图像，得到视觉任务目标输出。例如：该计算视觉算法单元1004检测到的目标框(目标检测)、分割区域(实例分割)等。其中，在训练过程，传输损失函数梯度到图像预处理单元1001、多任务并行化图像增强单元1002和语义与模型感知融合单元1003进行网络参数更新学习。
需要说明的是，上述图像预处理单元1001和计算视觉算法单元1004并不是必须的，本方案对此不作具体限定。
本方案通过引入ROI语义图，可以让图像增强过程提前获取视觉任务ROI区域，在增强过程前有区分的进行前背景增强；且通过基于语义、模型双感知设计的图像融合处理，结合ROI语义信息和后端视觉任务梯度，使得图像增强过程获取ROI区域先验信息和视觉任务模型先验，显著提升视觉任务精度。
参照图2所示，为本申请实施例提供的一种图像处理方法的流程示意图。如图2所示，该方法包括步骤201-202，具体如下：
201、对初始图像进行处理，以得到所述初始图像的语义兴趣区域图、N个增强处理后的图像以及N个融合权重系数图，N为不小于2的整数；
例如，服务器对初始图像进行处理。
该处理可包括对初始图像进行感兴趣语义提取，得到初始图像的语义兴趣区域图。
该处理还包括对初始图像进行增强处理，得到N个增强处理后的图像以及N个融合权重系数图。例如，该增强处理可以是N种不同的增强处理。
上述增强处理后的图像，例如可以是HDR增强处理后的图像、对比度增强处理后的图像、锐度增强处理后的图像、色彩增强处理后的图像、亮度增强处理后的图像等，本方案对此不作具体限定。
202、根据所述语义兴趣区域图、所述N个融合权重系数图和所述N个增强处理后的图像得到融合后的增强图像。
基于上述得到的语义兴趣区域图、所述N个融合权重系数图和所述N个增强处理后的图像进行融合处理，进而得到融合后的增强图像。
本申请实施例，通过对初始图像进行处理，得到初始图像的语义兴趣区域图、N个增强处理后的图像以及N个融合权重系数图；然后对该语义兴趣区域图、N个增强处理后的图像以及N个融合权重系数图进行融合处理，得到融合后的增强图像。采用该手段，通过结合ROI语义信息和增强处理后的图像信息，使得图像增强过程中获取ROI区域先验信息，有助于提升视觉任务精度。
参照图3所示，为本申请实施例提供的另一种图像处理方法的流程示意图。如图3所示，该方法包括步骤301-304，具体如下：
301、对初始图像进行处理，以得到所述初始图像的语义兴趣区域图；
作为一种可能的实现方式，该对初始图像进行处理，以得到所述初始图像的语义兴趣区域图，可以是通过将初始图像输入到神经网络中进行处理，进而得到该初始图像的语义兴趣区域图。
当然还可以采用其他方式来获取语义兴趣区域图，本方案对此不作具体限定。
302、对初始图像并行进行N次增强处理，以得到N个增强处理后的图像以及N个融合权重系数图，所述N个增强处理后的图像与N次增强处理对应，所述N个融合权重系数图与N次增强处理对应，N为不小于2的整数；
该对初始图像并行进行N次增强处理，可以理解为，对初始图像分别进行了N次增强处理，每次增强处理都是独立的。该并行处理，可以是同时进行的，本方案对此不作具体限定。
也就是说，每次增强处理，分别得到一个增强处理后的图像以及一个融合权重系数图。基于上述并行的N次增强处理，可得到N个增强处理后的图像以及N个融合权重系数图。
上述增强处理，例如可以是HDR增强处理、对比度增强处理、锐度增强处理、色彩增强处理、亮度增强处理等，本方案对此不作具体限定。
需要说明的是，步骤301和步骤302的顺序，可以是同时执行，也可以是按照预设顺序等，本方案对此不作具体限定。
本方案中每个增强单元独立负责各自的增强任务，更容易获得专属特性的增强效果。同时，单独的图像处理单元更容易构建，不需要单元间的协同联调，降低寻找图像增强最优解的难度；还显著降低了级联串行模式的误差累积；且，各个增强单元并行运行，大幅缩减运行时间。
在一种可能的实现方式中，如图4所示，该实施例的图像增强应用于面向人车目标检测任务。其中输入的初始图像I经过Gamma校正等预处理后得到处理图像P。将图像P并行增强过程实施HDR、对比度、锐度增强三个增强单元，其中图像P同时并行经过三个增强单元，输出对应的增强处理后的图像以及融合权重系数图。
303、根据所述语义兴趣区域图和所述N个融合权重系数图得到N个语义融合权重系数图，所述N个语义融合权重系数图与所述N个融合权重系数图对应；
在一种可能的实现方式中，基于上述得到的语义兴趣区域图以及N个融合权重系数图进行点乘操作，可得到N个具有ROI语义信息的融合权重系数图。
在另一种可能的实现方式中，基于上述得到的语义兴趣区域图以及N个融合权重系数图进行通道维度像素叠加后进行卷积操作，可得到N个具有ROI语义信息的融合权重系数图。
304、根据所述N个语义融合权重系数图对所述N个增强处理后的图像进行融合处理，得到所述融合后的增强图像。
根据语义融合权重系数图对所述N个增强处理后的图像进行通道维度的像素点乘求和操作，生成最终融合后的增强图像。
如图4所示，基于初始图像I得到的初始图像的语义兴趣区域图，以及3个语义融合权重系数图和3个增强处理后的图像进行融合处理得到融合后的增强图像O。基于该融合后的增强图像O进而完成目标检测。
在一种可能的实现方式中，在步骤304之前，还可以包括：
对所述N个语义融合权重系数图分别进行平滑处理，以得到N个平滑处理后的语义融合权重系数图；
相应地，步骤304具体可以为：
根据所述N个平滑处理后的语义融合权重系数图对所述N个增强处理后的图像进行融合处理，得到所述融合后的增强图像。
上述平滑处理，例如可以是对所述N个语义融合权重系数图进行卷积处理，以便消除上述点乘导致的明显边界，使得最终的语义融合权重系数图更加平滑。
如图5所示，为本申请实施例提供的一种融合处理示意图。其中，将初始图像输入到语义ROI生成单元(模型)中得到语义兴趣区域图；将初始图像输入到多任务并行化图像增强单元(模型)中进行处理得到融合权重系数图组以及增强处理后的图像组。然后，将语义兴趣区域图与融合权重系数图组进行像素点乘操作，得到具有ROI语义信息的融合权重系数图组；并对该具有ROI语义信息的融合权重系数图组进行卷积处理，以消除部分边界效果，使得具有ROI语义信息的融合权重系数图组更加平滑。基于得到的具有ROI语义信息的融合权重系数图组与增强处理后的图像组进行通道维度像素点乘求和操作，生成最终融合后的增强图像。
在一种可能的实现方式中，通过将融合后的增强图像输入后端目标检测算法，进而可获取目标框等。
需要说明的是，在训练过程中，***会传输相应的损失函数梯度用于更新前端图像增强网络的参数更新学习。
本申请实施例，通过对初始图像并行进行图像增强处理，各个处理任务单元独立、并行运行，完成独有的图像处理任务，然后将处理结果结合语义兴趣区域进行自适应融合，得到融合后的增强图像。本方案通过引入ROI语义图，可以让图像增强过程提前获取视觉任务ROI信息，在增强过程前有区分的进行前背景增强；且通过基于语义、模型双感知设计的图像融合处理，结合ROI语义信息和后端视觉任务梯度，使得图像增强过程获取ROI区域先验信息和视觉任务模型先验，显著提升视觉任务精度。其中，该最终得到的融合后的增强图像相较于初始图像，不仅进行了上述并行的多个图像增强处理，而且还融合了ROI语义图，使得融合后的增强图像在图像增强过程提前获取视觉任务会重点关注的区域，在增强过程前就有区分的进行背景增强；同时对其进行了如HDR增强处理、对比度增强处理、锐度增强处理、色彩增强处理、亮度增强处理等增强。
参照图6所示，为本申请实施例提供的又一种图像处理方法的流程示意图。如图6所示，该方法包括步骤601-604，具体如下：
601、对初始图像进行处理，以得到所述初始图像的语义兴趣区域图；
作为一种可能的实现方式，该对初始图像进行处理，以得到所述初始图像的语义兴趣区域图，可以是通过将初始图像输入到神经网络中进行处理，进而得到该初始图像的语义兴趣区域图。
当然还可以采用其他方式来获取语义兴趣区域图，本方案对此不作具体限定。
602、对初始图像并行进行N次增强处理，以得到N个增强处理后的图像以及N个融合权重系数图，所述N个增强处理后的图像与N次增强处理对应，所述N个融合权重系数图与N次增强处理对应，N为不小于2的整数；
该对初始图像并行进行N次增强处理，可以理解为，对初始图像分别进行了N次增强处理，每次增强处理都是独立的。该并行处理，可以是同时进行的，本方案对此不作具体限定。
也就是说，每次增强处理，分别得到一个增强处理后的图像以及一个融合权重系数图。基于上述并行的N次增强处理，可得到N个增强处理后的图像以及N个融合权重系数图。
上述增强处理，例如可以是HDR增强处理、对比度增强处理、锐度增强处理、色彩增强处理、亮度增强处理等，本方案对此不作具体限定。
在一种可能的实现方式中，上述各个增强处理分别对应预设的模型。该各个模型在训练过程中，分别有相应的真值图像与其输出增强图像求解损失值，进而进行网络参数更新学习，以使得各个模型获取独有并且差异化的增强效果。
603、根据所述N个融合权重系数图和所述N个增强处理后的图像得到融合后的初始增强图像；
通过将N个融合权重系数图和所述N个增强处理后的图像进行融合处理，得到融合后的初始增强图像。
该融合处理，例如可以是通道维度像素点乘求和操作。
604、根据所述融合后的初始增强图像和所述语义兴趣区域图得到所述融合后的增强图像。
将上述得到的融合后的初始增强图像和前述得到的语义兴趣区域图进行通道维度点乘操作，或者通道维度叠加后进行卷积操作，进而得到融合后的增强图像。
本申请实施例，通过对初始图像并行进行图像增强处理，各个处理任务单元独立、并行运行，完成独有的图像处理任务，然后将处理结果结合语义兴趣区域进行自适应融合，得到融合后的增强图像。采用该手段，可显著提升视觉任务检测精度。
在前述实施例的基础上，如表1所示，为本申请实施例提供的图像处理方法在数据集BDD100K上的评测结果。其中，通过使用开源数据集BDD100K中1万组测试数据进行测试，数据涵盖场景丰富，包括白天、夜晚、黄昏、阴天、雾天、雨天等典型场景。该评测结果为通过对比近年来多个目标检测算法得到的，其中YOLO v4为实施例中使用到的目标检测算法。
表1
Figure BDA0003666663670000081
Figure BDA0003666663670000091
如表1中第六行为本方案在目标检测算法参数固定时，只优化图像增强方法时的实验结果，其mAP提升2.46％。表中第七行为本方案在图像增强方法和目标检测算法同时优化参数的实验结果，mAP会进一步提升，可以达到5.12％。
另一方面，本方案所提出的图像处理方法可以达到处理速度300FPS。
参照图7所示，为本申请实施例提供的一种图像处理装置的结构示意图。如图7所示，该装置可包括处理模块701和融合模块702，具体如下：
处理模块701，用于对初始图像进行处理，以得到所述初始图像的语义兴趣区域图、N个增强处理后的图像以及N个融合权重系数图，N为不小于2的整数；
融合模块702，用于根据所述语义兴趣区域图、所述N个融合权重系数图和所述N个增强处理后的图像得到融合后的增强图像。
在一种可能的实现方式中，所述融合模块702，用于：根据所述语义兴趣区域图和所述N个融合权重系数图得到N个语义融合权重系数图，所述N个语义融合权重系数图与所述N个融合权重系数图对应；根据所述N个语义融合权重系数图对所述N个增强处理后的图像进行融合处理，得到所述融合后的增强图像。
在一种可能的实现方式中，所述处理模块701，还用于：对所述N个语义融合权重系数图分别进行平滑处理，以得到N个平滑处理后的语义融合权重系数图；
所述融合模块702，还用于：根据所述N个平滑处理后的语义融合权重系数图对所述N个增强处理后的图像进行融合处理，得到所述融合后的增强图像。
在另一种可能的实现方式中，所述融合模块702，用于：根据所述N个融合权重系数图和所述N个增强处理后的图像得到融合后的初始增强图像；根据所述融合后的初始增强图像和所述语义兴趣区域图得到所述融合后的增强图像。
在一种可能的实现方式中，所述处理模块701，用于：对初始图像并行进行N次增强处理，以得到N个增强处理后的图像以及N个融合权重系数图，所述N个增强处理后的图像与N次增强处理对应，所述N个融合权重系数图与N次增强处理对应。
本申请实施例，通过对初始图像进行处理，得到初始图像的语义兴趣区域图、N个增强处理后的图像以及N个融合权重系数图；然后对该语义兴趣区域图、N个增强处理后的图像以及N个融合权重系数图进行融合处理，得到融合后的增强图像。采用该手段，通过结合ROI语义信息和增强处理后的图像信息，使得图像增强过程中获取ROI区域先验信息，有助于提升视觉任务精度。
在本实施例中，该图像处理装置是以模块的形式来呈现。这里的“模块”可以指特定应用集成电路(application-specific integrated circuit，ASIC)，执行一个或多个软件或固件程序的处理器和存储器，集成逻辑电路，和/或其他可以提供上述功能的器件。
此外，以上处理模块701和融合模块702，可通过图8所示的图像处理装置的处理器802来实现。
图8是本申请实施例提供的图像处理装置的硬件结构示意图。图8所示的图像处理装置800(该装置800具体可以是一种计算机设备)包括存储器801、处理器802、通信接口803以及总线804。其中，存储器801、处理器802、通信接口803通过总线804实现彼此之间的通信连接。
存储器801可以是只读存储器(Read Only Memory，ROM)，静态存储设备，动态存储设备或者随机存取存储器(Random Access Memory，RAM)。
存储器801可以存储程序，当存储器801中存储的程序被处理器802执行时，处理器802和通信接口803用于执行本申请实施例的图像处理方法的各个步骤。
处理器802可以采用通用的中央处理器(Central Processing Unit，CPU)，微处理器，应用专用集成电路(Application Specific Integrated Circuit，ASIC)，图形处理器(graphics processing unit，GPU)或者一个或多个集成电路，用于执行相关程序，以实现本申请实施例的图像处理装置中的单元所需执行的功能，或者执行本申请方法实施例的图像处理方法。
处理器802还可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，本申请的图像处理方法的各个步骤可以通过处理器802中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器802还可以是通用处理器、数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(ASIC)、现成可编程门阵列(Field Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器801，处理器802读取存储器801中的信息，结合其硬件完成本申请实施例的图像处理装置中包括的单元所需执行的功能，或者执行本申请方法实施例的图像处理方法。
通信接口803使用例如但不限于收发器一类的收发装置，来实现装置800与其他设备或通信网络之间的通信。例如，可以通过通信接口803获取数据。
总线804可包括在装置800各个部件(例如，存储器801、处理器802、通信接口803)之间传送信息的通路。
应注意，尽管图8所示的装置800仅仅示出了存储器、处理器、通信接口，但是在具体实现过程中，本领域的技术人员应当理解，装置800还包括实现正常运行所必须的其他器件。同时，根据具体需要，本领域的技术人员应当理解，装置800还可包括实现其他附加功能的硬件器件。此外，本领域的技术人员应当理解，装置800也可仅仅包括实现本申请实施例所必须的器件，而不必包括图8中所示的全部器件。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机或处理器上运行时，使得计算机或处理器执行上述任一个方法中的一个或多个步骤。
本申请实施例还提供了一种包含指令的计算机程序产品。当该计算机程序产品在计算机或处理器上运行时，使得计算机或处理器执行上述任一个方法中的一个或多个步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***、装置和单元的具体工作过程，可以参考前述方法实施例中的对应步骤过程的具体描述，在此不再赘述。
应理解，在本申请的描述中，除非另有说明，“/”表示前后关联的对象是一种“或”的关系，例如，A/B可以表示A或B；其中A，B可以是单数或者复数。并且，在本申请的描述中，除非另有说明，“多个”是指两个或多于两个。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b，或c中的至少一项(个)，可以表示：a，b，c，a-b，a-c，b-c，或a-b-c，其中a，b，c可以是单个，也可以是多个。另外，为了便于清楚描述本申请实施例的技术方案，在本申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。同时，在本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念，便于理解。
在本申请所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。例如，该单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。所显示或讨论的相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者通过该计算机可读存储介质进行传输。该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是只读存储器(read-onlymemory，ROM)，或随机存取存储器(random access memory，RAM)，或磁性介质，例如，软盘、硬盘、磁带、磁碟、或光介质，例如，数字通用光盘(digital versatile disc，DVD)、或者半导体介质，例如，固态硬盘(solid state disk，SSD)等。
以上所述，仅为本申请实施例的具体实施方式，但本申请实施例的保护范围并不局限于此，任何在本申请实施例揭露的技术范围内的变化或替换，都应涵盖在本申请实施例的保护范围之内。因此，本申请实施例的保护范围应以所述权利要求的保护范围为准。

Claims (14)

1.一种图像处理方法，其特征在于，包括：
对初始图像进行处理，以得到所述初始图像的语义兴趣区域图、N个增强处理后的图像以及N个融合权重系数图，N为不小于2的整数；
根据所述语义兴趣区域图、所述N个融合权重系数图和所述N个增强处理后的图像得到融合后的增强图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述语义兴趣区域图、所述N个融合权重系数图和所述N个增强处理后的图像得到融合后的增强图像，包括：
根据所述语义兴趣区域图和所述N个融合权重系数图得到N个语义融合权重系数图，所述N个语义融合权重系数图与所述N个融合权重系数图对应；
根据所述N个语义融合权重系数图对所述N个增强处理后的图像进行融合处理，得到所述融合后的增强图像。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
对所述N个语义融合权重系数图分别进行平滑处理，以得到N个平滑处理后的语义融合权重系数图；
所述根据所述N个语义融合权重系数图对所述N个增强处理后的图像进行融合处理，得到所述融合后的增强图像，包括：
根据所述N个平滑处理后的语义融合权重系数图对所述N个增强处理后的图像进行融合处理，得到所述融合后的增强图像。
4.根据权利要求1所述的方法，其特征在于，所述根据所述语义兴趣区域图、所述N个融合权重系数图和所述N个增强处理后的图像得到融合后的增强图像，包括：
根据所述N个融合权重系数图和所述N个增强处理后的图像得到融合后的初始增强图像；
根据所述融合后的初始增强图像和所述语义兴趣区域图得到所述融合后的增强图像。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述对初始图像进行处理，以得到N个增强处理后的图像以及N个融合权重系数图，包括：
对初始图像并行进行N次增强处理，以得到N个增强处理后的图像以及N个融合权重系数图，所述N个增强处理后的图像与N次增强处理对应，所述N个融合权重系数图与N次增强处理对应。
6.一种图像处理装置，其特征在于，包括：
处理模块，用于对初始图像进行处理，以得到所述初始图像的语义兴趣区域图、N个增强处理后的图像以及N个融合权重系数图，N为不小于2的整数；
融合模块，用于根据所述语义兴趣区域图、所述N个融合权重系数图和所述N个增强处理后的图像得到融合后的增强图像。
7.根据权利要求6所述的装置，其特征在于，所述融合模块，用于：
根据所述语义兴趣区域图和所述N个融合权重系数图得到N个语义融合权重系数图，所述N个语义融合权重系数图与所述N个融合权重系数图对应；
根据所述N个语义融合权重系数图对所述N个增强处理后的图像进行融合处理，得到所述融合后的增强图像。
8.根据权利要求7所述的装置，其特征在于，所述处理模块，还用于：
对所述N个语义融合权重系数图分别进行平滑处理，以得到N个平滑处理后的语义融合权重系数图；
所述融合模块，还用于：
根据所述N个平滑处理后的语义融合权重系数图对所述N个增强处理后的图像进行融合处理，得到所述融合后的增强图像。
9.根据权利要求6所述的装置，其特征在于，所述融合模块，用于：
根据所述N个融合权重系数图和所述N个增强处理后的图像得到融合后的初始增强图像；
根据所述融合后的初始增强图像和所述语义兴趣区域图得到所述融合后的增强图像。
10.根据权利要求6至9任一项所述的装置，其特征在于，所述处理模块，用于：
对初始图像并行进行N次增强处理，以得到N个增强处理后的图像以及N个融合权重系数图，所述N个增强处理后的图像与N次增强处理对应，所述N个融合权重系数图与N次增强处理对应。
11.一种图像处理装置，其特征在于，包括处理器和存储器；其中，所述存储器用于存储程序代码，所述处理器用于调用所述程序代码，以执行如权利要求1至5任意一项所述的方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现权利要求1至5任意一项所述的方法。
13.一种计算机程序产品，其特征在于，当计算机程序产品在计算机上运行时，使得所述计算机执行如权利要求1至5任意一项所述的方法。
14.一种芯片***，其特征在于，所述芯片***应用于电子设备；所述芯片***包括一个或多个接口电路，以及一个或多个处理器；所述接口电路和所述处理器通过线路互联；所述接口电路用于从所述电子设备的存储器接收信号，并向所述处理器发送所述信号，所述信号包括所述存储器中存储的计算机指令；当所述处理器执行所述计算机指令时，所述电子设备执行如权利要求1至5任意一项所述方法。
CN202210588150.3A 2022-05-27 2022-05-27 图像处理方法及相关*** Pending CN114998172A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210588150.3A CN114998172A (zh) 2022-05-27 2022-05-27 图像处理方法及相关***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210588150.3A CN114998172A (zh) 2022-05-27 2022-05-27 图像处理方法及相关***

Publications (1)

Publication Number Publication Date
CN114998172A true CN114998172A (zh) 2022-09-02

Family

ID=83029335

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210588150.3A Pending CN114998172A (zh) 2022-05-27 2022-05-27 图像处理方法及相关***

Country Status (1)

Country Link
CN (1) CN114998172A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117132600A (zh) * 2023-10-26 2023-11-28 广东岚瑞新材料科技集团有限公司 基于图像的注塑制品质量检测***及其方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117132600A (zh) * 2023-10-26 2023-11-28 广东岚瑞新材料科技集团有限公司 基于图像的注塑制品质量检测***及其方法
CN117132600B (zh) * 2023-10-26 2024-04-16 广东岚瑞新材料科技集团有限公司 基于图像的注塑制品质量检测***及其方法

Similar Documents

Publication Publication Date Title
CN108122234B (zh) 卷积神经网络训练及视频处理方法、装置和电子设备
CN110163215B (zh) 图像处理方法、装置、计算机可读介质及电子设备
CN108229526B (zh) 网络训练、图像处理方法、装置、存储介质和电子设备
US10402680B2 (en) Methods and apparatus for image salient object detection
CN112132156B (zh) 多深度特征融合的图像显著性目标检测方法及***
CN111340195B (zh) 网络模型的训练方法及装置、图像处理方法及存储介质
CN111950723A (zh) 神经网络模型训练方法、图像处理方法、装置及终端设备
CN108229673B (zh) 卷积神经网络的处理方法、装置和电子设备
CN109840883B (zh) 一种训练物体识别神经网络的方法、装置及计算设备
CN110674837A (zh) 视频相似度获取方法、装置、计算机设备及存储介质
CN110599453A (zh) 一种基于图像融合的面板缺陷检测方法、装置及设备终端
KR20180109658A (ko) 영상 처리 방법과 장치
CN111814820B (zh) 图像处理方法及装置
CN116310688A (zh) 基于级联融合的目标检测模型及其构建方法、装置及应用
CN109615620B (zh) 图像压缩度识别方法、装置、设备及计算机可读存储介质
CN114998172A (zh) 图像处理方法及相关***
CN113902636A (zh) 图像去模糊方法及装置、计算机可读介质和电子设备
CN113658196A (zh) 红外图像中船舶的检测方法、装置、电子设备和介质
CN110633630B (zh) 一种行为识别方法、装置及终端设备
CN113963428B (zh) 模型训练方法、遮挡检测方法、***、电子设备及介质
CN114359572A (zh) 多任务检测模型的训练方法、装置及终端设备
CN113628192A (zh) 图像模糊检测方法、装置、设备、存储介质及程序产品
CN110647898B (zh) 图像处理方法、装置、电子设备及计算机存储介质
CN115147434A (zh) 图像处理方法、装置、终端设备及计算机可读存储介质
CN109961083A (zh) 用于将卷积神经网络应用于图像的方法和图像处理实体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination