CN111754435A - 图像处理方法、装置、终端设备及计算机可读存储介质 - Google Patents

图像处理方法、装置、终端设备及计算机可读存储介质 Download PDF

Info

Publication number
CN111754435A
CN111754435A CN202010586817.7A CN202010586817A CN111754435A CN 111754435 A CN111754435 A CN 111754435A CN 202010586817 A CN202010586817 A CN 202010586817A CN 111754435 A CN111754435 A CN 111754435A
Authority
CN
China
Prior art keywords
image
interference
processed
distribution map
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010586817.7A
Other languages
English (en)
Other versions
CN111754435B (zh
Inventor
张弓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010586817.7A priority Critical patent/CN111754435B/zh
Publication of CN111754435A publication Critical patent/CN111754435A/zh
Application granted granted Critical
Publication of CN111754435B publication Critical patent/CN111754435B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请适用于图像处理技术领域,提供了一种图像处理方法、装置、终端设备及计算机可读存储介质,包括:获取待处理图像;获取所述待处理图像的干扰特征分布图;根据所述干扰特征分布图,对所述待处理图像进行重建,获得目标图像,所述目标图像是指已抑制所述干扰特征的图像。通过本申请可获取高质量的图像。

Description

图像处理方法、装置、终端设备及计算机可读存储介质
技术领域
本申请属于图像处理技术领域,尤其涉及一种图像处理方法、装置、终端设备及计算机可读存储介质。
背景技术
在图像的获取、传输以及保存过程中,由于各种因素(如成像设备与物体之间的相对运动、图像传感器的非线性等)的影响,可能会造成图像模糊或者图像中噪声较多,导致图像质量下降。因此,如何获得高质量的图像是图像处理领域亟待解决的技术问题。
发明内容
本申请提供了一种图像处理方法、装置、终端设备及计算机可读存储介质,以获得高质量的图像。
第一方面,本申请提供了一种图像处理方法,所述图像处理方法包括:
获取待处理图像;
获取所述待处理图像的干扰特征分布图,所述干扰特征影响所述待处理图像的质量,所述干扰特征分布图用于反映所述干扰特征在所述待处理图像中的位置分布;
根据所述干扰特征分布图,对所述待处理图像进行重建,获得目标图像,所述目标图像是指已抑制所述干扰特征的图像。
第二方面,本申请提供了一种图像处理装置,所述图像处理装置包括:
图像获取模块,用于获取待处理图像;
分布图获取模块,用于获取所述待处理图像的干扰特征分布图,所述干扰特征影响所述待处理图像的质量,所述干扰特征分布图用于反映所述干扰特征在所述待处理图像中的位置分布;
图像重建模块,用于根据所述干扰特征分布图,对所述待处理图像进行重建,获得目标图像,所述目标图像是指已抑制所述干扰特征的图像。
第三方面,本申请提供了一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面所述图像处理方法的步骤。
第四方面,本申请提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上述第一方面所述图像处理方法的步骤。
第五方面,本申请提供了一种计算机程序产品,当所述计算机程序产品在终端设备上运行时,使得所述终端设备执行如上述第一方面所述图像处理方法的步骤。
由上可见,本申请通过获取待处理图像的干扰特征分布图,并根据该干扰特征分布图对待处理图像进行重建,可以抑制干扰特征对重建图像的影响,获得高质量的重建图像。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例一提供的图像处理方法的实现流程示意图;
图2a是模糊类型分布图的示例图;图2b是噪声类型分布图的示例图;
图3a是训练集构建过程的一示例图;图3b是训练集构建过程的另一示例图;
图4是本申请实施例二提供的图像处理方法的实现流程示意图;
图5a是根据图3a和图3b中模糊类型分布图,对待处理图像进行划分的示例图;图5b是图5a中不同区域对应的重建子图像的拼接示例图;
图6是本申请实施例三提供的图像处理方法的实现流程示意图;
图7a是放大后的模糊类型分布图的示例图;图7b是目标重建子图像中区域图像的示例图;图7c是图7b中目标重建子图像中区域图像的拼接示例图;
图8是本申请实施例四提供的图像处理方法的实现流程示意图;
图9是本申请实施例五提供的图像处理装置的结构示意图;
图10是本申请实施例六提供的终端设备的结构示意图;
图11是本申请实施例七提供的终端设备的结构示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定***结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的***、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
具体实现中,本申请实施例中描述的终端设备包括但不限于诸如具有触摸敏感表面(例如,触摸屏显示器和/或触摸板)的移动电话、膝上型计算机或平板计算机之类的其它便携式设备。还应当理解的是,在某些实施例中,所述设备并非便携式通信设备,而是具有触摸敏感表面(例如,触摸屏显示器和/或触摸板)的台式计算机。
在接下来的讨论中,描述了包括显示器和触摸敏感表面的终端设备。然而,应当理解的是,终端设备可以包括诸如物理键盘、鼠标和/或控制杆的一个或多个其它物理用户接口设备。
终端设备支持各种应用程序,例如以下中的一个或多个:绘图应用程序、演示应用程序、文字处理应用程序、网站创建应用程序、盘刻录应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息收发应用程序、锻炼支持应用程序、照片管理应用程序、数码相机应用程序、数字摄影机应用程序、web浏览应用程序、数字音乐播放器应用程序和/或数字视频播放器应用程序。
可以在终端设备上执行的各种应用程序可以使用诸如触摸敏感表面的至少一个公共物理用户接口设备。可以在应用程序之间和/或相应应用程序内调整和/或改变触摸敏感表面的一个或多个功能以及终端上显示的相应信息。这样,终端的公共物理架构(例如,触摸敏感表面)可以支持具有对用户而言直观且透明的用户界面的各种应用程序。
应理解,本实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
为了说明本申请所述的技术方案,下面通过具体实施例来进行说明。
参见图1,是本申请实施例一提供的图像处理方法的实现流程示意图,该图像处理方法应用于终端设备,如图所示该图像处理方法可以包括以下步骤:
步骤101,获取待处理图像。
其中,待处理图像可以是指需抑制或者去除干扰特征的图像,例如低分辨率图像。干扰特征可以是指影响图像质量的任一特征,例如干扰特征为模糊类型、模糊程度、噪声类型和噪声程度中的至少一种特征。
需要说明的是,本申请实施例可以通过终端设备集成的摄像装置获取待处理图像,也可以从其他设备获取待处理图像(例如接收服务器发送的待处理图像),在此对待处理图像的获取方式不做限定。
步骤102,获取待处理图像的干扰特征分布图。
其中,干扰特征影响待处理图像的质量,干扰特征分布图的尺寸与待处理图像的尺寸相同,干扰特征分布图用于反映干扰特征在待处理图像中的位置分布,例如干扰特征为模糊类型,待处理图像的干扰特征分布图即是不同模糊类型在待处理图像中的位置分布,如图2a所示是模糊类型分布图的示例图,该模糊类型分布图包括三种模糊类型,三种模糊类型将模糊类型分布图划分为三个区域,各区域的标记表征不同的模糊类型;干扰特征为噪声类型,待处理图像的干扰特征分布图即是不同噪声类型在待处理图像中的位置分布,如图2b所示是噪声类型分布图的示例图,该噪声类型分布图包括两种噪声类型,两种噪声类型将噪声类型分布图划分为两个区域,各区域的标记表征不同的噪声类型。
可选地,在获取待处理图像的干扰特征分布图之前,本申请实施例还包括:
检测待处理图像中是否存在干扰特征;
若待处理图像中存在干扰特征,则获取待处理图像的干扰特征分布图。
在本申请实施例中,可以通过已训练的干扰特征识别网络检测待处理图像中是否存在干扰特征,并在待处理图像存在干扰特征时,输出待处理图像的干扰特征分布图。
上述干扰特征识别网络的训练方式如下:
构建干扰特征识别训练集,该训练集包括含干扰特征的图像及该图像的干扰特征分布图,将训练集中含干扰特征的图像作为输入,将该图像对应的干扰特征分布图作为真值,训练上述干扰特征识别网络。
上述干扰特征识别训练集的构建方式可包括如下两种方式:
方式一:先采集清晰图像,再制作与清晰图像尺寸相同的干扰特征分布图,将干扰特征分布图划分为至少两个区域,各区域的标记表示干扰特征的类别以及不含有干扰特征,根据干扰特征分布图,在清晰图像的相应区域进行相应的干扰特征处理,得到含有干扰特征的图像。其中,各区域的标记可以是各区域的灰阶值,可以为每个区域设置一个灰阶值(即每个区域内像素点的像素值),不同区域的灰阶值不同,同一区域的灰阶值相同。
示例性的,以干扰特征为模糊类型为例,如图3a所示是训练集构建过程的一示例图,先采集清晰图像(即不含干扰特征的图像),再制作与清晰图像尺寸相同的模糊类型分布图,将模糊类型分布图划分为三个区域,各区域的灰阶值表示模糊类型以及不模糊(即清晰),然后根据模糊类型分布图,在清晰图像的相应区域进行相应的模糊处理,得到模糊图像。其中,在根据模糊类型分布图对清晰图像进行模糊处理时,对于灰阶值为16的区域,在清晰图像的同坐标区域不做处理,对于灰阶值为32的区域,在清晰图像的同坐标区域进行高斯模糊的处理,即采用高斯滤波器对图像进行卷积操作,对于灰阶值为64的区域,在清晰图像的同坐标区域进行运动模糊的处理,即采用运动模糊滤波器对图像进行卷积操作,经过上述处理后的清晰图像即变换为模糊图像,该模糊图像与上述模糊类型分布图作为训练集中成对的样本。
上述高斯滤波器的尺寸可以为3x3,标准差为0.5,其归一化的卷积核为:
Figure BDA0002554964730000061
上述运动模糊滤波器位移为3,角度为逆时针30°,采用MATLAB的fspecial函数,得到其卷积核为:
Figure BDA0002554964730000062
方式二:先在多个不同干扰特征的场景中采集图像,再将多个场景中的图像裁剪、拼接,将拼接后的图像作为训练集中的含干扰特征的图像,最后根据拼接方式,制作标记各场景类型(即不同干扰特征)的区域分布图作为含干扰特征的图像的干扰特征分布图。
示例性的,以干扰特征为模糊类型为例,如图3b所示是训练集构建过程的另一示例图,先在多个不同模糊场景中采集图像(例如在不同的距离采集图像,或在不同的运动模式下采集图像),再将多个场景中的图像裁剪、拼接,作为训练集的模糊图像,然后根据拼接方式,制作标记各场景类型的区域分布图,作为训练集的模糊特征分布图。
步骤103,根据干扰特征分布图,对待处理图像进行重建,获得目标图像。
其中,目标图像是指已抑制干扰特征的图像,目标图像的尺寸大于待处理图像的尺寸,目标图像的分辨率大于待处理图像的分辨率,例如待处理图像为低分辨率图像,通过本申请可以对待处理图像进行去模糊处理和去噪声处理,得到已抑制模糊和噪声的高分辨率图像。
本申请实施例通过获取待处理图像的干扰特征分布图,并根据该干扰特征分布图对待处理图像进行重建,可以抑制干扰特征对重建图像的影响,获得高质量的重建图像。
参见图4,是本申请实施例二提供的图像处理方法的实现流程示意图,该图像处理方法应用于终端设备,如图所示该图像处理方法可以包括以下步骤:
步骤401,获取待处理图像。
该步骤与步骤101相同,具体可参见步骤101的相关描述,在此不再赘述。
步骤402,获取待处理图像的干扰特征分布图。
该步骤与步骤102相同,具体可参见步骤102的相关描述,在此不再赘述。
步骤403,根据干扰特征分布图,获取干扰特征分布图的区域数量。
在本申请实施例中,干扰特征分布图中一个区域可以表征干扰特征的一种类别,也可以表征不存在干扰特征,干扰特征的不同类别是指干扰特征的不同种类,例如在干扰特征为模糊类型时,模糊类型的类别包括但不限于高斯模糊、运动模糊等不同类型的模糊;在干扰特征为模糊程度时,模糊程度的类别是指不同程度的模糊;在干扰特征为噪声类型时,噪声类型的类别包括但不限于高斯噪声、压缩噪声等不同类型的噪声;在干扰特征为噪声程度时,噪声程度的类别是指不同程度的噪声。
步骤404,若干扰特征分布图的区域数量为1,则将待处理图像输入至对应的已训练图像重建子网络,通过已训练图像重建子网络对待处理图像进行重建,获得目标图像。
其中,待处理图像对应的已训练图像重建子网络是指干扰特征分布图的一个区域表征的内容对应的已训练图像重建子网络,例如干扰特征分布图的一个区域表征待处理图像不存在模糊,则确定待处理图像对应的图像重建子网络为不存在模糊对应的图像重建子网络;干扰特征分布图的一个区域表征待处理图像存在高斯模糊,则确定待处理图像对应的已训练图像重建子网络是高斯模糊对应的图像重建子网络,可以抑制输入该图像重建子网络的图像中的高斯模糊,得到已抑制或已去除高斯模糊的图像。
步骤405,若干扰特征分布图的区域数量为N,则根据干扰特征分布图,将待处理图像划分为N个不同区域,N为大于1的整数。
其中,一个区域表征干扰特征的一种类别或者不存在干扰特征。
在本申请实施例中,待处理图像的干扰特征分布图的尺寸与待处理图像的尺寸相同,干扰特征分布图的坐标系设置方式与待处理图像的坐标系设置方式相同,根据干扰特征分布图的坐标系,获取每个区域在干扰特征分布图中的位置信息,从待处理图像中划分出该位置信息在待处理图像的坐标系下对应的区域,从而可实现对待处理图像的划分,如图5a所示是根据图3a和图3b中模糊类型分布图,对待处理图像进行划分的示例图。
步骤406,将N个不同区域分别输入各自对应的已训练图像重建子网络,通过每个已训练图像重建子网络对输入的区域进行重建,获得N个不同区域各自对应的重建子图像。
一个区域对应的已训练图像重建子网络是该区域表征的内容对应的图像重建子网络,例如待处理图像中一区域对应干扰特征分布图中表征高斯模糊的区域,那么待处理图像中该区域对应的已训练图像重建子网络即为是高斯模糊对应的已训练图像重建子网络。
步骤407,根据干扰特征分布图,将N个不同区域各自对应的重建子图像进行拼接,获得目标图像。
在本申请实施例中,可以根据干扰特征分布图中每个区域的位置分布,将N个不同区域各自对应的重建子图像进行拼接,拼接后所得图像即为目标图像。
可选地,目标图像的尺寸大于干扰特征分布图的尺寸,在根据干扰特征分布图,将N个不同区域各自对应的重建子图像进行拼接之前,还包括:
将干扰特征分布图的尺寸放大至目标图像的尺寸;
相应地,根据干扰特征分布图,将N个不同区域各自对应的重建子图像进行拼接包括:
根据尺寸放大后的干扰特征分布图,将N个不同区域各自对应的重建子图像进行拼接。
在本申请实施例中,通过对待处理图像进行重建所得的目标图像的尺寸通常大于待处理图像的尺寸,由于干扰特征分布图的尺寸与待处理图像的尺寸相同,则确定目标图像的尺寸大于干扰特征分布图的尺寸,为了便于根据干扰特征分布图,准确地对N个不同区域各自对应的重建子图像进行拼接,可以将干扰特征分布图的尺寸放大至目标图像的尺寸,将干扰特征分布图的尺寸放大后,可以确保干扰特征分布图中每个区域的尺寸与该区域对应的图像重建子图像的尺寸相同,从而较为准确地进行重建子图像的拼接,如图5b所示是图5a中不同区域对应的重建子图像的拼接示例图,图5b中重建子图像1是图5a中区域1对应的重建子图像,图5b中重建子图像2是图5a中区域2对应的重建子图像,图5b中重建子图像3是图5a中区域3对应的重建子图像。
本申请实施例通过获取待处理图像中干扰特征的类别数量,根据干扰特征的类别数量采用相应的重建方式对待处理图像进行重建,可以抑制干扰特征对重建图像的影响,获得高质量的重建图像。
参见图6,是本申请实施例三提供的图像处理方法的实现流程示意图,该图像处理方法应用于终端设备,如图所示该图像处理方法可以包括以下步骤:
步骤601,获取待处理图像。
该步骤与步骤101相同,具体可参见步骤101的相关描述,在此不再赘述。
步骤602,获取待处理图像的干扰特征分布图。
该步骤与步骤102相同,具体可参见步骤102的相关描述,在此不再赘述。
步骤603,将待处理图像分别输入至M个已训练图像重建子网络,通过M个已训练图像重建子网络分别对输入的待处理图像进行重建,M个已训练图像重建子网络各自输出一个重建子图像,获得M个重建子图像。
其中,M为大于1的整数。
在本申请实施例中,为了较为全面地抑制待处理图像中可能存在的所有干扰特征,M个已训练图像重建子网络可以是指不存在干扰特征时以及干扰特征的所有类别各自对应的已训练图像重建子网络。可选地,M个已训练图像重建子网络也可以是干扰特征的部分类别各自对应的已训练图像重建子网络,在此不作限定。
需要说明的是,本实施例不对步骤602和步骤603之间的顺序进行限定,步骤603也可以位于步骤602之前,也可以同时执行步骤602和603。
步骤604,根据M个重建子图像和干扰特征分布图,获得目标图像。
可选地,根据M个重建子图像和干扰特征分布图,获得目标图像包括:
根据干扰特征分布图,从M个重建子图像中确定目标重建子图像;
若目标重建子图像的数量为1,则确定目标重建子图像为目标图像;
若目标重建子图像的数量为L,则根据干扰特征分布图,将L个目标重建子图像进行拼接,获得目标图像,L为大于1的整数。
在本申请实施例中,由于是将待处理图像直接输入至M个已训练图像重建子网络,M个已训练图像重建子网络可能包括待处理图像中未包含的干扰特征类别对应的已训练图像重建子网络,故可以在获取到待处理图像的干扰特征分布图之后,根据干扰特征分布图,从M个重建子图像中筛选出待处理图像中所包含的干扰特征的类别对应的重建子图像(即目标重建子图像)。
可选地,目标图像的尺寸大于干扰特征分布图的尺寸,在若目标重建子图像的数量为L,则根据干扰特征分布图,将L个目标重建子图像进行拼接之前,还包括:
将干扰特征分布图的尺寸放大至目标图像的尺寸;
相应地,若目标重建子图像的数量为L,则根据干扰特征分布图,将L个目标重建子图像进行拼接包括:
若目标重建子图像的数量为L,则根据尺寸放大后的干扰特征分布图,将L个目标重建子图像进行拼接。
在本申请实施例中,通过对待处理图像进行重建所得的目标图像的尺寸通常大于待处理图像的尺寸,由于干扰特征分布图的尺寸与待处理图像的尺寸相同,则确定目标图像的尺寸大于干扰特征分布图的尺寸,为了便于根据干扰特征分布图,准确地对至少两个目标重建子图像进行拼接,可以将干扰特征分布图的尺寸放大至目标图像的尺寸,将干扰特征分布图的尺寸放大后,可以确保干扰特征分布图中每个区域的尺寸与从该区域对应的目标重建子图像中截取出的图像的尺寸相同,从而较为准确地进行目标重建子图像的拼接。
需要说明的是,对L个目标重建子图像进行拼接可以是指从L个目标重建子图像中获取相应干扰特征的类别所在区域的图像,按照放大后的干扰特征分布图,将从L个目标重建子图像中获取的图像进行拼接,由于从L个目标重建子图像中获取的图像已抑制相应的干扰特征,因此拼接后所得图像的目标图像即为高质量的高分辨率图像。
示例性的,干扰特征为模糊类型,模糊类型通常包括高斯模糊、运动模糊、散焦模糊等,将待处理图像分别输入至高斯模糊对应的已训练图像重建子网络、运动模糊对应的已训练图像重建子网络以及散焦模糊对应的已训练图像重建子网络,通过高斯模糊对应的已训练图像重建子网络可以抑制待处理图像中的高斯模糊,得到已抑制高斯模糊的第一重建子图像,通过运动模糊对应的已训练图像重建子网络可以抑制待处理图像中的运动模糊,得到已抑制运动模糊的第二重建子图像,通过散焦模糊对应的已训练图像重建子网络可以抑制待处理图像中的散焦模糊,得到已抑制散焦模糊的第三重建子图像,由于待处理图像的干扰特征分布图所包含的模糊类型为高斯模糊和运动模糊,则确定第一重建子图像和第二重建子图像为目标重建子图像,从第一重建子图像中获取高斯模糊所在区域的图像,从第二重建子图像中获取运动模糊所在区域的图像,根据待处理图像的干扰特征分布图,将获取的上述两个图像进行拼接,即可得到目标图像。如图7a所示是放大后的模糊类型分布图的示例图,图7b是目标重建子图像中区域图像的示例图,图7c是图7b中目标重建子图像中区域图像的拼接示例图。
本申请实施例通过将待处理图像分别输入至多个已训练图像重建子网络,并根据干扰特征分布图,对已训练图像重建子网络各自输出的重建子图像进行拼接,可以获得高质量的高分辨率图像。
参见图8,是本申请实施例四提供的图像处理方法的实现流程示意图,该图像处理方法应用于终端设备,如图所示该图像处理方法可以包括以下步骤:
步骤801,获取待处理图像。
该步骤与步骤101相同,具体可参见步骤101的相关描述,在此不再赘述。
步骤802,获取待处理图像的干扰特征分布图。
该步骤与步骤102相同,具体可参见步骤102的相关描述,在此不再赘述。
步骤803,将干扰特征分布图和指定图像以预设方式输入至已训练图像重建网络,已训练图像重建网络输出目标图像。
其中,上述指定图像为待处理图像或者待处理图像的特征信息图,待处理图像的特征信息图包括但不限于待处理图像的纹理特征信息图、梯度特征信息图、频率特征信息图等。可选地,可以由卷积层对待处理图像进行处理,得到待处理图像的特征信息图。
上述以已训练图像重建网络可以利用干扰特征分布图中各干扰特征的类别,针对不同类别的干扰特征进行不同的处理,从而可实现通过一个已训练图像重建网络处理包括多个干扰特征类别的待处理图像,抑制干扰特征,增强图像细节,获得高质量的高分辨率图像。
上述预设方式可以为如下三种方式中的任一种方式:将干扰特征分布图与指定图像进行堆叠,输入至图像重建网络;将干扰特征分布图与指定图像以相加或相乘的方式融合,输入至图像重建网络;将干扰特征分布图与指定图像分别输入至图像重建网络。
在本申请实施例中,可以先训练干扰特征识别网络,再将干扰特征识别网络与图像重建网络联合训练,在联合训练时,需构建超分辨率训练集,该训练集包括低分辨率图像(即含干扰特征的图像)和高分辨率图像(即已抑制干扰特征的图像),将低分辨率图像输入至干扰特征识别网络,得到干扰特征分布图,将干扰特征分布图和指定图像以预设方式输入至图像重建网络,得到重建图像,计算该重建图像与高分辨率图像的差异值,根据该差异值更新图像重建网络或者更新整个网络(包括干扰特征识别网络和图像重建网络),直到重建图像与高分辨率图像的差异值达到要求,训练结束,得到已训练图像重建网络或者已训练的整个网络。其中,干扰特征识别网络可以采用语义分割网络FCN的结构,图像重建网络可以采用超分辨率网络SRCNN的结构。
在构建超分辨率训练集时,可以先采集高分辨率的清晰图像,然后对其下采样,得到低分辨率图像,对该低分辨率图像中至少两个区域的图像各自添加不同类别的干扰特征,至少一个区域的图像不添加干扰特征,将处理后低分辨率图像和高分辨率图像作为成对的样本。
本申请实施例通过将待处理图像的干扰特征分布图以预设方式输入至已训练图像重建网络,可以抑制干扰特征,增强图像细节,获得高质量的高分辨率图像。
参见图9,是本申请实施例五提供的图像处理装置的结构示意图,为了便于说明,仅示出了与本申请实施例相关的部分。
图像处理装置包括:
图像获取模块91,用于获取待处理图像;
分布图获取模块92,用于获取待处理图像的干扰特征分布图,干扰特征影响待处理图像的质量,干扰特征分布图用于反映干扰特征在待处理图像中的位置分布;
图像重建模块93,用于根据干扰特征分布图,对待处理图像进行重建,获得目标图像,目标图像是指已抑制干扰特征的图像。
可选地,图像重建模块93包括:
第一获取单元,用于根据干扰特征分布图,获取干扰特征分布图的区域数量;
第一重建单元,用于若干扰特征分布图的区域数量为1,则将待处理图像输入至对应的已训练图像重建子网络,通过待处理图像对应的已训练图像重建子网络对待处理图像进行重建,获得目标图像;
区域划分单元,用于若干扰特征分布图的区域数量为N,则根据干扰特征分布图,将待处理图像划分为N个不同区域,N为大于1的整数,一个区域表征干扰特征的一种类别;
第二重建单元,用于将N个不同区域分别输入至各自对应的已训练图像重建子网络,通过每个已训练图像重建子网络对输入的区域进行重建,获得N个不同区域各自对应的重建子图像;
第一拼接单元,用于根据干扰特征分布图,将N个不同区域各自对应的重建子图像进行拼接,获得目标图像。
可选地,图像重建模块93还包括:
尺寸放大单元,用于将干扰特征分布图的尺寸放大至目标图像的尺寸;
第一拼接单元具体用于:
根据尺寸放大后的干扰特征分布图,将N个不同区域各自对应的重建子图像进行拼接。
可选地,图像重建模块93包括:
第三重建单元,用于将待处理图像分别输入至M个已训练图像重建子网络,通过M个已训练图像重建子网络分别对输入的待处理图像进行重建,M个已训练图像重建子网络各自输出一个重建子图像,获得M个重建子图像,M为大于1的整数;
图像获得单元,用于根据M个重建子图像和干扰特征分布图,获得目标图像。
可选地,图像获得单元具体用于:
根据干扰特征分布图,从M个重建子图像中确定目标重建子图像;
若目标重建子图像的数量为1,则确定目标重建子图像为目标图像;
若目标重建子图像的数量为L,则根据干扰特征分布图,将L个目标重建子图像进行拼接,获得目标图像,L为大于1的整数。
可选地,图像获得单元具体用于:
若目标重建子图像的数量为L,则根据尺寸放大后的干扰特征分布图,将L个目标重建子图像进行拼接。
可选地,图像重建模块93包括:
图像处理单元,用于将干扰特征分布图和指定图像以预设方式输入至已训练图像重建网络,已训练图像重建网络输出目标图像,指定图像为待处理图像或者待处理图像的特征信息图。
可选地,图像处理装置还包括:
特征检测模块,用于检测待处理图像中是否存在干扰特征;
分布图获取模块92具体用于:
若待处理图像中存在干扰特征,则获取待处理图像的干扰特征分布图。
本申请实施例提供的图像处理装置可以应用在前述方法实施例中,详情参见上述方法实施例的描述,在此不再赘述。
图10是本申请实施例六提供的终端设备的结构示意图。如图所示的该终端设备可以包括:一个或多个处理器1001(图中仅示出一个);一个或多个输入设备1002(图中仅示出一个),一个或多个输出设备1003(图中仅示出一个)和存储器1004。上述处理器1001、输入设备1002、输出设备1003和存储器1004通过总线1005连接。存储器1004用于存储指令,处理器1001用于执行存储器1004存储的指令时实现上述各个图像处理方法实施例中的步骤。
应当理解,在本申请实施例中,处理器1001可以是中央处理单元(CentralProcessing Unit,CPU),该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
输入设备1002可以包括触控板、指纹采传感器(用于采集用户的指纹信息和指纹的方向信息)、麦克风、数据接收接口等。输出设备1003可以包括显示器(LCD等)、扬声器、数据发送接口等。
该存储器1004可以包括只读存储器和随机存取存储器,并向处理器1001提供指令和数据。存储器1004的一部分还可以包括非易失性随机存取存储器。例如,存储器1004还可以存储设备类型的信息。
具体实现中,本申请实施例中所描述的处理器1001、输入设备1002、输出设备1003和存储器1004可执行本申请实施例提供的图像处理方法的实施例中所描述的实现方式,也可执行实施例五图像处理装置中所描述的实现方式,在此不再赘述。
图11是本申请实施例七提供的终端设备的结构示意图。如图11所示,该实施例的终端设备11包括:处理器110、存储器111以及存储在存储器111中并可在处理器110上运行的计算机程序112。处理器110执行计算机程序112时实现上述各个图像处理方法实施例中的步骤。
示例性的,计算机程序112可以被分割成一个或多个模块/单元,一个或者多个模块/单元被存储在存储器111中,并由处理器110执行,以完成本申请。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述计算机程序112在终端设备11中的执行过程。例如,计算机程序112可以被分割成事件获取模块、显示模块、更新模块以及信息发送模块,各模块具体功能如下:
终端设备11可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。终端设备可包括,但不仅限于,处理器110、存储器111。本领域技术人员可以理解,图11仅仅是终端设备11的示例,并不构成对终端设备11的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器110可以是中央处理单元CPU,还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC、现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器111可以是终端设备11的内部存储单元,例如终端设备11的硬盘或内存。存储器111也可以是终端设备11的外部存储设备,例如终端设备11上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,存储器111还可以既包括终端设备11的内部存储单元也包括外部存储设备。存储器111用于存储计算机程序以及终端设备所需的其他程序和数据。存储器111还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述***中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端设备实施例仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,计算机程序包括计算机程序代码,计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括:能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。

Claims (11)

1.一种图像处理方法,其特征在于,所述图像处理方法包括:
获取待处理图像;
获取所述待处理图像的干扰特征分布图,所述干扰特征影响所述待处理图像的质量,所述干扰特征分布图用于反映所述干扰特征在所述待处理图像中的位置分布;
根据所述干扰特征分布图,对所述待处理图像进行重建,获得目标图像,所述目标图像是指已抑制所述干扰特征的图像。
2.如权利要求1所述的图像处理方法,其特征在于,所述根据所述干扰特征分布图,对所述待处理图像进行重建,获得目标图像包括:
根据所述干扰特征分布图,获取所述干扰特征分布图的区域数量;
若所述干扰特征分布图的区域数量为1,则将所述待处理图像输入至对应的已训练图像重建子网络,通过所述待处理图像对应的已训练图像重建子网络对所述待处理图像进行重建,获得所述目标图像;
若所述干扰特征分布图的区域数量为N,则根据所述干扰特征分布图,将所述待处理图像划分为N个不同区域,N为大于1的整数;
将所述N个不同区域分别输入至各自对应的已训练图像重建子网络,通过每个已训练图像重建子网络对输入的区域进行重建,获得所述N个不同区域各自对应的重建子图像;
根据所述干扰特征分布图,将所述N个不同区域各自对应的重建子图像进行拼接,获得所述目标图像。
3.如权利要求2所述的图像处理方法,其特征在于,所述目标图像的尺寸大于所述干扰特征分布图的尺寸,在所述根据所述干扰特征分布图,将所述N个不同区域各自对应的重建子图像进行拼接之前,还包括:
将所述干扰特征分布图的尺寸放大至所述目标图像的尺寸;
相应地,所述根据所述干扰特征分布图,将所述N个不同区域各自对应的重建子图像进行拼接包括:
根据尺寸放大后的所述干扰特征分布图,将所述N个不同区域各自对应的重建子图像进行拼接。
4.如权利要求1所述的图像处理方法,其特征在于,在所述根据所述干扰特征分布图,对所述待处理图像进行重建,获得目标图像包括:
将所述待处理图像分别输入至M个已训练图像重建子网络,通过所述M个已训练图像重建子网络分别对输入的所述待处理图像进行重建,所述M个已训练图像重建子网络各自输出一个重建子图像,获得M个重建子图像,M为大于1的整数;
根据所述M个重建子图像和所述干扰特征分布图,获得所述目标图像。
5.如权利要求4所述的图像处理方法,其特征在于,根据所述M个重建子图像和所述干扰特征分布图,获得所述目标图像包括:
根据所述干扰特征分布图,从所述M个重建子图像中确定目标重建子图像;
若目标重建子图像的数量为1,则确定所述目标重建子图像为所述目标图像;
若所述目标重建子图像的数量为L,则根据所述干扰特征分布图,将L个目标重建子图像进行拼接,获得所述目标图像,L为大于1的整数。
6.如权利要求5所述的图像处理方法,其特征在于,所述目标图像的尺寸大于所述干扰特征分布图的尺寸,在所述若所述目标重建子图像的数量为L,则根据所述干扰特征分布图,将L个所述目标重建子图像进行拼接之前,还包括:
将所述干扰特征分布图的尺寸放大至所述目标图像的尺寸;
相应地,所述若所述目标重建子图像的数量为L,则根据所述干扰特征分布图,将L个目标重建子图像进行拼接包括:
若所述目标重建子图像的数量为L,则根据尺寸放大后的所述干扰特征分布图,将所述L个目标重建子图像进行拼接。
7.如权利要求1所述的图像处理方法,其特征在于,所述根据所述干扰特征分布图,对所述待处理图像进行重建,获得目标图像包括:
将所述干扰特征分布图和指定图像以预设方式输入至已训练图像重建网络,所述已训练图像重建网络输出所述目标图像,所述指定图像为所述待处理图像或者所述待处理图像的特征信息图。
8.如权利要求1至7任一项所述的图像处理方法,其特征在于,在获取所述待处理图像的干扰特征分布图之前,还包括:
检测所述待处理图像中是否存在干扰特征;
相应地,所述获取所述待处理图像的干扰特征分布图包括:
若所述待处理图像中存在所述干扰特征,则获取所述待处理图像的干扰特征分布图。
9.一种图像处理装置,其特征在于,所述图像处理装置包括:
图像获取模块,用于获取待处理图像;
分布图获取模块,用于获取所述待处理图像的干扰特征分布图,所述干扰特征影响所述待处理图像的质量,所述干扰特征分布图用于反映所述干扰特征在所述待处理图像中的位置分布;
图像重建模块,用于根据所述干扰特征分布图,对所述待处理图像进行重建,获得目标图像,所述目标图像是指已抑制所述干扰特征的图像。
10.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述图像处理方法的步骤。
11.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至8任一项所述图像处理方法的步骤。
CN202010586817.7A 2020-06-24 2020-06-24 图像处理方法、装置、终端设备及计算机可读存储介质 Active CN111754435B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010586817.7A CN111754435B (zh) 2020-06-24 2020-06-24 图像处理方法、装置、终端设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010586817.7A CN111754435B (zh) 2020-06-24 2020-06-24 图像处理方法、装置、终端设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111754435A true CN111754435A (zh) 2020-10-09
CN111754435B CN111754435B (zh) 2024-07-05

Family

ID=72678419

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010586817.7A Active CN111754435B (zh) 2020-06-24 2020-06-24 图像处理方法、装置、终端设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111754435B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113229767A (zh) * 2021-04-12 2021-08-10 佛山市顺德区美的洗涤电器制造有限公司 用于处理图像的方法、处理器、控制装置及家用电器
CN113240687A (zh) * 2021-05-17 2021-08-10 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140023291A1 (en) * 2012-07-17 2014-01-23 Zhe Lin Methods and apparatus for image deblurring and sharpening using local patch self-similarity
CN108460414A (zh) * 2018-02-27 2018-08-28 北京三快在线科技有限公司 训练样本图像的生成方法、装置及电子设备
CN108898557A (zh) * 2018-05-30 2018-11-27 商汤集团有限公司 图像恢复方法及装置、电子设备、计算机程序及存储介质
CN110222572A (zh) * 2019-05-06 2019-09-10 平安科技(深圳)有限公司 跟踪方法、装置、电子设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140023291A1 (en) * 2012-07-17 2014-01-23 Zhe Lin Methods and apparatus for image deblurring and sharpening using local patch self-similarity
CN108460414A (zh) * 2018-02-27 2018-08-28 北京三快在线科技有限公司 训练样本图像的生成方法、装置及电子设备
CN108898557A (zh) * 2018-05-30 2018-11-27 商汤集团有限公司 图像恢复方法及装置、电子设备、计算机程序及存储介质
CN110222572A (zh) * 2019-05-06 2019-09-10 平安科技(深圳)有限公司 跟踪方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈丽娟;汪锋;: "光学图像复原的质量评价与分析", 激光杂志, no. 09 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113229767A (zh) * 2021-04-12 2021-08-10 佛山市顺德区美的洗涤电器制造有限公司 用于处理图像的方法、处理器、控制装置及家用电器
CN113229767B (zh) * 2021-04-12 2022-08-19 佛山市顺德区美的洗涤电器制造有限公司 用于处理图像的方法、处理器、控制装置及家用电器
CN113240687A (zh) * 2021-05-17 2021-08-10 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和可读存储介质

Also Published As

Publication number Publication date
CN111754435B (zh) 2024-07-05

Similar Documents

Publication Publication Date Title
CN108921806B (zh) 一种图像处理方法、图像处理装置及终端设备
CN109064428B (zh) 一种图像去噪处理方法、终端设备及计算机可读存储介质
CN112102164B (zh) 一种图像处理方法、装置、终端及存储介质
CN109215037B (zh) 目标图像分割方法、装置及终端设备
CN108564550B (zh) 图像处理方法、装置及终端设备
CN111290684B (zh) 图像显示方法、图像显示装置及终端设备
CN110119733B (zh) 书页识别方法及装置、终端设备、计算机可读存储介质
CN110335216B (zh) 图像处理方法、图像处理装置、终端设备及可读存储介质
CN108961183B (zh) 图像处理方法、终端设备及计算机可读存储介质
CN110751218B (zh) 图像分类方法、图像分类装置及终端设备
EP3163423A1 (en) Method and device for setting background of ui control and terminal
CN110211195B (zh) 生成图像集合的方法、装置、电子设备和计算机可读存储介质
CN110930438B (zh) 图像配准方法、装置、电子设备及存储介质
CN111754435B (zh) 图像处理方法、装置、终端设备及计算机可读存储介质
CN111209856B (zh) ***信息的识别方法、装置、电子设备及存储介质
CN111459364A (zh) 图标更新方法、装置和电子设备
CN110827301A (zh) 用于处理图像的方法和装置
CN112257598B (zh) 图像中四边形的识别方法、装置、可读介质和电子设备
CN110677586B (zh) 图像显示方法、图像显示装置及移动终端
CN108776959B (zh) 图像处理方法、装置及终端设备
CN111222446A (zh) 人脸识别方法、人脸识别装置及移动终端
CN111724326A (zh) 图像处理方法及装置、电子设备及存储介质
CN110070482B (zh) 图像处理方法、装置和计算机可读存储介质
CN111340722A (zh) 图像处理方法、处理装置、终端设备及可读存储介质
CN110705653A (zh) 图像分类方法、图像分类装置及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant