CN113129221B - 图像处理方法、装置、设备及存储介质 - Google Patents

图像处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113129221B
CN113129221B CN201911416029.7A CN201911416029A CN113129221B CN 113129221 B CN113129221 B CN 113129221B CN 201911416029 A CN201911416029 A CN 201911416029A CN 113129221 B CN113129221 B CN 113129221B
Authority
CN
China
Prior art keywords
pixel
pixel point
noise
value
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911416029.7A
Other languages
English (en)
Other versions
CN113129221A (zh
Inventor
罗宁奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201911416029.7A priority Critical patent/CN113129221B/zh
Publication of CN113129221A publication Critical patent/CN113129221A/zh
Application granted granted Critical
Publication of CN113129221B publication Critical patent/CN113129221B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种图像处理方法、装置及存储介质,属于图像处理技术领域。所述方法包括:确定该噪声图像中的第一像素点与该第一像素点的邻域内的第二像素点之间的像素数值差异;对该像素数值差异进行标准化处理,得到该第一像素点与该第二像素点之间的标准化像素数值差异;基于该标准化像素数值差异,对该噪声图像进行降噪处理,得到降噪图像。本申请使得噪声与信号无关,既不破坏原始的噪声图像的真实信号,又解决了信号相关噪声的扰动,所以,基于该标准化像素数值差异,对该噪声图像进行降噪处理,保证了降噪图像的质量。

Description

图像处理方法、装置、设备及存储介质
技术领域
本申请涉及图像处理技术领域,特别涉及一种图像处理方法、装置、设备及存储介质。
背景技术
目前,图像在人脸识别、车辆检测、景深估计等场景中得到广泛应用。然而,在图像的成像过程中存在光子散粒噪声,导致图像的成像质量较差,容易影响图像的应用效果,因此,通常需要对图像进行降噪之类的处理。
在相关技术中,图像处理过程通常包括:对包括噪声的图像(简称噪声图像)进行方差稳定化正变换,将噪声图像中的信号相关噪声转换为信号不相关噪声,例如加性高斯噪声,然后对转换后的噪声图像进行降噪,再对降噪后的噪声图像作方差稳定化逆变换,得到最终的降噪图像。
然而,上述实现方式是在原始的噪声图像上进行变换处理,该变换过程在一定程度上改变了噪声图像中的真实信号,导致降低了降噪图像的质量。
发明内容
本申请提供了一种图像处理方法、装置、设备及存储介质,可以解决相关技术的降低了降噪图像的质量问题。所述技术方案如下:
一方面,提供了一种图像处理方法,所述方法包括:
确定待处理的噪声图像中的第一像素点与所述第一像素点的邻域内的第二像素点之间的像素数值差异;
对所述像素数值差异进行标准化处理,得到所述第一像素点与所述第二像素点之间的标准化像素数值差异;
基于所述标准化像素数值差异,对所述噪声图像进行降噪处理,得到降噪图像。
在本申请一种可能的实现方式中,所述对所述像素数值差异进行标准化处理,得到所述第一像素点与所述第二像素点之间的标准化像素数值差异,包括:
基于所述第一像素点的像素数值和所述第二像素点的像素数值,对所述像素数值差异进行标准化处理,得到所述第一像素点与所述第二像素点之间的标准化像素数值差异。
在本申请一种可能的实现方式中,所述基于所述第一像素点的像素数值和所述第二像素点的像素数值,对所述像素数值差异进行标准化处理,得到所述第一像素点与所述第二像素点之间的标准化像素数值差异,包括:
确定所述第一像素点的像素数值与所述第二像素点的像素数值的相关值;
基于所述相关值,对所述像素数值差异进行标准化处理。
在本申请一种可能的实现方式中,所述基于所述相关值,对所述像素数值差异进行标准化处理,包括:
将所述像素数值差异与所述相关值相除,得到所述第一像素点与所述第二像素点之间的标准化像素数值差异。
在本申请一种可能的实现方式中,所述确定所述第一像素点的像素数值与所述第二像素点的像素数值的相关值,包括:
确定所述第一像素点的像素数值与所述第二像素点的像素数值的平均值,得到第一信号值;
确定所述噪声图像中的信号与噪声之间的映射关系;
根据所述映射关系和所述第一信号值,确定所述第一像素点与所述第二像素点的噪声标准差,得到所述相关值。
在本申请一种可能的实现方式中,所述确定所述噪声图像中的信号与噪声之间的映射关系,包括:
基于历史降噪图像,确定所述噪声图像中的多个像素点的信号值和噪声值,所述历史降噪图像为与所述噪声图像关联且已经过时域降噪处理的图像;
将所述多个像素点中信号值相同的像素点确定为一组,得到多个像素点集合;
基于所述多个像素点集合中的像素点的噪声值,确定所述多个像素点集合对应的噪声方差;
对所述多个像素点集合对应的信号值和噪声方差进行拟合,得到所述待处理的噪声图像中的信号与噪声之间的映射关系。
在本申请一种可能的实现方式中,所述基于所述多个像素点集合中的像素点的噪声值,确定所述多个像素点集合对应的噪声方差,包括:
对于所述多个像素点集合中的任一像素点集合,确定所述任一像素点集合中的像素点的噪声值的平均值,得到所述任一像素点集合对应的噪声均值;
基于所述任一像素点集合中的像素点的噪声值和所述任一像素点集合对应的噪声均值,确定所述任一像素点集合对应的噪声方差。
在本申请一种可能的实现方式中,所述确定所述第一像素点的像素数值与所述第二像素点的像素数值的相关值,包括:
将所述第一像素点的像素数值作为第二信号值,根据所述映射关系和所述第二信号值,确定所述第一像素点的噪声标准差,得到所述相关值;或者,
将所述第二像素点的像素数值作为第三信号值,根据所述映射关系和所述第三信号值,确定所述第二像素点的噪声标准差,得到所述相关值。
在本申请一种可能的实现方式中,所述确定所述噪声图像中的信号与噪声之间的映射关系,包括:
确定所述噪声图像中多个像素点对应的图块的图块均值,每个图块与一个像素点对应,每个图块是以对应的像素点为中心、以参考数值为尺寸确定得到;
确定每个像素点对应的图块的图块方差;
将每个像素点对应的图块的图块均值作为每个像素点的信号值,以及将每个像素点对应的图块的图块方差作为每个像素点的噪声方差;
对所述多个像素点的信号值和噪声方差进行拟合,得到所述噪声图像中的信号与噪声之间的映射关系。
在本申请一种可能的实现方式中,所述基于所述相关值,对所述像素数值差异进行标准化处理之前,还包括:
基于所述映射关系,确定所述第一图块与所述第二图块中除所述第一像素点和所述第二像素点之外的其他像素点中,位置对应的像素点的相关值;
所述基于所述相关值,对所述像素数值差异进行标准化处理,包括:
根据所述第一图块与所述第二图块中每个对应位置的像素点的相关值,分别确定所述第一图块与所述第二图块中每个对应位置的像素点的目标标准化像素数值差异;
将所确定的目标标准化像素数值差异之和与所述第一像素点对应的第一图块内的像素点总个数相除,得到所述第一像素点与所述第二像素点之间的标准化像素数值差异。
在本申请一种可能的实现方式中,对所述像素数值差异进行标准化处理,得到所述第一像素点与所述第二像素点之间的标准化像素数值差异,包括:
基于所述第一像素点的像素数值和所述第二像素点的像素数值,对所述像素数值差异进行标准化处理,得到所述第一像素点与所述第二像素点之间的标准化像素数值差异。
在本申请一种可能的实现方式中,所述基于所述第一像素点的像素数值和所述第二像素点的像素数值,对所述像素数值差异进行标准化处理,得到所述第一像素点与所述第二像素点之间的标准化像素数值差异,包括:
确定所述第一像素点的像素数值和所述第二像素点的像素数值的均值;
将所述均值与所述像素数值差异相除,将相除后得到的数值与指定阈值相乘,得到所述第一像素点与所述第二像素点之间的标准化像素数值差异。
在本申请一种可能的实现方式中,所述方法还包括:
以所述第一像素点为中心、以参考数值为尺寸,在所述噪声图像中确定所述第一像素点对应的第一图块;
以所述第二像素点为中心、以所述参考数值为尺寸,在所述噪声图像中确定所述第二像素点对应的第二图块;
分别确定所述第一图块与所述第二图块中除所述第一像素点和所述第二像素点之外的其他像素点中,位置对应的像素点的像素数值差异;
所述基于所述第一像素点的像素数值和所述第二像素点的像素数值,对所述像素数值差异进行标准化处理,得到所述第一像素点与所述第二像素点之间的标准化像素数值差异,包括:
分别确定所述第一图块与所述第二图块中的每个对应位置的像素点的像素数值的均值;
基于所述第一图块与所述第二图块中的每个对应位置的像素点的像素数值差异和均值,确定所述第一图块与所述第二图块中的每个对应位置的像素点的目标标准化像素数值差异;
对所确定的每个对应位置的像素点的目标标准化像素数值差异进行求和,将求和得到的数值与所述第一图块中的像素点总个数相除,得到所述第一像素点与所述第二像素点之间的标准化像素数值差异。
在本申请一种可能的实现方式中,所述第一像素点的数量为多个,所述基于所述标准化像素数值差异,对所述噪声图像进行降噪处理,包括:
基于每个第一像素点与每个第一像素点的邻域内的第二像素点之间的标准化像素数值差异,确定每个第一像素点与每个第一像素点的邻域内的第二像素点之间的相似度;
基于所述相似度,对每个第一像素点的像素数值进行加权平均降噪处理;
将加权平均降噪处理后的噪声图像确定为所述降噪图像。
另一方面,提供了一种图像处理装置,所述装置包括:
第一确定模块,用于确定待处理的噪声图像中的第一像素点与所述第一像素点的邻域内的第二像素点之间的像素数值差异;
处理模块,用于对所述像素数值差异进行标准化处理,得到所述第一像素点与所述第二像素点之间的标准化像素数值差异;
降噪模块,用于基于所述标准化像素数值差异,对所述噪声图像进行降噪处理,得到降噪图像。
在本申请一种可能的实现方式中,所述处理模块用于:
基于所述第一像素点的像素数值和所述第二像素点的像素数值,对所述像素数值差异进行标准化处理,得到所述第一像素点与所述第二像素点之间的标准化像素数值差异。
在本申请一种可能的实现方式中,所述处理模块用于:
确定所述第一像素点的像素数值与所述第二像素点的像素数值的相关值;
基于所述相关值,对所述像素数值差异进行标准化处理。
在本申请一种可能的实现方式中,所述处理模块用于:
将所述像素数值差异与所述相关值相除,得到所述第一像素点与所述第二像素点之间的标准化像素数值差异。
在本申请一种可能的实现方式中,所述处理模块用于:
确定所述第一像素点的像素数值与所述第二像素点的像素数值的平均值,得到第一信号值;
确定所述噪声图像中的信号与噪声之间的映射关系;
根据所述映射关系和所述第一信号值,确定所述第一像素点与所述第二像素点的噪声标准差,得到所述相关值。
在本申请一种可能的实现方式中,所述处理模块用于:
基于历史降噪图像,确定所述噪声图像中的多个像素点的信号值和噪声值,所述历史降噪图像为与所述噪声图像关联且已经过时域降噪处理的图像;
将所述多个像素点中信号值相同的像素点确定为一组,得到多个像素点集合;
基于所述多个像素点集合中的像素点的噪声值,确定所述多个像素点集合对应的噪声方差;
对所述多个像素点集合对应的信号值和噪声方差进行拟合,得到所述待处理的噪声图像中的信号与噪声之间的映射关系。
在本申请一种可能的实现方式中,所述处理模块用于:
对于所述多个像素点集合中的任一像素点集合,确定所述任一像素点集合中的像素点的噪声值的平均值,得到所述任一像素点集合对应的噪声均值;
基于所述任一像素点集合中的像素点的噪声值和所述任一像素点集合对应的噪声均值,确定所述任一像素点集合对应的噪声方差。
在本申请一种可能的实现方式中,所述处理模块用于:
将所述第一像素点的像素数值作为第二信号值,根据所述映射关系和所述第二信号值,确定所述第一像素点的噪声标准差,得到所述相关值;或者,
将所述第二像素点的像素数值作为第三信号值,根据所述映射关系和所述第三信号值,确定所述第二像素点的噪声标准差,得到所述相关值。
在本申请一种可能的实现方式中,所述处理模块用于:
确定所述噪声图像中多个像素点对应的图块的图块均值,每个图块与一个像素点对应,每个图块是以对应的像素点为中心、以参考数值为尺寸确定得到;
确定每个像素点对应的图块的图块方差;
将每个像素点对应的图块的图块均值作为每个像素点的信号值,以及将每个像素点对应的图块的图块方差作为每个像素点的噪声方差;
对所述多个像素点的信号值和噪声方差进行拟合,得到所述噪声图像中的信号与噪声之间的映射关系。
在本申请一种可能的实现方式中,所述处理模块用于:
基于所述映射关系,确定所述第一图块与所述第二图块中除所述第一像素点和所述第二像素点之外的其他像素点中,位置对应的像素点的相关值;
根据所述第一图块与所述第二图块中每个对应位置的像素点的相关值,分别确定所述第一图块与所述第二图块中每个对应位置的像素点的目标标准化像素数值差异;
将所确定的目标标准化像素数值差异之和与所述第一像素点对应的第一图块内的像素点总个数相除,得到所述第一像素点与所述第二像素点之间的标准化像素数值差异。
在本申请一种可能的实现方式中,所述处理模块用于:
以所述第一像素点为中心、以参考数值为尺寸,在所述噪声图像中确定所述第一像素点对应的第一图块;
以所述第二像素点为中心、以所述参考数值为尺寸,在所述噪声图像中确定所述第二像素点对应的第二图块;
分别确定所述第一图块与所述第二图块中除所述第一像素点和所述第二像素点之外的其他像素点中,位置对应的像素点的像素数值差异;
分别确定所述第一图块与所述第二图块中的每个对应位置的像素点的像素数值的均值;
基于所述第一图块与所述第二图块中的每个对应位置的像素点的像素数值差异和均值,确定所述第一图块与所述第二图块中的每个对应位置的像素点的目标标准化像素数值差异;
对所确定的每个对应位置的像素点的目标标准化像素数值差异进行求和,将求和得到的数值与所述第一图块中的像素点总个数相除,得到所述第一像素点与所述第二像素点之间的标准化像素数值差异。
在本申请一种可能的实现方式中,所述第一像素点的数量为多个,所述降噪模块用于:
基于每个第一像素点与每个第一像素点的邻域内的第二像素点之间的标准化像素数值差异,确定每个第一像素点与每个第一像素点的邻域内的第二像素点之间的相似度;
基于所述相似度,对每个第一像素点的像素数值进行加权平均降噪处理;
将加权平均降噪处理后的噪声图像确定为所述降噪图像。
另一方面,提供了一种电子设备,所述电子设备包括处理器、通信接口、存储器和通信总线,所述处理器、所述通信接口和所述存储器通过所述通信总线完成相互间的通信,所述存储器用于存放计算机程序,所述处理器用于执行所述存储器上所存放的程序,以实现上述所述图像处理方法的步骤。
另一方面,提供了一种计算机可读存储介质,所述存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述所述图像处理方法的步骤。
另一方面,提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述所述的图像处理方法的步骤。
本申请提供的技术方案至少可以带来以下有益效果:
确定噪声图像中的第一像素点与该第一像素点的邻域内的第二像素点之间的数值差值,对像素数值差异进行标准化处理,得到该第一像素点与该第二像素点之间的标准化像素数值差异,如此,相当于将该第一像素点与该第二像素点的像素数值差异标准化,使得噪声与信号无关,既不破坏原始的噪声图像的真实信号,又解决了信号相关噪声的扰动,所以,基于该标准化像素数值差异,对该噪声图像进行降噪处理,保证了降噪图像的质量。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种图像处理方法的流程图;
图2是本申请实施例提供的一种第一处理模块的处理流程图;
图3是本申请实施例提供的一种第二处理模块的处理流程图;
图4是本申请实施例提供的一种图像处理装置的结构示意图;
图5是本申请实施例提供的一种终端的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
在对本申请实施例提供的图像处理方法进行详细的解释说明之前,先对本申请实施例提供的实施环境进行介绍。
本申请实施例提供的图像处理方法可以由电子设备来执行。作为一种示例,该电子设备可以是任何一种可与用户通过键盘、触摸板、触摸屏、遥控器、语音交互或手写设备等一种或多种方式进行人机交互的电子产品,例如,可以是PC(Personal Computer,个人计算机)、手机、智能手机、PDA(Personal Digital Assistant,个人数字助手)、可穿戴设备、掌上电脑PPC(Pocket PC)、平板电脑、智能车机、智能电视等,本申请实施例对此不作限定。
作为一种示例,该电子设备可以包括第一处理模块和第二处理模块,以通过该第一处理模块和第二处理模块来实现该图像处理方法。进一步地,该第一处理模块可以包括第一子处理单元、第二子处理单元和第三子处理单元,以分别通过这些子处理单元来实现该第一处理模块执行的操作。其具体实现可以参见下文。
本领域技术人员应能理解上述电子设备仅为举例,其他现有的或今后可能出现的电子设备如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。
在介绍完本申请实施例提供的实施环境后,接下来将结合附图对本申请实施例提供的图像处理方法进行详细的解释说明。
图1是本申请实施例提供的一种图像处理方法的流程图,该方法应用于上述电子设备中。请参考图1,该方法可以包括如下步骤:
步骤101:确定待处理的噪声图像中的第一像素点与该第一像素点的邻域内的第二像素点之间的像素数值差异。
其中,该噪声图像是指存在噪声的图像。
如前文所述,噪声图像在成像过程中存在光子散粒噪声,该光子散粒噪声是主要的噪声成因,其特点是噪声与信号强相关,所以通常又将该类噪声称为信号相关噪声。在本申请实施例中,为了对噪声图像进行降噪处理,电子设备确定待处理的噪声图像中的第一像素点与该第一像素点的邻域内的第二像素点之间的像素数值差异。
其中,该第一像素点的数量可以为一个或者多个,进一步地,当该第一像素点的数量为多个时,该多个第一像素点可以包括该噪声图像中的所有像素点,或者,该多个第一像素点也可以包括该噪声图像中的部分像素点,本申请实施例对此不做限定。
另外,该第一像素点的邻域内的第二像素点的数量也可以为一个或者多个,当该第一像素点的邻域内的第二像素点的数量为多个时,可以确定该第一像素点与其邻域内的每个第二像素点之间的像素数值差异。
作为一种示例,该数值差值可以是指距离差异。
作为一种示例,该电子设备可以通过曼哈顿距离、欧几里得距离或离散程度指标等方式来确定该数值差值。
示例性的,当通过曼哈顿距离的方式来确定该数值差值时,可以采用如下公式(1)来确定:
d12=|I1-I2| (1)
其中,d12表示该第一像素点i与该第二像素点j之间的像素数值差异,I1表示该第一像素点在该噪声图像中的像素数值,I2表示该第二像素点在该噪声图像中的像素数值。
其中,这里所述的像素数值可以是指灰度值,或者,还可以是指亮度等。
再如,当通过欧几里得距离的方式来确定该数值差值时,可以采用如下公式(2)来确定:
又如,当通过离散程度指标的方式来确定该数值差值时,可以采用如下公式(3)来确定。
进一步地,还可以确定该第一像素点对应的第一图块r与该第二像素点对应的第二图块s之间的数值差值,之后,可以将所确定的图块的数值差值确定该第一像素点与该第二像素点之间的数值差值。
其中,第一图块是指以该第一像素点为中心、以参考数值为尺寸确定的图块,该第二图块是指以该第二像素点为中心、以参考数值为尺寸确定的图块。该参考数值可以根据实际需求进行设置。
示例性的,当通过曼哈顿距离的方式来确定时,可以采用如下公式(4)来确定该第一像素点对应的第一图块r与该第二像素点对应的第二图块s之间的数值差值。
其中,该Zi表示第一像素点对应的第一图块,Zj表示第二像素点对应的第二图块,Ir表示第一图块中的第r个像素点的像素数值,Is表示第二图块中的第s个像素点的像素数值,该第r个像素点与该第s个像素点的位置对应。
再如,当通过欧几里得距离的方式来确定时,可以采用如下公式(5)来确定该第一像素点对应的第一图块r与该第二像素点对应的第二图块s之间的数值差值。
又如,当通过离散程度指标的方式来确定时,可以采用如下公式(6)来确定该第一像素点对应的第一图块r与该第二像素点对应的第二图块s之间的数值差值。
进一步地,请参考图2,该电子设备可以通过第一处理模块中的第二子处理单元来确定该噪声图像中的第一像素点与该第一像素点的邻域内的第二像素点之间的像素数值差异。
步骤102:对该像素数值差异进行标准化处理,得到该第一像素点与该第二像素点之间的标准化像素数值差异。
在本申请的可选实施例中,对该像素数值差异进行标准化处理,可以为,将该像素数值差异的概率分布的噪声标准差归一化处理,即使得该像素数值差异的概率分布的噪声标准差变为一。如此,对该像素数值差异进行标准化处理后,使得该第一像素点与该第二像素点的信号相关噪声表标准化,从而使得信号与噪声无关,即消除信号与该噪声之间的关系。
作为一种示例,对该像素数值差异进行标准化处理的具体实现可以包括:
基于该第一像素点的像素数值和该第二像素点的像素数值,对该像素数值差异进行标准化处理,得到该第一像素点与该第二像素点之间的标准化像素数值差异。
也即是,基于该第一像素点的像素数值和该第二像素点的像素数值进行标准化处理。作为一种示例,其具体实现可以包括:确定该第一像素点的像素数值与该第二像素点的像素数值的相关值,基于该相关值,对该像素数值差异进行标准化处理。
其中,该相关值可以用于指示该第一像素点的像素数值与该第二像素点的像素数值之间的关联关系。
该相关值的计算方式可以包括多种,譬如,可以根据该第一像素点和第二像素点的像素数值的均值确定得到;再如,可以根据信号与噪声的映射关系,确定第一像素点与第二像素点的噪声标准差,从而得到该相关值;又如,可以通过确定第一像素点或第二像素点的噪声标准差得到。在一种可能的实现方式中,根据相关值的确定方式不同,确定该第一像素点的像素数值与该第二像素点的像素数值的相关值的具体实现可以包括如下(1)-(3)几种方式:
(1)确定该第一像素点的像素数值与该第二像素点的像素数值的平均值,得到第一信号值,确定该噪声图像中的信号与噪声之间的映射关系,根据该映射关系和该第一信号值,确定该第一像素点与该第二像素点的噪声标准差,得到该相关值。
作为一种示例,确定待处理的噪声图像中的信号与噪声之间的映射关系的具体实现可以包括如下两种可能的实现方式:
第一种实现方式:基于历史降噪图像,确定该噪声图像中的多个像素点的信号值和噪声值,该历史降噪图像为与该噪声图像关联且已经过时域降噪处理的图像,将该多个像素点中信号值相同的像素点确定为一组,得到多个像素点集合。基于该多个像素点集合中的像素点的噪声值,确定该多个像素点集合对应的噪声方差,对该多个像素点集合对应的信号值和噪声方差进行拟合,得到该待处理的噪声图像中的信号与噪声之间的映射关系。
其中,该历史降噪图像可以是预先通过时域降噪等方式进行降噪处理后得到。通常情况下,该历史降噪图像可以与该噪声图像具有一定的关系,作为一种示例,该历史降噪图像可以是对该噪声图像通过时域降噪等方式进行降噪处理后得到的图像;作为另一种示例,当该噪声图像为某视频内的一帧视频图像时,由于在一些情况下,前、后帧的视频图像的信息变化不大,所以,该历史降噪图像也可以是对该噪声图像的前一帧或后一帧的视频图像通过时域降噪等方式进行降噪处理后得到的图像,本申请实施例对此不做限定。
其中,该多个像素点可以包括该噪声图像中的所有像素点,再或者,该多个像素点也可以包括该噪声图像中的部分像素点,本申请实施例对此不做限定。
在实施中,该电子设备基于该历史降噪图像,确定该噪声图像中的多个像素点的信号值和噪声值,即确定该多个像素点中的每个像素点的信号值和该噪声值。作为一种示例,对于该多个像素点中的任一像素点,该电子设备可以通过如下公式(7)和公式(8)来确定该任一像素点的信号值和噪声值:
其中,该vi表示信号值,ni表示噪声值,该i表示该任一像素点,Ii表示该任一像素点在该噪声图像中的像素数值,表示该任一像素点在该历史降噪图像中的像素数值,或者说,该/>表示该历史降噪图像中任一像素点对应的位置处的像素点的像素数值。
该多个像素点的信号值中存在相同的信号值,在此,电子设备将具有相同信号值的像素点划分为一组,如此,可以得到多个像素点集合,即每个像素点集合对应一个信号值,不难理解,每个像素点集合中包括至少一个像素点。
之后,该电子设备基于每个像素点集合中的像素点的噪声值,确定每个像素点集合对应的噪声方差。作为一种示例,其具体实现可以包括:对于该多个像素点集合中的任一像素点集合,确定该任一像素点集合中的像素点的噪声值的平均值,得到该任一像素点集合对应的噪声均值。基于该任一像素点集合中的像素点的噪声值和该任一像素点集合对应的噪声均值,确定该任一像素点集合对应的噪声方差。
也就是说,对于该任一像素点集合来说,可以计算该任一像素点集合中包括的所有像素点的噪声值的平均值,如公式(9)所示,然后根据该平均值和该任一像素点集合中包括的所有像素点的噪声值,通过公式(10),确定该任一像素点集合对应的噪声方差。
其中,表示噪声值的平均值,/>表示噪声方差,{j|vj=vi}表示具有相同信号值的像素点集合,N表示像素点集合中的像素点总个数。
在得到该多个像素点集合对应的信号值和噪声方差后,可以通过拟合方法统计得到的信号值和噪声方差的映射关系,并将该映射关系确定为该噪声图像中的信号与噪声之间的映射关系。
作为一种示例,该电子设备可以采用最小二乘拟合法来确定该映射关系,具体如公式(11)所示:
其中,该f表示拟合后得到的映射关系。如此,根据该映射关系和任意给定的信号值,可以得到该信号值对应的噪声方差为σ2=f(v)。
第二种实现方式:确定该噪声图像中多个像素点对应的图块的图块均值,每个图块与一个像素点对应,每个图块是以对应的像素点为中心、以参考数值为尺寸确定得到;确定每个像素点对应的图块的图块方差;将每个像素点对应的图块的图块均值作为每个像素点的信号值,以及将每个像素点对应的图块的图块方差作为每个像素点的噪声方差;对该多个像素点的信号值和噪声方差进行拟合,得到该噪声图像中的信号与噪声之间的映射关系。
其中,该参考数值可以由用户根据实际需求自定义设置,或者,还可以由该电子设备默认设置,本申请实施例对此不做限定。
在该种实现方式中,对于任意一个像素点来说,可以以该像素点为中心、以指定数值为尺寸,确定该像素点对应的一个图块,然后,可以基于该图块内的像素点的像素数值和像素点总个数,确定该图块的图块均值。譬如,对于任一像素点对应的图块,可以通过如下公式(12)来确定该图块的图块均值:
其中,表示图块均值,Zi表示像素点对应的图块,|Zi|表示该图块内的像素点总个数。
确定该任一像素点对应的图块的图块均值后,将该图块均值作为该任一像素点对应的信号值。按照该种实现方式,可以确定每个像素点的信号值。
之后,该电子设备基于任一像素点对应的图块的图块均值,确定该图块对应的噪声方差。作为一种示例,基于该任一图块的图块均值,确定该任一图块的图块方差的具体实现可以包括:基于该任一图块的图块均值、以及该任一图块内的像素点的像素数值,通过如下公式(13)确定该任一图块的图块方差:
其中,表示图块方差,Ij表示图块内的像素点的像素数值。
如此,可以确定该任一图块的图块方差,该电子设备将该任一图块的图块方差确定为对应的像素点的噪声方差。按照该种方式,可以确定每个像素点的的噪声方差。
之后,通过拟合方法统计该多个像素点的信号值和噪声方差的映射关系,并将该映射关系确定为该噪声图像中的信号与噪声之间的映射关系。
作为一种示例,可以采用最小二乘拟合法来确定该映射关系,具体如公式(14)所示:
其中,该f表示拟合后得到的映射关系。如此,根据该映射关系和任意给定的信号值,可以得到该信号值对应的噪声方差为σ2=f(v)。
得到该映射关系后,由于该映射关系能够基于任意的信号值确定对应的噪声方差,所以,将该第一信号值带入该映射关系后并开方,如公式(15)所示,如此,可以确定该第一像素点与该第二像素点的噪声标准差,这里将该噪声标准差确定该相关值。
其中,表示噪声标准差,uij表示第一信号值。
作为一种示例,电子设备可以通过上述第一处理模块中的第一子处理单元来执行该步骤,如图2所示。
(2)将该第一像素点的像素数值作为第二信号值,根据该映射关系和该第二信号值,确定该第一像素点的噪声标准差,得到该相关值。
作为一种示例,该电子设备可以通过如下公式(16)来确定该第一像素点的噪声标准差:
其中,表示第一像素点的噪声标准差,I1表示该第一像素点的像素数值。
也就是说,该电子设备可以确定该第一像素点的噪声标准差,然后直接将该第一像素点的噪声标准差确定为其与第二像素点之间的噪声标准差,即之后,将该噪声标准差确定为该相关值。
(3)将该第二像素点的像素数值作为第三信号值,根据该映射关系和该第三信号值,确定该第二像素点的噪声标准差,得到该相关值。
作为一种示例,该电子设备可以通过如下公式(17)来确定该第二像素点的噪声标准差:
其中,表示第二像素点的噪声标准差,I2表示该第二像素点的像素数值。
也就是说,该电子设备可以确定该第二像素点的噪声标准差,然后直接将该第二像素点的噪声标准差确定为其与第二像素点之间的噪声标准差,即之后,将该噪声标准差确定为该相关值。
进一步地,当该第一像素点的邻域内的第二像素点的数量为多个时,可以按照上述方式,确定该第一像素点与每个第二像素点之间的相关值。
进一步地,当该第一像素点的数量为多个时,可以按照上述实现方式,确定每个第一像素点与每个第一像素点的邻域内的第二像素点之间的相关值。
之后,得到该相关值后,基于该相关值,对该像素数值差异进行标准化处理。作为一种示例,其具体实现可以包括:将该像素数值差异与该相关值相除,得到该第一像素点与该第二像素点之间的标准化像素数值差异。
进一步地,该电子设备还可以基于上述映射关系,确定该第一图块与该第二图块中除该第一像素点和该第二像素点之外的其他像素点中,位置对应的像素点的相关值,在该种情况下,基于该相关值,对该像素数值差异进行标准化处理的具体实现可以包括:根据该第一图块与该第二图块中每个对应位置的像素点的相关值,分别确定该第一图块与该第二图块中每个对应位置的像素点的目标标准化像素数值差异。将所确定的目标标准化像素数值差异之和与该第一像素点对应的第一图块内的像素点总个数相除,得到该第一像素点与该第二像素点之间的标准化像素数值差异。
其中,该对应位置可以理解为在图块内的相同位置,譬如,第一图块内的第一个像素点的位置与该第二图块内的第一个像素点的位置对应,再如,该第一图块内的第二个像素点的位置与该第二图块内的第二个像素点的位置对应。
也就是说,该电子设备确定两个图块中各个对应位置上的像素点的目标标准化像素数值差异。譬如,确定第一像素点对应的第一图块内的第一个像素点与该第二像素点对应的第二图块内的第一个像素点之间的目标标准化像素数值差异,确定第一像素点对应的第一图块内的第二个像素点与该第二像素点对应的第二图块内的第二个像素点之间的目标标准化像素数值差异,确定第一像素点对应的第一图块内的第三个像素点与该第二像素点对应的第二图块内的第三个像素点之间的目标标准化像素数值差异,以此类推,按照该种方式,直到确定该第一像素点对应的第一图块内的最后一个像素点与该第二像素点对应的第二图块内的最后一个像素点之间的目标标准化像素数值差异后,得到多个目标标准化像素数值差异。
其中,确定该第一像素点对应的第一图块与该第二像素点对应的第二图块中对应位置上的像素点的目标标准化像素数值差异的具体实现可以参见上述确定第一像素点与第二像素点之间的标准化像素数值差异的实现过程,这里不再重复赘述。
之后,对所确定的目标标准化像素数值差异进行求和,将求和结果与该第一像素点对应的第一图块内的像素点总个数相除,将该相除后的结果确定为该该第一像素点与该第二像素点之间的标准化像素数值差异,具体可通过公式(18)来确定:
其中,该表示基于图块的标准化像素数值差异,该/>表示该第一图块与该第二图块中对应位置上的像素点的目标标准化像素数值差异。
之后,该电子设备将基于图块的标准化像素数值差异确定为该第一像素点与第二像素点之间的标准化像素数值差异。
按照上述实现方式,可以确定该第一像素点与其邻域内的每个第二像素点之间的标准化像素数值差异。进一步地,当该第一像素点的数量为多个时,按照该种实现方式遍历每个第一像素点,可以确定每个第一像素点与每个第一像素点的邻域内的每个第二像素点之间的标准化像素数值差异。
作为一种示例,请继续参考图2,电子设备可以通过上述第一处理模块中的第三子处理单元来执行该步骤。
步骤103:基于该标准化像素数值差异,对该噪声图像进行降噪处理,得到降噪图像。
确定该第一像素点与该第二像素点之间的标准化像素数值差异后,相当于将该第一像素点与该第二像素点的像素数值差异标准化,使得噪声与信号无关,所以,可以基于该标准化像素数值差异,对该噪声图像进行降噪处理。
作为一种示例,基于该标准化像素数值差异,对该噪声图像进行降噪处理,得到降噪图像的具体实现可以包括:该第一像素点的数量为多个,基于每个第一像素点与每个第一像素点的邻域内的第二像素点之间的标准化像素数值差异,确定每个第一像素点与每个第一像素点的邻域内的第二像素点之间的相似度。基于该相似度,对每个第一像素点的像素数值进行加权平均降噪处理,将加权平均降噪处理后的噪声图像确定为该降噪图像。
作为一种示例,可以使用指数函数形式来确定该相似度,譬如,可以通过如下公式(19)来确定:
其中,ω12表示第一像素点与第二像素点之间的相似度。
作为另一种示例,还可以使用线性函数形式确定该相似度,譬如,可以通过如下公式(20)来确定。
其中,t为参考阈值,可以根据实际需求进行设置,如此,使得像素数值差异大于参考阈值的像素点间的相似度为0。
之后,根据第一像素点与第二像素点之间的相似度,通过加权平均方式确定第一像素点的降噪结果,具体地,可以通过如下公式(21)来确定降噪后的像素数值:
其中,I′i表示降噪后的像素数值。
如此,按照该种实现方式遍历噪声图像中的多个第一像素点,之后,即可得到该降噪图像。
作为一种示例,请参考图3,电子设备可以通过上述第二处理模块来执行该步骤,该第二处理模块最终输出该降噪图像。
在本申请实施例中,确定噪声图像中的第一像素点与该第一像素点的邻域内的第二像素点之间的数值差值,对像素数值差异进行标准化处理,得到该第一像素点与该第二像素点之间的标准化像素数值差异,如此,相当于将该第一像素点与该第二像素点的像素数值差异标准化,使得噪声与信号无关,既不破坏原始的噪声图像的真实信号,又解决了信号相关噪声的扰动,所以,基于该标准化像素数值差异,对该噪声图像进行降噪处理,保证了降噪图像的质量。
需要说明的是,上述基于该第一像素点的像素数值和该第二像素点的像素数值,对该像素数值差异进行标准化处理的具体实现仅是示例性的。在另一实施例,还可以采用其他方式进行标准化处理,具体可参见如下实施例:
步骤A:确定待处理的噪声图像中的第一像素点与该第一像素点的邻域内的第二像素点之间的像素数值差异。
其具体实现可以参见上述实施例,这里不再重复赘述。
进一步地,除了确定该第一像素点与该第二像素点之间的像素数值差异之外,该电子设备还可以执行如下操作:以该第一像素点为中心、以参考数值为尺寸,在该噪声图像中确定该第一像素点对应的第一图块;以该第二像素点为中心、以该参考数值为尺寸,在该噪声图像中确定该第二像素点对应的第二图块;分别确定该第一图块与该第二图块中除该第一像素点和该第二像素点之外的其他像素点中,位置对应的像素点的像素数值差异。
也就是说,可以分别确定第一像素点对应的第一图块,以及确定第二像素点对应的第二图块,然后基于两个图块,分别确定对应位置的像素点的像素数值差异。
步骤B:对该像素数值差异进行标准化处理,得到该第一像素点与该第二像素点之间的标准化像素数值差异。
作为一种示例,该步骤的具体实现可以包括:确定该第一像素点的像素数值和该第二像素点的像素数值的均值,将该均值与指定阈值相除,得到该第一像素点与像素数值和该第二像素点的像素数值的相关值,基于该相关数值,对该像素数值差异进行标准化数值处理。
其中,该指定阈值可以由用户根据实际需求进行设置,或者,也可以由该电子设备默认设置,本申请实施例对此不做限定。譬如,该指定阈值可以记为k。
示例性的,该电子设备可以通过如下公式(22)确定该第一像素点与该第二像素点之间的标准化像素数值差异:
其中,μ12表示该第一像素点与该第二像素点的像素数值的均值,k表示指定阈值,表示该第一像素点与该第二像素点之间的标准化像素数值差异。
作为另一种示例,该步骤的具体实现还可以包括:分别确定该第一图块与该第二图块中的每个对应位置的像素点的像素数值的均值;基于该第一图块与该第二图块中的每个对应位置的像素点的像素数值差异和均值,确定该第一图块与该第二图块中的每个对应位置的像素点的目标标准化像素数值差异,对所确定的每个对应位置的像素点的目标标准化像素数值差异进行求和,将求和得到的数值与该第一图块中的像素点总个数相除,得到该第一像素点与该第二像素点之间的标准化像素数值差异。
如前文所述,该电子设备除了确定第一像素点与第二像素点之间的像素数值差异之外,还可以确定该第一像素点对应的第一图块与第二像素点对应的第二图块中的对应位置的像素点的像素数值差异,如此,可以得到该第一图块和第二图块中的每个对应位置的像素点的像素数值差异。在该种情况下,该电子设备还可以分别确定该第一图块与该第二图块中的每个对应位置的像素点的像素数值的均值,之后,基于每个对应位置的像素点的像素数值差异和均值,确定该第一图块与该第二图块中的每个对应位置的像素点的目标标准化像素数值差异。
其中,确定每个对应位置的像素点的目标标准化像素数值差异的具体实现可以包括:确定该每个对应位置的像素点的像素数值的均值,将该每个对应位置的像素点的像素数值的均值与指定阈值相除,得到该每个对应位置的像素点的相关值,将该每个对应位置的像素点的像素数值差异与相关值相除,得到每个对应位置的像素点的目标标准化像素数值差异。
示例性的,该电子设备可以通过如下公式(23)来确定该第一像素点与该第二像素点之间的标准化像素数值差异:
其中,表示第一图块与第二图块的对应位置的像素点的目标标准化像素数值差异,表示第一图块中的像素点总个数,实际上,该第一图块中的像素点总个数与第二图块中的像素点总个数相同。
当该第一像素点的数量为多个时,按照上述实现方式进行遍历,可以确定每个第一像素点与其邻域内的第二像素点之间的标准化像素数值差异。
步骤C:基于该标准化像素数值差异,对该噪声图像进行降噪处理,得到降噪图像。
其具体实现可以参见上述实施例,这里不再重复赘述。
图4是本申请实施例提供的一种图像处理装置的结构示意图,该图像处理装置可以由软件、硬件或者两者的结合实现成为电子设备的部分或者全部。请参考图4,该装置包括:
第一确定模块410,用于确定待处理的噪声图像中的第一像素点与所述第一像素点的邻域内的第二像素点之间的像素数值差异;
处理模块420,用于对所述像素数值差异进行标准化处理,得到所述第一像素点与所述第二像素点之间的标准化像素数值差异;
降噪模块430,用于基于所述标准化像素数值差异,对所述噪声图像进行降噪处理,得到降噪图像。
在本申请一种可能的实现方式中,所述处理模块420用于:
基于所述第一像素点的像素数值和所述第二像素点的像素数值,对所述像素数值差异进行标准化处理,得到所述第一像素点与所述第二像素点之间的标准化像素数值差异。
在本申请一种可能的实现方式中,所述处理模块420用于:
确定所述第一像素点的像素数值与所述第二像素点的像素数值的相关值;
基于所述相关值,对所述像素数值差异进行标准化处理。
在本申请一种可能的实现方式中,所述处理模块420用于:
将所述像素数值差异与所述相关值相除,得到所述第一像素点与所述第二像素点之间的标准化像素数值差异。
在本申请一种可能的实现方式中,所述处理模块420用于:
确定所述第一像素点的像素数值与所述第二像素点的像素数值的平均值,得到第一信号值;
确定所述噪声图像中的信号与噪声之间的映射关系;
根据所述映射关系和所述第一信号值,确定所述第一像素点与所述第二像素点的噪声标准差,得到所述相关值。
在本申请一种可能的实现方式中,所述处理模块420用于:
基于历史降噪图像,确定所述噪声图像中的多个像素点的信号值和噪声值,所述历史降噪图像为与所述噪声图像关联且已经过时域降噪处理的图像;
将所述多个像素点中信号值相同的像素点确定为一组,得到多个像素点集合;
基于所述多个像素点集合中的像素点的噪声值,确定所述多个像素点集合对应的噪声方差;
对所述多个像素点集合对应的信号值和噪声方差进行拟合,得到所述待处理的噪声图像中的信号与噪声之间的映射关系。
在本申请一种可能的实现方式中,所述处理模块420用于:
对于所述多个像素点集合中的任一像素点集合,确定所述任一像素点集合中的像素点的噪声值的平均值,得到所述任一像素点集合对应的噪声均值;
基于所述任一像素点集合中的像素点的噪声值和所述任一像素点集合对应的噪声均值,确定所述任一像素点集合对应的噪声方差。
在本申请一种可能的实现方式中,所述处理模块420用于:
将所述第一像素点的像素数值作为第二信号值,根据所述映射关系和所述第二信号值,确定所述第一像素点的噪声标准差,得到所述相关值;或者,
将所述第二像素点的像素数值作为第三信号值,根据所述映射关系和所述第三信号值,确定所述第二像素点的噪声标准差,得到所述相关值。
在本申请一种可能的实现方式中,所述处理模块420用于:
确定所述噪声图像中多个像素点对应的图块的图块均值,每个图块与一个像素点对应,每个图块是以对应的像素点为中心、以参考数值为尺寸确定得到;
确定每个像素点对应的图块的图块方差;
将每个像素点对应的图块的图块均值作为每个像素点的信号值,以及将每个像素点对应的图块的图块方差作为每个像素点的噪声方差;
对所述多个像素点的信号值和噪声方差进行拟合,得到所述噪声图像中的信号与噪声之间的映射关系。
在本申请一种可能的实现方式中,所述处理模块420用于:
基于所述映射关系,确定所述第一图块与所述第二图块中除所述第一像素点和所述第二像素点之外的其他像素点中,位置对应的像素点的相关值;
根据所述第一图块与所述第二图块中每个对应位置的像素点的相关值,分别确定所述第一图块与所述第二图块中每个对应位置的像素点的目标标准化像素数值差异;
将所确定的目标标准化像素数值差异之和与所述第一像素点对应的第一图块内的像素点总个数相除,得到所述第一像素点与所述第二像素点之间的标准化像素数值差异。
在本申请一种可能的实现方式中,所述处理模块420用于:
以所述第一像素点为中心、以参考数值为尺寸,在所述噪声图像中确定所述第一像素点对应的第一图块;
以所述第二像素点为中心、以所述参考数值为尺寸,在所述噪声图像中确定所述第二像素点对应的第二图块;
分别确定所述第一图块与所述第二图块中除所述第一像素点和所述第二像素点之外的其他像素点中,位置对应的像素点的像素数值差异;
分别确定所述第一图块与所述第二图块中的每个对应位置的像素点的像素数值的均值;
基于所述第一图块与所述第二图块中的每个对应位置的像素点的像素数值差异和均值,确定所述第一图块与所述第二图块中的每个对应位置的像素点的目标标准化像素数值差异;
对所确定的每个对应位置的像素点的目标标准化像素数值差异进行求和,将求和得到的数值与所述第一图块中的像素点总个数相除,得到所述第一像素点与所述第二像素点之间的标准化像素数值差异。
在本申请一种可能的实现方式中,所述第一像素点的数量为多个,所述降噪模块430用于:
基于每个第一像素点与每个第一像素点的邻域内的第二像素点之间的标准化像素数值差异,确定每个第一像素点与每个第一像素点的邻域内的第二像素点之间的相似度;
基于所述相似度,对每个第一像素点的像素数值进行加权平均降噪处理;
将加权平均降噪处理后的噪声图像确定为所述降噪图像。
在本申请实施例中,确定噪声图像中的第一像素点与该第一像素点的邻域内的第二像素点之间的数值差值,对像素数值差异进行标准化处理,得到该第一像素点与该第二像素点之间的标准化像素数值差异,如此,相当于将该第一像素点与该第二像素点的像素数值差异标准化,使得噪声与信号无关,既不破坏原始的噪声图像的真实信号,又解决了信号相关噪声的扰动,所以,基于该标准化像素数值差异,对该噪声图像进行降噪处理,保证了降噪图像的质量。
需要说明的是:上述实施例提供的图像处理装置在进行图像处理时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的图像处理装置与图像处理方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图5是本申请实施例提供的一种终端500的结构框图。该终端500可以是便携式移动终端,比如:智能手机、平板电脑、MP3播放器(Moving Picture Experts Group AudioLayer III,动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts GroupAudio Layer IV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端500还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,终端500包括有:处理器501和存储器502。
处理器501可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器501可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器501也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器501可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器501还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器502可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器502还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器502中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器501所执行以实现本申请中方法实施例提供的图像处理方法。
在一些实施例中,终端500还可选包括有:***设备接口503和至少一个***设备。处理器501、存储器502和***设备接口503之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口503相连。具体地,***设备包括:射频电路504、触摸显示屏505、摄像头506、音频电路507、定位组件508和电源509中的至少一种。
***设备接口503可被用于将I/O(Input/Output,输入/输出)相关的至少一个***设备连接到处理器501和存储器502。在一些实施例中,处理器501、存储器502和***设备接口503被集成在同一芯片或电路板上;在一些其他实施例中,处理器501、存储器502和***设备接口503中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路504用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路504通过电磁信号与通信网络以及其他通信设备进行通信。射频电路504将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路504包括:天线***、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路504可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路504还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏505用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏505是触摸显示屏时,显示屏505还具有采集在显示屏505的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器501进行处理。此时,显示屏505还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏505可以为一个,设置终端500的前面板;在另一些实施例中,显示屏505可以为至少两个,分别设置在终端500的不同表面或呈折叠设计;在再一些实施例中,显示屏505可以是柔性显示屏,设置在终端500的弯曲表面上或折叠面上。甚至,显示屏505还可以设置成非矩形的不规则图形,也即异形屏。显示屏505可以采用LCD(LiquidCrystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件506用于采集图像或视频。可选地,摄像头组件506包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件506还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路507可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器501进行处理,或者输入至射频电路504以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端500的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器501或射频电路504的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路507还可以包括耳机插孔。
定位组件508用于定位终端500的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件508可以是基于美国的GPS(GlobalPositioning System,全球定位***)、中国的北斗***或俄罗斯的伽利略***的定位组件。
电源509用于为终端500中的各个组件进行供电。电源509可以是交流电、直流电、一次性电池或可充电电池。当电源509包括可充电电池时,该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池,无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端500还包括有一个或多个传感器510。该一个或多个传感器510包括但不限于:加速度传感器511、陀螺仪传感器512、压力传感器513、指纹传感器514、光学传感器515以及接近传感器516。
加速度传感器511可以检测以终端500建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器511可以用于检测重力加速度在三个坐标轴上的分量。处理器501可以根据加速度传感器511采集的重力加速度信号,控制触摸显示屏505以横向视图或纵向视图进行用户界面的显示。加速度传感器511还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器512可以检测终端500的机体方向及转动角度,陀螺仪传感器512可以与加速度传感器511协同采集用户对终端500的3D动作。处理器501根据陀螺仪传感器512采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器513可以设置在终端500的侧边框和/或触摸显示屏505的下层。当压力传感器513设置在终端500的侧边框时,可以检测用户对终端500的握持信号,由处理器501根据压力传感器513采集的握持信号进行左右手识别或快捷操作。当压力传感器513设置在触摸显示屏505的下层时,由处理器501根据用户对触摸显示屏505的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器514用于采集用户的指纹,由处理器501根据指纹传感器514采集到的指纹识别用户的身份,或者,由指纹传感器514根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器501授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器514可以被设置终端500的正面、背面或侧面。当终端500上设置有物理按键或厂商Logo时,指纹传感器514可以与物理按键或厂商Logo集成在一起。
光学传感器515用于采集环境光强度。在一个实施例中,处理器501可以根据光学传感器515采集的环境光强度,控制触摸显示屏505的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏505的显示亮度;当环境光强度较低时,调低触摸显示屏505的显示亮度。在另一个实施例中,处理器501还可以根据光学传感器515采集的环境光强度,动态调整摄像头组件506的拍摄参数。
接近传感器516,也称距离传感器,通常设置在终端500的前面板。接近传感器516用于采集用户与终端500的正面之间的距离。在一个实施例中,当接近传感器516检测到用户与终端500的正面之间的距离逐渐变小时,由处理器501控制触摸显示屏505从亮屏状态切换为息屏状态;当接近传感器516检测到用户与终端500的正面之间的距离逐渐变大时,由处理器501控制触摸显示屏505从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图5中示出的结构并不构成对终端500的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
在一些实施例中,还提供了一种计算机可读存储介质,该存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述实施例中图像处理方法的步骤。例如,所述计算机可读存储介质可以是ROM、RAM、CD-ROM、磁带、软盘和光数据存储设备等。
值得注意的是,本申请提到的计算机可读存储介质可以为非易失性存储介质,换句话说,可以是非瞬时性存储介质。
应当理解的是,实现上述实施例的全部或部分步骤可以通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。所述计算机指令可以存储在上述计算机可读存储介质中。
也即是,在一些实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述所述的图像处理方法的步骤。
以上所述为本申请提供的实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (11)

1.一种图像处理方法,其特征在于,所述方法包括:
确定待处理的噪声图像中的第一像素点与所述第一像素点的邻域内的第二像素点之间的像素数值差异;
确定所述第一像素点的像素数值与所述第二像素点的像素数值的平均值,得到第一信号值;
确定所述噪声图像中的信号与噪声之间的映射关系;
根据所述映射关系和所述第一信号值,确定所述第一像素点与所述第二像素点的噪声标准差,得到所述第一像素点的像素数值与所述第二像素点的像素数值的相关值;
将所述像素数值差异与所述相关值相除,得到所述第一像素点与所述第二像素点之间的标准化像素数值差异;
基于所述标准化像素数值差异,对所述噪声图像进行降噪处理,得到降噪图像。
2.如权利要求1所述的方法,其特征在于,所述确定所述噪声图像中的信号与噪声之间的映射关系,包括:
基于历史降噪图像,确定所述噪声图像中的多个像素点的信号值和噪声值,所述历史降噪图像为与所述噪声图像关联且已经过时域降噪处理的图像;
将所述多个像素点中信号值相同的像素点确定为一组,得到多个像素点集合;
基于所述多个像素点集合中的像素点的噪声值,确定所述多个像素点集合对应的噪声方差;
对所述多个像素点集合对应的信号值和噪声方差进行拟合,得到所述待处理的噪声图像中的信号与噪声之间的映射关系。
3.如权利要求2所述的方法,其特征在于,所述基于所述多个像素点集合中的像素点的噪声值,确定所述多个像素点集合对应的噪声方差,包括:
对于所述多个像素点集合中的任一像素点集合,确定所述任一像素点集合中的像素点的噪声值的平均值,得到所述任一像素点集合对应的噪声均值;
基于所述任一像素点集合中的像素点的噪声值和所述任一像素点集合对应的噪声均值,确定所述任一像素点集合对应的噪声方差。
4.如权利要求1所述的方法,其特征在于,所述方法还包括:
将所述第一像素点的像素数值作为第二信号值,根据所述映射关系和所述第二信号值,确定所述第一像素点的噪声标准差,得到所述相关值;或者,
将所述第二像素点的像素数值作为第三信号值,根据所述映射关系和所述第三信号值,确定所述第二像素点的噪声标准差,得到所述相关值。
5.如权利要求1所述的方法,其特征在于,所述确定所述噪声图像中的信号与噪声之间的映射关系,包括:
确定所述噪声图像中多个像素点对应的图块的图块均值,每个图块与一个像素点对应,每个图块是以对应的像素点为中心、以参考数值为尺寸确定得到;
确定每个像素点对应的图块的图块方差;
将每个像素点对应的图块的图块均值作为每个像素点的信号值,以及将每个像素点对应的图块的图块方差作为每个像素点的噪声方差;
对所述多个像素点的信号值和噪声方差进行拟合,得到所述噪声图像中的信号与噪声之间的映射关系。
6.如权利要求5所述的方法,其特征在于,所述将所述像素数值差异与所述相关值相除,得到所述第一像素点与所述第二像素点之间的标准化像素数值差异之前,还包括:
基于所述映射关系,确定第一图块与第二图块中除所述第一像素点和所述第二像素点之外的其他像素点中,位置对应的像素点的相关值;其中,所述第一图块是以所述第一像素点为中心,以所述参考数值为尺寸确定的图块,所述第二图块是以所述第二像素点为中心,以所述参考数值为尺寸确定的图块;
所述方法还包括:
根据所述第一图块与所述第二图块中每个对应位置的像素点的相关值,分别确定所述第一图块与所述第二图块中每个对应位置的像素点的目标标准化像素数值差异;
将所确定的目标标准化像素数值差异之和与所述第一像素点对应的第一图块内的像素点总个数相除,得到所述第一像素点与所述第二像素点之间的标准化像素数值差异。
7.如权利要求1所述的方法,其特征在于,所述方法还包括:
以所述第一像素点为中心、以参考数值为尺寸,在所述噪声图像中确定所述第一像素点对应的第一图块;
以所述第二像素点为中心、以所述参考数值为尺寸,在所述噪声图像中确定所述第二像素点对应的第二图块;
分别确定所述第一图块与所述第二图块中除所述第一像素点和所述第二像素点之外的其他像素点中,位置对应的像素点的像素数值差异;
所述方法还包括:
分别确定所述第一图块与所述第二图块中的每个对应位置的像素点的像素数值的均值;
基于所述第一图块与所述第二图块中的每个对应位置的像素点的像素数值差异和均值,确定所述第一图块与所述第二图块中的每个对应位置的像素点的目标标准化像素数值差异;
对所确定的每个对应位置的像素点的目标标准化像素数值差异进行求和,将求和得到的数值与所述第一图块中的像素点总个数相除,得到所述第一像素点与所述第二像素点之间的标准化像素数值差异。
8.如权利要求1所述的方法,其特征在于,所述第一像素点的数量为多个,所述基于所述标准化像素数值差异,对所述噪声图像进行降噪处理,得到降噪图像,包括:
基于每个第一像素点与每个第一像素点的邻域内的第二像素点之间的标准化像素数值差异,确定每个第一像素点与每个第一像素点的邻域内的第二像素点之间的相似度;
基于所述相似度,对每个第一像素点的像素数值进行加权平均降噪处理;
将加权平均降噪处理后的噪声图像确定为所述降噪图像。
9.一种图像处理装置,其特征在于,所述装置包括:
第一确定模块,用于确定待处理的噪声图像中的第一像素点与所述第一像素点的邻域内的第二像素点之间的像素数值差异;
处理模块,用于确定所述第一像素点的像素数值与所述第二像素点的像素数值的平均值,得到第一信号值;确定所述噪声图像中的信号与噪声之间的映射关系;根据所述映射关系和所述第一信号值,确定所述第一像素点与所述第二像素点的噪声标准差,得到所述第一像素点的像素数值与所述第二像素点的像素数值的相关值;将所述像素数值差异与所述相关值相除,得到所述第一像素点与所述第二像素点之间的标准化像素数值差异;
降噪模块,用于基于所述标准化像素数值差异,对所述噪声图像进行降噪处理,得到降噪图像。
10.一种电子设备,其特征在于,所述电子设备包括处理器、通信接口、存储器和通信总线,所述处理器、所述通信接口和所述存储器通过所述通信总线完成相互间的通信,所述存储器用于存放计算机程序,所述处理器用于执行所述存储器上所存放的程序,以实现权利要求1-8任一所述方法的步骤。
11.一种计算机可读存储介质,其特征在于,所述存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-8任一所述方法的步骤。
CN201911416029.7A 2019-12-31 2019-12-31 图像处理方法、装置、设备及存储介质 Active CN113129221B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911416029.7A CN113129221B (zh) 2019-12-31 2019-12-31 图像处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911416029.7A CN113129221B (zh) 2019-12-31 2019-12-31 图像处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113129221A CN113129221A (zh) 2021-07-16
CN113129221B true CN113129221B (zh) 2023-08-18

Family

ID=76769500

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911416029.7A Active CN113129221B (zh) 2019-12-31 2019-12-31 图像处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113129221B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2862759A1 (en) * 2012-01-06 2013-07-11 Ricoh Company, Limited Image processing apparatus, imaging device, image processing method, and computer-readable recording medium
CN104021533A (zh) * 2014-06-24 2014-09-03 浙江宇视科技有限公司 一种实时图像降噪方法及装置
CN104680483A (zh) * 2013-11-25 2015-06-03 浙江大华技术股份有限公司 图像的噪声估计方法、视频图像去噪方法及装置
CN108305222A (zh) * 2018-01-04 2018-07-20 浙江大华技术股份有限公司 一种图像的降噪方法、装置、电子设备和存储介质
CN110246089A (zh) * 2018-03-07 2019-09-17 舜宇光学(浙江)研究院有限公司 基于非局域均值滤波的Bayer域图像降噪***及其方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4280614B2 (ja) * 2003-12-09 2009-06-17 Okiセミコンダクタ株式会社 ノイズ低減回路及び方法
JP6161326B2 (ja) * 2013-02-27 2017-07-12 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2862759A1 (en) * 2012-01-06 2013-07-11 Ricoh Company, Limited Image processing apparatus, imaging device, image processing method, and computer-readable recording medium
CN104680483A (zh) * 2013-11-25 2015-06-03 浙江大华技术股份有限公司 图像的噪声估计方法、视频图像去噪方法及装置
CN104021533A (zh) * 2014-06-24 2014-09-03 浙江宇视科技有限公司 一种实时图像降噪方法及装置
CN108305222A (zh) * 2018-01-04 2018-07-20 浙江大华技术股份有限公司 一种图像的降噪方法、装置、电子设备和存储介质
CN110246089A (zh) * 2018-03-07 2019-09-17 舜宇光学(浙江)研究院有限公司 基于非局域均值滤波的Bayer域图像降噪***及其方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王朋 ; 吕卫文 ; 吴懿平 ; 安兵 ; 刘骏 ; .基于灰度差值的均值滤波算法及其在AXI中的应用.电子工艺技术.2012,(03),10-13. *

Also Published As

Publication number Publication date
CN113129221A (zh) 2021-07-16

Similar Documents

Publication Publication Date Title
CN111127509B (zh) 目标跟踪方法、装置和计算机可读存储介质
CN109558837B (zh) 人脸关键点检测方法、装置及存储介质
CN111027490B (zh) 人脸属性识别方法及装置、存储介质
CN108363982B (zh) 确定对象数量的方法及装置
CN111754386B (zh) 图像区域屏蔽方法、装置、设备及存储介质
CN112581358B (zh) 图像处理模型的训练方法、图像处理方法及装置
CN110705614A (zh) 模型训练方法、装置、电子设备及存储介质
CN111931712B (zh) 人脸识别方法、装置、抓拍机及***
CN110737692A (zh) 一种检索数据的方法、建立索引库的方法及装置
CN111860064B (zh) 基于视频的目标检测方法、装置、设备及存储介质
CN111639639B (zh) 检测文本区域的方法、装置、设备及存储介质
CN112365088B (zh) 行程关键点的确定方法、装置、设备及可读存储介质
CN111402873B (zh) 语音信号处理方法、装置、设备及存储介质
CN112214115B (zh) 输入方式的识别方法、装置、电子设备及存储介质
CN112990424B (zh) 神经网络模型训练的方法和装置
CN113129221B (zh) 图像处理方法、装置、设备及存储介质
CN113592874B (zh) 图像显示方法、装置和计算机设备
CN112184802B (zh) 标定框的调整方法、装置及存储介质
CN111723615B (zh) 对检测物图像进行检测物匹配判定的方法和装置
CN111984738B (zh) 数据关联方法、装置、设备及存储介质
CN111488895B (zh) 对抗数据生成方法、装置、设备及存储介质
CN113590877B (zh) 获取标注数据的方法及装置
CN113052408B (zh) 一种社区聚合的方法及装置
CN112836714B (zh) 一种智能模型的训练方法及装置
CN110660031B (zh) 图像锐化方法及装置、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant