CN111768351A - 图像去噪方法、图像去噪装置、存储介质与电子设备 - Google Patents

Abstract

本公开提供了一种图像去噪方法、图像去噪装置、计算机可读存储介质与电子设备，涉及图像处理技术领域。该图像去噪方法包括：获取RAW图像；利用编码‑解码模型对所述RAW图像进行处理，得到噪声图像；通过所述噪声图像对所述RAW图像进行去噪，得到去噪图像。本公开采用编码‑解码模型学习RAW图像中的噪声特征，而无需学习图像本身的内容特征，有利于提高模型输出的噪声图像的精度，从而得到高质量的去噪图像，且可以应用于单张RAW图像的去噪，实现成本较低。

Description

图像去噪方法、图像去噪装置、存储介质与电子设备

技术领域

本公开涉及图像处理技术领域，尤其涉及一种图像去噪方法、图像去噪装置、计算机可读存储介质与电子设备。

背景技术

在拍摄图像时，受光照强度、传感器等因素的影响，会导致图像中生成大量的噪声，使图像丢失细节信息，甚至变得模糊。因此需要对图像进行去噪。

相关技术中，图像去噪主要包括两种方法：其一是通过传统的滤波方式，如高斯滤波、双边滤波等，对空域或时域的图像信号进行处理，抑制噪声影响，然而该方法容易产生不连续的噪点。其二是通过叠加多帧图像，进行多帧的噪点数量和位置的计算与筛选，将噪点区域用没有噪点的帧进行位置替换，从而补偿噪声，叠加多帧图像时一旦存在误差，则可能导致图像中出现“鬼影”区域，且该方法要求拍摄多帧图像，应用成本较高。

可见，相关技术存在去噪效果不佳、应用成本较高的问题。

发明内容

本公开提供了一种图像去噪方法、图像去噪装置、计算机可读存储介质与电子设备，进而至少在一定程度上改善相关技术去噪效果不佳、应用成本较高的问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的第一方面，提供一种图像去噪方法，包括：获取RAW图像；利用编码-解码模型对所述RAW图像进行处理，得到噪声图像；通过所述噪声图像对所述RAW图像进行去噪，得到去噪图像。

根据本公开的第二方面，提供一种图像去噪装置，包括：图像获取模块，用于获取RAW图像；第一处理模块，用于利用编码-解码模型对所述RAW图像进行处理，得到噪声图像；第二处理模块，用于通过所述噪声图像对所述RAW图像进行去噪，得到去噪图像。

根据本公开的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面的图像去噪方法及其可能的实施方式。

根据本公开的第四方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述第一方面的图像去噪方法及其可能的实施方式。

本公开的技术方案具有以下有益效果：

一方面，本方案采用编码-解码模型学习RAW图像中的噪声特征，而无需学习图像本身的内容特征，有利于提高模型输出的噪声图像的精度，采用该噪声图像对RAW图像进行去噪，可以得到高质量的去噪图像。另一方面，提供了一种针对RAW图像的去噪方案，去噪效果更佳彻底，并且可以提高去噪后图像的纯净度，保留较多的图像细节信息。再一方面，本方案基于单张RAW图像即可实现，无需拍摄多张图像，实现成本较低。

在本公开的一些实施方式中，对RAW图像进行黑电平补偿、坏点校正等预处理后，再利用编码-解码模型进行去噪处理，可以对图像中局部不连续的噪声进行有效抑制，改善噪声一致性，降低图像中由于噪点导致的突变现象，进一步提高图像质量。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施方式，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出本示例性实施方式中电子设备的结构示意图；

图2示出本示例性实施方式中一种图像去噪方法的流程步骤图；

图3示出本示例性实施方式中一种图像去噪方法的流程示意图；

图4示出本示例性实施方式中噪声补偿的流程步骤图；

图5示出本示例性实施方式中学习噪声分布变化数据的流程示意图；

图6示出本示例性实施方式中得到噪声图像的流程步骤图；

图7示出本示例性实施方式中得到噪声图像的流程示意图；

图8示出本示例性实施方式中训练编码-解码模型的流程步骤图；

图9示出本示例性实施方式中训练编码-解码模型的流程示意图；

图10示出本示例性实施方式中一种图像处理装置的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

本公开的示例性实施方式首先提供一种图像去噪方法。该图像去噪方法可以运行于电子设备，该电子设备一般包括处理器和存储器，存储器用于存储处理器的可执行指令，也可以存储如图像等应用数据，处理器用于执行可执行指令，以实现数据处理。该电子设备可以是拍照设备，如包含拍照功能的智能手机、平板电脑、无人机等，在拍摄图像后，对RAW图像(RAW是一种图像格式，表示由图像传感器输出的原始图像)进行去噪；该电子设备也可以是不包含拍照功能的处理设备，如台式电脑、服务器等，从其他拍照设备获取RAW图像后，进行去噪，在完成去噪后还可以将图像返回至图像拍摄设备。

下面以图1中的移动终端100为例，对上述电子设备的构造进行示例性说明。本领域技术人员应当理解，除了特别用于移动目的的部件之外，图1中的构造也能够应用于固定类型的设备。在另一些实施方式中，移动终端100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或软件和硬件的组合实现。各部件间的接口连接关系只是示意性示出，并不构成对移动终端100的结构限定。在另一些实施方式中，移动终端100也可以采用与图1不同的接口连接方式，或多种接口连接方式的组合。

如图1所示，移动终端100具体可以包括：处理器110、内部存储器121、外部存储器接口122、USB接口130、充电管理模块140、电源管理模块141、电池142、天线1、天线2、移动通信模块150、无线通信模块160、音频模块170、扬声器171、受话器172、麦克风173、耳机接口174、传感器模块180、显示屏190、摄像模组191、指示器192、马达193、按键194以及用户标识模块(Subscriber Identification Module，SIM)卡接口195等。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(Application Processor，AP)、调制解调处理器、图形处理器(Graphics ProcessingUnit，GPU)、图像信号处理器(Image Signal Processor，ISP)、控制器、编码器、解码器、数字信号处理器(Digital Signal Processor，DSP)、基带处理器和/或神经网络处理器(Neural-Network Processing Unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

编码器可以对图像或视频数据进行编码(即压缩)，形成码流数据；解码器可以对图像或视频的码流数据进行解码(即解压缩)，以还原出图像或视频数据。移动终端100可以支持一种或多种编码器和解码器。这样，移动终端100可以处理多种编码格式的图像或视频，例如：JPEG(Joint Photographic Experts Group，联合图像专家组)、PNG(PortableNetwork Graphics，便携式网络图形)、BMP(Bitmap，位图)等图像格式，MPEG(MovingPicture Experts Group，动态图像专家组)、H.264、HEVC(High Efficiency VideoCoding，高效率视频编码)等视频格式。

NPU通过部署神经网络，利用神经网络处理图像特征提取、图像分类、图像识别等计算工作。在一些实施方式中，神经网络也可以部署于AP中。

在一些实施方式中，处理器110可以包括一个或多个接口。接口可以包括集成电路(Inter-Integrated Circuit，I2C)接口、集成电路内置音频(Inter-Integrated CircuitSound，I2S)接口、脉冲编码调制(Pulse Code Modulation，PCM)接口、通用异步收发传输器(Universal Asynchronous Receiver/Transmitter，UART)接口、移动产业处理器接口(Mobile Industry Processor Interface，MIPI)、通用输入输出(General-PurposeInput/Output，GPIO)接口、用户标识模块(Subscriber Identity Module，SIM)接口和/或通用串行总线(Universal Serial Bus，USB)接口等。通过不同的接口和移动终端100的其他部件形成连接。

USB接口130是符合USB标准规范的接口，具体可以是MiniUSB接口，MicroUSB接口，USBTypeC接口等。USB接口130可以用于连接充电器为移动终端100充电，也可以连接耳机，通过耳机播放音频，还可以用于移动终端100连接其他电子设备，例如连接电脑、***设备等。

充电管理模块140用于从充电器接收充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为设备供电。

电源管理模块141用于连接电池142、充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为移动终端100的各个部分供电，还可以用于监测电池的状态。

移动终端100的无线通信功能可以通过天线1、天线2、移动通信模块150、无线通信模块160、调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。移动终端100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。移动通信模块150可以提供应用在移动终端100上的包括2G/3G/4G/5G等无线通信的解决方案。

无线通信模块160可以提供应用在移动终端100上的包括无线局域网(WirelessLocal Area Networks，WLAN)(如无线保真(Wireless Fidelity，Wi-Fi)网络)、蓝牙(Bluetooth，BT)、全球导航卫星***(Global Navigation Satellite System，GNSS)、调频(Frequency Modulation，FM)、近距离无线通信技术(Near Field Communication，NFC)、红外技术(Infrared，IR)等无线通信解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

在一些实施方式中，移动终端100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得移动终端100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯***(Global System for Mobilecommunications，GSM)，通用分组无线服务(General Packet Radio Service，GPRS)，码分多址接入(Code Division Multiple Access，CDMA)，宽带码分多址(Wideband CodeDivision Multiple Access，WCDMA)，时分码分多址(Time Division-Synchronous CodeDivision Multiple Access，TD-SCDMA)，长期演进(Long Term Evolution，LTE)，新空口(New Radio，NR)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。

移动终端100通过GPU、显示屏190及应用处理器等实现显示功能。GPU用于执行数学和几何计算，以实现图形渲染，并连接显示屏190和应用处理器。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。移动终端100可以包括一个或多个显示屏190，用于显示图像，视频等。

移动终端100可以通过ISP、摄像模组191、编码器、解码器、GPU、显示屏190及应用处理器等实现拍摄功能。

摄像模组191用于捕获静态图像或视频，通过感光元件采集光信号，转换为电信号。ISP用于处理摄像模组191反馈的数据，将电信号转换成数字图像信号。

外部存储器接口122可以用于连接外部存储卡，例如Micro SD卡，实现扩展移动终端100的存储能力。

内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作***，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储移动终端100使用过程中所创建的数据(比如图像，视频)等。处理器110通过运行存储在内部存储器121的指令和/或存储在设置于处理器中的存储器的指令，执行移动终端100的各种功能应用以及数据处理。

移动终端100可以通过音频模块170、扬声器171、受话器172、麦克风173、耳机接口174及应用处理器等实现音频功能。例如音乐播放、录音等。音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。扬声器171，用于将音频电信号转换为声音信号。受话器172，用于将音频电信号转换成声音信号。麦克风173，用于将声音信号转换为电信号。耳机接口174用于连接有线耳机。

传感器模块180可以包括深度传感器1801、压力传感器1802、陀螺仪传感器1803、气压传感器1804等。深度传感器1801用于获取景物的深度信息。压力传感器1802用于感受压力信号，可以将压力信号转换成电信号，用于实现压力触控等功能。陀螺仪传感器1803可以用于确定移动终端100的运动姿态，可用于拍摄防抖、导航、体感游戏等场景。气压传感器1804用于测量气压，可通过计算海拔高度，辅助定位和导航。此外，根据实际需要，还可以在传感器模块180中设置其他功能的传感器，例如磁传感器、加速度传感器、距离传感器等。

指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。

马达193可以产生振动提示，例如来电、闹钟、接收信息等的振动提示，也可以用于触摸振动反馈等。

按键194包括开机键，音量键等。按键194可以是机械按键。也可以是触摸式按键。移动终端100可以接收按键输入，产生与移动终端100的用户设置以及功能控制有关的键信号输入。

移动终端100可以支持一个或多个SIM卡接口195，用于连接SIM卡，使移动终端100通过SIM卡和网络交互，实现通话以及数据通信等功能。

下面结合图2对本公开示例性实施方式的图像去噪方法进行具体说明。如图2所示，该图像去噪方法可以包括以下步骤S210至S230：

步骤S210，获取RAW图像。

RAW图像是在拍照时，由CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)、CCD(Charge-coupled Device，电荷耦合元件)等图像传感器将感应到的光信号转换为数字信号所生成的原始图像，可以是不同曝光量、不同感光度的亮暗帧图像。如上所述，RAW图像可以由本设备拍摄并输出，也可以由本设备从其他拍照设备获取。

在一种可选的实施方式中，获取RAW图像后，在执行后续的步骤S220之前，可以先对RAW图像进行预处理。参考图3所示，该预处理是在RAW域中的处理，用于弥补RAW图像中的一些缺陷。将预处理前的RAW图像记为第一RAW图像，预处理后的RAW图像记为第二RAW图像，第一RAW图像可以是未经加工与处理的原始图像，第二RAW图像可以是Ideal RAW图像。例如在一些单反相机中，提供给用户的RAW图像一般是经过预处理的Ideal RAW图像，其可能采用不同于RAW的文件扩展名(如CR2、NEF、ARW)，但实质上都属于RAW格式。

预处理可以包括以下任意一种或多种方式：

黑电平补偿。厂商通常会对图像传感器设置一个偏移量，用于在光信号到数字信号的转换过程中，对暗部区域的信号进行放大，以保留暗部细节，这样导致RAW图像中的黑色数据大于0，如可能是5(当偏移量为5的时候)，称为黑电平。对RAW图像的数据进行反向补偿，使黑色数据回到0的过程，即黑电平补偿，通常可以直接减去偏移量，或者通过转换函数进行计算等。

坏点校正。图像传感器上光线采集点的阵列可能存在工艺缺陷，或者光信号转换为数字信号的过程中出现错误等，都会导致RAW图像中的像素点缺陷，称为坏点。通常在每种颜色的通道中进行单独的坏点校正，可以通过中值滤波等方式实现。

暗角补偿。光线通过镜片时，会产生折射，镜片边缘区域的光线所产生的折射角比镜片中心区域的折射角大，导致图像边缘区域较暗而中心区域较亮，称为暗角。通过建立补偿参数表，对RAW图像中不同区域的像素点施加补偿，可以修正RAW图像边缘过暗、色偏等问题，消除暗角现象。

绿平衡。图像传感器一般采用G/R/B/G或其他相似排布的滤镜，水平方向上与R相邻的G为Gr，与B相邻的G为Gb，Gr容易受到R的串扰，Gb容易受到B的串扰，导致Gr和Gb通道的颜色不平衡。通过在一定区域内将G像素点平均化等方式进行动态矫正，可以实现绿平衡。

实际应用中，可以根据需求组合采用上述各种方式，或者增加其他方式的预处理等，本公开对此不做限定。

在一种可选的实施方式中，对RAW图像进行预处理后，还可以根据第一RAW图像对第二RAW图像进行噪声补偿。在第一RAW图像中，可以通过相机参数，如曝光量、感光度等，估计图像中的噪声分布。而经过预处理的第二RAW图像中，由于进行了黑电平补偿、坏点校正等，导致噪声部分发生了变化。因此，通过对第二RAW图像进行噪声补偿，使其噪声分布回到第一RAW图像中的分布情况，这样第二RAW图像的噪声分布更具规律性，更有利于后续针对性的去噪处理。需要说明的是，一般情况下，经过噪声补偿后，可以实现第一RAW图像和第二RAW图像的噪声分布基本相似，难以也无需达到完全相同。

进一步的，参考图4所示，噪声补偿可以包括以下步骤S410至S430：

步骤S410，获取第一RAW图像的亮度参数；

步骤S420，根据亮度参数确定第二RAW图像相对于第一RAW图像的噪声分布变化数据；

步骤S430，通过噪声分布变化数据对第二RAW图像进行噪声补偿。

其中，亮度参数可以是对第一RAW图像各区域的亮度检测后得到的全局亮度参数，也可以是拍摄图像时所设置的曝光补偿参数，如EV-2、EV-1、EV0、EV+1、EV+2等。在相同或相近的亮度参数下，噪声分布往往呈现出相似的分布规律，通过预处理后，噪声分布的变化情况也较为相似。因此可以预先通过大量的图像学习亮度参数与图像的噪声分布变化数据的对应关系，进而根据第一RAW图像的亮度参数确定对应的噪声分布变化数据，该噪声分布变化数据表示第二RAW图像相对于第一RAW图像的噪声分布变化。在得到噪声分布变化数据后，对第二RAW图像进行反向补偿。

图5示出了学习噪声分布变化数据的示意性过程，可以建立机器学习模型。获取样本RAW图像，将预处理前的第一RAW样本图像和预处理后的第二样本RAW图像形成一组样本数据，输入机器学习模型中，通过关联学习两图像的噪声分布特征，输出噪声分布变化数据。为了准确学习到不同条件下的噪声分布变化数据，可以将样本数据按照亮度参数分组，例如EV-2曝光补偿参数下拍摄的第一RAW样本图像与对应的第二样本RAW图像形成一个数据集，EV-1、EV0、EV+1、EV+2等每个曝光补偿参数下均形成各自的数据集，然后分别利用每个数据集训练上述机器学习模型，得到不同亮度参数对应的噪声分布变化数据。

步骤S220，利用编码-解码模型对RAW图像进行处理，得到噪声图像。

其中，编码-解码模型主要由编码器(Encoder)和解码器(Decoder)两部分组成，可以是端到端(End to End)结构，编码器用于学习图像特征，解码器用于将学习到的特征还原为图像。编码-解码模型输出的是RAW图像对应的噪声图像，因此，编码-解码模型主要学习RAW图像中的噪声特征，而无需学习图像本身的内容特征，从而降低了模型的复杂度与计算量。

在一种可选的实施方式中，参考图6所示，步骤S220可以包括以下步骤S610和S620：

步骤S610，利用编码-解码模型中的编码器对RAW图像进行卷积与下采样处理，得到RAW图像的特征图像；

步骤S620，利用编码-解码模型中的解码器对特征图像进行卷积与上采样处理，得到噪声图像。

编码器可以包括串接的多组卷积层(Convolutional Layer)与池化层(PoolingLayer)，每组卷积层与池化层进行卷积、激活与下采样操作，得到RAW图像在一定尺度上的特征，通过多尺度的处理，学习到RAW图像全局与局部的噪声特征，得到特征图像。

解码器可以包括串接的多组卷积层与上采样层(Upsampling Layer)，每组卷积层与上采样层进行卷积、激活与上采样(如可以是双线性插值上采样)操作，将噪声帖子在多个尺度上进行还原，最终得到噪声图像。

应当理解，上述编码器与解码器中，还可以根据实际需求设置其他功能的中间层，如残差块(Residual Block)、丢弃层(Dropout Layer)等。

需要说明的是，步骤S220可以对未经预处理的第一RAW图像进行处理，也可以对经过预处理的第二RAW图像进行处理。在RAW图像进行预处理的情况下，通常选择第二RAW图像输入到编码-解码模型中，以得到第二RAW图像对应的噪声图像。

步骤S230，通过噪声图像对RAW图像进行去噪，得到去噪图像。

在获得噪声图像的情况下，可以根据噪声图像对RAW图像中的噪声成分进行滤除，例如RAW图像和噪声图像的尺寸相同，可以将RAW图像和噪声图像相减，即对应像素点的像素值相减，得到去噪图像；或者根据噪声图像中的噪声分布情况，对RAW图像的相应噪声区域进行滤波与平滑处理，得到去噪图像。

图7示出了去噪的示意性流程，将经过预处理的Ideal RAW图像(即第二RAW图像)输入编码器，得到特征图像后再输入解码器，得到噪声图像，再结合Ideal RAW图像与噪声图像进行去噪处理，输出去噪图像。

去噪图像也是RAW格式的图像，后续可以将其转换为RGB等格式的图像并进行存储或显示。

本公开的示例性实施方式还提供编码-解码模型的训练方法，参考图8所示，可以包括以下步骤S810至S830：

步骤S810，将样本RAW图像输入待训练的编码-解码模型，得到样本噪声图像；

步骤S820，通过样本噪声图像对样本RAW图像进行去噪，得到样本去噪图像；

步骤S830，根据样本去噪图像与样本RAW图像对应的标签图像之间的误差，更新编码-解码模型的参数。

其中，样本RAW图像可以是在正常曝光或短曝光下拍摄的RAW图像，以保证图像中具有一定的噪声；标签图像(Ground Truth)可以是在与样本RAW图像相同的拍摄场景中所拍摄的长曝光图像，以保证图像中的噪声较低。

图9示出了上述训练过程的示例性流程，将样本RAW图像进行预处理，得到样本Ideal RAW图像，再经过噪声补偿后输入编码-解码模型，输出样本噪声图像；从样本IdealRAW图像中减去样本噪声图像，得到样本去噪图像；计算样本去噪图像与标签图像之间的误差，以确定损失函数值；再根据损失函数对编码-解码模型中各参数的梯度，采用梯度下降更新模型参数，从而实现模型训练。

可见，本示例性实施方式中，标签图像与编码-解码模型直接输出的样本噪声图像并不对应，而需要对样本噪声图像进行一次处理后，结合标签图像进行模型优化，这样有利于简化模型结构，降低训练量，并提高模型输出的噪声图像的精度。

在一种可选的实施方式中，可以通过步骤S210获取多张RAW图像，例如在拍照时连续拍摄多帧图像，或者调整不同的曝光量拍摄多帧图像，输出每一帧的RAW图像；然后通过步骤S220和S230对每张RAW图像进行去噪处理，得到对应的去噪图像；最后可以合成这些去噪图像，生成HDR(High Dynamic Range，高动态范围)图像。在进行HDR合成时，可以在每一区域采用噪声最低的图像内容，这样相当于进行了一次多帧降噪处理，可以在去噪图像的基础上进一步提高去噪效果。

参考上述图3所示，将多张初始的RAW图像经过RAW域的预处理后，得到Ideal RAW图像，将其输入AINR(Artificial Intelligence Noise Reduction，人工智能降噪)算法单元，通过单元中部署的编码-解码模型进行处理，并从Ideal RAW图像中减除所得到噪声图像，由AINR算法单元输出多张去噪图像；再将去噪图像输入HDR合成单元，通过HDR合成一张RAW HDR图像。后续还可以将RAW HDR图像转换为RGB格式的HDR图像。

综上所述，本示例性实施方式可以实现以下技术效果：

一方面，本方案采用编码-解码模型学习RAW图像中的噪声特征，而无需学习图像本身的内容特征，有利于提高模型输出的噪声图像的精度，采用该噪声图像对RAW图像进行去噪，可以得到高质量的去噪图像。另一方面，提供了一种针对RAW图像的去噪方案，去噪效果更佳彻底，并且可以提高去噪后图像的纯净度，保留较多的图像细节信息。再一方面，本方案基于单张RAW图像即可实现，无需拍摄多张图像，实现成本较低。

在本公开的一些实施方式中，对RAW图像进行黑电平补偿、坏点校正等预处理后，再利用编码-解码模型进行去噪处理，可以对图像中局部不连续的噪声进行有效抑制，改善噪声一致性，降低图像中由于噪点导致的突变现象，进一步提高图像质量。

本公开的示例性实施方式还提供一种图像去噪装置。参考图10所示，该图像去噪装置1000可以包括：

图像获取模块1010，用于获取RAW图像；

第一处理模块1020，用于利用编码-解码模型对RAW图像进行处理，得到噪声图像；

第二处理模块1030，用于通过噪声图像对RAW图像进行去噪，得到去噪图像。

在一种可选的实施方式中，其特征在于，图像获取模块1010还包括预处理单元，用于对RAW图像进行预处理；预处理包括以下任意一种或多种：黑电平补偿，坏点校正，暗角补偿，绿平衡。

在一种可选的实施方式中，图像获取模块1010还包括噪声补偿单元，用于在对RAW图像进行预处理后，根据第一RAW图像对第二RAW图像进行噪声补偿。第一RAW图像为预处理前的RAW图像，第二RAW图像为预处理后的RAW图像。

在一种可选的实施方式中，噪声补偿单元，被配置为：

获取第一RAW图像的亮度参数；

根据亮度参数确定第二RAW图像相对于第一RAW图像的噪声分布变化数据；

通过噪声分布变化数据对第二RAW图像进行噪声补偿。

在一种可选的实施方式中，第一处理模块1020，被配置为：

利用编码-解码模型中的编码器对RAW图像进行卷积与下采样处理，得到RAW图像的特征图像；

利用编码-解码模型中的解码器对特征图像进行卷积与上采样处理，得到噪声图像。

在一种可选的实施方式中，第一处理模块1020，被配置为：

将样本RAW图像输入待训练的编码-解码模型，得到样本噪声图像；

通过样本噪声图像对样本RAW图像进行去噪，得到样本去噪图像；

根据样本去噪图像与样本RAW图像对应的标签图像之间的误差，更新编码-解码模型的参数；

其中，标签图像是在与样本RAW图像相同的拍摄场景中所拍摄的长曝光图像。

在一种可选的实施方式中，第二处理模块1030，被配置为：

将RAW图像和噪声图像相减，得到去噪图像。

在一种可选的实施方式中，图像获取模块1010，还用于获取多张RAW图像。图像去噪装置1000还可以包括动态合成模块，用于在得到每张RAW图像对应的去噪图像后，合成去噪图像，生成高动态范围图像。

上述装置中各部分的具体细节在方法部分实施方式中已经详细说明，因而不再赘述。

本公开的示例性实施方式还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤，例如可以执行图2、图4、图6或图8中任意一个或多个步骤。

该程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为***、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“***”。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施方式。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施方式仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

Claims (11)

1.一种图像去噪方法，其特征在于，包括：

获取原始RAW图像；

利用编码-解码模型对所述RAW图像进行处理，得到噪声图像；

通过所述噪声图像对所述RAW图像进行去噪，得到去噪图像。

2.根据权利要求1所述的方法，其特征在于，在利用编码-解码模型对所述RAW图像进行处理前，所述方法还包括：

对所述RAW图像进行预处理；所述预处理包括以下任意一种或多种：黑电平补偿，坏点校正，暗角补偿，绿平衡。

3.根据权利要求2所述的方法，其特征在于，所述预处理前的RAW图像为第一RAW图像，所述预处理后的RAW图像为第二RAW图像；

在对所述RAW图像进行预处理后，所述方法还包括：

根据所述第一RAW图像对所述第二RAW图像进行噪声补偿。

4.根据权利要求3所述的方法，其特征在于，所述根据所述第一RAW图像对所述第二RAW图像进行噪声补偿，包括：

获取所述第一RAW图像的亮度参数；

根据所述亮度参数确定所述第二RAW图像相对于所述第一RAW图像的噪声分布变化数据；

通过所述噪声分布变化数据对所述第二RAW图像进行噪声补偿。

5.根据权利要求1所述的方法，其特征在于，所述利用编码-解码模型对所述RAW图像进行处理，得到噪声图像，包括：

利用所述编码-解码模型中的编码器对所述RAW图像进行卷积与下采样处理，得到所述RAW图像的特征图像；

利用所述编码-解码模型中的解码器对所述特征图像进行卷积与上采样处理，得到所述噪声图像。

6.根据权利要求1所述的方法，其特征在于，所述编码-解码模型，通过以下方式训练：

将样本RAW图像输入待训练的编码-解码模型，得到样本噪声图像；

通过所述样本噪声图像对所述样本RAW图像进行去噪，得到样本去噪图像；

根据所述样本去噪图像与所述样本RAW图像对应的标签图像之间的误差，更新所述编码-解码模型的参数；

其中，所述标签图像是在与所述样本RAW图像相同的拍摄场景中所拍摄的长曝光图像。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述通过所述噪声图像对所述RAW图像进行去噪，得到去噪图像，包括：

将所述RAW图像和所述噪声图像相减，得到去噪图像。

8.根据权利要求1至6任一项所述的方法，其特征在于，所述获取原始RAW图像，包括：

获取多张RAW图像；

在得到每张所述RAW图像对应的去噪图像后，所述方法还包括：

合成所述去噪图像，生成高动态范围图像。

9.一种图像去噪装置，其特征在于，包括：

图像获取模块，用于获取RAW图像；

第一处理模块，用于利用编码-解码模型对所述RAW图像进行处理，得到噪声图像；

第二处理模块，用于通过所述噪声图像对所述RAW图像进行去噪，得到去噪图像。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8任一项所述的方法。

11.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至8任一项所述的方法。

Images