CN111968052B - 图像处理方法、图像处理装置及存储介质 - Google Patents

Abstract

本公开是关于一种图像处理方法、图像处理装置及存储介质，图像处理方法应用于电子设备，电子设备中安装有图像采集装置，图像处理方法包括：获取图像采集装置采集的原始图像，原始图像为像素位置发生像差的图像；将原始图像输入深度卷积神经网络模型，得到处理后的图像，其中，深度卷积神经网络为基于图像采集装置的像差函数训练得到。本公开实施例通过与图像采集装置具有相同属性的图像采集装置利用测量手段确定像差函数，基于得到的像差函数训练深度卷积神经网络，利用训练好的深度卷积神经网络对图像采集装置采集的发生相差的图像进行去除相差的处理，提高图像处理质量。

Description

图像处理方法、图像处理装置及存储介质

技术领域

本公开涉及图像处理领域，尤其涉及图像处理方法、图像处理装置及存储介质。

背景技术

随着智能终端技术的飞速发展，智能终端在人们的工作、生活中越来越普及，为了更好地满足用户的使用需求，其各方面性能也越来越高。用户使用终端随时随地的进行拍摄，给用户带来了极大的便捷。因此，倍受关注的一方面性能就是终端的拍摄性能。

终端的拍摄性能较为直观地反应在所拍摄图像的质量，终端传感器尺寸越大，拍摄照片的单位面积像素所接收的光线越多，成像质量越好。相机的光圈，即光线进入相机到达传感器的毕竟通道，相机的光圈越大，单位时间通过的光线越多，所需曝光时间越短。因此，对于终端的摄像头而言，光圈越大图像质量越好。

为了追求优越的图像质量，终端所配置的图像传感器的尺寸与光圈的发展趋势都是越来越大，与此同时大图像传感器、大光圈终端存在的光学像差，引起拍摄图像模糊、拍摄效果不佳，影响了用户体验。

发明内容

为克服相关技术中存在的问题，本公开提供一种图像处理方法、图像处理装置及存储介质。

根据本公开实施例的第一方面，提供一种图像处理方法，应用于电子设备，所述电子设备中安装有图像采集装置，所述图像处理方法包括：获取所述图像采集装置采集的原始图像，所述原始图像为像素位置发生像差的图像；将所述原始图像输入深度卷积神经网络模型，得到处理后的图像，其中，所述深度卷积神经网络为基于所述图像采集装置的像差函数函数训练得到。

在一实施例中，所述深度卷积神经网络采用如下方式基于像差函数训练得到：在一实施例中，所述深度卷积神经网络采用如下方式基于像差函数训练得到：获取与所述图像采集装置具有相同属性的图像采集装置采集的像差参考图像组，所述像差参考图像组中每一像差参考图像中包括有像素位置发生像差的像素；获取清晰样本图像组，所述清晰样本图像组中包括的清晰样本图像为未发生像差的图像；基于所述像差参考图像组确定所述像差函数，并将所述像差函数与所述清晰样本图像组中的所述清晰样本图像进行卷积操作，得到模糊样本图像组；基于所述清晰样本图像组和所述模糊样本图像组中对应的清晰样本图像和模糊样本图像组成样本图像，并基于所述样本图像对训练得到所述深度卷积神经网络。

在一实施例中，所述像差参考图像组中的图像为与所述图像采集装置具有相同属性的图像采集装置拍摄的点光源图像；所述基于所述像差参考图像组确定所述像差函数，包括：对所述点光源图像中发生像差的全部像素进行测量，得到发生像差后的像素位置；将所述像素位置映射为像素亮度，并对所述全部像素的像素亮度进行归一化处理，得到所述点光源图像对应的像差函数。

在一实施例中，得到处理后的图像之后，所述方法还包括：对所述原始图像和所述处理后的图像进行融合处理，得到融合处理后的图像。

在一实施例中，所述对所述原始图像和所述处理后的图像进行融合处理，得到融合处理后的图像，包括：确定所述原始图像中的第一区域和第二区域，所述第一区域为像素梯度小于第一梯度阈值的弱纹理区域，所述第二区域为所述像素梯度大于第二梯度阈值的强边缘区域；确定所述第一区域对应的第一权重以及所述第二区域对应的第二权重；基于所述第一权重、所述第二权重对所述原始图像和所述处理后的图像进行融合处理，得到融合处理后的图像。

在一实施例中，所述确定所述第一区域对应的第一权重以及所述第二区域对应的第二权重，包括：确定所述第一区域对应所述原始图像和所述处理后的图像的第一权重，其中，所述第一区域对应所述原始图像的第一权重，大于所述第一区域对应所述处理后的图像的第一权重；确定所述第二区域对应所述原始图像和所述处理后的图像的第二权重，其中，所述第二区域对应所述原始图像的第二权重，小于所述第二区域对应所述处理后的图像的第二权重。

根据本公开实施例的第二方面，提供一种图像处理装置，应用于电子设备，所述电子设备中安装有图像采集装置，所述图像处理装置包括：获取模块，用于获取所述图像采集装置采集的原始图像，所述原始图像为像素位置发生像的图像；处理模块，用于将所述原始图像输入深度卷积神经网络模型，得到处理后的图像，其中，所述深度卷积神经网络为基于所述图像采集装置的像差函数训练得到，所述深度卷积神经网络的输入为模糊样本图像，输出为清晰样本图像。

在一实施例中，所述深度卷积神经网络采用如下方式基于点扩散函数训练得到：获取与所述图像采集装置具有相同属性的图像采集装置采集的像差参考图像组，所述像差参考图像组中每一像差参考图像中包括有像素位置发生像差的像素；获取清晰样本图像组，所述清晰样本图像组中包括的清晰样本图像为未发生像差的图像；基于所述像差参考图像组确定所述像差函数，并将所述像差函数与所述清晰样本图像组中的所述清晰样本图像进行卷积操作，得到模糊样本图像组；基于所述清晰样本图像组和所述模糊样本图像组中对应的清晰样本图像和模糊样本图像组成样本图像对，并基于所述样本图像对训练得到所述深度卷积神经网络，所述深度卷积神经网络的输入为模糊样本图像，输出为清晰样本图像。

在一实施例中，所述第一图像组中的图像为与所述图像采集装置具有相同属性的图像采集装置拍摄的点光源图像；所述基于所述像差参考图像组确定所述像差函数，包括：对所述点光源图像中发生像差的全部像素进行测量，得到发生像差后的像素位置；将所述像素位置映射为像素亮度，并对所述全部像素的像素亮度进行归一化处理，得到所述点光源图像对应的像差函数。

在一实施例中，所述图像处理装置还包括：融合模块，用于对所述原始图像和所述处理后的图像进行融合处理，得到融合处理后的图像。

在一实施例中，所述融合模块采用如下方式对所述原始图像和所述处理后的图像进行融合处理，得到融合处理后的图像：确定所述原始图像中的第一区域和第二区域，所述第一区域为像素梯度小于第一梯度阈值的弱纹理区域，所述第二区域为所述像素梯度大于第二梯度阈值的强边缘区域；确定所述第一区域对应的第一权重以及所述第二区域对应的第二权重；基于所述第一权重、所述第二权重对所述原始图像和所述处理后的图像进行融合处理，得到融合处理后的图像。

在一实施例中，所述融合模块采用如下方式确定所述第一区域对应的第一权重以及所述第二区域对应的第二权重：确定所述第一区域对应所述原始图像和所述处理后的图像的第一权重，其中，所述第一区域对应所述原始图像的第一权重，大于所述第一区域对应所述处理后的图像的第一权重；确定所述第二区域对应所述原始图像和所述处理后的图像的第二权重，其中，所述第二区域对应所述原始图像的第二权重，小于所述第二区域对应所述处理后的图像的第二权重。

根据本公开实施例的第三方面，提供一种功能控制装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为：执行前述任意一项所述的图像处理方法。

根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，当存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行前述任意一项所述的图像处理方法。

本公开的实施例提供的技术方案可以包括以下有益效果：通过与图像采集装置具有相同属性的图像采集装置利用测量手段确定像差函数，基于得到的像差函数训练深度卷积神经网络，利用训练好的深度卷积神经网络对图像采集装置采集的发生相差的图像进行去除相差的处理，能够提高图像处理质量。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是根据一示例性实施例示出的图像采集装置拍摄中出现像差的示意图。

图2是根据本公开一示例性实施例示出的一种图像处理方法的流程图。

图3是根据本公开一示例性实施例示出的一种卷积神经网络训练的流程图。

图4是根据本公开又一示例性实施例示出的一种图像处理方法的流程图。

图5是根据本公开又一示例性实施例示出的一种图像处理方法的流程图。

图6是根据本公开又一示例性实施例示出的一种图像处理方法的流程图。

图7是根据本公开又一示例性实施例示出的一种图像处理方法的流程图。

图8是根据本公开一示例性实施例示出的一种图像处理装置框图。

图9是根据本公开又一示例性实施例示出的一种图像处理装置框图。

图10是根据一示例性实施例示出的一种装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在人们的工作、生活中，用户使用移动终端随时随地的进行拍摄，给用户获取信息、记录信息带来了极大的便捷。因此，终端拍摄性能的提升倍受业内外关注。

终端的拍摄性能较为直观地反应在所拍摄图像的质量，终端传感器尺寸越大，拍摄照片的单位面积像素所接收的光线越多，成像质量越好。相机的光圈，即光线进入相机到达传感器的毕竟通道，相机的光圈越大，单位时间通过的光线越多，所需曝光时间越短。因此，对于终端的摄像头而言，光圈越大图像质量越好。

为了追求优越的图像质量，终端所配置的图像传感器的尺寸与光圈的发展趋势都是越来越大，与此同时大图像传感器、大光圈终端存在的光学像差，引起拍摄图像模糊、拍摄效果不佳，影响了用户体验。

图1是根据一示例性实施例示出的图像采集装置拍摄中出现像差的示意图，图1示出了通过配置有1/1.33英寸图像传感器、1/1.69光圈的终端，近距离拍摄平面纸张时得到的图像。如图1所示，拍摄图像从图像中心到图像边缘，图像模糊的程度越来越大，在图像边缘发生的模糊严重降低图像的解析力、成像效果差、影响用户体验。

光学***所成的像与高斯光学获得的结果不同，有一定的偏离，光学成像相对近轴成像的偏离称像差。入射到近轴球面上并与光轴的夹角很小的光线即近轴光线，近轴光线与光轴的夹角很小，趋近于0。通过光学***之后，近轴光线可认为交于一点。非近轴光线穿过镜头在成像面无法聚焦为一点。

光学像差的数学模型可以用像差函数描述，例如用点扩散函数(PSF，PointSpreadFunction)描述，PSF是聚焦光学***的脉冲响应。从功能上讲，它是成像***光学传递函数的空间域形式，是衡量成像***质量的一个指标。点光源在成像后，扩散、模糊成散斑，可以用PSF描述散斑的形状和强度。

当点光源经扩散被分割成不同强度的离散点时，点光源图像被计算为每个点的PSF之和。PSF通常由图像采集装置采集决定，因此可以通过确定图像采集装置的PSF函数描述图像采集过程中的成像特征。描述图像采集过程中的成像特征可以用卷积方程表示，确定图像采集装置的PSF对于图像处理具有重要意义。

当前技术中，根据点扩散函数是否已知，去模糊技术主要分为非盲去模糊和盲去模糊两类。非盲去模糊技术，包括逆滤波、维纳滤波、最小二乘方滤波等方法，但是上述方法模型过于简单，复原图像存在噪声大，边缘信息丢失严重等问题。基于超拉普拉斯先验的图像去模糊技术，较为理想的复原了图像边缘，但是算法运行效率低的问题。

已知图像的点扩散函数，即非盲去模糊技术存在边缘恢复效果差、算法运行效率问题。随着深度学习在计算机视觉的很多问题上取得的突破进展，很多学者将卷积神经网络用于图像去模糊，取得了极好的效果，但也存在网络训练复杂、数据获取麻烦等问题。利用卷积神经网络来估计图像块的模糊核，再通过优化马尔可夫随机场模型获得图像逐点不同的运动模糊核。基于估计的运动模糊核解卷积算法获得复原图像的技术，实际应用中操作比较麻烦。

当前技术中盲去模糊处理方法中，PSF由估计确定，例如，根据先验知识进行点扩展函数的估计、根据原始景物中某点的退化图像进行估计，根据误差-参数曲线分析进行估计等。采用估计的方法确定PSF方法复杂、实现困难，且无法区分不同的图像采集装置，因此准确率低。采用估计的PSF进行图像处理，效果不佳。

由此，本公开提供一种图像处理方法，通过与图像采集装置具有相同属性的图像采集装置通过测量手段确定点扩散函数，基于得到的点扩散函数训练深度卷积神经网络。利用训练好的深度卷积神经网络对图像采集装置采集的发生相差的图像进行去除相差的处理，提高图像处理质量。

图2是根据本公开一示例性实施例示出的一种图像处理方法的流程图，如图2所示，图像处理应用于电子设备，电子设备中安装有图像采集装置，包括以下步骤。

在步骤S101中，获取图像采集装置采集的原始图像。

本公开实施例中，图像采集装置采集的原始图像可以理解为是未经处理的图像，通常可以理解为是像素位置发生像差的模糊图像。

在步骤S102中，将原始图像输入深度卷积神经网络模型，得到处理后的图像。

本公开实施例中涉及的深度卷积神经网络为基于图像采集装置的像差函数训练得到，像差函数可以是以与图像采集装置具有相同属性的图像采集装置采集并且像素位置发生像差的图像对应的点扩散函数，即PSF函数表示。PSF函数表示被拍摄物体中一点光源经过摄像头成像时像素点的扩散程度。像素点的亮度由该像素点的中心向周围扩散，图像采集装置的各个像素点的点扩散程度与其距图像采集装置中心像素点之间的距离有关，该像素点与图像采集装置中心像素点之间的距离越大，该像素点的点扩散程度越强，清晰度越低。图像采集装置采集的原始图像中的每个像素点的亮度值都是被拍摄物体的反射光线映射在原始图像中对应的像素点上的扩散之后的亮度值，图像边缘的像素点模糊程度大。本公开实施例以下以像差函数为PSF函数为例进行说明。可以理解地，图像采集装置的像差函数也可以是用其他函数描述。

在本公开实施例中，PSF函数用于描述点光源在通过图像采集装置成像后的散斑的形状、强度，PSF函数通过与图像采集装置具有相同属性的图像采集装置确定的，使得PSF函数能够体现图像采集装置的参数属性。图像采集装置的属性，包括图像采集装置配置的图像传感器、光圈等参数。配置有不同性能的图像传感器、光圈的图像采集装置，其所采集的图像发生的像差不同。

其中，对基础像素点的PSF函数信息进行拟合来模拟整个画面其他部分的PSF函数信息，可以保证不同视场的校正强度不同，并依照图像采集装置的性能确定各自对应的PSF函数。通过与图像采集装置具有相同属性的图像采集装置确定PSF函数，可以提高该PSF函数的准确性，为后续的图像处理过程提供准确的数据支持。

基于与图像采集装置具有相同属性的图像采集装置确定的PSF函数训练深度卷积神经网络模型，使得PSF函数能够体现图像采集装置的参数属性，进而可以基于训练的深度卷积神经网络用于去除原始图像的像差。本公开中的深度卷积神经网络可以是包含卷积层、批正则化层、激活层等不同类型的层，通过设置深度卷积神经网络中不同类型的层，实现了模型学习中的特征提取、特征拟合等，本公开对深度卷积神经网络的结构、类型不作限定。

根据本公开的实施例，通过与图像采集装置具有相同属性的图像采集装置利用测量手段确定像差函数，基于得到的像差函数训练深度卷积神经网络，利用训练好的深度卷积神经网络对图像采集装置采集的发生相差的图像进行去除相差的处理，能够提高图像处理质量。

图3是根据本公开一示例性实施例示出的一种卷积神经网络训练的流程图，如图3所示本公开实施例中的深度卷积神经网络采用如下方式基于像差函数训练得到。

在步骤S201中，获取与图像采集装置具有相同属性的图像采集装置采集的像差参考图像组。

在本公开实施例中，像差参考图像组中包括多个像差参考图像，每一像差参考图像中包括有像素位置发生像差的像素。

本公开实施例中，像差参考图像组中的多个像差参考图像可以是图像采集装置在不同距离和/或不同角度下拍摄的多张照片，以作为确定图像采集装置发生像差的参考图像。

在步骤S202中，获取清晰样本图像组，清晰样本图像组中包括的清晰样本图像为未发生像差的图像。

在本公开实施例中，清晰样本图像组中的多个清晰样本图像可以是由与图像采集装置具有相同属性的图像采集装置采集的，也可以是由其它图像采集装置采集或者从互联网下载至本地的、未发生像差的清晰图像。

在本公开实施例中，像差参考图像组的每一像差参考图像为发生像差的图像，可以是由与图像采集装置具有相同属性的图像采集装置，在不同的位置、不同的角度对同一点光源进行采集得到多个像差参考图像。图像采集装置与点光源之间的距离可以是在30cm至2m的任一距离，图像采集装置与点光源之间的角度可以是在±45度之间的任意角度。利用图像采集装置对同一点光源在不同距离、不同角度进行拍摄，得到多个像差参考图像。

在步骤S203中，基于像差参考图像组确定像差函数，并将像差函数与清晰样本图像组中的清晰样本图像进行卷积操作，得到模糊样本图像组。

在本公开实施例中，利用图像采集装置对同一点光源在不同距离、不同角度进行拍摄，得到多个像差参考图像。可以是通过测量的手段，确定每一像差参考图像的每一个像素位置发生像差的PSF函数。确定每一个像素位置发生像差的PSF函数后，对清晰样本图像组中的清晰样本利用确定的PSF函数进行卷积操作，得到清晰样本图像对应的模糊样本图像，多个模糊样本图像组成模糊样本图像组。可以。理解地，清晰样本图像组中的清晰样本图像与模糊样本图像组中的模糊样本图像为一一对应的，进而形成由清晰样本图像与模糊样本图像组成的图像对。

利用多个像差参考图像组成的图像组确定PSF函数，可以使确定的PSF函数更加准确，满足对多角度、多距离的复杂条件下采集的图片的处理，提高其鲁棒性，为后续的图像处理过程提供准确的数据支持，从而提高图片处理质量。

在步骤S204中，基于清晰样本图像组和模糊样本图像组中对应的清晰样本图像和模糊样本图像组成样本图像对，并基于样本图像对训练得到深度卷积神经网络。

在本公开实施例中，将清晰样本图像组和模糊样本图像组中对应的清晰样本图像和模糊样本图像组成的样本图像对，训练深度卷积神经网络。

在进行训练结果的验证中，可以选用L1范数损失函数，也即最小绝对值偏差或最小绝对值误差。L1范数损失函数把目标值与估计值的绝对差值的总和最小化，即模糊图像作为深度卷积神经网络的输入时，深度卷积神经网络的输出结果与清晰图像的差，取差的绝对值，将绝对值作为损失函数，最小化损失函数的过程中，可以是采用最快梯度下降法最小化损失函数。

根据本公开的实施例，通过与图像采集装置具有相同属性的图像采集装置通过测量手段确定PSF函数，基于得到的PSF函数对与图像采集装置具有相同属性的图像采集装置采集的清晰样本图像进行卷积，得到清晰样本图像对应的模糊样本图像，利用清晰样本图像、模糊样本图像组成的图像对训练深度卷积神经网络，可以提高深度卷积神经网络的精度，从而进一步提高图像处理质量。

图4是根据本公开一示例性实施例示出的一种图像处理方法的流程图，如图4所示，图3中步骤S203中基于像差参考图像组确定像差函数包括以下步骤。

在步骤S2031中，对点光源图像中发生像差的全部像素进行测量，得到发生像差后的像素位置。

在本公开实施例中，被拍摄物体中一点光源图像经过摄像头成像在原始图像中时，该像素点的亮度由该像素点的中心向周围扩散，测量发生像差的全部像素的像素位置。像素的像素位置与像素亮度具有对应关系，即每个像素位置对应一个像素亮度。

在步骤S2032中，将像素位置映射为像素亮度，并对全部像素的像素亮度进行归一化处理，得到点光源图像对应的像差函数。

在本公开实施例中，点光源图像的像素点的亮度由中心向周围扩散，发生扩散之后的每一个像素位置对应的像素亮度的和，与原点光源的亮度相同。对点光源图像发生扩散后的全部像素的像素亮度进行归一化处理，得到点光源图像对应的PSF函数的函数模型。

根据本公开的实施例，在确定像差函数时，通过对点光源图像中发生像差的全部像素进行测量，得到发生像差后的像素位置，将像素位置映射为像素亮度，并对全部像素的像素亮度进行归一化处理，通过实验手段针对单个图像采集装置确定其像差函数，提高了像差函数的精度，从而提高图像处理质量。

图5是根据本公开一示例性实施例示出的一种图像处理方法的流程图，如图5所示，图像处理方法包括以下步骤。

在步骤S301中，获取图像采集装置采集的原始图像。

在步骤S302中，将原始图像输入深度卷积神经网络模型，得到处理后的图像。

在步骤S303中，对原始图像和处理后的图像进行融合处理，得到融合处理后的图像。

在本公开实施例中，为了提高图像处理的质量和精度，将原始图像和处理后的图像进行图像融合，即将基于同一目标的原始图像与处理后的去模糊图像的图像数据，提取各自图像数据中的有利信息，融合成高质量的图像。

对原始图像和处理后的图像进行融合处理时，可以采用如下融合公式：

I(x，y)＝A(x，y)*α(x，y)+B(x，y)*β(x，y)

其中，I为融合后的像素值，(x，y)为像素点位置坐标，A为原始图像的像素值，B为处理后的图像的像素值，α为原始图像的权重，β为处理后图像的权重。通过以上公式可以看出，图像融合的结果可以综合在原始图像与处理后的图像的特征，增强图像处理效果。

根据本公开的实施例，通过对原始图像和处理后的图像进行融合处理，得到融合处理后的图像，提取原始图像与处理后图像的图像数据中的有利信息，进行融合，融合成高质量的图像，进一步提高了图像处理质量，进而改善成像效果。

图6是根据本公开一示例性实施例示出的一种图像处理方法的流程图，如图6所示，图5中步骤S303中对原始图像和处理后的图像进行融合处理，得到融合处理后的图像包括以下步骤。

在步骤S3031中，确定原始图像中的第一区域和第二区域，第一区域为像素梯度小于第一梯度阈值的弱纹理区域，第二区域为像素梯度大于第二梯度阈值的强边缘区域。

在本公开实施例中，纹理为反映图像中同质现象的视觉特征，体现了物体表面的具有缓慢变化或者周期性变化的表面结构组织排列属性。弱纹理区域，即图像中像素点在颜色和亮度上比较相似、差异太小而无法区分的区域。例如，弱纹理区域可以为图像中的天空、水面、路面、墙面等。与之相对，强边缘区域为在图像中相对弱纹理区域的区域，例如，图像中的植物、山体、田地、生活用品等，其在图像中的分布有较为明显、规则地重复排列的灰度值。弱纹理区域对应图像中像素的灰度不发生变换或者变换很微弱，可用图像的像素灰度的梯度值。

在本公开实施例中，去除像差处理后的图像在去除原始图像的光学像差的同时，容易抹掉原始图像中原有的弱纹理细节，使得处理后的去模糊图像中，弱纹理部分处理效果差。与强纹理区域相对的，图像中像素点的颜色和亮度的差异大、区分度大的区域即图像中的强边缘区域。将原始图像输入深度卷积神经网络模型，得到处理后的图像，在去除原始图像的像差的同时，弱纹理区域由于像素区别度低，可能出现原始图像中的弱纹理细节被去除，导致图像失真。

在本公开实施例中，弱纹理区域其内部像素点的亮度颜色比较相近，变化较小，相应的梯度值也比较小，即其中梯度统计平均值较小的区域即为弱纹理区域。根据梯度算法计算获得原始图像对应的梯度信息，即获得图像中各个像素点对应的梯度，若干区域内的像素点对应的梯度统计平均值，选取梯度统计平均值在预设范围内的区域为弱纹理区域。

可以将原始图像看成二维离散函数I(i，j)，其中，(i，j)为图像中像素点的坐标，I(i，j)为像素点(i，j)的像素值，像素值可以用RGB值，YUV值以及灰度值表示。原始图像的梯度信息即对于二维离散函数的求导。

原始图像的梯度信息可以为：

G(x，y)＝dx(i，j)+dy(i，j)

其中，dx(i，j)＝I(i+1，j)-I(i，j)

dy(i，j)＝I(i，j+1)-I(i，j)

也可以用中值差分法确定原始图像的梯度信息：

dx(i，j)＝[I(i+1，j)-I(i-1，j)]/2

dy(i，j)＝[I(i，j+1)-I(i，j-1)]/2

还可以利用其它图像处理技术中的梯度运算公式确定原始图像的梯度信息。预先设置第一梯度阈值和第二梯度阈值，第一梯度阈值可以是与第二梯度阈值相等，或者小于第二梯度阈值。小于第一梯度阈值的像素组成的区域，即原始图像中的第一区域。大于第二梯度阈值的像素组成的区域，即原始图像中的第二区域。

在步骤S3032中，确定第一区域对应的第一权重以及第二区域对应的第二权重。

在本公开实施例中，在融合处理中，对原始图像中的弱纹理区域和强边缘区域以及不同于弱纹理区域、强边缘区域的一般区域采用不同的权重值。确定原始图像中的弱纹理区域的第一权重，和强边缘区域的第二权重。

在步骤S3033中，基于第一权重、第二权重对原始图像和处理后的图像进行融合处理，得到融合处理后的图像。

根据本公开实施例，在对原始图像和处理后的图像进行融合处理时，在第一区域对原始图像赋予第一权重，在第二区域对经深度卷积神经网络处理后的图像赋予第二权重，进行原始图像和经深度卷积神经网络处理后的图像融合，改善原始图像中的弱纹理区域的处理，进一步提高了图像处理质量，改善成像效果。

在原始图像中，确定第一区域即弱纹理区域与第二区域即强边缘区域时，可以根据图像的颜色、亮度信息确定原始图像中的弱纹理区域以及强边缘区域。还可以是采用基于阈值的分割方法、基于边缘的分割方法、聚类分析方法等确定原始图像中的弱纹理区域以及强边缘区域。可以理解地，本公开实施例对确定原始图像中的弱纹理区域以及强边缘区域的方法不作限定。

图7是根据本公开一示例性实施例示出的一种图像处理方法的流程图，如图7所示，图6中的步骤S3032确定第一区域对应的第一权重以及第二区域对应的第二权重，包括以下步骤。

在步骤S30321中，确定第一区域对应原始图像和处理后的图像的第一权重。

第一区域对应原始图像的第一权重，大于第一区域对应处理后的图像的第一权重。

在步骤S30322中，确定第二区域对应原始图像和处理后的图像的第二权重。

第二区域对应原始图像的第二权重，小于第二区域对应处理后的图像的第二权重。

在本公开实施例中，去除像差的图像处理过程中，处理后的图像在去除光学像差的同时，容易抹掉原始图像中原有的弱纹理细节，使得处理后的去模糊图像中，弱纹理部分处理效果差。在去除原始图像的像差的同时，弱纹理区域由于像素区别度低，可能出现原始图像中的弱纹理细节被去除。

分别确定第一区域对应原始图像的第一权重，以及第一区域对应处理后的图像的第一权重。为了避免处理后的图像第一区域的弱纹理细节的过度处理，确定第一区域对应原始图像的第一权重大于第一区域对应处理后的图像的第一权重，即对弱纹理区域给予未经处理的原始图像更大的权重，使得弱纹理区域的图像特征得以保留。

与之相似地，确定第二区域对应原始图像以及第二区域对应处理后的图像的第二权重。由于图像中的强边缘区域，经去除像差的图像处理后效果佳，故对强边缘区域给予处理后的图像更大的权重。

根据本公开实施例，在对原始图像和处理后的图像进行融合处理时，在第一区域对原始图像赋予较大的第一权重，在第二区域对经深度卷积神经网络处理后的图像赋予较大的第二权重，进行原始图像和经深度卷积神经网络处理后的图像融合，改善原始图像中的弱纹理区域的过度去模糊处理，并融合了处理后图像中强边缘区域的特征，提高了图像处理质量。

基于相同的构思，本公开实施例还提供一种图像处理装置。

可以理解的是，本公开实施例提供的图像处理装置为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。结合本公开实施例中所公开的各示例的单元及算法步骤，本公开实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同的方法来实现所描述的功能，但是这种实现不应认为超出本公开实施例的技术方案的范围。

图8是根据本公开一示例性实施例示出的一种图像处理装置框图。参照图8，该图像处理装置应用于电子设备，电子设备中安装有图像采集装置，图像处理装置100包括：获取模块101和处理模块102。

获取模块101，用于获取图像采集装置采集的原始图像，原始图像为像素位置发生像差的图像。

处理模块102，用于将原始图像输入深度卷积神经网络模型，得到处理后的图像，其中，深度卷积神经网络为基于图像采集装置的像差函数训练得到。

在一实施例中，深度卷积神经网络采用如下方式基于像差函数训练得到：获取与图像采集装置具有相同属性的图像采集装置采集的像差参考图像组，像差参考图像组中每一像差参考图像中包括有像素位置发生像差的像素；获取清晰样本图像组，清晰样本图像组中包括的清晰样本图像为未发生像差的图像；基于像差参考图像组确定像差函数，并将像差函数与清晰样本图像组中的清晰样本图像进行卷积操作，得到模糊样本图像组；基于清晰样本图像组和模糊样本图像组中对应的清晰样本图像和模糊样本图像组成样本图像对，并基于样本图像对训练得到深度卷积神经网络，深度卷积神经网络的输入为模糊样本图像，输出为清晰样本图像。

在一实施例中，像差参考图像组中的图像为与图像采集装置具有相同属性的图像采集装置拍摄的点光源图像；基于像差参考图像组确定像差函数，包括：对点光源图像中发生像差的全部像素进行测量，得到发生像差后的像素位置；将像素位置映射为像素亮度，并对全部像素的像素亮度进行归一化处理，得到点光源图像对应的像差函数。

图9是根据本公开又一示例性实施例示出的一种图像处理装置框图，参照图9，该图像处理装置100还包括融合模块103。

融合模块103，用于对原始图像和处理后的图像进行融合处理，得到融合处理后的图像。

在一实施例中，融合模块103采用如下方式对原始图像和处理后的图像进行融合处理，得到融合处理后的图像：确定原始图像中的第一区域和第二区域，第一区域为像素梯度小于第一梯度阈值的弱纹理区域，第二区域为像素梯度大于第二梯度阈值的强边缘区域；确定第一区域对应的第一权重以及第二区域对应的第二权重；基于第一权重、第二权重对原始图像和处理后的图像进行融合处理，得到融合处理后的图像。

在一实施例中，融合模块采用如下方式确定第一区域对应的第一权重以及第二区域对应的第二权重：确定第一区域对应原始图像和处理后的图像的第一权重，其中，第一区域对应原始图像的第一权重，大于第一区域对应处理后的图像的第一权重；确定第二区域对应原始图像和处理后的图像的第二权重，其中，第二区域对应原始图像的第二权重，小于第二区域对应处理后的图像的第二权重。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图10是根据一示例性实施例示出的一种用于图像处理的装置200的框图。例如，装置200可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图10，装置200可以包括以下一个或多个组件：处理组件202，存储器204，电力组件206，多媒体组件208，音频组件210，输入/输出(I/O)的接口212，传感器组件214，以及通信组件216。

处理组件202通常控制装置200的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件202可以包括一个或多个处理器220来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件202可以包括一个或多个模块，便于处理组件202和其他组件之间的交互。例如，处理组件202可以包括多媒体模块，以方便多媒体组件208和处理组件202之间的交互。

存储器204被配置为存储各种类型的数据以支持在装置200的操作。这些数据的示例包括用于在装置200上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器204可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电力组件206为装置200的各种组件提供电力。电力组件206可以包括电源管理***，一个或多个电源，及其他与为装置200生成、管理和分配电力相关联的组件。

多媒体组件208包括在所述装置200和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件208包括一个前置摄像头和/或后置摄像头。当装置200处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。

音频组件210被配置为输出和/或输入音频信号。例如，音频组件210包括一个麦克风(MIC)，当装置200处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器204或经由通信组件216发送。在一些实施例中，音频组件210还包括一个扬声器，用于输出音频信号。

I/O接口212为处理组件202和***接口模块之间提供接口，上述***接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件214包括一个或多个传感器，用于为装置200提供各个方面的状态评估。例如，传感器组件214可以检测到装置200的打开/关闭状态，组件的相对定位，例如所述组件为装置200的显示器和小键盘，传感器组件214还可以检测装置200或装置200一个组件的位置改变，用户与装置200接触的存在或不存在，装置200方位或加速/减速和装置200的温度变化。传感器组件214可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件214还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件214还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件216被配置为便于装置200和其他设备之间有线或无线方式的通信。装置200可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件216经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件216还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置200可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器204，上述指令可由装置200的处理器220执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

可以理解的是，本公开中“多个”是指两个或两个以上，其它量词与之类似。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

进一步可以理解的是，术语“第一”、“第二”等用于描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开，并不表示特定的顺序或者重要程度。实际上，“第一”、“第二”等表述完全可以互换使用。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。

进一步可以理解的是，除非有特殊说明，“连接”包括两者之间不存在其他构件的直接连接，也包括两者之间存在其他元件的间接连接。

进一步可以理解的是，本公开实施例中尽管在附图中以特定的顺序描述操作，但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作，或是要求执行全部所示的操作以得到期望的结果。在特定环境中，多任务和并行处理可能是有利的。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种图像处理方法，其特征在于，应用于电子设备，所述电子设备中安装有图像采集装置，所述图像处理方法包括：

获取所述图像采集装置采集的原始图像，所述原始图像为像素位置发生像差的图像；

将所述原始图像输入深度卷积神经网络模型，得到处理后的图像，其中，所述深度卷积神经网络为基于所述图像采集装置的像差函数训练得到；

所述深度卷积神经网络采用如下方式基于像差函数训练得到：

获取与所述图像采集装置具有相同属性的图像采集装置采集的像差参考图像组，所述像差参考图像组中每一像差参考图像中包括有像素位置发生像差的像素；

获取清晰样本图像组，所述清晰样本图像组中包括的清晰样本图像为未发生像差的图像；

基于所述像差参考图像组确定所述像差函数，并将所述像差函数与所述清晰样本图像组中的所述清晰样本图像进行卷积操作，得到模糊样本图像组；

基于所述清晰样本图像组和所述模糊样本图像组中对应的清晰样本图像和模糊样本图像组成样本图像对，并基于所述样本图像对训练得到所述深度卷积神经网络；

所述像差参考图像组中的图像为与所述图像采集装置具有相同属性的图像采集装置拍摄的点光源图像；

所述确定图像的像差函数，包括：

对所述点光源图像中发生像差的全部像素进行测量，得到发生像差后的像素位置；

将所述像素位置映射为像素亮度，并对所述全部像素的像素亮度进行归一化处理，得到所述点光源图像对应的像差函数。

2.根据权利要求1所述的图像处理方法，其特征在于，得到处理后的图像之后，所述方法还包括：

对所述原始图像和所述处理后的图像进行融合处理，得到融合处理后的图像。

3.根据权利要求2所述的图像处理方法，其特征在于，所述对所述原始图像和所述处理后的图像进行融合处理，得到融合处理后的图像，包括：

确定所述原始图像中的第一区域和第二区域，所述第一区域为像素梯度小于第一梯度阈值的弱纹理区域，所述第二区域为所述像素梯度大于第二梯度阈值的强边缘区域；

确定所述第一区域对应的第一权重以及所述第二区域对应的第二权重；

基于所述第一权重、所述第二权重对所述原始图像和所述处理后的图像进行融合处理，得到融合处理后的图像。

4.根据权利要求3所述的图像处理方法，其特征在于，所述确定所述第一区域对应的第一权重以及所述第二区域对应的第二权重，包括：

确定所述第一区域对应所述原始图像和所述处理后的图像的第一权重，其中，所述第一区域对应所述原始图像的第一权重，大于所述第一区域对应所述处理后的图像的第一权重；

确定所述第二区域对应所述原始图像和所述处理后的图像的第二权重，其中，所述第二区域对应所述原始图像的第二权重，小于所述第二区域对应所述处理后的图像的第二权重。

5.一种图像处理装置，其特征在于，应用于电子设备，所述电子设备中安装有图像采集装置，所述图像处理装置包括：

获取模块，用于获取所述图像采集装置采集的原始图像，所述原始图像为像素位置发生像差的图像；

处理模块，用于将所述原始图像输入深度卷积神经网络模型，得到处理后的图像，其中，所述深度卷积神经网络为基于所述图像采集装置的像差函数训练得到；

所述深度卷积神经网络采用如下方式基于像差函数训练得到：

获取与所述图像采集装置具有相同属性的图像采集装置采集的像差参考图像组，所述像差参考图像组中每一像差参考图像中包括有像素位置发生像差的像素；

获取清晰样本图像组，所述清晰样本图像组中包括的清晰样本图像为未发生像差的图像；

基于所述像差参考图像组确定所述像差函数，并将所述像差函数与所述清晰样本图像组中的所述清晰样本图像进行卷积操作，得到模糊样本图像组；

基于所述清晰样本图像组和所述模糊样本图像组中对应的清晰样本图像和模糊样本图像组成样本图像对，并基于所述样本图像对训练得到所述深度卷积神经网络；

所述像差参考图像组中的图像为与所述图像采集装置具有相同属性的图像采集装置拍摄的点光源图像；

所述确定图像的像差函数，包括：

对所述点光源图像中发生像差的全部像素进行测量，得到发生像差后的像素位置；

将所述像素位置映射为像素亮度，并对所述全部像素的像素亮度进行归一化处理，得到所述点光源图像对应的像差函数。

6.根据权利要求5所述的图像处理装置，其特征在于，所述图像处理装置还包括：

融合模块，用于对所述原始图像和所述处理后的图像进行融合处理，得到融合处理后的图像。

7.根据权利要求6所述的图像处理装置，其特征在于，所述融合模块采用如下方式对所述原始图像和所述处理后的图像进行融合处理，得到融合处理后的图像：

确定所述原始图像中的第一区域和第二区域，所述第一区域为像素梯度小于第一梯度阈值的弱纹理区域，所述第二区域为所述像素梯度大于第二梯度阈值的强边缘区域；

确定所述第一区域对应的第一权重以及所述第二区域对应的第二权重；

基于所述第一权重、所述第二权重对所述原始图像和所述处理后的图像进行融合处理，得到融合处理后的图像。

8.根据权利要求7所述的图像处理装置，其特征在于，所述融合模块采用如下方式确定所述第一区域对应的第一权重以及所述第二区域对应的第二权重：

确定所述第一区域对应所述原始图像和所述处理后的图像的第一权重，其中，所述第一区域对应所述原始图像的第一权重，大于所述第一区域对应所述处理后的图像的第一权重；

确定所述第二区域对应所述原始图像和所述处理后的图像的第二权重，其中，所述第二区域对应所述原始图像的第二权重，小于所述第二区域对应所述处理后的图像的第二权重。

9.一种图像处理装置，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：执行权利要求1至4中任意一项所述的图像处理方法。

10.一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行权利要求1至4中任意一项所述的图像处理方法。