CN116091405B - 图像处理方法及装置、计算机设备、存储介质 - Google Patents

Abstract

本公开实施例公开了一种图像处理方法及装置、计算机设备、存储介质。其中，所述方法包括：基于待处理图像中各像素点的像素值，确定各所述像素点的垂直梯度；针对所述待处理图像的每一列，根据各所述像素点的垂直梯度，确定所述每一列对应的第一梯度统计值；基于所述待处理图像各列的第一梯度统计值，确定所述待处理图像中存在异常的图像列；对所述异常的图像列进行校正，得到处理后的图像。通过该方法，能提升对异常的图像列的检测速度以及检测的稳定性，且能使得校正后的图像的显示效果更优。

Description

图像处理方法及装置、计算机设备、存储介质

技术领域

本公开涉及但不限于图像处理技术领域，尤其涉及一种图像处理方法及装置、计算机设备、存储介质。

背景技术

成像设备可基于光学原理进行成像，以深度相机中的TOF(Time of Flight，飞行时间)相机为例，TOF相机通过主动发射光脉冲(一般为不可见光)到被测物体上，然后接收从物体反射回去的光脉冲生成平面图像。此外，TOF相机还可通过探测光脉冲的飞行(往返)时间来计算被测物体离相机的距离生成深度图像。

然而，由于制造工艺及成本的限制，相机采集的图像可能会出现失真，例如出现局部坏点、整行或整列的划线。

发明内容

有鉴于此，本公开实施例至少提供一种图像处理方法及装置、计算机设备、存储介质。

第一方面，本公开实施例提供一种图像处理方法，所述方法包括：

基于待处理图像中各像素点的像素值，确定各所述像素点的垂直梯度；

针对所述待处理图像的每一列，根据各所述像素点的垂直梯度，确定所述每一列对应的第一梯度统计值；

基于所述待处理图像各列的第一梯度统计值，确定所述待处理图像中存在异常的图像列；

对所述异常的图像列进行校正，得到处理后的图像。

在一些实施例中，所述基于所述待处理图像各列的第一梯度统计值，确定所述待处理图像中存在异常的图像列，包括：

采用滑动窗口以各列的所述第一梯度统计值为窗口中心进行滑动遍历，并确定窗口内多个所述第一梯度统计值对应的第二梯度统计值；

针对所述待处理图像中的每一图像列，根据所述图像列所对应的滑动窗口的第二梯度统计值，确定所述图像列是否为异常的图像列。

在一些实施例中，所述采用滑动窗口以各列的所述第一梯度统计值为窗口中心进行滑动遍历，并确定窗口内多个所述第一梯度统计值对应的第二梯度统计值，包括：

在遍历过程中，若所述窗口内的第一梯度统计值对应的图像列被标识为异常的图像列，基于所述窗口内异常的图像列之外的各图像列对应的第一梯度统计值，确定所述第二梯度统计值。

在一些实施例中，所述第二梯度统计值包括：窗口内第一梯度统计值的均值以及标准差；

所述根据所述图像列所对应的滑动窗口的第二梯度统计值，确定所述图像列是否为异常的图像列，包括：

若所述图像列对应的第一梯度统计值与所述均值之间的差值，与所述标准差之间的比值大于预设阈值，确定所述图像列为异常的图像列。

在一些实施例中，所述对所述异常的图像列进行校正，得到处理后的图像，包括：

对所述异常的图像列中的每一目标像素点，对与所述目标像素点相邻的各像素点分别进行窗口滤波，统计窗口内被标识为非异常的图像列上的像素点对应的窗口滤波估计值；

根据与所述目标像素点相邻的各像素点对应的窗口滤波估计值，对所述目标像素点的像素值进行校正。

在一些实施例中，所述根据与所述目标像素点相邻的各像素点对应的窗口滤波估计值，对所述目标像素点的像素值进行校正，包括：

对与所述目标像素点相邻的各像素点对应的窗口滤波估计值进行加权处理；

将加权后的各窗口滤波估计值的和值确定为所述目标像素点的像素值。

在一些实施例中，所述待处理图像包括以下之一：

基于飞行时间TOF相机采集的平面图像；

基于所述TOF相机采集或计算得到的深度图像；

基于所述TOF相机采集的相位图像；

基于所述TOF相机计算得到的幅度图像。

第二方面，本公开实施例提供一种图像处理装置，所述装置包括：

第一确定模块，配置为基于待处理图像中各像素点的像素值，确定各所述像素点的垂直梯度；

第二确定模块，配置为针对所述待处理图像的每一列，根据各所述像素点的垂直梯度，确定所述每一列对应的第一梯度统计值；

第三确定模块，配置为基于所述待处理图像各列的第一梯度统计值，确定所述待处理图像中存在异常的图像列；

校正模块，配置为对所述异常的图像列进行校正，得到处理后的图像。

在一些实施例中，所述第三确定模块，配置为采用滑动窗口以各列的所述第一梯度统计值为窗口中心进行滑动遍历，并确定窗口内多个所述第一梯度统计值对应的第二梯度统计值；针对所述待处理图像中的每一图像列，根据所述图像列所对应的滑动窗口的第二梯度统计值，确定所述图像列是否为异常的图像列。

在一些实施例中，所述第三确定模块，配置为在遍历过程中，若所述窗口内的第一梯度统计值对应的图像列被标识为异常的图像列，基于所述窗口内异常的图像列之外的各图像列对应的第一梯度统计值，确定所述第二梯度统计值。

在一些实施例中，所述第二梯度统计值包括：窗口内第一梯度统计值的均值以及标准差；所述第三确定模块，配置为若所述图像列对应的第一梯度统计值与所述均值之间的差值，与所述标准差之间的比值大于预设阈值，确定所述图像列为异常的图像列。

在一些实施例中，所述校正模块，配置为对所述异常的图像列中的每一目标像素点，对与所述目标像素点相邻的各像素点分别进行窗口滤波，统计窗口内被标识为非异常的图像列上的像素点对应的窗口滤波估计值；根据与所述目标像素点相邻的各像素点对应的窗口滤波估计值，对所述目标像素点的像素值进行校正。

在一些实施例中，所述校正模块，配置为对与所述目标像素点相邻的各像素点对应的窗口滤波估计值进行加权处理；将加权后的各窗口滤波估计值的和值确定为所述目标像素点的像素值。

第三方面，本公开实施例提供一种计算机设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行第一方面中所述的方法。

第四方面，本公开实施例提供一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现第一方面中所述的方法。

本公开的实施例提供的技术方案可以包括以下有益效果：

在本公开的实施例中，基于垂直梯度，以列为单位进行异常检测，而不是逐像素点进行异常统计后确认，一方面能提升异常的图像列的检测速度；另一方面，以列为单位进行异常检测，即使坏线列上只有部分像素点异常，但从列方向上整体都属于坏线也能被检测到，例如相对间隔像素点进行异常检测的方式，本公开实施例的方式能在提升检测速度的同时不遗漏对异常像素点的检测，能提升检测的稳定性，且能使得校正后的图像的显示效果更优。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。

图1为本公开实施例提供的一种图像处理方法的实现流程示意图；

图2为本公开实施例提供的一种图像坐标的示例图；

图3为本公开实施例中一种滑动窗口示例图一；

图4为本公开实施例中一种滤波窗口示例图二；

图5为本公开实施例提供的一种图像处理装置的组成结构示意图；

图6为本公开实施例提供的一种计算机设备的硬件实体示意图。

具体实施方式

为了使本公开的目的、技术方案和优点更加清楚，下面结合附图和实施例对本公开的技术方案进一步详细阐述，所描述的实施例不应视为对本公开的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本公开保护的范围。

本公开所涉及的术语“第一/第二/第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一/第二/第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本公开实施例能够以除了在这里图示或描述的以外的顺序实施。

除非另有定义，本文所使用的所有的技术和科学术语与属于本公开的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本公开的目的，不是旨在限制本公开。

本公开实施例提供一种图像处理方法，该方法可以由计算机设备的处理器执行。其中，计算机设备指的可以是服务器、笔记本电脑、平板电脑、台式计算机、智能电视、移动设备(例如移动电话、个人数字助理、、车载设备)等具备图像处理能力的设备。

图1为本公开实施例提供的一种图像处理方法的实现流程示意图，如图1所示，该方法包括如下步骤：

S11、基于待处理图像中各像素点的像素值，确定各所述像素点的垂直梯度；

S12、针对所述待处理图像的每一列，根据各所述像素点的垂直梯度，确定所述每一列对应的第一梯度统计值；

S13、基于所述待处理图像各列的第一梯度统计值，确定所述待处理图像中存在异常的图像列；

S14、对所述异常的图像列进行校正，得到处理后的图像。

在本公开实施例中，待处理图像可以是任意图像采集设备采集的图像，该图像可以是彩色图、灰度图、深度图、或相位图、幅值图等，此外，待处理图像还可以是针对同一对象连续采集的多张图像对应的融合图像，例如该融合图像是多张图像的平均图像，本公开实施例不做限制。

在一些实施例中，所述待处理图像包括以下之一：

基于飞行时间TOF相机采集的平面图像；

基于所述TOF相机采集或计算得到的深度图像；

基于所述TOF相机采集的相位图像；

基于所述TOF相机计算得到的幅度图像。

在该实施例中，TOF相机采集的平面图像可以是彩色图像，也可以是灰度图像。其中，基于TOF相机计算得到的深度图像可以是对TOF相机采集的相位图像进行计算后得到的，基于TOF相机计算得到的幅度图像也可以是对相位图像进行计算后得到的。。

在步骤S11中，计算机设备会确定各像素点的垂直梯度，以待处理图像是3D TOF相机获得的深度图像S(M×N)为例，图2为本公开实施例提供的一种图像坐标的示例图，如图2所示，深度图像S可表示为S(M×N)，包括M行、N列。

本公开实施例中，任一像素点S(i，j)的垂直梯度可以是利用垂直梯度卷积核对待处理图像进行卷积操作获得。例如，垂直梯度卷积核可以是3*3的卷积核，例如[0，-0.5,0；0,0,0；0,0.5,0]，对应的，第i行第j列的像素点的垂直梯度SGrad(i，j)＝[S(i+1，j)-S(i-1，j)]/2。当然，本公开实施例也可以其他图像梯度算子，例如Sobel垂直梯度算子、Roberts垂直梯度算子和Prewitt垂直梯度算子等。

需要说明的是，对于待处理图像边缘上的像素点，会出现图像上不能获取到例如3*3的图像块进行卷积，在这种情况下可考虑在不足的区域内用零填充，或者复制最边缘的像素点的像素值等，本公开对边缘处像素点的垂直梯度确定方式不做限制。

在步骤S12和S13中，计算机设备会基于各像素点的垂直梯度，确定待处理图像中存在异常的图像列。需要说明的是，异常的图像列可以是图像列中局部或全部像素点的像素值存在异常，其中，异常是指像素点的像素值失真。例如图像画面中的白点或黑点，与周围像素点的像素值差异较大，则该像素点被称为异常像素点。本公开实施例中，待处理图像中异常的图像列被称之为划线，待处理图像中异常的图像列可以是一列也可以是多列。

在确定待处理图像中存在异常的图像列时，计算机设备以图像列为单位，确定每一列对应的第一梯度统计值，并根据各列的第一梯度统计值确定异常的图像列。其中，每一列对应的第一梯度统计值可以是列中各像素点的垂直梯度的均值，还可以是中值、最大值或最小值等，本公开实施例不做限制。

示例性的，可对垂直梯度图像SGrad(M×N)的每一列求平均数，得到SGrow(N)个第一梯度统计值。

在一些实施例中，在基于待处理图像各列的第一梯度统计值，确定待处理图像中存在异常的图像列时，可以是对各列的第一梯度统计值进行整体处理确定其中存在异常的图像列，例如可以是统计各列的第一梯度统计值的均值，并将列对对应的第一梯度统计值与均值差异大的图像列确定为异常的图像列；还可以是基于各列的第一梯度统计值采用滑动窗口进行局部化的处理以确定异常的图像列，对此本公开实施例不做限制。

在步骤S14中，计算机设备在确定异常的图像列之后，即对异常的图像列进行校正，以对图像进行修复。需要说明的是，对异常的图像列进行校正是对异常的图像列中每一个像素点进行校正。

可以理解的是，在本公开的实施例中，基于垂直梯度，以列为单位进行异常检测，而不是逐像素点进行异常统计后确认，一方面能提升异常的图像列的检测速度；另一方面，以列为单位进行异常检测，即使坏线列上只有部分像素点异常，但从列方向上整体都属于坏线也能被检测到，例如相对间隔像素点进行异常检测的方式，本公开实施例的方式能在提升检测速度的同时不遗漏对异常像素点的检测，能提升检测的稳定性，且能使得校正后的图像的显示效果更优。

需要说明的是，本公开实施例不限定于基于各像素点的垂直梯度确定异常的图像列，也可以是基于各像素点的水平梯度确定异常的图像行，本公开任一实施例的提及的方法的原理均适用于基于水平梯度确定异常的图像行，以及对异常的图像行的校正。由于图像的行和列仅是相对概念，在一种预定坐标系下的行，在另一种坐标系下可能为列。

在一些实施例中，所述基于所述待处理图像各列的第一梯度统计值，确定所述待处理图像中存在异常的图像列，包括：

采用滑动窗口以各列的所述第一梯度统计值为窗口中心进行滑动遍历，并确定窗口内多个所述第一梯度统计值对应的第二梯度统计值；

针对所述待处理图像中的每一图像列，根据所述图像列所对应的滑动窗口的第二梯度统计值，确定所述图像列是否为异常的图像列。

在本公开实施例中，计算机设备在确定待处理图像中异常的图像列时，利用的是滑动窗口进行局部统计，获得以第一梯度统计值为窗口中心的窗口对应的第二梯度统计值，也即以列为中心的滑动窗口内多个图像列的第一梯度统计值对应的统计值。在采用滑动窗口进行遍历时，针对边缘的图像列，可采用前述在不足的区域内用零填充等方式进行填充后计算第二梯度统计值，此处不再详述。

需要说明的是，本公开实施例中，第二梯度统计值可以是窗口内第一梯度统计值的均值和/或标准差，其中，窗口内第一梯度统计值的均值可以是算术平均数、也可以是根据非局部均值、高斯滤波等多种方式估算的值，本公开实施例对此不做限定。

可以理解的是，本公开实施例中，在确定异常的图像列时，进一步基于滑动窗口对第一梯度统计值进行统计，一方面，方案简单，能提升异常的图像列的检测效率，另一方面，结合窗口内例如相邻图像列的第一梯度统计值，由于通常相邻列具有相似的特点(例如垂直梯度相似)，因而能较为准确的检测出异常的图像列。

本公开实施例中，若计算机设备基于窗口统计方式检测到异常的图像列，则可对异常的图像列进行标识，例如形成坏线标识BPFlag(j)＝1。

在一些实施例中，所述采用滑动窗口以各列的所述第一梯度统计值为窗口中心进行滑动遍历，并确定窗口内多个所述第一梯度统计值对应的第二梯度统计值，包括：

在遍历过程中，若所述窗口内的第一梯度统计值对应的图像列被标识为异常的图像列，基于所述窗口内异常的图像列之外的各图像列对应的第一梯度统计值，确定所述第二梯度统计值。

在本公开实施例中，在确定窗口内各第一梯度统计值的第二梯度统计值时，排除被标识为异常的图像列对应的第一梯度统计值，能提升第二梯度统计值确定的准确性，从而有利于提升异常的图像列检测的准确性。

需要说明的是，本公开实施例中，在进行窗口内各第一梯度统计值的统计时，自身第j列的数据点，以及其左边数据(j-1)，右边数据(j+1)也可不参与计算，以减少自身数据点以及相邻数据点异常造成的第二梯度统计值统计误差过大的现象，通过该种方式能提升异常的图像列检测的准确性。

图3为本公开实施例中一种滑动窗口示例图一，如图3所示，针对SGrow(N)中的任一列，如L0标识的第j列，采用的是半径为r，总窗口为2r+1的滑动窗口。在进行窗口内各第一梯度统计值的统计时，针对图3中有坏线标识的图像列，以及当前的第j列，第j-1和第j+1列均不纳入计算。可以理解的是，每个窗口参与计算的第一梯度统计值的总数为2r-2-n，其中n为有坏线标识的数据点的数量。

本公开实施例中，在针对每一图像列，根据图像列所对应的滑动窗口的第二梯度统计值，确定图像列是否为异常的图像列时，可以是将图像列的第一梯度统计值与第二梯度统计值进行比较，以确定图像列是否为异常的图像列。

在一些实施例中，第二梯度统计值包括窗口内第一梯度统计值的均值，计算机设备可以是在图像列的第一梯度统计值与窗口内第一梯度统计值的均值的比值大于预设比例阈值的情况下确定图像列为异常的图像列，该预设比例阈值可以是人为设定的。

在另一些实施例中，所述第二梯度统计值包括：窗口内第一梯度统计值的均值以及标准差；

所述根据所述图像列所对应的滑动窗口的第二梯度统计值，确定所述图像列是否为异常的图像列，包括：

若所述图像列对应的第一梯度统计值与所述均值之间的差值，与所述标准差之间的比值大于预设阈值，确定所述图像列为异常的图像列。

在本公开实施例中，第二梯度统计值包括窗口内第一梯度统计值的均值以及标准差，示例性的，用Sgrad(j)代表均值，SGrowStd(j)代表标准差，针对SGrow(N)中的每一个第一梯度统计值SGrow(j)，则可根据如下公式(1)确定图像列为异常的图像列：

|SGrow(j)-SGrad(j)|>T×SGrowStd(j) (1)

其中，T为预设阈值。

由于标准差能反映一个数据集的离散程度，标准差越大，说明差异越大。在本公开实施例中，基于上述公式(1)衡量图像列对应的第一梯度统计值与均值之间的差值，即衡量图像列对应的第一梯度统计值与均值之间的离散程度。将图像列对应的第一梯度统计值与均值之间的离散程度，与窗口内第一梯度统计值的标准差进行对比，如果该离散程度大于窗口内第一梯度统计值的整体离散程度(标准差SGrowStd(j))与预设阈值的乘积，则说明该图像列与窗口内的图像列差异过大，因此为异常的图像列的可能性也越大。

可以理解的是，本公开实施例中，结合窗口内第一梯度统计值的均值和标准差共同确定图像列为异常图像列的方式，能提升异常的图像列确定的准确性。

在另一些实施例中，所述基于所述待处理图像各列的第一梯度统计值，确定所述待处理图像中存在异常的图像列，包括：采用滑动窗口以各列的所述第一梯度统计值为窗口中心进行滑动遍历，并基于窗口内所述窗口中心之外的第一梯度统计值预测所述窗口中心的梯度估计值；

针对所述待处理图像中的每一图像列，根据所述窗口中心的第一梯度统计值与所述梯度估计值之间的差异，确定所述图像列是否为异常的图像列。

在该实施例中，在基于窗口内窗口中心之外的第一梯度统计值预测窗口中心的梯度估计值时，例如是基于卡尔曼滤波或高斯建模方式获得梯度估计值，对此本公开实施例不做限制。

在本公开实施例中，通过局部精细化的窗口处理方式，基于窗口内窗口中心之外的第一梯度统计值结合数理统计模型确定梯度估计值，并基于窗口中心的第一梯度统计值与梯度估计值之间的差异确定异常的图像列，也能精准的确定异常的图像列。

在一些实施例中，所述对所述异常的图像列进行校正，得到处理后的图像，包括：

对所述异常的图像列中的每一目标像素点，对与所述目标像素点相邻的各像素点分别进行窗口滤波，统计窗口内被标识为非异常的图像列上的像素点对应的窗口滤波估计值；

根据与所述目标像素点相邻的各像素点对应的窗口滤波估计值，对所述目标像素点的像素值进行校正。

在本公开实施例中，计算机设备检测出异常的图像列之后，针对异常的图像列中的每一个目标像素点，对与目标像素点相邻的各像素点分别进行窗口滤波，在进行窗口滤波时，不考虑已被标识为异常的图像列上的像素点，通过该种方式，能提升对目标像素点的像素值校正的准确性。

以目标像素点是S(i,j)为例，相邻的各像素点可以是上下2个像素点S(i-1,j)和S(i+1,j)，也可以是左右两个像素点S(i,j-1)和S(i,j+1)，还可以是上下左右共四个像素点，本公开实施例不做限制。此外，在进行窗口滤波时，可对相邻的像素点分别采用半径为(r1，r2)的窗口进行滤波，其中滤波包括但不限于均值滤波、高斯滤波、双边滤波、引导滤波、非局部均值滤波、3D滤波等各种滤波方式，且窗口半径r1和r2可相等，也可以不相等，本公开实施例不做限制。

在本公开实施例中，以引导滤波为例，若待处理图像是3D TOF相机获得的深度图像，则可将对应的平面图像引入到深度图像中进行滤波；反之，若待处理图像是3D TOF相机获得的平面图像(例如为灰度图像)，则可将对应的深度图像引入到平面图像中进行滤波，通过引导滤波的方式，能更好的保留待处理图像的细节。

图4为本公开实施例中一种滤波窗口示例图二，如图4所示，针对异常的图像列中的目标像素点S(i,j)，以对相邻像素点S(i,j-1)进行窗口滤波为例，窗口半径为r1行，r2列。在窗口滤波时，L1和L2标识的列为异常的图像列，该2列上的像素值不纳入统计，例如可用0替换后计算窗口滤波估计值。

可以理解的是，在本公开实施例中，基于目标像素点相邻的各像素点分别进行窗口滤波，由于相邻像素点有多个(至少2个)，因而基于多个相邻像素点的窗口估计值对目标像素点的像素值进行校正，能使得校正后的异常图像列中的像素与周围像素过渡更平滑，使得校正后的图像更加自然。

在一些实施例中，所述根据与所述目标像素点相邻的各像素点对应的窗口滤波估计值，对所述目标像素点的像素值进行校正，包括：

对与所述目标像素点相邻的各像素点对应的窗口滤波估计值进行加权处理；

将加权后的各窗口滤波估计值的和值确定为所述目标像素点的像素值。

在本公开实施例中，可基于目标像素点相邻的各像素点对应的窗口滤波估计值的加权值来确定目标像素点的像素值，其中，用于加权处理的加权系数可以是人为预设的加权系数，也可以是基于待处理图像估算得到。各像素点对应的窗口滤波估计值的加权系数之和为1。

在一些实施例中，可基于如下公式(2)对目标像素点的像素值进行校正：

S_估(i,j)＝a1*S_估(i,j-1)+a2*S_估(i,j+1)]/2 (2)

其中，S_估(i,j)即目标像素点校正后的像素值，S_估(i,j-1)、S_估(i,j+1)]分别为与S(i,j)相邻的像素点的窗口滤波估计值，a1和a2为加权系数，示例性的，a1和a2均可以为0.5。

在另一些实施例中，在基于待处理图像估算加权系数时，可根据与目标像素点相邻的各像素点对应的窗口滤波估计值，以目标像素点的像素值为目标进行拟合，确定各窗口滤波估计值的拟合系数，并根据与拟合系数正相关的关系确定各窗口滤波估计值对应的加权系数。

需要说明的是，根据与拟合系数正相关的关系确定各窗口滤波估计值对应的加权系数的原因在于，目标像素点本身为异常的图像列上的像素点，因而其像素值可能异常，若在拟合时，相邻像素点对应的窗口滤波估计值的拟合系数更大，说明该相邻像素点的窗口内的像素值可能与目标像素点的像素值的差异较大，而该目标像素点的像素值差异较大的点可能为正常的像素点，因而可赋予较大的加权系数。可以理解的是，基于待处理图像估算加权系数的方式，能更为准确的对目标像素点的像素值进行校正。

可以理解的是，在本公开的实施例中，对与目标像素点相邻的各像素点对应的窗口滤波估计值进行加权处理，以对异常的图像列上的目标像素点进行校正，能提升校正的准确度，使得校正后的图像更加自然。

图5为本公开实施例提供的一种图像处理装置的组成结构示意图，如图5所示，图像处理装置500包括：

第一确定模块501，配置为基于待处理图像中各像素点的像素值，确定各所述像素点的垂直梯度；

第二确定模块502，配置为针对所述待处理图像的每一列，根据各所述像素点的垂直梯度，确定所述每一列对应的第一梯度统计值；

第三确定模块503，配置为基于所述待处理图像各列的第一梯度统计值，确定所述待处理图像中存在异常的图像列；

校正模块504，配置为对所述异常的图像列进行校正，得到处理后的图像。

在一些实施例中，所述第三确定模块503，配置为采用滑动窗口以各列的所述第一梯度统计值为窗口中心进行滑动遍历，并确定窗口内多个所述第一梯度统计值对应的第二梯度统计值；针对所述待处理图像中的每一图像列，根据所述图像列所对应的滑动窗口的第二梯度统计值，确定所述图像列是否为异常的图像列。

在一些实施例中，所述第三确定模块503，配置为在遍历过程中，若所述窗口内的第一梯度统计值对应的图像列被标识为异常的图像列，基于所述窗口内异常的图像列之外的各图像列对应的第一梯度统计值，确定所述第二梯度统计值。

在一些实施例中，所述第二梯度统计值包括：窗口内第一梯度统计值的均值以及标准差；所述第三确定模块503，配置为若所述图像列对应的第一梯度统计值与所述均值之间的差值，与所述标准差之间的比值大于预设阈值，确定所述图像列为异常的图像列。

在一些实施例中，所述校正模块504，配置为对所述异常的图像列中的每一目标像素点，对与所述目标像素点相邻的各像素点分别进行窗口滤波，统计窗口内被标识为非异常的图像列上的像素点对应的窗口滤波估计值；根据与所述目标像素点相邻的各像素点对应的窗口滤波估计值，对所述目标像素点的像素值进行校正。

在一些实施例中，所述校正模块504，配置为对与所述目标像素点相邻的各像素点对应的窗口滤波估计值进行加权处理；将加权后的各窗口滤波估计值的和值确定为所述目标像素点的像素值。

以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上述方法实施例描述的方法，对于本公开装置实施例中未披露的技术细节，请参照本公开方法实施例的描述而理解。

需要说明的是，本公开实施例中，如果以软件功能模块的形式实现上述的图像处理方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本公开各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read OnlyMemory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本公开实施例不限制于任何特定的硬件、软件或固件，或者硬件、软件、固件三者之间的任意结合。

本公开实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法中的部分或全部步骤。

本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法中的部分或全部步骤。所述计算机可读存储介质可以是瞬时性的，也可以是非瞬时性的。

本公开实施例提供一种计算机程序，包括计算机可读代码，在所述计算机可读代码在计算机设备中运行的情况下，所述计算机设备中的处理器执行用于实现上述方法中的部分或全部步骤。

本公开实施例提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序被计算机读取并执行时，实现上述方法中的部分或全部步骤。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一些实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一些实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。

这里需要指出的是：上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考。以上设备、存储介质、计算机程序及计算机程序产品实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本公开设备、存储介质、计算机程序及计算机程序产品实施例中未披露的技术细节，请参照本公开方法实施例的描述而理解。

图6为本公开实施例提供的一种计算机设备的硬件实体示意图，如图6所示，该计算机设备600的硬件实体包括：处理器601、通信接口602和存储器603，其中：

处理器601通常控制计算机设备600的总体操作。

通信接口602可以使计算机设备通过网络与其他终端或服务器通信。

存储器603配置为存储由处理器601可执行的指令和应用，还可以缓存待处理器601以及计算机设备600中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通信数据和视频通信数据)，可以通过闪存(FLASH)或随机访问存储器(Random AccessMemory，RAM)实现。处理器601、通信接口602和存储器603之间可以通过总线604进行数据传输。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本公开的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。此外，在本公开的各种实施例中，上述各步骤/过程的序号的大小并不意味着执行顺序的先后，各步骤/过程的执行顺序应以其功能和内在逻辑确定，而不应对本公开实施例的实施过程构成任何限定。上述本公开实施例序号仅仅为了描述，不代表实施例的优劣。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

在本公开所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本公开各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本公开上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本公开各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本公开的实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。

Claims (7)

1.一种图像处理方法，其特征在于，所述方法包括：

基于待处理图像中各像素点的像素值，确定各所述像素点的垂直梯度；

针对所述待处理图像的每一列，根据各所述像素点的垂直梯度，确定所述每一列对应的第一梯度统计值；

采用滑动窗口以各列的所述第一梯度统计值为窗口中心进行滑动遍历，在遍历过程中，若所述窗口内的第一梯度统计值对应的图像列被标识为异常的图像列，基于所述窗口内异常的图像列之外的各图像列对应的第一梯度统计值，确定第二梯度统计值；其中，所述第二梯度统计值包括：窗口内第一梯度统计值的均值以及标准差；

针对所述待处理图像中的每一图像列，若所述图像列对应的第一梯度统计值与所述均值之间的差值，与所述标准差之间的比值大于预设阈值，确定所述图像列为异常的图像列；

对所述异常的图像列进行校正，得到处理后的图像。

2.根据权利要求1中所述的方法，其特征在于，所述对所述异常的图像列进行校正，得到处理后的图像，包括：

对所述异常的图像列中的每一目标像素点，对与所述目标像素点相邻的各像素点分别进行窗口滤波，统计窗口内被标识为非异常的图像列上的像素点对应的窗口滤波估计值；

根据与所述目标像素点相邻的各像素点对应的窗口滤波估计值，对所述目标像素点的像素值进行校正。

3.根据权利要求2所述的方法，其特征在于，所述根据与所述目标像素点相邻的各像素点对应的窗口滤波估计值，对所述目标像素点的像素值进行校正，包括：

对与所述目标像素点相邻的各像素点对应的窗口滤波估计值进行加权处理；

将加权后的各窗口滤波估计值的和值确定为所述目标像素点的像素值。

4.根据权利要求1所述的方法，其特征在于，所述待处理图像包括以下之一：

基于飞行时间TOF相机采集的平面图像；

基于所述TOF相机采集或计算得到的深度图像；

基于所述TOF相机采集的相位图像；

基于所述TOF相机计算得到的幅度图像。

5.一种图像处理装置，其特征在于，包括：

第一确定模块，配置为基于待处理图像中各像素点的像素值，确定各所述像素点的垂直梯度；

第二确定模块，配置为针对所述待处理图像的每一列，根据各所述像素点的垂直梯度，确定所述每一列对应的第一梯度统计值；

第三确定模块，配置为采用滑动窗口以各列的所述第一梯度统计值为窗口中心进行滑动遍历，在遍历过程中，若所述窗口内的第一梯度统计值对应的图像列被标识为异常的图像列，基于所述窗口内异常的图像列之外的各图像列对应的第一梯度统计值，确定第二梯度统计值；其中，所述第二梯度统计值包括：窗口内第一梯度统计值的均值以及标准差；针对所述待处理图像中的每一图像列，若所述图像列对应的第一梯度统计值与所述均值之间的差值，与所述标准差之间的比值大于预设阈值，确定所述图像列为异常的图像列；

校正模块，配置为对所述异常的图像列进行校正，得到处理后的图像。

6.一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至4任一项所述方法中的步骤。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至4任一项所述方法中的步骤。