CN110889866A

CN110889866A - 一种深度图的背景更新方法

Info

Publication number: CN110889866A
Application number: CN201911230183.5A
Authority: CN
Inventors: 李行; 李杨; 丁鹏飞; 霍志坤; 蒋桐; 古峥
Original assignee: Nanjing Meijisen Information Technology Co Ltd
Current assignee: Nanjing Meijisen Information Technology Co Ltd
Priority date: 2019-12-04
Filing date: 2019-12-04
Publication date: 2020-03-17

Abstract

本发明提供了一种深度图的背景更新方法。该方法在获取到每一帧深度图时，通过移动平均算法更新视差分布矩阵，这样得到的视差分布矩阵能够有效体现出每个像素点在一段时间内的视差分布情况。同时针对视差跳变情况，提出通过计算一段时间内的视差分布方差，或者统计一段时间内的视差跳变过大的比例，来判断某一像素点在一段时间内的视差是否稳定，用于判断此像素点的视差是否可靠，以此作为进行前景提取的依据。对于视差分布矩阵，通过提取可选的第二视差，以尽量规避因为视差跳变导致的错误前景问题。本方法计算量小，对环境变化的适应速度快，准确度高，有效解决了深度图视差跳变的问题。

Description

一种深度图的背景更新方法

技术领域

本发明涉及一种深度图的背景更新方法。

背景技术

在计算机视觉领域，目标追踪的一种常用方法是背景差分法；背景差分法通过将当前帧图像与提取出的背景进行差分，从而将前景和背景区分开来。

背景差分法的一个重要问题是如何得到准确的背景；如果背景不准确，可能导致（1）前景目标被当成背景，导致目标漏检；（2）背景被当成前景目标，导致目标误检；

对于双目立体视觉来说，还有特定的情况需要处理：（1）由于视差图算法的局限性，导致不同光线条件下的背景出现变化，需要更新；（2）由于算法局限，视差图在某些特定区域会计算错误，从而导致视差值在真实值和特定错误值之间跳动；（3）双目立体视觉的图像比较简单，可以视为特殊的灰度图像，灰度值在一个较窄的范围内波动，因此对于背景的准确性要求较高；

目前建立背景的方法主要包括：（1）统计直方图法；（2）统计中值法；（3）多针图像平均法等；

这些方法主要是针对彩色或者灰度图的背景计算，精确度不高，而且无法解决视差跳动、精确度较高、的要求。

发明内容

本发明是为了克服上述现有技术的缺陷，提出一个实时视差图更新背景算法。算法包括两个部分：（1）在每一次接受到视差图时，更新背景；（2）对于接受到的视差图，通过背景矩阵、可靠性矩阵进行前景判断。以下对于这两个进行详细描述。

一、更新背景步骤

此步骤的流程如说明书附图1所示。

在进行背景更新之前，先建立以下矩阵：

（1）设视差图的尺寸是W*H，其视差分布范围是0~(D-1)。建立一个三维矩阵，矩阵的宽是W，长是H，高是D。矩阵中所有单元的初始值设置为0。对于矩阵中的某一点P，用(w, h, d)表示其位置。此三维矩阵用作保存某一时刻视差的分布。此三维矩阵称为视差分布矩阵。

（2）建立一个二维矩阵，宽是W，长是H。此二维矩阵用于保存某一个像素点的视差分布平均方差。此二维矩阵称为方差矩阵。

（3）建立一个二维矩阵，宽是W，长是H。此二维矩阵用于保存某一个像素点在时间序列上的跳变比例。此二维矩阵称为跳变比例矩阵。

（4）建立一个二维矩阵，宽是W，长是H。此二维矩阵用于保存某一个像素点是否可靠。此二维矩阵称为可靠性矩阵。

（5）建立一个三维矩阵，宽是W，长是H，高是2。此三维矩阵用作保存最终计算出的背景。此三维矩阵称为背景矩阵。

对于每一帧输入的视差图，通过以下步骤更新中间矩阵、背景矩阵。

（1）遍历实时计算出的视差图，对于每一个像素点(w, h)，设此像素点的视差值为d，则通过以下公式更新视差分布矩阵中的值：

当K<=N时的更新公式：

Hist(w, h, d) = Hist(w, h d) + 1；

当K>N时的更新公式：

Hist(w,h,0) = Hist(w,h,0) * (N-1)/N；

Hist(w,h,1) = Hist(w,h,0) * (N-1)/N；

…

Hist(w,h,d) = Hist(w,h,0) * (N-1)/N + 1；

…

Hist(w,h,D-1) = Hist(w,h,0) * (N-1)/N；

其中，Hist是视差分布矩阵，w是宽位置，h长位置，d是高位置；N是可以修改的参数，类型是整形值。

（2）对于每一个像素点，计算其分布直方图的方差，并保存到方差矩阵中。计算公式为：

Var(w,h) = (1/D) *；其中，mean_d是加权后的平均的视差，Var(w, h)代表宽在w，长在h的位置的像素值。

（3）（步骤2的可选替代）对于每一个像素点，计算其与上一次视差图中相同位置的差，设为Ddiff，并更新跳变比例矩阵，公式如下：

Jump(w,h) = Jump(w,h) * (K-1)/K，当Ddiff<=Dthreshold；

Jump(w,h) = Jump(w,h) * (K-1)/K + 1/K，当Ddiff>Dthreshold；

（4）对于某一个像素点，有步骤（6）和步骤（7）用于判断其此像素点的视差是否可靠。步骤（6）和步骤（7）是可以相互替代的。

判断方法1：

Stable(w,h) = (Var(w,h)<var_th)

判断方法2：

Stable(w,h) = (Jump(w,h)<jump_th)；

（5）对于像素点(w,h)，定时通过以下公式提取背景图：

Background(w,h,0) = max(Hist(w,h))

Background(w,h,1) = d（若Hist(w,h,d)< Background(w,h,0)且 Hist(w,h,d)/N>k），其中k是可变参数，范围为0-0.5；

Background(w,h,1) = NULL（else）。

二、前景判断步骤

此步骤的流程如说明书附图2所示。

设当前帧的图像为Cur，前景的图像为Foreground；二者宽为W，长为H。对于某一像素点(w,h)，设当前帧视差视差为d=Cur(w,h)。

（1）首先查看此位置是否可靠。如果Stable(w,h)=false，Foreground(w,h) = 0，流程结束；否则继续。

（2）对于某一像素点(w,h)，判断其是否为背景：

如果abs(d-Background(w,h,0)) <background_th，则判断其为背景，Foreground(w,h) = 0，流程结束；否则继续；

（3）判断Background(w,h,1)是否存在，如果存在，继续判断其是否为背景：如果abs(d-Background(w,h,1)) <background_th，则判断其为背景，Foreground(w,h) = 0，流程结束；否则继续；

设置前景图像的值：Foreground(w,h) = d。

附图说明

图1是更新背景流程图。

图2是提取前景流程图。

具体实施方式

为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明做进一步详细说明。

本算法主要对于固定视角下的场景进行背景更新和前景判断。

对于输入的图像格式大小为320*240，视差计算范围在0-15的视差图，进行以下处理：

建立三维视差分布矩阵，矩阵的长为320，宽为240，高为16，初始值均为0。建立二维方差矩阵，矩阵的长为320，宽为240，初始值为0。

建立二维可靠性矩阵，矩阵的长为320，宽为240，初始值为1。

建立三维背景矩阵，矩阵的长为320，宽为240，高为2，初始值均为NULL。

对于新输入的视差图，对其进行遍历，并更新以上矩阵。从方差矩阵得到可靠性矩阵，方差阈值取值为0.3。提取背景图时，第二背景的参数k取值为0.2。

Claims

1.一种深度图的背景更新方法，其步骤包括：建立视差分布矩阵、更新视差分布矩阵、更新背景矩阵，提取背景矩阵，其特征在于，背景矩阵中每一个像素点有可选的第二背景值。

2.根据权利要求1所述的背景更新方法，其特征在于，所述方法还包括生成用于判断像素点视差是否可靠的可靠性矩阵。

3.根据权利要求2所述的背景更新方法，其特征在于，所述可靠性矩阵是通过对方差的计算、更新得到。

4.根据权利要求2所述的背景更新方法，其特征在于，所述可靠性矩阵是通过对跳变比例的计算、更新得到。