CN110889866A - 一种深度图的背景更新方法 - Google Patents
一种深度图的背景更新方法 Download PDFInfo
- Publication number
- CN110889866A CN110889866A CN201911230183.5A CN201911230183A CN110889866A CN 110889866 A CN110889866 A CN 110889866A CN 201911230183 A CN201911230183 A CN 201911230183A CN 110889866 A CN110889866 A CN 110889866A
- Authority
- CN
- China
- Prior art keywords
- parallax
- matrix
- background
- jump
- pixel point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 239000011159 matrix material Substances 0.000 claims abstract description 56
- 230000006978 adaptation Effects 0.000 abstract 1
- 230000007613 environmental effect Effects 0.000 abstract 1
- 238000000605 extraction Methods 0.000 abstract 1
- 238000004364 calculation method Methods 0.000 description 3
- 238000011410 subtraction method Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种深度图的背景更新方法。该方法在获取到每一帧深度图时,通过移动平均算法更新视差分布矩阵,这样得到的视差分布矩阵能够有效体现出每个像素点在一段时间内的视差分布情况。同时针对视差跳变情况,提出通过计算一段时间内的视差分布方差,或者统计一段时间内的视差跳变过大的比例,来判断某一像素点在一段时间内的视差是否稳定,用于判断此像素点的视差是否可靠,以此作为进行前景提取的依据。对于视差分布矩阵,通过提取可选的第二视差,以尽量规避因为视差跳变导致的错误前景问题。本方法计算量小,对环境变化的适应速度快,准确度高,有效解决了深度图视差跳变的问题。
Description
技术领域
本发明涉及一种深度图的背景更新方法。
背景技术
在计算机视觉领域,目标追踪的一种常用方法是背景差分法;背景差分法通过将当前帧图像与提取出的背景进行差分,从而将前景和背景区分开来。
背景差分法的一个重要问题是如何得到准确的背景;如果背景不准确,可能导致(1)前景目标被当成背景,导致目标漏检;(2)背景被当成前景目标,导致目标误检;
对于双目立体视觉来说,还有特定的情况需要处理:(1)由于视差图算法的局限性,导致不同光线条件下的背景出现变化,需要更新;(2)由于算法局限,视差图在某些特定区域会计算错误,从而导致视差值在真实值和特定错误值之间跳动;(3)双目立体视觉的图像比较简单,可以视为特殊的灰度图像,灰度值在一个较窄的范围内波动,因此对于背景的准确性要求较高;
目前建立背景的方法主要包括:(1)统计直方图法;(2)统计中值法;(3)多针图像平均法等;
这些方法主要是针对彩色或者灰度图的背景计算,精确度不高,而且无法解决视差跳动、精确度较高、的要求。
发明内容
本发明是为了克服上述现有技术的缺陷,提出一个实时视差图更新背景算法。算法包括两个部分:(1)在每一次接受到视差图时,更新背景;(2)对于接受到的视差图,通过背景矩阵、可靠性矩阵进行前景判断。以下对于这两个进行详细描述。
一、更新背景步骤
此步骤的流程如说明书附图1所示。
在进行背景更新之前,先建立以下矩阵:
(1)设视差图的尺寸是W*H,其视差分布范围是0~(D-1)。建立一个三维矩阵,矩阵的宽是W,长是H,高是D。矩阵中所有单元的初始值设置为0。对于矩阵中的某一点P,用(w, h, d)表示其位置。此三维矩阵用作保存某一时刻视差的分布。此三维矩阵称为视差分布矩阵。
(2)建立一个二维矩阵,宽是W,长是H。此二维矩阵用于保存某一个像素点的视差分布平均方差。此二维矩阵称为方差矩阵。
(3)建立一个二维矩阵,宽是W,长是H。此二维矩阵用于保存某一个像素点在时间序列上的跳变比例。此二维矩阵称为跳变比例矩阵。
(4)建立一个二维矩阵,宽是W,长是H。此二维矩阵用于保存某一个像素点是否可靠。此二维矩阵称为可靠性矩阵。
(5)建立一个三维矩阵,宽是W,长是H,高是2。此三维矩阵用作保存最终计算出的背景。此三维矩阵称为背景矩阵。
对于每一帧输入的视差图,通过以下步骤更新中间矩阵、背景矩阵。
(1) 遍历实时计算出的视差图,对于每一个像素点(w, h),设此像素点的视差值为d,则通过以下公式更新视差分布矩阵中的值:
当K<=N时的更新公式:
Hist(w, h, d) = Hist(w, h d) + 1;
当K>N时的更新公式:
Hist(w,h,0) = Hist(w,h,0) * (N-1)/N;
Hist(w,h,1) = Hist(w,h,0) * (N-1)/N;
…
Hist(w,h,d) = Hist(w,h,0) * (N-1)/N + 1;
…
Hist(w,h,D-1) = Hist(w,h,0) * (N-1)/N;
其中,Hist是视差分布矩阵,w是宽位置,h长位置,d是高位置;N是可以修改的参数,类型是整形值。
(2) 对于每一个像素点,计算其分布直方图的方差,并保存到方差矩阵中。计算公式为:
Var(w,h) = (1/D) *;其中,mean_d是加权后的平均的视差,Var(w, h)代表宽在w,长在h的位置的像素值。
(3) (步骤2的可选替代)对于每一个像素点,计算其与上一次视差图中相同位置的差,设为Ddiff,并更新跳变比例矩阵,公式如下:
Jump(w,h) = Jump(w,h) * (K-1)/K,当Ddiff<=Dthreshold;
Jump(w,h) = Jump(w,h) * (K-1)/K + 1/K,当Ddiff>Dthreshold;
(4) 对于某一个像素点,有步骤(6)和步骤(7)用于判断其此像素点的视差是否可靠。步骤(6)和步骤(7)是可以相互替代的。
判断方法1:
Stable(w,h) = (Var(w,h)<var_th)
判断方法2:
Stable(w,h) = (Jump(w,h)<jump_th);
(5) 对于像素点(w,h),定时通过以下公式提取背景图:
Background(w,h,0) = max(Hist(w,h))
Background(w,h,1) = d(若Hist(w,h,d)< Background(w,h,0)且 Hist(w,h,d)/N>k),其中k是可变参数,范围为0-0.5;
Background(w,h,1) = NULL(else)。
二、前景判断步骤
此步骤的流程如说明书附图2所示。
设当前帧的图像为Cur,前景的图像为Foreground;二者宽为W,长为H。对于某一像素点(w,h),设当前帧视差视差为d=Cur(w,h)。
(1)首先查看此位置是否可靠。如果Stable(w,h)=false,Foreground(w,h) = 0,流程结束;否则继续。
(2)对于某一像素点(w,h),判断其是否为背景:
如果abs(d-Background(w,h,0)) <background_th,则判断其为背景,Foreground(w,h) = 0,流程结束;否则继续;
(3)判断Background(w,h,1)是否存在,如果存在,继续判断其是否为背景:如果abs(d-Background(w,h,1)) <background_th,则判断其为背景,Foreground(w,h) = 0,流程结束;否则继续;
设置前景图像的值:Foreground(w,h) = d。
附图说明
图1是更新背景流程图。
图2是提取前景流程图。
具体实施方式
为了使本领域技术人员更好地理解本发明,下面结合附图和具体实施方式对本发明做进一步详细说明。
本算法主要对于固定视角下的场景进行背景更新和前景判断。
对于输入的图像格式大小为320*240,视差计算范围在0-15的视差图,进行以下处理:
建立三维视差分布矩阵,矩阵的长为320,宽为240,高为16,初始值均为0。建立二维方差矩阵,矩阵的长为320,宽为240,初始值为0。
建立二维可靠性矩阵,矩阵的长为320,宽为240,初始值为1。
建立三维背景矩阵,矩阵的长为320,宽为240,高为2,初始值均为NULL。
对于新输入的视差图,对其进行遍历,并更新以上矩阵。从方差矩阵得到可靠性矩阵,方差阈值取值为0.3。提取背景图时,第二背景的参数k取值为0.2。
Claims (4)
1.一种深度图的背景更新方法,其步骤包括:建立视差分布矩阵、更新视差分布矩阵、更新背景矩阵,提取背景矩阵,其特征在于,背景矩阵中每一个像素点有可选的第二背景值。
2.根据权利要求1所述的背景更新方法,其特征在于,所述方法还包括生成用于判断像素点视差是否可靠的可靠性矩阵。
3.根据权利要求2所述的背景更新方法,其特征在于,所述可靠性矩阵是通过对方差的计算、更新得到。
4.根据权利要求2所述的背景更新方法,其特征在于,所述可靠性矩阵是通过对跳变比例的计算、更新得到。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911230183.5A CN110889866A (zh) | 2019-12-04 | 2019-12-04 | 一种深度图的背景更新方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911230183.5A CN110889866A (zh) | 2019-12-04 | 2019-12-04 | 一种深度图的背景更新方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110889866A true CN110889866A (zh) | 2020-03-17 |
Family
ID=69750506
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911230183.5A Pending CN110889866A (zh) | 2019-12-04 | 2019-12-04 | 一种深度图的背景更新方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110889866A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120307023A1 (en) * | 2010-03-05 | 2012-12-06 | Sony Corporation | Disparity distribution estimation for 3d tv |
CN104778721A (zh) * | 2015-05-08 | 2015-07-15 | 哈尔滨工业大学 | 一种双目图像中显著性目标的距离测量方法 |
CN105809715A (zh) * | 2016-03-07 | 2016-07-27 | 南京航空航天大学 | 一种基于帧间累计变化矩阵的视觉运动目标检测方法 |
CN107274477A (zh) * | 2017-05-03 | 2017-10-20 | 西安电子科技大学 | 一种基于三维空间表层的背景建模方法 |
CN107301642A (zh) * | 2017-06-01 | 2017-10-27 | 中国人民解放军国防科学技术大学 | 一种基于双目视觉的全自动前景背景分隔方法 |
-
2019
- 2019-12-04 CN CN201911230183.5A patent/CN110889866A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120307023A1 (en) * | 2010-03-05 | 2012-12-06 | Sony Corporation | Disparity distribution estimation for 3d tv |
CN104778721A (zh) * | 2015-05-08 | 2015-07-15 | 哈尔滨工业大学 | 一种双目图像中显著性目标的距离测量方法 |
CN105809715A (zh) * | 2016-03-07 | 2016-07-27 | 南京航空航天大学 | 一种基于帧间累计变化矩阵的视觉运动目标检测方法 |
CN107274477A (zh) * | 2017-05-03 | 2017-10-20 | 西安电子科技大学 | 一种基于三维空间表层的背景建模方法 |
CN107301642A (zh) * | 2017-06-01 | 2017-10-27 | 中国人民解放军国防科学技术大学 | 一种基于双目视觉的全自动前景背景分隔方法 |
Non-Patent Citations (2)
Title |
---|
郝志成与吴川: "基于稳定矩阵的动态图像运动目标检测", 《光学学报》 * |
颜卓: "基于双目视觉的运动物体检测***研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3171292B1 (en) | Driving lane data processing method, device, storage medium and apparatus | |
US9070042B2 (en) | Image processing apparatus, image processing method, and program thereof | |
EP2858008B1 (en) | Target detecting method and system | |
WO2020083307A1 (en) | Method, apparatus, and storage medium for obtaining depth image | |
CN109086724B (zh) | 一种加速的人脸检测方法及存储介质 | |
KR100953076B1 (ko) | 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치 | |
CN104504688A (zh) | 基于双目立体视觉的客流密度估计的方法和*** | |
CN102136136A (zh) | 基于自适应Census变换的光度不敏感立体匹配方法 | |
CN110910498B (zh) | 一种利用激光雷达和双目相机构建栅格地图的方法 | |
CN111723778B (zh) | 基于MobileNet-SSD的车辆测距***及方法 | |
CN113327296B (zh) | 基于深度加权的激光雷达与相机在线联合标定方法 | |
CN115641359B (zh) | 确定对象的运动轨迹的方法、装置、电子设备和介质 | |
CN105184771A (zh) | 一种自适应运动目标检测***及检测方法 | |
GB2599939A (en) | Method of updating the existance probability of a track in fusion based on sensor perceived areas | |
CN110363197B (zh) | 基于改进视觉背景提取模型的视频感兴趣区域提取方法 | |
CN110188640B (zh) | 人脸识别方法、装置、服务器和计算机可读介质 | |
CN108876807B (zh) | 一种实时星载卫星图像运动对象检测跟踪方法 | |
CN114005098A (zh) | 高精地图车道线信息的检测方法、装置和电子设备 | |
CN110889866A (zh) | 一种深度图的背景更新方法 | |
CN102708379B (zh) | 一种立体视觉的遮挡像素分类算法 | |
CN115965961B (zh) | 局部到全局的多模态融合方法、***、设备及存储介质 | |
US9674498B1 (en) | Detecting suitability for converting monoscopic visual content to stereoscopic 3D | |
CN107204013B (zh) | 应用于双目立体视觉中的像素点视差值计算方法及装置 | |
CN113256574B (zh) | 一种三维目标检测方法 | |
CN117408935A (zh) | 障碍物检测方法、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200317 |