CN110827397A - 一种面向rgb-d相机实时三维重建的纹理融合方法 - Google Patents
一种面向rgb-d相机实时三维重建的纹理融合方法 Download PDFInfo
- Publication number
- CN110827397A CN110827397A CN201911059727.6A CN201911059727A CN110827397A CN 110827397 A CN110827397 A CN 110827397A CN 201911059727 A CN201911059727 A CN 201911059727A CN 110827397 A CN110827397 A CN 110827397A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- real
- texture
- rgb
- weight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 20
- 238000000034 method Methods 0.000 claims abstract description 52
- 230000004927 fusion Effects 0.000 claims abstract description 40
- 230000003044 adaptive effect Effects 0.000 claims abstract description 32
- 238000004364 calculation method Methods 0.000 claims abstract description 25
- 230000014759 maintenance of location Effects 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000001914 filtration Methods 0.000 claims abstract description 9
- 230000001419 dependent effect Effects 0.000 claims description 24
- 238000005070 sampling Methods 0.000 claims description 15
- 239000000126 substance Substances 0.000 claims description 9
- 230000010365 information processing Effects 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000000877 morphologic effect Effects 0.000 claims description 4
- 230000002146 bilateral effect Effects 0.000 claims description 3
- 230000010339 dilation Effects 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 5
- 238000007499 fusion processing Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/41—Analysis of texture based on statistical description of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Architecture (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种面向RGB‑D相机实时三维重建的纹理融合方法。对RGB‑D数据流处理获得彩色图像的清晰度,选择关键帧提取前景,对深度图像进行滤波去噪,计算深度图像点云的法向量,组建重建数据流;使用概率方法与启发式方法相结合的方式定量化建立彩色图像的适应性权重场,作为实时帧的描述彩色数据的置信度分布;通过对比实时帧的适应性权重场中的置信度权重与参考点云最新的置信度权重,从替换、融合和保留三种操作中选择操作更新纹理结果,实现应用于三维重建的纹理融合。本发明能提取高质量数据,能够有效减小纹理融合的模糊,实现清晰的纹理重建结果,以较低的计算成本嵌入RGB‑D重建框架中,从而显著提升纹理重建精度。
Description
技术领域
本发明属于计算机视觉与计算机图形图像处理领域,更具体地,涉及一种面向RGB-D相机实时三维重建的纹理融合方法。
背景技术
随着三维重建技术在自动驾驶、虚拟现实、机器人定位与导航等领域不断增加的重要性,如何利用低成本的RGB-D传感器实时获取高质量的三维重建场景已经成为一个热点问题。然而当前基于RGB-D的实时三维重建中大多采用逐像素加权平均序列帧图像的方式,生成物体表面的纹理。这种方法容易破坏纹理的结构信息,造成纹理模糊问题。
目前提高纹理重建质量的方法主要有两种方式,第一种方式是尽可能的选取高质量的数据,或者从低质量原始数据中恢复出高质量数据,然后使用逐像素加权平均方法进行纹理融合。这种方法通过提升数据质量,避免较大的输入噪声,能够有限改善纹理的重建结果。但是这一方法的效果非常依赖于全面的数据质量的评估模型。第二种方式利用联合优化对逐像素加权平均重建的纹理结果进行进一步的修正,联合优化参数包括几何,色彩,相机姿态和环境光照等方面的参数。这一方法通常需要好的初始重建结果,同时需要较高的计算成本,难以实现在普通PC或移动终端的实时应用,也不易集成到已有的三位重建框架之中。
发明内容
为了解决背景技术中存在的问题,本发明提供一种面向RGB-D相机实时三维重建的纹理融合方法,其能够在保证实时性的前提下,保留纹理结构信息,解决纹理融合的模糊问题,重建高质量清晰的纹理重建结果。
本发明所采用的技术方案是:
S1、RGB-D预处理
对RGB-D相机的RGB-D数据流处理获得彩色图像的清晰度,选择关键帧,提取关键帧对应RGB-D数据的前景,对关键帧对应的深度图像进行滤波去噪,并计算深度图像对应点云的法向量,组建重建数据流;
S2、建立彩色图像适应性权重场
针对重建数据流,使用概率方法与启发式方法相结合的方式定量化建立彩色图像的适应性权重场,以准确获得各类纹理融合的误差影响和因素,作为实时帧的描述彩色数据的置信度分布,同时利用核函数区分彩色图像的低质量数据与高质量数据;
S3、纹理融合与更新
使用一种包含替换、融合和保留三种操作的纹理融合方法,通过对比实时帧的适应性权重场中的置信度权重与参考点云最新的置信度权重,从替换、融合和保留三种操作中选择合适的操作更新纹理结果,实现应用于三维重建的纹理融合,这样能尽可能保持纹理结构,最终能获取高质量的重建模型。
所述步骤S1为:
S11、根据RGB-D数据流中彩色图像整体联合梯度信息处理获得RGB-D数据流中彩色图像的清晰度,以固定数目帧数的图像序列作为选择窗口,将选择窗口,每个选择窗口中选择清晰度最高的一帧作为关键帧,仅由深度图像保留重新组成了重建数据流;
根据RGB-D数据流中彩色图像整体联合梯度信息处理获得RGB-D数据流中彩色图像的清晰度,具体实施是采用《The Blur Effect:Perception and Estimation with aNew No-Reference Perceptual Blur Metric》文论的第4页与第5页的模糊评估方法进行实施。
S12、利用阈值截断函数与种子区域生长法提取关键帧的深度图像的前景,利用RGB-D相机在深度图像和彩色图像之间的投影模型提取关键帧的彩色图像的前景;
利用阈值截断函数与种子区域生长法提取关键帧深度图像的前景,阈值截断函数计算如下:
其中,ψ(x)是阈值截断函数,d是深度图像素的深度值,td是设定的阈值,根据目标与相机实际的距离而定,通常为1~2之间,丢弃超过阈值设定距离的深度信息。
区域生长法具体实施是采用《Seeded Region Growing》论文第3页第2段所描述的SRG方法实施。
S13、使用双边滤波对关键帧的深度图像的前景进行去噪处理;
S14、利用投影模型,将关键帧的深度图像数据投影到相机空间中获得该关键帧的点云数据,点云数据包括有每个点的颜色值和位置,后续增加法向量和置信度权重到点云数据中,并计算点云的法向量,即点云数据中每个点的法向量。
所述步骤S2为:
其中,udist为距离依赖不确定性参数,uview为视点依赖不确定性参数,为视点依赖核函数;
距离依赖不确定性参数udist计算如下:
其中,dist为实时帧点云的深度值,min_dist为实时帧点云深度值中的最小值,max_dist为实时帧点云中深度值的最大值;
视点依赖不确定性参数uview计算如下:
其中,n为实时帧点云对应的法向量,lview为相机视点方向矢量,tview为常数,acos(·)是反余弦函数;
S23、根据图像清晰度结果,利用启发式方法计算彩色图像对应的表面清晰度权重场Wclarity,计算如下:
S24、根据RGB-D相机拍摄时目标的隐含的遮挡问题,使用启发式方法与图像形态学操作相结合的方式计算彩色图像的遮挡权重场Woccl,计算如下:
其中,n为实时帧点云对应的法向量,lview为相机视点方向矢量,toccl为一个法向量相关的角度常数;M(·)表示截断遮挡区域信息函数,是预先建立的模板函数;
截断遮挡区域信息函数M(·)计算如下:
其中,pix是实时帧点云对应的像素位置,Ms是RGB-D相机拍摄场景存在遮挡的区域模板;E(·)是形态学膨胀操作,针对整张处理后的遮挡区域掩模图像;
具体实施中,第一帧的置信度权重均为0,即第一帧时点云最新的置信度权重均为0。
所述步骤S3具体为:
首先建立参考点云,以重建数据流中第一帧点云的点云数据作为参考点云的点云数据,然后按照以下方式对之后的每一实时帧进行每次更新处理:
(A)当实时帧点云的适应性权重场中的置信度权重高于参考点云最新的置信度权重预设阈值T时,使用如下替换操作更新参考点云的置信度权重与纹理:
cupdata=clive,wupdata=wlive
其中,clive为实时帧点云的颜色值,cupdata为参考点云在更新后的颜色值,wlive为实时帧点云的适应性权重场的置信度权重值,wupdata为参考点云在更新后的置信度权重值;
(B)当实时帧点云的适应性权重场中的置信度权重与参考点云最新的置信度权重之间差值处于预设阈值T范围内时,使用如下融合操作更新参考点云的置信度权重与纹理:
其中,cpre为参考点云更新前的颜色值,wpre为参考点云更新前的置信度权重;
(C)当实时帧点云的适应性权重场中的置信度权重低于参考点云最新的置信度权重预设阈值T时,使用如下保留操作更新参考点云的置信度权重与纹理:
cupdata=cpre,wupdata=wpre。
最终获得参考点云最后的置信度权重与纹理颜色值,实现了纹理融合。
上述置信度权重等判断和计算都是指全局模型点云投影到的实时帧对应的每个像素点的计算处理。
所述步骤S3通过实时每一帧对点云进行更新,以替换、融合和保留相结合的纹理操作进行纹理更新,获得高质量的纹理重建结果。
本发明结合概率模型和启发式方法建立了彩色图像的适应性权重场用以评估彩色图像的置信度分布;通过使用核函数增大适应性权重场中高置信权重与低置信度权重之间的距离,能轻易地选出高质量数据并为纹理融合过程提供支持;并且采用一种替换,融合和保留操作相结合的纹理融合方法更新全局模型的纹理,能够有效的减小纹理融合的模糊问题,保持纹理的结构信息,实现清晰的纹理重建结果。
本发明能够以较低的图像处理计算成本,直接嵌入到当前主流的在线与离线RGB-D重建框架之中,从而显著的提升纹理重建精度。
本发明的有益效果为:
(1)本发明利用了概率方法和启发式方法相结合的方式提出了适应性权重场来评估RGB-D数据的置信度分布,从而能够有效的从彩色数据中区分高质量的数据与低质量的数据,为之后的融合过程提供指导。
(2)本发明提出了一种包括替换,融合和保留操作相结合的方式进行纹理融合,通过使用适应性权重场评估的置信度权重,使用不同融合操作,从而能够保留纹理的结构信息,有效减轻纹理模糊问题,并以低的计算成本实现高质量纹理的实时重建。
(3)本发明提供的方法能够直接嵌入到当前在线/离线的,基于体素/基于surfel的重建框架之中,能够显著提升重建结果的纹理精度。
附图说明
图1为本发明实施例提供的面向RGB-D相机实时三维重建的纹理融合方法原理图;
图2为本发明实施例提供的使用本发明纹理融合方法的基于体素的RGB-D实时三维重建框架图;
图3为本发明实时例提供的原始关键帧RGB-D数据,其中左图是RGB色彩图像,右图是深度图像;
图4为本发明实施例提供的重建效果对比图,左侧为使用本发明方法的纹理重建结果,右侧为使用基于逐像素加权平均的纹理重建结果,可以看到本发明能够显著提升重建纹理的精度。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图和实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
以本发明应用到基于体素的RGB-D重建框架为例,说明本发明的应用方式,如图2所示。基于体素的RGB-D重建框架主要包括五个部分:输入RGB-D数据,数据预处理,相机姿态评估,体素信息的融合与更新和表面网格的提取。本发明主要应用在体素信息的融合与更新中纹理融合更新部分,其输入包括原始的RGB-D图像,估计的相机姿态和初始的/融合的全局模型,输出为使用实时帧更新后的全局模型。
本发明的实施例及其实施过程如图1所示,主要包括四个部分:输入RGB-D数据,RGB-D数据预处理,建立彩色图像适应性权重场和纹理融合与更新。RGB-D预处理实现关键帧选择、提取前景、滤波和法向量计算;建立彩色图像适应性权重场进行数据置信度评估;纹理融合与更新则基于评估的置信度权重场,使用实时帧进行全局模型信息的更新。具体流程包括:
S1、RGB-D预处理
评估RGB-D数据流中彩色图像的清晰度,选择关键帧,提取关键帧对应RGB-D数据的前景,对关键帧对应的深度图像进行滤波去噪,并计算深度图像对应点云的法向量,其具体包括:
S11、根据RGB-D数据流中彩色图像整体联合梯度信息处理获得RGB-D数据流中彩色图像的清晰度,具体实施是采用《The Blur Effect:Perception and Estimation witha New No-Reference Perceptual Blur Metric》文论的第4页与第5页的模糊评估方法进行实施;
然后根据实时帧采集速率,设定关键帧选择窗口的宽度大小,以窗口宽度为单位对彩色图像数据流进行分组,分别计算组内每张图像的清晰度评分,再选择每组内最高评分的RGB-D帧作为关键帧,丢弃其他帧数据;通常对于30Hz的实时帧采集速率,可以设置窗口宽度为20;
S12、为了提取目标场景在RGB-D数据的前景,首先根据目标场景与相机的实际距离,利用阈值截断函数提取重建对象深度图的前景阈值截断函数计算如下:
其中,ψ(x)是阈值截断函数,d是深度图像素的深度值,td是设定的阈值,根据目标与相机实际的距离而定,对于一般的场景设置其为1.2,丢弃超过阈值设定距离的深度信息;
然后以深度图像中深度最近点作为种子值,使用种子区域生长法提取目标场景在深度图像的前景,从而能够有效去除前景边缘的噪声。区域生长法具体实施是采用《SeededRegion Growing》论文第3页第2段所描述的SRG方法实施;再利用深度图像和彩色图像的投影模型,基于深度相机的内参将前景的深度数据从深度空间投影至相机空间获得点云,再基于彩色相机的内参,将点云重投影到彩色图像空间,从而能够提取出彩色图像的前景;
S13、使用深度空间和图像域空间相联合的双边滤波对深度图像的前景进行滤波处理去除噪声;
S14、利用相机投影模型,将深度图像数据投影到相机空间中获得点云数据,然后根据点云局部区域二次曲面逼近,计算其法向量。
S2、建立彩色图像适应性权重场
彩色图像的适应性权重场主要考虑两方面要求,一方面要求尽可能准确地描述各类因素对于彩色图像质量的影响大小,因此使用概率模型和启发式方法相结合的方式定量化评估彩色图像的置信度;另一方面要求有效地区分高质量数据与低质量数据,因此采用核函数方法增大低置信度数据与高置信度数据之间的差异,从而能够为纹理融合过程提供指导。
在建立彩色图像适应性权重场时,主要考虑视点依赖不确定性,表面采样不确定性,清晰度不确定性和遮挡不确定性,通过使用概率建模结合启发式方法对其各种不确定性进行定量化评估,其具体包括:
S21、视点依赖不确定性通常考虑距离和表面法向量与相机视点方向夹角这两项因素。本发明根据点云与相机视点之间距离,点云表面法向量与相机视点方向之间夹角,利用启发式方法计算彩色图像对应的视点依赖权重场计算方法如公式(1):
其中,udist为距离依赖不确定性,计算如下(2):
其中,dist为实时帧点云的深度值,min_dist为实时帧点云深度值中最小值,max_dist为实时帧点云中深度值最大值;
uview为视点依赖不确定性,计算如下(3):
其中,n为实时帧点云对应的法向量,lview为相机视点方向矢量,tview为一个法向量相关的角度常数,通常设为60°;
S22、表面采样不确定性主要是因为传感器分辨率有限,使得对场景表面同一位置多次采样无法采到相同位置的点。这一不确定性能够通过表面局部几何一致性来表征,本发明采样高斯概率模型评估局部方差计算彩色图像对应的表面采样权重场计算如下(5):
其中,为将深度图在像素点(i,j)局部8邻域像素的深度信息视为满足高斯概率模型后计算得到的方差;
S23、为了减小模糊彩色图像数据对纹理融合的影响,丢弃掉低清晰度的图像数据,具体是根据图像清晰度评估结果,利用启发式方法计算彩色图像对应的表面清晰度权重场Wclarity,计算如下(7):
其中,Cclarity为基于整体联合梯度信息评估的清晰度评分,Cthreshold为与清晰度相关的阈值,通常设为0.7,为清晰度截断核函数,计算如下(8):
S24、由于重建场景可能存在遮挡结构,遮挡结构边缘由于几何和纹理均发生剧烈变化通常会出现明显的模糊问题。为了避免遮挡结构对于纹理融合的影响,设计一个定制化模板有效避免遮挡区域边缘的纹理融合过程,使得该区域的纹理能够使用在非遮挡情况下采集的数据进行更新。具体实现是根据重建场景目标的隐含的遮挡结构,使用启发式方法与图像形态学操作相结合的方式计算彩色图像的遮挡权重场Woccl,计算如下(9):
其中,n为实时帧点云对应的法向量,lview为相机视点方向矢量,toccl为一个法向量相关的角度常数,通常设为70度;M(·)是定制化的模板函数,用来截断遮挡区域信息,计算如下(10):
其中,pix是点云投影后对应的深度图上的像素位置,Ms是定制化模板,指示场景存在遮挡的区域,其由二进制图组成;E(·)是形态学膨胀操作,针对整张处理后的遮挡区域掩模图像。
S3、纹理融合
考虑到简单的加权平均融合方法不适用于纹理融合,本发明引入替换和保留操作来获取和保留高质量的纹理,并且能保存纹理结构。具体实现是使用一种结合替换,融合和保留操作的纹理融合方法,通过对比实时帧评估的适应性权重场中的置信度权重与全局模型中点云最新的置信度权重,选择包括替换,融合和保留在内的不同融合操作更新纹理结果,最终获取高质量的重建模型,具体方式为:
(A)当全局模型中点云投影到实时帧对应像素评估的置信度权重高于其最新的置信度权重预设阈值T时,使用替换操作更新全局模型中点云的置信度权重与纹理,计算如下(12):
cupdata=clive wupdata=wlive (12)
其中,clive和cupdata为全局模型中点云在实时帧对应的颜色和更新后的颜色值,wlive和wupdata为全局模型中点云在实时帧对应的置信度权重值和更新后的置信度权重值;
(B)当全局模型中点云投影到实时帧对应像素评估的置信度权重与其最新的置信度权重之间差值处于预设阈值T范围内时,使用融合操作更新全局模型中点云的置信度权重与纹理,计算如下(13):
其中,cpre为全局模型中点云在最新存储的颜色,wpre为全局模型中点云最新存储的置信度权重值;
(C)当全局模型中点云投影到实时帧对应像素评估的置信度权重低于其最新的置信度权重预设阈值T时,使用保留操作更新全局模型中点云的置信度权重与纹理,计算如下(14):
cupdata=cpre wupdata=wpre (14)
其中,预设阈值为T=0.2;
通过实时的多次对体素/点云使用结合替换,融合和保留相结合的纹理融合方法进行纹理更新,最终能够获得高质量的纹理重建结果。
如图4所示,通过对比试验验证,本发明的纹理融合方法相比经典方法,能够有效的保留纹理的结构信息,解决重建结果的模糊问题,显著提升纹理重建的精度,获取高清晰度的纹理重建效果。
由此实施可见,本发明建立了一个针对彩色图像的适应性权重场,通过使用概率模型与启发式方法相结合的方式,能准确评估彩色图的置信度权重,并能有效提取出高质量的数据提供给融合过程;提出了一种新的替换,融合与保留相结合的纹理融合方法更新全局模型的纹理,能够保留纹理结构信息,有效解决纹理模糊问题,从而获得清晰的重建结果。通过图4的对比试验能够验证本发明方法的有效性。说明本发明方法相比经典的方法,能够显著提升重建结果的纹理精度,获得更为清晰的重建效果。
以上实施例仅用于说明本发明的设计思想和特点,其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施,本发明的保护范围不限于上述实施例。所以,凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰,均在本发明的保护范围之内。
Claims (5)
1.一种面向RGB-D相机实时三维重建的纹理融合方法,其特征在于,包括以下步骤:
S1、RGB-D预处理
对RGB-D相机的RGB-D数据流处理获得彩色图像的清晰度,选择关键帧,提取关键帧对应RGB-D数据的前景,对关键帧对应的深度图像进行滤波去噪,并计算深度图像对应点云的法向量,组建重建数据流;
S2、建立彩色图像适应性权重场
针对重建数据流,使用概率方法与启发式方法相结合的方式定量化建立彩色图像的适应性权重场,作为实时帧的描述彩色数据的置信度分布;
S3、纹理融合与更新
使用一种包含替换、融合和保留三种操作的纹理融合方法,通过对比实时帧的适应性权重场中的置信度权重与参考点云最新的置信度权重,从替换、融合和保留三种操作中选择合适的操作更新纹理结果,实现应用于三维重建的纹理融合。
2.根据权利要求1所述的面向RGB-D相机实时三维重建的纹理融合方法,其特征在于:所述步骤S1为:
S11、根据RGB-D数据流中彩色图像整体联合梯度信息处理获得RGB-D数据流中彩色图像的清晰度,以固定数目帧数的图像序列作为选择窗口,将选择窗口,每个选择窗口中选择清晰度最高的一帧作为关键帧,仅由深度图像保留重新组成了重建数据流;
S12、利用阈值截断函数与种子区域生长法提取关键帧的深度图像的前景,利用RGB-D相机在深度图像和彩色图像之间的投影模型提取关键帧的彩色图像的前景;
S13、使用双边滤波对关键帧的深度图像的前景进行去噪处理;
S14、利用投影模型,将关键帧的深度图像数据投影到相机空间中获得该关键帧的点云数据,并计算点云的法向量。
3.根据权利要求1所述的面向RGB-D相机实时三维重建的纹理融合方法,其特征在于:所述步骤S2为:
距离依赖不确定性参数udist计算如下:
其中,dist为实时帧点云的深度值,min_dist为实时帧点云深度值中的最小值,max_dist为实时帧点云中深度值的最大值;
视点依赖不确定性参数uview计算如下:
其中,n为实时帧点云对应的法向量,lview为相机视点方向矢量,tview为常数,acos(·)是反余弦函数;
其中,为视点依赖低置信度截断常数;
S23、根据图像清晰度结果,利用启发式方法计算彩色图像对应的表面清晰度权重场Wclarity,计算如下:
S24、根据RGB-D相机拍摄时目标的隐含的遮挡问题,使用启发式方法与图像形态学操作相结合的方式计算彩色图像的遮挡权重场Woccl,计算如下:
其中,n为实时帧点云对应的法向量,lview为相机视点方向矢量,toccl为一个法向量相关的角度常数;M(·)表示截断遮挡区域信息函数;
截断遮挡区域信息函数M(·)计算如下:
其中,pix是实时帧点云对应的像素位置,Ms是RGB-D相机拍摄场景存在遮挡的区域模板;E(·)是形态学膨胀操作;
4.根据权利要求1所述的面向RGB-D相机实时三维重建的纹理融合方法,其特征在于:
所述步骤S3具体为:
首先建立参考点云,以重建数据流中第一帧点云的点云数据作为参考点云的点云数据,然后按照以下方式对之后的每一实时帧进行每次更新处理:
(A)当实时帧点云的适应性权重场中的置信度权重高于参考点云最新的置信度权重预设阈值T时,使用如下替换操作更新参考点云的置信度权重与纹理:
cupdata=clive,wupdata=wlive
其中,clive为实时帧点云的颜色值,cupdata为参考点云在更新后的颜色值,wlive为实时帧点云的适应性权重场的置信度权重值,wupdata为参考点云在更新后的置信度权重值;
(B)当实时帧点云的适应性权重场中的置信度权重与参考点云最新的置信度权重之间差值处于预设阈值T范围内时,使用如下融合操作更新参考点云的置信度权重与纹理:
其中,cpre为参考点云更新前的颜色值,wpre为参考点云更新前的置信度权重;
(C)当实时帧点云的适应性权重场中的置信度权重低于参考点云最新的置信度权重预设阈值T时,使用如下保留操作更新参考点云的置信度权重与纹理:
cupdata=cpre,wupdata=wpre。
5.根据权利要求1所述的面向RGB-D相机实时三维重建的纹理融合方法,其特征在于:所述步骤S3通过实时每一帧对点云进行更新,以替换、融合和保留相结合的纹理操作进行纹理更新,获得高质量的纹理重建结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911059727.6A CN110827397B (zh) | 2019-11-01 | 2019-11-01 | 一种面向rgb-d相机实时三维重建的纹理融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911059727.6A CN110827397B (zh) | 2019-11-01 | 2019-11-01 | 一种面向rgb-d相机实时三维重建的纹理融合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110827397A true CN110827397A (zh) | 2020-02-21 |
CN110827397B CN110827397B (zh) | 2021-08-24 |
Family
ID=69551961
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911059727.6A Active CN110827397B (zh) | 2019-11-01 | 2019-11-01 | 一种面向rgb-d相机实时三维重建的纹理融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110827397B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111754615A (zh) * | 2020-05-07 | 2020-10-09 | 清华大学 | 高质量纹理的实时重建方法及装置 |
CN112731436A (zh) * | 2020-12-17 | 2021-04-30 | 浙江大学 | 基于点云上采样的多模态数据融合可行驶区域检测方法 |
CN112862736A (zh) * | 2021-02-05 | 2021-05-28 | 浙江大学 | 一种基于点的实时三维重建与优化方法 |
CN113554701A (zh) * | 2021-07-16 | 2021-10-26 | 杭州派珞特智能技术有限公司 | 一种pds托盘智能识别定位***及其工作方法 |
EP3955215A1 (de) * | 2020-08-13 | 2022-02-16 | Synthetic Dimension GmbH | Verfahren zur rekonstruktion eines 3d-modells einer szene |
CN115984591A (zh) * | 2022-12-29 | 2023-04-18 | 北京朗视仪器股份有限公司 | 实时扫描匹配方法及*** |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104574501A (zh) * | 2014-12-19 | 2015-04-29 | 浙江大学 | 一种针对复杂三维场景的高质量纹理映射方法 |
US20150243069A1 (en) * | 2014-02-21 | 2015-08-27 | Qualcomm Incorporated | View independent color equalized 3d scene texturing |
CN107833253A (zh) * | 2017-09-22 | 2018-03-23 | 北京航空航天大学青岛研究院 | 一种面向rgbd三维重建纹理生成的相机姿态优化方法 |
CN109147025A (zh) * | 2018-07-11 | 2019-01-04 | 北京航空航天大学 | 一种面向rgbd三维重建的纹理生成方法 |
CN109242873A (zh) * | 2018-08-22 | 2019-01-18 | 浙江大学 | 一种基于消费级彩色深度相机对物体进行360度实时三维重建的方法 |
-
2019
- 2019-11-01 CN CN201911059727.6A patent/CN110827397B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150243069A1 (en) * | 2014-02-21 | 2015-08-27 | Qualcomm Incorporated | View independent color equalized 3d scene texturing |
CN104574501A (zh) * | 2014-12-19 | 2015-04-29 | 浙江大学 | 一种针对复杂三维场景的高质量纹理映射方法 |
CN107833253A (zh) * | 2017-09-22 | 2018-03-23 | 北京航空航天大学青岛研究院 | 一种面向rgbd三维重建纹理生成的相机姿态优化方法 |
CN109147025A (zh) * | 2018-07-11 | 2019-01-04 | 北京航空航天大学 | 一种面向rgbd三维重建的纹理生成方法 |
CN109242873A (zh) * | 2018-08-22 | 2019-01-18 | 浙江大学 | 一种基于消费级彩色深度相机对物体进行360度实时三维重建的方法 |
Non-Patent Citations (3)
Title |
---|
LI JITUO等: "Optimizing human model reconstruction from RGB-D images based on skin detection", 《VIRTUAL REALITY》 * |
席小霞: "基于RGB-D值的三维图像重建***研究", 《测试技术学报》 * |
李基拓等: "三维服装物理-几何实时混合模拟", 《计算机辅助设计与图形学学报》 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111754615A (zh) * | 2020-05-07 | 2020-10-09 | 清华大学 | 高质量纹理的实时重建方法及装置 |
EP3955215A1 (de) * | 2020-08-13 | 2022-02-16 | Synthetic Dimension GmbH | Verfahren zur rekonstruktion eines 3d-modells einer szene |
WO2022034196A1 (de) * | 2020-08-13 | 2022-02-17 | Synthetic Dimension Gmbh | Verfahren zur rekonstruktion eines 3d-modells einer szene |
CN112731436A (zh) * | 2020-12-17 | 2021-04-30 | 浙江大学 | 基于点云上采样的多模态数据融合可行驶区域检测方法 |
CN112731436B (zh) * | 2020-12-17 | 2024-03-19 | 浙江大学 | 基于点云上采样的多模态数据融合可行驶区域检测方法 |
CN112862736A (zh) * | 2021-02-05 | 2021-05-28 | 浙江大学 | 一种基于点的实时三维重建与优化方法 |
CN113554701A (zh) * | 2021-07-16 | 2021-10-26 | 杭州派珞特智能技术有限公司 | 一种pds托盘智能识别定位***及其工作方法 |
CN115984591A (zh) * | 2022-12-29 | 2023-04-18 | 北京朗视仪器股份有限公司 | 实时扫描匹配方法及*** |
CN115984591B (zh) * | 2022-12-29 | 2023-08-29 | 北京朗视仪器股份有限公司 | 实时扫描匹配方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN110827397B (zh) | 2021-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110827397B (zh) | 一种面向rgb-d相机实时三维重建的纹理融合方法 | |
US10630956B2 (en) | Image processing method and apparatus | |
CN105374019B (zh) | 一种多深度图融合方法及装置 | |
CN106780576B (zh) | 一种面向rgbd数据流的相机位姿估计方法 | |
WO2019148739A1 (zh) | 一种模糊图像综合处理方法和*** | |
CN110163818B (zh) | 一种用于海事无人机的低照度视频图像增强方法 | |
CN110570435B (zh) | 用于对车辆损伤图像进行损伤分割的方法及装置 | |
EP3567545A1 (en) | Distance-weighted sparse representation priori-based image restoration and matching integration method | |
US9437034B1 (en) | Multiview texturing for three-dimensional models | |
CN107622480B (zh) | 一种Kinect深度图像增强方法 | |
CN109242959B (zh) | 三维场景重建方法及*** | |
CN102436671B (zh) | 一种基于深度值非线性变换的虚拟视点绘制方法 | |
CN111223059B (zh) | 一种基于引导滤波器的鲁棒深度图结构重建和去噪方法 | |
US9253415B2 (en) | Simulating tracking shots from image sequences | |
CN110147816B (zh) | 一种彩色深度图像的获取方法、设备、计算机存储介质 | |
CN110807738A (zh) | 一种基于边缘图块锐化的模糊图像非盲复原方法 | |
CN110602476B (zh) | 一种基于深度信息辅助的高斯混合模型的空洞填补方法 | |
CN113421210B (zh) | 一种基于双目立体视觉的表面点云重建方法 | |
CN108805841B (zh) | 一种基于彩色图引导的深度图恢复及视点合成优化方法 | |
WO2023241298A1 (zh) | 一种视频生成方法、装置、存储介质及电子设备 | |
Zhang et al. | Dehazing with improved heterogeneous atmosphere light estimation and a nonlinear color attenuation prior model | |
Xu et al. | Improved Canny Edge Detection Operator | |
CN109636735A (zh) | 一种基于时空一致性约束的快速视频去雾方法 | |
CN114882095A (zh) | 一种基于轮廓匹配的物体高度在线测量方法 | |
CN109360174B (zh) | 基于相机位姿的三维场景重建方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |