CN109903372B - 深度图超分辨率补全方法及高质量三维重建方法与*** - Google Patents
深度图超分辨率补全方法及高质量三维重建方法与*** Download PDFInfo
- Publication number
- CN109903372B CN109903372B CN201910079993.9A CN201910079993A CN109903372B CN 109903372 B CN109903372 B CN 109903372B CN 201910079993 A CN201910079993 A CN 201910079993A CN 109903372 B CN109903372 B CN 109903372B
- Authority
- CN
- China
- Prior art keywords
- depth
- map
- image
- depth image
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000005457 optimization Methods 0.000 claims abstract description 54
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 19
- 238000005259 measurement Methods 0.000 claims abstract description 18
- 230000035945 sensitivity Effects 0.000 claims abstract description 15
- 238000001514 detection method Methods 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 claims description 41
- 230000004927 fusion Effects 0.000 claims description 25
- 239000013598 vector Substances 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000007797 corrosion Effects 0.000 claims description 3
- 238000005260 corrosion Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 239000004576 sand Substances 0.000 claims description 3
- 230000009469 supplementation Effects 0.000 claims description 3
- 230000008030 elimination Effects 0.000 abstract description 4
- 238000003379 elimination reaction Methods 0.000 abstract description 4
- 230000003044 adaptive effect Effects 0.000 abstract description 2
- 238000013450 outlier detection Methods 0.000 abstract 1
- 238000009616 inductively coupled plasma Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000002366 time-of-flight method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种深度图超分辨率补全方法及高质量三维重建方法与***，所述方法包括：通过SRC‑Net从待补全的原始LR深度图像学习，得到HR深度图像；基于梯度敏感性检测，剔除HR深度图像中的外点，得到处理后的HR深度图像；通过SRC‑Net从HR彩色图像学习，确定法向图与边界图；对HR彩色图像做模糊度度量，得到模糊度信息；根据法向图、边界图以及模糊度信息，对HR深度图像进行优化，得到补全的HR深度图。本发明基于深度超分辨率与补全网络、梯度敏感性的外点检测与剔除算法，以及模糊度和边界约束深度图像自适应优化算法，可对原始LR深度图像进行超分辨率和补全操作，从而可得到补全的HR深度图，有助于降低室内场景三维重建的难度及提高重建的准确性。
Description
技术领域
本发明涉及图像处理领域的图像超分辨率与补全技术，以及计算机视觉领域的三维重建技术，具体涉及一种用于深度图超分辨率补全方法及高质量三维重建方法与***。
背景技术
室内场景高精度三维重建是计算机视觉中具有挑战性的研究课题之一，涉及计算机视觉、计算机图形学、模式识别、最优化等多个领域的理论与技术。
三维重建技术旨在获取场景或物体的深度信息，按深度信息的获取方式可以分为被动式测量和主动式测量两大类。被动式测量一般利用周围环境如自然光的反射，使用相机获取图像，通过特定算法得到物体的三维空间信息，即基于视觉的三维重建技术。主动式测量是指利用诸如激光、声波、电磁波等光源或能量源发射至目标物体，通过接受返回的光波来获取物体的深度信息。主动式测量方法包括：飞行时间法(Time of Flight，TOF)、结构光法(Structured Light)和三角测距法。近年来，消费级RGB-D相机的出现，极大的推动了室内场景三维重建技术。RGB-D相机是一种结合了主动式测量与被动式测量的新型视觉传感器，既可以拍摄二维彩色图像又可以主动发射信号至目标物体获得物体深度信息。常见的消费级RGB-D相机有基于飞行时间法的TOF相机，基于结构光法的微软Kinect、华硕Xtion、英特尔RealSense等。Newcombe等人提出的KinectFusion算法就是利用Kinect来获取图像中各点的深度信息，通过迭代近似最近邻点(Iterative Closest Point,ICP)算法估计相机姿态，再通过曲面隐函数(Truncated Signed Distance Function,TSDF)迭代进行体数据融合，得到稠密的三维模型。
基于消费级RGB-D相机进行室内场景三维重建，一般存在以下几个问题：(1)RGB-D相机获取的深度图像分辨率小、噪声大会造成相机姿态估计误差，并使得物体表面细节难以保持；(2)由于室内场景中存在透明或反射率强的物体，使得RGB-D相机获取的深度图存在空洞与缺失；(3)RGB-D相机获取的深度距离有限，而与之相对应的彩色图像能提供高分辨、完整的场景信息。这些问题使得基于消费级RGB-D相机的三维重建应用比较受限。
发明内容
为了解决现有技术中的上述问题，即为了提高室内场景重现的准确性以及降低重现难度，本发明提供了一种用于深度图超分辨率补全方法及高质量三维重建方法与***。
为解决上述技术问题，本发明提供了如下方案：
一种用于三维重建的深度图超分辨率补全方法，所述方法包括：
通过深度超分辨率与补全网络SRC-Net从待补全的原始低分辨率LR深度图像学习，得到高分辨率HR深度图像；
基于梯度敏感性检测，剔除所述HR深度图像中的外点，得到处理后的HR深度图像；
通过SRC-Net从HR彩色图像中学习，确定法向图与边界图；
对HR彩色图像做模糊度度量，得到模糊度信息；
根据所述法向图、边界图以及模糊度信息，对HR深度图像进行优化，得到补全的HR深度图。
可选的，所述基于梯度敏感性检测，剔除所述HR深度图像中的外点，得到处理后的HR深度图像，具体包括：
采用Sobel算子，计算梯度图Gi：
gi(u)＝Sobel(u)；
其中，gi(u)是像素u对应的梯度值；
根据梯度敏感度，计算掩码图像Mi：
mi(u)＝0,gi(u)≥gh
mi(u)＝1,gi(u)＜gh；
其中，mi(u)是像素u对应的掩码值，gh是设定的梯度阈值；
利用掩码图像Mi对高分辨率深度图Di做腐蚀操作，去除外点，得到处理后的HR深度图像。
可选的，所述对HR彩色图像做模糊度度量，得到模糊度信息，具体包括：
通过均值滤波器分别对所述HR彩色图像在水平方向和竖直方向做滤波得到Re-blur图像；
分别计算原始LR深度图像和Re-blur图像的水平和竖直方向上的差分，得到水平差分和竖直差分；
根据所述水平差分和竖直差分确定原始LR深度图像与Re-blur图像的差异图；
对所述差异图做求和以及归一化处理，得到处理图；
计算所述处理图的模糊度测度Blur：
Blur＝max(RH,RV)
其中，RH是归一化后的水平方向差异值，RV是归一化后的竖直方向差异值。
可选的，根据所述法向图、边界图以及模糊度信息，对进行优化，得到补全的HR深度图，具体包括：
根据所述法向图、边界图以及模糊度信息，构建目标函数；
根据所述目标函数，对HR深度图像进行优化，得到补全的HR深度图。
可选的，根据所述目标函数，对HR深度图像进行优化，得到补全的HR深度图，具体包括：
根据所述目标函数，确定优化函数；其中，所述目标函数包括第一优化项、第二优化项及第三优化项，所述优化函数为第一优化项、第二优化项及第三优化项的加权和；
E＝λDED+λSES+λNENBnBb
其中，第一优化项ED表示在像素p处，估计深度D(p)与观察到的深度Do(p)的距离；第三优化项EN表示估计深度与预测表面法线N(p)的一致性；第二优化项ES表示促进相邻像素之间具有相同的像素，其中v(p,q)表示像素p和像素q之间的切向量，q表示像素p的相邻像素；Bn∈[0,1]表示根据一个像素在遮挡边界B(p)上的预测概率对正常项进行加权；Bb∈[0,1]表示根据彩色图像的模糊度对正常项进行加权；λD、λs和λN均为预先设定的参考系数；
根据所述优化函数，进行优化，得到补全的HR深度图。
可选的，λD取值为1000，λs取值为1，λN取值为0.001。
为解决上述技术问题，本发明提供了如下方案：
一种用于三维重建的深度图超分辨率补全***，所述***包括：
超分辨率处理单元，用于通过SRC-Net从待补全的原始LR深度图像学习，得到HR深度图像；
外点剔除单元，用于基于梯度敏感性检测，剔除所述HR深度图像中的外点，得到处理后的HR深度图像；
信息提取单元，用于通过SRC-Net从HR彩色图像中学习，确定法向图与边界图；
模糊度量单元，用于对HR彩色图像做模糊度度量，得到模糊度信息；
优化单元，用于根据所述法向图、边界图以及模糊度信息，对HR深度图像进行优化，得到补全的HR深度图。
为解决上述技术问题，本发明提供了如下方案：
一种室内场景三维重建方法，所述室内场景三维重建方法包括：
对补全的HR深度图中的各个像素，计算对应的相机坐标系下的三维点和法向量；
根据所述三维点和法向量，通过迭代近似最近邻点ICP算法，估计当前帧相机的姿态；
根据相机轨迹信息通过截断符号距离函数TSDF模型迭代进行体数据融合，得到融合数据；
根据融合数据以及当前帧相机的姿态，进行表面估计得到室内场景三维模型。
可选的，根据以下公式，计算对应的相机坐标系下的三维点vi(u)和法向量ni(u)：
vi(u)＝zi(u)K-1[u,1]T
ni(u)＝(vi(u+1,v)-vi(u,v))×(vi(u,v+1)-vi(u,v))；
其中，K是标定得到的相机内参数，zi(u)是像素u对应的深度值。
为解决上述技术问题，本发明提供了如下方案：
一种室内场景三维重建***，所述室内场景三维重建***包括：
预处理单元，用于对补全的HR深度图中的各个像素，计算对应的相机坐标系下的三维点和法向量；
估算单元，用于根据所述三维点和法向量，通过迭代近似最近邻点ICP算法，估计当前帧相机的姿态；
融合单元，用于根据相机轨迹信息通过截断符号距离函数TSDF模型迭代进行体数据融合，得到融合数据；
建模单元，用于根据融合数据以及当前帧相机的姿态，进行表面估计得到室内场景三维模型。
根据本发明的实施例，本发明公开了以下技术效果：
本发明基于深度超分辨率与补全网络、梯度敏感性的外点检测与剔除算法，以及模糊度和边界约束的深度图像自适应优化算法，可对通过RGB-D相机采集的原始低分辨率LR深度图像进行补全，从而可得到补全的HR深度图，有助于降低室内场景三维重建的难度及提高重建的准确性。
附图说明
图1是本发明用于三维重建的深度图超分辨率补全方法的流程图；
图2是本发明用于三维重建的深度图超分辨率补全***的模块结构示意图；
图3是本发明室内场景三维重建方法的流程图；
图4是本发明室内场景三维重建***的模块结构示意图。
符号说明：
超分辨率处理单元—1，外点剔除单元—2，信息提取单元—3，模糊度量单元—4，优化单元—5，预处理单元—6，估算单元—7，融合单元—8，建模单元—9。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
本发明提供一种用于三维重建的深度图超分辨率补全方法，基于深度超分辨率与补全网络、梯度敏感性的外点检测与剔除算法，以及模糊度和边界约束深度图像自适应优化算法，可对通过RGB-D相机采集的原始低分辨率LR深度图像进行补全，从而可得到补全的HR深度图，有助于降低室内场景三维重建的难度及提高重建的准确性。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示，本发明用于三维重建的深度图超分辨率补全方法包括：
步骤100：通过SRC-Net从待补全的原始LR深度图像学习，得到HR深度图像；
步骤200：基于梯度敏感性检测，剔除所述HR深度图像中的外点，得到处理后的HR深度图像；
步骤300：通过SRC-Net从HR彩色图像中学习，确定法向图与边界图；
步骤400：对HR彩色图像做模糊度度量，得到模糊度信息；
步骤500：根据所述法向图、边界图以及模糊度信息，对HR深度图像进行优化，得到补全的HR深度图。
在步骤100中，深度超分辨率与补全网络(Depth Surper-resolution andCompletion Net，SRC-Net)从功能上包括以下两部分：
(1)深度超分辨率采用权值共享的拉普拉斯金字塔结构网络实现，以低分辨率深度图像作为输入，在每层金字塔上预测超分辨深度图像的高频残差信息。每层金字塔结构都有侧输出，引入监督信息使网络能够得到更好的训练。为了扩大高频特征图的感受野，通过增大网络深度的方法，在每个金字塔上采用了许多权值共享的递归网络来实现。采取递归网络权值共享和局部跨通道连接策略，由于块中每个卷积中的参数是共享的，所以递归网络的感受野计算如下：
RF＝(Ksize-1)(N-1)+Ksize (1)；
其中，Ksize是卷积核的尺寸，N为卷积的数量，RF代表第N层的感受野。
该级联结构包括两个分支：特征提取分支和图像重构分支。对于每一级而言(s层)，对输入图像用一个尺度(scale)等于2的上采样层进行操作。然后这个上采样层将和当前层的特征提取分支预测得到的残差图进行相加。并将相加得到的HR(High-resolution，高分辨率)图像输入到下一级中(s+1)。
(2)深度补全主要是通过HR彩色图像来指导HR深度图像，进行深度优化补全。本发明基于两个具有对称编码器和解码器的VGG-16网络，从HR彩色图像分别预测表面法线和遮挡边界，然后利用学习到的法向信息和边界信息来深度优化。法向信息用来估计对应的深度值；遮挡边界为深度不连续提供信息，有助于保持边界锐度。
本发明采用深度超分辨率与补全网络(SRC-Net)的训练过程如下：
(1)深度超分辨率：拉普拉斯金字塔网络训练的目标是学***、垂直翻转等操作。
(2)深度补全：两个VGG-16网络训练的目标是学习映射函数，从HR彩色图分别生成表面法线和遮挡边界，来逼近高分辨率的真值法向和真值边界。我们使用合成场景SUNCG-RGBD数据集的54755张RGB-D图像，以及真实场景ScanNet数据集的59743张带渲染补全过的RGB-D图像进行网络训练。
进一步地，针对不同的学习任务，本发明采用以下两种损失函数：
(1)学习HR深度图像的损失函数使用Charbonnier作为惩罚函数，由于网络是级联的，因此需要对每一级的输出都进行误差的损失。损失函数定义如下：
其中，D表示预测深度，D*表示真值深度，M是每次训练的样本数，L是金字塔的层数，ε＝1e-3。
(2)HR彩色图像中学习法向和遮挡边界的损失函数分别定义如下：
其中，B表示预测边界，B*表示真值边界；N表示预测法向，N*表示真值法；n是有效像素个数。
为了有效检测并去除HR深度图像中的错误外点，我们对HR深度图做归一化处理，计算梯度，通过检测梯度变化来度确定外点并剔除。
在步骤200中，所述基于梯度敏感性检测，剔除所述HR深度图像中的外点，得到处理后的HR深度图像，具体包括：
步骤201：采用Sobel算子，计算梯度图Gi：
gi(u)＝Sobel(u) (5)；
其中，gi(u)是像素u对应的梯度值。
步骤202：根据梯度敏感度，计算掩码图像Mi：
mi(u)＝0,gi(u)≥gh
mi(u)＝1,gi(u)＜gh (6)；
其中，mi(u)是像素u对应的掩码值，gh是设定的梯度阈值。
步骤203：利用掩码图像Mi对高分辨率深度图Di做腐蚀操作，去除外点，得到处理后的HR深度图像。
由于使用消费级RGB-D相机扫描室内场景时，彩色图像难免会存在运动模糊，如果直接用模糊的彩色图像得到的法向和边界信息来优化深度，会影响优化效果。为了保证深度图像的质量，我们对彩色图的质量进行无参考模糊度度量，用模糊度信息来约束后续的深度图像补全优化。
具体地，在步骤400中，所述对HR彩色图像做模糊度度量，得到模糊度信息，包括：
步骤401：通过均值滤波器分别对所述HR彩色图像在水平方向和竖直方向做滤波得到Re-blur图像。
步骤402：分别计算原始LR深度图像和Re-blur图像的水平和竖直方向上的差分，得到水平差分和竖直差分。
步骤403：根据所述水平差分和竖直差分确定原始LR深度图像与Re-blur图像的差异图。
步骤404：对所述差异图做求和以及归一化处理，得到处理图。
步骤405：计算所述处理图的模糊度测度Blur：
Blur＝max(RH,RV) (7)；
其中，RH是归一化后的水平方向差异值，RV是归一化后的竖直方向差异值。
进一步地，在步骤500中，根据所述法向图、边界图以及模糊度信息，对进行优化，得到补全的HR深度图，具体包括：
步骤501：根据所述法向图、边界图以及模糊度信息，构建目标函数。在本实施例中，共得到三个目标函数，即第一优化项ED、第二优化项EN、第三优化项Es。
步骤502：根据所述目标函数，对HR深度图像进行优化，得到补全的HR深度图。
优选地，根据所述目标函数，对HR深度图像进行优化，得到补全的HR深度图，具体包括：
步骤5021：根据所述目标函数，确定优化函数E；其中，所述目标函数包括第一优化项、第二优化项及第三优化项，所述优化函数为第一优化项、第二优化项及第三优化项的加权和。
具体为如下公式(8)：
E＝λDED+λSES+λNENBnBb
其中，第一优化项ED表示在像素p处，估计深度D(p)与观察到的深度Do(p)的距离；第三优化项EN表示估计深度与预测表面法线N(p)的一致性；第二优化项ES表示促进相邻像素之间具有相同的像素，其中v(p,q)表示像素p和像素q之间的切向量，q表示像素p的相邻像素；Bn∈[0,1]表示根据一个像素在遮挡边界B(p)上的预测概率对正常项进行加权；Bb∈[0,1]表示根据彩色图像的模糊度对正常项进行加权；λD、λs和λN均为预先设定的参考系数。
步骤5022：根据所述优化函数，进行优化，得到补全的HR深度图。
在本实施例中，λD取值为1000，λs取值为1，λN取值为0.001。
此外，本发明还提供一种用于三维重建的深度图超分辨率补全***。如图2所示，本发明用于三维重建的深度图超分辨率补全***包括超分辨率处理单元1、外点剔除单元2、信息提取单元3、模糊度量单元4及优化单元5。
具体地，所述超分辨率处理单元1用于通过SRC-Net从待补全的原始LR深度图像学习，得到HR深度图像。
所述外点剔除单元2用于基于梯度敏感性检测，剔除所述HR深度图像中的外点，得到处理后的HR深度图像。
所述信息提取单元3用于通过SRC-Net从HR彩色图像中学习，确定法向图与边界图。
所述模糊度量单元4用于对HR彩色图像做模糊度度量，得到模糊度信息。
所述优化单元5用于根据所述法向图、边界图以及模糊度信息，对HR深度图像进行优化，得到补全的HR深度图。
进一步地，本发明还提供一种室内场景三维重建方法。如图3所示，本发明室内场景三维重建方法包括：
步骤600：对补全的HR深度图中的各个像素，计算对应的相机坐标系下的三维点和法向量。
步骤700：根据所述三维点和法向量，通过ICP算法，估计当前帧相机的姿态。
步骤800：根据相机轨迹信息通过TSDF模型迭代进行体数据融合，得到融合数据。
步骤900：根据融合数据以及当前帧相机的姿态，进行表面估计得到室内场景三维模型。
通过步骤100-步骤600，对消费级RGB-D相机获取的原始LP深度图进行处理得到补全的HR深度图像；然后对HR深度图中的每一个像素u计算对应的相机坐标系下的三维点vi(u)和法向量ni(u)，计算公式如下：
其中，K是标定得到的相机内参数，zi(u)是像素u对应的深度值。
在步骤700中，通过ICP(Iterative Closest Point，迭代近似最近邻点)算法配准当前的深度图和对三维模型在前一帧视角下进行光线投影生成的深度图，从而得到当前帧相机的姿态。
当前帧相机姿态相对全局坐标系的变换矩阵Tg,i通过最小化点到平面的距离误差E(Tg,i)计算得到，公式如下：
其中，
是像素u的投影像素，
是三维点vi(u)的齐次坐标形式，
和
是上一帧预测得到的三维点和法向量。
在步骤800中，根据相机姿态的估计结果，利用TSDF(Truncated Signed DistanceFunction，截断符号距离函数)模型融合各帧的HR深度图像。
使用分辨率为m的体素网格来表示三维空间，即每个空间被分为m块，每个网格v存储两个值：截断符号距离函数fi(v)及其权重wi(v)。截断符号距离函数fi(v)的定义如下：
fi(v)＝[K-1zi(u)[uT,1]T]z-[vi]z (11)；
其中，fi(v)表示该网格到物体模型表面的距离，正负表示该网格是在表面被遮挡一侧还是可见一侧，而过零点就是表面上的点。在本实施例中，权重取平均值，固定为1。
TSDF体数据融合的迭代公式如下：
将融合得到的体数据在当前帧相机的姿态下进行光线投影得到表面点云，估计出的表面与实时采集的深度图在相机跟踪部分进行配准，最后通过MarchingCube算法提取得到三维模型。
本发明提出了基于深度学习的深度图像超分辨率与补全方法，包括深度图像超分辨率与补全(SRC-Net)网络、基于梯度敏感性的外点剔除算法、以及基于模糊度和边界约束深度图像自适应优化算法，并将这些算法应用于室内场景离线三维重建***中。对标准数据集提供的深度图像进行超分辨率与补全的效果表明：该深度图像超分辨率与补全方法能有效地将原始低分辨率深度图像处理为高分辨率补全的深度图像。对标准数据集提供的室内场景数据进行三维重建的结果均表明：该室内场景三维重建***，能够得到完整、准确的高质量室内场景模型，***具有良好的鲁棒性和扩展性。
优选地，本发明还提供一种室内场景三维重建***。如图4所示，本发明室内场景三维重建***包括预处理单元6、估算单元7、融合单元8及建模单元9。
具体地，所述预处理单元6用于对补全的HR深度图中的各个像素，计算对应的相机坐标系下的三维点和法向量。
所述估算单元7用于根据所述三维点和法向量，通过迭代近似最近邻点ICP算法，估计当前帧相机的姿态。
所述融合单元9用于根据相机轨迹信息通过截断符号距离函数TSDF模型迭代进行体数据融合，得到融合数据。
所述建模单元10用于根据融合数据以及当前帧相机的姿态，进行表面估计得到室内场景三维模型。
相对于现有技术，本发明用于三维重建的深度图超分辨率补全方法与***、室内场景三维重建方法及***的有益效果相同，在此不再赘述。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (10)
1.一种用于三维重建的深度图超分辨率补全方法，其特征在于，所述方法包括：
通过深度超分辨率与补全网络SRC-Net从待补全的原始低分辨率LR深度图像学习，得到高分辨率HR深度图像；
基于梯度敏感性检测，剔除所述HR深度图像中的外点，得到处理后的HR深度图像；
通过SRC-Net从HR彩色图像中学习，确定法向图与边界图；
对HR彩色图像做模糊度度量，得到模糊度信息；
根据所述法向图、边界图以及模糊度信息，对HR深度图像进行优化，得到补全的HR深度图。
2.根据权利要求1所述的用于三维重建的深度图超分辨率补全方法，其特征在于，所述基于梯度敏感性检测，剔除所述HR深度图像中的外点，得到处理后的HR深度图像，具体包括：
采用Sobel算子，计算梯度图Gi：
gi(u)＝Sobel(u)；
其中，gi(u)是像素u对应的梯度值；
根据梯度敏感度，计算掩码图像Mi：
其中，mi(u)是像素u对应的掩码值，gh是设定的梯度阈值；
利用掩码图像Mi对高分辨率深度图Di做腐蚀操作，去除外点，得到处理后的HR深度图像。
3.根据权利要求1所述的用于三维重建的深度图超分辨率补全方法，其特征在于，所述对HR彩色图像做模糊度度量，得到模糊度信息，具体包括：
通过均值滤波器分别对所述HR彩色图像在水平方向和竖直方向做滤波得到Re-blur图像；
分别计算原始LR深度图像和Re-blur图像的水平和竖直方向上的差分，得到水平差分和竖直差分；
根据所述水平差分和竖直差分确定原始LR深度图像与Re-blur图像的差异图；
对所述差异图做求和以及归一化处理，得到处理图；
计算所述处理图的模糊度测度Blur：
Blur＝max(RH,RV)
其中，RH是归一化后的水平方向差异值，RV是归一化后的竖直方向差异值。
4.根据权利要求1所述的用于三维重建的深度图超分辨率补全方法，其特征在于，根据所述法向图、边界图以及模糊度信息，对HR深度图像进行优化，得到补全的HR深度图，具体包括：
根据所述法向图、边界图以及模糊度信息，构建目标函数；
根据所述目标函数，对HR深度图像进行优化，得到补全的HR深度图。
5.根据权利要求4所述的用于三维重建的深度图超分辨率补全方法，其特征在于，根据所述目标函数，对HR深度图像进行优化，得到补全的HR深度图，具体包括：
根据所述目标函数，确定优化函数；其中，所述目标函数包括第一优化项、第二优化项及第三优化项，所述优化函数为第一优化项、第二优化项及第三优化项的加权和；
E＝λDED+λSES+λNENBnBb
其中，第一优化项ED表示在像素p处，估计深度D(p)与观察到的深度Do(p)的距离；第三优化项EN表示估计深度与预测表面法线N(p)的一致性；第二优化项Es表示促进相邻像素之间具有相同的像素，其中v(p,q)表示像素p和像素q之间的切向量，q表示像素p的相邻像素；Bn∈[0,1]表示根据一个像素在遮挡边界B(p)上的预测概率对正常项进行加权；Bb∈[0,1]表示根据彩色图像的模糊度对正常项进行加权；λD、λs和λN均为预先设定的参考系数；
根据所述优化函数，进行优化，得到补全的HR深度图。
6.根据权利要求5所述的用于三维重建的深度图超分辨率补全方法，其特征在于，λD取值为1000，λs取值为1，λN取值为0.001。
7.一种用于三维重建的深度图超分辨率补全***，其特征在于，所述***包括：
超分辨率处理单元，用于通过SRC-Net从待补全的原始LR深度图像学习，得到HR深度图像；
外点剔除单元，用于基于梯度敏感性检测，剔除所述HR深度图像中的外点，得到处理后的HR深度图像；
信息提取单元，用于通过SRC-Net从HR彩色图像中学习，确定法向图与边界图；
模糊度量单元，用于对HR彩色图像做模糊度度量，得到模糊度信息；
优化单元，用于根据所述法向图、边界图以及模糊度信息，对HR深度图像进行优化，得到补全的HR深度图。
8.一种室内场景三维重建方法，其特征在于，所述室内场景三维重建方法包括：
通过权利要求1-6任一项所述的用于三维重建的深度图超分辨率补全方法获取补全的HR深度图；
对所述补全的HR深度图中的各个像素，计算对应的相机坐标系下的三维点和法向量；
根据所述三维点和法向量，通过迭代近似最近邻点ICP算法，估计当前帧相机的姿态；
根据相机轨迹信息通过截断符号距离函数TSDF模型迭代进行体数据融合，得到融合数据；
根据融合数据以及当前帧相机的姿态，进行表面估计得到室内场景三维模型。
9.根据权利要求8所述的室内场景三维重建方法，其特征在于，根据以下公式，计算对应的相机坐标系下的三维点vi(u)和法向量ni(u)：
其中，K是标定得到的相机内参数，zi(u)是像素u对应的深度值。
10.一种室内场景三维重建***，其特征在于，所述室内场景三维重建***包括：
预处理单元，用于对通过权利要求1-6任一项所述的用于三维重建的深度图超分辨率补全方法获取的补全的HR深度图中的各个像素，计算对应的相机坐标系下的三维点和法向量；
估算单元，用于根据所述三维点和法向量，通过迭代近似最近邻点ICP算法，估计当前帧相机的姿态；
融合单元，用于根据相机轨迹信息通过截断符号距离函数TSDF模型迭代进行体数据融合，得到融合数据；
建模单元，用于根据融合数据以及当前帧相机的姿态，进行表面估计得到室内场景三维模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910079993.9A CN109903372B (zh) | 2019-01-28 | 2019-01-28 | 深度图超分辨率补全方法及高质量三维重建方法与*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910079993.9A CN109903372B (zh) | 2019-01-28 | 2019-01-28 | 深度图超分辨率补全方法及高质量三维重建方法与*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109903372A CN109903372A (zh) | 2019-06-18 |
| CN109903372B true CN109903372B (zh) | 2021-03-23 |
Family
ID=66944359
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910079993.9A Active CN109903372B (zh) | 2019-01-28 | 2019-01-28 | 深度图超分辨率补全方法及高质量三维重建方法与*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109903372B (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110349087B (zh) * | 2019-07-08 | 2021-02-12 | 华南理工大学 | 基于适应性卷积的rgb-d图像高质量网格生成方法 |
| CN112749594B (zh) * | 2019-10-31 | 2022-04-22 | 浙江商汤科技开发有限公司 | 信息补全方法、车道线识别方法、智能行驶方法及相关产品 |
| CN111145094A (zh) * | 2019-12-26 | 2020-05-12 | 北京工业大学 | 一种基于表面法向引导与图拉普拉斯先验约束的深度图增强方法 |
| CN113139910B (zh) * | 2020-01-20 | 2022-10-18 | 复旦大学 | 一种视频补全方法 |
| CN110992271B (zh) * | 2020-03-04 | 2020-07-07 | 腾讯科技（深圳）有限公司 | 图像处理方法、路径规划方法、装置、设备及存储介质 |
| CN112907748B (zh) * | 2021-03-31 | 2022-07-19 | 山西大学 | 一种基于非降采样剪切波变换与深度图像纹理特征聚类的三维形貌重建方法 |
| CN113096039A (zh) * | 2021-04-01 | 2021-07-09 | 西安交通大学 | 一种基于红外图和深度图的深度信息补全方法 |
| CN113269689B (zh) * | 2021-05-25 | 2023-08-29 | 西安交通大学 | 一种基于法向量和高斯权重约束的深度图像补全方法及*** |
| CN114049464A (zh) * | 2021-11-15 | 2022-02-15 | 聚好看科技股份有限公司 | 一种三维模型的重建方法及设备 |
| CN114909993A (zh) * | 2022-04-26 | 2022-08-16 | 泰州市创新电子有限公司 | 一种高精度式激光投影视觉三维测量*** |
| CN117853679A (zh) * | 2022-09-30 | 2024-04-09 | 合肥美亚光电技术股份有限公司 | 曲面融合方法、装置和医疗影像设备 |
| CN115578516A (zh) * | 2022-10-19 | 2023-01-06 | 京东科技控股股份有限公司 | 一种三维成像方法、装置、设备和存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105046743A (zh) * | 2015-07-01 | 2015-11-11 | 浙江大学 | 一种基于全局变分技术的超高分辨率三维重建方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103871038B (zh) * | 2014-03-06 | 2014-11-05 | 中国人民解放军国防科学技术大学 | 一种基于非均匀测量矩阵的超分辨率全向图像重建方法 |
| CN108564652B (zh) * | 2018-03-12 | 2020-02-14 | 中国科学院自动化研究所 | 高效利用内存的高精度三维重建方法与***及设备 |
| CN108961390B (zh) * | 2018-06-08 | 2020-05-19 | 华中科技大学 | 基于深度图的实时三维重建方法 |
-
2019
- 2019-01-28 CN CN201910079993.9A patent/CN109903372B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105046743A (zh) * | 2015-07-01 | 2015-11-11 | 浙江大学 | 一种基于全局变分技术的超高分辨率三维重建方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109903372A (zh) | 2019-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109903372B (zh) | 深度图超分辨率补全方法及高质量三维重建方法与*** | |
| Min et al. | Cost aggregation and occlusion handling with WLS in stereo matching | |
| KR101554241B1 (ko) | 3차원 이미지에서의 결함성 픽셀 깊이 데이터 값의 깊이 맵 품질 향상을 위한 방법 | |
| KR20210042942A (ko) | 비디오 데이터를 이용한 객체 인스턴스 매핑 | |
| CN109685732B (zh) | 一种基于边界捕捉的深度图像高精度修复方法 | |
| US8385630B2 (en) | System and method of processing stereo images | |
| CN109961506A (zh) | 一种融合改进Census图的局部场景三维重建方法 | |
| Xu et al. | Multi-scale geometric consistency guided and planar prior assisted multi-view stereo | |
| CN111144213B (zh) | 一种对象检测方法和相关设备 | |
| CN113330486A (zh) | 深度估计 | |
| Choi et al. | A consensus-driven approach for structure and texture aware depth map upsampling | |
| EP3293700B1 (en) | 3d reconstruction for vehicle | |
| WO2021044122A1 (en) | Scene representation using image processing | |
| CN114782628A (zh) | 基于深度相机的室内实时三维重建方法 | |
| Xu et al. | Survey of 3D modeling using depth cameras | |
| CN112630469B (zh) | 一种基于结构光和多光场相机的三维检测方法 | |
| O'Byrne et al. | A stereo‐matching technique for recovering 3D information from underwater inspection imagery | |
| CN113450396A (zh) | 基于骨骼特征的三维/二维图像配准方法及装置 | |
| Lo et al. | Depth map super-resolution via Markov random fields without texture-copying artifacts | |
| CN115205463A (zh) | 基于多球面场景表达的新视角图像生成方法、装置和设备 | |
| Chen et al. | Kinect depth recovery using a color-guided, region-adaptive, and depth-selective framework | |
| CN114519772A (zh) | 一种基于稀疏点云和代价聚合的三维重建方法及*** | |
| CN114648451A (zh) | 智能降噪 | |
| JP2022521253A (ja) | オブジェクトの厚さを決定するための画像処理 | |
| Huang et al. | Super resolution of laser range data based on image-guided fusion and dense matching |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |