CN112927251B - 基于形态学的场景稠密深度图获取方法、***及装置 - Google Patents
基于形态学的场景稠密深度图获取方法、***及装置 Download PDFInfo
- Publication number
- CN112927251B CN112927251B CN202110327446.5A CN202110327446A CN112927251B CN 112927251 B CN112927251 B CN 112927251B CN 202110327446 A CN202110327446 A CN 202110327446A CN 112927251 B CN112927251 B CN 112927251B
- Authority
- CN
- China
- Prior art keywords
- frame
- edge
- image
- imu
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 230000000877 morphologic effect Effects 0.000 claims abstract description 65
- 238000005457 optimization Methods 0.000 claims abstract description 44
- 238000010586 diagram Methods 0.000 claims abstract description 34
- 230000006870 function Effects 0.000 claims description 37
- 238000005259 measurement Methods 0.000 claims description 29
- 239000011159 matrix material Substances 0.000 claims description 27
- 238000012545 processing Methods 0.000 claims description 19
- 230000005484 gravity Effects 0.000 claims description 17
- 238000005260 corrosion Methods 0.000 claims description 16
- 230000007797 corrosion Effects 0.000 claims description 16
- 238000009499 grossing Methods 0.000 claims description 15
- 230000010354 integration Effects 0.000 claims description 13
- 230000033001 locomotion Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 8
- 230000002146 bilateral effect Effects 0.000 claims description 7
- 230000001427 coherent effect Effects 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 5
- 238000012986 modification Methods 0.000 claims description 4
- 230000004048 modification Effects 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims description 4
- 230000001629 suppression Effects 0.000 claims description 4
- 238000007476 Maximum Likelihood Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 230000002123 temporal effect Effects 0.000 claims description 2
- 230000003190 augmentative effect Effects 0.000 abstract description 6
- 230000003628 erosive effect Effects 0.000 abstract description 2
- 230000010339 dilation Effects 0.000 abstract 1
- 230000008569 process Effects 0.000 description 18
- 238000004364 calculation method Methods 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明属于增强现实和计算机视觉领域，具体涉及了一种基于形态学的场景稠密深度图获取方法、***及设备，旨在解决单目相机位姿估计精度低、动态场景跟踪丢失、鲁棒性弱、很难以较低的计算量获取场景稠密深度图的问题。本发明包括：初始化IMU参数；采用视觉‑惯性联合非线性优化获取图像位姿估计和场景稀疏点图；利用形态学的膨胀和腐蚀操作提取粗形态学边缘；修改边缘判定标准，利用Canny边缘检测器优化形态学边缘，获取最终的深度边缘；建立约束条件，构建最优化问题进行稀疏深度传播，加速求解获得场景最终的稠密深度图。本发明在复杂动态场景下位姿估计精度高、鲁棒性强。所获取的稠密深度图边缘尖锐，区域平滑，具备较高的精准性和实时性。
Description
技术领域
本发明属于增强现实和计算机视觉领域，具体涉及了一种基于形态学的场景稠密深度图获取方法、***及设备。
背景技术
增强现实(AR，Augmented Reality)通过建立虚拟场景和真实物理世界的映射关系，智能实时地将相关信息融合呈现在位于真实物理世界的用户面前，达到增强用户情境感知能力的目的。随着智能终端和4G/5G通讯的普及，增强现实技术逐渐由国防安全、工业生产、医疗健康、城市管理等高端应用扩展到电子商务、文化保护、旅游娱乐等大众应用，成为人们认知世界和改造世界的基础性工具。
稠密深度图是增强现实***营造真实感的关键。虚实遮挡是指虚拟物体和真实物体之间具有正确的遮挡关系，即符合现实物理世界物体之间的前后关系，是创建增强现实场景真实感的核心问题之一。实现正确的虚实遮挡效果需要场景的稠密深度图，从而准确判定真实与虚拟物体的空间深度层次。稠密深度图在计算机视觉领域也发挥重要作用，如三维物体重建技术同样需要获取图像的稠密深度图。
近年来，研究者通常采用即时定位与地图构建(SLAM，Simultaneouslocalization and mapping)技术，在真实场景中实时获取自身位姿，同时获取真实场景空间几何结构的稠密场景地图。但利用SLAM技术获取稠密深度图仍存在以下问题：基于单目/双目的方法在快速运动、弱纹理环境下会失效，并且大多只能得到场景的稀疏深度；基于IMU的方法受噪声影响较大，累积误差大，也难以直接获取稠密深度；基于RGBD相机的方法通常可以获取稠密深度，但计算量庞大实时性较差，并且设备价格高昂且难以用于室外场景。
总的来说，目前单目相机的应用最为广泛，但现有的SLAM方法难以在动态场景下精确估计相机位姿轨迹，并且以较低的计算量构建场景的稠密深度图。
发明内容
为了解决现有技术中的上述问题，即单目相机位姿估计精度低、动态场景跟踪丢失、鲁棒性弱、很难以较低的计算量获取场景稠密深度图的问题，本发明提供了一种基于形态学的场景稠密深度图获取方法，该方法包括：
步骤S10，基于单目相机第0-t帧图像和对应的IMU测量值，进行IMU初始化，获得初始化的IMU参数；所述IMU参数包括重力旋转矩阵、尺度因子、速度和IMU偏差；
步骤S20，基于所述初始化的IMU参数求解IMU预积分，获得旋转矩阵R、速度v和位置测量p积分量并构建第t-t+1帧图像对应的惯性误差，基于第t-t+1帧图像的ORB匹配结果构建重投影误差，结合所述惯性误差和所述重投影误差，构建视觉-惯性联合误差优化函数；
步骤S30，采用非线性优化框架g2o求解所述视觉-惯性联合误差优化函数，通过Levenberg-Marquardt方法迭代直至误差函数值小于设定值，获得第t+1帧图像的相机位姿和场景稀疏点图；
步骤S40，通过高斯金字塔对第t+1帧图像进行下采样，并对下采样后的图像利用形态学的膨胀和腐蚀操作提取形态学粗边缘，通过高斯卷积进行上采样，获得第t+1帧的初步形态学边缘；
步骤S50，结合形态学阈值约束修改边缘判定标准进行Canny边缘检测器改进，基于第t+1帧图像和所述第t+1帧的初步形态学边缘，通过改进的Canny边缘检测器获取第t+1帧的精准深度边缘图；
步骤S60，基于第t+1帧的场景稀疏点图和所述第t+1帧的精准深度边缘图，构建深度对齐约束条件、边缘约束条件和时间连贯约束条件进行稀疏深度传播，获得第t+1帧的初始场景稠密深度图；
步骤S70，基于所述第t+1帧的初始场景稠密深度图，通过双边滤波器进行残存的纹理边缘平滑处理，获得第t+1帧的最终场景稠密深度图。
在一些优选的实施例中，步骤S10包括：
步骤S11，通过纯视觉BA优化方法获取所述0-t帧图像中的k帧关键帧对应的相机位姿，并获取世界坐标系下的速度初始值；
步骤S12，将0-k帧关键帧的IMU测量值表示为I0：k，初始化的IMU参数表示为yk＝{s，Rwg，b，v}，对惯性运动构建图优化函数并采用最大后验概率表示：
p(yk|I0：k)∝p(I0：k|yk)p(yk)
步骤S13，基于所述最大后验概率表示，结合IMU测量的独立性，进行转换获得最大似然估计：
其中，
为本次IMU初始化需要求解的参数集，p(yk)为先验概率；Rwg代表惯性坐标系到世界坐标系下的重力旋转矩阵；s为尺度因子；b为IMU偏差，包括陀螺仪偏差和加速度计偏差；v为0-k帧关键帧之间惯性坐标系下的速度，vi-1和υi分别表示第i-1和第i个关键帧惯性坐标系下的速度，Ii-1，i代表第i-1和第i帧关键帧之间的IMU测量值；
步骤S14，将
取负对数，转换为最小化误差之和：
其中，rp是先验残差，
为IMU的测量残差，∑表示对应的信息矩阵；
步骤S15，在相机常速运动下，以满足预设第一约束条件进行所述最小化误差的求解，获得重力旋转矩阵、尺度因子、速度和IMU偏差；在相机缓慢运动下，固定IMU偏差b、重力旋转矩阵Rwg，以满足预设第一约束条件进行所述最小化误差的求解，获得尺度因子，基于所述尺度因子更新当前相机位姿并，直至相机常速移动后重新进行IMU初始化；所述预设第一约束条件为IMU预积分和先验概率均满足高斯分布。
在一些优选的实施例中，步骤S40包括：
步骤S41，通过高斯金字塔对第t+1帧图像进行隔行下采样，将图像调整为原始大小的一半，获得第t+1帧下采样图像；
步骤S42，分别通过矩形核为5×5的膨胀操作和腐蚀操作进行所述第t+1帧下采样图像的卷积处理，求解区域局部最大值和最小值获得第t+1帧膨胀图像和第t+1帧腐蚀图像；
步骤S43，对所述第t+1帧膨胀图像和第t+1帧腐蚀图像进行差分处理，获得第t+1帧形态学粗边缘；
步骤S44，通过高斯卷积进行所述第t+1帧形态学粗边缘的上采样，获得与原始图像大小一样的第t+1帧的初步形态学边缘。
在一些优选的实施例中，步骤S50包括：
步骤S51，基于所述第t+1帧的初步形态学边缘和第t+1帧图像，通过7*7的高斯平滑滤波器进行降噪，并通过Sobel操作符提取降噪后的图像的x梯度和y梯度；
步骤S52，分别在x方向和y方向上选择3通道的最大值作为该方向梯度值，求解出形态学边缘梯度值Mc和图像梯度值Mi；
步骤S53，对所述第t+1帧图像采用非极大值抑制，寻找像素点领域的局部梯度最大值作为候选边缘像素点集；
步骤S54，结合所述形态学边缘梯度值Mc和图像梯度值Mi与所述形态学阈值τmor、图像对应的强边缘阙值τhigh和弱边缘阙值τlow，进行所述候选边缘像素点集中像素类别的判断：
若Mi＞τhigh且Mc＞τmor，则为强边缘像素；若τhigh≥Mi≥τlow，则为弱边缘像素；否则，为非边缘像素；
步骤S55，对所述弱边缘像素进行边缘滞后跟踪，若该弱边缘像素的8邻域内存在强边缘像素，则将该像素转换为强边缘像素；否则，转换为非边缘像素；
步骤S56，遍历所述候选边缘像素点集，获得第t+1帧的精准深度边缘图。
在一些优选的实施例中，所述深度对齐约束条件为：
其中，D(p)代表场景稠密深度图中像素点p对应的深度值，Ds(p)代表场景稀疏点图中像素点p对应的深度值；ws为权重，若像素点p在场景稀疏点图中，ws取值为1。
在一些优选的实施例中，所述边缘约束条件为：
其中，p，q代表两个相邻的像素点，D(p)和D(q)分别代表场景稠密深度图中像素点p和像素点q对应的深度值，De代表像素点在第t+1帧的精准深度边缘图中的深度值，we为权重，m(p)和m(q)分别为像素点p，q的梯度值。
在一些优选的实施例中，所述时间连贯约束条件为：
其中，Dt(p)代表像素点p在上一帧图像中的深度值，D(p)代表场景稠密深度图中像素点p对应的深度值，wt为权重。
本发明的另一方面，提出了一种基于形态学的场景稠密深度图获取***，该***包括以下模块：
IMU初始化模块，配置为基于单目相机第0-t帧图像和对应的IMU测量值，进行IMU初始化，获得初始化的IMU参数；所述IMU参数包括重力旋转矩阵、尺度因子、速度和IMU偏差；
视觉-惯性联合优化模块，配置为基于所述初始化的IMU参数求解IMU预积分，获得旋转矩阵R、速度v和位置测量p积分量并构建第t-t+1帧图像对应的惯性误差，基于第t-t+1帧图像的ORB匹配结果构建重投影误差，结合所述惯性误差和所述重投影误差，构建视觉-惯性联合误差优化函数；
求解迭代模块，采用非线性优化框架g2o求解所述视觉-惯性联合误差优化函数，通过Levenberg-Marquardt方法迭代直至误差函数值小于设定值，获得第t+1帧图像的相机位姿和场景稀疏点图；
形态学边缘提取模块，配置为通过高斯金字塔对第t+1帧图像进行下采样，并对下采样后的图像利用形态学的膨胀和腐蚀操作提取形态学粗边缘，通过高斯卷积进行上采样，获得第t+1帧的初步形态学边缘；
精准深度边缘提取模块，配置为结合形态学阈值约束修改边缘判定标准进行边缘检测器改进，基于第t+1帧图像和所述第t+1帧的初步形态学边缘，通过改进的边缘检测器获取第t+1帧的精准深度边缘图；
稠密化模块，配置为基于第t+1帧的场景稀疏点图和所述第t+1帧的精准深度边缘图，构建深度对齐约束条件、边缘约束条件和时间连贯约束条件进行稀疏深度传播，获得第t+1帧的初始场景稠密深度图；
平滑处理模块，配置为基于所述第t+1帧的初始场景稠密深度图，通过双边滤波器进行残存的纹理边缘平滑处理，获得第t+1帧的最终场景稠密深度图。
本发明的第三方面，提出了一种电子设备，包括：
至少一个处理器；以及
与至少一个所述处理器通信连接的存储器；其中，
所述存储器存0储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的基于形态学的场景稠密深度图获取方法。
本发明的第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于形态学的场景稠密深度图获取方法。
本发明的有益效果：
(1)本发明基于形态学的场景稠密深度图获取方法，在单目相机的基础上引入惯性传感器，并提出了新的IMU初始化策略求解IMU参数，结合单目相机图像帧之间的重投影误差和惯性传感器预积分获得的惯性误差构建视觉-惯性联合优化函数，求解出跟踪过程中的位姿估计和稀疏地图点集，整体提升了复杂场景下跟踪定位中六自由度位姿估计、场景稀疏深度值求解的精准性和鲁棒性，因而进一步提升了最终获取的场景稠密深度图的准确性与精度。
(2)本发明基于形态学的场景稠密深度图获取方法，结合形态学阈值约束修改边缘判定标准进行边缘检测器改进，有效削减了深度边缘图中的伪边缘信息，获取包含较少纹理边缘且与图像边缘对准的深度边缘图，因而进一步提升了最终获取的场景稠密深度图的准确性与精度。
(3)本发明基于形态学的场景稠密深度图获取方法，将精准深度边缘与场景稀疏深度值通过构建深度对齐约束条件、边缘约束条件和时间连贯约束条件进行稀疏深度传播，通过加速策略迭代求解获取边界清晰、区域平滑、时空连贯的稠密深度图，整体上提高了稠密建图的精准性和实时性。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明基于形态学的场景稠密深度图获取方法的流程示意图；
图2是本发明基于形态学的场景稠密深度图获取方法一种实施例的深度边缘提取流程示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明提供一种基于形态学的场景稠密深度图获取方法，本方法在单目相机的基础上结合惯性传感器，充分利用了单目相机不受噪声影响、累积误差小以及惯性传感器对快速运动数据的精准采集的优势，无需配置价格高昂的设备，也能以较低的计算量获取室内外场景稠密深度图，并且精度高、鲁棒性好。
本发明的一种基于形态学的场景稠密深度图获取方法，该方法包括：
步骤S10，基于单目相机第0-t帧图像和对应的IMU测量值，进行IMU初始化，获得初始化的IMU参数；所述IMU参数包括重力旋转矩阵、尺度因子、速度和IMU偏差；
步骤S20，基于所述初始化的IMU参数求解IMU预积分，获得旋转矩阵R、速度v和位置测量p积分量并构建第t-t+1帧图像对应的惯性误差，基于第t-t+1帧图像的ORB匹配结果构建重投影误差，结合所述惯性误差和所述重投影误差，构建视觉-惯性联合误差优化函数；
步骤S30，采用非线性优化框架g2o求解所述视觉-惯性联合误差优化函数，通过Levenberg-Marquardt方法迭代直至误差函数值小于设定值，获得第t+1帧图像的相机位姿和场景稀疏点图；
步骤S40，通过高斯金字塔对第t+1帧图像进行下采样，并对下采样后的图像利用形态学的膨胀和腐蚀操作提取形态学粗边缘，通过高斯卷积进行上采样，获得第t+1帧的初步形态学边缘；
步骤S50，结合形态学阈值约束修改边缘判定标准进行Canny边缘检测器改进，基于第t+1帧图像和所述第t+1帧的初步形态学边缘，通过改进的Canny边缘检测器获取第t+1帧的精准深度边缘图；
步骤S60，基于第t+1帧的场景稀疏点图和所述第t+1帧的精准深度边缘图，构建深度对齐约束条件、边缘约束条件和时间连贯约束条件进行稀疏深度传播，获得第t+1帧的初始场景稠密深度图；
步骤S70，基于所述第t+l帧的初始场景稠密深度图，通过双边滤波器进行残存的纹理边缘平滑处理，获得第t+1帧的最终场景稠密深度图。
为了更清晰地对本发明基于形态学的场景稠密深度图获取方法进行说明，下面结合图1对本发明实施例中各步骤展开详述。
本发明第一实施例的基于形态学的场景稠密深度图获取方法，包括步骤S10-步骤S70，各步骤详细描述如下：
步骤S10，基于单目相机第0-t帧图像和对应的IMU测量值，进行IMU初始化，获得初始化的IMU参数；所述IMU参数包括重力旋转矩阵、尺度因子、速度和IMU偏差。
IMU初始化过程与构建视觉-惯性联合优化函数并迭代求解过程可以同时进行，若同时进行，则构建视觉-惯性联合优化函数所采用的惯性误差可以通过先验信息获取，随着IMU初始化的进程，视觉-惯性联合优化函数也在不断迭代优化求解，直至IMU初始化完成，以初始化的IMU参数进行IMU预积分求解，并以求解获得的参数更新惯性矩阵，并不断以新的IMU数据和视频图像进行视觉-惯性联合优化函数迭代求解，获得当前帧的场景稀疏深度值和六自由度位姿估计。
下面以单独进行IMU初始化后再进行视觉-惯性联合优化函数的构建和迭代求解进行展开描述。
IMU初始化包括相机常速运动下和相机缓慢运动下的IMU初始化两种情况，具体包括：
步骤S11，通过纯视觉BA优化方法获取所述0-t帧图像中的k帧关键帧对应的相机位姿，并利用位姿中的平移向量求解世界坐标系下的速度初始值，下面计算过程仅考虑纯惯性传感器的优化问题，涉及到的IMU参数如式(1)所示：
yk＝{s，Rwg，b，v} (1)
步骤S12，将0-k帧关键帧的IMU测量值表示为I0：k，对惯性运动构建图优化函数并采用最大后验概率表示，如式(2)所示：
p(yk|I0：k)∝p(I0：k|yk)p(yk) (2)
基于所述最大后验概率表示，结合IMU测量的独立性，进行转换获得最大似然估计，将式(2)转换为式(3)所示：
其中，
为本次IMU初始化需要求解的参数集，p(yk)为先验概率；Rwg代表惯性坐标系到世界坐标系下的重力旋转矩阵；s为尺度因子；b为IMU偏差，包括陀螺仪偏差和加速度计偏差；v为0-k帧关键帧之间惯性坐标系下的速度，υi-1和υi分别表示第i-1和第i个关键帧惯性坐标系下的速度，Ii-1，i代表第i-1和第i帧关键帧之间的IMU测量值；
步骤S14，将
取负对数，转换为最小化误差之和，如式(4)所示：
其中，rp是先验残差，
为IMU的测量残差，∑表示对应的信息矩阵；
步骤S15，步骤S15，在相机常速运动下，以满足预设第一约束条件进行所述最小化误差的求解，获得重力旋转矩阵、尺度因子、速度和IMU偏差；在惯性传感器初始化结束后，按照重力方向和尺度更新当前相机位姿，并按照新的IMU偏差更新IMU的预积分过程；
在相机缓慢运动下，固定IMU偏差b、重力旋转矩阵Rwg，以满足预设第一约束条件进行所述最小化误差的求解，获得尺度因子，基于所述尺度因子更新当前相机位姿并，直至相机常速移动后重新进行IMU初始化；
所述预设第一约束条件为IMU预积分和先验概率均满足高斯分布。
步骤S20，基于所述初始化的IMU参数求解IMU预积分，获得旋转矩阵R、速度v和位置测量p积分量并构建第t-t+1帧图像对应的惯性误差，基于第t-t+1帧图像的ORB匹配结果构建重投影误差，结合所述惯性误差和所述重投影误差，构建视觉-惯性联合误差优化函数。
视觉-惯性联合优化函数可以参照ORB-SLAM3中的方法进行构造，本发明在此不进行详述。
步骤S30，采用非线性优化框架g2o求解所述视觉-惯性联合误差优化函数，通过Levenberg-Marquardt方法迭代直至误差函数值小于设定值，获得第t+1帧图像的相机位姿和场景稀疏点图。
精准深度边缘图的提取过程也可以与上述的IMU初始化以及迭代求解获取最优场景稀疏深度值和六自由度位姿估计过程同时进行，本发明以先进行IMU初始化以及迭代求解获取最优场景稀疏深度值和六自由度位姿估计过程，然后再进行精准深度边缘图提取过程为例进行详细的说明。
步骤S40，通过高斯金字塔对第t+1帧图像进行下采样，并对下采样后的图像利用形态学的膨胀和腐蚀操作提取形态学粗边缘，通过高斯卷积进行上采样，获得第t+1帧的初步形态学边缘。
步骤S41，通过高斯金字塔对第t+1帧图像进行隔行下采样，将图像调整为原始大小的一半，获得第t+1帧下采样图像；
步骤S42，分别通过矩形核为5×5的膨胀操作和腐蚀操作进行所述第t+1帧下采样图像的卷积处理，求解区域局部最大值和最小值获得第t+1帧膨胀图像和第t+1帧腐蚀图像；
膨胀操作和腐蚀操作两种形态学操作是独立进行的，可以先后采用两种操作分别对第t+1帧下采样图像进行卷积处理，也可以同步采用两种操作分别对第t+1帧下采样图像进行卷积处理，本发明对此不作限定。
步骤S43，对所述第t+1帧膨胀图像和第t+1帧腐蚀图像进行差分处理，获得第t+1帧形态学粗边缘；
步骤S44，通过高斯卷积进行所述第t+1帧形态学粗边缘的上采样，获得与原始图像大小一样的第t+1帧的初步形态学边缘。
步骤S50，结合形态学阈值约束修改边缘判定标准进行Canny边缘检测器改进，基于第t+1帧图像和所述第t+1帧的初步形态学边缘，通过改进的Canny边缘检测器获取第t+1帧的精准深度边缘图。
步骤S51，基于所述第t+1帧的初步形态学边缘和第t+1帧图像，通过7*7的高斯平滑滤波器进行降噪，并通过Sobel操作符提取降噪后的图像的x梯度和y梯度；
步骤S52，分别在x方向和y方向上选择3通道的最大值作为该方向梯度值，求解出形态学边缘梯度值Mcoarse和图像梯度值Mintensity，如式(5)和式(6)所示：
其中，gx和gy分别代表第t+1帧初步形态学边缘中像素位置(x，y)的像素在x方向和y方向上的梯度，g′x和g′y分别代表第t+1帧图像中像素位置(x’，y’)的像素在x方向和y方向上的梯度；
选取第t+1帧图像上最大的形态学边缘梯度Mcmax和图像梯度Mimax作为分母，将每个像素点求解的梯度作为分子，可以转换成比例表示为：形态学边缘梯度Mc和图像梯度Mi；
步骤S53，对所述第t+1帧图像采用非极大值抑制，寻找像素点领域的局部梯度最大值作为候选边缘像素点集；
对彩色图像(即第t+1帧图像)采用非极大值抑制，寻找像素点邻域的局部梯度最大值作为候选边缘像素，对其他非极大值部分进行抑制，从而剔除大部分的非边缘点，其余像素点作为进一步划分的候选边缘像素点集；
步骤S54，结合所述形态学边缘梯度值Mc和图像梯度值Mi与所述形态学阈值τmor、图像对应的强边缘阙值τhigh和弱边缘阙值τlow，进行所述候选边缘像素点集中像素类别的判断：
若Mi＞τhigh且Mc＞τmor，则为强边缘像素；若τhigh≥Mi≥τlow，则为弱边缘像素；否则，为非边缘像素；
步骤S55，对所述弱边缘像素进行边缘滞后跟踪，若该弱边缘像素的8邻域内存在强边缘像素，则将该像素转换为强边缘像素；否则，转换为非边缘像素；
步骤S56，遍历所述候选边缘像素点集，获得第t+1帧的精准深度边缘图。
最终获得的第t+1帧的精准深度边缘图包括场景绝大部分的深度边缘，同时抑制了大部分繁杂的纹理边缘。
步骤S60，基于第t+1帧的场景稀疏点图和所述第t+1帧的精准深度边缘图，构建深度对齐约束条件、边缘约束条件和时间连贯约束条件进行稀疏深度传播，获得第t+1帧的初始场景稠密深度图。
深度对齐：稠密深度与稀疏深度值对齐，其深度对齐约束条件如式(7)所示：
其中，D(p)代表场景稠密深度图中像素点p对应的深度值，Ds(p)代表场景稀疏点图中像素点p对应的深度值；ws为权重，若像素点p在场景稀疏点图中，ws取值为1。
边缘尖锐、区域平滑：当在深度边缘的位置要保持良好的可分辨性，即边缘尖锐；除了深度边缘处，深度在物体其他区域要保持高平滑度，即区域平滑。边缘约束条件如式(8)所示：
其中，p，q代表两个相邻的像素点，D(p)和D(q)分别代表场景稠密深度图中像素点p和像素点q对应的深度值，De代表像素点在第t+1帧的精准深度边缘图中的深度值，we为权重，m(p)和m(q)分别为像素点p，q的梯度值。
De代表像素点在第t+1帧的精准深度边缘图中的深度值，如果两个像素点的De值不同，则此处为深度边缘，在此情况下不进行平滑操作。而在平滑区域，权重值设置与像素的梯度大小m(p)相关，当像素梯度较小时，说明该像素点更有可能是非边缘部分，加以高平滑系数，从而可以平滑纹理边缘和除边缘之外的其他区域。
时间连贯：在视频序列中，图像具有高度的时间相关性。上一帧和当前帧之间的深度值较接近，不应该出现过大的深度跳变，造成深度图的闪烁。时间连贯约束条件如式(9)所示：
其中，Dt(p)代表像素点p在上一帧图像中的深度值，D(p)代表场景稠密深度图中像素点p对应的深度值，wt为权重。
组合上述的三种约束条件，构建整体的最优化函数。对于整体的最优化函数，针对于不同帧设置了不同的最大迭代次数，利用共轭梯度(CG)方法进行深度求解。对于关键帧，设置较高的迭代次数，在一些优选的实施例中迭代轮数为50次。而对于非关键帧，他们之间的变动往往不太剧烈，所以最大迭代次数较低，在一些优选的实施例中迭代轮数为30次。
在迭代求解中，主要采用层次化迭代求解方法和有效的初始化策略有效加速迭代求解的过程，获取初始场景稠密深度，层次化迭代是指利用金字塔降采样，获得不同分辨率下的不同深度图求解结果，然后依靠加权投票法的思路对最终的稠密深度值进行整合。
初始化的深度图融合两个模块：首先是当前帧的稀疏深度图；其次因为视频序列存在时间连贯性，相邻帧之间内容往往只发生轻微移动(除了挑战性环境)，初始化也融入了上一帧经过位姿转换后的稠密深度图。除了第一帧以外的其他帧均采用初始化策略进行深度求解，提高深度求解的收敛速度。
步骤S70，基于所述第t+1帧的初始场景稠密深度图，通过双边滤波器进行残存的纹理边缘平滑处理，获得第t+1帧的最终场景稠密深度图。
上述步骤仅详细描述了0-t帧的IMU初始化过程以及第t+1帧的场景稠密深度图获取过程，在t+1帧的最终场景稠密深度图之后，可以跳转步骤S20，继续进行下一帧的场景稠密深度图直至图像帧处理完毕。
上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时(并行)执行或以颠倒的次序执行，这些简单的变化都在本发明的保护范围之内。
本发明第二实施例的基于形态学的场景稠密深度图获取***，该***包括以下模块：
IMU初始化模块，配置为基于单目相机第0-t帧图像和对应的IMU测量值，进行IMU初始化，获得初始化的IMU参数；所述IMU参数包括重力旋转矩阵、尺度因子、速度和IMU偏差；
视觉-惯性联合优化模块，配置为基于所述初始化的IMU参数求解IMU预积分，获得旋转矩阵R、速度v和位置测量p积分量并构建第t-t+1帧图像对应的惯性误差，基于第t-t+1帧图像的ORB匹配结果构建重投影误差，结合所述惯性误差和所述重投影误差，构建视觉-惯性联合误差优化函数；
求解迭代模块，采用非线性优化框架g2o求解所述视觉-惯性联合误差优化函数，通过Levenberg-Marquardt方法迭代直至误差函数值小于设定值，获得第t+1帧图像的相机位姿和场景稀疏点图；
形态学边缘提取模块，配置为通过高斯金字塔对第t+1帧图像进行下采样，并对下采样后的图像利用形态学的膨胀和腐蚀操作提取形态学粗边缘，通过高斯卷积进行上采样，获得第t+1帧的初步形态学边缘；
精准深度边缘提取模块，配置为结合形态学阈值约束修改边缘判定标准进行边缘检测器改进，基于第t+1帧图像和所述第t+1帧的初步形态学边缘，通过改进的边缘检测器获取第t+1帧的精准深度边缘图；
稠密化模块，配置为基于第t+1帧的场景稀疏点图和所述第t+1帧的精准深度边缘图，构建深度对齐约束条件、边缘约束条件和时间连贯约束条件进行稀疏深度传播，获得第t+1帧的初始场景稠密深度图；
平滑处理模块，配置为基于所述第t+1帧的初始场景稠密深度图，通过双边滤波器进行残存的纹理边缘平滑处理，获得第t+1帧的最终场景稠密深度图。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于形态学的场景稠密深度图获取***，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种电子设备，包括：
至少一个处理器；以及
与至少一个所述处理器通信连接的存储器；其中，
所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的基于形态学的场景稠密深度图获取方法。
本发明第四实施例的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于形态学的场景稠密深度图获取方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (10)
1.一种基于形态学的场景稠密深度图获取方法，其特征在于，该方法包括：
步骤S10，基于单目相机第0-t帧图像和对应的IMU测量值，进行IMU初始化，获得初始化的IMU参数；所述IMU参数包括重力旋转矩阵、尺度因子、速度和IMU偏差；
步骤S20，基于所述初始化的IMU参数求解IMU预积分，获得旋转矩阵R、速度v和位置测量p积分量并构建第t-t+1帧图像对应的惯性误差，基于第t-t+1帧图像的ORB匹配结果构建重投影误差，结合所述惯性误差和所述重投影误差，构建视觉-惯性联合误差优化函数；
步骤S30，采用非线性优化框架g2o求解所述视觉-惯性联合误差优化函数，通过Levenberg-Marquardt方法迭代直至误差函数值小于设定值，获得第t+1帧图像的相机位姿和场景稀疏点图；
步骤S40，通过高斯金字塔对第t+1帧图像进行下采样，并对下采样后的图像利用形态学的膨胀和腐蚀操作提取形态学粗边缘，通过高斯卷积进行上采样，获得第t+1帧的初步形态学边缘；
步骤S50，结合形态学阈值约束修改边缘判定标准进行Canny边缘检测器改进，基于第t+1帧图像和所述第t+1帧的初步形态学边缘，通过改进的Canny边缘检测器获取第t+1帧的精准深度边缘图；
步骤S60，基于第t+1帧的场景稀疏点图和所述第t+1帧的精准深度边缘图，构建深度对齐约束条件、边缘约束条件和时间连贯约束条件进行稀疏深度传播，获得第t+1帧的初始场景稠密深度图；
步骤S70，基于所述第t+1帧的初始场景稠密深度图，通过双边滤波器进行残存的纹理边缘平滑处理，获得第t+1帧的最终场景稠密深度图。
2.根据权利要求1所述的基于形态学的场景稠密深度图获取方法，其特征在于，步骤S10包括：
步骤S11，通过纯视觉BA优化方法获取所述0-t帧图像中的k帧关键帧对应的相机位姿，并获取世界坐标系下的速度初始值；
步骤S12，将0-k帧关键帧的IMU测量值表示为I0：k，初始化的IMU参数表示为yk＝{s，Rwg，b，v}，对惯性运动构建图优化函数并采用最大后验概率表示：
p(yk|I0∶k)∝p(I0∶k|yk)p(yk)
步骤S13，基于所述最大后验概率表示，结合IMU测量的独立性，进行转换获得最大似然估计：
其中，
为本次IMU初始化需要求解的参数集，p(yk)为先验概率；Rwg代表惯性坐标系到世界坐标系下的重力旋转矩阵；s为尺度因子；b为IMU偏差，包括陀螺仪偏差和加速度计偏差；v为0-k帧关键帧之间惯性坐标系下的速度，vi-1和vi分别表示第i-1和第i个关键帧惯性坐标系下的速度，Ii-1，i代表第i-1和第i帧关键帧之间的IMU测量值；
步骤S14，将
取负对数，转换为最小化误差之和：
其中，rp是先验残差，
为IMU的测量残差，∑表示对应的信息矩阵；
步骤S15，在相机常速运动下，以满足预设第一约束条件进行所述最小化误差的求解，获得重力旋转矩阵、尺度因子、速度和IMU偏差；在相机缓慢运动下，固定IMU偏差b、重力旋转矩阵Rwg，以满足预设第一约束条件进行所述最小化误差的求解，获得尺度因子，基于所述尺度因子更新当前相机位姿并，直至相机常速移动后重新进行IMU初始化；所述预设第一约束条件为IMU预积分和先验概率均满足高斯分布。
3.根据权利要求1所述的基于形态学的场景稠密深度图获取方法，其特征在于，步骤S40包括：
步骤S41，通过高斯金字塔对第t+1帧图像进行隔行下采样，将图像调整为原始大小的一半，获得第t+1帧下采样图像；
步骤S42，分别通过矩形核为5×5的膨胀操作和腐蚀操作进行所述第t+1帧下采样图像的卷积处理，求解区域局部最大值和最小值获得第t+1帧膨胀图像和第t+1帧腐蚀图像；
步骤S43，对所述第t+1帧膨胀图像和第t+1帧腐蚀图像进行差分处理，获得第t+1帧形态学粗边缘；
步骤S44，通过高斯卷积进行所述第t+1帧形态学粗边缘的上采样，获得与原始图像大小一样的第t+1帧的初步形态学边缘。
4.根据权利要求1所述的基于形态学的场景稠密深度图获取方法，其特征在于，步骤S50包括：
步骤S51，基于所述第t+1帧的初步形态学边缘和第t+1帧图像，通过7*7的高斯平滑滤波器进行降噪，并通过Sobel操作符提取降噪后的图像的x梯度和y梯度；
步骤S52，分别在x方向和y方向上选择3通道的最大值作为该方向梯度值，求解出形态学边缘梯度值Mc和图像梯度值Mi；
步骤S53，对所述第t+1帧图像采用非极大值抑制，寻找像素点领域的局部梯度最大值作为候选边缘像素点集；
步骤S54，结合所述形态学边缘梯度值Mc和图像梯度值Mi与所述形态学阈值τmor、图像对应的强边缘阙值τhigh和弱边缘阙值τlow，进行所述候选边缘像素点集中像素类别的判断：
若Mi＞τhigh且Mc＞τmor，则为强边缘像素；若τhigh≥Mi≥τlow，则为弱边缘像素；否则，为非边缘像素；
步骤S55，对所述弱边缘像素进行边缘滞后跟踪，若该弱边缘像素的8邻域内存在强边缘像素，则将该像素转换为强边缘像素；否则，转换为非边缘像素；
步骤S56，遍历所述候选边缘像素点集，获得第t+1帧的精准深度边缘图。
5.根据权利要求1所述的基于形态学的场景稠密深度图获取方法，其特征在于，所述深度对齐约束条件为：
其中，D(p)代表场景稠密深度图中像素点p对应的深度值，Ds(p)代表场景稀疏点图中像素点p对应的深度值；ws为权重，若像素点p在场景稀疏点图中，ws取值为1。
6.根据权利要求1所述的基于形态学的场景稠密深度图获取方法，其特征在于，所述边缘约束条件为：
其中，p，q代表两个相邻的像素点，D(p)和D(q)分别代表场景稠密深度图中像素点p和像素点q对应的深度值，De代表像素点在第t+1帧的精准深度边缘图中的深度值，we为权重，m(p)和m(q)分别为像素点p，q的梯度值。
7.根据权利要求1所述的基于形态学的场景稠密深度图获取方法，其特征在于，所述时间连贯约束条件为：
其中，Dt(p)代表像素点p在上一帧图像中的深度值，D(p)代表场景稠密深度图中像素点p对应的深度值，wt为权重。
8.一种基于形态学的场景稠密深度图获取***，其特征在于，该***包括以下模块：
IMU初始化模块，配置为基于单目相机第0-t帧图像和对应的IMU测量值，进行IMU初始化，获得初始化的IMU参数；所述IMU参数包括重力旋转矩阵、尺度因子、速度和IMU偏差；
视觉-惯性联合优化模块，配置为基于所述初始化的IMU参数求解IMU预积分，获得旋转矩阵R、速度v和位置测量p积分量并构建第t-t+1帧图像对应的惯性误差，基于第t-t+1帧图像的ORB匹配结果构建重投影误差，结合所述惯性误差和所述重投影误差，构建视觉-惯性联合误差优化函数；
求解迭代模块，采用非线性优化框架g2o求解所述视觉-惯性联合误差优化函数，通过Levenberg-Marquardt方法迭代直至误差函数值小于设定值，获得第t+1帧图像的相机位姿和场景稀疏点图；
形态学边缘提取模块，配置为通过高斯金字塔对第t+1帧图像进行下采样，并对下采样后的图像利用形态学的膨胀和腐蚀操作提取形态学粗边缘，通过高斯卷积进行上采样，获得第t+1帧的初步形态学边缘；
精准深度边缘提取模块，配置为结合形态学阈值约束修改边缘判定标准进行边缘检测器改进，基于第t+1帧图像和所述第t+1帧的初步形态学边缘，通过改进的边缘检测器获取第t+1帧的精准深度边缘图；
稠密化模块，配置为基于第t+1帧的场景稀疏点图和所述第t+1帧的精准深度边缘图，构建深度对齐约束条件、边缘约束条件和时间连贯约束条件进行稀疏深度传播，获得第t+1帧的初始场景稠密深度图；
平滑处理模块，配置为基于所述第t+1帧的初始场景稠密深度图，通过双边滤波器进行残存的纹理边缘平滑处理，获得第t+1帧的最终场景稠密深度图。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与至少一个所述处理器通信连接的存储器；其中，
所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现权利要求1-7任一项所述的基于形态学的场景稠密深度图获取方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现权利要求1-7任一项所述的基于形态学的场景稠密深度图获取方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110327446.5A CN112927251B (zh) | 2021-03-26 | 2021-03-26 | 基于形态学的场景稠密深度图获取方法、***及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110327446.5A CN112927251B (zh) | 2021-03-26 | 2021-03-26 | 基于形态学的场景稠密深度图获取方法、***及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112927251A CN112927251A (zh) | 2021-06-08 |
| CN112927251B true CN112927251B (zh) | 2022-10-14 |
Family
ID=76176283
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110327446.5A Active CN112927251B (zh) | 2021-03-26 | 2021-03-26 | 基于形态学的场景稠密深度图获取方法、***及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112927251B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113298796B (zh) * | 2021-06-10 | 2024-04-19 | 西北工业大学 | 一种基于最大后验imu的线特征slam初始化方法 |
| CN115880347B (zh) * | 2021-09-27 | 2023-10-20 | 荣耀终端有限公司 | 图像处理方法、电子设备、存储介质及程序产品 |
| CN114266816B (zh) * | 2021-12-23 | 2023-03-24 | 合肥瑞识智能科技有限公司 | 一种稠密深度图构建方法、装置、设备及介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108416840A (zh) * | 2018-03-14 | 2018-08-17 | 大连理工大学 | 一种基于单目相机的三维场景稠密重建方法 |
| CN109300190A (zh) * | 2018-09-06 | 2019-02-01 | 百度在线网络技术（北京）有限公司 | 三维数据的处理方法、装置、设备和存储介质 |
| CN111079765A (zh) * | 2019-12-13 | 2020-04-28 | 电子科技大学 | 一种基于深度图的稀疏点云稠密化及路面去除方法 |
| CN112435325A (zh) * | 2020-09-29 | 2021-03-02 | 北京航空航天大学 | 基于vi-slam和深度估计网络的无人机场景稠密重建方法 |
-
2021
- 2021-03-26 CN CN202110327446.5A patent/CN112927251B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108416840A (zh) * | 2018-03-14 | 2018-08-17 | 大连理工大学 | 一种基于单目相机的三维场景稠密重建方法 |
| CN109300190A (zh) * | 2018-09-06 | 2019-02-01 | 百度在线网络技术（北京）有限公司 | 三维数据的处理方法、装置、设备和存储介质 |
| CN111079765A (zh) * | 2019-12-13 | 2020-04-28 | 电子科技大学 | 一种基于深度图的稀疏点云稠密化及路面去除方法 |
| CN112435325A (zh) * | 2020-09-29 | 2021-03-02 | 北京航空航天大学 | 基于vi-slam和深度估计网络的无人机场景稠密重建方法 |
Non-Patent Citations (2)
| Title |
|---|
| Edge-Aware Monocular Dense Depth Estimation with Morphology;Zhi Li 等;《2020 25th International Conference on Pattern Recognition》;20210115;全文 * |
| 基于事件的视觉传感器及其应用综述;孔德磊 等;《信息与控制》;20210131;第50卷(第1期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112927251A (zh) | 2021-06-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112927251B (zh) | 基于形态学的场景稠密深度图获取方法、***及装置 | |
| WO2021077720A1 (zh) | 获取对象三维模型的方法、装置、电子设备及*** | |
| CN106803267B (zh) | 基于Kinect的室内场景三维重建方法 | |
| WO2022088982A1 (zh) | 三维场景构建方法、装置、***和存储介质 | |
| CN109961506B (zh) | 一种融合改进Census图的局部场景三维重建方法 | |
| CN106910242B (zh) | 基于深度相机进行室内完整场景三维重建的方法及*** | |
| Kolev et al. | Turning mobile phones into 3D scanners | |
| KR101195942B1 (ko) | 카메라 보정 방법 및 이를 이용한 3차원 물체 재구성 방법 | |
| CN113140011B (zh) | 一种红外热成像单目视觉测距方法及相关组件 | |
| CN108010081B (zh) | 一种基于Census变换和局部图优化的RGB-D视觉里程计方法 | |
| CN112258658B (zh) | 一种基于深度相机的增强现实可视化方法及应用 | |
| EP2656309B1 (en) | Method for determining a parameter set designed for determining the pose of a camera and for determining a three-dimensional structure of the at least one real object | |
| CN111063021A (zh) | 一种空间运动目标的三维重建模型建立方法及装置 | |
| US20140072175A1 (en) | Fast articulated motion tracking | |
| CN108564616A (zh) | 快速鲁棒的rgb-d室内三维场景重建方法 | |
| CN109472820B (zh) | 单目rgb-d相机实时人脸重建方法及装置 | |
| CN110211169B (zh) | 基于多尺度超像素和相位相关的窄基线视差的重构方法 | |
| CN107038758B (zh) | 一种基于orb算子的增强现实三维注册方法 | |
| WO2023071790A1 (zh) | 目标对象的姿态检测方法、装置、设备及存储介质 | |
| CN113674400A (zh) | 基于重定位技术的光谱三维重建方法、***及存储介质 | |
| US10229508B2 (en) | Dynamic particle filter parameterization | |
| CN116563493A (zh) | 基于三维重建的模型训练方法、三维重建方法及装置 | |
| CN114519772A (zh) | 一种基于稀疏点云和代价聚合的三维重建方法及*** | |
| CN117274515A (zh) | 基于ORB和NeRF映射的视觉SLAM方法及*** | |
| CN113781525B (zh) | 一种基于原始cad模型的三维目标跟踪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |