CN108307174A - 一种深度图像传感器精度提升方法和*** - Google Patents

一种深度图像传感器精度提升方法和*** Download PDF

Info

Publication number
CN108307174A
CN108307174A CN201810077922.0A CN201810077922A CN108307174A CN 108307174 A CN108307174 A CN 108307174A CN 201810077922 A CN201810077922 A CN 201810077922A CN 108307174 A CN108307174 A CN 108307174A
Authority
CN
China
Prior art keywords
depth
frame
data
image sensor
pose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810077922.0A
Other languages
English (en)
Inventor
陈果
韩龙
李扬
杜晨阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Deep View Mdt Infotech Ltd
Original Assignee
Shanghai Deep View Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Deep View Mdt Infotech Ltd filed Critical Shanghai Deep View Mdt Infotech Ltd
Priority to CN201810077922.0A priority Critical patent/CN108307174A/zh
Publication of CN108307174A publication Critical patent/CN108307174A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及传感器技术领域。一种深度图像传感器精度提升方法，包括以下步骤：步骤S1，使用深度传感器进行高帧率深度数据输入；步骤S2，利用IMU(惯性测量单元)和点云匹配来精确对齐短时时间窗口内的深度数据；步骤S3，将运动补偿后的窗口内的深度数据做加权平均，最后输出融合后的深度数据。本发明通过利用深度传感器的高帧率深度数据输入，而后采用惯性测量单元来做后处理，以达到输出精度提升的深度信息的目的。

Description

一种深度图像传感器精度提升方法和***
技术领域
本发明涉及传感器技术领域，具体涉及一种图像传感器精度提升方法。
背景技术
随着传感器技术的进步，目前深度图像传感器用在了越来越多的领域，包括3D物体扫描，机器人、无人机避障等等。由于深度传感器成像原理以及器件功耗和使用场景的光照条件限制，深度图像传感器的精度会随着距离的增加而降低。在这种情况下，使用更长基线，或者更强光源，或者更大传感器会带来精度提升，但是成本也会相应增加。那么如何在不改变现有硬件的条件下提升测量精度成为了一个非常有意义的研究方向。
发明内容
本发明的目的在于，提供一种深度图像传感器精度提升方法，解决以上至少一个技术问题。
本发明的目的还在于，提供一种深度图像传感器精度提升***，解决以上至少一个技术问题。
本发明所解决的技术问题可以采用以下技术方案来实现：
一种深度图像传感器精度提升方法，其特征在于，包括以下步骤：
步骤S1，使用深度传感器进行高帧率深度数据输入；
步骤S2，利用IMU(惯性测量单元)和点云匹配来精确对齐短时时间窗口内的深度数据；
步骤S3，将运动补偿后的窗口内的深度数据做加权平均，最后输出融合后的深度数据。
本发明通过利用深度传感器的高帧率深度数据输入，惯性测量单元来做后处理，然后输出精度提升的深度信息。
所述步骤S2中，利用IMU(惯性测量单元)的高采样率来估计两帧深度数据之间相机的位姿变化，由于陀螺仪和加速度计的噪声和漂移问题，以每一帧深度数据时间戳为起点进行积分运算，这样能避免误差累积。
进一步，在得到两帧深度数据之间的相机相对位姿变化后，在一个时间窗口内，以中间一帧深度数据对应的相机位姿为基准，计算窗口内的每一帧相机位姿相对于中间帧的位姿变换量，将这个位姿变换量作为初始值，对这两帧的深度数据做点云匹配以计算最终的位姿变换。
由于深度数据的精度随距离逐渐下降，因此本发明使用的是加权的点云匹配，越近的数据权重越高。在计算出最终的位子变换后，将其他深度图像投影到中间帧对应的相机位姿，然后对所有投影后的深度图像做加权平均得到精度提升后的深度数据。
所述深度传感器是基于三角测量的深度传感器(包括结构光和双目)，假设f表示焦距，B表示基线长度，d表示视差，那么基本的深度测量方式为
进一步，由于视差d是直接测量值，因此每单位d所对应的ΔZ就是距离测量的精度可以由z对d求导得到，具体为
对于已有传感器来说，f和B是固定的，最小视差单位也是固定的，因此距离的精度之和距离的平方有关系，并且随距离的增长呈平方关系下降。即使在深度传感器成像中使用了亚像素精度的匹配算法来保证准确性，但是距离的增加依然会导致方差急剧增大。在大量的实验中发现，虽然方差随距离增大，但是其均值的偏差并没有迅速增大，因此如果对静态场景深度图像做一定时间窗口的统计平均可以使得深度值的方差迅速减小，并且可重复性能大大提升。由于在测量时是无法保证深度相机静止的，所以本发明首先通过IMU(惯性测量单元)积分得到每一帧深度数据和中间帧之间的相对运动关系，然后将该相对运动做为初始值，对这两帧数据做加权ICP(迭代最近点算法)得到更加精确的运动关系，最后通过得到的位姿变换矩阵将时间窗口内的每一帧深度数据投影到该时间窗口的中间帧上，做加权平均得到融合后的深度数据。
一种深度图像传感器精度提升***，其特征在于，包括深度传感器和惯性测量单元；
所述深度传感器用于进行高帧率深度数据输入；
所述惯性测量单元用于估计两帧深度数据之间相机的位姿变化，并以每一帧深度数据时间戳为起点进行积分运算。
附图说明
图1为一种深度图像传感器精度提升方法的基本原理示意图；
图2为一种深度图像传感器精度提升方法的算法流程示意图；
图3为一种深度图像传感器精度提升方法中IMU积分获取相对位姿的示意图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示进一步阐述本发明。
参照图1、图2、图3，一种深度图像传感器精度提升方法，包括以下步骤：
步骤S1，使用深度传感器进行高帧率深度数据输入；
步骤S2，利用IMU(惯性测量单元)和点云匹配来精确对齐短时时间窗口内的深度数据；
步骤S3，将运动补偿后的窗口内的深度数据做加权平均，最后输出融合后的深度数据。
本发明通过利用深度传感器的高帧率深度数据输入，惯性测量单元来做后处理，然后输出精度提升的深度信息。
步骤S2中，利用IMU(惯性测量单元)的高采样率来估计两帧深度数据之间相机的位姿变化，由于陀螺仪和加速度计的噪声和漂移问题，以每一帧深度数据时间戳为起点进行积分运算，这样能避免误差累积。
进一步，在得到两帧深度数据之间的相机相对位姿变化后，在一个时间窗口内，以中间一帧深度数据对应的相机位姿为基准，计算窗口内的每一帧相机位姿相对于中间帧的位姿变换量，将这个位姿变换量作为初始值，对这两帧的深度数据做点云匹配以计算最终的位姿变换。
由于深度数据的精度随距离逐渐下降，因此本发明使用的是加权的点云匹配，越近的数据权重越高。在计算出最终的位姿变换后，将其他深度图像投影到中间帧对应的相机位姿，然后对所有投影后的深度图像做加权平均得到精度提升后的深度数据。
深度传感器是基于三角测量的深度传感器(包括结构光和双目)，假设f表示焦距，B表示基线长度，d表示视差，那么基本的深度测量方式为
进一步，由于视差d是直接测量值，因此每单位d所对应的ΔZ就是距离测量的精度可以由z对d求导得到，具体为
对于已有传感器来说，f和B是固定的，最小视差单位也是固定的，因此距离的精度之和距离的平方有关系，并且随距离的增长呈平方关系下降。即使在深度传感器成像中使用了亚像素精度的匹配算法来保证准确性，但是距离的增加依然会导致方差急剧增大。在大量的实验中发现，虽然方差随距离增大，但是其均值的偏差并没有迅速增大，因此如果对静态场景深度图像做一定时间窗口的统计平均可以使得深度值的方差迅速减小，并且可重复性能大大提升。由于在测量时是无法保证深度相机静止的，所以本发明首先通过IMU(惯性测量单元)积分得到每一帧深度数据和中间帧之间的相对运动关系，然后将该相对运动做为初始值，对这两帧数据做加权ICP(迭代最近点算法)得到更加精确的运动关系，最后通过得到的位姿变换矩阵将时间窗口内的每一帧深度数据投影到该时间窗口的中间帧上，做加权平均得到融合后的深度数据。
1)加速度计，陀螺仪相对积分
如图3所示，惯性测量单元的特性是帧率高，但是存在噪声，噪声主要有零偏，温偏，随机游走以及高斯白噪声，并且随机游走会随时间变化。为了降低偏置误差造成的影响，本发明仅对在相邻两个深度图像之间很短的时间内收到的惯性测量单元数据进行积分。陀螺仪的一阶积分得到两帧之间的相对转动量矩阵，用ΔR表示。加速度计的二阶积分得到两帧之间的相对位移向量，用ΔP表示。那么M＝[ΔR,ΔP]表示第i-1帧深度图像到第i帧的位姿变换。如果时间窗口内有5帧深度数据，第一帧用Fi表示，那么中间帧就是Fi+2，通过IMU积分可以得到公式ΔR＝∏Exp(ω·Δt)、ΔV＝∑(ΔR·a·Δt)、分别是旋转速度和位置的积分公式，其中ω表示IMU测量的角速度向量，a表示IMU测量的加速度向量，ΔR由SO3空间表示。
2)深度数据的加权ICP(迭代最近点算法)
考虑到IMU的噪声特性，在短时间内的IMU积分虽然已经足够精确，但是依然包含了噪声成分，为了得到更高精度的位姿变换矩阵，本发明使用时间窗口内每一帧和中间帧的ICP(迭代最近点算法)来计算精确的位姿变换量。由于深度数据的精度特性，越近的数据越精确，因此本发明在做ICP(迭代最近点算法)时对较近的数据使用更大的权值，较远的数据使用更小权值，这样可以减小数据噪声造成的误匹配。
3)深度数据的加权平均
本发明的目的是降低测量数据的方差，提高重复性。由于较近的深度数据的方差较小，较远的数据方差大，因此在做深度数据融合的时候，本发明采用了加权策略对时间窗口内的深度数据做融合。较近数据间融合时，中间帧的权重较大，其他帧权重较小，较远数据融合时，所有帧之间做相同权值平均。如公式所示，Zi表示深度图像内的一点，N表示时间窗口内包含的帧数，zk表示时间窗口内第k帧的相应对齐点的深度值，ωk表示时间窗口内第k帧的相应对齐点的权值。
一种深度图像传感器精度提升***，包括深度传感器和惯性测量单元；
深度传感器用于进行高帧率深度数据输入；
惯性测量单元用于估计两帧深度数据之间相机的位姿变化，并以每一帧深度数据时间戳为起点进行积分运算。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (10)

1.一种深度图像传感器精度提升方法，其特征在于，包括以下步骤：
步骤S1，使用深度传感器进行高帧率深度数据输入；
步骤S2，利用惯性测量单元和点云匹配来精确对齐短时时间窗口内的深度数据；
步骤S3，将运动补偿后的窗口内的深度数据做加权平均，最后输出融合后的深度数据。
2.根据权利要求1所述的一种深度图像传感器精度提升方法，其特征在于：
所述步骤S2中，所述惯性测量单元用于估计两帧深度数据之间相机的位姿变化，并以每一帧深度数据时间戳为起点进行积分运算。
3.根据权利要求2所述的一种深度图像传感器精度提升方法，其特征在于：
在得到两帧深度数据之间的相机相对位姿变化后，在一个时间窗口内，以中间一帧深度数据对应的相机位姿为基准，计算窗口内的每一帧相机位姿相对于中间帧的位姿变换量，以此位姿变换量作为初始值，对这两帧的深度数据做点云匹配以计算最终的位姿变换。
4.根据权利要求1所述的一种深度图像传感器精度提升方法，其特征在于：
所述深度传感器是基于三角测量的深度传感器，所述三角测量包括结构光和双目；
设f表示焦距，B表示基线长度，d表示视差，所述深度传感器的深度测量方式为
5.根据权利要求4所述的一种深度图像传感器精度提升方法，其特征在于：
视差d是直接测量值，每单位d所对应的ΔZ为距离测量的精度，由z对d求导得到，具体公式为
6.根据权利要求2所述的一种深度图像传感器精度提升方法，其特征在于：所述惯性测量单元的特性是帧率高；
进行所述积分运算时仅对在相邻两个深度图像之间很短的时间内收到的惯性测量单元数据进行积分。
7.根据权利要求3所述的一种深度图像传感器精度提升方法，其特征在于：使用时间窗口内每一帧和中间帧的ICP来计算精确的位姿变换量。
8.根据权利要求7所述的一种深度图像传感器精度提升方法，其特征在于：在进行ICP时对较近的数据使用更大的权值，较远的数据使用更小权值，以减小数据噪声造成的误匹配。
9.根据权利要求1所述的一种深度图像传感器精度提升方法，其特征在于：
所述步骤S3中，对深度数据做加权平均的过程中，当较近数据间融合时，中间帧的权重较大，其他帧权重较小，当较远数据融合时，所有帧之间做相同权值平均。
10.一种深度图像传感器精度提升***，其特征在于，包括深度传感器和惯性测量单元；
所述深度传感器用于进行高帧率深度数据输入；
所述惯性测量单元用于估计两帧深度数据之间相机的位姿变化，并以每一帧深度数据时间戳为起点进行积分运算。
CN201810077922.0A 2018-01-26 2018-01-26 一种深度图像传感器精度提升方法和*** Pending CN108307174A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810077922.0A CN108307174A (zh) 2018-01-26 2018-01-26 一种深度图像传感器精度提升方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810077922.0A CN108307174A (zh) 2018-01-26 2018-01-26 一种深度图像传感器精度提升方法和***

Publications (1)

Publication Number Publication Date
CN108307174A true CN108307174A (zh) 2018-07-20

Family

ID=62866371

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810077922.0A Pending CN108307174A (zh) 2018-01-26 2018-01-26 一种深度图像传感器精度提升方法和***

Country Status (1)

Country Link
CN (1) CN108307174A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110095116A (zh) * 2019-04-29 2019-08-06 桂林电子科技大学 一种基于lift的视觉定位和惯性导航组合的定位方法
CN111708048A (zh) * 2020-08-19 2020-09-25 深圳市速腾聚创科技有限公司 点云的运动补偿方法、装置和***
CN112146647A (zh) * 2020-09-11 2020-12-29 珠海市一微半导体有限公司 一种地面纹理的双目视觉定位方法及芯片
EP3978866A1 (de) * 2020-10-01 2022-04-06 WENZEL Metrology GmbH Verfahren zum bestimmen der geometrie eines objektes sowie optische messvorrichtung

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102881018A (zh) * 2012-09-27 2013-01-16 清华大学深圳研究生院 一种图像深度图生成方法
CN106056664A (zh) * 2016-05-23 2016-10-26 武汉盈力科技有限公司 一种基于惯性和深度视觉的实时三维场景重构***及方法
CN106875437A (zh) * 2016-12-27 2017-06-20 北京航空航天大学 一种面向rgbd三维重建的关键帧提取方法
CN107255476A (zh) * 2017-07-06 2017-10-17 青岛海通胜行智能科技有限公司 一种基于惯性数据和视觉特征的室内定位方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102881018A (zh) * 2012-09-27 2013-01-16 清华大学深圳研究生院 一种图像深度图生成方法
CN106056664A (zh) * 2016-05-23 2016-10-26 武汉盈力科技有限公司 一种基于惯性和深度视觉的实时三维场景重构***及方法
CN106875437A (zh) * 2016-12-27 2017-06-20 北京航空航天大学 一种面向rgbd三维重建的关键帧提取方法
CN107255476A (zh) * 2017-07-06 2017-10-17 青岛海通胜行智能科技有限公司 一种基于惯性数据和视觉特征的室内定位方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
韦羽棉: "基于 Kinect 深度图像的三维重建研究", 《中国优秀硕士学位论文全文数据库（电子期刊）》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110095116A (zh) * 2019-04-29 2019-08-06 桂林电子科技大学 一种基于lift的视觉定位和惯性导航组合的定位方法
CN111708048A (zh) * 2020-08-19 2020-09-25 深圳市速腾聚创科技有限公司 点云的运动补偿方法、装置和***
CN112146647A (zh) * 2020-09-11 2020-12-29 珠海市一微半导体有限公司 一种地面纹理的双目视觉定位方法及芯片
EP3978866A1 (de) * 2020-10-01 2022-04-06 WENZEL Metrology GmbH Verfahren zum bestimmen der geometrie eines objektes sowie optische messvorrichtung

Similar Documents

Publication Publication Date Title
CN109307508B (zh) 一种基于多关键帧的全景惯导slam方法
CN112634451B (zh) 一种融合多传感器的室外大场景三维建图方法
CN106803271B (zh) 一种视觉导航无人机的摄像机标定方法及装置
CN107909614B (zh) 一种gps失效环境下巡检机器人定位方法
CN110084832B (zh) 相机位姿的纠正方法、装置、***、设备和存储介质
CN108307174A (zh) 一种深度图像传感器精度提升方法和***
CN109522832B (zh) 基于点云片段匹配约束和轨迹漂移优化的回环检测方法
CN108052103B (zh) 基于深度惯性里程计的巡检机器人地下空间同时定位和地图构建方法
CN109520497A (zh) 基于视觉和imu的无人机自主定位方法
CN109029448B (zh) 单目视觉惯性定位的imu辅助跟踪模型
CN113781582A (zh) 基于激光雷达和惯导联合标定的同步定位与地图创建方法
WO2021052403A1 (zh) 一种移动机器人感知障碍信息的方法、装置
CN105606127A (zh) 一种双目立体相机与惯性测量单元相对姿态标定方法
CN107941217A (zh) 一种机器人定位方法、电子设备、存储介质、装置
CN108700946A (zh) 用于并行测距和建图的故障检测和恢复的***和方法
CN103983263A (zh) 一种采用迭代扩展卡尔曼滤波与神经网络的惯性/视觉组合导航方法
CN110260861B (zh) 位姿确定方法及装置、里程计
JP6782903B2 (ja) 自己運動推定システム、自己運動推定システムの制御方法及びプログラム
CN104715469A (zh) 一种数据处理方法及电子设备
CN110533719B (zh) 基于环境视觉特征点识别技术的增强现实定位方法及装置
CN106489062B (zh) 用于测量移动平台的位移的***和方法
CN111307146B (zh) 一种基于双目相机和imu的虚拟现实头戴显示设备定位***
CN114526745A (zh) 一种紧耦合激光雷达和惯性里程计的建图方法及***
CN114323033B (zh) 基于车道线和特征点的定位方法、设备及自动驾驶车辆
CN105607760A (zh) 一种基于微惯性传感器的轨迹还原方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180720