CN114708318A - 一种基于深度相机的未知待测面曲率测定方法 - Google Patents

一种基于深度相机的未知待测面曲率测定方法 Download PDF

Info

Publication number
CN114708318A
CN114708318A CN202210380167.XA CN202210380167A CN114708318A CN 114708318 A CN114708318 A CN 114708318A CN 202210380167 A CN202210380167 A CN 202210380167A CN 114708318 A CN114708318 A CN 114708318A
Authority
CN
China
Prior art keywords
depth
curvature
camera
mean value
curve
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210380167.XA
Other languages
English (en)
Other versions
CN114708318B (zh
Inventor
徐光华
魏帆
吴庆强
覃芃淋
李泽江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202210380167.XA priority Critical patent/CN114708318B/zh
Publication of CN114708318A publication Critical patent/CN114708318A/zh
Application granted granted Critical
Publication of CN114708318B publication Critical patent/CN114708318B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

一种基于深度相机的未知待测面曲率测定方法，先选用RGB‑D相机作为采集设备，并对其进行标定；将相机水平摆放，连续采集待测面的深度图像，使用均值滤波操预处理，得到相对平滑的深度图像；再对深度图像使用相机内部参数矩阵进行转化，将图像像素坐标系下的深度图像转化为世界真实坐标系下的深度图像；对世界真实坐标系下的深度图像按照水平方向、竖直方向和时间方向分别计算其深度值的均值，对水平方向和竖直方向上的深度值的均值，以相邻三个点为一组使用最小二乘法进行曲线拟合，计算这两个方向上曲率的均值和方差并作图，根据其均值与方差判断待测面是否平整，曲率的均值作为整个待测面的曲率；本发明具有低成本、无接触、高精度等优点。

Description

一种基于深度相机的未知待测面曲率测定方法
技术领域
本发明属于图像处理技术领域，具体涉及一种基于深度相机的未知待测面曲率测定方法。
背景技术
在人机交互、运动分析、人工智能、机器人、无人驾驶和视频监控等众多应用领域，场景中的深度信息都是主要的潜在信息，对深度图像的分析和处理都是必不可少的环节，基于深度相机的技术和应用也不断受到关注。
目前，随着计算机视觉和图像处理等相关领域技术的快速发展，对场景深度信息的拍摄及处理的研究也成为一个研究热点。深度相机，顾名思义，是可以测量场景中深度信息的相机的总称。现有的深度相机，按照拍摄原理的不同大致可以分为三种：①基于结构光原理的深度相机；②基于飞行时间原理的深度相机；③基于双目立体视觉原理的深度相机。其中，基于结构光原理的深度相机在拍摄深度图像时易受到拍摄面的光洁度和照度影响导致拍摄的深度图像不清晰；基于飞行时间原理的深度相机其拍摄范围往往有限；基于双目立体视觉原理的深度相机存在左右分视问题，需要在拍摄时进行图像对准。
然而目前测量待测面平整度及计算曲率的方法大多使用大量复杂的测量工具进行，同时由于人工测量的误差较大，在需要高精度测测量使用场景应用受限，不能准确快速地进行平整度的判断及曲率的测量，因此急需一种低成本的测量面平整度及其曲率的测定方法。
发明内容
为了克服现有技术的缺点，本发明的目的是提供一种基于深度相机的未知待测面曲率测定方法，具有低成本、无接触、高精度等优点，满足平面检测与曲率计算的需求。
为达到上述目的，本发明采用的技术方案为：
一种基于深度相机的未知待测面曲率测定方法，包括以下步骤：
步骤一：选用RGB-D相机作为采集设备，并对采集设备进行标定，得到深度相机的内部参数矩阵Hd：
Figure BDA0003592526740000021
其中，
Figure BDA0003592526740000022
fxd为深度摄像头焦距的水平分量，fyd为深度摄像头焦距的竖直分量，cxd为深度摄像头主点在水平方向的偏移，cyd为深度摄像头主点在竖直方向的偏移；
步骤二：使用水平仪对RGB-D相机进行水平摆放，利用RGB-D传感器连续采集待测面的深度图像N帧，并采用均值滤波操作进行处理，得到相对平滑的深度图像；
步骤三：对深度图像使用深度相机内部参数矩阵进行转化，将图像像素坐标系下的深度图像转化为世界真实坐标系下的深度图像；
步骤四：对世界真实坐标系下的深度图像按照水平方向、竖直方向和时间方向分别计算其深度值的均值；
步骤五：对得到的水平方向和竖直方向上的深度值的均值，以相邻三个点为一组使用最小二乘法进行曲线拟合，并计算这两个方向上曲率的均值和方差并作图，根据其均值与方差判断待测面是否平整，同时曲率的均值作为整个待测面的曲率。
所述的步骤五具体过程为：设当前关注点p坐标为(x，y，z)，则与p点在水平方向相邻两点的坐标为(x1，y1，z1)和(x2，y2，z2)，记为p1和p2，而与p点在竖直方向相邻点的坐标为(x3，y3，z3)和(x4，y4，z4)，记为p3和p4；
对于水平方向三个点p、p1和p2，使用最小二乘法进行曲线拟合，设拟合的多项式为y＝a0+a1x+a2x2，则各点到这条曲线的距离平方之和最小，即偏差平方和
Figure BDA0003592526740000031
最小时该拟合曲线最贴近于原始曲线；得到的曲线的矩阵形式为：
Figure BDA0003592526740000032
则针对当前关注点的曲率为
Figure BDA0003592526740000033
对于竖直方向三个点p、p3和p4，同样使用最小二乘法进行曲线拟合；设拟定的多项式为y＝b0+b1x+b2x2，则各点到这条曲线的区里的平方值和最小，即偏差平方和
Figure BDA0003592526740000034
Figure BDA0003592526740000035
最小时该拟合曲线最贴近于原始曲线，得到的曲线的矩阵形式为：
Figure BDA0003592526740000036
则针对当前关注点的曲率为
Figure BDA0003592526740000041
对平均深度中的每个点均计算其曲率，并分别计算其水平方向曲率与竖直方向曲率；同时计算水平方向的曲率的平均值
Figure BDA0003592526740000042
和竖直方向曲率的平均值
Figure BDA0003592526740000043
以及水平方向曲率的方差
Figure BDA0003592526740000044
和竖直方向曲率的方差
Figure BDA0003592526740000045
其中使用
Figure BDA0003592526740000046
和
Figure BDA0003592526740000047
表示当前待测面的曲率值。
本发明的优点为：
(1)由于本发明仅需要RGB-D相机作为采集设备，所以具有硬件成本低的优点；
(2)由于本发明使用局部曲线拟合的方法测定未知待测面的曲率，所以具有精度高，快速稳定的优点。
附图说明
图1为本发明方法的流程图。
图2为发明实施例的硬件平台。
图3为实施例RGB-D相机采集到的某帧深度图像。
图4为实施例深度图像经过均值滤波后得到的平滑深度图像。
图5为实施例某帧平滑深度图经过深度相机内参矩阵转化得到的世界真实坐标系下的深度图像。
图6为实施例基于连续深度图像计算三个方向的深度值。
图7为实施例基于水平和竖直方向的深度值计算的两个方向的曲率，(a)为水平方向的曲率，(b)为竖直方向的曲率。
具体实施方式
下面结合附图和实施例对本发明进行详细说明。
参照图1和图2，一种基于深度相机的未知待测面曲率测定方法，包括以下步骤：
步骤一：选用RGB-D相机作为采集设备，此处以Azure Kinect为例，对采集设备进行内部参数标定，得到深度相机的内参矩阵Hd：
Figure BDA0003592526740000051
步骤二：使用水平仪对RGB-D相机进行水平摆放，并利用RGB-D传感器连续采集待测面的深度图像N帧，其中某帧深度图像如图3所示；并对深度图像使用均值滤波进行处理，剔除原始深度图像中的奇异值点，得到相对平滑的深度图像，其中某帧深度图像的处理结果如图4所示；
步骤三：采用步骤一中所得到的深度相机内部参数矩阵将像素图像坐标系下的深度图像转化为世界真实坐标系下的深度图像，其中上述某帧像素图像坐标系下的深度图像所对应的世界真实坐标系下的深度图像如图5所示；
步骤四：对世界真实坐标系下的深度图像按照水平方向、竖直方向和时间方向分别计算其深度值的平均值，其中水平方向记为x，竖直方向记为y，时间方向记为z，其三个方向的平均深度值如图6所示；
步骤五：对得到的水平方向和竖直方向上的深度值的均值，以相邻三个点为一组使用最小二乘法进行曲线拟合，并计算这两个方向上曲率的均值和方差并作图，根据其均值与方差判断待测面是否平整，同时曲率的均值作为整个待测面的曲率；
本实施例针对平均深度图，对每个像素点进行曲率计算；设当前关注点p坐标为(x，y，z)，则与p点在水平方向相邻两点的坐标为(x1，y1，z1)和(x2，y2，z2)，记为p1和p2，而与p点在竖直方向相邻点的坐标为(x3，y3，z3)和(x4，y4，z4)，记为p3和p4；
对于水平方向三个点p、p1和p2，使用最小二乘法进行曲线拟合，设拟合的多项式为y＝a0+a1x+a2x2，则各点到这条曲线的距离平方之和最小，即偏差平方和
Figure BDA0003592526740000061
最小时该拟合曲线最贴近于原始曲线；得到的曲线的矩阵形式为：
Figure BDA0003592526740000062
则针对当前关注点的曲率为
Figure BDA0003592526740000063
对于竖直方向三个点p、p3和p4，同样使用最小二乘法进行曲线拟合；设拟定的多项式为y＝b0+b1x+b2x2，则各点到这条曲线的区里的平方值和最小，即偏差平方和
Figure BDA0003592526740000064
Figure BDA0003592526740000065
最小时该拟合曲线最贴近于原始曲线，得到的曲线的矩阵形式为：
Figure BDA0003592526740000066
则针对当前关注点的曲率为
Figure BDA0003592526740000067
对平均深度中的每个点均计算其曲率，并分别计算其水平方向曲率与竖直方向曲率；其中水平方向的曲率如图7中的(a)，竖直方向的曲率如图7中的(b)；同时计算水平方向的曲率的平均值
Figure BDA0003592526740000071
和竖直方向曲率的平均值
Figure BDA0003592526740000072
以及水平方向曲率的方差
Figure BDA0003592526740000073
和竖直方向曲率的方差
Figure BDA0003592526740000074
其中使用
Figure BDA0003592526740000075
和
Figure BDA0003592526740000076
表示当前待测面的曲率值。

Claims (2)

1.一种基于深度相机的未知待测面曲率测定方法，其特征在于，包括以下步骤：
步骤一：选用RGB-D相机作为采集设备，并对采集设备进行标定，得到深度相机的内部参数矩阵Hd：
Figure FDA0003592526730000011
其中，
Figure FDA0003592526730000012
fxd为深度摄像头焦距的水平分量，fyd为深度摄像头焦距的竖直分量，cxd为深度摄像头主点在水平方向的偏移，cyd为深度摄像头主点在竖直方向的偏移；
步骤二：使用水平仪对RGB-D相机进行水平摆放，利用RGB-D传感器连续采集待测面的深度图像N帧，并采用均值滤波操作进行处理，得到相对平滑的深度图像；
步骤三：对深度图像使用深度相机内部参数矩阵进行转化，将图像像素坐标系下的深度图像转化为世界真实坐标系下的深度图像；
步骤四：对世界真实坐标系下的深度图像按照水平方向、竖直方向和时间方向分别计算其深度值的均值；
步骤五：对得到的水平方向和竖直方向上的深度值的均值，以相邻三个点为一组使用最小二乘法进行曲线拟合，并计算这两个方向上曲率的均值和方差并作图，根据其均值与方差判断待测面是否平整，同时曲率的均值作为整个待测面的曲率。
2.根据权利要求1所述的一种基于深度相机的未知待测面曲率测定方法，其特征在于，所述的步骤五具体过程为：设当前关注点p坐标为(x,y,z),则与p点在水平方向相邻两点的坐标为(x1,y1,z1)和(x2,y2,z2)，记为p1和p2，而与p点在竖直方向相邻点的坐标为(x3,y3,z3)和(x4,y4,z4)，记为p3和p4；
对于水平方向三个点p、p1和p2，使用最小二乘法进行曲线拟合，设拟合的多项式为y＝a0+a1x+a2x2，则各点到这条曲线的距离平方之和最小，即偏差平方和
Figure FDA0003592526730000021
最小时该拟合曲线最贴近于原始曲线；得到的曲线的矩阵形式为:
Figure FDA0003592526730000022
则针对当前关注点的曲率为
Figure FDA0003592526730000023
对于竖直方向三个点p、p3和p4，同样使用最小二乘法进行曲线拟合；设拟定的多项式为y＝b0+b1x+b2x2,则各点到这条曲线的区里的平方值和最小，即偏差平方和
Figure FDA0003592526730000024
Figure FDA0003592526730000025
最小时该拟合曲线最贴近于原始曲线，得到的曲线的矩阵形式为：
Figure FDA0003592526730000026
则针对当前关注点的曲率为
Figure FDA0003592526730000027
对平均深度中的每个点均计算其曲率，并分别计算其水平方向曲率与竖直方向曲率；同时计算水平方向的曲率的平均值
Figure FDA0003592526730000031
和竖直方向曲率的平均值
Figure FDA0003592526730000032
以及水平方向曲率的方差
Figure FDA0003592526730000033
和竖直方向曲率的方差
Figure FDA0003592526730000034
其中使用
Figure FDA0003592526730000035
和
Figure FDA0003592526730000036
表示当前待测面的曲率值。
CN202210380167.XA 2022-04-12 2022-04-12 一种基于深度相机的未知待测面曲率测定方法 Active CN114708318B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210380167.XA CN114708318B (zh) 2022-04-12 2022-04-12 一种基于深度相机的未知待测面曲率测定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210380167.XA CN114708318B (zh) 2022-04-12 2022-04-12 一种基于深度相机的未知待测面曲率测定方法

Publications (2)

Publication Number Publication Date
CN114708318A true CN114708318A (zh) 2022-07-05
CN114708318B CN114708318B (zh) 2024-05-28

Family

ID=82174923

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210380167.XA Active CN114708318B (zh) 2022-04-12 2022-04-12 一种基于深度相机的未知待测面曲率测定方法

Country Status (1)

Country Link
CN (1) CN114708318B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10247714A1 (de) * 2001-10-24 2003-05-08 Zeiss Carl Verfahren zur Filterung von Meßwerten
DE102004030709A1 (de) * 2004-06-25 2006-01-19 Daimlerchrysler Ag Verfahren zur Bestimmung des Krümmungsverlaufs einer Wegstrecke
CN103389042A (zh) * 2013-07-11 2013-11-13 夏东 基于深度图像的地面自动检测以及场景高度计算的方法
US20150142394A1 (en) * 2013-11-18 2015-05-21 Dassault Systemés Computing Camera Parameters
JP2017118396A (ja) * 2015-12-25 2017-06-29 Kddi株式会社 デプスカメラの内部パラメータを算出するプログラム、装置及び方法
CN109903277A (zh) * 2019-02-25 2019-06-18 电子科技大学 一种基于多项式曲线拟合的脊柱侧弯检测方法
CN110276791A (zh) * 2019-06-28 2019-09-24 北京航空航天大学 一种参数可配置的深度相机仿真方法
KR102206108B1 (ko) * 2019-09-20 2021-01-21 광운대학교 산학협력단 체적형 객체 촬영을 위한 다중 rgb-d 카메라 기반의 포인트 클라우드 정합 방법
CN112595265A (zh) * 2020-12-07 2021-04-02 新拓三维技术(深圳)有限公司 一种线缆折弯半径的测量方法和设备
CN113607090A (zh) * 2021-07-23 2021-11-05 深圳市鹰眼在线电子科技有限公司 曲面屏幕的厚度测量***、方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10247714A1 (de) * 2001-10-24 2003-05-08 Zeiss Carl Verfahren zur Filterung von Meßwerten
DE102004030709A1 (de) * 2004-06-25 2006-01-19 Daimlerchrysler Ag Verfahren zur Bestimmung des Krümmungsverlaufs einer Wegstrecke
CN103389042A (zh) * 2013-07-11 2013-11-13 夏东 基于深度图像的地面自动检测以及场景高度计算的方法
US20150142394A1 (en) * 2013-11-18 2015-05-21 Dassault Systemés Computing Camera Parameters
JP2017118396A (ja) * 2015-12-25 2017-06-29 Kddi株式会社 デプスカメラの内部パラメータを算出するプログラム、装置及び方法
CN109903277A (zh) * 2019-02-25 2019-06-18 电子科技大学 一种基于多项式曲线拟合的脊柱侧弯检测方法
CN110276791A (zh) * 2019-06-28 2019-09-24 北京航空航天大学 一种参数可配置的深度相机仿真方法
KR102206108B1 (ko) * 2019-09-20 2021-01-21 광운대학교 산학협력단 체적형 객체 촬영을 위한 다중 rgb-d 카메라 기반의 포인트 클라우드 정합 방법
CN112595265A (zh) * 2020-12-07 2021-04-02 新拓三维技术(深圳)有限公司 一种线缆折弯半径的测量方法和设备
CN113607090A (zh) * 2021-07-23 2021-11-05 深圳市鹰眼在线电子科技有限公司 曲面屏幕的厚度测量***、方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
周杰;安平;郑帅;严徐乐;左一帆;: "飞行时间深度相机和彩色相机的联合标定", 信号处理, no. 01, 25 January 2017 (2017-01-25) *
孙士杰;宋焕生;张朝阳;张文涛;王璇;: "点云下地平面检测的RGB-D相机外参自动标定", 中国图象图形学报, no. 06, 16 June 2018 (2018-06-16) *

Also Published As

Publication number Publication date
CN114708318B (zh) 2024-05-28

Similar Documents

Publication Publication Date Title
CN109544679B (zh) 管道内壁的三维重建方法
CN108613628B (zh) 一种基于双目视觉的架空输电线路弧垂测量方法
CN109859272B (zh) 一种自动对焦双目摄像头标定方法及装置
CN108986070B (zh) 一种基于高速视频测量的岩石裂缝扩展实验监测方法
CN109579695B (zh) 一种基于异构立体视觉的零件测量方法
CN110956661B (zh) 基于双向单应矩阵的可见光与红外相机动态位姿计算方法
CN106225676B (zh) 三维测量方法、装置及***
CN110084785B (zh) 一种基于航拍图像的输电线垂弧测量方法及***
CN111080705B (zh) 一种自动对焦双目摄像头标定方法及装置
CN107403447B (zh) 深度图像获取方法
CN106996748A (zh) 一种基于双目视觉的轮径测量方法
CN109191533B (zh) 基于装配式建筑的塔吊高空施工方法
CN112949478A (zh) 基于云台相机的目标检测方法
CN104167001B (zh) 基于正交补偿的大视场摄像机标定方法
CN115880296B (zh) 基于机器视觉的预制构件质量检测方法及装置
Wang et al. Error analysis and improved calibration algorithm for LED chip localization system based on visual feedback
CN111709985A (zh) 一种基于双目视觉的水下目标测距方法
CN112381847A (zh) 管路端头空间位姿测量方法及***
CN114820563A (zh) 一种基于多视点立体视觉的工业部件尺寸估计方法及***
CN114812558A (zh) 一种结合激光测距的单目视觉无人机自主定位方法
CN111047636A (zh) 基于主动红外双目视觉的避障***和避障方法
CN110702015B (zh) 输电线路覆冰厚度测量方法及装置
CN110487254B (zh) 一种用于rov的水下目标尺寸快速测量方法
CN116958218A (zh) 一种基于标定板角点对齐的点云与图像配准方法及设备
CN116342693A (zh) 一种基于点云和卷积神经网络的桥梁缆索表面损伤快速定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant