CN117765053A - 一种基于线结构激光的深度相机***及三维场景重建方法 - Google Patents
一种基于线结构激光的深度相机***及三维场景重建方法 Download PDFInfo
- Publication number
- CN117765053A CN117765053A CN202311624282.8A CN202311624282A CN117765053A CN 117765053 A CN117765053 A CN 117765053A CN 202311624282 A CN202311624282 A CN 202311624282A CN 117765053 A CN117765053 A CN 117765053A
- Authority
- CN
- China
- Prior art keywords
- target scene
- module
- scene
- laser
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000000547 structure data Methods 0.000 claims abstract description 19
- 230000008569 process Effects 0.000 claims abstract description 6
- 239000013598 vector Substances 0.000 claims description 54
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000001914 filtration Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 6
- 238000009825 accumulation Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000000265 homogenisation Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种基于线结构激光的深度相机***，包括目标场景捕获模块、标记模块、相机标定模块、处理模块、三维重建模块和上位机；目标场景捕获模块用于控制和配置图像传感元件的参数，捕获目标场景的图像，并向上位机传输数字图像数据；标记模块用于向目标场景反射线结构激光，实现对反射的线结构激光的角度估计，并对合适捕获场景的时间区间进行计算；相机标定模块用于对目标场景捕获模块的相机进行标定，构建准确的双视图几何模型；处理模块启动目标场景捕获模块，并对捕获到图像进行处理并计算出视差，恢复场景标识附近的三维结构数据。本发明解决了传统双目立体视觉方案的视差精度低、软件算法的复杂度较高的技术问题。
Description
技术领域
本发明属于3D检测与测量技术领域，具体涉及一种基于线结构激光的深度相机***及三维场景重建方法。
背景技术
经过几十年的发展，基于传统相机输出的二维数字图像(以下简称图像)的机器视觉技术和应用领域已经比较成熟和完善。传统的图像仅包含目标场景二维光强分布信息，但随着时代的进步和技术的发展，单纯的二维图像已经不能满足AR/VR、实时定位与地图重建、自动驾驶、工业自动化制造、工业流水线检测、自主机器人、三维重建、逆向工程、新式人机交互方式等领域的需求。机器视觉领域需要提供在不接触目标场景表面的情况下(非接触式)直接提供或者间接计算出目标场景的三维结构信息的解决方案。
深度图像不仅能够提供传统图像所能提供的所有信息，还能额外提供目标场景与相机的相对距离信息，深度图像的出现能够很好的满足机器视觉的各个应用领域对目标场景三维结构信息的需求。而可以直接提供深度图像或者可以通过软件间接计算出深度图像的软硬件配套的***被称作深度相机。
双目立体视觉技术通过视差原理可以恢复目标场景的三维结构，具有结构简单、不容易受到光照干扰等优势，使得双目立体视觉技术有较大的研究价值；但由于双目立体视觉技术存在受目标场景的表面纹理、光照条件的影响较大、视差图的获取需要很复杂的计算等缺陷，导致双目立体视觉技术迟迟无法广泛应用。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于线结构激光的深度相机***及三维场景重建方法。
本发明的第一个目的是提供一种基于线结构激光的深度相机***，包括目标场景捕获模块、标记模块、相机标定模块、处理模块、三维重建模块和上位机；
所述目标场景捕获模块包含两个相机，用于控制和配置图像传感元件的参数，接收到上位机发出的信号后捕获目标场景的图像，并向上位机传输数字图像数据；
所述标记模块用于向目标场景反射线结构激光，实现对反射的线结构激光的角度估计，并对合适捕获场景的时间区间进行计算；
所述相机标定模块用于对目标场景捕获模块的相机进行标定，构建准确的双视图几何模型；
所述处理模块用于在标记模块计算得到的合适捕获场景的时间区间内启动目标场景捕获模块，并对目标场景捕获模块中的两相机捕获到的包含条带状图样标识的不同视点的图像进行处理并计算出视差，最后根据双视图几何模型以及单目标定过程中计算出的焦距、主点位置参数恢复场景标识附近的三维结构数据，并发送到三维重建模块；
所述三维重建模块用于调整目标场景捕获模块中捕获的条带状标识的图像在场景中的位置，并重复累计处理模块得到的三维结构数据，然后计算得到三维结构信息，实现对场景的扫描重建；
所述上位机，用于向目标场景捕获模块发出捕获目标场景图像的信号，并用于接收目标场景捕获模块传输的数字图像数据。
优选的，所述标记模块包含激光器、无刷电机、反光镜片、霍尔元件和控制器；
所述激光器用于发射线结构激光；
所述无刷电机用于搭载反光镜片并带动反光镜片旋转；
所述反光镜片用于向目标场景反射激光器发射的线结构激光；
所述霍尔元件用于记录无刷电机经过某一特定位置的时间，实现对反射的线结构激光的角度估计，并将获得的脉冲信号发送至控制器中；
所述控制器用于对霍尔元件发出的脉冲信号进行滤波，并计算触发周期。
优选的，所述控制器为FPGA，控制器包含硬件滤波器，硬件滤波器用于对霍尔元件发出的脉冲信号进行滤波。
本发明的第二个目的是提供一种基于上述线结构激光的深度相机***的三维场景重建方法，其特征在于，包括以下步骤：
S1、利用线结构激光主动对目标场景进行周期性的扫描，线结构激光照射在目标场景表面产生明亮的条纹；
S2、利用两个视点不同的相机对步骤S1中的目标场景上产生的明亮的条纹进行捕获，得到含有条带状图样标识的两个不同视点的图像；
S3、分别对步骤S2得到的两个不同视点的图像上的条带状图样进行提取，得到两个条带状图样的中线；
S4、然后根据步骤S3得到的两个条带状图样的中线计算视差，得到视差图；
S5、根据双视图几何模型对步骤S4得到的视差图进行三维重构，恢复得到目标场景标识附近的三维结构数据；
S6、通过控制每帧间隔调整条带状图样出现在目标场景中的位置，逐次扫描累积步骤S5得到的三维结构数据，直至得到整个目标场景的三维结构数据，最终实现目标场景三维结构的重建。
优选的，步骤S3的条带状图样的中线提取通过以下方法得到：
S31、在条带状图样的中心点领域设置权重掩模，计算得到条带状图样边缘强度分布的信息；
S32、根据步骤S31得到的条带状图样边缘强度分布的信息，在固定宽度的窗口进行滤波，以每个像素作为窗口中心对相机捕获到的图像进行处理，得到离散的向量场；
S33、将步骤S32得到的向量场中每个离散点处的向量根据其模长进行排序，并筛选出序列前N向量对应的离散点构成集合H；
S34、根据步骤S33得到的集合H中的任意一点Hi、Hk在向量场中与其对应的向量Pi和Pk计算出权重均一化比例因子；
S35、对步骤S34得到的集合H中向量夹角为π的两个点构成的点对连线的中点坐标进行计算然后根据中点坐标和步骤S33得到的权重均一化比例因子，计算得到集合H的中点，即得到条带状图样的中线。
优选的，步骤S34中，所述权重均一化比例因子的计算公式如下：
式中，Pi和Pk分别为Hi和Hk在向量场中对应的向量。
优选的，步骤S35中，所述集合H的中点的计算公式如下：
式中，Hi和Hk为集合H中向量夹角为π的两个点，Usf为重均一化比例因子，Pi和Pk分别为Hi和Hk在向量场中对应的向量。
本发明与现有技术相比，其有益效果在于：
本发明提供的基于线结构激光的深度相机***，通过将结构光与双目立体视觉技术相结合，解决了传统双目立体视觉方案的固有缺陷，且通过理论分析和测试，验证了本发明***确实提高了传统双目立体视觉方案的视差精度、降低了软件算法的复杂度，因此具有较高的研究价值。
附图说明
图1为本发明实施例提供的基于线结构激光的深度相机***中的相机模块、标记模块和上位机的结构示意图；
图2为本发明实施例提供的基于线结构激光的深度相机***中的相机标定模块、处理模块、三维重建模块的结构示意图；
图3为本发明实施例中的标记模块与相机的设置结构示意图；
图4为本发明实施例中的相机传回的图像数据转换成的条带状图样亮度高程图；
图5为条带状图样的中线直接和输入图像融合输出对比图；
其中，图5(a)为条带状图样原图；图5(b)为条带状图样概率密度计算结果图；图5(c)为条带状图样的中线位置图；
图6为本发明实施例中不同距离的目标场景视差图和实际拍摄到的图像对比图；
其中，图6(a)为实际拍摄到的图像；图6(b)为远距离目标场景视差图；图6(c)为近距离目标场景视差图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
实施例1
如图1和图2所示，本发明实施例提供了一种基于线结构激光的深度相机***，具体包括目标场景捕获模块、标记模块、相机标定模块、处理模块、三维重建模块和上位机；
目标场景捕获模块(相机模块)包含两个相机，两个相机具体采用全局快门相机，用于控制和配置图像传感元件的参数，接收到上位机发出的信号后捕获目标场景的图像，并向上位机传输数字图像数据；
标记模块用于向目标场景反射线结构激光，实现对反射的线结构激光的角度估计，并对合适捕获场景的时间区间进行计算；
本发明实施例中的标记模块具体包含激光器、无刷电机、反光镜片、霍尔元件和控制器；
所述激光器用于发射线结构激光，激光器具体为红外激光器；
所述无刷电机用于搭载反光镜片并带动反光镜片旋转；
所述反光镜片用于向目标场景反射激光器发射的线结构激光；
所述霍尔元件用于记录无刷电机经过某一特定位置的时间，实现对反射的线结构激光的角度估计，能够减少由于目标场景捕获模块在死区时间内捕获场景图像，导致未能在场景中捕获到正确的条状标记图样，进而导致软件算法恢复错误的场景三维结构这种情况出现的概率，并将获得的脉冲信号发送至控制器中；
控制器具体采用FPGA，在FPGA中构建硬件电路实现对霍尔元件发出的脉冲信号进行滤波，并精确地计算触发周期。控制器，控制器包含硬件滤波器，硬件滤波器用于对霍尔元件发出的脉冲信号进行滤波，控制器也负责标记模块的电源控制，在暂时不需要运行的时间段内关闭标记模块以降低***能耗。
相机标定模块用于对目标场景捕获模块的相机进行标定，构建准确的双视图几何模型；
处理模块用于在标记模块计算得到的合适捕获场景的时间区间内启动目标场景捕获模块，并对目标场景捕获模块中的两相机捕获到的包含条带状图样标识的不同视点的图像进行处理并计算出视差，最后根据双视图几何模型以及单目标定过程中计算出的焦距、主点位置参数恢复场景标识附近的三维结构数据，并发送到三维重建模块；
三维重建模块用于调整目标场景捕获模块中捕获的条带状标识的图像在场景中的位置，并重复累计处理模块得到的三维结构数据，然后计算得到三维结构信息，实现对场景的扫描重建；
上位机，用于向目标场景捕获模块发出捕获目标场景图像的信号，并用于接收目标场景捕获模块传输的数字图像数据。
目前使用双目模型构建深度相机，需要使用软件算法计算视差；计算视差的算法需要图像具有明显的特征，这意味着在光照条件不足、特征不明显的场景以及重复纹理等目标场景中，计算视差的算法的准确度会受到极大的影响。为了减少特殊的场景对视差计算精度的影响并降低算法的时间复杂度，本发明实施例对传统的双目模型进行改进，在传统双目模型中引入线结构激光主动对场景进行周期性的扫描，相机捕获激光照射在场景表面产生的明亮的条纹，软件算法对不同视图中出现的明亮条纹进行配对生成视差点对，恢复明亮条纹处的三维结构。
本发明实施例提供的***通过引入线结构激光主动在场景中提供明显的标识(明亮的条纹)，如图3所示，反射镜搭载于旋转平台，将线结构激光束反射向目标场景以实现对场景周期性标记扫描。
本发明实施例提供的基于线结构激光的深度相机***中的标记模块可以设置在任意位置(原则上不遮挡相机对目标场景的捕获即可，图3中标记模块设置在基线中点附近的位置)；标记模块的位置并不会对视差的计算造成较大的影响，标记模块也不会影响双视图模型原本的几何约束，故也不会参与三维信息的恢复计算；标记模块仅负责对目标场景投射标记并使标记在目标场景中处于不断移动的扫描状态；这个过程会非常的迅速，导致在相机捕获目标场景的期间标记就移动(线结构激光的反射镜转动了一定的角度)了一段距离(如图3所示)，导致相机捕获到的视图中的标记移动了一定距离并形成了条带状图样。通过提取条带状图样的位置并计算视差，本发明可以精确的还原目标场景的三维结构。因此，能够减少传统视差计算算法对场景的依赖，通过约束配对范围、增强特征的方法降低了算法的时间复杂度并且提高了***的精度。
实施例2
本发明实施例还提供了一种基于上述线结构激光的深度相机***的三维场景重建方法，具体包括以下步骤：
S1、利用线结构激光主动对目标场景进行周期性的扫描，线结构激光照射在目标场景表面产生明亮的条纹；
S2、利用两个视点不同的相机对步骤S1中的目标场景上产生的明亮的条纹进行捕获，得到含有条带状图样标识的两个不同视点的图像；
S3、分别对步骤S2得到的两个不同视点的图像上的条带状图样进行提取，得到两个条带状图样的中线，具体包含以下步骤：
S31、给定D维空间中点集对于点集P中任意一点X来说，该点上的漂移向量的基本形式为：
式中：MX是均值漂移算法求得的D维向量(漂移向量)，指向在点X周围以及点集P密度最大的区域；R是一个非空点集，表示是以任一点X为球心，半径为d的一个范围(||xi-X||＜d)内的所有点的集合，在该范围内的点参与漂移向量的累加计算；K表示在点集R内的点的个数。
通过上式可以得到：在区域R内的所有点对漂移向量MX的贡献-权重是相等的，影响漂移向量的变化量只与点集中的点与中心点的距离和某个方向点的个数(邻域内点的密度)有关。由于相机捕获到的场景图像具有点集位置矩阵化、各点具有权重差异并且离散化(图像像素的亮度差异)等特点，本发明需要将原本均值漂移算法中点与点之间的欧式距离对漂移向量贡献修改为点与点的亮度差异对漂移向量的贡献。
条带状图样具有边缘模糊的特征；图像边缘是局部特征，图像边缘强度和该边缘邻域亮度空间分布、亮度极差有关。由于邻域内所有的点权重是相等的，但权重相等的平滑运算会使得离算子中心很远的像素点仍然有较大的贡献量，导致本是局部特征的图像边缘失真。为了解决这个问题，本发明在中心点领域设置权重掩模，邻域内的点对漂移向量的贡献随着该点与中心点的距离递减。由于线结构激光的光源是高斯光源，条带状图样的边缘亮度的分布同样服从高斯分布，故本发明实施例在算法中使用径向基函数核(以下简称高斯核)构造权重掩模。
极线约束校正后的图像将可能匹配点对校正在同一行(纵坐标相等)，本发明将算法限定在一维(限制纵坐标相等，不考虑其他行)，在图像中的每一行单独计算漂移向量。
综合以上因素，本发明对上面漂移向量的计算公式进行修正：对于以点X为中心，与点X的欧式距离小于等于d范围内所有的像素集合Q，中心点X处的漂移向量MX表示为：
其中，BX指的是中心点像素的亮度，K表示该点集Q中元素数量；
其中，Xi是像素点的距离，X是样本，σ为标准方差。
由于上面两个公式构造的算法计算得到的只是关于条带状图样边缘强度分布的信息，本发明需要求边缘强度的一阶导数以获得关于条带状图样边缘强度的方向分布，对上面两个公式求一阶导数：
S32、结合上面两个一阶导数的公式构造滤波器(高通滤波器)，在固定宽度的窗口进行滤波，以每个像素作为窗口中心对相机捕获到的图像进行处理。处理阶段得到了一个关于条带状图样位置的估计与边缘强度分布的、离散的一维离散向量场(以下简称向量场)，这个向量场具有方向性(总指向领域中亮度最大的区域)、边缘性(漂移向量在条带状图样的边缘取得较大值，在条带状图样的内部或者没有条带出现较暗的区域取得较小值)和离散型(由于像素阵列本身就是离散分布的)等特性。
S33、由于该向量场具有边缘性，本发明将向量场中每个离散点处的向量根据其模长进行排序，并筛选出序列前N向量对应的离散点构成集合H。
S34、根据步骤S33得到的集合H中的任意一点Hi、Hk在向量场中与其对应的向量Pi和Pk计算出权重均一化比例因子，计算公式如下：
式中，Pi和Pk分别为Hi和Hk在向量场中对应的向量。
S35、对步骤S34得到的集合H中向量夹角为π的两个点构成的点对连线的中点坐标进行计算然后根据中点坐标和步骤S33得到的权重均一化比例因子，计算得到集合H的中点，即得到条带状图样的中线，计算公式如下：
其中，Hi和Hk为集合H中向量夹角为π的两个点，Usf为重均一化比例因子，Pi和Pk分别为Hi和Hk在向量场中对应的向量。
根据公式(7)计算出权重均一化比例因子，再使用公式(8)计算满足对应向量的夹角为π的点对连线的中点坐标乘以点对权重乘积线性均一化后求和，计算得到集合H的中点作为条带状图样的中线。
S4、然后根据步骤S3得到的两个条带状图样的中线，结合立体匹配原理，得到视差图；
S5、根据双视图几何模型对步骤S4得到的视差图进行三维重构，恢复得到目标场景标识附近的三维结构数据；
S6、通过控制每帧间隔调整条带状图样出现在目标场景中的位置，逐次扫描累积步骤S5得到的三维结构数据，直至得到整个目标场景的三维结构数据，最终实现目标场景三维结构的重建。
一、对本发明实施例提供的条带状图样中线提取算法进行测试
为了减少目标场景干扰条带状图样的识别，本发明在黑暗的环境进行条带状图样中线提取算法的测试；黑暗的环境使得相机捕获到的图像条带状图样部分亮度较高。
图4为相机传回的图像数据通过软件3D化后转换成亮度高程图，通过图4可以明显的发现图像数据包含大量噪点，条带状图样由于激光发射器的透镜质量缘故导致光线亮度没有均匀的散布，实际的测试结果满足对条带状图样的特点的亮度分布的预测。
调试状态下将计算得到的条带状图样的中线直接和输入图像融合输出，如图5所示。通过图5可以看出，在没有对图像进行滤波的情况下，条带状图样中线提取算法较为准确的计算出了中线位置，并且对图像中出现的随机噪声具有抑制效果。通过OpenMP加速计算，处理640X480分辨率的图像耗时12ms，计算复杂度有显著降低；条带状图样中线提取算法的设计基本符合目标。
二、三维结构重建精度测试
由于条带状图样每帧只能还原条带状图样附近目标场景的三维结构，所以本发明将通过控制每帧间隔调整条带状图样出现在目标场景中的位置，逐次扫描累积还原整个场景的三维结构。本发明使用实验装置进行测试，目标场景为实验平台，设定有效视差面积阈值为70％，线性插值得到视差图像，通过软件算法处理并叠加重建结果得到不同距离的目标场景视差图和实际拍摄到的图像如图6所示。
根据测量到的原始视差图像进行采样，计算目标物体的距离，具体通过计算移动后的目标物体的位移作为实验装置精度的分析标准，实验数据记录如下表1所示。
表1实验数据记录表
通过表1的采集到的原始数据分析计算我们发现，随着距离的增加，测量位移的标准差呈增大的趋势，说明随着距离的增加深度计算的精准度逐渐下降，采集到的深度数据逐渐的分散，符合双目结构的特点。
综上所述，本发明实施例提供的基于线结构激光的深度相机***，通过将结构光与双目立体视觉技术相结合，解决了传统双目立体视觉方案的固有缺陷，且通过理论分析和测试，验证了本发明***确实提高了传统双目立体视觉方案的视差精度、降低了软件算法的复杂度，因此具有较高的研究价值。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
Claims (7)
1.一种基于线结构激光的深度相机***，其特征在于，包括目标场景捕获模块、标记模块、相机标定模块、处理模块、三维重建模块和上位机；
所述目标场景捕获模块包含两个相机，用于控制和配置图像传感元件的参数，接收到上位机发出的信号后捕获目标场景的图像，并向上位机传输数字图像数据；
所述标记模块用于向目标场景反射线结构激光，实现对反射的线结构激光的角度估计，并对合适捕获场景的时间区间进行计算；
所述相机标定模块用于对目标场景捕获模块的相机进行标定，构建准确的双视图几何模型；
所述处理模块用于在标记模块计算得到的合适捕获场景的时间区间内启动目标场景捕获模块，并对目标场景捕获模块中的两相机捕获到的包含条带状图样标识的不同视点的图像进行处理并计算出视差，最后根据双视图几何模型以及单目标定过程中计算出的焦距、主点位置参数恢复场景标识附近的三维结构数据，并发送到三维重建模块；
所述三维重建模块用于调整目标场景捕获模块中捕获的条带状标识的图像在场景中的位置，并重复累计处理模块得到的三维结构数据，然后计算得到三维结构信息，实现对场景的扫描重建；
所述上位机，用于向目标场景捕获模块发出捕获目标场景图像的信号，并用于接收目标场景捕获模块传输的数字图像数据。
2.如权利要求1所述的基于线结构激光的深度相机***，其特征在于，所述标记模块包含激光器、无刷电机、反光镜片、霍尔元件和控制器；
所述激光器用于发射线结构激光；
所述无刷电机用于搭载反光镜片并带动反光镜片旋转；
所述反光镜片用于向目标场景反射激光器发射的线结构激光；
所述霍尔元件用于记录无刷电机经过某一特定位置的时间，实现对反射的线结构激光的角度估计，并将获得的脉冲信号发送至控制器中；
所述控制器用于对霍尔元件发出的脉冲信号进行滤波，并计算触发周期。
3.如权利要求2所述的基于线结构激光的深度相机***，其特征在于，所述控制器为FPGA，控制器包含硬件滤波器，硬件滤波器用于对霍尔元件发出的脉冲信号进行滤波。
4.一种如权利要求1-3任一项所述的基于线结构激光的深度相机***的三维场景重建方法，其特征在于，包括以下步骤：
S1、利用线结构激光主动对目标场景进行周期性的扫描，线结构激光照射在目标场景表面产生明亮的条纹；
S2、利用两个视点不同的相机对步骤S1中的目标场景上产生的明亮的条纹进行捕获，得到含有条带状图样标识的两个不同视点的图像；
S3、分别对步骤S2得到的两个不同视点的图像上的条带状图样进行提取，得到两个条带状图样的中线；
S4、然后根据步骤S3得到的两个条带状图样的中线计算视差，得到视差图；
S5、根据双视图几何模型对步骤S4得到的视差图进行三维重构，恢复得到目标场景标识附近的三维结构数据；
S6、通过控制每帧间隔调整条带状图样出现在目标场景中的位置，逐次扫描累积步骤S5得到的三维结构数据，直至得到整个目标场景的三维结构数据，最终实现目标场景三维结构的重建。
5.如权利要求4所述的三维场景重建方法，其特征在于，步骤S3的条带状图样的中线提取通过以下方法得到：
S31、在条带状图样的中心点领域设置权重掩模，计算得到条带状图样边缘强度分布的信息；
S32、根据步骤S31得到的条带状图样边缘强度分布的信息，在固定宽度的窗口进行滤波，以每个像素作为窗口中心对相机捕获到的图像进行处理，得到离散的向量场；
S33、将步骤S32得到的向量场中每个离散点处的向量根据其模长进行排序，并筛选出序列前N向量对应的离散点构成集合H；
S34、根据步骤S33得到的集合H中的任意一点Hi、Hk在向量场中与其对应的向量Pi和Pk计算出权重均一化比例因子；
S35、对步骤S34得到的集合H中向量夹角为π的两个点Hi和Hk构成的点对连线的中点坐标进行计算，然后根据中点坐标和步骤S33得到的权重均一化比例因子，计算得到集合H的中点，即得到条带状图样的中线。
6.如权利要求5所述的三维场景重建方法，其特征在于，步骤S34中，所述权重均一化比例因子的计算公式如下：
式中，Pi和Pk分别为Hi和Hk在向量场中对应的向量。
7.如权利要求5所述的三维场景重建方法，其特征在于，步骤S35中，所述集合H的中点的计算公式如下：
式中，Hi和Hk为集合H中向量夹角为π的两个点，Usf为重均一化比例因子，Pi和Pk分别为Hi和Hk在向量场中对应的向量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311624282.8A CN117765053A (zh) | 2023-11-30 | 2023-11-30 | 一种基于线结构激光的深度相机***及三维场景重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311624282.8A CN117765053A (zh) | 2023-11-30 | 2023-11-30 | 一种基于线结构激光的深度相机***及三维场景重建方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117765053A true CN117765053A (zh) | 2024-03-26 |
Family
ID=90311382
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311624282.8A Pending CN117765053A (zh) | 2023-11-30 | 2023-11-30 | 一种基于线结构激光的深度相机***及三维场景重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117765053A (zh) |
-
2023
- 2023-11-30 CN CN202311624282.8A patent/CN117765053A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105894499B (zh) | 一种基于双目视觉的空间物体三维信息快速检测方法 | |
| US6754370B1 (en) | Real-time structured light range scanning of moving scenes | |
| GB2593960A (en) | 3-D imaging apparatus and method for dynamically and finely detecting small underwater objects | |
| US7139424B2 (en) | Stereoscopic image characteristics examination system | |
| US9886759B2 (en) | Method and system for three-dimensional data acquisition | |
| CN112161619B (zh) | 位姿检测方法、三维扫描路径规划方法和检测*** | |
| CN107578464A (zh) | 一种基于线激光扫描的传送带工件三维轮廓测量方法 | |
| García-Moreno et al. | LIDAR and panoramic camera extrinsic calibration approach using a pattern plane | |
| CN107860337B (zh) | 基于阵列相机的结构光三维重建方法与装置 | |
| CN112525107B (zh) | 一种基于事件相机的结构光三维测量方法 | |
| CN112116576A (zh) | 基于偏振结构光成像和改进Mask R-CNN的缺陷检测方法 | |
| CN111028295A (zh) | 一种基于编码结构光和双目的3d成像方法 | |
| CN110966956A (zh) | 一种基于双目视觉的三维检测装置和方法 | |
| CN113324478A (zh) | 一种线结构光的中心提取方法及锻件三维测量方法 | |
| CN111637834A (zh) | 一种三维数据测量装置及方法 | |
| CN102567991B (zh) | 一种基于同心圆合成图像匹配的双目视觉标定方法和*** | |
| CN102997891A (zh) | 场景深度的测量装置和方法 | |
| Furukawa et al. | One-shot entire shape acquisition method using multiple projectors and cameras | |
| CN109493418B (zh) | 一种基于LabVIEW的三维点云获取方法 | |
| CN107564051B (zh) | 一种深度信息采集方法及*** | |
| CN116625258A (zh) | 链条间距测量***及链条间距测量方法 | |
| CN110310371B (zh) | 一种基于车载单目聚焦序列图像构建对象三维轮廓的方法 | |
| JP2004069583A (ja) | 画像処理装置 | |
| CN110686598B (zh) | 一种双线阵结构光三维测量***及其测量方法 | |
| Hongsheng et al. | Three-dimensional reconstruction of complex spatial surface based on line structured light |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |