CN115294313A - 基于3d-2d多模态融合的密集真彩点云数据采集方法及装置 - Google Patents
基于3d-2d多模态融合的密集真彩点云数据采集方法及装置 Download PDFInfo
- Publication number
- CN115294313A CN115294313A CN202210869098.9A CN202210869098A CN115294313A CN 115294313 A CN115294313 A CN 115294313A CN 202210869098 A CN202210869098 A CN 202210869098A CN 115294313 A CN115294313 A CN 115294313A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- radar
- dense
- cloud data
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000004927 fusion Effects 0.000 title claims abstract description 24
- 238000009616 inductively coupled plasma Methods 0.000 claims abstract description 19
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 16
- 238000004040 coloring Methods 0.000 claims abstract description 7
- 238000001514 detection method Methods 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims description 45
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 6
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims description 2
- 230000001131 transforming effect Effects 0.000 claims description 2
- 238000013480 data collection Methods 0.000 claims 5
- 238000010586 diagram Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本发明提供了基于3D‑2D多模态融合的密集真彩点云数据采集方法及装置，属于激光雷达、三维点云、三维重建技术领域；所要解决的技术问题为：提供基于3D‑2D多模态融合的密集真彩点云数据采集方法的改进；解决上述技术问题采用的技术方案为：S1：初始化***：对相机内参、外参进行标定，同步电机与雷达的时间，获取雷达到探测目标的平均距离；S2：通过电机驱动雷达旋转采集点云数据；S3：利用改进的ICP算法将获取到的两帧点云进行配准并序列化储存，并继续采集点云数据至点云足够密集，S4：裁剪配准结果；S5：结合相机获取到的RGB信息，将配准裁剪完成的点云着色；本发明应用于激光雷达。
Description
技术领域
本发明提供了一种基于3D-2D多模态融合的密集真彩点云数据采集方法及装置，属于激光雷达、三维点云、三维重建技术领域。
背景技术
点云即点的集合，是特定坐标系下点的数据集。一般情况下，其中每个点会包含三维坐标XYZ、RGB颜色等基本信息。点云提供了深度信息，获取点云是三维重建的第一步。
为了获取点云，通常采用激光雷达采集。激光雷达的工作原理是通过一列激光发射、接收模块的旋转、计算激光飞行时间来获取深度信息；目前主流分辨率有32线、64线、128线，即一列有该数额的激光发射和接收点。实际操作的过程中发现激光获取到的特定区域的点云较为稀疏，尤其随着距离的增加，点云的密集程度会线性下降，这对于高精度建模的要求是不够的。并且传统的激光雷达无法获取周围环境的真彩信息，这就导致获取到的点云缺失了RGB颜色信息。
随着深度学习的发展，又出现了一种单目深度估计获取点云密度的方法。这种方法利用激光雷达获取的数据集进行训练，可以用一张照片大致估测深度信息，并对点赋予色彩值。但是这种方法不仅获取到的结果精确度不高，针对不同场景也需要大量的数据集做训练支撑。
此外，还出现了双目识别、flash固态激光雷达等获取点云的工具。其中，双目深度相机存在着对光照环境极为敏感、计算复杂度高等问题，并且其探测距离与相机基线(两摄像头之间的距离)有很大关系，探测精度依赖算法优化。而固态激光雷达舍弃了旋转部件，通过投射出点云方阵来获取深度信息；但固态激光雷达投射点云分辨率固定，其点云密度随距离增加也会线性下降，并且仅凭激光雷达仍然无法获取到色彩信息。
为了解决上述问题，本发明提出了一种基于3D-2D多模态融合的密集真彩点云数据采集方法，将激光雷达和相机获取的数据融合，降低了密集点云对激光雷达性能的依赖，能够获取到较为准确的包含RGB和深度信息的密集点云。
发明内容
本发明为了克服现有技术中存在的不足，所要解决的技术问题为：提供一种基于3D-2D多模态融合的密集真彩点云数据采集方法的改进。
为了解决上述技术问题，本发明采用的技术方案为：基于3D-2D多模态融合的密集真彩点云数据采集方法，包括如下步骤：
S1：初始化***：对相机内参、外参进行标定，同步电机与雷达的时间，获取雷达到探测目标的平均距离；
S2：通过电机驱动雷达旋转采集点云数据；
S3：利用改进的ICP算法将获取到的两帧点云进行配准并序列化储存，并继续采集点云数据至点云足够密集，其步骤包括：
S3.1：旋转S2获取的一帧点云的角度，得到预处理后的当前帧的点云，记为qi；
S3.2：将下一帧点云旋转获取得到下一帧点云的角度，得到预处理后的下一帧的点云，记为pi，将预处理后的下一帧的点云与S3.1处理后的当前帧的点云重合，得到粗配准的点云；
S3.3：利用ICP算法，精细配准两点云，并将配准结果存储；
S3.4：将S3.3配准的结果覆盖S3.1预处理后的点云，并进行存储，重复S2～S3.3，获取并匹配其余的点云；
S4：裁剪配准结果；
S5：结合相机获取到的RGB信息，将配准裁剪完成的点云着色。
所述步骤S1具体包括：
S1.1：基于张定友标定法对相机进行标定，获取到相机内参矩阵；再将相机与雷达联合标定，获取到相机的外参矩阵；
S1.2：将电机与雷达进行时间同步：***启动后，雷达将PPS信号与时间戳信息间隔地发送给电机，电机通过两个信息与雷达进行时间同步；
S1.3：通过截取10°俯仰角范围内的点云获取雷达到探测目标的平均距离D。
所述步骤S2中电机驱动雷达旋转采集点云数据的步骤如下：
定义激光雷达内部扫描时旋转轴为Z轴，并采用右手直角坐标系；
设激光雷达内部绕Z轴旋转速度为ωz，则每经过t＝2π/ωz后，获取一帧的雷达位置和记录的信息，序列化储存；
电机旋转带动雷达绕x轴旋转的过程中，将会多次采集雷达帧数据进行旋转叠加，中心区域会形成重叠区域，若设雷达上下视场是对称的，视角为θ(弧度制)；
定义雷达垂直分辨率为P，设激光雷达的水平分辨率为N，雷达自转一周可以获取到NP个点，那么每一帧获取到的点的数量为：
所述步骤S3.3中采用的ICP算法的具体步骤如下：
S3.3.1：计算两片点云qi和pi的质心，得到平移向量t；
S3.3.2：将pi移动S3.3.1所述平移向量t，将其结果和qi分别记作记作X、Y；
S3.3.3：设权重矩阵
X＝x1 … xn；
W是指点云中每个点被分配到的权重，x1～xn为点云pi中每个点的三维坐标，y1～yn为点云qi中每个点的三维坐标，设S＝XWYT，对S进行奇异值分解，变换S得到S＝U∑VT，其中U是正交矩阵，∑是对角矩阵，VT是正交矩阵；
S3.3.4：计算得出旋转矩阵R＝VUT；
S3.3.5：设旋转后的点云为pi′，原始点云为pi，由pi′＝Rpi+t，得到变换后的点云pi′，读取待匹配的点云qi，计算误差
若不满足阈值则重复S3.3.1到S3.3.4步，直至误差满足要求。
所述步骤S4中裁剪的步骤如下：
S4.1：首先读取步骤S1.3中所述平均距离D；已知雷达上下视角为θ，所以得出R＝Dtanθ/2，R是最终获得的匹配后的点云的半径；
S4.2：通过计算原始点云与旋转中心的距离，将距离大于R的点云剔除，最终得到裁剪完成的点云。
所述步骤S5中将配准裁剪完成的点云着色的步骤如下：
S5.1：由外参矩阵乘内参矩阵，获得真实世界坐标到像素坐标的转换矩阵trans；
S5.2：依据点云坐标生成一个颜色列矩阵color；
S5.3：将颜色列矩阵转换为颜色面矩阵，给点云colors属性赋值，得到包含真彩信息的密集点云。
所述步骤S5.2的具体步骤如下：
S5.2.1：从点云中按照顺序取一个点，利用转换矩阵trans将其转换到像素坐标；
S5.2.2：匹配相同位置像素点的RGB信息，若超出图片范围则赋指定值，若在范围之内则赋RGB值；赋值完成后序列化存储此处的RGB信息；
S5.2.3：重复S5.2.1～S5.2.2，直到匹配完所有点云。
基于3D-2D多模态融合的密集真彩点云数据采集装置，包括电机、摄像头、雷达、支撑框架，所述支撑框架上方固定有电机，电机上连接有雷达，所述支撑框架的下方设置有摄像头，所述支撑框架上还固定有控制器，所述控制器内部安装有基于3D-2D多模态融合的密集真彩点云数据采集方法的计算机程序。
本发明公开了一种基于3D-2D多模态融合的密集真彩点云数据采集方法，利用电机带动激光雷达旋转重叠获取指定区域的密集点云；公开的方法能够降低获取密集点云对激光雷达性能的依赖，简化了密集点云数据采集的步骤，实现了实用化要求。
相比于目前主流的简单激光雷达、双目识别等单一模态采集点云的方式，本发明的优势主要体现在以下三个方面：
(1)在激光雷达分辨率较低的情况下依然能够获得密集点云。本方法可以降低密集点云数据采集对激光雷达的要求，其点云密度取决于扫描次数。在观测距离为10米的情况下，若采用64线、水平分辨率为1024的激光雷达，那么每一帧获取到的点数量为3205；若雷达扫描频率为10Hz，那么电机旋转一圈即可获取到32050个有效点，点云密度可达2578个/平方米；而相同硬件条件下，传统的点云数据采集方式仅能获取到3205个有效点，点云密度约为258个/平方米。
(2)采用多模态融合，能获取真彩点云。将获取到的RGB信息赋值于相应的点就能输出直观的真彩点云。
(3)相较于双目深度估计等视觉方法，精度更高。传统的双目深度存在***误差和随机误差；其误差需要依靠算法消除，对算法依赖较高；并且双目识别对光线、纹理要求较高。本发明所采用的激光雷达***误差很低，随机误差可以通过多次叠加消除；在光学环境复杂的场所仍能保持很好的精度。
附图说明
下面结合附图对本发明做进一步说明：
图1为本发明的方法流程图；
图2为本发明通过截取10°俯仰角范围内的点云获取雷达到探测目标的平均距离的计算示意图；
图3为本发明电机驱动雷达旋转采集点云数据的示意图；
图4为本发明采用的装置结构示意图；
图5为采用本发明的方法获取的点云数据的示意图；
图6为采用传统方法获取的点云数据的示意图；
图中：1为电机、2为雷达、3为摄像头、4为支撑框架、5为控制器。
具体实施方式
如图1-6所示，本发明提出了一种基于3D-2D多模态融合的密集真彩点云数据采集方法，其实现流程如图1所示，采集装置的结构示意图如图4所示。本发明利用电机1驱动激光雷达2旋转重复获取指定区域深度信息，并采用改进的ICP算法融合各个帧，最后利用RGB相机获取到的RGB信息对点云进行着色，从而获取到指定区域的密集真彩点云。实验结果表明：采用本方法可以获取包含真彩信息的密集点云，其深度信息准确性较高；本发明提出的方法对激光雷达分辨率的依赖较低，为三维重建提供了准确的原始数据，具有较好的应用前景。
为了实现上述目的，本发明的核心技术方案是：一种基于3D-2D多模态融合的密集真彩点云数据采集方法，核心步骤如下：
S1：初始化***。具体步骤如下：
S1.1基于张定友标定法对相机进行标定，获取到相机内参矩阵；再将相机与雷达联合标定，获取到相机的外参矩阵。
S1.2将电机与雷达进行时间同步：***启动后，雷达将PPS信号与时间戳信息间隔地发送给电机，电机通过两个信息与雷达进行时间同步；
S1.3通过截取10°俯仰角范围内的点云获取雷达到探测目标的平均距离D，如图2所示。
S2：电机驱动雷达旋转采集点云：
定义激光雷达内部扫描时旋转轴为Z轴，并采用右手直角坐标系；设激光雷达内部绕Z轴旋转速度为ωz，则每经过t＝2π/ωz后，获取一帧的雷达位置和记录的信息，序列化储存。
电机驱动雷达在绕x轴旋转的过程中，将会多次采集雷达帧数据进行旋转叠加，中心区域会形成重叠区域，如图3所示。
若设雷达上下视场是对称的，视角为θ(弧度制)；定义雷达垂直分辨率为P，即为P线雷达。设激光雷达的水平分辨率为N，即雷达自转一周可以获取到NP个点；那么每一帧获取到的点的数量为：
S3：利用改进的ICP算法将获取到的两帧点云进行配准并序列化储存，并继续采集点云至点云足够密集。其步骤包括：
S3.1将S2获取的一帧点云旋转其记录的角度，得到预处理后的点云，记为qi；
S3.2将获取的下一帧点云旋转其记录的角度，记为pi。将其与qi重合，得到粗配准的点云。这样能够防止ICP算法在大角度匹配时陷入局部最优。
S3.3利用ICP算法，精细配准两点云，并将配准结果存储；ICP算法的步骤如下：
S3.3.1计算qi和pi的质心，计算得到平移向量t；
S3.3.2将pi移动S3.3.1所述平移向量t，将其结果和qi分别记作记作X、Y；
S3.3.3设权重矩阵
权重矩阵指点云中每个点被分配到的权重，本例中W可以为单位矩阵。设X＝x1 … xn；
其中x1～xn为点云pi中每个点的三维坐标，y1～yn为点云qi中每个点的三维坐标；那么S＝XWYT，对S进行奇异值分解，得到S＝U∑VT，其中U是正交矩阵，∑是对角矩阵，VT是正交矩阵；
S3.3.4计算得出旋转矩阵R＝VUT。
S3.3.5设旋转后的点云为pi′，原始点云为pi，由pi′＝Rpi+t，得到变换后的点云pi′，读取待匹配的点云qi，计算误差
若不满足阈值则重复S3.3.1到S3.3.4步，直至误差满足要求。
S3.4将配准的结果覆盖S3.1所述的点云，进行存储，重复S2～S3.3，获取并匹配其余的点云。
S4裁剪配准结果：
雷达在绕x轴旋转的过程中，将会多次采集雷达帧数据进行叠加，中心区域会形成重叠区域，因此对于最终结果只需保留中间圆形区域即可。裁剪算法步骤如下：
S4.1首先读取步骤S1.3中所述平均距离D；已知雷达上下视角为θ，所以得出R＝Dtanθ/2，R是最终获得的匹配后的点云的半径；
S4.2通过计算点云与旋转中心的距离，将距离大于R的点云剔除，最终得到裁剪完成的点云。
S5结合相机获取到的RGB信息，将配准裁剪完成的点云着色：
S5.1由外参矩阵乘内参矩阵，获得真实世界坐标到像素坐标的转换矩阵trans；
S5.2依据点云坐标生成一个颜色列矩阵color；其具体步骤如下：
S5.2.1从点云中按照顺序取一个点，利用转换矩阵trans将其转换到像素坐标；
S5.2.2匹配相同位置像素点的RGB信息，若超出图片范围就赋指定值，若在范围之内就赋RGB值；赋值完成后序列化存储此处的RGB信息；
S5.2.3重复S5.2.1～S5.2.2步，直到匹配完所有点云；
S5.3将颜色列矩阵转换为颜色面矩阵，给点云colors属性赋值，得到包含真彩信息的密集点云。
本方法可以在硬件设备相同的条件下获取到更加密集的真彩点云；其点云密度取决于扫描次数。若采用64线、水平分辨率为1024的激光雷达，那么每一帧理论可以获取到的点数量为3205；若雷达扫描频率为10Hz，那么电机旋转一周即可获取到32050个有效点。如图示，图5为采用64线、视角为45°，水平分辨率为1024的激光雷达，扫描4帧获得的真彩雷达点云图(未裁剪)，其点密度约为22659点/平方米；而图6为相同硬件条件下传统方法的扫描效果。本方法可以在不苛求雷达性能的情况下获得密集准确的点云信息，且点云密度可以随着扫描次数的增加而继续增加。
关于本发明具体结构需要说明的是，本发明采用的各部件模块相互之间的连接关系是确定的、可实现的，除实施例中特殊说明的以外，其特定的连接关系可以带来相应的技术效果，并基于不依赖相应软件程序执行的前提下，解决本发明提出的技术问题，本发明中出现的部件、模块、具体元器件的型号、连接方式除具体说明的以外，均属于本领域技术人员在申请日前可以获取到的已公开专利、已公开的期刊论文、或公知常识等现有技术，无需赘述，使得本案提供的技术方案是清楚、完整、可实现的，并能根据该技术手段重现或获得相应的实体产品。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (8)
1.基于3D-2D多模态融合的密集真彩点云数据采集方法，其特征在于：包括如下步骤：
S1：初始化***：对相机内参、外参进行标定，同步电机与雷达的时间，获取雷达到探测目标的平均距离；
S2：通过电机驱动雷达旋转采集点云数据；
S3：利用改进的ICP算法将获取到的两帧点云进行配准并序列化储存，并继续采集点云数据至点云足够密集，其步骤包括：
S3.1：旋转S2获取的一帧点云的角度，得到预处理后的当前帧的点云，记为qi；
S3.2：将下一帧点云旋转获取得到下一帧点云的角度，得到预处理后的下一帧的点云，记为pi，将预处理后的下一帧的点云与S3.1处理后的当前帧的点云重合，得到粗配准的点云；
S3.3：利用ICP算法，精细配准两点云，并将配准结果存储；
S3.4：将S3.3配准的结果覆盖S3.1预处理后的点云，并进行存储，重复S2～S3.3，获取并匹配其余的点云；
S4：裁剪配准结果；
S5：结合相机获取到的RGB信息，将配准裁剪完成的点云着色。
2.根据权利要求1所述的基于3D-2D多模态融合的密集真彩点云数据采集方法，其特征在于：所述步骤S1具体包括：
S1.1：基于张定友标定法对相机进行标定，获取到相机内参矩阵；再将相机与雷达联合标定，获取到相机的外参矩阵；
S1.2：将电机与雷达进行时间同步：***启动后，雷达将PPS信号与时间戳信息间隔地发送给电机，电机通过两个信息与雷达进行时间同步；
S1.3：通过截取10°俯仰角范围内的点云获取雷达到探测目标的平均距离D。
3.根据权利要求2所述的基于3D-2D多模态融合的密集真彩点云数据采集方法，其特征在于：所述步骤S2中电机驱动雷达旋转采集点云数据的步骤如下：
定义激光雷达内部扫描时旋转轴为Z轴，并采用右手直角坐标系；
设激光雷达内部绕Z轴旋转速度为ωz，则每经过t＝2π/ωz后，获取一帧的雷达位置和记录的信息，序列化储存；
电机旋转带动雷达绕x轴旋转的过程中，将会多次采集雷达帧数据进行旋转叠加，中心区域会形成重叠区域，若设雷达上下视场是对称的，视角为θ(弧度制)；
定义雷达垂直分辨率为P，设激光雷达的水平分辨率为N，雷达自转一周可以获取到NP个点，那么每一帧获取到的点的数量为：
4.根据权利要求3所述的基于3D-2D多模态融合的密集真彩点云数据采集方法，其特征在于：所述步骤S3.3中采用的ICP算法的具体步骤如下：
S3.3.1：计算两片点云qi和pi的质心，得到平移向量t；
S3.3.2：将pi移动S3.3.1所述平移向量t，将其结果和qi分别记作记作X、Y；
S3.3.3：设权重矩阵
W是指点云中每个点被分配到的权重，x1～xn为点云pi中每个点的三维坐标，y1～yn为点云qi中每个点的三维坐标，设S＝XWYT，对S进行奇异值分解，变换S得到S＝U∑VT，其中U是正交矩阵，∑是对角矩阵，VT是正交矩阵；
S3.3.4：计算得出旋转矩阵R＝VUT；
S3.3.5：设旋转后的点云为pi'，原始点云为pi，由pi'＝Rpi+t，得到变换后的点云pi'，读取待匹配的点云qi，计算误差
若不满足阈值则重复S3.3.1到S3.3.4步，直至误差满足要求。
5.根据权利要求4所述的基于3D-2D多模态融合的密集真彩点云数据采集方法，其特征在于：所述步骤S4中裁剪的步骤如下：
S4.1：首先读取步骤S1.3中所述平均距离D；已知雷达上下视角为θ，所以得出R＝D tanθ/2，R是最终获得的匹配后的点云的半径；
S4.2：通过计算原始点云与旋转中心的距离，将距离大于R的点云剔除，最终得到裁剪完成的点云。
6.根据权利要求5所述的基于3D-2D多模态融合的密集真彩点云数据采集方法，其特征在于：所述步骤S5中将配准裁剪完成的点云着色的步骤如下：
S5.1：由外参矩阵乘内参矩阵，获得真实世界坐标到像素坐标的转换矩阵trans；
S5.2：依据点云坐标生成一个颜色列矩阵color；
S5.3：将颜色列矩阵转换为颜色面矩阵，给点云colors属性赋值，得到包含真彩信息的密集点云。
7.根据权利要求6所述的基于3D-2D多模态融合的密集真彩点云数据采集方法，其特征在于：所述步骤S5.2的具体步骤如下：
S5.2.1：从点云中按照顺序取一个点，利用转换矩阵trans将其转换到像素坐标；
S5.2.2：匹配相同位置像素点的RGB信息，若超出图片范围就赋指定值，若在范围之内就赋RGB值；赋值完成后序列化存储此处的RGB信息；
S5.2.3：重复S5.2.1～S5.2.2，直到匹配完所有点云。
8.基于3D-2D多模态融合的密集真彩点云数据采集装置，其特征在于：包括电机、摄像头、雷达、支撑框架，所述支撑框架上方固定有电机，电机上连接有雷达，所述支撑框架的下方设置有摄像头，所述支撑框架上还固定有控制器，所述控制器内部安装有如权利要求1-7任一项所述的基于3D-2D多模态融合的密集真彩点云数据采集方法的计算机程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210869098.9A CN115294313A (zh) | 2022-07-22 | 2022-07-22 | 基于3d-2d多模态融合的密集真彩点云数据采集方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210869098.9A CN115294313A (zh) | 2022-07-22 | 2022-07-22 | 基于3d-2d多模态融合的密集真彩点云数据采集方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115294313A true CN115294313A (zh) | 2022-11-04 |
Family
ID=83823601
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210869098.9A Pending CN115294313A (zh) | 2022-07-22 | 2022-07-22 | 基于3d-2d多模态融合的密集真彩点云数据采集方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115294313A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117351482A (zh) * | 2023-12-05 | 2024-01-05 | 国网山西省电力公司电力科学研究院 | 一种用于电力视觉识别模型的数据集增广方法、***、电子设备和存储介质 |
| CN117523105A (zh) * | 2023-11-24 | 2024-02-06 | 哈工大郑州研究院 | 激光雷达和多相机数据融合的三维场景重建方法 |
-
2022
- 2022-07-22 CN CN202210869098.9A patent/CN115294313A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117523105A (zh) * | 2023-11-24 | 2024-02-06 | 哈工大郑州研究院 | 激光雷达和多相机数据融合的三维场景重建方法 |
| CN117523105B (zh) * | 2023-11-24 | 2024-05-28 | 哈工大郑州研究院 | 激光雷达和多相机数据融合的三维场景重建方法 |
| CN117351482A (zh) * | 2023-12-05 | 2024-01-05 | 国网山西省电力公司电力科学研究院 | 一种用于电力视觉识别模型的数据集增广方法、***、电子设备和存储介质 |
| CN117351482B (zh) * | 2023-12-05 | 2024-02-27 | 国网山西省电力公司电力科学研究院 | 一种用于电力视觉识别模型的数据集增广方法、***、电子设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109410256B (zh) | 基于互信息的点云与影像自动高精度配准方法 | |
| CN105716542B (zh) | 一种基于柔性特征点的三维数据拼接方法 | |
| CN115294313A (zh) | 基于3d-2d多模态融合的密集真彩点云数据采集方法及装置 | |
| CN111369630A (zh) | 一种多线激光雷达与相机标定的方法 | |
| CN110842940A (zh) | 一种建筑测量机器人多传感器融合三维建模方法及*** | |
| CN109919911B (zh) | 基于多视角光度立体的移动三维重建方法 | |
| CN112818990B (zh) | 目标检测框的生成方法、图像数据自动标注方法及*** | |
| CN110009667B (zh) | 基于罗德里格斯变换的多视点云全局配准方法 | |
| CN109859272A (zh) | 一种自动对焦双目摄像头标定方法及装置 | |
| CN106504321A (zh) | 使用照片或视频重建三维牙模的方法及使用rgbd图像重建三维牙模的方法 | |
| CN111486864B (zh) | 基于立体正八边结构的多源传感器联合标定方法 | |
| CN110243307A (zh) | 一种自动化三维彩色成像与测量*** | |
| CN110246186A (zh) | 一种自动化三维彩色成像与测量方法 | |
| CN106971408A (zh) | 一种基于时空转换思想的摄像机标定方法 | |
| CN110044374A (zh) | 一种基于图像特征的单目视觉测量里程的方法及里程计 | |
| CN113050074B (zh) | 无人驾驶环境感知中相机与激光雷达标定***及标定方法 | |
| CN113205603A (zh) | 一种基于旋转台的三维点云拼接重建方法 | |
| CN101551918A (zh) | 一种基于线激光的大型场景获取方法 | |
| CN113884519B (zh) | 自导航x射线成像***及成像方法 | |
| CN113253246B (zh) | 一种激光雷达和相机的标定方法 | |
| CN111060006A (zh) | 一种基于三维模型的视点规划方法 | |
| CN110230979A (zh) | 一种立体标靶及其三维彩色数字化***标定方法 | |
| CN112947526A (zh) | 一种无人机自主降落方法和*** | |
| CN115222819A (zh) | 一种基于机场大范围场景下多模信息参照的相机自标定和目标追踪方法 | |
| CN116625258A (zh) | 链条间距测量***及链条间距测量方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20231101 Address after: 030001 No. 6, Qingnian Road, Shanxi, Taiyuan Applicant after: STATE GRID ELECTRIC POWER Research Institute OF SEPC Address before: 030001 No. 6, Qingnian Road, Shanxi, Taiyuan Applicant before: STATE GRID ELECTRIC POWER Research Institute OF SEPC Applicant before: SHANXI HONGSHUNTONG TECHNOLOGY Co.,Ltd. |