CN114332448A - 基于稀疏点云的平面拓展方法及其***和电子设备 - Google Patents
基于稀疏点云的平面拓展方法及其***和电子设备 Download PDFInfo
- Publication number
- CN114332448A CN114332448A CN202011015591.1A CN202011015591A CN114332448A CN 114332448 A CN114332448 A CN 114332448A CN 202011015591 A CN202011015591 A CN 202011015591A CN 114332448 A CN114332448 A CN 114332448A
- Authority
- CN
- China
- Prior art keywords
- points
- plane
- spatial
- point
- frame image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 85
- 238000000605 extraction Methods 0.000 claims description 27
- 238000012545 processing Methods 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000012217 deletion Methods 0.000 claims description 17
- 230000037430 deletion Effects 0.000 claims description 17
- 238000001514 detection method Methods 0.000 claims description 12
- 238000004891 communication Methods 0.000 claims description 11
- 230000003287 optical effect Effects 0.000 claims description 11
- 238000012795 verification Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000008901 benefit Effects 0.000 description 18
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 description 1
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 description 1
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 description 1
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000026683 transduction Effects 0.000 description 1
- 238000010361 transduction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
一种基于稀疏点云的平面拓展方法及其***和电子设备。该基于稀疏点云的平面拓展方法包括步骤：根据上一帧图像内所有属于当前平面内的已有空间点在当前帧图像上投影点的几何中心，在该当前帧图像上选取局部感兴趣区域；根据该局部感兴趣区域对该当前帧图像进行空间点提取，以得到待确认的空间点；对该当前平面所有的该已有空间点和该待确认的空间点进行删选，以得到属于该当前平面的待更新空间点；以及基于该待更新空间点对该当前平面进行平面信息重计算，以得到新拓展平面。
Description
技术领域
本发明涉及平面拓展技术领域，尤其是涉及基于稀疏点云的平面拓展方法及其***和电子设备。
背景技术
在AR场景中往往需要构件三维空间模型以实现增强现实的功能，这使得事先确定一个有效的空间坐标系是影响后续建模算法效果的重要前提。但由于物理空间的场景一般比较复杂，如果任意确定一个坐标系往往会提高后续建模步骤的复杂度，影响用户视觉体验，这就要求在物理空间选择一个特定形状区域来确定该空间坐标系。而平面作为一种常见的形状特征，其具有结构简单、适应性好的优点，适合作为该空间坐标系的基准。
在不同物理空间通过平面探测得到的平面需要进一步更新信息，从而保证初始的坐标系能够被持续更新并且与当前用户的视觉同步。目前常用的平面拓展方案都是基于点云信息，而对无法配置深度传感器或对SLAM实时性要求高的设备则存在一定的局限性。例如，目前常用的平面拓展技术的基本实现方式是根据外部的深度传感器或者双目相机获取当前物理空间的点云信息，并采用区域生长、RANSAC筛选、霍夫变换等算法实现平面坐标系的构件和更新。
然而，虽然因点云可以提供充足的空间信息，这种技术可以较为方便地提取平面信息，同时也可以适用于多平面检测的应用，但是其仍然存在一些缺陷。例如，对于深度传感器下的平面拓展，为了保证有充足的空间信息，现有的平面拓展方案需要输入稠密点云信息，而处理这些信息则需要大量的时间，这在一些轻量级的AR设备中，为了保证视觉同步性必须保证极高的帧率，使得这种稠密点云的方案是不可行的。对于双目相机下的系数点云平面拓展，现有的平面拓展方案需要输入SLAM提取到的空间特征点，并进行三角化运算以获得这些点云的空间信息。虽然这种方案因使用了空间稀疏的特征点，使得算法的运行时间被大大加快，但是SLAM***实时性要求其提取的特征点往往被控制在一定数量，而这些点在经过筛选之后一般难以满足平面拓展的最少点数要求，进而造成拓展停止，难以持续。
发明内容
本发明的一优势在于提供一基于稀疏点云的平面拓展方法及其***和电子设备，其能够解决不同物理空间下对于平面坐标系的实时更新。
本发明的另一优势在于提供一基于稀疏点云的平面拓展方法及其***和电子设备，其中，在本发明的一实施例中，所述基于稀疏点云的平面拓展方法能够在增强现实的场景下，使得初始状态下探测到的平面坐标系仍然可以随着场景的改变而快速更新信息。
本发明的另一优势在于提供一基于稀疏点云的平面拓展方法及其***和电子设备，其中，在本发明的一实施例中，所述基于稀疏点云的平面拓展方法能够针对为配置深度传感器的设备，在保证运行时间的同时实现平面坐标系的更新。
本发明的另一优势在于提供一基于稀疏点云的平面拓展方法及其***和电子设备，其中，在本发明的一实施例中，所述基于稀疏点云的平面拓展方法不需要稠密点云作为输入，从而避免了复杂的计算过程，减少时间开销。
本发明的另一优势在于提供一基于稀疏点云的平面拓展方法及其***和电子设备，其中，在本发明的一实施例中，所述基于稀疏点云的平面拓展方法能够不再单一使用SLAM输入的特征点作为判断信息，而是重新在当前局部图像窗口内提取特征点并利用双目图像信息求解对应空间点，以便消除因输入特征点过于系数而导致的平面拓展中断。
本发明的另一优势在于提供一基于稀疏点云的平面拓展方法及其***和电子设备，其中，在本发明的一实施例中，所述基于稀疏点云的平面拓展方法能够不选取整幅图像，而是选择距离平面中心一定窗口大小的范围，加快了特征点提取速度，同时也保证了平面拓展的自然渐变。
本发明的另一优势在于提供一基于稀疏点云的平面拓展方法及其***和电子设备，其中，在本发明的一实施例中，所述基于稀疏点云的平面拓展方法能够使用空间点到平面的距离产生的3D信息和前后帧平面内的点计算得到的单应矩阵产生的2D信息共同从几何空间对候选点进行约束，以便得到更为精确的内点判断。
本发明的另一优势在于提供一基于稀疏点云的平面拓展方法及其***和电子设备，其中，在本发明的一实施例中，所述基于稀疏点云的平面拓展方法能够对于那些无法在几何空间被剔除的空间，利用这些稀疏点的颜色和距离特征进行进一步筛选，以降低因三角化结果错误等因素而引起的平面点误判断。
本发明的另一优势在于提供一基于稀疏点云的平面拓展方法及其***和电子设备，其中，在本发明的一实施例中，所述基于稀疏点云的平面拓展方法的实施简单、适用性强，在降低算法时间和提高算法精度上具有重要意义，对于基于双目视觉或单目惯导SLAM的平面拓展算法均具有很大的应用价值，有望适用在增强现实、自动驾驶等领域。
本发明的另一优势在于提供一基于稀疏点云的平面拓展方法及其***和电子设备，其中，在本发明的一实施例中，所述基于稀疏点云的平面拓展方法不是通过深度传感器获取的稠密点云作为输入，而是通过双目相机不断地提取空间特征点，从而消除了点云计算量过大对实时性的影响。
本发明的另一优势在于提供一基于稀疏点云的平面拓展方法及其***和电子设备，其中为了达到上述优势，在本发明中不需要采用复杂的结构和庞大的计算量，对软硬件要求低。因此，本发明成功和有效地提供一解决方案，不只提供一基于稀疏点云的平面拓展方法及其***和电子设备，同时还增加了所述基于稀疏点云的平面拓展方法及其***和电子设备的实用性和可靠性。
为了实现上述至少一优势或其他优势和目的，本发明提供了一基于稀疏点云的平面拓展方法，包括步骤：
根据上一帧图像内所有属于当前平面内的已有空间点在当前帧图像上投影的点的几何中心，在该当前帧图像上选取局部感兴趣区域；
根据所述局部感兴趣区域对该当前帧图像进行空间点提取，以得到待确认的空间点；
对该当前平面内所有的已有空间点和所述待确认的空间点进行删选，以得到属于当前平面的待更新空间点；以及
基于所述待更新空间点对该当前平面进行平面信息重计算，以得到新拓展平面。
根据本申请的一实施例，所述局部感兴趣区域为以该几何中心为中心，且尺寸小于该当前帧图像的矩形区域。
根据本申请的一实施例，所述根据所述局部感兴趣区域对该当前帧图像进行空间点提取，以得到待确认的空间点的步骤，包括步骤：
对该当前帧图像的所述局部感兴趣区域进行角点检测，以从所述局部感兴趣区域内提取稀疏的特征点；
通过左右相机光流跟踪法，求解左目图像上的特征点在右目图像上匹配的特征点，以得到相匹配的左右目特征点对；以及
根据左右相机对应的归一化坐标和相对位姿，对所述左右目特征点对进行三角化计算，以求解出路标点的空间坐标作为初始空间点。
根据本申请的一实施例，所述根据所述局部感兴趣区域对该当前帧图像进行空间点提取，以得到待确认的空间点的步骤，进一步包括步骤：
对所述初始空间点进行重投影误差验证，以删除误差超过阈值的空间点，并将剩余的初始空间点作为所述待确认的空间点。
根据本申请的一实施例，所述对该当前平面内所有的已有空间点和所述待确认的空间点进行删选，以得到属于当前平面的待更新空间点的步骤，包括步骤：
根据所述待确认的空间点与该当前平面之间的空间距离，将空间距离大于第一距离阈值的所述待确认的空间点删除，以获得3D删选后的空间点；
通过单应矩阵将在该当前帧图像上跟踪到的在该上一帧图像上不属于该当前平面内的点投影到该当前帧图像以求解投影点与对应的观测点之间的平面距离，将平面距离大于第二距离阈值的投影点删除，以获得2D删选后的空间点；以及
根据该当前平面内所有的该已有空间点、所述3D删选后的空间点以及所述2D删选后的空间点与该当前平面的中心点之间的灰度差和距离进行聚类处理，以剔除与所述中心点不属于同一类的点，并获得属于该当前平面的所述待更新空间点。
根据本申请的一实施例，所述单应矩阵是通过在该当前帧图像上跟踪到的在该上一帧图像上属于该当前平面内的点计算出的。
根据本申请的另一方面，本申请进一步提供了一基于稀疏点云的平面拓展***，包括相互可通信地连接的：
一局部ROI提取模块，用于根据上一帧图像内所有属于当前平面内的已有空间点在当前帧图像上投影的点的几何中心，在该当前帧图像上提取局部感兴趣区域；
一空间点提取模块，用于根据所述局部感兴趣区域对该当前帧图像进行空间点提取，以得到待确认的空间点；
一空间点删选模块，用于对该当前平面内所有的已有空间点和所述待确认的空间点进行删选，以得到属于当前平面的待更新空间点；以及
一平面拓展模块，用于基于所述待更新空间点对该当前平面进行平面信息重计算，以得到新拓展平面。
根据本申请的一实施例，所述局部感兴趣区域为以该几何中心为中心，且尺寸小于该当前帧图像的矩形区域。
根据本申请的一实施例，所述空间点提取模块包括相互可通信地连接的一特征点提取模块、一特征点匹配模块以及一三角化处理模块，其中所述特征点提取模块用于对该当前帧图像的所述局部感兴趣区域进行角点检测，以从所述局部感兴趣区域内提取稀疏的特征点；其中所述特征点匹配模块用于通过左右相机光流跟踪法，求解左目图像上的特征点在右目图像上匹配的特征点，以得到相匹配的左右目特征点对；其中所述三角化处理模块用于根据左右相机对应的归一化坐标和相对位姿，对所述左右目特征点对进行三角化计算，以求解出路标点的空间坐标作为初始空间点。
根据本申请的一实施例，所述所述空间点提取模块进一步包括一重投影误差验证模块，用于对所述初始空间点进行重投影误差验证，以删除误差超过阈值的空间点，并将剩余的初始空间点作为所述待确认的空间点。
根据本申请的一实施例，所述空间点删选模块包括相互可通信地连接的一3D删选模块、一2D删选模块以及一聚类删选模块，其中所述3D删选模块用于根据所述待确认的空间点与该当前平面之间的空间距离，将空间距离大于第一距离阈值的所述待确认的空间点删除，以获得3D删选后的空间点；其中所述2D删选模块用于通过单应矩阵将在该当前帧图像上跟踪到的在该上一帧图像上不属于该当前平面内的点投影到该当前帧图像以求解投影点与对应的观测点之间的平面距离，将平面距离大于第二距离阈值的投影点删除，以获得2D删选后的空间点；其中所述聚类删选模块用于根据该当前平面内所有的该已有空间点、所述3D删选后的空间点以及所述2D删选后的空间点与该当前平面的中心点之间的灰度差和距离进行聚类处理，以剔除与所述中心点不属于同一类的点，并获得属于该当前平面的所述待更新空间点。
根据本申请的另一方面，本申请进一步提供了一电子设备，包括：
至少一处理器，用于执行指令；和
与所述至少一处理器可通信地连接的存储器，其中，所述存储器具有至少一指令，其中，所述指令被所述至少一处理器执行，以使得所述至少一处理器执行基于稀疏点云的平面拓展方法中的部分或全部步骤，其中所述基于稀疏点云的平面拓展方法包括步骤：
根据上一帧图像内所有属于当前平面内的已有空间点在当前帧图像上投影的点的几何中心，在该当前帧图像上选取局部感兴趣区域；
根据所述局部感兴趣区域对该当前帧图像进行空间点提取，以得到待确认的空间点；
对该当前平面内所有的已有空间点和所述待确认的空间点进行删选，以得到属于当前平面的待更新空间点；以及
基于所述待更新空间点对该当前平面进行平面信息重计算，以得到新拓展平面。
通过对随后的描述和附图的理解，本发明进一步的目的和优势将得以充分体现。
本发明的这些和其它目的、特点和优势，通过下述的详细说明，附图和权利要求得以充分体现。
附图说明
图1是根据本发明的一实施例的基于稀疏点云的平面拓展方法的流程示意图。
图2示出了根据本发明的上述实施例的所述基于稀疏点云的平面拓展方法的步骤之一的流程示意图。
图3示出了根据本发明的上述实施例的所述基于稀疏点云的平面拓展方法的步骤之二的流程示意图。
图4示出了根据本发明的上述实施例的所述基于稀疏点云的平面拓展方法中空间点求解的原理示意图。
图5示出了根据本发明的上述实施例的所述基于稀疏点云的平面拓展方法的应用示意图。
图6是根据本发明的一实施例的所述基于稀疏点云的平面拓展***的框图示意图。
图7示出了根据本发明的一实施例的一电子设备的框图示意图。
具体实施方式
以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。
在本发明中，权利要求和说明书中术语“一”应理解为“一个或多个”，即在一个实施例，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个。除非在本发明的揭露中明确示意该元件的数量只有一个，否则术语“一”并不能理解为唯一或单一，术语“一”不能理解为对数量的限制。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
目前，现现有的平面拓展技术方案基本都是基于点云信息的，而对无法配置深度传感器或者SLAM实时性要求高的设备则存在着一定的局限性。因此，为了解决在不同物理空间下对于平面坐标系的实时更新(即平面拓展)，本申请提供了一种基于稀疏点云的平面拓展方法及其***和电子设备，使得在增强实现场景下，初始状态下探测到的平面坐标系仍然可以随着场景的改变得以快速更新信息。特别是针对未配置深度传感器的设备，可以在保证运行时间的同时实现平面坐标系的更新。本申请通过重新提取当前局部窗口内的特征点，并通过三角化获取其空间信息，通过点到平面的距离、单应矩阵、稀疏特征聚类等方式进一步的剔除不符合平面要求的点，确定最终平面内的点，以便重新计算当前平面坐标系的相关信息，即实现实时地平面拓展。
示意性方法
参考说明书附图之图1至图3所示，根据本发明的一实施例的一种基于稀疏点云的平面拓展方法被阐明。具体地，如图1所示，所述基于稀疏点云的平面拓展方法，可以包括步骤：
S100：根据上一帧图像内所有属于当前平面内的已有空间点在当前帧图像上投影点的几何中心，在所述当前帧图像上选取局部感兴趣区域；
S200：根据所述局部感兴趣区域对所述当前帧图像进行空间点提取，以得到待确认的空间点；
S300：对所述当前平面所有的所述已有空间点和所述待确认的空间点进行删选，以得到属于所述当前平面的待更新空间点；以及
S400：基于所述待更新空间点对所述当前平面进行平面信息重计算，以得到新拓展平面。
值得注意的是，由于本申请的所述基于稀疏点云的平面拓展方法是在当前帧图像上选取局部感兴趣区域(即局部ROI)，从而限定后续提取特征点的图像范围以保证新增特征点的均匀性，因此本申请的所述基于稀疏点云的平面拓展方法在加快了特征点提取速度的同时，也保证了平面拓展的自然渐变。此外，相比现有的基于深度传感器的平面拓展方案，本申请的所述基于稀疏点云的平面拓展方法不需要稠密点云作为输入，从而避免了复杂的计算过程，减少了时间开销。
优选地，为了进一步减少所述基于稀疏点云的平面拓展方法的时间开销，提高实时性，本申请的所述基于稀疏点云的平面拓展方法中的所述上一帧图像和所述当前帧图像均为光键帧图像。
更具体地，在所述基于稀疏点云的平面拓展方法的所述步骤S100中，所述局部感兴趣区域优选地被实施为以所述几何中心为中心，且尺寸小于所述当前帧图像的矩形区域。例如，所述局部感兴趣区域可以以所述几何中心为中心，宽度为所述当前帧图像总列数的0.3至0.5倍，高度为所述当前帧图像总行数的0.3至0.5倍。
此外，所述几何中心的计算模型如下：
其中：
和
分别为所述几何中心在所述当前帧图像上的横坐标和纵坐标；xi和yi分别为第i个投影点在所述当前帧图像上的横坐标和纵坐标；N为所述投影点的总个数。
根据本申请的上述实施例，以输入的图像为左右目图像为例，为了解决因SLAM跟踪不稳定导致特征点数量过少而中断平面拓展，本申请的所述基于稀疏点云的平面拓展方法的所述步骤S200先对输入的左右目图像进行特征提取和光流跟踪，以获得左右目对应的特征点对；再通过三角化获取相机坐标系下的3D点的坐标信息，最后通过输入的SLAM位姿信息，计算世界坐标系下的3D点信息，以完成空间点的提取。当然，在本发明的其他示例中，所输入的图像还可以但不限于被实施为TOF图像，其能够直接通过特征点提取来获得所需的稀疏空间点。
具体地，如图2所示，本申请的所述基于稀疏点云的平面拓展方法的所述步骤S200可以包括步骤：
S210：对所述当前帧图像的所述局部感兴趣区域进行角点检测，以从所述局部感兴趣区域内提取稀疏的特征点；
S220：通过左右相机光流跟踪法，求解左目图像上的特征点在右目图像上匹配的特征点，以得到相匹配的左右目特征点对；以及
S230：根据左右相机对应的归一化坐标和相对位姿，对所述左右目特征点对进行三角化计算，以求解出路标点的空间坐标作为初始空间点。
更具体地，在所述基于稀疏点云的平面拓展方法的所述步骤S210中，选择Shi-Tomasi算子对于所述局部感兴趣区域内的图像进行角点检测，以在保证特征点的稀疏性控制视场内的最大特征点数在一定范围之内的同时，相邻特征点之间也保持一定间距。
在所述基于稀疏点云的平面拓展方法的所述步骤S220中，通过金字塔光流跟踪方式获取左目图像的特征点在右目图像上的坐标，同时删除距离变化过大的跟踪点对，以便保证获取较为精确的特征点对。
所述基于稀疏点云的平面拓展方法的所述步骤S230主要是用于计算平面拓展时所需的空间点坐标，具体实施时主要使用左右相机对应的归一化坐标和相对位姿求解路标点的空间坐标。例如，如图4所示，将当前左右相机的归一化坐标代入相机的重投影方程drXr＝dlRr-lXl+Tr-l，其中dr和dl分别表示左相机和右相机的深度；Xr和Xl分别表示空间点在左相机和右相机坐标系下的坐标值；Rr-l表示左右相机间的旋转矩阵；Tr-l表示左右相机间的平移向量。
值得注意的是，在本申请的一示例中，本申请的所述基于稀疏点云的平面拓展方法可以直接将通过所述步骤S230获得的初始空间点作为所述待确认的空间点进行后续的删选和计算。而在本申请的另一示例中，如图2所示，为了删除一些错误点，提高平面拓展精度，本申请的所述基于稀疏点云的平面拓展方法的所述步骤S200可以进一步包括步骤：
S240：对所述初始空间点进行重投影误差验证，以删除误差超过阈值的空间点，并将剩余的所述初始空间点作为所述待确认的空间点。
示例性地，在本申请的所述基于稀疏点云的平面拓展方法的所述步骤S240中，将左相机坐标系下的空间点投影至右相机坐标系，并与右相机跟踪到的观测坐标相比较，删除误差超过阈值的点，从而完成通过重投影误差验证以进一步删选出错误点。
根据本申请的上述实施例，如图3所示，本申请的所述基于稀疏点云的平面拓展方法的所述步骤S300，可以包括步骤：
S310：根据所述待确认的空间点与所述当前平面之间的空间距离，将空间距离大于第一距离阈值的所述待确认的空间点删除，以获得3D删选后的空间点；
S320：通过单应矩阵将在当前帧图像上跟踪到的在上一帧图像上不属于所述当前平面内的点投影到当前帧图像以求解投影点与对应的观测点之间的平面距离，将平面距离大于第二距离阈值的空间投影点删除，以获得2D删选后的空间点；以及
S330：根据所述当前平面内所有的已有空间点、所述3D删选后的空间点以及所述2D删选后的空间点与所述当前平面的中心点之间的灰度差和距离进行聚类处理，以剔除与所述中心点不属于同一类的点，并获得属于所述当前平面的所述待更新空间点。
优选地，所述单应矩阵是通过在所述当前帧图像上跟踪到的在上一帧图像上属于所述当前平面内的点计算出的。可以理解的是，所述单应矩阵是物理空间平面内的点若在不同时刻被同时观测到，则这些点满足一个3*3的矩阵约束关系。
值得注意的是，本申请的所述基于稀疏点云的平面拓展方法的所述步骤S300主要是使用3D信息删选出三角化得到的一系列路标点中属于所述当前平面内的点，并使用2D信息对属于所述当前平面内的所有点进行删选，包括基于单应矩阵的删选和基于特征聚类的删选。例如，在具体实施过程中，首先对于在当前帧图像内跟踪到的在上一帧图像上不属于当前平面内的点，根据当前帧图像跟踪到的在上一帧图像上属于当前平面内的点计算出单应矩阵，进而利用单应矩阵将这些点投影到当前帧图像，如果该投影点与其在当前帧图像的观测点距离超过一定阈值，则认为点不属于当前平面而剔除，否则则认为点属于当前平面而保留；其次当完成3D删选和单应矩阵删选后，会将所有属于所述当前平面内的点根据其与平面中心点的灰度差和距离进行聚类，剔除那些与中心点不属于同一类的平面点，剩下的点作为所述待更新空间点。可以理解的是，本申请的所述基于稀疏点云的平面拓展方法使用空间点到平面的距离产生的3D信息和前后帧平面内的点计算得到的单应矩阵产生的2D信息共同从几何空间对候选点进行约束，可以得到更为精确的内点判断。此外，对于那些无法在几何空间被剔除的空间点，则利用这些稀疏点的颜色和距离特征进行进一步删选，降低由于三角化结果错误等因素引起的平面点误判断。
在本申请的上述实施例中，所述基于稀疏点云的平面拓展方法的所述步骤S400主要是用于根据所述待更新空间点来更新所述当前平面在所述当前帧图像的参数。一般而言，平面方程可以表示为ax+by+cz+d＝0的形式，通过求解平面方程就可以得到更新后平面的参数(包括平面法向量、中心点、奇异值比、协方差、协方差SVD分解后的奇异值之和、奇异值最小值、奇异值中位数、奇异值最大值以及法向量与惯性坐标系下水平法向量的夹角)，以实现平面的拓展。
值得一提的是，本申请涉及的平面拓展就是SLAM框架中的一个子模块，其主要负责随着物理空间的变化，初始平面坐标系更新工作。例如，本申请的平面拓展子模块与SLAM框架之间的关系如图5所示，而SLAM框架主要涉及SLAM和平面检测两个主要模块，而所述平面拓展方案就是平面检测中通过第一次平面探测给出的初始平面信息和各时刻SLAM获取的关键帧位姿计算当前稀疏点云，从而实现平面坐标系的更新。
值得注意的是，虽然本申请的上述实施例是以双目视觉惯导SLAM框架(即传感器主要为双目相机)为例来阐述本申请的所述基于稀疏点云的平面拓展方法的优势和特征，但其可以结合其他非视觉传感器如imu等完成定位和跟踪效果。特别地，但是本申请的所述基于稀疏点云的平面拓展方法的适用范围并不局限于此，也可以用于单目惯导SLAM框架等等。
示意性***
参考说明书附图之图6所示，根据本发明的一实施例的一基于稀疏点云的平面拓展***被阐明。具体地，如图6所示，所述基于稀疏点云的平面拓展***1可以包括相互可通信地连接的：一局部ROI提取模块10，用于根据上一帧图像内所有属于当前平面内的已有空间点在当前帧图像上投影的点的几何中心，在该当前帧图像上提取局部感兴趣区域；一空间点提取模块20，用于根据所述局部感兴趣区域对该当前帧图像进行空间点提取，以得到待确认的空间点；一空间点删选模块30，用于对该当前平面内所有的已有空间点和所述待确认的空间点进行删选，以得到属于当前平面的待更新空间点；以及一平面拓展模块40，用于基于所述待更新空间点对该当前平面进行平面信息重计算，以得到新拓展平面。
值得注意的是，所述局部感兴趣区域为以该几何中心为中心，且尺寸小于该当前帧图像的矩形区域。
在本申请的一示例中，如图6所示，所述空间点提取模块20包括相互可通信地连接的一特征点提取模块21、一特征点匹配模块22以及一三角化处理模块23，其中所述特征点提取模块21用于对该当前帧图像的所述局部感兴趣区域进行角点检测，以从所述局部感兴趣区域内提取稀疏的特征点；其中所述特征点匹配模块22用于通过左右相机光流跟踪法，求解左目图像上的特征点在右目图像上匹配的特征点，以得到相匹配的左右目特征点对；其中所述三角化处理模块23用于根据左右相机对应的归一化坐标和相对位姿，对所述左右目特征点对进行三角化计算，以求解出路标点的空间坐标作为初始空间点。
在本申请的一示例中，如图6所示，所述所述空间点提取模块20进一步包括一重投影误差验证模块24，用于对所述初始空间点进行重投影误差验证，以删除误差超过阈值的空间点，并将剩余的初始空间点作为所述待确认的空间点。
在本申请的一示例中，如图6所示，所述空间点删选模块30包括相互可通信地连接的一3D删选模块31、一2D删选模块32以及一聚类删选模块33，其中所述3D删选模块31用于根据所述待确认的空间点与该当前平面之间的空间距离，将空间距离大于第一距离阈值的所述待确认的空间点删除，以获得3D删选后的空间点；其中所述2D删选模块32用于通过单应矩阵将在该当前帧图像上跟踪到的在该上一帧图像上不属于该当前平面内的点投影到该当前帧图像以求解投影点与对应的观测点之间的平面距离，将平面距离大于第二距离阈值的投影点删除，以获得2D删选后的空间点；其中所述聚类删选模块33用于根据该当前平面内所有的该已有空间点、所述3D删选后的空间点以及所述2D删选后的空间点与该当前平面的中心点之间的灰度差和距离进行聚类处理，以剔除与所述中心点不属于同一类的点，并获得属于该当前平面的所述待更新空间点。
示意性电子设备
下面，参考图7来描述根据本发明的一实施例的电子设备。如图7所示，电子设备90包括一个或多个处理器91和存储器92。
所述处理器91可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备90中的其他组件以执行期望的功能。换言之，所述处理器91包括被配置成执行指令的一个或多个物理设备。例如，所述处理器91可被配置成执行作为以下各项的一部分的指令：一个或多个应用、服务、程序、例程、库、对象、组件、数据结构、或其他逻辑构造。这种指令可被实现以执行任务、实现数据类型、转换一个或多个部件的状态、实现技术效果、或以其他方式得到期望结果。
所述处理器91可包括被配置成执行软件指令的一个或多个处理器。作为补充或替换，所述处理器91可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机。所述处理器91的处理器可以是单核或多核，且在其上执行的指令可被配置为串行、并行和/或分布式处理。所述处理器91的各个组件可任选地分布在两个或更多单独设备上，这些设备可以位于远程和/或被配置成进行协同处理。所述处理器91的各方面可由以云计算配置进行配置的可远程访问的联网计算设备来虚拟化和执行。
所述存储器92可以包括一个或多个计算程序产品，所述计算程序产品可以包括各种形式的计算可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算可读存储介质上可以存储一个或多个计算程序指令，所述处理器11可以运行所述程序指令，以实现上文所述的本发明的上述示意性方法中的部分或全部步骤，以及/或者其他期望的功能。
换言之，所述存储器92包括被配置成保存可由所述处理器91执行以实现此处所述的方法和过程的机器可读指令的一个或多个物理设备。在实现这些方法和过程时，可以变换所述存储器92的状态(例如，保存不同的数据)。所述存储器92可以包括可移动和/或内置设备。所述存储器92可包括光学存储器(例如，CD、DVD、HD-DVD、蓝光盘等)、半导体存储器(例如，RAM、EPROM、EEPROM等)和/或磁存储器(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)等等。所述存储器92可包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址和/或内容可寻址设备。
可以理解，所述存储器92包括一个或多个物理设备。然而，本文描述的指令的各方面可另选地通过不由物理设备在有限时长内持有的通信介质(例如，电磁信号、光信号等)来传播。所述处理器91和所述存储器92的各方面可被一起集成到一个或多个硬件逻辑组件中。这些硬件逻辑组件可包括例如现场可编程门阵列(FPGA)、程序和应用专用的集成电路(PASIC/ASIC)、程序和应用专用的标准产品(PSSP/ASSP)、片上***(SOC)以及复杂可编程逻辑器件(CPLD)。
在一个示例中，如图7所示，所述电子设备90还可以包括输入装置93和输出装置94，这些组件通过总线***和/或其他形式的连接机构(未示出)互连。例如，所述输入装置93可以是例如用于采集图像数据或视频数据的摄像模组等等。又如，所述输入装置93可以包括诸如键盘、鼠标、触摸屏或游戏控制器之类的一个或多个用户输入设备或者与其对接。在一些实施例中，所述输入装置93可以包括所选择的自然用户输入(NUI)部件或与其对接。这种元件部分可以是集成的或***的，并且输入动作的转导和/或处理可以在板上或板外被处理。示例NUI部件可包括用于语言和/或语音识别的话筒；用于机器视觉和/或姿势识别的红外、色彩、立体显示和/或深度相机；用于运动检测和/或意图识别的头部***、眼睛***、加速计和/或陀螺仪；以及用于评估脑部活动和/或身体运动的电场感测部件；和/或任何其他合适的传感器。
所述输出装置94可以向外部输出各种信息，包括分类结果等。所述输出装置94可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，所述电子设备90还可以进一步包括所述通信装置，其中所述通信装置可被配置成将所述电子设备90与一个或多个其他计算机设备通信地耦合。所述通信装置可以包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子***可被配置成用于经由无线电话网络或者有线或无线局域网或广域网来进行通信。在一些实施例中，所述通信装置可允许所述电子设备90经由诸如因特网这样的网络将消息发送至其他设备以及/或者从其它设备接收消息。
将会理解，此处描述的配置和/或方法本质是示例性的，这些具体实施例或示例不应被视为限制性的，因为许多变体是可能的。此处描述的具体例程或方法可以表示任何数量的处理策略中的一个或多个。如此，所示和/或所述的各种动作可以以所示和/或所述顺序、以其他顺序、并行地执行，或者被省略。同样，上述过程的次序可以改变。
当然，为了简化，图7中仅示出了所述电子设备90中与本发明有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备90还可以包括任何其他适当的组件。
还需要指出的是，在本发明的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本发明。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本发明的范围。因此，本发明不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。
Claims (12)
1.一基于稀疏点云的平面拓展方法，其特征在于，包括步骤：
根据上一帧图像内所有属于当前平面内的已有空间点在当前帧图像上投影的点的几何中心，在该当前帧图像上选取局部感兴趣区域；
根据所述局部感兴趣区域对该当前帧图像进行空间点提取，以得到待确认的空间点；
对该当前平面内所有的已有空间点和所述待确认的空间点进行删选，以得到属于当前平面的待更新空间点；以及
基于所述待更新空间点对该当前平面进行平面信息重计算，以得到新拓展平面。
2.如权利要求1所述的基于稀疏点云的平面拓展方法，其中，所述局部感兴趣区域为以该几何中心为中心，且尺寸小于该当前帧图像的矩形区域。
3.如权利要求2所述的基于稀疏点云的平面拓展方法，其中，所述根据所述局部感兴趣区域对该当前帧图像进行空间点提取，以得到待确认的空间点的步骤，包括步骤：
对该当前帧图像的所述局部感兴趣区域进行角点检测，以从所述局部感兴趣区域内提取稀疏的特征点；
通过左右相机光流跟踪法，求解左目图像上的特征点在右目图像上匹配的特征点，以得到相匹配的左右目特征点对；以及
根据左右相机对应的归一化坐标和相对位姿，对所述左右目特征点对进行三角化计算，以求解出路标点的空间坐标作为初始空间点。
4.如权利要求3所述的基于稀疏点云的平面拓展方法，其中，所述根据所述局部感兴趣区域对该当前帧图像进行空间点提取，以得到待确认的空间点的步骤，进一步包括步骤：
对所述初始空间点进行重投影误差验证，以删除误差超过阈值的空间点，并将剩余的初始空间点作为所述待确认的空间点。
5.如权利要求1至4中任一所述的基于稀疏点云的平面拓展方法，其中，所述对该当前平面内所有的已有空间点和所述待确认的空间点进行删选，以得到属于当前平面的待更新空间点的步骤，包括步骤：
根据所述待确认的空间点与该当前平面之间的空间距离，将空间距离大于第一距离阈值的所述待确认的空间点删除，以获得3D删选后的空间点；
通过单应矩阵将在该当前帧图像上跟踪到的在该上一帧图像上不属于该当前平面内的点投影到该当前帧图像以求解投影点与对应的观测点之间的平面距离，将平面距离大于第二距离阈值的投影点删除，以获得2D删选后的空间点；以及
根据该当前平面内所有的该已有空间点、所述3D删选后的空间点以及所述2D删选后的空间点与该当前平面的中心点之间的灰度差和距离进行聚类处理，以剔除与所述中心点不属于同一类的点，并获得属于该当前平面的所述待更新空间点。
6.如权利要求5所述的基于稀疏点云的平面拓展方法，其中，所述单应矩阵是通过在该当前帧图像上跟踪到的在该上一帧图像上属于该当前平面内的点计算出的。
7.一基于稀疏点云的平面拓展***，其特征在于，包括相互可通信地连接的：
一局部ROI提取模块，用于根据上一帧图像内所有属于当前平面内的已有空间点在当前帧图像上投影的点的几何中心，在该当前帧图像上提取局部感兴趣区域；
一空间点提取模块，用于根据所述局部感兴趣区域对该当前帧图像进行空间点提取，以得到待确认的空间点；
一空间点删选模块，用于对该当前平面内所有的已有空间点和所述待确认的空间点进行删选，以得到属于当前平面的待更新空间点；以及
一平面拓展模块，用于基于所述待更新空间点对该当前平面进行平面信息重计算，以得到新拓展平面。
8.如权利要求7所述的基于稀疏点云的平面拓展***，其中，所述局部感兴趣区域为以该几何中心为中心，且尺寸小于该当前帧图像的矩形区域。
9.如权利要求8所述的基于稀疏点云的平面拓展***，其中，所述空间点提取模块包括相互可通信地连接的一特征点提取模块、一特征点匹配模块以及一三角化处理模块，其中所述特征点提取模块用于对该当前帧图像的所述局部感兴趣区域进行角点检测，以从所述局部感兴趣区域内提取稀疏的特征点；其中所述特征点匹配模块用于通过左右相机光流跟踪法，求解左目图像上的特征点在右目图像上匹配的特征点，以得到相匹配的左右目特征点对；其中所述三角化处理模块用于根据左右相机对应的归一化坐标和相对位姿，对所述左右目特征点对进行三角化计算，以求解出路标点的空间坐标作为初始空间点。
10.如权利要求9所述的基于稀疏点云的平面拓展***，其中，所述所述空间点提取模块进一步包括一重投影误差验证模块，用于对所述初始空间点进行重投影误差验证，以删除误差超过阈值的空间点，并将剩余的初始空间点作为所述待确认的空间点。
11.如权利要求7至10中任一所述的基于稀疏点云的平面拓展***，其中，所述空间点删选模块包括相互可通信地连接的一3D删选模块、一2D删选模块以及一聚类删选模块，其中所述3D删选模块用于根据所述待确认的空间点与该当前平面之间的空间距离，将空间距离大于第一距离阈值的所述待确认的空间点删除，以获得3D删选后的空间点；其中所述2D删选模块用于通过单应矩阵将在该当前帧图像上跟踪到的在该上一帧图像上不属于该当前平面内的点投影到该当前帧图像以求解投影点与对应的观测点之间的平面距离，将平面距离大于第二距离阈值的投影点删除，以获得2D删选后的空间点；其中所述聚类删选模块用于根据该当前平面内所有的该已有空间点、所述3D删选后的空间点以及所述2D删选后的空间点与该当前平面的中心点之间的灰度差和距离进行聚类处理，以剔除与所述中心点不属于同一类的点，并获得属于该当前平面的所述待更新空间点。
12.一电子设备，其特征在于，包括：
至少一处理器，用于执行指令；和
与所述至少一处理器可通信地连接的存储器，其中，所述存储器具有至少一指令，其中，所述指令被所述至少一处理器执行，以使得所述至少一处理器执行基于稀疏点云的平面拓展方法中的部分或全部步骤，其中所述基于稀疏点云的平面拓展方法包括步骤：
根据上一帧图像内所有属于当前平面内的已有空间点在当前帧图像上投影的点的几何中心，在该当前帧图像上选取局部感兴趣区域；
根据所述局部感兴趣区域对该当前帧图像进行空间点提取，以得到待确认的空间点；
对该当前平面内所有的已有空间点和所述待确认的空间点进行删选，以得到属于当前平面的待更新空间点；以及
基于所述待更新空间点对该当前平面进行平面信息重计算，以得到新拓展平面。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011015591.1A CN114332448A (zh) | 2020-09-24 | 2020-09-24 | 基于稀疏点云的平面拓展方法及其***和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011015591.1A CN114332448A (zh) | 2020-09-24 | 2020-09-24 | 基于稀疏点云的平面拓展方法及其***和电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114332448A true CN114332448A (zh) | 2022-04-12 |
Family
ID=81011650
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011015591.1A Pending CN114332448A (zh) | 2020-09-24 | 2020-09-24 | 基于稀疏点云的平面拓展方法及其***和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114332448A (zh) |
-
2020
- 2020-09-24 CN CN202011015591.1A patent/CN114332448A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210190497A1 (en) | Simultaneous location and mapping (slam) using dual event cameras | |
| US10366534B2 (en) | Selective surface mesh regeneration for 3-dimensional renderings | |
| KR102647351B1 (ko) | 3차원의 포인트 클라우드를 이용한 모델링 방법 및 모델링 장치 | |
| CN107990899B (zh) | 一种基于slam的定位方法和*** | |
| JP7173772B2 (ja) | 深度値推定を用いた映像処理方法及び装置 | |
| CN110276317B (zh) | 一种物体尺寸检测方法、物体尺寸检测装置及移动终端 | |
| US10535160B2 (en) | Markerless augmented reality (AR) system | |
| EP2992508B1 (en) | Diminished and mediated reality effects from reconstruction | |
| US8660362B2 (en) | Combined depth filtering and super resolution | |
| CN113874870A (zh) | 基于图像的定位 | |
| US20190026948A1 (en) | Markerless augmented reality (ar) system | |
| US9286539B2 (en) | Constructing contours from imagery | |
| US10636190B2 (en) | Methods and systems for exploiting per-pixel motion conflicts to extract primary and secondary motions in augmented reality systems | |
| CN111833447A (zh) | 三维地图构建方法、三维地图构建装置及终端设备 | |
| EP4224423A1 (en) | Fusion of depth images into global volumes | |
| CN113689503B (zh) | 目标对象的姿态检测方法、装置、设备及存储介质 | |
| US11748905B2 (en) | Efficient localization based on multiple feature types | |
| US11978248B1 (en) | Scene graph-based scene re-identification | |
| WO2019177761A1 (en) | Hierarchical disparity hypothesis generation with slanted support windows | |
| CN113129352A (zh) | 一种稀疏光场重建方法及装置 | |
| WO2023015938A1 (zh) | 三维点检测的方法、装置、电子设备及存储介质 | |
| US11189053B2 (en) | Information processing apparatus, method of controlling information processing apparatus, and non-transitory computer-readable storage medium | |
| CN113129249A (zh) | 基于深度视频的空间平面检测方法及其***和电子设备 | |
| US20220358694A1 (en) | Method and apparatus for generating a floor plan | |
| CN117726747A (zh) | 补全弱纹理场景的三维重建方法、装置、存储介质和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20220412 Assignee: Zhejiang Shunwei Technology Co.,Ltd. Assignor: SUNNY OPTICAL (ZHEJIANG) RESEARCH INSTITUTE Co.,Ltd. Contract record no.: X2024330000055 Denomination of invention: A Plane Expansion Method Based on Sparse Point Cloud and Its System and Electronic Devices License type: Common License Record date: 20240515 |
|
| EE01 | Entry into force of recordation of patent licensing contract |