CN111899162A - 基于分割的点云数据处理方法以及*** - Google Patents
基于分割的点云数据处理方法以及*** Download PDFInfo
- Publication number
- CN111899162A CN111899162A CN201910372764.6A CN201910372764A CN111899162A CN 111899162 A CN111899162 A CN 111899162A CN 201910372764 A CN201910372764 A CN 201910372764A CN 111899162 A CN111899162 A CN 111899162A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- cloud data
- segmentation
- projection
- data processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 123
- 238000003672 processing method Methods 0.000 title claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 56
- 230000006835 compression Effects 0.000 claims abstract description 47
- 238000007906 compression Methods 0.000 claims abstract description 47
- 239000012634 fragment Substances 0.000 claims abstract description 43
- 230000009467 reduction Effects 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims description 25
- 239000013598 vector Substances 0.000 claims description 24
- 238000007405 data analysis Methods 0.000 claims description 13
- 238000013135 deep learning Methods 0.000 claims description 8
- 238000013178 mathematical model Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000000926 separation method Methods 0.000 claims description 7
- 101000969688 Homo sapiens Macrophage-expressed gene 1 protein Proteins 0.000 claims description 4
- 102100021285 Macrophage-expressed gene 1 protein Human genes 0.000 claims description 4
- 238000009826 distribution Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 2
- 238000000513 principal component analysis Methods 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 3
- 238000007781 pre-processing Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 8
- 238000012847 principal component analysis method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于分割的点云数据处理方法以及***，包括以下步骤：依据点云数据的几何及属性特征对点云数据进行分割，得到复数个子点云；对子点云分别进行投影；以及将投影后的二维碎片进行拼接得到二维图像或者视频帧。本发明首先对原始的整体点云数据依照几何及属性特征进行分割以得到不同的子点云，并且针对不同的子点云设计了不同的投影方案，最大化每个部分点的投影效率。此外，还设计了子点云投影后图像的拼接流程，进一步充分提高整体点云的压缩效率。整个方案通过点云数据的分割、降维、拼接等方式进行预处理，并且利用现有编码工具进行压缩编码，不仅在压缩性能上带来提升，而且可极大提升效率。
Description
技术领域
本发明涉及点云数据处理领域，尤其涉及一种基于分割的点云数据处理方法以及***。
背景技术
近几十年来，三维扫描技术和***日趋成熟，3D扫描仪仪器制造成本降低，精度越来越来高，其应用也越来越广泛，可快速精准的获取实际物体表面的三维坐标信息并存储，使点云数据可广泛应用于科研和工业中的图像处理相关领域中。
点云数据是物体三维扫描后其三维坐标的数据信息，还可能记录了RGB、深度等信息。随着三维扫描***精度和速度的提升，扫描后点云数据量将达到几百万甚至更大的数量级，目前，海量点云数据为计算机存储、处理和传输增加沉重的负担。
点云的压缩算法已经有了较为***的研究。静态点云压缩方法多数是基于八叉树空间分解实现的。利用八叉树结构对点云所在的三维空间进行分解，每个节点表示空间中特定区域的立方体。根据八叉树结构和相应的节点信息可以计算出近似后的点空间坐标。因此，通过对八叉树结构进行序列化编码即可实现静态点云压缩。而动态点云的典型压缩方案是通过投影映射将3D点云数据转换为2D图片进行处理。这种方案使得点云可通过传统的处理手段进行压缩和传输。但是在进行投影时，由于点云的不规则性与密集程度，通常会出现投影后的点在二维平面重合而导致数据缺失的问题，也就是所谓的遮挡问题。此外，目前的点云投影方案大多基于原始的点云进行统一投影，并未考虑到各个部分的颜色、反射系数等特征差异，也没有考虑到点云不同的部分适应于不同投影方式。如何针对点云的遮挡问题及各部分的特征差异，设计合理的投影及后处理方式，尽可能针对性地提高原始点云各个部分的编码效率，进而实现点云的整体高效压缩，是亟待解决的关键问题。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于分割的点云数据处理方法以及***。
根据本发明提供的一种基于分割的点云数据处理方法，包括以下步骤：
依据点云数据的几何及属性特征对点云数据进行分割，得到复数个子点云；
对子点云分别进行投影；以及
将投影后的二维碎片进行拼接得到二维图像或者视频帧。
优选地，还进一步包含：
对点云数据进行分割之前，包含对点云数据的数据分析。
优选地，所述对点云数据的数据分析采用主成分分析法。
优选地，还进一步包含：
对所得到的二位图像或视频帧再一步进行压缩编码。
优选地，所述压缩编码包括：
图像压缩采用JPEG/PNG；
视频压缩采用HEVC或MPEG1/MPEG2/MPEG4/H264。
优选地，所述对点云数据进行分割的分割方式包括以下任一种或任多种：
基于边缘的分割算法、基于区域增长的分割算法、基于属性的分割算法、基于模型的分割算法、基于图的分割算法、基于深度学习的分割算法。
优选地，所述基于模型的分割算法：
利用原始几何形态的数学模型作为先验知识进行分割,将具有相同数学表达式的点云数据归入同一区域，其中，原始几何形态包括平面、圆柱体、圆锥体、或球体。
优选地，所述依据点云数据的几何及属性特征对点云数据进行分割：
所述几何及属性特征包含以下任一种或任多种：
几何特征、纹理特征、法向量特征、或反射系数特征。
优选地，还包括：
依据点云数据的几何及属性特征相对应地设置进行投影的投影方式，分别投影得到不同的二维碎片。
优选地，所述投影方式采用令投射线通过点或其他物体，向选定的投影面投射，并在该面上得到图形，包含以下任意一种：
六面体投影方案、N面体投影方案、圆柱体投影方案、以及圆锥体投影方案。
优选地，所述六面体投影方案，包含：
对各子点云数据进行分析，判定最大限度保留原始分布特性的投影轴；假定样本点为xi，并且假设投影变换后的新坐标系为W＝{w1,w2,w3}，其中w1,w2,w3为新坐标系的基向量，则可得出xi在超平面的投影是WTxi，优化目标为：
s.tWTW＝I
对上式使用拉格朗日乘子法可得：
XXTW＝λW
其中，
I表示单位阵；
λ表示待定特征值矩阵；
X＝(x1,x2,…,xn)是点云数据点集，其中n为点云数据所包含点的总个数，i＝1，2，…，n；
对协方差矩阵XXT进行特征值分解，求得的最大的前若干个特征值的特征向量即为该样本降维后所在空间的标准正交基向量；
以对应的特征向量{w1,w2,w3}为X、Y、Z轴建立新的空间直角坐标系，确定最佳投影面。
优选地，还包括：
依照二维碎片之间的空间相关性进行拼接；
空间相关性包含在原始的点云数据中相隔距离、属性特征间的相似程度。
优选地，还包括：
对二维碎片进行拼接时，拼接调整因素包含以下任一种或任多种：
拼接后的图像的紧凑程度因素、各二维碎片之间的衔接程度因素。
优选地，还包括：
选择拼接方式时，选择拼接方式的参考包括以下任一种或任多种：整张图像/视频帧尺寸、有效像素个数及有效像素比例、各二维碎片间隔距离等数值。
根据本发明提供的一种基于分割的点云数据处理***，包括：
分割模块，依据点云数据的几何及属性特征对点云数据进行分割，得到复数个子点云；
投影模块，对子点云分别进行投影；以及
拼接模块，将投影后的二维碎片进行拼接得到二维图像或者视频帧。
优选地，还进一步包含：
数据分析模块，用于对点云数据进行分割之前，包含对点云数据的数据分析。
优选地，还进一步包含：
压缩编码模块，用于对所得到的二位图像或视频帧再一步进行压缩编码。
优选地，所述分割模块：
对点云数据进行分割的分割方式包括以下任一种或任多种：
基于边缘的分割算法、基于区域增长的分割算法、基于属性的分割算法、基于模型的分割算法、基于图的分割算法、基于深度学习的分割算法。
优选地，所述基于模型的分割算法：
利用原始几何形态的数学模型作为先验知识进行分割,将具有相同数学表达式的点云数据归入同一区域，其中，原始几何形态包括平面、圆柱体、圆锥体、或球体。
优选地，所述依据点云数据的几何及属性特征对点云数据进行分割：
所述几何及属性特征包含以下任一种或任多种：
几何特征、纹理特征、法向量特征、或反射系数特征。
优选地，还包括：
依据点云数据的几何及属性特征相对应地设置进行投影的投影方式，分别投影得到不同的二维碎片。
优选地，所述投影方式采用令投射线通过点或其他物体，向选定的投影面投射，并在该面上得到图形，包含以下任意一种：
六面体投影方案；N面体投影方案；圆柱体投影方案；以及圆锥体投影方案。
优选地，还包括：
依照二维碎片之间的空间相关性进行拼接；
空间相关性包含在原始的点云数据中相隔距离、属性特征间的相似程度。
优选地，还包括：
对二维碎片进行拼接时，拼接调整因素包含以下任一种或任多种：
拼接后的图像的紧凑程度、各二维碎片之间的衔接程度因素。
优选地，还包括：
选择拼接方式时，选择拼接方式的参考包括以下任一种或任多种：整张图像/视频帧尺寸、有效像素个数及有效像素比例、或各二维碎片间隔距离等数值。
与现有技术相比，本发明具有如下的有益效果：
本发明首先对原始的整体点云数据依照几何和属性特征进行分割以得到不同的子点云，并且针对不同的子点云设计了不同的投影方案，最大化每个部分点的投影效率。此外，还设计了子点云投影后图像的拼接流程，进一步充分提高整体点云的压缩效率。整个方案通过点云数据的分割、降维、拼接等方式进行预处理，并且利用现有编码工具进行压缩编码，不仅在压缩性能上带来提升，而且可极大提升效率。换言之，对三维空间的点云数据先进行分割，将原始的完整点云分解为不同的部分，基于分割的结果进行相应的投影，并且设计相应的拼接方案，从而实现将三维点云转化为适应于编码的二维图片/视频的投影压缩方法。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1是本发明实施例中未经分割的原始点云示意图；
图2是本发明实施例中点云分割示意图；
图3是本发明实施例中分割后的子点云示意图；
图4是本发明实施例中在基于六面体投影的方案下投影流程的示意图；
图5是本发明实施例中基于圆柱体投影的方案下原始的点云数据及其圆柱投影面示意图；
图6是本发明实施例中基于圆柱体投影的方案下为点云投影至圆柱面后的空间示意图；
图7是本发明实施例中基于圆柱体投影的方案下为圆柱体投影面展开后的二维图像示意图；
图8是本发明实施例中基于分割的点云数据处理方法的流程示意图；
图9是本发明实施例中基于分割的点云数据处理***的结构框架示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
根据本发明提供的一种基于分割的点云数据处理方法，包括以下步骤：
依据点云数据的几何及属性特征对点云数据进行分割，得到复数个子点云；
对子点云分别进行投影；以及
将投影后的二维碎片进行拼接得到二维图像或者视频帧。
具体地，还进一步包含：
对点云数据进行分割之前，包含对点云数据的数据分析。
具体地，所述对点云数据的数据分析采用主成分分析法。
具体地，还进一步包含：
对所得到的二位图像或视频帧再一步进行压缩编码。
具体地，所述压缩编码包括：
图像压缩采用JPEG/PNG；
视频压缩采用HEVC或MPEG1/MPEG2/MPEG4/H264。
具体地，所述对点云数据进行分割的分割方式包括以下任一种或任多种：
基于边缘的分割算法、基于区域增长的分割算法、基于属性的分割算法、基于模型的分割算法、基于图的分割算法、基于深度学习的分割算法。
具体地，所述基于模型的分割算法：
利用原始几何形态的数学模型作为先验知识进行分割,将具有相同数学表达式的点云数据归入同一区域，其中，原始几何形态包括平面、圆柱体、圆锥体、或球体。
具体地，所述依据点云数据的几何及属性特征对点云数据进行分割：
所述几何及属性特征包含以下任一种或任多种：
几何特征、纹理特征、法向量特征、或反射系数特征。
具体地，还包括：
依据点云数据的几何及属性特征相对应地设置进行投影的投影方式，分别投影得到不同的二维碎片。
具体地，所述投影方式采用令投射线通过点或其他物体，向选定的投影面投射，并在该面上得到图形，包含以下任意一种：
六面体投影方案、N面体投影方案、圆柱体投影方案、以及圆锥体投影方案。
具体地，所述六面体投影方案，包含：
对各子点云数据进行分析，判定最大限度保留原始分布特性的投影轴；假定样本点为xi，并且假设投影变换后的新坐标系为W＝{w1,w2,w3}，其中w1,w2,w3为新坐标系的基向量，则可得出xi在超平面的投影是WTxi，优化目标为：
s.tWTW＝I
对上式使用拉格朗日乘子法可得：
XXTW＝λW
其中，
I表示单位阵；
λ表示待定特征值矩阵；
X＝(x1,x2,…,xn)是点云数据点集，其中n为点云数据所包含点的总个数，i＝1，2，…，n；
对协方差矩阵XXT进行特征值分解，求得的最大的前若干个特征值的特征向量即为该样本降维后所在空间的标准正交基向量；
以对应的特征向量{w1,w2,w3}为X、Y、Z轴建立新的空间直角坐标系，确定最佳投影面。
具体地，还包括：
依照二维碎片之间的空间相关性进行拼接；
空间相关性包含在原始的点云数据中相隔距离、属性特征间的相似程度。
具体地，还包括：
对二维碎片进行拼接时，拼接调整因素包含以下任一种或任多种：
拼接后的图像的紧凑程度因素、各二维碎片之间的衔接程度因素。
具体地，还包括：
选择拼接方式时，选择拼接方式的参考包括以下任一种或任多种：整张图像/视频帧尺寸、有效像素个数及有效像素比例、各二维碎片间隔距离等数值。
根据本发明提供的一种基于分割的点云数据处理***，包括：
分割模块，依据点云数据的几何及属性特征对点云数据进行分割，得到复数个子点云；
投影模块，对子点云分别进行投影；以及
拼接模块，将投影后的二维碎片进行拼接得到二维图像或者视频帧。
具体地，还进一步包含：
数据分析模块，用于对点云数据进行分割之前，包含对点云数据的数据分析。
具体地，还进一步包含：
压缩编码模块，用于对所得到的二位图像或视频帧再一步进行压缩编码。
具体地，所述分割模块：
对点云数据进行分割的分割方式包括以下任一种或任多种：
基于边缘的分割算法、基于区域增长的分割算法、基于属性的分割算法、基于模型的分割算法、基于图的分割算法、基于深度学习的分割算法。
具体地，所述基于模型的分割算法：
利用原始几何形态的数学模型作为先验知识进行分割,将具有相同数学表达式的点云数据归入同一区域，其中，原始几何形态包括平面、圆柱体、圆锥体、或球体。
具体地，所述依据点云数据的几何及属性特征对点云数据进行分割：
所述几何及属性特征包含以下任一种或任多种：
几何特征、纹理特征、法向量特征、或反射系数特征。
具体地，还包括：
依据点云数据的几何及属性特征相对应地设置进行投影的投影方式，分别投影得到不同的二维碎片。
具体地，所述投影方式采用令投射线通过点或其他物体，向选定的投影面投射，并在该面上得到图形，包含以下任意一种：
六面体投影方案；N面体投影方案；圆柱体投影方案；以及圆锥体投影方案。
具体地，还包括：
依照二维碎片之间的空间相关性进行拼接；
空间相关性包含在原始的点云数据中相隔距离、属性特征间的相似程度。
具体地，还包括：
对二维碎片进行拼接时，拼接调整因素包含以下任一种或任多种：
拼接后的图像的紧凑程度、各二维碎片之间的衔接程度因素。
具体地，还包括：
选择拼接方式时，选择拼接方式的参考包括以下任一种或任多种：整张图像/视频帧尺寸、有效像素个数及有效像素比例、或各二维碎片间隔距离等数值。
下面通过优选例，对本发明进行更为具体地说明。
优选例1：
现今点云的主流处理方式为转换至二维平面进行处理，但是大多数方案都是对点云整体进行投影或者映射的转换，这样的方式不能够充分地发掘点云数据各部分的几何、纹理、反射系数、法向量等特征，压缩效率有限。此外，点云采集时的精度不一、不规则性及密集程度带来了投影时的点重合问题，也就是遮挡问题。通常的处理方式为不同角度多次投影，但是经过多次投影之后所得到的二维图片出现大量黑色散点乃至条纹，极不利于压缩编码。现今人们对于媒体的消费正在进一步升级，点云作为沉浸式媒体的重要表现形式，必不可少。并且在自动驾驶和安防监控等领域，也需要高效的点云压缩来优化解决方案。为了使得基于二维平面压缩的点云编码可以实现更高性能和效率，本发明提供了一种基于分割的点云投影压缩方法，将原始点云先分割为数个子点云，对子点云分别进行投影，再将这些投影图像拼接为一个完整的二维图像/视频帧，以实现高效的压缩编码性能。
其一，对点云进行分割。
本发明中，依据点云数据的几何及属性特征对点云数据进行分割，该分割的属性依据可以多样，优选地，可以由以下一组属性为例实现：
几何特征：即点云数据的空间位置特征，最基本的数据形式为(X,Y,Z)，为各点与空间直角坐标系中各坐标轴方向间的距离，体现了各点的空间位置；
纹理特征：即点云数据的颜色属性特征，最基本的数据形式为(R,G,B)，为各点红绿蓝三个颜色通道的数值，体现了各点的颜色属性；
法向量：即点云数据的法向量特征；
反射系数：即点云数据的反射系数特征，体现了各点在不同方向观看时的亮度变化。
在这个步骤中，可以采用多种不同的方式进行分割，各有侧重。分割之后的各个独立的点云碎片称之为子点云。
优选地，可参考如下几种方法：
·基于边缘的分割方法，该方法通过检测边缘区域即点云强度快速变化或者表面法向量急剧变化的区域，勾勒出点云数据中隐藏的边缘信息来得到分割区域。
·基于区域增长的分割算法，该方法是在邻域范围内，将具有相同属性的点结合组成孤立区域，同时保证其余周围区域的差异性最大。
·基于属性的分割算法，该方法是一种利用点云的特征属性进行聚类的分割算法。
·基于模型的分割算法，该方法利用原始几何形态的数学模型(例如平面、圆柱体、圆锥体、球体等)作为先验知识进行分割,将具有相同数学表达式的点云数据归入同一区域。
·基于图的分割算法，该方法利用点云数据构造图结构,每个点云在图中对应一个顶点,两个顶点之间的边连接相邻两个点云数据。每条边都被分配一个权重,用它来表示点云数据中一对点的相似性。
·基于深度学习的分割算法，该方法通过设计不同的点云分割深度学习框架，以实现点云数据的语义分割。点云在分割时存在空间关系不规则的特点，因此不能直接将已有的图像分类分割框架套用到点云上。
其二，对各个子点云进行投影。令投射线通过点或其他物体，向选定的投影面投射，并在该面上得到图形的方法称为投影。
本发明中，进行投影的方式可以多样，优选地，可以由以下一组投影方案为例实现：
六面体投影方案：依据原始点云大小设定包围盒的尺寸，对点云进行不同分辨率的规则化。以包围盒的六个平面作为基准进行投影；
N面体投影方案：依据原始点云大小设定包围盒的尺寸，对点云进行不同分辨率的规则化。以包围盒的N个平面作为基准进行投影；
圆柱体投影方案：依据原始点云大小设定投影的圆柱半径和投影轴，将各点投影至圆柱面上展开后进行规则化得到投影图像；
圆锥体投影方案：依据原始点云大小设定投影的圆锥底部半径和投影轴，将各点投影至圆锥面上展开后进行规则化得到投影图像。
包括但不限于六面体投影、N面体投影、圆柱体投影、圆锥体投影等方式。接下来，结合图4对其中六面体投影方法为例具体来说明，首先，对各子点云数据进行分析，可采用主成分分析法，判定最大限度保留原始分布特性的投影轴；假定样本点为xi，并且假设投影变换后的新坐标系为W＝{w1,w2,w3}，其中w1,w2,w3为新坐标系的基向量，则可得出xi在超平面的投影是WTxi。优化目标为
s.tWTW＝I
对上式使用拉格朗日乘子法可得
XXTW＝λW
随后，对协方差矩阵XXT进行特征值分解，求得的最大的前3个特征值的特征向量即为该样本降维后所在空间的标准正交基向量。以对应的特征向量{w1,w2,w3}为X、Y、Z轴建立新的空间直角坐标系，确定最佳投影面。
其三，将各子点云投影后得到的图像拼接为二维图像/视频帧。此过程应当考虑到拼接后的图像的紧凑程度，各子块之间的衔接程度等因素，可以采用整张图像/视频帧尺寸、有效像素个数及有效像素比例、各二维碎片间隔距离等数值作为参考进行拼接方式选择，提升整体的编码压缩效率。二维图像/视频帧拼接完成后，采用传统二维图像/视频压缩方式进行编码压缩。图像压缩可采用JPEG/PNG等方式。视频压缩效率较高的主要为HEVC编码压缩工具。MPEG1/MPEG2/MPEG4/H264等方式也是可选的。
附图8展现的基于分割的点云数据处理方法的具体流程图，简述如下：取得原始点云后，先对几何及属性特征进行分析，确定分割方式。将原始点云分割为多个子点云，再将各子点云分别投影得到二维碎片，拼接形成二维图像/视频帧。最后以传统图像/视频压缩工具进行压缩。
基于分割的点云数据处理***包含四个模块，如附图8所示。
本发明中的数据分析模块、分割模块可以分别独立设置也可以集合设置，本实施例中，将二者集成为一个点云分析及分割模块，不作为本发明的限制。
该点云分析及分割模块：输入为原始点云，对点云几何及属性特征进行分析，确定分割方式且完成分割，输出为子点云。
投影模块即本实施例中的点云投影降维模块：输入为多个子点云，对各子点云分别进行投影降维，输出为各子点云投影所得的二维碎片。
拼接模块即本实施例中的二维图像/视频帧拼接模块：输入为二维碎片，并且将其拼接，输出为完整的二维图像/视频帧。
压缩编码模块即本实施中的二维图像/视频帧压缩模块：输入为二维图像/视频帧，在该模块运用传统图像/视频压缩工具进行压缩编码，输出为压缩后的码流。
需要注意的是，本发明中只是以上述方法为例对分割、投影、拼接及压缩方案进行说明，并不局限于以上方法。
综上，本发明所提供的一种基于分割的点云数据的处理方法和***，首先分析原始点云数据的几何及属性特征，按照几何及属性特征点云进行分割处理，从而可得到多个独立的子点云；针对分割后的子点云，也应当依照几何与属性特征设置相对应的投影方式，各自分别投影得到不同的二维碎片；最后，依照这些二维碎片之间的空间相关性(如在原始点云中的相隔距离、属性特征间的相似程度)进行合理的拼接，使得各个子块之间过渡自然、排列紧凑、适于编码，进而采用传统图像/视频编码方式进行压缩编码。
本实施中所提供的基于分割的点云数据处理***中各个功能模块与上述实施例中基于分割的点云数据处理方法所分别相对应，那么装置中所具有的结构和技术要素可由生成方法相应转换形成，在此省略说明不再赘述。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的***、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的***、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的***、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (25)
1.一种基于分割的点云数据处理方法，其特征在于，包括以下步骤：
依据点云数据的几何及属性特征对点云数据进行分割，得到复数个子点云；
对子点云分别进行投影；以及
将投影后的二维碎片进行拼接得到二维图像或者视频帧。
2.如权利要求1所述的基于分割的点云数据处理方法，其特征在于，还进一步包含：
对点云数据进行分割之前，包含对点云数据的数据分析。
3.如权利要求2所述的基于分割的点云数据处理方法，其特征在于，所述对点云数据的数据分析采用主成分分析法。
4.如权利要求1所述的基于分割的点云数据处理方法，其特征在于，还进一步包含：
对所得到的二位图像或视频帧再一步进行压缩编码。
5.如权利要求4所述的基于分割的点云数据处理方法，其特征在于，所述压缩编码包括：
图像压缩采用JPEG/PNG；
视频压缩采用HEVC或MPEG1/MPEG2/MPEG4/H264。
6.如权利要求1所述的基于分割的点云数据处理方法，其特征在于，所述对点云数据进行分割的分割方式包括以下任一种或任多种：
基于边缘的分割算法、基于区域增长的分割算法、基于属性的分割算法、基于模型的分割算法、基于图的分割算法、基于深度学习的分割算法。
7.如权利要求6所述的基于分割的点云数据处理方法，其特征在于，所述基于模型的分割算法：
利用原始几何形态的数学模型作为先验知识进行分割,将具有相同数学表达式的点云数据归入同一区域，其中，原始几何形态包括平面、圆柱体、圆锥体、或球体。
8.如权利要求1所述的基于分割的点云数据处理方法，其特征在于，所述依据点云数据的几何及属性特征对点云数据进行分割：
所述几何及属性特征包含以下任一种或任多种：
几何特征、纹理特征、法向量特征、或反射系数特征。
9.如权利要求1所述的基于分割的点云数据处理方法，其特征在于，还包括：
依据点云数据的几何及属性特征相对应地设置进行投影的投影方式，分别投影得到不同的二维碎片。
10.如权利要求9所述的基于分割的点云数据处理方法，其特征在于，所述投影方式采用令投射线通过点或其他物体，向选定的投影面投射，并在该面上得到图形，包含以下任意一种：
六面体投影方案、N面体投影方案、圆柱体投影方案、以及圆锥体投影方案。
11.如权利要求10所述的基于分割的点云数据处理方法，其特征在于，所述六面体投影方案，包含：
对各子点云数据进行分析，判定最大限度保留原始分布特性的投影轴；假定样本点为xi，并且假设投影变换后的新坐标系为W＝{w1,w2,w3}，其中w1,w2,w3为新坐标系的基向量，则可得出xi在超平面的投影是WTxi，优化目标为：
s.tWTW＝I
对上式使用拉格朗日乘子法可得：
XXTW＝λW
其中，
I表示单位阵；
λ表示待定特征值矩阵；
X＝(x1,x2,…,xn)是点云数据点集，其中n为点云数据所包含点的总个数，i＝1，2，…，n；
对协方差矩阵XXT进行特征值分解，求得的最大的前若干个特征值的特征向量即为该样本降维后所在空间的标准正交基向量；
以对应的特征向量{w1,w2,w3}为X、Y、Z轴建立新的空间直角坐标系，确定最佳投影面。
12.如权利要求1所述的基于分割的点云数据处理方法，其特征在于，还包括：
依照二维碎片之间的空间相关性进行拼接；
空间相关性包含在原始的点云数据中相隔距离、属性特征间的相似程度。
13.如权利要求1所述的基于分割的点云数据处理方法，其特征在于，还包括：
对二维碎片进行拼接时，拼接调整因素包含以下任一种或任多种：
拼接后的图像的紧凑程度因素、各二维碎片之间的衔接程度因素。
14.如权利要求1所述的基于分割的点云数据处理方法，其特征在于，还包括：
选择拼接方式时，选择拼接方式的参考包括以下任一种或任多种：整张图像/视频帧尺寸、有效像素个数及有效像素比例、各二维碎片间隔距离等数值。
15.一种基于分割的点云数据处理***，其特征在于，包括：
分割模块，依据点云数据的几何及属性特征对点云数据进行分割，得到复数个子点云；
投影模块，对子点云分别进行投影；以及
拼接模块，将投影后的二维碎片进行拼接得到二维图像或者视频帧。
16.如权利要求15所述的基于分割的点云数据处理***，其特征在于，还进一步包含：
数据分析模块，用于对点云数据进行分割之前，包含对点云数据的数据分析。
17.如权利要求15所述的基于分割的点云数据处理***，其特征在于，还进一步包含：
压缩编码模块，用于对所得到的二位图像或视频帧再一步进行压缩编码。
18.如权利要求15所述的基于分割的点云数据处理***，其特征在于，所述分割模块：
对点云数据进行分割的分割方式包括以下任一种或任多种：
基于边缘的分割算法、基于区域增长的分割算法、基于属性的分割算法、基于模型的分割算法、基于图的分割算法、基于深度学习的分割算法。
19.如权利要求18所述的基于分割的点云数据处理***，其特征在于，所述基于模型的分割算法：
利用原始几何形态的数学模型作为先验知识进行分割,将具有相同数学表达式的点云数据归入同一区域，其中，原始几何形态包括平面、圆柱体、圆锥体、或球体。
20.如权利要求15所述的基于分割的点云数据处理***，其特征在于，所述依据点云数据的几何及属性特征对点云数据进行分割：
所述几何及属性特征包含以下任一种或任多种：
几何特征、纹理特征、法向量特征、或反射系数特征。
21.如权利要求15所述的基于分割的点云数据处理***，其特征在于，还包括：
依据点云数据的几何及属性特征相对应地设置进行投影的投影方式，分别投影得到不同的二维碎片。
22.如权利要求21所述的基于分割的点云数据处理***，其特征在于，所述投影方式采用令投射线通过点或其他物体，向选定的投影面投射，并在该面上得到图形，包含以下任意一种：
六面体投影方案；N面体投影方案；圆柱体投影方案；以及圆锥体投影方案。
23.如权利要求15所述的基于分割的点云数据处理***，其特征在于，还包括：
依照二维碎片之间的空间相关性进行拼接；
空间相关性包含在原始的点云数据中相隔距离、属性特征间的相似程度。
24.如权利要求15所述的基于分割的点云数据处理***，其特征在于，还包括：
对二维碎片进行拼接时，拼接调整因素包含以下任一种或任多种：
拼接后的图像的紧凑程度、各二维碎片之间的衔接程度因素。
25.如权利要求15所述的基于分割的点云数据处理***，其特征在于，还包括：
选择拼接方式时，选择拼接方式的参考包括以下任一种或任多种：整张图像/视频帧尺寸、有效像素个数及有效像素比例、或各二维碎片间隔距离等数值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910372764.6A CN111899162A (zh) | 2019-05-06 | 2019-05-06 | 基于分割的点云数据处理方法以及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910372764.6A CN111899162A (zh) | 2019-05-06 | 2019-05-06 | 基于分割的点云数据处理方法以及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111899162A true CN111899162A (zh) | 2020-11-06 |
Family
ID=73169470
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910372764.6A Pending CN111899162A (zh) | 2019-05-06 | 2019-05-06 | 基于分割的点云数据处理方法以及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111899162A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113012177A (zh) * | 2021-04-02 | 2021-06-22 | 上海交通大学 | 基于几何特征提取和边缘感知编码的三维点云分割方法 |
| CN115468576A (zh) * | 2022-09-29 | 2022-12-13 | 东风汽车股份有限公司 | 一种基于多模态数据融合的自动驾驶定位方法及*** |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102997871A (zh) * | 2012-11-23 | 2013-03-27 | 南京大学 | 一种利用几何投影和激光雷达反演有效叶面积指数的方法 |
| CN109544456A (zh) * | 2018-11-26 | 2019-03-29 | 湖南科技大学 | 基于二维图像和三维点云数据融合的全景环境感知方法 |
-
2019
- 2019-05-06 CN CN201910372764.6A patent/CN111899162A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102997871A (zh) * | 2012-11-23 | 2013-03-27 | 南京大学 | 一种利用几何投影和激光雷达反演有效叶面积指数的方法 |
| CN109544456A (zh) * | 2018-11-26 | 2019-03-29 | 湖南科技大学 | 基于二维图像和三维点云数据融合的全景环境感知方法 |
Non-Patent Citations (4)
| Title |
|---|
| S SCHWARZ: "Emerging MPEG Standards for Point Cloud Compression", 《IEEE JOURNAL ON EMERGING AND SELECTED TOPICS IN CIRCUITS AND SYSTEMS》 * |
| 万怡平等: "地面点云数据快速重建建筑模型的分层方法", 《测绘工程》 * |
| 师域轩等: "三维点云数据分割原理及应用", 《科技资讯》 * |
| 李刚: "基于非线性降维方法的高维数据可视化平台研究与实现", 《信息科技》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113012177A (zh) * | 2021-04-02 | 2021-06-22 | 上海交通大学 | 基于几何特征提取和边缘感知编码的三维点云分割方法 |
| CN115468576A (zh) * | 2022-09-29 | 2022-12-13 | 东风汽车股份有限公司 | 一种基于多模态数据融合的自动驾驶定位方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Bouwmans et al. | On the role and the importance of features for background modeling and foreground detection | |
| US10547811B2 (en) | System and method(s) for processor utilization-based encoding | |
| US8761509B1 (en) | Method and apparatus for fast computational stereo | |
| CA2851498C (en) | System and method for digital image signal compression using intrinsic images | |
| Wang et al. | Sparse tensor-based point cloud attribute compression | |
| Yue et al. | SIFT-based image compression | |
| CN111899162A (zh) | 基于分割的点云数据处理方法以及*** | |
| Zhou et al. | Blind Quality Assessment of Dense 3D Point Clouds with Structure Guided Resampling | |
| US20150326878A1 (en) | Selective perceptual masking via scale separation in the spatial and temporal domains using intrinsic images for use in data compression | |
| Sommer et al. | Primitect: Fast continuous hough voting for primitive detection | |
| Nousias et al. | A saliency aware CNN-based 3D model simplification and compression framework for remote inspection of heritage sites | |
| US20200186751A1 (en) | System and method(s) for processor utilization-based encoding | |
| Figueiredo et al. | Saliency maps for point clouds | |
| Abri et al. | Multi-thread frame tiling model in concurrent real-time object detection for resources optimization in yolov3 | |
| Karakottas et al. | 360D: a dataset and baseline for dense depth estimation from 360 images | |
| Huang et al. | Generalized rank conditions in multiple view geometry with applications to dynamical scenes | |
| CN111899152A (zh) | 基于投影及视频拼接的点云数据压缩方法及*** | |
| US20150350647A1 (en) | Selective perceptual masking via downsampling in the spatial and temporal domains using intrinsic images for use in data compression | |
| Schiopu et al. | Subaperture image segmentation for lossless compression | |
| Jin et al. | Meshreduce: Scalable and bandwidth efficient 3d scene capture | |
| CN111862098A (zh) | 基于光场语义的个体匹配方法、装置、设备和介质 | |
| Koschan | Improving robot vision by color information | |
| WO2024066123A1 (en) | Lossless hierarchical coding of image feature attributes | |
| Li et al. | 3D point cloud attribute compression based on cylindrical projection | |
| US11676334B2 (en) | Method and apparatus for plenoptic point clouds generation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201106 |
|
| RJ01 | Rejection of invention patent application after publication |