CN114708343A - 基于图字典学习的三维点云编解码方法、压缩方法及装置 - Google Patents

基于图字典学习的三维点云编解码方法、压缩方法及装置 Download PDF

Info

Publication number
CN114708343A
CN114708343A CN202210288552.1A CN202210288552A CN114708343A CN 114708343 A CN114708343 A CN 114708343A CN 202210288552 A CN202210288552 A CN 202210288552A CN 114708343 A CN114708343 A CN 114708343A
Authority
CN
China
Prior art keywords
point cloud
signal
layer
dictionary
voxel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210288552.1A
Other languages
English (en)
Inventor
戴文睿
李鑫
李劭辉
李成林
邹君妮
熊红凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202210288552.1A priority Critical patent/CN114708343A/zh
Publication of CN114708343A publication Critical patent/CN114708343A/zh
Priority to PCT/CN2022/137392 priority patent/WO2023179096A1/zh
Priority to US18/590,993 priority patent/US20240202982A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/40—Tree coding, e.g. quadtree, octree
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Processing (AREA)

Abstract

本发明提供三维点云图字典学习方法以及基于图字典学习的编解码方法、压缩方法及装置，包括：获得N幅训练集点云数据；对点云数据进行体素化处理，获得体素化的训练集点云数据；对训练集点云数据进行体素块划分，选取若干体素块作为训练集，根据训练集构建图字典学习模型；对图字典学习的目标函数进行迭代优化，获得用于三维点云信号的编解码的图字典。本发明有效地利用点云信号之间的空间相关性，渐进最优地去除点云信号之间的冗余性；利用不同层级信号之间的数据相关性由低层级自上而下进行预测编码，有效地提升了3D点云属性信号的压缩效率，有效减少编码开销，灵活地满足实际需求中对不同质量的解码信号的需求，具有可伸缩性。

Description

基于图字典学习的三维点云编解码方法、压缩方法及装置
技术领域
本发明涉及一种3D点云数据压缩技术领域的方案，具体地说，涉及的是一种基于图字典学习的三维点云编解码方法、压缩方法及装置。
背景技术
近年来，随着3D采集和感知设备的迅猛发展，3D点云等非规则数据被广泛应用于自动驾驶、虚拟现实、增强现实、3D远景视频通信和遗迹重建等诸多新兴技术领域。一幅3D点云图像通常包含数以百万计个包含几何信息和属性信息的点，因此其数据规模往往巨大，需要耗费大量的计算资源与存储空间。受到实际网络带宽与有限存储空间的制约，现有的存储和传输在此方式下的需求，已经远远超出节点和局部计算的资源限制。因此，探索有效的3D点云压缩方法成为亟待解决的重要问题。
经过对现有技术的文献检索发现，早期的3D点云属性压缩方案通过使用固定的解析基函数对点云信号进行表示编码。C.Zhang等人在2014年的IEEE InternationalConference on Image Processing(ICIP2014)会议上发表的“Point Cloud AttributeCompression with Graph Transform”一文中开创性地利用图傅里叶变换来去除点云体素块属性信号之间的相关性。它利用点云体素块之间的空间相关性构建最近邻图，并计算得到图拉普拉斯矩阵作为变换基矩阵，以对点云信号进行编码。然而，由于计算图拉普拉斯矩阵需要进行特征值分解，计算复杂度很高，不利于实时传输。
为了降低计算复杂度，R.L.de Queiroz等人在2016年的《IEEE Transactions onImage Processing》(TIP2016)期刊上发表的“Compression of 3D Point Clouds Using aRegion-Adaptive Hierarchical Transform”一文中提出标准正交的区域自适应的哈尔变换(Region-Adaptive Haar Transform,RAHT)，利用3D点云的几何信息自适应地设计哈尔变化基，对点云进行变化编码。随后，S.Gu等人在2020年的《IEEE Transactions on ImageProcessing》(TIP2020)期刊上发表的“3D point cloud attribute compression usinggeometry-guided sparse representation”一文中提出了一种基于
Figure BDA0003559250760000011
范数约束的几何自适应的稀疏编码方法，利用点云信号的几何信息设计固定的变化基并基于稀疏编码方法去除点云信号之间的冗余性，进行编码压缩。然而，上述的非欧空间稀疏表示方法严重依赖于几何信息，忽略了信号本身的统计特性，需要借助由严格数学表达式推导出的固定变换基，无法自适应地表达复杂的空间非规则的多维信号。
Y.Shen等人在2020年的IEEE Transactions on Circuits and Systems forVideo Technology》(TCSVT2020)期刊上发表的“Multi-scale structured dictionarylearning for3-D point cloud attribute compression”一文中提出一种基于多尺度字典学习的结构化稀疏表示编码方案，利用3D点云信号本身的统计特性学习一个多尺度字典并获得结构化的稀疏表示结果，以提升压缩表示性能。但是这种方案并没有考虑信号本身固有的潜在结构特征，因此无法有效地表达分布在复杂拓扑空间的非规则的多维信号，使得其表示压缩性能得到限制。
另外，MPEG 3DG PCC标准化组织自2017年起开始对3D点云压缩技术进行提案征集，目前已进入最终的草案撰写阶段。它将3D点云划分成三种不同类别，分别是：静态点云(Category 1)、动态时变的点云(Category 2)和动态获得的点云(Category 3)。针对这三种不同类型的3D点云，它发布了3种不同的测试模型(TMs)，包括采用区域自适应的小波变换的针对静态点云的TMC1，基于图像视频编码方案的针对动态时变点云的TMC2以及基于预测提升变换的针对动态获得的点云的TMC3。由于TMC1和TMC3都是基于几何信息的变换编码方案，它们最终被合并在一起，称作Geometry-based Point Cloud Compression(G-PCC)标准技术；而TMC2通过将3D点云投影成2D平面序列并利用现有的HEVC等视频编码标准对其进行压缩，被称作Video-based Point Cloud Compression(V-PCC)标准技术。但是V-PCC在投影过程中会引入不可避免的失真，而G-PCC的属性空间变换方案仅依赖于几何信息，没有考虑属性信号本身的统计特点，因此降低了属性信号的压缩质量。
发明内容
本发明针对上述问题，提出了一种三维点云的图字典学习方法以及基于图字典学习的编解码方法、压缩方法及装置。
根据本发明的第一方面，提供了一种三维点云的图字典学习方法，包括：
获得N幅训练集点云数据；
对所述N幅训练集点云数据进行体素化处理，获得体素化的训练集点云数据；
对所述体素化的训练集点云数据进行体素块划分，选取若干体素块作为图字典学习的训练集，根据所述训练集构建图字典学习模型，建立图字典学习目标函数；
对所述图字典学习的目标函数进行迭代优化，获得用于三维点云信号的编解码的图字典。
优选地，对所述N幅训练集点云数据进行体素化处理，获得体素化的训练集点云数据，包括：
将点云数据划分为空间坐标系对齐的、规则的体素；
计算每个体素的几何坐标和属性信号，得到体素化的点云数据。
优选地，对所述体素化的训练集点云数据进行体素块划分，选取若干体素块作为图字典学习的训练集，包括：
将所述所有体素化的训练集点云数据所在的边界立方体均匀划分为m×m×m的体素块，m为预先设定的边长；
对每幅训练集点云数据的所有体素块按照所包含体素的数量进行降序排序；
从每幅训练集点云数据中选取包含体素数量最多的前r个体素块，计算所述前r个体素块中每个体素块所包含体素的所述属性信号的平均值，作为体素块的直流属性信号，r为预先设定的正整数；
从每个体素中减去所述直流属性信号，得到残差属性信号作为训练信号，构成图字典学习的训练集。
优选地，所述根据所述训练集构建图字典学习模型，建立图字典学习目标函数，其中，基于非线性p拉普拉斯算子构建图字典学习模型，包括：
将所述训练集信号作为图信号构建图拓扑连接结构
Figure BDA0003559250760000031
其中V表示m3个结点的集合，ε表示连接m3个节点的边的集合，
Figure BDA0003559250760000032
表示边的权值矩阵；
利用所述构建图拓扑连接结构的p拉普拉普算子的特征基函数构造图字典学习模型，建立图字典学习目标函数：
Figure BDA0003559250760000033
其中，
Figure BDA0003559250760000034
表示第i个训练集体素块，
Figure BDA0003559250760000035
是每个元素取值为0或1的掩膜矩阵用于从xi中提取对应的mi个体素，
Figure BDA0003559250760000036
表示由S个完备子字典
Figure BDA0003559250760000041
组成的过完备图字典，即：D＝[D1，...，DS]，
Figure BDA0003559250760000042
用于约束对应完备子字典Ds的ps拉普拉普算子的特征基，wij表示权值矩阵W的第i行第j列的元素，dsk表示第s个子字典的第k个原子，dski表示dsk的第i个元素，
Figure BDA0003559250760000043
表示稀疏系数矩阵，
Figure BDA0003559250760000044
为稀疏系数矩阵A的列向量表示信号xi在图字典D上的稀疏系数，
Figure BDA0003559250760000045
表示单位矩阵，n＝Nr是训练集体素块的个数，ps表示第s个子字典对应的幂指参数，β、γ和λ表示对应的正则化参数。
优选地，对所述图字典学习模型的目标函数进行迭代优化，获得用于三维点云信号的编解码的图字典，包括：
对所述图字典学习目标函数迭代优化以得到图字典，其中，每次迭代中交替固定字典D求解几何自适应的稀疏编码子问题和固定稀疏系数矩阵A求解图字典更新子问题，直到预定的迭代次数，得到用于三维点云信号的编解码的图字典。
优选地，对所述图字典学习目标函数迭代优化以得到图字典，包括：
根据所述图字典更新子问题求解得到的固定图字典D，对每个训练集体素块，逐个求解几何自适应的稀疏编码子问题，得到稀疏系数矩阵A：
Figure BDA0003559250760000046
根据所述几何自适应的稀疏编码子问题求解得到的固定稀疏系数矩阵A，利用交替方向乘子法求解所述图字典更新子问题，得到图字典D：
Figure BDA0003559250760000047
其中，
Figure BDA00035592507600000412
表示逐元素相乘的哈达玛积，
Figure BDA0003559250760000048
表示训练集信号的集合，
Figure BDA0003559250760000049
表示所有训练集信号的掩膜矩阵集合，
Figure BDA00035592507600000410
表示元素全为1的向量。
优选地，所述交替方向乘子法，包括：
通过引入一个辅助变量Z代替D将所述字典更新优化子问题中非凸的第二项和第三项与凸的第一项分离，转化成一个约束优化问题：
Figure BDA00035592507600000411
其中，Z＝[Z1，...，ZS]，Zs＝Ds，s＝1，...，S表示每个字典对应的子辅助变量；
引入一个对偶变量
Figure BDA0003559250760000051
将所述约束优化问题转变为它的增广拉格朗日函数，获得三个子优化问题：
Figure BDA0003559250760000052
Figure BDA0003559250760000053
U+＝U+D-Z
其中，ρ表示引入的惩罚参数；
交替求解三个子优化问题对三个变量进行交替更新，直至收敛，获得图字典。
根据本发明的第二个方面，提供一种基于图字典学习的三维点云信号编码方法，根据上述的方法获得的图字典，对三维点云信号编码，生成三维点云信号码流。
优选地，所述对三维点云信号编码，生成三维点云信号码流，包括：
将所述三维点云信号进行质量层划分，获得l个质量层；
单一质量层点云信号编码，获得所在质量层的点云信号码流；
单一质量层点云信号解码，获得所在质量层的重构点云信号；
依次对l个质量层编解码，合并l个质量层点云信号码流，得到三维点云信号码流。
优选地，所述将所述三维点云信号进行质量层划分，获得l个质量层，包括：
将三维点云数据划分为l个质量层，按照质量层由低到高，第1层为基本层，之后l-1层为增强层，分别为第1个增强层直至第l-1个增强层，并分别获得所述基本层和各个所述增强层的点云信号；
对获得的l个质量层的点云信号，将最后得到的最低质量层作为基本层，将其它l-1个层按照质量从低到高依次作为第1到第l-1个增强层。
优选地，所述获得基本层和各个增强层的点云信号，包括：
体素化点云数据，输出体素化的点云信号，作为最高质量层的点云信号；
对所述体素化的点云信号进行l-1次体素块合并，获得l-1个不同质量层的点云信号，作为基本层以及第1到第l-2个增强层的点云信号；
所述每次体素块合并的输入为前一次体素块合并得到的高质量层的点云信号，输出低质量层的点云信号，作为下一次体素块合并的输入。
优选地，所述体素块合并，包括：
将所述高质量层的点云信号所在的边界立方体划分为均匀分布的c×c×c体素块；
合并每个体素块中包含的体素，作为所述低质量层的点云信号的一个体素；
将每个体素块所包含体素的几何坐标的最大值缩小c倍并四舍五入取整作为所述低质量层的点云信号中对应体素的几何坐标；
将每个体素块所包含体素的属性信号的平均值作为所述低质量层的点云信号中对应体素的属性信号的值；
得到所述低质量层的点云信号。
优选地，所述单一质量层点云信号编码，获得所在质量层的点云信号码流，包括：
几何信息编码，对点云信号的几何坐标依照八叉树结构进行划分，为八叉树结构中的每一个分支结点分配一个八比特的字节单元，用于表示该分支结点的子结点所对应的空间单元中是否有点云的点数据存在，通过对八叉树结构以深度-广度优先顺序进行遍历，得到字节单元序列表示所有空间单元的几何坐标，熵编码字节单元序列获得几何信息码流；
层间属性信号预测，仅对增强层则利用解码的前一层重构点云信号和当前层点云信号的几何坐标，获得当前层属性信号的层间预测信号，用于属性信号预处理；
属性信号预处理，将当前层的点云信号所在的边界立方体按照预先设定的边长m均匀划分为m×m×m体素块；若输入的质量层为基本层，对每个体素块所包含体素的属性信号的值求平均，获得直流属性信号，从每个体素块所包含体素的属性信号中减去直流属性信号得到残差属性信号；若输入的质量层为增强层，将当前层属性信号减去所述层间预测信号，获得当前层的残差属性信号；
直流属性信号编码，仅对基本层的直流属性信号均匀量化，将每个体素块和相邻体素块的量化直流属性信号做差，并熵编码得到直流属性信号码流；
残差属性信号编码，利用所述图字典和当前层的几何坐标对每个立方体块的残差属性信号进行几何自适应的稀疏编码，得到稀疏系数矩阵，对稀疏系数矩阵进行均匀量化，对量化后的稀疏系数矩阵中非零元素的值和位置分别进行熵编码，得到残差属性信号码流；
点云信号码流合并，合并第l′个质量层的所述几何信息码流和所述属性信号码流，得到第l′个质量层点云信号码流。
优选地，所述层间属性信号预测，包括：
判断输入的质量层，若为基本层则无操作；
若为增强层则利用几何坐标将当前层的点云信号所在的边界立方体划分为均匀分布的c×c×c体素块，对每个体素块中所包含体素的属性信号进行预测；
将前一层点云信号的每个体素的几何坐标扩大c倍，并四舍五入取整，查找与每个体素块空间距离最近的19个相连体素块对应的前一层点云信号的体素，包括其本身，逐个计算每个体素块中所包含的体素与前一层点云信号中与该体素块相连的19个体素的空间距离，选择空间距离最近的7个相连体素，以所述7个相连体素空间距离的倒数作为权重对这7个相连体素的属性信号进行加权平均，获得体素块中所包含体素的层间预测信号。
优选地，所述残差属性信号编码，包括：
利用每个体素块所包含体素的几何坐标，从图字典中提取对应的行组成子字典；
归一化所述提取的每个体素块对应的子字典；
利用所述归一化子字典，对每个体素块所包含体素的残差属性信号基于
Figure BDA0003559250760000071
正则化稀疏项进行几何自适应的稀疏编码，得到稀疏系数矩阵：
对稀疏系数矩阵进行均匀量化，将量化后的稀疏系数矩阵的非零元素的值和位置(行坐标和列坐标)分别进行熵编码，合并获得残差属性信号码流。
优选地，所述单一质量层点云信号解码，获得所在质量层的重构点云信号，包括：
点云信号码流拆分，拆分第l′个所述质量层的点云信号码流，获得第l′个质量层的所述几何信息码流和所述属性信号码流；
几何信息解码，从所述几何信息码流熵解码获得八叉树结构和每个分支结点的字节单元，进而得到每个体素的几何坐标；
层间属性信号预测，从前一个质量层的重构点云信号获得层间预测信号；
直流属性信号解码，仅对基本层直流属性信号码流进行熵解码，对每个体素块，与相邻体素块的解码直流属性信号相加，并进行反均匀量化，得到重构直流属性信号；
残差属性信号解码，对残差属性信号码流进行熵解码以及反量化，得到重构的稀疏系数矩阵；利用每个体素块所包含体素的几何坐标，从图字典中提取对应的行组成子字典，并进行归一化；将所述归一化的子字典和重构得到的系数矩阵中对应体素块的稀疏向量相乘，获得对应体素块所包含体素的重构残差属性信号；
三维点云重构，判断输入的质量层，若为基础层，则将所述基本层直流属性信号和所述基本层残差属性信号相加，得到基本层的重构属性信号；若为增强层，则将所述层间预测信号和所述增强层残差属性信号相加，得到增强层的重构属性信号；将重构属性信号和几何坐标对齐，得到当前层的重构点云信号，用于下一个增强层的单一质量层点云信号编码和点云信号解码。
根据本发明的第三个方面，提供一种基于图字典学习的三维点云信号解码方法，用于解码上述的基于图字典学习的三维点云信号编码方法所得的三维点云信号码流，包括：
从三维点云信号码流截取前l′个质量层的点云信号码流，l′是任一不小于l的正整数，按层数大小依次对应基本层、第1个增强层、…、第l′-1个增强层；
根据所述图字典，自基本层开始依次对l′个质量层进行单一质量层点云信号解码，得到对应前l′层的重构三维点云信号，l′≤l。
根据本发明的第四个方面，提供一种基于图字典学习的三维点云压缩方法，包括：
获得待编码点云数据，所述待编码点云数据为三维点云信号；
采用上述基于图字典学习的三维点云信号编码方法，将三维点云信号编码为三维点云信号码流；
采用上述基于图字典学习的三维点云信号解码方法，从所述三维点云信号码流解码重构三维点云信号。
根据本发明的第五个方面，提供一种基于图字典学习的三维点云处理装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序；所述处理器在执行所述程序时可以执行以下任一种方法：
-上述的三维点云图字典学习方法，或，
-上述的基于图字典学习的三维点云信号编码方法，或，
-上述的一种基于图字典学习的三维点云信号解码方法，或，
-上述的一种基于图字典学习的三维点云压缩方法。
与现有技术相比，本发明具有如下至少一种有益效果：
本发明实施例中的三维点云图字典学习方法，其中三维点云的图字典学习方法可以有效地利用点云信号之间的空间相关性，渐进最优地去除点云信号之间的冗余性；
本发明实施例中的基于图字典学习的三维点云编解码方案、压缩方法及装置，适用于点云信号无损几何与有损属性压缩，利用不同层级信号之间的数据相关性由低层级自上而下进行预测编码，有效地提升了3D点云属性信号的压缩效率，不仅可以有效地减少编码开销，并且能够灵活地满足实际需求中对不同质量的解码信号的需求，具有可伸缩性；
本发明实施例中的基于图字典学习的三维点云编解码方案、压缩方法及装置，与基于图傅里叶、或区域自适应哈尔小波和基于图傅里叶基的几何指导的稀疏编码方法的解析变换相比，能够自适应地利用训练集数据的统计先验信息，与基于多尺度字典学习的结构化稀疏表示编码方案相比可以有效利用训练集信号的空间拓扑相关性，因此可以有效提升点云信号的重建质量；与MPEG PCC国际标准相比，不单单依赖几何信息构建属性变换基，学习到的图字典能够有效同时利用属性信号之间的统计先验信息和拓扑结构信息，获得了显著的性能增益。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明一较优实施例结构框图；
图2为本发明一实施例的单一质量层点云信号编码的结构框图；
图3为本发明一实施例的单一质量层点云信号解码的结构框图；
图4为本发明一实施例的层间属性信号预测的结构框图。
具体实施方式
下面结合具体实施例和附图，对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
本发明利用点云信号本身固有的拓扑结构信息学习得到一个图字典对点云信号进行渐进最优的稀疏表示，有效地去除了信号之间的冗余信息，并将点云信号划分为不同的质量层级，利用不同层级信号之间的数据相关性由低层级自上而下进行预测编码，不仅可以有效地减少编码开销，并且能够灵活地满足实际需求中对不同质量的解码信号的需求，压缩效果超越现有最优的变换编码方案以及MPEG 3DG G-PCC国际标准方案。基于上述发明构思，本发明提供一个实施例，如图1所示，一种三维点云的图字典学习方法，包括：
S100获得N幅训练集点云数据，包括每个点的几何坐标以及颜色、法向量等作为属性信号；
S200体素化点云数据，将点云数据划分为空间坐标系对齐的、均匀分布的体素，计算每个体素的几何坐标和属性信号，得到体素化的点云数据；
S300体素块划分，将体素化的点云数据所在的边界立方体均匀划分为m×m×m的体素块，m为预先设定的边长；并对体素块进行排序，获得训练集；
S400构建图字典学习模型并进行优化求解，得到图字典，用于三维点云信号的编解码。
在本实施例中，m取8以平衡性能与计算复杂度，r取50，总的点云训练集个数N为2000，共提取10000个块，在其他实施例中，也可以选择其他的参数，本发明并不限于上述的参数。
为了有效利用点云信号之间的空间相关性，渐进最优地去除点云信号之间的冗余性，本发明提供一个优选实施例执行S200体素化点云数据，包括：
S201利用八叉树结构将点云数据所在的边界立方体进行递归划分。自边界立方体开始，自上而下地将每个立方体划分为8个小立方体，依次迭代，直至到达规定的划分层次L，得到多个与坐标轴对齐的均匀分布的叶子结点立方体块集合，将每个非空的包含有点的叶子结点立方体块作为一个体素；通常，八叉树的划分层次数L设置为9或10，当然，在其他实施例中，也可以选择其他的划分的次数，本发明并不限于上述的参数；
S202合并每个体素所包含的点。计算每个体素的几何坐标和属性信号，其中将每个体素对应的叶子节点立方体块的中心位置的几何坐标四舍五入量化为整数作为合并后体素的几何坐标，将每个体素对应的叶子节点立方体块所包含点的属性信号的平均值作为合并后体素的属性信号。
本发明的一个实施例中，S300中对体素块进行排序，获得训练集，包括：对点云数据的所有体素块按照所包含体素的数量进行降序排序，选取包含体素数量最多的前r个体素块，计算每个体素块所包含体素的属性信号的平均值作为体素块的直流属性信号，并从每个体素减去直流属性信号，得到残差属性信号作为训练信号，构成图字典学习的训练集。其中，r为预先设定的正整数。
本发明提供一个优选实施例执行S400构建图字典学习模型并进行优化求解，得到图字典，用于三维点云信号的编解码，其中基于非线性p拉普拉斯操作算子构建图字典学习模型，包括：
S401将训练集信号作为图信号构建图拓扑连接结构
Figure BDA0003559250760000111
其中V表示m3个结点的集合，ε表示连接m3个节点的边的集合，
Figure BDA0003559250760000112
表示边的权值矩阵；在本实施例中，依照空间位置关系构建∈-neighborhood图连接结构
Figure BDA0003559250760000113
即给定一个阈值∈，若图信号的两个节点之间的距离小于该阈值，将这两个节点相连构成图结构的一条边，并为该条边赋予一个权值1，否则，不连接这两个节点，其中∈取1，当然，在其他实施例中，也可以选择其他的构图方案或选取其他的阈值参数，本发明并不限于上述的构图方案以及参数设置；
S402利用所构造图结构的p拉普拉普算子的特征基函数构造图字典学习模型，优化基于
Figure BDA00035592507600001113
范数稀疏惩罚项的目标函数：
Figure BDA0003559250760000114
其中，
Figure BDA0003559250760000115
表示第i个训练集体素块，
Figure BDA0003559250760000116
是每个元素取值为0或1的掩膜矩阵用于从xi中提取对应的mi个体素，
Figure BDA0003559250760000117
表示由S个完备子字典
Figure BDA0003559250760000118
组成的过完备图字典，即：D＝[D1，...，DS]，
Figure BDA0003559250760000119
用于约束对应完备子字典Ds的ps拉普拉普算子的特征基，wij表示权值矩阵W的第i行第j列的元素，dsk表示第s个子字典的第k个原子，dski表示dsk的第i个元素，
Figure BDA00035592507600001110
表示稀疏系数矩阵，
Figure BDA00035592507600001111
为稀疏系数矩阵A的列向量表示信号xi在图字典D上的稀疏系数，
Figure BDA00035592507600001112
表示单位矩阵，n＝Nr是训练集体素块的个数，ps表示第s个子字典对应的幂指参数，β、γ和λ表示对应的正则化参数。
图字典学习优化目标函数中，第一项表示数据拟合项，使得图字典和对应的稀疏码拟合原始数据；第二项表示对p拉普拉斯算子特征基的约束，用以约束图字典的拓扑连接结构，使得学习得到的图字典尽可能相近地与原始信号保持相同的拓扑变化规律；第三项表示对图字典正交性的约束，用以去除图字典原子之间的相关性；第四项是稀疏正则项，用以约束所得到的系数的稀疏性；
S403对图字典学习目标函数迭代优化，每次迭代中交替固定字典D求解几何自适应的稀疏编码子问题和固定稀疏系数矩阵A求解图字典更新子问题，直到预定的迭代次数，得到图字典。具体的，包括：
S4031根据图字典更新子问题求解得到的图字典D，求解几何自适应的稀疏编码子问题，得到稀疏系数矩阵A：
Figure BDA0003559250760000121
这里，几何自适应的稀疏编码子问题可以使用常用的
Figure BDA0003559250760000129
范数约束稀疏编码方法进行求解，包括但不限于最小角回归(LARS)、基追踪(BP)、迭代收缩阈值方法(ISTA)、交替方向乘子法(ADMM)等；在本实施例中，选取最小角回归(LARS)方法进行求解；
S4032根据几何自适应的稀疏编码子问题求解得到的固定稀疏系数矩阵A，利用交替方向乘子法求解图字典更新子问题，得到图字典D：
Figure BDA0003559250760000122
其中，
Figure BDA0003559250760000128
表示逐元素相乘的哈达玛积，
Figure BDA0003559250760000123
表示训练集信号的集合，
Figure BDA0003559250760000124
表示所有训练集信号的掩膜矩阵集合，
Figure BDA0003559250760000125
表示元素全为1的向量。
进一步的，交替方向乘子法包括：
通过引入一个辅助变量Z代替D将字典更新优化子问题中非凸的第二项和第三项与凸的第一项分离，转化成一个约束优化问题：
Figure BDA0003559250760000126
其中，Z＝[Z1，...，ZS]，Zs＝Ds，s＝1，...，S表示每个字典对应的子辅助变量。
通过引入一个对偶变量
Figure BDA0003559250760000127
将上述约束优化问题转变为它的增广拉格朗日函数，进而获得三个子优化问题：
Figure BDA0003559250760000131
Figure BDA0003559250760000132
U+＝U+D-Z
其中，ρ表示引入的惩罚参数。
交替求解三个子优化问题对三个变量进行交替更新，直至收敛，获得图字典。
本实施例中，为消除计算复杂的哈达玛积，D可通过对其每一行的元素直接求得解析解进行并行求解，由于Z子优化问题是非凸，因此选取随机梯度下降算法进行求解。
本发明上述实施例有效地利用点云信号之间的拓扑结构关系学习得到一个图字典，对点云信号渐进最优的去除信号之间的冗余度，提升编码效率。
基于相同的发明构思，本发明实施例中还提供一种基于图字典学习的三维点云编码方法，根据图字典，对三维点云信号编码，生成三维点云信号码流，三维点云信号码流可截断为l个质量层，l为任一正整数，且任意前l′个(l′≤l)质量层都能够解码获得一个不同质量的重构三维点云信号，包括：
S1质量层划分，将三维点云数据划分为l个质量层，按照质量层由低到高，第1层为基本层，之后l-1层为增强层，分别为第1个增强层直至第l-1个增强层，并分别获得基本层和各个增强层的点云信号；
S2单一质量层点云信号编码，对输入的第l′个(1≤l′≤l)质量层的点云信号编码，其中几何坐标进行无损编码，生成第l′个质量层的几何坐标码流；属性信号利用图字典和几何坐标进行有损编码，生成第l′个质量层的属性信号码流；合并第l′个质量层的几何信息码流和属性信号码流，得到第l′个质量层点云信号码流；
S3单一质量层点云信号解码，拆分第l′个(1≤l′≤l)质量层点云信号码流，获得第l′个质量层的几何信息码流和属性信号码流；从第l′个质量层的几何信息码流，解码获得几何坐标；利用第l′个质量层的几何坐标和图字典从第l′个质量层的属性信号码流解码得到第l′个质量层的重构属性信号；将第l′个质量层的几何坐标和重构属性信号合并作为第l′个质量层的重构点云信号，用于第l′+1个质量层点云信号的编解码；
S4依次对l个质量层编解码，合并l个质量层点云信号码流，得到三维点云信号码流。在本实施例中，l取3，当然，在其他实施例中，也可以选用其他的层级数，本发明并不限于上述的层级数设置。
本发明上述实施例有效提升了3D点云属性信号的压缩效率，不仅可以有效地减少编码开销，并且能够灵活地满足实际需求中对不同质量的解码信号的需求。
如图1所示，在一优选实施例中，S1质量层划分过程为：
S11体素化点云数据，输出体素化的点云信号，作为最高质量层的点云信号；具体为：将高质量层的点云信号所在的边界立方体划分为均匀分布的c×c×c体素块。
S12对体素化的点云信号进行l-1次体素块合并，获得l-1个不同质量层的点云信号，每次体素块合并的输入为前一次体素块合并得到的高质量层的点云信号，输出低质量层的点云信号，作为下一次体素块合并的输入，具体为：
合并每个体素块中包含的体素，作为低质量层的点云信号的一个体素，将每个体素块所包含体素的几何坐标的最大值缩小c倍并四舍五入取整作为低质量层的点云信号中对应体素的几何坐标，将每个体素块所包含体素的属性信号的平均值作为低质量层的点云信号中对应体素的属性信号的值，得到低质量层的点云信号。
S13对获得的l个质量层的点云信号，将最后得到的最低质量层作为基本层，将其它l-1个层按照质量从低到高依次作为第1到第l-1个增强层。
其中，不同大小的c决定了相邻质量层点云信号的差距，c越大质量层间信号相差越大，层间预测效果会变差，残差属性信号的值会越大。本实施例将c优选为2，以减少相邻质量层之间的预测残差，提升压缩性能。
如图2所示，在一优选实施例中，S2单一质量层点云信号编码，对输入的第l′个(1≤l′≤l)质量层的点云信号编码，其中：几何坐标进行无损编码，生成第l′个质量层的几何坐标码流；属性信号利用图字典和几何坐标进行有损编码，生成第l′个质量层的属性信号码流；合并第l′个质量层的所述几何信息码流和所述属性信号码流，得到第l′个质量层点云信号码流。
具体的，单一质量层点云信号编码包括：几何信息编码、层间属性信号预测、属性信号预处理、直流属性信号编码和残差属性信号编码、点云信号码流合并。
S21几何信息编码，对点云信号的几何坐标依照八叉树结构进行划分，为八叉树结构中的每一个分支结点分配一个八比特的字节单元，用于表示该分支结点的子结点所对应的空间单元中是否有点云的点数据存在，通过对八叉树结构以深度-广度优先顺序进行遍历，得到字节单元序列表示所有空间单元的几何坐标，熵编码字节单元序列获得几何信息码流；
S22层间属性信号预测，对输入的基本层不操作，对增强层则利用解码的前一层重构点云信号和当前层点云信号的几何坐标，获得当前层属性信号的层间预测信号，用于属性信号预处理；
S23属性信号预处理，将当前层的点云信号所在的边界立方体按照预先设定的边长m均匀划分为m×m×m体素块；若输入的质量层为基本层，对每个体素块所包含体素的属性信号的值求平均，获得直流属性信号，从每个体素块所包含体素的属性信号中减去直流属性信号得到残差属性信号；若输入的质量层为增强层，将当前层属性信号减去层间预测信号，获得当前层属性信号的预测残差；
S24直流属性信号编码，仅对基本层操作，对基本层的直流属性信号均匀量化，将每个体素块和相邻体素块的量化直流属性信号做差，并熵编码得到直流属性信号码流；
S25残差属性信号编码，利用图字典和当前层的几何坐标对每个立方体块的残差属性信号进行几何自适应的稀疏编码，得到稀疏系数矩阵，对稀疏系数矩阵进行均匀量化，对量化后的稀疏系数矩阵中非零元素的值和位置分别进行熵编码，得到残差属性信号码流；
S26点云信号码流合并，合并第l′个质量层的所述几何信息码流和所述属性信号码流，得到第l′个质量层点云信号码流。
进一步的，S22层间属性信号预测的过程为：
S221判断输入的质量层，若为基本层则无操作；
S222若为增强层则利用几何坐标将当前层的点云信号所在的边界立方体划分为均匀分布的c×c×c体素块，对每个体素块中所包含体素的属性信号进行预测；
S223逐个计算每个体素块中所包含的体素与前一层点云信号中与该体素块相连的19个体素块的空间距离，选择空间距离最近的7个相连体素块，以它们的空间距离的倒数作为权重对这7个相连体素块的属性信号进行加权平均，获得体素块中所包含体素的层间预测信号。
在本实施例中，将c优选为2，以减少相邻质量层之间的预测残差，提升压缩性能。
具体的，S25残差属性信号编码具体操作为：
S251利用每个体素块所包含体素的几何坐标，从图字典中提取对应的行组成子字典；
S252归一化提取的每个体素块对应的子字典；
S253利用归一化子字典，对每个体素块所包含体素的残差属性信号基于
Figure BDA0003559250760000162
正则化稀疏项进行几何自适应的稀疏编码，得到稀疏系数矩阵：
Figure BDA0003559250760000161
这里，可以使用常用的
Figure BDA0003559250760000163
范数约束稀疏编码方法进行求解，包括但不限于匹配追踪(MP)、正交匹配追踪(OMP)、迭代硬阈值方法(IHT)；在本实施例中，求解方法采用正交匹配追踪方法，当然，在其他实施例中，也可以选取其他的求解方法，本发明并不局限于上述求解方法；
S254对稀疏系数矩阵进行均匀量化，将量化后的稀疏系数矩阵的非零元素的值和位置(行坐标和列坐标)分别进行熵编码，合并获得残差属性信号码流。
如图3所示，在一优选实施例中，S3单一质量层点云信号解码，获得所在质量层的重构点云信号，包括：拆分第l′个所述质量层的点云信号码流，获得第l′个质量层的所述几何信息码流和所述属性信号码流；从第l′个质量层的几何信息码流，解码获得几何坐标；利用第l′个质量层的几何坐标和图字典从第l′个质量层的属性信号码流解码得到第l′个质量层的重构属性信号；将第l′个质量层的所述几何坐标和所述重构属性信号合并作为第l′个质量层的重构点云信号，用于第l′+1个质量层点云信号的编解码。
具体的，包括：点云信号码流拆分、几何信息解码、层间属性信号预测、直流属性信号解码、残差属性信号解码和三维点云重构。
S31点云信号码流拆分，拆分第l′个所述质量层的点云信号码流，获得第l′个质量层的所述几何信息码流和所述属性信号码流；
S32几何信息解码，从几何信息码流熵解码获得八叉树结构和每个分支结点的字节单元，进而得到每个体素的几何坐标；
S33层间属性信号预测，同上，从前一个质量层的重构点云信号获得层间预测信号；
S34直流属性信号解码，仅对基本层操作，对基本层直流属性信号码流进行熵解码，将解码得到的相邻序列的信号值依次相加后进行反均匀量化，得到重构直流属性信号；
S35残差属性信号解码，对残差属性信号码流进行熵解码以及反量化，得到重构的稀疏系数矩阵；利用每个体素块所包含体素的几何坐标，从图字典中提取对应的行组成子字典，并进行归一化；将归一化的子字典和重构得到的系数矩阵中对应体素块的稀疏向量相乘，获得对应体素块所包含体素的重构残差属性信号；
S36三维点云重构，判断输入的质量层，若为基础层，则将基本层直流属性信号和基本层残差属性信号相加，得到基本层的重构属性信号；若为增强层，则将层间预测信号和增强层残差属性信号相加，得到增强层的重构属性信号；将重构属性信号和几何坐标对齐，得到当前层的重构点云信号，用于下一个增强层的单一质量层点云信号编码和点云信号解码。
待编码点云数据一共有l个质量层，按照质量由低到高分别是基本层、增强层1、...、增强层l-1，从基本层的点云信号码流解码可以得到对于三维点云信号最低质量的重构结果，之后按照增强层从低到高，每引入一个增强层就能够得到对于三维点云信号更高质量的重构结果，直到采用所有l个质量层得到对于三维点云信号最高质量的重构结果。在现实应用中，可以根据传输码率的限制，按照每个质量层的码率，选择前l′个质量层进行传输和解码，提供该传输码率下最好的重构质量。
基于上述发明构思，本发明实施例中还提供一种基于图字典学习的三维点云解码方法，从三维点云信号码流截取前l′个质量层的点云信号码流，l′是任一不小于l的正整数，根据图字典，对l′个质量层的点云信号码流进行解码，获得一个具有不同质量的重构三维点云信号，包括：
S01截取三维点云信号码流的前l′层(l′≤l)点云信号码流，按层数大小依次对应基本层、第1个增强层、...、第l′-1个增强层；
S02自基本层开始依次对l′个质量层进行单一质量层点云信号解码，得到对应前l′(l′≤l)层的重构三维点云信号。
上述***中各模块，其中采用的技术可以参照上述的一种基于图字典学习的三维点云编码方法实施例中步骤对应的实现技术，在此不再赘述。
基于相同的发明构思，如图1所示，本发明实施例中还提供一种基于图字典学习的三维点云压缩方法，包括：
S001获得待编码点云数据，所述待编码点云数据为三维点云信号；
S002采用上述实施例中的基于图字典学习的三维点云信号编码方法，将三维点云信号编码为三维点云信号码流；
S003采用采用上述实施例中的基于图字典学习的三维点云信号解码方法，从所述三维点云信号码流解码重构三维点云信号。
上述压缩方法中各步骤，其中采用的技术可以参照上述的一种三维点云图字典学习方法以及基于图字典学习的三维点云编码、解码方法实施例中步骤对应的实现技术，在此不再赘述。
基于相同的发明构思，本发明实施例中还提供一种基于图字典学习的三维点云压缩装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序；处理器在执行程序时可以执行以下任一种方法：
上述的三维点云图字典学习方法，或，
上述一种基于图字典学习的三维点云信号编码方法，或，
上述一种基于图字典学习的三维点云信号解码方法，或，
上述一种基于图字典学习的三维点云压缩***。
本发明以上实施例中没有特别说明的部分，可以采用现有技术来实现。
在以上实施例的三维点云压缩***的基础上，以下结合具体应用实施例来进行说明：本实施例中关键参数的设置为：依据MPEG PCC点云压缩的通用测试条件，实验所用的测试点云数据包括5个来自MUVB数据集的512×512×512几何分辨率的半身人体目标点云数据。训练数据为从大量的数据集中获取，训练数据与测试数据集没有重合。由于人眼对图像的亮度信息变化更为敏感，将原始点云从RGB颜色空间转换至YUV颜色空间。子字典的个数设置为S＝2，每个子字典对应的训练参数p设置为1.2和2.1，正则化参数β、γ和λ分别设置为10，2和60，初始字典为对应图结构的图傅里叶基。图字典学习方法在训练数据集上进行20次迭代周期，每个周期500次交替方向乘子法的迭代。
采用本发明上述实施例的***对测试点云数据进行压缩，计算平均的BD-PSNR与BD-Rate作为压缩性能的衡量指标，BD-PSNR越大代表压缩***重建质量越好，BD-Rate越小代表压缩***节省码率越多。
与R.L.de Queiroz(TIP2016)所提出的方法相比，本实施例***在所有测试数据上得到的平均BD-PSNR增益为4.50dB，平均BD-Rate为-59.04％，代表本方法节省了59.04％的比特率；与S.Gu(TIP2020)所提出的方法相比，本实施例***在所有测试数据上得到的平均BD-PSNR增益为1.99dB，平均BD-Rate为-28.14％，代表本方法节省了28.14％的比特率；与Y.Shen(TCSVT2020)所提出的方法相比，本实施例***在所有测试数据上得到的平均BD-PSNR增益为2.22dB，平均BD-Rate为-36.62％，代表本方法节省了36.62％的比特率；与当下最优的MPEG 3DG国际化点云压缩标准G-PCC相比，本实施例***在所有测试数据上得到的平均BD-PSNR增益为0.14dB,平均BD-Rate为-3.88％，代表本方法节省了3.88％的比特率。
实验表明，本发明上述的实施例***的压缩效率明显优于R.L.de Queiroz、S.Gu及Y.Shen所提出的方法，与国际点云压缩标准相比，可以显著提升重建性能，节省编码比特率。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (19)

1.一种三维点云的图字典学习方法，其特征在于，包括：
获得N幅训练集点云数据；
对所述N幅训练集点云数据进行体素化处理，获得体素化的训练集点云数据；
对所述体素化的训练集点云数据进行体素块划分，选取若干体素块作为图字典学习的训练集，根据所述训练集构建图字典学习模型，建立图字典学习目标函数；
对所述图字典学习的目标函数进行迭代优化，获得用于三维点云信号的编解码的图字典。
2.根据权利要求1所述的一种三维点云的图字典学习方法，其特征在于，对所述N幅训练集点云数据进行体素化处理，获得体素化的训练集点云数据，包括：
将点云数据划分为空间坐标系对齐的、规则的体素；
计算每个体素的几何坐标和属性信号，得到体素化的点云数据。
3.根据权利要求1述的一种三维点云的图字典学习方法，其特征在于，对所述体素化的训练集点云数据进行体素块划分，选取若干体素块作为图字典学习的训练集，包括：
将所述所有体素化的训练集点云数据所在的边界立方体均匀划分为m×m×m的体素块，m为预先设定的边长；
对每幅训练集点云数据的所有体素块按照所包含体素的数量进行降序排序；
从每幅训练集点云数据中选取包含体素数量最多的前r个体素块，计算所述前r个体素块中每个体素块所包含体素的所述属性信号的平均值，作为体素块的直流属性信号，r为预先设定的正整数；
从每个体素中减去所述直流属性信号，得到残差属性信号作为训练信号，构成图字典学习的训练集。
4.根据权利要求1所述的三维点云的图字典学习方法，其特征在于，所述根据所述训练集构建图字典学习模型，建立图字典学习目标函数，包括：
将所述训练集信号作为图信号构建图拓扑连接结构
Figure FDA0003559250750000011
其中V表示m3个结点的集合，ε表示连接m3个节点的边的集合，
Figure FDA0003559250750000012
表示边的权值矩阵；
利用构建图拓扑连接结构的p拉普拉普算子的特征基函数构造图字典学习模型，建立图字典学习目标函数：
Figure FDA0003559250750000021
其中，
Figure FDA0003559250750000022
表示第i个训练集体素块，
Figure FDA0003559250750000023
是每个元素取值为0或1的掩膜矩阵用于从xi中提取对应的mi个体素，
Figure FDA0003559250750000024
表示由S个完备子字典
Figure FDA0003559250750000025
组成的过完备图字典，即：D＝[D1，...，Ds]，
Figure FDA0003559250750000026
用于约束对应完备子字典Ds的ps拉普拉普算子的特征基，wij表示权值矩阵W的第i行第j列的元素，dsk表示第s个子字典的第k个原子，dski表示dsk的第i个元素，
Figure FDA0003559250750000027
表示稀疏系数矩阵，
Figure FDA0003559250750000028
为稀疏系数矩阵A的列向量表示信号xi在图字典D上的稀疏系数，
Figure FDA0003559250750000029
表示单位矩阵，n＝Nr是训练集体素块的个数，ps表示第s个子字典对应的幂指参数，β、γ和λ表示对应的正则化参数。
5.根据权利要求4所述的三维点云的图字典学习方法，其特征在于，对所述图字典学习模型的目标函数进行迭代优化，获得用于三维点云信号的编解码的图字典，包括：
对所述图字典学习目标函数迭代优化以得到图字典，其中，每次迭代中交替固定字典D求解几何自适应的稀疏编码子问题和固定稀疏系数矩阵A求解图字典更新子问题，直到预定的迭代次数，得到用于三维点云信号的编解码的图字典。
6.根据权利要求5所述的一种三维点云的图字典学习方法，其特征在于，对所述图字典学习目标函数迭代优化以得到图字典，包括：
根据所述图字典更新子问题求解得到的固定图字典D，对每个训练集体素块，逐个求解几何自适应的稀疏编码子问题，得到稀疏系数矩阵A：
Figure FDA00035592507500000210
根据所述几何自适应的稀疏编码子问题求解得到的固定稀疏系数矩阵A，利用交替方向乘子法求解所述图字典更新子问题，得到图字典D：
Figure FDA00035592507500000211
其中，
Figure FDA0003559250750000031
表示逐元素相乘的哈达玛积，
Figure FDA0003559250750000032
表示训练集信号的集合，
Figure FDA0003559250750000033
表示所有训练集信号的掩膜矩阵集合，
Figure FDA0003559250750000034
表示元素全为1的向量。
7.根据权利要求6所述的一种三维点云的图字典学习方法，其特征在于，所述交替方向乘子法，包括：
通过引入一个辅助变量Z代替D将所述字典更新优化子问题中非凸的第二项和第三项与凸的第一项分离，转化成一个约束优化问题：
Figure FDA0003559250750000035
其中，Z＝[Z1，...，Zs]，Zs＝Ds，s＝1，...，S表示每个字典对应的子辅助变量；
引入一个对偶变量
Figure FDA0003559250750000036
将所述约束优化问题转变为它的增广拉格朗日函数，获得三个子优化问题：
Figure FDA0003559250750000037
Figure FDA0003559250750000038
U+＝U+D-Z
其中，ρ表示引入的惩罚参数；
交替求解三个子优化问题对三个变量进行交替更新，直至收敛，获得图字典。
8.一种基于图字典学习的三维点云信号编码方法，其特征在于，根据权利要求1-7任一项所述的方法获得的图字典，对三维点云信号编码，生成三维点云信号码流。
9.根据权利要求8所述的一种基于图字典学习的三维点云信号编码方法，其特征在于，所述对三维点云信号编码，生成三维点云信号码流，包括：
将所述三维点云信号进行质量层划分，获得l个质量层；
单一质量层点云信号编码，获得所在质量层的点云信号码流；
单一质量层点云信号解码，获得所在质量层的重构点云信号；
依次对l个质量层编解码，合并l个质量层点云信号码流，得到三维点云信号码流。
10.根据权利要求9所述的一种基于图字典学习的三维点云信号编码方法，其特征在于，所述将所述三维点云信号进行质量层划分，获得l个质量层，包括：
将三维点云数据划分为l个质量层，按照质量层由低到高，第1层为基本层，之后l-1层为增强层，分别为第1个增强层直至第l-1个增强层，并分别获得所述基本层和各个所述增强层的点云信号。
11.根据权利要求10所述的一种基于图字典学习的三维点云信号编码方法，其特征在于，所述获得基本层和各个增强层的点云信号，包括：
体素化点云数据，输出体素化的点云信号，作为最高质量层的点云信号；
对所述体素化的点云信号进行l-1次体素块合并，获得l-1个不同质量层的点云信号，作为基本层以及第1到第l-2个增强层的点云信号；
其中，所述每次体素块合并的输入为前一次体素块合并得到的高质量层的点云信号，输出低质量层的点云信号，作为下一次体素块合并的输入。
12.根据权利要求11所述的一种基于图字典学习的三维点云信号编码方法，其特征在于，所述体素块合并，包括：
将所述高质量层的点云信号所在的边界立方体划分为均匀分布的c×c×c体素块；
合并每个体素块中包含的体素，作为所述低质量层的点云信号的一个体素；
将每个体素块所包含体素的几何坐标的最大值缩小c倍并四舍五入取整作为所述低质量层的点云信号中对应体素的几何坐标；
将每个体素块所包含体素的属性信号的平均值作为所述低质量层的点云信号中对应体素的属性信号的值；
得到所述低质量层的点云信号。
13.根据权利要求9所述的一种基于图字典学习的三维点云信号编码方法，其特征在于，所述单一质量层点云信号编码，获得所在质量层的点云信号码流，包括：
几何信息编码，对点云信号的几何坐标依照八叉树结构进行划分，为八叉树结构中的每一个分支结点分配一个八比特的字节单元，用于表示该分支结点的子结点所对应的空间单元中是否有点云的点数据存在，通过对八叉树结构以深度-广度优先顺序进行遍历，得到字节单元序列表示所有空间单元的几何坐标，熵编码字节单元序列获得几何信息码流；
层间属性信号预测，仅对增强层则利用解码的前一层重构点云信号和当前层点云信号的几何坐标，获得当前层属性信号的层间预测信号，用于属性信号预处理；
属性信号预处理，将当前层的点云信号所在的边界立方体按照预先设定的边长m均匀划分为m×m×m体素块；若输入的质量层为基本层，对每个体素块所包含体素的属性信号的值求平均，获得直流属性信号，从每个体素块所包含体素的属性信号中减去直流属性信号得到残差属性信号；若输入的质量层为增强层，将当前层属性信号减去所述层间预测信号，获得当前层的残差属性信号；
直流属性信号编码，仅对基本层的直流属性信号均匀量化，将每个体素块和相邻体素块的量化直流属性信号做差，并熵编码得到直流属性信号码流；
残差属性信号编码，利用所述图字典和当前层的几何坐标对每个立方体块的残差属性信号进行几何自适应的稀疏编码，得到稀疏系数矩阵，对稀疏系数矩阵进行均匀量化，对量化后的稀疏系数矩阵中非零元素的值和位置分别进行熵编码，得到残差属性信号码流；
点云信号码流合并，合并第l′个质量层的所述几何信息码流和所述属性信号码流，得到第l′个质量层点云信号码流。
14.根据权利要求13所述的一种基于图字典学习的三维点云信号编码方法，其特征在于，所述层间属性信号预测，包括：
判断输入的质量层，若为基本层则无操作；
若为增强层则利用几何坐标将当前层的点云信号所在的边界立方体划分为均匀分布的c×c×c体素块，对每个体素块中所包含体素的属性信号进行预测；
将前一层点云信号的每个体素的几何坐标扩大c倍，并四舍五入取整，查找与每个体素块空间距离最近的19个相连体素块对应的前一层点云信号的体素，包括其本身，逐个计算每个体素块中所包含的体素与前一层点云信号中与该体素块相连的19个体素的空间距离，选择空间距离最近的7个相连体素，以所述7个相连体素空间距离的倒数作为权重对这7个相连体素的属性信号进行加权平均，获得体素块中所包含体素的层间预测信号。
15.根据权利要求13所述的一种基于图字典学习的三维点云信号编码方法，其特征在于，所述残差属性信号编码，包括：
利用每个体素块所包含体素的几何坐标，从图字典中提取对应的行组成子字典；
归一化所述提取的每个体素块对应的子字典；
利用所述归一化子字典，对每个体素块所包含体素的残差属性信号基于
Figure FDA0003559250750000051
正则化稀疏项进行几何自适应的稀疏编码，得到稀疏系数矩阵：
对稀疏系数矩阵进行均匀量化，将量化后的稀疏系数矩阵的非零元素的值和位置(行坐标和列坐标)分别进行熵编码，合并获得残差属性信号码流。
16.根据权利要求9所述一种基于图字典学习的三维点云信号编码方法，其特征在于，所述单一质量层点云信号解码，获得所在质量层的重构点云信号，包括：
点云信号码流拆分，拆分第l′个所述质量层的点云信号码流，获得第l′个质量层的几何信息码流和属性信号码流；
几何信息解码，从所述几何信息码流熵解码获得八叉树结构和每个分支结点的字节单元，进而得到每个体素的几何坐标；
层间属性信号预测，从前一个质量层的重构点云信号获得层间预测信号；
直流属性信号解码，仅对基本层直流属性信号码流进行熵解码，对每个体素块，与相邻体素块的解码直流属性信号相加，并进行反均匀量化，得到重构直流属性信号；
残差属性信号解码，对残差属性信号码流进行熵解码以及反量化，得到重构的稀疏系数矩阵；利用每个体素块所包含体素的几何坐标，从图字典中提取对应的行组成子字典，并进行归一化；将所述归一化的子字典和重构得到的系数矩阵中对应体素块的稀疏向量相乘，获得对应体素块所包含体素的重构残差属性信号；
三维点云重构，判断输入的质量层，若为基础层，则将所述基本层直流属性信号和所述基本层残差属性信号相加，得到基本层的重构属性信号；若为增强层，则将所述层间预测信号和所述增强层残差属性信号相加，得到增强层的重构属性信号；将重构属性信号和几何坐标对齐，得到当前层的重构点云信号，用于下一个增强层的单一质量层点云信号编码和点云信号解码。
17.一种基于图字典学习的三维点云信号解码方法，用于解码权利要求8-16任一项所述的基于图字典学习的三维点云信号编码方法所得的三维点云信号码流，其特征在于，包括：
从三维点云信号码流截取前l’个质量层的点云信号码流，l’是任一不小于l的正整数，按层数大小依次对应基本层、第1个增强层、...、第l’-1个增强层；
根据所述图字典，自基本层开始依次对l′个质量层进行单一质量层点云信号解码，得到对应前l’层的重构三维点云信号，l’≤l。
18.一种基于图字典学习的三维点云压缩方法，其特征在于，包括：
获得待编码点云数据，所述待编码点云数据为三维点云信号；
采用权利要求8-16任一项所述基于图字典学习的三维点云信号编码方法，将三维点云信号编码为三维点云信号码流；
采用权利要求17所述基于图字典学习的三维点云信号解码方法，从所述三维点云信号码流解码重构三维点云信号。
19.一种基于图字典学习的三维点云处理装置，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序；其特征在于，所述处理器在执行所述程序时可以执行以下任一种方法：
-权利要求1-7任一项所述的三维点云图字典学习方法，或，
-权利要求8-16任一项所述基于图字典学习的三维点云信号编码方法，或，
-权利要求17所述基于图字典学习的三维点云信号解码方法，或，
-权利要求18所述基于图字典学习的三维点云压缩方法。
CN202210288552.1A 2022-03-22 2022-03-22 基于图字典学习的三维点云编解码方法、压缩方法及装置 Pending CN114708343A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202210288552.1A CN114708343A (zh) 2022-03-22 2022-03-22 基于图字典学习的三维点云编解码方法、压缩方法及装置
PCT/CN2022/137392 WO2023179096A1 (zh) 2022-03-22 2022-12-08 基于图字典学习的三维点云编解码方法、压缩方法及装置
US18/590,993 US20240202982A1 (en) 2022-03-22 2024-02-29 3d point cloud encoding and decoding method, compression method and device based on graph dictionary learning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210288552.1A CN114708343A (zh) 2022-03-22 2022-03-22 基于图字典学习的三维点云编解码方法、压缩方法及装置

Publications (1)

Publication Number Publication Date
CN114708343A true CN114708343A (zh) 2022-07-05

Family

ID=82169390

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210288552.1A Pending CN114708343A (zh) 2022-03-22 2022-03-22 基于图字典学习的三维点云编解码方法、压缩方法及装置

Country Status (3)

Country Link
US (1) US20240202982A1 (zh)
CN (1) CN114708343A (zh)
WO (1) WO2023179096A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116070091A (zh) * 2023-03-01 2023-05-05 北京大学 基于在线字典学习的多模态机械加工中心信号的重构方法
WO2023179096A1 (zh) * 2022-03-22 2023-09-28 上海交通大学 基于图字典学习的三维点云编解码方法、压缩方法及装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10652104B1 (en) * 2016-10-12 2020-05-12 Hrl Laboratories, Llc System for inferring network dynamics and sources within the network
US10496880B2 (en) * 2017-06-27 2019-12-03 Canon Kabushiki Kaisha Method and apparatus for comparing objects in images
US10579901B2 (en) * 2017-12-05 2020-03-03 Canon Kabushiki Kaisha Method, system and apparatus for comparing objects in images
CN108564107A (zh) * 2018-03-21 2018-09-21 温州大学苍南研究院 基于原子拉普拉斯图正则化的半监督字典学习的样本类别归类方法
US11593891B2 (en) * 2018-08-02 2023-02-28 Arizona Board Of Regents On Behalf Of Arizona State University Systems and methods for a cross media joint friend and item recommendation framework
WO2020072665A1 (en) * 2018-10-02 2020-04-09 Futurewei Technologies, Inc. Hierarchical tree attribute coding in point cloud coding
US11688361B2 (en) * 2020-06-19 2023-06-27 Apple Inc. Quantifying performance of a display device
CN112184840B (zh) * 2020-09-22 2022-09-02 上海交通大学 基于多尺度结构化字典学习的3d点云压缩***
CN114708343A (zh) * 2022-03-22 2022-07-05 上海交通大学 基于图字典学习的三维点云编解码方法、压缩方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023179096A1 (zh) * 2022-03-22 2023-09-28 上海交通大学 基于图字典学习的三维点云编解码方法、压缩方法及装置
CN116070091A (zh) * 2023-03-01 2023-05-05 北京大学 基于在线字典学习的多模态机械加工中心信号的重构方法
CN116070091B (zh) * 2023-03-01 2024-05-24 北京大学 基于在线字典学习的多模态机械加工中心信号的重构方法

Also Published As

Publication number Publication date
WO2023179096A1 (zh) 2023-09-28
US20240202982A1 (en) 2024-06-20

Similar Documents

Publication Publication Date Title
CN111787323B (zh) 一种基于对抗学习的可变比特率生成式压缩方法
US10904564B2 (en) Method and apparatus for video coding
CN113766228B (zh) 点云压缩方法、编码器、解码器及存储介质
US11836954B2 (en) 3D point cloud compression system based on multi-scale structured dictionary learning
CN113678466A (zh) 用于预测点云属性编码的方法和设备
CN113259665B (zh) 一种图像处理方法以及相关设备
CN111641832B (zh) 编码方法、解码方法、装置、电子设备及存储介质
WO2023179096A1 (zh) 基于图字典学习的三维点云编解码方法、压缩方法及装置
RU2567988C2 (ru) Кодер, способ кодирования данных, декодер, способ декодирования данных, система передачи данных, способ передачи данных и программный продукт
CN114581544A (zh) 图像压缩方法、计算机设备及计算机存储介质
WO2024021387A1 (zh) 一种图像压缩方法、装置、电子设备及存储介质
CN112672168B (zh) 基于图卷积的点云压缩方法及装置
CN110753225A (zh) 一种视频压缩方法、装置及终端设备
Puthooran et al. Lossless compression of medical images using a dual level DPCM with context adaptive switching neural network predictor
Akhtar et al. Point cloud geometry prediction across spatial scale using deep learning
WO2022131948A1 (en) Devices and methods for sequential coding for point cloud compression
CN116896638A (zh) 一种面向输电运检场景的数据压缩编码技术
CN114501031B (zh) 一种压缩编码、解压缩方法以及装置
CN115131673A (zh) 一种面向任务的遥感影像压缩方法及***
CN113194312A (zh) 结合视觉显著性的行星科学探测图像自适应量化编码***
Chiu et al. Quad-tree product vector quantization of images
EP4244813B1 (en) Devices and methods for scalable coding for point cloud compression
JPH0251978A (ja) 画像符号化装置
CN115880379A (zh) 语义可伸缩图像编码方法、***、设备及存储介质
CN115315946A (zh) 具有自适应迭代帧内预测的视频压缩

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination