CN116137059B - 基于多层次特征提取网络模型的三维点云质量评价方法 - Google Patents
基于多层次特征提取网络模型的三维点云质量评价方法 Download PDFInfo
- Publication number
- CN116137059B CN116137059B CN202310401940.0A CN202310401940A CN116137059B CN 116137059 B CN116137059 B CN 116137059B CN 202310401940 A CN202310401940 A CN 202310401940A CN 116137059 B CN116137059 B CN 116137059B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- point
- cluster
- feature extraction
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000000605 extraction Methods 0.000 title claims abstract description 47
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 32
- 238000011176 pooling Methods 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims abstract description 10
- 230000004927 fusion Effects 0.000 claims description 30
- 238000005070 sampling Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 5
- 230000007547 defect Effects 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 230000008034 disappearance Effects 0.000 claims description 2
- 238000000513 principal component analysis Methods 0.000 claims description 2
- 230000007246 mechanism Effects 0.000 abstract description 5
- 239000010410 layer Substances 0.000 description 34
- 238000002474 experimental method Methods 0.000 description 20
- 238000012360 testing method Methods 0.000 description 11
- 238000011156 evaluation Methods 0.000 description 10
- 230000006835 compression Effects 0.000 description 8
- 238000007906 compression Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000000875 corresponding effect Effects 0.000 description 7
- 238000001303 quality assessment method Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000003646 Spearman's rank correlation coefficient Methods 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Mathematical Optimization (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Pure & Applied Mathematics (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Computational Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Algebra (AREA)
- Probability & Statistics with Applications (AREA)
- Operations Research (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于多层次特征提取网络模型的三维点云质量评价方法，对点云数据进行手工特征提取，获取灰度值、平均曲率以及簇中的点相对于中心点的欧几里得距离；构建多层次特征提取网络模型，基于所述灰度值、平均曲率以及簇中的点相对于中心点的欧几里得距离对所述网络模型进行训练，获取局部质量分数；基于所述局部质量分数，通过平均池化策略获取点云全局质量分数，基于所述点云全局质量分数对三维点云质量进行评价。本发明采用多层次特征提取回归结构，并结合通道间注意力机制搭建质量评价网络，有效全面获取能描述失真点云特性的信息。
Description
技术领域
本发明涉及点云质量评价技术领域，尤其涉及基于多层次特征提取网络模型的三维点云质量评价方法。
背景技术
随着三维数据采集技术（如RGBD相机，3D激光扫描仪等）的发展，三维点云数据的获取难度逐渐减小，且数据精度也逐渐提高。作为一种重要的三维对象表示形式，点云由三维坐标系中众多点集合而成，包含着丰富的几何和属性信息。几何信息由点的3D空间坐标表示，属性信息通常包括点的颜色、曲率和法线向量等。由于一个高保真度的点云场景通常包含数百万甚至数十亿个点，庞大的数据量要求传输时必须对其进行高效的压缩，而基于几何的点云压缩G-PCC或基于视频的点云压缩V-PCCP必然会导致一定的压缩失真。此外，在点云采集以及处理过程中也会不可避免地出现失真，获取的原始点云总是包含几何、颜色等方面的噪声。如前所述的压缩失真以及多种噪声都会导致点云视觉质量下降。因此，合适的三维点云质量评价方法，对衡量相应的采集、压缩、传输和处理等方面的性能起着重要作用。
点云质量评价指标根据原始点云的参与程度可以分为全参考、半参考和无参考这三种类型。具体来说，全参考和半参考点云质量评价指标需要全部或者部分原始点云参与质量评价任务，而无参考质量评价指标仅需要失真点云就能得到质量评价结果。运动图像专家组（Moving Picture Experts Group）最先采用了p2point和p2plane的方式来量化点云的几何失真，并使用基于亮度和色度的峰值信噪比（PSNR）来量化点云的颜色失真。除此之外，还有一些评价指标，例如考虑局部曲率特征的PC-MSDM方法，基于几何和颜色特征的最佳加权线性组合的PCQM方法以及结合了几何与纹理投影图的TGP-PCQA方法等。尽管这些指标的出现缓解了点云质量评价的迫切需求，但它们都是基于全参考质量评价的方式。具体来说，它们通过计算原始点云与失真点云之间的差异来量化表示失真点云的质量。然而，在实际应用场景中，原始点云通常不可获得。因此，基于无参考方式的点云质量评价方法的提出和发展是目前迫切需要的。
发明内容
为解决上述技术问题，本发明提出了基于多层次特征提取网络模型的三维点云质量评价方法，采用多层次特征提取回归结构，并结合通道间注意力机制搭建质量评价网络，有效全面获取能描述失真点云特性的信息。
为实现上述目的，本发明提供了基于多层次特征提取网络模型的三维点云质量评价方法，包括：
对点云数据进行手工特征提取，获取灰度值、平均曲率以及簇中的点相对于中心点的欧几里得距离；
构建多层次特征提取网络模型，基于所述灰度值、平均曲率以及簇中的点相对于中心点的欧几里得距离对所述网络模型进行训练，获取局部质量分数；
基于所述局部质量分数，通过平均池化策略获取点云全局质量分数，基于所述点云全局质量分数对三维点云质量进行评价。
优选地，采用自适应的方式提取所述点云数据的手工特征，所述手工特征提取包括中心点的选取、簇的构成和各个簇的特征提取。
优选地，对所述点云数据进行手工特征提取包括：
确定采样簇的个数，基于最远点采样方法选取所述点云数据中各个簇的中心点，结合KNN方法获取各个中心点的k个最邻近点，构成若干点云簇，其中，每个所述点云簇中包含k+1个点；
基于所述点云簇的划分，获取所述灰度值、平均曲率以及簇中的点相对于中心点的欧几里得距离。
优选地，所述点云簇中任意点相对于所述中心点的欧几里得距离为：
其中，为簇中心点的空间坐标，/>为第i个邻近点的空间坐标，/>为簇中任意点，/>为簇中心点。
优选地，计算所述点云簇中各个点的灰度值的方法为：
其中，分别为点云的红绿蓝颜色三通道，L为灰度值。
优选地，所述多层次特征提取网络模型包括：
深度特征提取模块：用于提取出所述点云中由浅到深的特征；
第一卷积层：用于获取不同感受野下的点云特征，其中包括7*7与3*3大小的卷积层；
残差模块：用于减少卷积核导致的感受野减小的弊端，避免梯度消失，更好地学习深层特征；
特征回归模块：用于建立不同层级特征之间的联系。
优选地，所述残差模块的输出为：
其中，为残差单元的输出，x为残差单元的输入，/>为残差单元学习到的残差映射，/>为通道间注意力融合操作。
优选地，所述特征回归模块的操作为：
其中，表示concatenation操作；DIR表示将特征按指定方向拼接；C表示通道方向；H表示高度方向；/>表示全连接层的分数回归函数；/>表示全连接层的参数；/>，和/>分别表示对/>进行的平均、最小值与最大值池化以及各自对应的特征提取操作；/>、/>分别为f 1-f 5在通道和高度方向上拼接后得到的融合特征，f 1-f 5分别为由浅到深的层级特征。
优选地，通过所述平均池化策略获取点云全局质量分数的方法为：
其中，为全局质量分数，/>为各个局部点云簇的预测分数，N为局部点云簇的总数量。
与现有技术相比，本发明具有如下优点和技术效果：
由于在点数不一致的不同场景点云之间使用定量局部采样方法不具备普适性，本发明基于点云簇提出了一种自适应的手工特征提取方式；由于在网络模型中不同深度的特征对于失真情况敏感程度不同，本发明采用多层次特征提取回归结构，并结合通道间注意力机制搭建质量评价网络，有效全面获取能描述失真点云特性的信息；本发明所提出的网络模型在不同点云数据集中与现有先进点云质量评价指标进行对比，表现出了较好的性能。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明实施例的基于多层次特征提取网络模型的三维点云质量评价方法流程图；
图2为本发明实施例的MFE-Net的整体结构示意图；
图3为本发明实施例的残差单元特征融合模块示意图；
图4为本发明实施例的点云手工特征提取示意图；
图5为本发明实施例中经由三维扫描技术获得的文物点云对象示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本发明提出了基于多层次特征提取网络模型的三维点云质量评价方法，如图1，包括：
对点云数据进行手工特征提取，获取灰度值、平均曲率以及簇中的点相对于中心点的欧几里得距离；
在将失真点云输入多层次特征提取网络模型之前，需要预先提取失真点云的手工特征作为网络学习的初始特征。如图4所示，手工特征提取过程可以分为三个部分，即中心点的选取、簇的构成和各个簇的特征提取。
考虑到不同的点云存在点数不一致的情况，如部分点云点数多达数百万个，而部分点云只有几千个点。在这种情况下，直接使用等量采样的方式会导致采样结果的不合理。因此，在本实施例中采用了自适应的方式提取点云的手工特征。令n为一个点云具体划分的簇数量，可表示为n=N/（k+1），其中，N表示点云的总点数，k+1表示一个点云簇包含的点数。在确定采样簇的个数后，使用最远点采样方法选取各个簇的中心点，用于确保簇中心点的均匀分布。经过簇中心点的选取后，再结合KNN方法获取各个中心点的k个最邻近点，构成若干点云簇，每个点云簇中包含个k+1点（即1个经最远点采样获得的簇中心点P c ，以及该中心点的k个最邻近点P c,1~P c,k）。最后基于点云簇的划分，将提取一些手工特征用于后续的网络学***均曲率以及簇中的点相对于中心点的欧几里得距离。
对于一个簇来说，簇中任意点P，相对于中心点的欧几里得距离可表示为：
其中，为簇中心点的空间坐标，/>为第i个邻近点的空间坐标，/>为簇中任意点，/>为簇中心点。
簇中的点相对于中心点的欧几里得距离Dist（P c ~P c,i ）能够很好得从空间距离上反映出点云簇的几何失真程度。当点云受到几何噪声攻击时，点云簇中心点的空间位置和数量可能会发生改变，Dist（P c ~P c,i ）也必然随之改变。因此，它能够较好地反映出点云在几何方向上的受损程度。
同时，为了表示点云在颜色上的失真程度，计算了点云簇中各个点的灰度值L，表示如下：
其中，分别为点云的红绿蓝颜色三通道，L为灰度值。
以上两个特征虽然能够在几何和颜色两个方面说明点云的失真情况，但Dist（P c ~P c,i ）只能从侧面表现出点云簇中点紧密程度发生的变化，不能够很好地体现出点云簇表面结构的变化情况。
为了捕捉点云的局部结构信息，本实施例还提取了点云簇中每个点的平均曲率用于描述失真点云簇表面结构的变化情况。
簇中每个点的平均曲率由二次曲面的局部最小二乘拟合计算。首先，使用主成分分析对点P c 估计一个近似切平面，它提供了一个正交坐标系，使得u z 与表面的近似法线对齐，并取点P c 作为坐标系的原点。之后，寻求二次曲面Q（x，y）=ax 2+by 2+cxy+dx+ey+f最小化：
然后，计算Q的导数直接估计平均曲率，可表示为：
其中，为点P c 的平均曲率，/>是二次曲面的拟合系数。
通过手工特征的提取，最终获得了灰度值，平均曲率以及簇中的点相对于中心点的欧几里得距离。将这三个手工特征通过堆叠以及变型的方式重构为的形式，作为后续网络学习的输入，其中3表示特征的维数，/>由k+1变型而来。
在质量评价任务中，不同网络深度提取的特征对失真点云受损情况的敏感程度不同。随着网络深度的加深，能够提取到的不同深度的特征也越多，它们在最终的质量分数回归任务中具有重要的作用。为了获得更加丰富的特征，提出了一个结合特征融合机制，以多层次特征提取回归结构为主体的网络模型，整体结构如图2所示。网络中的深度特征提取模块共提取出五层由浅到深的特征用于之后的质量分数回归任务。
通常，在网络的卷积操作中选用较大的卷积核意味着感受野的增加，提取特征时能够关联到的点云信息越多。考虑到失真点云在三维空间上可能呈现较为稀疏的分布，为了增强点与点之间的上下文联系，网络模型中的第一个卷积层根据经验选用了一个较大的尺寸为7×7的卷积核用于特征提取，以获取更多的局部失真信息。在后续的特征提取操作中，为了解决小卷积核导致的感受野减小弊端，使用了具有通道间注意力融合机制的残差结构，用于学习更深层次的特征。该结构可以表述为：
其中，为残差单元的输出，x为残差单元的输入，/>为残差单元学习到的残差映射，/>为通道间注意力融合操作，其模型框图如图3所示，图3中/>为超参数用于特征学习过程中维度的变化。
Fusion block学习不同特征之间的通道关系，即获取代表每个特征通道重要性的通道权重，然后通过乘法将权重逐通道加权到特征上，完成在通道维度上的原始特征重标定。很明显，Fusion block能够自适应地进行通道特征重校准，在残差结构的特征结合部分中添加Fusion block 可以起到控制残差结构学习能力的作用。输入到Fusion block中的待融合特征分别表示为F（x）和x，它们的大小是HxW，通道数是C。首先将它们沿着通道方向做特征相加操作，可表示为：
然后，经过Excitation操作计算特征z全局特征的内在联系，得到权重系数，用其表征出/>和x在通道维度上的相互关系，可表示为
其中，Sigmoid为激活函数，和/>分别表示对z进行的全局池化以及特征提取操作。
在Excitation操作中，第一个全连接层起到降维的作用，降维系数为超参数，之后采用Relu函数激活。第二个全连接层将特征恢复到输入时的维度，最终采用Sigmoid激活，获得每个通道上0~1之间的权重系数。
在网络模型的特征回归模块中，考虑到网络提取的五层特征之间没有更深层次的相关性，本发明通过学习不同层级特征通道方向上的关系来建立它们之间的联系。同时为了减少特征学习过程中的信息丢失，需要将建立联系后的特征与原有层级特征f C 。相结合获得f R ，最后将f R 作为全连接层的输入以获得各个点云簇的局部质量分数。令第i个点云簇的质量分数为Q，网络模型的特征回归模块可以表示为：
其中，表示concatenation操作；DIR表示将特征按指定方向拼接；C表示通道方向；H表示高度方向；/>表示全连接层的分数回归函数；/>表示全连接层的参数；/>，和/>分别表示对/>进行的平均、最小值与最大值池化以及各自对应的特征提取操作，/>是由/>经过平均、最小值与最大值池化以及各自对应的特征提取操作后获得的不同特征拼接而得。
在得到各个点云簇的局部质量分数后，通过平均池化的策略将它们聚合在一起获得失真点云的全局质量分数，可表示为：
选用L1范数损失作为损失函数。L1损失函数也被称为最小绝对值偏差(LAD)，绝对值损失函数(LAE)。它的目的是将第i个点云簇的目标分数值y i 与预测分数值的绝对差值的总和最小化。
下面结合具体实施例对本申请技术方案进一步进行说明：
本实施例在两个3D点云数据集中评估所提出的方法的性能：SJTU-PCQA和CPCD2.0。
SJTU-PCQA：该点云库中共包含九个点云场景，七种点云受损情况，每种受损情况分六个受损程度等级，共计378个受损点云样本。受损类型包括OT：基于八叉树的压缩，CN：颜色噪声，DS：下采样，D+C：缩减和颜色噪声，D+G：下采样和几何高斯噪声，GGN：几何高斯噪声，C+G：颜色噪声和几何高斯噪声。
CPCD2.0：在CPCD2.0点云数据库中，共有10个从MPEG内容存储库和JPEG pleno数据库中选择的原始点云，以及它们对应的360个失真点云。CPCD2.0点云数据库通过模拟V-PCC，G-PCC1和G-PCC2产生的不同程度几何与颜色编码失真产生了270个失真点云，剩下的90个失真点云通过在原始点云的几何或颜色属性上添加不同程度的高斯噪声生成。CPCD2.0数据库中共存在三种失真情况，即失真点云仅有几何畸变、仅有颜色畸变以及几何和颜色均发生畸变。
实验中采用PLCC和SROCC指标对提出的方法性能进行评价。
1.皮尔逊线性相关系数PLCC用于评估质量评价模型预测的准确性，它能够表现出主观分数（MOS）与客观评价预测的质量分数之间的相关性，可表示为：
其中，和/>分别表示第i个点云的groudtruth MOS值和预测质量分数，而/>和则分别是它们的平均值。PLCC描述两组数据之间的线性相关性，其取值范围为-1~1。当PLCC的值为零时，表示两组数据完全不相关；当PLCC值为1或-1时，表明两组数据完全相关。
2.Spearman的秩相关系数SROCC是质量评估领域的一种非参数度量，用于衡量质量评价算法预测的单调性，可表示为：
其中，I是测试点云的数量，是第I个点云的真实MOS值与预测质量分数之间的秩差。SROCC对两个目标数组的秩次大小作线性相关分析（两组数据的等级相关性），常被认为是两个对象分别经过排列后的皮尔逊线性相关系数，适用范围比较广泛。取值范围为-1~1，性能值等于1时，表明两组数据完全一致。
参数设置
在对失真点云的手工特征提取过程中，本实施例选择了自适应的选取采样中心点方式，将每个点云划分为n个簇，各个簇中有1024个点。针对各个点云簇共提取三种特征，并将其变型成n×3×32×32的数据形式输入到网络中进行学习。在网络优化过程中，采用Adam优化器进行网络参数优化，学习率固定为0.0001，Adam的其他参数皆为默认设置。网络训练时中dataloader的batchsize参数设置固定为128。
整体性能比较
为了验证所提出方法的有效性，实验中以8：1的比例将SJTU-PCQA数据集按照点云场景划分为训练集和测试集，如选择‘Redandblack’场景作为测试集，剩余的八个场景则都作为训练集用于训练所提出方法的网络。训练-测试过程根据点云场景的数量共重复九次，最终选取九次实验的平均值作为结果。在CPCD2.0数据库的指标性能对比实验中，实验中以9：1的比例将CPCD2.0数据集按照点云场景划分为训练集和测试集，如选择‘Soldier’场景作为测试集，剩余的九个场景则都作为训练集用于训练所提出的网络。训练-测试过程共重复十次，最终选取十次实验结果的平均值作为最终结果。实验结果总结在表1，表2中，其中第一列表示质量评估指标，第二，三列给出该指标的SROCC和PLCC的结果，取结果的前两名在表中用粗体标出。
表1
表2
从表1不难得出结论，本发明所提出方法的性能在所有考虑的指标中表现最好。具体来说，所提出的方法在SJTU-PCQA数据集中SROCC和PLCC分别到达了0.929和0.928。而实验中大多数传统全参考点云质量评价指标的整体表现并没有那么出色，在SJTU-PCOA中传统方法的SROCC和PLCC最高只能达到0.777和0.742，最低仅有0.324和0.375。其主要原因是传统评价指标中的Po2planeHausdorff和ASMean等方法都是基于原始点云和失真点云之间对应点的匹配，通过计算对应点的几何失真来量化失真点云的受损程度，并不能很好地表现出失真点云的其他受损情况，所以整体性能不佳。但是也有个别传统指标具有出色的表现，如MPEG和TGP-PCQA等方法通过结合几何和颜色失真信息对失真点云进行质量评估，能比较好计算出失真点云的多类型受损情况。它们在SJTU-PCQA中的SROCC和PLCC值最高达到了0.851和0.866，远高于其他只考虑单一受损情况的传统指标。在基于经典深度学习网络的质量评价方法中，SROCC和PLCC的值分别来到了0.855~0.912和0.885~0.925，实验结果相较于传统方法有了比较明显的提升。其中基于VGGNet模型的质量评价方法表现最好，基于ResNet模型的质量评价方法表现最差。值得一提的是，简单地改变网络模型深度并不能带来明显的效果提升，如在VGGNet模型实验中网络层数由16层增加到19层，SROCC只提高了0.005，PLCC只提高了0.002。而在ResNet模型实验中，网络层数的增加对实验结果起到了反效果。其主要原因可能是经典网络模型更加关注模型学习到的高层语义信息，只将高层语义信息输入全连接层进行质量分数回归任务，缺少底层语义信息对质量评价任务的帮助作用，单凭提升网络对于高层语义信息特征的提取能力并不能够很好地表现出失真点云的受损情况。相比起考虑改变模型的深度来提升实验结果，考虑模型架构的改变对性能的影响可能会更有意义一点。
在CPCD2.0的实验中，绝大多数质量评价指标的整体性能趋势与在SJTU-PCQA的表现相似。但是也有个别指标在两个数据库中展现了截然不同的性能表现，如在CPCD2.0中PCQM的SROCC和PLCC值只有0.340和0.481，远低于在SJTU-PCQA中的0.742和0.777。
其主要原因是PCQM方法计算的几何和颜色特征更适用于下采样，颜色和几何噪声等失真类型。对于编码失真，它可以很好地预测仅具有几何噪声的失真点云的质量，但不能预测同时具有几何和纹理畸变的失真点云的质量，所以在CPCD2.0中表现不佳。
之后进行了跨库实验进一步验证所提出方法的性能，将在SJTU-PCQA数据库中训练的网络模型直接应用于CPCD2.0数据库进行跨失真和跨点云场景的测试，以验证模型的泛化能力。实验结果总结在表3中，其中第一列表示在CPCD2.0库中选取的点云失真类型，第二，三列给出所提出模型跨库测试的SROCC和PLCC结果。
表3
从跨库实验的结果中不难发现，在SJTU-PCQA数据库中训练的网络模型，对于CPCD2.0中的多种编码压缩失真的辨别能力并不出色。具体来说，G-PCC和V-PCC产生的压缩失真与SJTU-PCQA中的噪声类型差别较大，这些编码失真会造成点云的纹理模糊和几何空洞，这是SJTU-PCQA中的噪声类型不具备的。与此同时，G-PCC1编码方式会造成失真点云的采样密度减少，与SJTU-PCQA中的下采样失真相似，所以G-PCC1的实验结果相较于其他编码失真会更高一些。在两个库失真类型相同的情况下，即便更换测试点云场景，SJTU-PCQA中训练好的网络模型在CPCD2.0中的Gaussian noise下依旧具有良好表现，证明了该网络模型具有较好的泛化能力。
消融试验
在SJTU-PCQA数据库中进行了两个实验来分别证明来自不同深度的特征和不同深度的网络对于实验性能的影响。
第一个实验是在冻结原有网络模型特征提取模块的前提下，不采用多层级特征融合的方式，仅分别选取三个层级特征单独作为质量分数回归模块的输入，其中整体实验性能表现最好的层级特征是layer feature2，层级特征layer feature5在实验前40轮次的结果表现要优于layer feature1，在实验进行到40轮次之后两者的整体效果相当，但都低于layer feature2的实验表现。不难从以上实验结果中得出结论，网络深度的增加固然会带来一定的特征提取能力的提升，会提取到更加抽象的高层语义特征，但是高层语义特征在质量评价任务中的作用并不一定完全优于底层语义特征。原因是来自网络模型不同深度的层级特征对于失真点云受损情况的分辨能力不同，相比起底层特征，过于抽象的高层语义特征可能反而不利于回归模块分辨失真点云的受损情况。
在第二个实验中通过只增减原有网络模型的层数，不改变多层级特征融合输入全连接层的方式验证改变网络深度对实验结果产生的影响。在实验中共选取了三种不同深度的网络模型，它们分别将layer feature 1，layer feature1~2和layer feature1~5输入到网络模型的质量分数回归部分。其中整体性能表现最好的是包含语义信息最为丰富的layer feature1～5，layer feature1~2的实验表现略微低于layerfeature1～5，而包含语义信息最少的layer feature1的整体表现最差。即便是在单层特征实验中表现不如底层特征的layer feature5，在它与其他语义信息组合在一起时，也能起到提高整体PLCC指标的效果。从上述实验结果中不难得出结论，随着网络深度的增加，网络提取到的底层语义信息和高层语义信息数量增加，参与回归任务的特征信息组合形式变得愈加丰富，层次丰富的特征组合能够更好地帮助网络学习到失真点云的受损类型和受损程度，从而进一步提高整个网络的质量评估性能。
为了详细说明残差结构中特征融合模块的有效性，将网络模型与去除了残差特征融合模块的网络模型的实验性能，从实验结果中可以发现，添加了特征融合模块后的残差结构整体实验性能要优于未添加特征融合模块的残差结构，且整体性能更加稳定，PLCC值曲线没有在实验的前10轮次出现极大的振荡。在网络模型残差结构中，该特征融合模块能够主动学习多个特征之间的关系，并将此关系以权重的形式表达，达到控制多个特征结合时各自比重的目的。而去掉特征融合模块的残差结构仅仅将输入的特征与其学习到的特征进行简单的相加，并没有考虑到两者空间上的交互关系，所以最终实验效果并没有那么出色。
之后为了进一步验证该特征融合模块学习到的通道间权重的作用，通过改变该通道间权重加权对象的方式来展示它对于实验结果的影响。在实验中共选取三种通道间权重影响特征结合的方式，它们分别是权重只加权残差结构的输入特征x，只加权残差结构学习到的特征F（x）和两个特征共同加权。
Fusion block中的权重系数只用于加权残差结构的输入特征x时实验效果最好，只用于加权学习到的特征F（x）时实验效果最差。在所提出网络模型的残差结构中，F（x）的学习效果相较于x更为出色。与此同时，权重系数的取值范围在0~1之间，会进一步削弱x和F（x）融合时x在融合过程中的影响力，让学习到的F（x）特征在融合结果中占据更大的比重。
层级特征融合模块作用
为了验证层级特征融合模块在所提出网络模型中的作用，将去除该融合模块的网络模型与所提出的网络模型进行实验上的性能对比，从实验结果中发现，在添加层级特征融合模块后，所提出网络模型的整体性能得到了较大的提升，主要原因是该层级特征融合模块相较于简易的concatenate操作，将不同深度的层级特征拼接在一起，使用卷积块和激活函数学习它们通道方向上的特征关系。与此同时为了减少特征学习过程中的信息丢失，最后将融合模块学习到的质量信息特征与按维度方向拼接的层级特征相结合，达到在不丢失原有特征信息的前提下，建立层级特征维度方向之间特征关系的目的。而简易的concatenate操作只是简单地将多个层级特征拼接在一起，没有考虑它们之间的特征关系，所以实验性能表现不佳。
人类社会在发展中留下了很多珍贵的文物，包括自然和人文的遗产。随着时间的流逝，这些文物经过风吹日晒雨淋以及人为的损坏，有的变得残缺不全，有的面临着消失。文物保护是指对各种文化遗产现场的测量、记录与恢复，以延长其生命周期。雕塑、古建筑物、考古现场都属于该应用范畴。三维激光扫描技术为更好地保护和修复这些珍贵的遗产提供了新的技术手段。通过三维激光扫描仪把文物的几何和纹理信息扫描下来，以数字的形式存储或构建成三维模型，这对于文物的保护、修复以及研究都有重要的意义。三维激光扫描技术通过对文物保护对象的扫描来获取文物的原始点云模型数据，且点云数据是实际物体的真实尺寸复原，是目前最完整、最精细和最快捷地对物体现状进行档案保存的手段。点云数据不但包含了对象物体的空间尺寸信息和反射率信息，还可以逼真地保留对象物体的纹理色彩信息。扫描数据可以利用MeshLab或其他三维处理软件进行建模，构建Mesh格网模型，再通过纹理映射或是导入到其它三维软件中进行纹理贴图，最终得到文物的数字化模型。通过构建文物的三维立体模型，实现了文物模型的虚拟展示。
但是，对文物保护对象进行数字化时，需要用到三维激光扫描仪对其进行扫描，可见对文物的精准扫描和重建是文物数字化顺利进行的必要条件，然而为了保证文物数字化的精准程度就必须保证扫描获取的点云质量，点云的质量得到保证后，才能够使得文物保护对象的数字化过程更加顺利。
目前，针对三维几何模型的评价方法主要有主观评价方法和客观评价方法。主观评价方法简单而直观，但要耗费大量的时间和人力，并且受观测者个人因素的影响较大，大大降低了主观评价的实用性和准确性。而客观评价方法将摆脱依赖人的主观判断的局限，有效提高评价的效率，为三维几何模型的处理提供科学的、统一的评价标准，具有操作简单、成本低、易于解析和嵌入实现等优点。
本技术在文物保护中的应用场景具体为：为通过三维扫描技术获得的文物点云对象进行客观质量评价代替具有局限性的主观打分方式，同时减少人力和时间的消耗，有效推进文物数字化的进程。
实例：如图5，对该点云模型通过主观实验的人工得分为1分(满分为5分)，而通过所提出的基于深度学习的无参考MFE-NET所得到的分数为0.82分，两者结果十分接近，说明本申请所提出方法的有效性，能够在一定程度上代替人工打分的方式。
以上，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。
Claims (2)
1.基于多层次特征提取网络模型的三维点云质量评价方法，其特征在于，包括：
对点云数据进行手工特征提取，获取灰度值、平均曲率以及簇中的点相对于中心点的欧几里得距离；采用自适应的方式提取所述点云数据的手工特征，所述手工特征提取包括中心点的选取、簇的构成和各个簇的特征提取；
对所述点云数据进行手工特征提取包括：
确定采样簇的个数，基于最远点采样方法选取所述点云数据中各个簇的中心点，结合KNN方法获取各个中心点的k个最邻近点，构成若干点云簇，其中，每个所述点云簇中包含k+1个点；基于所述点云簇的划分，获取所述灰度值、平均曲率以及簇中的点相对于中心点的欧几里得距离；
所述点云簇中任意点相对于所述中心点的欧几里得距离为：
其中，/>为簇中心点的空间坐标，/>为第i个邻近点的空间坐标，/>为簇中任意点，/>为簇中心点；
计算所述点云簇中各个点的灰度值的方法为：
其中，/>分别为点云的红绿蓝颜色三通道，L为灰度值；
为了捕捉点云的局部结构信息，通过提取点云簇中每个点的平均曲率，描述失真点云簇表面结构的变化情况，其中，簇中每个点的平均曲率由二次曲面的局部最小二乘拟合计算，首先，使用主成分分析对点Pc估计一个近似切平面，获取一个正交坐标系，使得uz与表面的近似法线对齐，并取点Pc作为坐标系的原点，之后，寻求二次曲面Q（x，y）=ax2+by2+cxy+dx+ey+f最小化：
然后，计算Q的导数估计平均曲率，表示为：
其中，为点Pc的平均曲率，/>是二次曲面的拟合系数；构建多层次特征提取网络模型，基于所述灰度值、平均曲率以及簇中的点相对于中心点的欧几里得距离对所述网络模型进行训练，获取局部质量分数；
基于所述局部质量分数，通过平均池化策略获取点云全局质量分数，基于所述点云全局质量分数对三维点云质量进行评价；
所述多层次特征提取网络模型包括：
深度特征提取模块：用于提取出所述点云中由浅到深的特征；
第一卷积层：用于获取不同感受野下的点云特征，其中包括7*7与3*3大小的卷积层；
残差模块：用于减少卷积核导致的感受野减小的弊端，避免梯度消失，更好地学习深层特征；
特征回归模块：用于建立不同层级特征之间的联系；
所述残差模块的输出为：
其中，/>为残差单元的输出，x为残差单元的输入，为残差单元学习到的残差映射，/>为通道间注意力融合操作；
通过Fusion block学习不同特征之间的通道关系，即获取代表每个特征通道重要性的通道权重，然后通过乘法将权重逐通道加权到特征上，完成在通道维度上的原始特征重标定；
所述特征回归模块的操作为：
其中，/>为各个局部点云簇的预测分数，/>表示concatenation操作；DIR表示将特征按指定方向拼接；C表示通道方向；H表示高度方向；/>表示全连接层的分数回归函数；/>表示全连接层的参数；/>，/>和/>分别表示对/>进行的平均、最小值与最大值池化以及各自对应的特征提取操作；/>、/>分别为f1-f5在通道和高度方向上拼接后得到的融合特征，f1-f5分别为由浅到深的层级特征。
2.根据权利要求1所述的基于多层次特征提取网络模型的三维点云质量评价方法，其特征在于，通过所述平均池化策略获取点云全局质量分数的方法为：
其中，/>为全局质量分数，N为局部点云簇的总数量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310401940.0A CN116137059B (zh) | 2023-04-17 | 2023-04-17 | 基于多层次特征提取网络模型的三维点云质量评价方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310401940.0A CN116137059B (zh) | 2023-04-17 | 2023-04-17 | 基于多层次特征提取网络模型的三维点云质量评价方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116137059A CN116137059A (zh) | 2023-05-19 |
| CN116137059B true CN116137059B (zh) | 2024-04-26 |
Family
ID=86334704
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310401940.0A Active CN116137059B (zh) | 2023-04-17 | 2023-04-17 | 基于多层次特征提取网络模型的三维点云质量评价方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116137059B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116542981B (zh) * | 2023-07-06 | 2023-08-29 | 无锡晨智物联科技有限公司 | 无参考点云的质量评估方法 |
| CN117132501B (zh) * | 2023-09-14 | 2024-02-23 | 武汉纺织大学 | 一种基于深度相机的人体点云空洞修复方法及*** |
| CN117291845B (zh) * | 2023-11-27 | 2024-03-19 | 成都理工大学 | 一种点云地面滤波方法、***、电子设备及存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103942838A (zh) * | 2014-05-13 | 2014-07-23 | 福州大学 | 基于点云数据的单树三维建模与形态参数提取的方法 |
| CN110246112A (zh) * | 2019-01-21 | 2019-09-17 | 厦门大学 | 基于深度学习的激光扫描slam室内三维点云质量评价方法 |
| CN112637594A (zh) * | 2020-12-23 | 2021-04-09 | 青岛大学 | 一种基于比特流的无参考3d点云质量评估方法 |
| CN112818999A (zh) * | 2021-02-10 | 2021-05-18 | 桂林电子科技大学 | 一种基于卷积神经网络的复杂场景3d点云语义分割方法 |
| CN113470002A (zh) * | 2021-07-22 | 2021-10-01 | 中国科学院空天信息创新研究院 | 一种层析sar三维点云重建质量评价方法及装置 |
| CN113569979A (zh) * | 2021-08-06 | 2021-10-29 | 中国科学院宁波材料技术与工程研究所 | 一种基于注意力机制的三维物体点云分类方法 |
| CN113674403A (zh) * | 2021-08-26 | 2021-11-19 | 上海交通大学 | 一种三维点云上采样方法、***、设备及介质 |
| CN114782332A (zh) * | 2022-04-02 | 2022-07-22 | 宁波大学 | 一种基于几何与色彩联合感知的彩色点云质量评价方法 |
| WO2022166400A1 (zh) * | 2021-02-05 | 2022-08-11 | 中国科学院深圳先进技术研究院 | 一种处理三维点云的方法、装置、设备以及存储介质 |
| CN115937150A (zh) * | 2022-12-12 | 2023-04-07 | 南京邮电大学 | 基于点结构化信息网络的点云质量计算方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230027519A1 (en) * | 2021-07-13 | 2023-01-26 | Tencent America LLC | Image based sampling metric for quality assessment |
-
2023
- 2023-04-17 CN CN202310401940.0A patent/CN116137059B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103942838A (zh) * | 2014-05-13 | 2014-07-23 | 福州大学 | 基于点云数据的单树三维建模与形态参数提取的方法 |
| CN110246112A (zh) * | 2019-01-21 | 2019-09-17 | 厦门大学 | 基于深度学习的激光扫描slam室内三维点云质量评价方法 |
| CN112637594A (zh) * | 2020-12-23 | 2021-04-09 | 青岛大学 | 一种基于比特流的无参考3d点云质量评估方法 |
| WO2022166400A1 (zh) * | 2021-02-05 | 2022-08-11 | 中国科学院深圳先进技术研究院 | 一种处理三维点云的方法、装置、设备以及存储介质 |
| CN112818999A (zh) * | 2021-02-10 | 2021-05-18 | 桂林电子科技大学 | 一种基于卷积神经网络的复杂场景3d点云语义分割方法 |
| CN113470002A (zh) * | 2021-07-22 | 2021-10-01 | 中国科学院空天信息创新研究院 | 一种层析sar三维点云重建质量评价方法及装置 |
| CN113569979A (zh) * | 2021-08-06 | 2021-10-29 | 中国科学院宁波材料技术与工程研究所 | 一种基于注意力机制的三维物体点云分类方法 |
| CN113674403A (zh) * | 2021-08-26 | 2021-11-19 | 上海交通大学 | 一种三维点云上采样方法、***、设备及介质 |
| WO2023025030A1 (zh) * | 2021-08-26 | 2023-03-02 | 上海交通大学 | 一种三维点云上采样方法、***、设备及介质 |
| CN114782332A (zh) * | 2022-04-02 | 2022-07-22 | 宁波大学 | 一种基于几何与色彩联合感知的彩色点云质量评价方法 |
| CN115937150A (zh) * | 2022-12-12 | 2023-04-07 | 南京邮电大学 | 基于点结构化信息网络的点云质量计算方法 |
Non-Patent Citations (7)
| Title |
|---|
| Point cloud quality assessment based on geometry-aware texture descriptors;Rafael Diniz等;Computers and Graphics;20221231;全文 * |
| 一种新的聚类算法研究;骆挺;;福建电脑;20070401(04);全文 * |
| 基于散乱点云特征提取算法研究;刘春晓;邵为真;邵帅;井文胜;;测绘与空间地理信息;20170825(08);全文 * |
| 基于深层特征学习的无参考立体图像质量评价;富振奇;费延佳;杨艳;邵枫;;光电子・激光;20180515(05);全文 * |
| 基于深度学***;;计算机学报;20201231(01);全文 * |
| 杨光红等.无人***基础.机械工业出版社,2021,第216-219页. * |
| 点云质量评价挑战与关键技术研究;徐异凌等;中国传媒大学学报（自然科学版）;第28卷(第5期);12-18 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116137059A (zh) | 2023-05-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116137059B (zh) | 基于多层次特征提取网络模型的三维点云质量评价方法 | |
| CN109559276B (zh) | 一种基于质量评价和特征统计的图像超分辨率重建方法 | |
| CN111784602B (zh) | 一种生成对抗网络用于图像修复的方法 | |
| CN112001960B (zh) | 基于多尺度残差金字塔注意力网络模型的单目图像深度估计方法 | |
| CN108038906B (zh) | 一种基于图像的三维四边形网格模型重建方法 | |
| CN108230278B (zh) | 一种基于生成对抗网络的图像去雨滴方法 | |
| CN109118445B (zh) | 一种基于多分支生成对抗网络的水下图像增强方法 | |
| CN112489164B (zh) | 基于改进深度可分离卷积神经网络的图像着色方法 | |
| CN111612708B (zh) | 一种基于对抗生成网络的图像修复方法 | |
| CN111145116A (zh) | 一种基于生成对抗网络的海面雨天图像样本增广方法 | |
| CN109146944A (zh) | 一种基于深度可分卷积神经网络的视觉深度估计方法 | |
| CN110458765A (zh) | 基于感知保持卷积网络的图像质量增强方法 | |
| CN114092697B (zh) | 注意力融合全局和局部深度特征的建筑立面语义分割方法 | |
| CN114445292A (zh) | 一种多阶段渐进式水下图像增强方法 | |
| CN110728707A (zh) | 基于非对称深度卷积神经网络的多视角深度预测方法 | |
| CN112488935B (zh) | 基于纹理约束和泊松融合的生成对抗指静脉图像修复方法 | |
| CN113538234A (zh) | 基于轻量化生成模型的遥感图像超分辨率重建方法 | |
| CN115953330B (zh) | 虚拟场景图像的纹理优化方法、装置、设备和存储介质 | |
| CN111369124A (zh) | 一种基于自生成全局特征和注意力的图像美学预测方法 | |
| CN115619974A (zh) | 基于改进PatchMatch网络的大型场景三维重建方法、重建装置、设备及存储介质 | |
| Wang et al. | Point cloud quality assessment using 3D saliency maps | |
| CN114972282A (zh) | 基于图像语义信息的增量学习无参考图像质量评价方法 | |
| CN115035170A (zh) | 基于全局纹理与结构的图像修复方法 | |
| CN112767311A (zh) | 一种基于卷积神经网络的无参考图像质量评价方法 | |
| CN111127587A (zh) | 一种基于对抗生成网络的无参考图像质量地图生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |