CN113901991A - 一种基于伪标签的3d点云数据半自动标注方法及装置 - Google Patents
一种基于伪标签的3d点云数据半自动标注方法及装置 Download PDFInfo
- Publication number
- CN113901991A CN113901991A CN202111079431.8A CN202111079431A CN113901991A CN 113901991 A CN113901991 A CN 113901991A CN 202111079431 A CN202111079431 A CN 202111079431A CN 113901991 A CN113901991 A CN 113901991A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- pseudo
- data
- reliability
- label
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000002372 labelling Methods 0.000 title claims abstract description 55
- 238000000034 method Methods 0.000 claims abstract description 73
- 238000012549 training Methods 0.000 claims abstract description 67
- 238000005259 measurement Methods 0.000 claims abstract description 17
- 230000006870 function Effects 0.000 claims description 37
- 239000013598 vector Substances 0.000 claims description 30
- 238000013507 mapping Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 5
- 238000002474 experimental method Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000008571 general function Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于伪标签的3D点云数据半自动标注方法及装置，方法包括：使用标注后的点云数据对3D点云语义理解模型进行训练，将训练后的模型记作初语义理解模型，所述初语义理解模型对剩余未标注数据进行语义理解，得到伪标签点云；根据不确定性度量阈值和伪标签阈值将伪标签点云分为高信度伪标签点云和低信度伪标签点云；使用所述标注后的点云数据和高信度伪标签点云数据重新对初语义理解模型进行训练，将训练后的模型记作伪标签语义理解模型；使用所述标注后点云数据和初始未标注数据对所述伪标签语义理解模型继续训练，将再次更新后的模型记作强伪标签语义理解模型，并用该最终的模型对初始未标注数据进行标注。装置包括：处理器和存储器。
Description
技术领域
本发明涉及半自动标注领域，尤其涉及一种基于伪标签的3D点云数据半自动标注方法及装置。
背景技术
随着人工智能技术的发展，涌现出越来越多性能优越的机器学习模型，但其中多数机器学习模型都是需要大量的人工标注的数据，这对于人工智能技术的实际应用带来了极大挑战。模型的训练需要大量的标注数据，并且标注数据的准确率和正确率直接影响了模型训练的好坏。在计算机视觉领域，基于强监督的3D点云语义理解模型准确率已相对成熟，这也对于有标注数据的依赖性越来越大，对于如此大量的强监督标注数据一般都是需要花费大量的人力物力以及资源成本才可以获得，并且3D点云数据的标注在时间成本和金钱成本上都远远高于图像数据。
因此，只利用少量标注3D点云数据便可对大量未标记3D点云数据进行标注，实现3D点云数据的半自动标注。
发明内容
本发明提供了一种基于伪标签的3D点云数据半自动标注方法及装置，本发明前期使用一定量的3D点云标注数据，然后结合伪标签和无标签损失改善了模型，从而在使用少量标注数据的同时，保证了精度；本发明设计了一种转换方式，使得强监督训练模型可以在使用少量强监督信息、多数弱监督信息及大量无监督信息的情况下对模型有很好的训练，详见下文描述：
第一方面，一种基于伪标签的3D点云数据半自动标注方法，所述方法包括：
使用标注后的点云数据对3D点云语义理解模型进行训练，将训练后的模型记作初语义理解模型，所述初语义理解模型对剩余未标注数据进行语义理解，得到伪标签点云；
根据不确定性度量阈值和伪标签阈值将伪标签点云分为高信度伪标签点云和低信度伪标签点云；
使用所述标注后的点云数据和高信度伪标签点云数据重新对初语义理解模型进行训练，将训练后的模型记作伪标签语义理解模型；
使用所述标注后点云数据和初始未标注数据对所述伪标签语义理解模型继续训练，将再次更新后的模型记作强伪标签语义理解模型，并用该最终的模型对初始未标注数据进行标注。
在一种实施方式中，所述方法在对伪标签点云进行高信度和低信度分类的过程中，所述不确定性度量阈值利用了边缘采样法。
在一种实施方式中，所述方法在训练伪标签语义理解模型的过程中，采用了标注点云数据和高信度伪标签点云数据的等权混合训练。
在一种实施方式中，所述方法在对所述伪标签语义理解模型继续训练的过程中，在损失函数中加入了无标签损失函数香农熵。
其中，所述使用标注后的点云数据对3D点云语义理解模型进行训练具体为：
使用标注后的点云数据训练3D点云语义理解模型，并用该模型对初始伪标签数据打上伪标签，并用脚本从ShapeNet数据集中将伪标签的原始数据选出，分别存储于高信度伪标签数据和低信度伪标签数据中。
优选地，所述方法通过一映射函数D1＝X1-X2计算点不确定性度量，其中X1为特征向量中的最大值，X2为特征向量中的第二大值，将计算出的点不确定性度量和不确定性度量阈值进行比较，高于称为高信度点HP，反之称为低信度点LP；
通过映射函数P＝HP/(HP+LP)计算点云伪标签信度，并将点云伪标签信度和伪标签阈值进行比较，高于称为高信度伪标签点云。
第二方面，一种基于伪标签的3D点云数据半自动标注装置，所述装置包括：
标注模块，用于对所收集到的初始3D点云数据进行标注，提供监督信息；
强监督模块，用于通过有标注的3D点云强监督信息对3D点云网络结构进行训练，产生具有3D点云语义理解能力的初语义理解模型；
伪标签模块，用于对收集到的初始3D点云数据进行打伪标签操作，得到具有弱监督信息的伪标签标注的3D点云数据；
不确定性模块，用于对伪标签标注的3D点云数据计算不确定性度，并将其分为高信度伪标签数据和低信度伪标签数据，分别存储，包括：点不确定性层、点云伪标签层；
弱监督模块，用于通过初始有标注和高信度伪标签3D点云数据对3D点云网络结构进行训练，产生具有3D点云语义理解能力的伪标签语义理解模型；
半监督模块，用于通过初始有标注和未标注3D点云数据对伪标签语义理解模型继续训练，产生具有对未标注数据有良好性能的强伪标签语义理解模型；
重标注模块，用于对初始未标注3D点云数据利用强伪标签语义理解模型重新进行标注，并输出标注结果。
其中，所述不确定性模块包括：
点不确定性度量阈值子模块，用于计算3D点云数据中每个点的不确定性度量，并对每个点做出分类，包括点不确定性层；
点云伪标签阈值子模块，用于判断3D点云数据是高信度伪标签点云还是低信度伪标签点云，包括点云伪标签层；
其中，点不确定层采用边缘采样法计算点的不确定性度量，以特征向量作为输入，通过一个映射函数输出两个标量；
通过映射函数D1＝X1-X2，计算点不确定性度量D1，X1为特征向量中的最大值，X2为特征向量中的最小值，并将点不确定性度D1和不确定性阈值进行比较，高于称为高信度点；
其中，点云伪标签层采用占比法计算点云伪标签高低信度，以点不确定性层的输出作为输入，通过一个二分类器输出一个标量；
通过映射函数PL＝HP/(HP+LP)计算点云伪标签信度PL，并将PL和伪标签阈值进行比较，高于则称为高信度伪标签点云。
第三方面，一种基于伪标签的3D点云数据半自动标注装置，所述装置包括处理器和存储器，存储器中存储有程序指令，处理器调用存储器中存储的程序指令以使装置执行第一方面中的任一项所述的方法步骤。
第四方面，一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时使所述处理器执行第一方面中的任一项所述的方法步骤。
本发明提供的技术方案的有益效果是：
1、本发明将含弱监督信度的伪标签数据和无监督信息的无标注数据应用到强监督3D点云语义理解模型中，提出了一种可以用少量含强监督信息的有标注数据、多数含弱监督信息的伪标签数据和大量含无监督信息的无标注数据，在现有强监督3D点云语义理解模型的基础上训练的方法，打破了强监督学习、弱监督学习和无监督学习的界限，使得三者之间可以更好的协同联系，共同促进模型精度的提升；
2、本发明只使用少量含强监督信息的有标注数据对3D点云语义理解模型进行初始化，可以使用更少的人工标注信息，节省人力成本；对于强监督模型来说，只使用少量有标注数据会使得模型检测精度低，但是，由于打破了强监督学习、弱监督学习和无监督学习之间的界限，通过伪标签数据和无标注数据对强监督模型进行信息补充，提高模型最终的精度，从而使模型在实际应用中更具意义；
3、本发明使用该种模型辅助人工标注，可以更好的提高人工效率，并且会逐步提高模型的准确率和泛化性能。
附图说明
图1为3D点云语义理解模型的示意图；
图2为3D点云数据标注方法的流程图；
图3为Airplane类别的折线图；
图4为Chair类别的折线图；
图5为Lamp类别的折线图；
图6为Table类别的折线图；
图7为一种基于伪标签的3D点云数据半自动标注装置的结构示意图；
图8为不确定性模块的结构示意图；
图9为一种基于伪标签的3D点云数据半自动标注装置的另一结构示意图。
表1示出了ShapeNet数据集的Airplane类别作为实验数据集时各方法的模型精度；
表2示出了ShapeNet数据集的Chair类别作为实验数据集时各方法的模型精度；
表3示出了ShapeNet数据集的Lamp类别作为实验数据集时各方法的模型精度；
表4示出了ShapeNet数据集的Table类别作为实验数据集时各方法的模型精度。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
第一方面，本发明实施例提供了一种基于伪标签的3D点云数据半自动标注方法，该方法包括以下几个步骤：
101：对部分未标注的3D点云数据进行标注；
其中，本发明实施例对于没有任何标注信息的3D点云数据利用开源工具semantic-segmentation-editor进行人工标注，也即手动将点云中的各点归属于某一类别，该步骤为本领域技术人员所公知，本发明实施例对此不做赘述。
102：使用步骤101中的标注点云数据对图1中的3D点云语义理解模型进行训练，将此模型称为初语义理解模型，并用该初语义理解模型对剩余未标注数据进行语义理解，得到伪标签点云；
其中，图1所示的模型为输入n*3维向量，经过T-Net(矩阵变换)网络对输入向量进行旋转、平移等几何变换，实现输入的无序性，后经过多个多层感知机进行特征提取，得到n*1024维向量，再经过最大池化层得到一个1*1024维向量，并继续用多层感知机进行特征提取，最终得到一个1*k维的特征向量，k为类别数。
具体实现时，使用上一步的标注点云数据对强监督3D点云语义理解模型进行训练，之所以采用此模型，是因为在大量的强监督信息下，该模型相比于其他模型能达到更好的效果，这有利于与使用少量强监督信息训练的结果进行对比。
该模型的损失函数只包含有标签损失函数，常采用多标签多值交叉熵损失：
其中，
为模型预测值，y为样本真实值，n为样本总数，C为样本维度，m为某一具体样本，i为样本的某一具体维度，LL(,)为损失函数。
利用得到的这个模型对原始未标注数据进行语义理解，得到这些3D点云数据的伪标签。伪标签是指将特征向量中数值最大的维度所代表的类别作为该数据的标签值，即：
其中，y'i为伪标签，fi'(x)为模型的输出向量，x为输入样本。
103：根据不确定性度量阈值和伪标签阈值将伪标签点云分为高信度伪标签点云和低信度伪标签点云，分别存储；
该步骤首先是将每个点的特征向量利用边缘采样法计算出该点的不确定性度量，边缘采样法即计算特征向量的最大值与第二大值之间的差值，将该差值作为该点的不确定性量。本发明实施例通过一个映射函数D1＝X1-X2来计算点不确定性度量D1，其中X1为特征向量中的最大值，X2为特征向量中的第二大值，并将计算出的点不确定性度量D1和不确定性阈值进行比较，高于称为高信度点，记为HP，反之称为低信度点，记为LP，其中不确定性度量阈值根据点云中点类别的种类数进行设定。
最后通过占比法计算点云中高信度点在所有点云中的比值，并将该占比值与伪标签阈值进行比较，大于伪标签阈值的点云记为高信度伪标签点云，反之记为低信度伪标签点云。即可以通过映射函数PL＝HP/(HP+LP)计算点云伪标签信度PL，并将PL和伪标签阈值进行比较，高于则称为高信度伪标签点云，记为HPC，反之称为低信度伪标签点云，记为LPC，其中伪标签阈值一般设定为固定常值。
例如：在ShapeNet数据集的Airplane类别上进行实验时，由于该类别只包含：机身、机翼、机尾，机轮四个小类别，经过多次调参实验，对比实验结果，最终将Airplane类别上的不确定性度量阈值设为0.7，伪标签阈值设为0.95，本发明实施例对此不做限制。
104：使用步骤101中的标注点云数据和高信度伪标签点云数据重新对图1中的初语义理解模型进行训练，将训练后的模型作为伪标签语义理解模型；
将伪标签点云数据分类后，将初始标注点云数据和高信度伪标签点云数据重新对图1中的模型进行训练，并将此模型称为伪标签语义理解模型。将初始标注点云数据和高信度伪标签点云数据进行等权混合训练，能减轻模型对于学习高信度伪标签点云数据时其中错误伪标签带来的影响，并且充分利用了大量伪标签数据，提升了模型效果。
其中，该步骤中将初始标注点云数据和高信度伪标签点云数据的混合方式为等权混合：若初始标注3D点云数据数量为num_label，高信度伪标签3D点云数据数量为num_pseudo，则重复采样初始标注3D点云数据集，使其数量达到num_pseudo。
之所以采取等权混合，是因为高信度伪标签3D点云数据数量常远多于初始有标注3D点云数据，这样会加重伪标签数据中错误标签带来的坏影响，而采用等权混合，能保证在每次训练时两者数目的相当，在充分利用大量高信度伪标签3D点云数据的同时提升了模型性能。
105：使用步骤101中的标注点云数据和初始未标注数据对伪标签语义理解模型继续训练，将再次更新后的模型作为强伪标签语义理解模型，并用该最终的模型对初始未标注数据进行标注。
其中，该步骤使用初始标注点云数据和初始未标注点云数据对伪标签语义理解模型继续训练，得到最终的模型，称为强伪标签语义理解模型。之所以要在伪标签语义理解模型的基础上继续训练，是因为要增强高信度伪标签点云数据和减轻无标注数据对于模型的影响。除此之外，在此训练过程中，在损失函数中加入了无标签损失函数香农熵：
其中，x'为输入样本，n'为样本总数，LU(·)为无标签损失函数，P(yi m＝1|x'm)为模型输出的各类别条件概率值。
然后利用该最终的模型重新对初始未标注数据进行语义理解，完成对这些数据的标注。
综上所述，本发明实施例通过上述步骤101-步骤105使用一定量的3D点云标注数据，然后结合伪标签和无标签损失改善了模型，从而在使用少量标注数据的同时，保证了精度。
实施例2
下面结合具体实例、算例对实施例1中的方案进行进一步地介绍，详见下文描述：
201：对少量未标注的3D点云数据进行标注，具体做法是从ShapeNet数据集中挑选出部分数据作为标注点云数据；
202：使用上述部分标注点云数据训练3D点云语义理解模型，并用该模型对初始伪标签数据打上伪标签，并用步骤103中的两个映射函数从ShapeNet数据集中将这些伪标签的原始数据选出，分别存储于高信度伪标签数据和低信度伪标签数据两个文件夹中，便于后续步骤中对高低信度伪标签的提取。
此3D点云语义理解模型主要由三个模块构成：
第一个模块(即Max pool)是基于无序输入的对称函数模块，其能保证无论输入点云中的点顺序如何变换，点云经过模型特征提取后得到的特征向量都一样，并且该对称函数由非对称函数f来近似点集上的一般函数：
f({x1,...,xn})≈g(h(x1),...,h(xn)) (4)
其中，x1,...,xn为N维输入向量，h(x1),...,h(xn)为RN→RK函数映射，f({x1,...,xn})为
非对称函数，g(h(x1),...,h(xn))为RK×L×RK→R实值对称函数。
第二个模块(即n*1088)是局部信息和全局信息融合模块，其能将全局特征与每个点的点特征进行结合，使点云中的点同时具备全局信息和局部信息，提高模型语义理解的能力。
第三个模块(即T-Net)是对齐网络模块，由于数据经过旋转、平移等几何变换后其语义标记必须是不变的，因此通过对齐网络T-Net使学习到的特征对于上述几何变换也是不变的。
这三个模块共同构成了3D点云语义理解模型，再利用多标签多值交叉熵损失反向传播训练。在训练过程中，根据ShapeNet数据集的大小，只选取点云中的2500个点，若某点云中点数多于2500则随机采样2500个点，反之则重复采样2500个点。
其中，ShapeNet数据集为本领域技术人员所公知，本发明实施例对此不做赘述。
203：对于上述伪标签数据，通过不确定性度量阈值和伪标签阈值进行高低信度伪标签分类；
以ShapeNet数据集中的Airplane类别为例：该类别共有机身、机翼、机尾和涡轮四个部分，设定不确定性阈值为0.7，即若该点云经过初语义理解模型进行特征提取后，其中的某一点的特征向量的最大值和第二大值的差值大于0.7，则将该点认定为高信度伪标签点。而若整个点云中高信度伪标签点的比例高于伪标签阈值0.95，则认为该点云是一个高信度伪标签点云，并用于下一步中。
204：将上述得到的高信度伪标签点云数据与初始标注点云数据进行等权混合，重新对3D点云语义理解模型进行训练，训练方法同步骤202；
205：将初始标注点云数据和初始未标注点云数据混合，对经过步骤204训练后的模型继续进行训练，在此训练中将初始训练学习率调整为0.0001，其余训练方法同步骤202，得到最终的强伪标签语义理解模型，并利用该模型重新对初始未标注数据打上伪标签，作为该数据的标注结果。
综上所述，本发明实施例通过上述步骤201-步骤205使得强监督训练模型可以在使用少量强监督信息、多数弱监督信息及大量无监督信息的情况下对模型有很好的训练。
实施例3
下面结合具体的试验对实施例1和2中的方案进行可行性验证，详见下文描述：
测试使用的是ShapeNet数据集。ShapeNet数据集共有16个类别16881种形状，50个零件数，大多数类别对象的零件数为2-5个。为了保证数据量对实验过程无影响，本发明实施例只选取ShapeNet数据集中的Airplane、Chair、Lamp、Table四个类别进行实验，分别含有2690个数据，其中训练数据2152个、测试数据538个、初始标注数据215个、无标注数据1937个；3746个数据，其中训练数据2996个、测试数据750个、初始标注数据299个、无标注数据2697个；1546个数据，其中训练数据1236个、测试数据310个、初始标注数据123个、无标注数据1113个；5266个数据，其中训练数据4739个、测试数据527个、初始标注数据474个、无标注数据4265个。
以Airplane为例，在训练初语义理解模型中共用了215个初始标注点云数据对模型进行训练；在训练伪标签语义理解模型中，共用了215个初始标注点云数据和558个高信度伪标签点云数据进行训练；在训练高伪标签语义理解模型中，共用了215个初始标注点云数据和1937个无标注数据在伪标签语义理解模型的基础上继续训练。
本发明实施例使用mIoU值作为衡量模型精度的标准，在Airplane、Chair、Lamp、Table四个类别上做了如下实验来说明本方法的可靠性，各方法的实验数据和选取模型如下，其中方法G是本发明提出的方法。
A.数据：100％的标注数据
模型：3D点云语义理解模型
B.数据：10％的标注数据
模型：3D点云语义理解模型
C.数据：10％的标注数据+高信度伪标签数据
模型：初语义理解模型
D.数据：10％的标注数据+高信度伪标签数据(有标注)+低信度伪标签数据(无标注)
模型：初语义理解模型(继续训练)
E.数据：10％的标注数据+高信度伪标签数据(有标注)+低信度伪标签数据(无标注)
模型：伪标签语义理解模型(继续训练)
F.数据：10％的标注数据+90％无标注数据
模型：初语义理解模型(继续训练)
G.数据：10％的标注数据+90％无标注数据
模型：伪标签语义理解模型(继续训练)
表1示出了ShapeNet数据集的Airplane类别作为实验数据集时方法A、B、C、D、E、F、G下的模型精度(对应图3折线图)。
表1
| 方法 | A | B | C | D | E | F | G |
| Airplane | 82.3％ | 76.2％ | 74.7％ | 73.6％ | 75.7％ | 76.2％ | 78.2％ |
表2示出了ShapeNet数据集的Chair类别作为实验数据集时方法A、B、C、D、E、F、G下的模型精度(对应图4折线图)。
表2
| 方法 | A | B | C | D | E | F | G |
| Chair | 88.9％ | 84.9％ | 85.4％ | 86.1％ | 86.4％ | 84.5％ | 86.8％ |
表3示出了ShapeNet数据集的Lamp类别作为实验数据集时方法A、B、C、D、E、F、G下的模型精度(对应图5折线图)。
表3
| 方法 | A | B | C | D | E | F | G |
| Lamp | 79.8％ | 72.9％ | 75.3％ | 75.3％ | 75.6％ | 72.1％ | 77.5％ |
表4示出了ShapeNet数据集的Table类别作为实验数据集时方法A、B、C、D、E、F、G下的模型精度(对应图6折线图)。
表4
| 方法 | A | B | C | D | E | F | G |
| Table | 83.8％ | 82.7％ | 82.9％ | 83.2％ | 83.3％ | 83.5％ | 83.6％ |
通过3D点云数据集ShapeNet上Airplane、Chair、Lamp、Table四个类别进行多组对比实验，可以得出本发明实施例提出的一种基于伪标签的3D点云数据半自动标注方法G在只利用少量标注数据(10％)和大量无标注数据(90％)的情况下模型性能远高于只利用少量标注数据(10％)的方法B，且在Table类别上能逼近于利用100％标注数据的全监督学习方法A。除此之外，通过方法D与方法E、方法F与方法G两两进行对比，可以得出本发明实施例提出的在伪标签语义理解模型上继续训练的方法是有效的。
第二方面，本发明实施例提供了一种基于伪标签的3D点云数据半自动标注装置，参见图7，该装置包括：
标注模块1，用于对所收集到的初始3D点云数据进行标注，提供监督信息；
强监督模块2，用于通过有标注的3D点云强监督信息对3D点云网络结构进行训练，产生具有3D点云语义理解能力的初语义理解模型；
伪标签模块3，用于对收集到的初始3D点云数据进行打伪标签操作，得到具有弱监督信息的伪标签标注的3D点云数据；
不确定性模块4，用于对伪标签标注的3D点云数据计算不确定性度，并将其分为高信度伪标签数据和低信度伪标签数据，分别存储，包括：点不确定性层、点云伪标签层；
弱监督模块5，用于通过初始有标注和高信度伪标签3D点云数据对3D点云网络结构进行训练，产生具有3D点云语义理解能力的伪标签语义理解模型；
半监督模块6，用于通过初始有标注和未标注3D点云数据对伪标签语义理解模型继续训练，产生具有对未标注数据有良好性能的强伪标签语义理解模型；
重标注模块7，用于对初始未标注3D点云数据利用强伪标签语义理解模型重新进行标注，并输出标注结果。
在一种实施方式中，参见图8，该不确定性模块4包括：
点不确定性度量阈值子模块41，用于计算3D点云数据中每个点的不确定性度量，并对每个点做出分类，该子模块41包括点不确定性层；
点云伪标签阈值子模块42，用于判断3D点云数据是高信度伪标签点云还是低信度伪标签点云，该子模块42包括点云伪标签层；
其中，点不确定层采用边缘采样法计算点的不确定性度量，以特征向量作为输入，通过一个映射函数输出两个标量；
通过映射函数D1＝X1-X2，计算点不确定性度量D1，X1为特征向量中的最大值，X2为特征向量中的最小值，并将点不确定性度D1和不确定性阈值进行比较，高于称为高信度点，记为HP，反之称为低信度点，记为LP。
其中，点云伪标签层采用占比法计算点云伪标签高低信度，以点不确定性层的输出作为输入，通过一个二分类器输出一个标量；
通过映射函数PL＝HP/(HP+LP)计算点云伪标签信度PL，并将PL和伪标签阈值进行比较，高于则称为高信度伪标签点云，记为HPC，反之称为低信度伪标签点云，记为LPC。
这里需要指出的是，以上实施例中的装置描述是与上述方法实施例描述相对应的，本发明实施例在此不做赘述。
上述各个模块、单元的执行主体可以是计算机、单片机、微控制器等具计算功能的器件，具体实现时，本发明实施例对执行主体不做限制，根据实际应用中的需要进行选择。
基于同一发明构思，本发明实施例还提供了一种基于伪标签的3D点云数据半自动标注装置，参加图9，该装置包括处理器8和存储器9，存储器9中存储有程序指令，处理器8调用存储器9中存储的程序指令以使装置执行实施例中的以下方法步骤：
对所收集到的初始3D点云数据进行标注，提供监督信息；
通过有标注的3D点云强监督信息对3D点云网络结构进行训练，产生具有3D点云语义理解能力的初语义理解模型；
对收集到的初始3D点云数据进行打伪标签操作，得到具有弱监督信息的伪标签标注的3D点云数据；
对伪标签标注的3D点云数据计算不确定性度，并将其分为高信度伪标签数据和低信度伪标签数据，分别存储，包括：点不确定性层、点云伪标签层；
通过初始有标注和高信度伪标签3D点云数据对3D点云网络结构进行训练，产生具有3D点云语义理解能力的伪标签语义理解模型；
通过初始有标注和未标注3D点云数据对伪标签语义理解模型继续训练，产生具有对未标注数据有良好性能的强伪标签语义理解模型；
对初始未标注3D点云数据利用强伪标签语义理解模型重新进行标注，并输出标注结果。
在一种实施方式中，点不确定性层为：
采用边缘采样法计算点的不确定性度量，以特征向量作为输入，通过一个映射函数输出两个标量；
通过映射函数D1＝X1-X2，计算点不确定性度量D1，X1为特征向量中的最大值，X2为特征向量中的最小值，并将点不确定性度D1和不确定性阈值进行比较，高于称为高信度点，记为HP，反之称为低信度点，记为LP。
在一种实施方式中，点云伪标签层为：
采用占比法计算点云伪标签高低信度，以点不确定性层的输出作为输入，通过一个二分类器输出一个标量；
通过映射函数PL＝HP/(HP+LP)计算点云伪标签信度PL，并将PL和伪标签阈值进行比较，高于则称为高信度伪标签点云，记为HPC，反之称为低信度伪标签点云，记为LPC。
这里需要指出的是，以上实施例中的装置描述是与实施例中的方法描述相对应的，本发明实施例在此不做赘述。
上述的处理器8和存储器9的执行主体可以是计算机、单片机、微控制器等具有计算功能的器件，具体实现时，本发明实施例对执行主体不做限制，根据实际应用中的需要进行选择。
存储器9和处理器8之间通过总线10传输数据信号，本发明实施例对此不做赘述。
基于同一发明构思，本发明实施例还提供了一种计算机可读存储介质，存储介质包括存储的程序，在程序运行时控制存储介质所在的设备执行上述实施例中的方法步骤。
该计算机可读存储介质包括但不限于快闪存储器、硬盘、固态硬盘等。
这里需要指出的是，以上实施例中的可读存储介质描述是与实施例中的方法描述想对应的，本发明实施例在此不做赘述。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例的流程或功能。
计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者通过计算机可读存储介质进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质或者半导体介质等。
本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。
本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于伪标签的3D点云数据半自动标注方法，其特征在于，所述方法包括：
使用标注后的点云数据对3D点云语义理解模型进行训练，将训练后的模型记作初语义理解模型，所述初语义理解模型对剩余未标注数据进行语义理解，得到伪标签点云；
根据不确定性度量阈值和伪标签阈值将伪标签点云分为高信度伪标签点云和低信度伪标签点云；
使用所述标注后的点云数据和高信度伪标签点云数据重新对初语义理解模型进行训练，将训练后的模型记作伪标签语义理解模型；
使用所述标注后点云数据和初始未标注数据对所述伪标签语义理解模型继续训练，将再次更新后的模型记作强伪标签语义理解模型，并用该最终的模型对初始未标注数据进行标注。
2.根据权利要求1所述的一种基于伪标签的3D点云数据半自动标注方法，其特征在于，所述方法在对伪标签点云进行高信度和低信度分类的过程中，所述不确定性度量阈值利用了边缘采样法。
3.根据权利要求1所述的一种基于伪标签的3D点云数据半自动标注方法，其特征在于，所述方法在训练伪标签语义理解模型的过程中，采用了标注点云数据和高信度伪标签点云数据的等权混合训练。
4.根据权利要求1所述的一种基于伪标签的3D点云数据半自动标注方法，其特征在于，所述方法在对所述伪标签语义理解模型继续训练的过程中，在损失函数中加入了无标签损失函数香农熵。
5.根据权利要求1所述的一种基于伪标签的3D点云数据半自动标注方法，其特征在于，所述使用标注后的点云数据对3D点云语义理解模型进行训练具体为：
使用标注后的点云数据训练3D点云语义理解模型，并用该模型对初始伪标签数据打上伪标签，并用脚本从ShapeNet数据集中将伪标签的原始数据选出，分别存储于高信度伪标签数据和低信度伪标签数据中。
6.根据权利要求1或2所述的一种基于伪标签的3D点云数据半自动标注方法，其特征在于，所述方法通过一映射函数D1＝X1-X2计算点不确定性度量，其中X1为特征向量中的最大值，X2为特征向量中的第二大值，将计算出的点不确定性度量和不确定性度量阈值进行比较，高于称为高信度点HP，反之称为低信度点LP；
通过映射函数P＝HP/(HP+LP)计算点云伪标签信度，并将点云伪标签信度和伪标签阈值进行比较，高于称为高信度伪标签点云。
7.一种基于伪标签的3D点云数据半自动标注装置，其特征在于，所述装置包括：
标注模块，用于对所收集到的初始3D点云数据进行标注，提供监督信息；
强监督模块，用于通过有标注的3D点云强监督信息对3D点云网络结构进行训练，产生具有3D点云语义理解能力的初语义理解模型；
伪标签模块，用于对收集到的初始3D点云数据进行打伪标签操作，得到具有弱监督信息的伪标签标注的3D点云数据；
不确定性模块，用于对伪标签标注的3D点云数据计算不确定性度，并将其分为高信度伪标签数据和低信度伪标签数据，分别存储，包括：点不确定性层、点云伪标签层；
弱监督模块，用于通过初始有标注和高信度伪标签3D点云数据对3D点云网络结构进行训练，产生具有3D点云语义理解能力的伪标签语义理解模型；
半监督模块，用于通过初始有标注和未标注3D点云数据对伪标签语义理解模型继续训练，产生具有对未标注数据有良好性能的强伪标签语义理解模型；
重标注模块，用于对初始未标注3D点云数据利用强伪标签语义理解模型重新进行标注，并输出标注结果。
8.根据权利要求7所述的一种基于伪标签的3D点云数据半自动标注装置，其特征在于，所述不确定性模块包括：
点不确定性度量阈值子模块，用于计算3D点云数据中每个点的不确定性度量，并对每个点做出分类，包括点不确定性层；
点云伪标签阈值子模块，用于判断3D点云数据是高信度伪标签点云还是低信度伪标签点云，包括点云伪标签层；
其中，点不确定层采用边缘采样法计算点的不确定性度量，以特征向量作为输入，通过一个映射函数输出两个标量；
通过映射函数D1＝X1-X2，计算点不确定性度量D1，X1为特征向量中的最大值，X2为特征向量中的最小值，并将点不确定性度D1和不确定性阈值进行比较，高于称为高信度点；
其中，点云伪标签层采用占比法计算点云伪标签高低信度，以点不确定性层的输出作为输入，通过一个二分类器输出一个标量；
通过映射函数PL＝HP/(HP+LP)计算点云伪标签信度PL，并将PL和伪标签阈值进行比较，高于则称为高信度伪标签点云。
9.一种基于伪标签的3D点云数据半自动标注装置，其特征在于，所述装置包括处理器和存储器，存储器中存储有程序指令，处理器调用存储器中存储的程序指令以使装置执行权利要求1-6中的任一项所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时使所述处理器执行权利要求1-6中的任一项所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111079431.8A CN113901991A (zh) | 2021-09-15 | 2021-09-15 | 一种基于伪标签的3d点云数据半自动标注方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111079431.8A CN113901991A (zh) | 2021-09-15 | 2021-09-15 | 一种基于伪标签的3d点云数据半自动标注方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113901991A true CN113901991A (zh) | 2022-01-07 |
Family
ID=79028538
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111079431.8A Pending CN113901991A (zh) | 2021-09-15 | 2021-09-15 | 一种基于伪标签的3d点云数据半自动标注方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113901991A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114637848A (zh) * | 2022-03-15 | 2022-06-17 | 美的集团(上海)有限公司 | 语义分类方法及装置 |
| CN114648676A (zh) * | 2022-03-25 | 2022-06-21 | 北京百度网讯科技有限公司 | 点云处理模型的训练和点云实例分割方法及装置 |
| CN114821248A (zh) * | 2022-07-01 | 2022-07-29 | 深圳大学 | 面向点云理解的数据主动筛选标注方法和装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110210431A (zh) * | 2019-06-06 | 2019-09-06 | 上海黑塞智能科技有限公司 | 一种基于点云语义标注和优化的点云分类方法 |
| CN111191732A (zh) * | 2020-01-03 | 2020-05-22 | 天津大学 | 一种基于全自动学习的目标检测方法 |
| CN112115995A (zh) * | 2020-09-11 | 2020-12-22 | 北京邮电大学 | 一种基于半监督学习的图像多标签分类方法 |
| CN112699892A (zh) * | 2021-01-08 | 2021-04-23 | 北京工业大学 | 一种无监督领域自适应语义分割方法 |
| CN112990293A (zh) * | 2021-03-10 | 2021-06-18 | 深圳一清创新科技有限公司 | 一种点云标注方法、装置和电子设备 |
-
2021
- 2021-09-15 CN CN202111079431.8A patent/CN113901991A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110210431A (zh) * | 2019-06-06 | 2019-09-06 | 上海黑塞智能科技有限公司 | 一种基于点云语义标注和优化的点云分类方法 |
| CN111191732A (zh) * | 2020-01-03 | 2020-05-22 | 天津大学 | 一种基于全自动学习的目标检测方法 |
| CN112115995A (zh) * | 2020-09-11 | 2020-12-22 | 北京邮电大学 | 一种基于半监督学习的图像多标签分类方法 |
| CN112699892A (zh) * | 2021-01-08 | 2021-04-23 | 北京工业大学 | 一种无监督领域自适应语义分割方法 |
| CN112990293A (zh) * | 2021-03-10 | 2021-06-18 | 深圳一清创新科技有限公司 | 一种点云标注方法、装置和电子设备 |
Non-Patent Citations (1)
| Title |
|---|
| CV-DEEPLEARNING: "半监督学习实战——标注数据和伪标签数据混合训练", pages 1 - 5, Retrieved from the Internet <URL:https://blog.csdn.net/Guo_Python/article/details/107980688> * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114637848A (zh) * | 2022-03-15 | 2022-06-17 | 美的集团(上海)有限公司 | 语义分类方法及装置 |
| CN114648676A (zh) * | 2022-03-25 | 2022-06-21 | 北京百度网讯科技有限公司 | 点云处理模型的训练和点云实例分割方法及装置 |
| CN114648676B (zh) * | 2022-03-25 | 2024-05-24 | 北京百度网讯科技有限公司 | 点云处理模型的训练和点云实例分割方法及装置 |
| CN114821248A (zh) * | 2022-07-01 | 2022-07-29 | 深圳大学 | 面向点云理解的数据主动筛选标注方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11670071B2 (en) | Fine-grained image recognition | |
| CN113901991A (zh) | 一种基于伪标签的3d点云数据半自动标注方法及装置 | |
| US20210224598A1 (en) | Method for training deep learning model, electronic equipment, and storage medium | |
| CN112668579A (zh) | 基于自适应亲和力和类别分配的弱监督语义分割方法 | |
| KR20210124111A (ko) | 모델을 훈련하기 위한 방법, 장치, 기기, 매체 및 프로그램 제품 | |
| CN104685540B (zh) | 图像语义分割的方法和装置 | |
| CN111344697A (zh) | 用于机器视觉模型的基于复杂度的渐进式训练 | |
| JP7178513B2 (ja) | ディープラーニングに基づく中国語単語分割方法、装置、記憶媒体及びコンピュータ機器 | |
| CN111027576A (zh) | 基于协同显著性生成式对抗网络的协同显著性检测方法 | |
| CN110728187A (zh) | 一种基于容错性深度学习的遥感影像场景分类方法 | |
| CN115080749B (zh) | 一种基于自监督训练的弱监督文本分类方法、***和装置 | |
| CN111916144A (zh) | 基于自注意力神经网络和粗化算法的蛋白质分类方法 | |
| CN115147632A (zh) | 基于密度峰值聚类算法的图像类别自动标注方法及装置 | |
| CN110709855A (zh) | 用于密集视频描述的技术 | |
| CN110768864B (zh) | 一种网络流量批量生成图像的方法及装置 | |
| Liu et al. | Exploring Dual Representations in Large-Scale Point Clouds: A Simple Weakly Supervised Semantic Segmentation Framework | |
| CN117437423A (zh) | 基于sam协同学习和跨层特征聚合增强的弱监督医学图像分割方法及装置 | |
| US20210357647A1 (en) | Method and System for Video Action Classification by Mixing 2D and 3D Features | |
| CN111597336A (zh) | 训练文本的处理方法、装置、电子设备及可读存储介质 | |
| CN112257726B (zh) | 目标检测训练方法、***、电子设备及计算机可读存储介质 | |
| CN113438482B (zh) | 基于感兴趣区域的视频编码 | |
| US20210342642A1 (en) | Machine learning training dataset optimization | |
| CN112446345B (zh) | 一种低质量三维人脸识别方法、***、设备和存储介质 | |
| CN113128496B (zh) | 一种从图像中提取结构化数据的方法、装置和设备 | |
| CN111091198B (zh) | 一种数据处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |