CN113221907B - 一种车辆部件分割方法、装置、设备及存储介质 - Google Patents
一种车辆部件分割方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113221907B CN113221907B CN202110611255.1A CN202110611255A CN113221907B CN 113221907 B CN113221907 B CN 113221907B CN 202110611255 A CN202110611255 A CN 202110611255A CN 113221907 B CN113221907 B CN 113221907B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- graph
- vehicle image
- semantic
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 141
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000012549 training Methods 0.000 claims abstract description 60
- 230000006870 function Effects 0.000 claims description 46
- 238000012545 processing Methods 0.000 claims description 17
- 230000002776 aggregation Effects 0.000 claims description 14
- 238000004220 aggregation Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 10
- 230000004931 aggregating effect Effects 0.000 claims description 5
- 238000007499 fusion processing Methods 0.000 claims description 5
- 239000000758 substrate Substances 0.000 claims 1
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 6
- 238000002372 labelling Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 239000010410 layer Substances 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明实施例涉及人工智能领域，公开了一种车辆部件分割方法、装置、设备及存储介质，该方法包括：获取预先已对车辆部件进行标注的样本车辆图像数据集，样本车辆图像数据集中包括多个车辆图像数据集；确定各个车辆图像数据集的标签集合的交集；将各个车辆图像数据集中的车辆图像以及车辆图像对应的标签集合的交集输入预设的图金字塔模型中进行训练，得到车辆部件分割模型；将待识别车辆图像输入车辆部件分割模型，得到分割结果，分割结果中包括用于指示待识别车辆图像中车辆部件的标签集合，增强了车辆部件分割模型的分割能力，提高了车辆部件的分割准确率。本发明涉及区块链技术，如可将车辆图像数据写入区块链中，以用于数据取证等场景。
Description
技术领域
本发明涉及人工智能领域，尤其涉及一种车辆部件分割方法、装置、设备及存储介质。
背景技术
近年来，车辆部件识别在车辆定损中起着非常重要的作用，随着人工智能技术的发展，有一部分机构采取基于计算机视觉(图像分割)的方法为受损车辆定损，这些方法在一定程度上降低了定损工作对人工的依赖。然而现有的分割模型大都采用单层标签的机制，标注任务大，标注数据利用率不高，从而车辆部件分割不够准确。因此，如何更好地提升车辆部件的分割准确率成为研究的重点。
发明内容
本发明实施例提供了一种车辆部件分割方法、装置、设备及存储介质，可以减少了标注任务量，提高车辆部件的分割准确率。
第一方面，本发明实施例提供了一种车辆部件分割方法，所述方法包括：
获取预先已对车辆部件进行标注的样本车辆图像数据集，所述样本车辆图像数据集中包括多个车辆图像数据集，每个车辆图像数据集中包括一张或多张指定车辆的车辆图像以及所述车辆图像中标注的车辆部件的标签集合，所述标签集合中包括一个或多个标签，其中，不同的标签用于指示不同的车辆部件；
根据所述每个车辆图像数据集中的标签集合，确定各个车辆图像数据集的标签集合的交集；
将所述各个车辆图像数据集中的车辆图像以及所述车辆图像对应的标签集合的交集输入预设的图金字塔模型中进行训练，得到车辆部件分割模型；
将待识别车辆图像输入训练得到的车辆部件分割模型，得到所述待识别车辆图像的分割结果，所述分割结果中包括用于指示所述待识别车辆图像中车辆部件的标签集合。
进一步地，所述图金字塔模型包括图语义聚合模块、图上下文推理模块以及图语义分布模块；所述将所述各个车辆图像数据集中的车辆图像以及所述车辆图像对应的标签集合的交集输入预设的图金字塔模型中进行训练，得到车辆部件分割模型，包括：
将所述各个车辆图像数据集中的车辆图像以及所述车辆图像对应的标签集合的交集输入所述图金字塔模型的图语义聚合模块中，聚合得到所述各个车辆图像数据集对应的语义特征；
通过所述图金字塔模型中的图上下文推理模块以及图语义分布模块对所述各个车辆图像数据集对应的语义特征进行处理，并根据处理结果训练得到所述车辆部件分割模型。
进一步地，所述通过所述图金字塔模型中的图上下文推理模块以及图语义分布模块对所述各个车辆图像数据集对应的语义特征进行处理，包括：
将所述各个车辆图像数据集对应的语义特征输入所述图金字塔模型的图上下文推理模块中，确定各个语义特征之间的关联关系；
将所述各个语义特征之间的关联关系输入所述图金字塔模型的图语义分布模块中进行训练，得到所述车辆部件分割模型。
进一步地，所述将所述各个语义特征之间的关联关系输入所述图金字塔模型的图语义分布模块中进行训练，得到所述车辆部件分割模型，包括：
将所述各个语义特征之间的关联关系输入所述图金字塔模型的图语义分布模块中，得到语义特征分布；
根据所述语义特征分布确定损失函数值，并根据所述损失函数值训练得到所述车辆部件分割模型。
进一步地，所述根据所述语义特征分布确定损失函数值，包括：
根据所述语义特征分布中的分布概率确定语义相近的各个语义特征，并将所述语义相近的各个语义特征进行融合处理，得到各个车辆部件的目标语义特征；
将所述各个车辆部件的目标语义特征输入所述图金字塔模型，得到所述损失函数值。
进一步地，所述根据所述损失函数值训练得到所述车辆部件分割模型，包括：
当所述损失函数值不满足预设阈值时，根据所述损失函数值调整所述图金字塔模型的模型参数；
将所述各个车辆图像数据集中的车辆图像以及所述车辆图像对应的标签集合的交集输入调整模型参数后的图金字塔模型，得到新的损失函数值；
当所述新的损失函数值满足预设阈值时，确定得到所述车辆部件分割模型。
进一步地，所述车辆部件的标签集合中的标签包括第一标签和第二标签，所述第一标签用于指示每个车辆图像中的前景或背景，所述第二标签用于指示每个车辆图像中车辆的外观部件。
第二方面，本发明实施例提供了一种车辆部件分割装置，包括：
获取单元，用于获取预先已对车辆部件进行标注的样本车辆图像数据集，所述样本车辆图像数据集中包括多个车辆图像数据集，每个车辆图像数据集中包括一张或多张指定车辆的车辆图像以及所述车辆图像中标注的车辆部件的标签集合，所述标签集合中包括一个或多个标签，其中，不同的标签用于指示不同的车辆部件；
确定单元，用于根据所述每个车辆图像数据集中的标签集合，确定各个车辆图像数据集的标签集合的交集；
训练单元，用于将所述各个车辆图像数据集中的车辆图像以及所述车辆图像对应的标签集合的交集输入预设的图金字塔模型中进行训练，得到车辆部件分割模型；
识别单元，用于将待识别车辆图像输入训练得到的车辆部件分割模型，得到所述待识别车辆图像的分割结果，所述分割结果中包括用于指示所述待识别车辆图像中车辆部件的标签集合。
第三方面，本发明实施例提供了一种计算机设备，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储支持车辆部件分割装置执行上述方法的计算机程序，所述计算机程序包括程序，所述处理器被配置用于调用所述程序，执行上述第一方面的方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序被处理器执行以实现上述第一方面的方法。
本发明实施例可以获取预先已对车辆部件进行标注的样本车辆图像数据集，所述样本车辆图像数据集中包括多个车辆图像数据集，每个车辆图像数据集中包括一张或多张指定车辆的车辆图像以及所述车辆图像中标注的车辆部件的标签集合，所述标签集合中包括一个或多个标签，其中，不同的标签用于指示不同的车辆部件；根据所述每个车辆图像数据集中的标签集合，确定各个车辆图像数据集的标签集合的交集；将所述各个车辆图像数据集中的车辆图像以及所述车辆图像对应的标签集合的交集输入预设的图金字塔模型中进行训练，得到车辆部件分割模型；将待识别车辆图像输入训练得到的车辆部件分割模型，得到所述待识别车辆图像的分割结果，所述分割结果中包括用于指示所述待识别车辆图像中车辆部件的标签集合。通过这种实施方式，可以减少了标注任务量，提升车辆部件分割模型的鲁棒性，增强车辆部件分割模型的分割能力，提高车辆部件的分割准确率。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种车辆部件分割方法的示意流程图；
图2是本发明实施例提供的一种图金字塔模型的结构示意图；
图3是本发明实施例提供的一种车辆部件分割装置的示意框图；
图4是本发明实施例提供的一种计算机设备的示意框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供的车辆部件分割方法可以应用于一种车辆部件分割装置，在某些实施例中，所述车辆部件分割装置设置于计算机设备中。在某些实施例中，所述计算机设备包括但不限于智能手机、平板电脑、膝上型电脑等中的一种或者多种。
本发明实施例可以获取预先已对车辆部件进行标注的样本车辆图像数据集，所述样本车辆图像数据集中包括多个车辆图像数据集，每个车辆图像数据集中包括一张或多张指定车辆的车辆图像以及所述车辆图像中标注的车辆部件的标签集合，所述标签集合中包括一个或多个标签，其中，不同的标签用于指示不同的车辆部件；根据所述每个车辆图像数据集中的标签集合，确定各个车辆图像数据集的标签集合的交集；将所述各个车辆图像数据集中的车辆图像以及所述车辆图像对应的标签集合的交集输入预设的图金字塔模型中进行训练，得到车辆部件分割模型；将待识别车辆图像输入训练得到的车辆部件分割模型，得到所述待识别车辆图像的分割结果，所述分割结果中包括用于指示所述待识别车辆图像中车辆部件的标签集合。
本发明实施例，通过多层次标签的车辆部件分割模型来对车辆图像的车辆部件进行分割，减少了标注任务量，提升车辆部件分割模型的鲁棒性，增强车辆部件分割模型的分割能力，提高车辆部件的分割准确率。
下面结合附图1对本发明实施例提供的车辆部件分割方法进行示意性说明。
请参见图1，图2是本发明实施例提供的一种车辆部件分割方法的示意流程图，如图1所示，该方法可以由车辆部件分割装置执行，所述车辆部件分割装置设置于计算机设备中。具体地，本发明实施例的所述方法包括如下步骤。
S101：获取预先已对车辆部件进行标注的样本车辆图像数据集，所述样本车辆图像数据集中包括多个车辆图像数据集，每个车辆图像数据集中包括一张或多张指定车辆的车辆图像以及所述车辆图像中标注的车辆部件的标签集合，所述标签集合中包括一个或多个标签，其中，不同的标签用于指示不同的车辆部件。
本发明实施例中，车辆部件分割装置可以获取预先已对车辆部件进行标注的样本车辆图像数据集，所述样本车辆图像数据集中包括多个车辆图像数据集，每个车辆图像数据集中包括一张或多张指定车辆的车辆图像以及所述车辆图像中标注的车辆部件的标签集合，所述标签集合中包括一个或多个标签，其中，不同的标签用于指示不同的车辆部件。例如，车辆图像数据集A对应的标签集合中包括4个车辆部件的标签集合，其中，标签集合包含{前保险杠，左前车门，前挡风玻璃，左后视镜}。
在某些实施例中，所述车辆部件的标签集合中的标签包括第一标签和第二标签，所述第一标签用于指示每个车辆图像中的前景或背景，所述第二标签用于指示每个车辆图像中车辆的外观部件。
S102：根据所述每个车辆图像数据集中的标签集合，确定各个车辆图像数据集的标签集合的交集。
本发明实施例中，车辆部件分割装置可以根据所述每个车辆图像数据集中的标签集合，确定各个车辆图像数据集的标签集合的交集。
例如，假设样本车辆图像集中中包括车辆图像数据集A、车辆图像数据集B、车辆图像数据集C，其中，车辆图像数据集A的车辆部件的标签集合包括{前保险杠，左前车门，前挡风玻璃，左后视镜，左前轮，左后轮}，车辆图像数据集B的车辆部件的标签集合包括{前保险杠，左前车门，左后车门，前挡风玻璃，左后视镜，左前轮，左后轮，右前轮}，车辆图像数据集C的车辆部件的标签集合包括{前保险杠，左前车门，右前车门，前挡风玻璃，左后视镜，右后视镜，左前轮，右前轮}，则可以确定车辆图像数据集A、车辆图像数据集B、车辆图像数据集C的标签集合的交集为{前保险杠，左前车门，前挡风玻璃，左后视镜，左前轮}。
在某些实施例中，所述每个车辆图像数据集中包括一张或多张指定车辆的车辆图像的车辆部件的标签集合。例如，假设车辆图像数据集B中包括4张车辆x的车辆图像的车辆部件的标签集合，其中，一张车辆图像的车辆部件的标签集合为{前保险杠}、一张车辆图像的车辆部件的标签集合为{前保险杠，左前车门，左后车门}、一张车辆图像的车辆部件的标签集合为{前保险杠，左前车门，前挡风玻璃，左后视镜，左前轮}、一张车辆图像的车辆部件的标签集合为{前保险杠，左前车门，前挡风玻璃，左后视镜，左前轮，左后轮，右前轮}，则车辆图像数据集B的车辆部件的标签集合包括{前保险杠，左前车门，左后车门，前挡风玻璃，左后视镜，左前轮，左后轮，右前轮}。
S103：将所述各个车辆图像数据集中的车辆图像以及所述车辆图像对应的标签集合的交集输入预设的图金字塔模型中进行训练，得到车辆部件分割模型。
本发明实施例中，车辆部件分割装置可以将所述各个车辆图像数据集中的车辆图像以及所述车辆图像对应的标签集合的交集输入预设的图金字塔模型中进行训练，得到车辆部件分割模型。
在一个实施例中，所述图金字塔模型包括图语义聚合模块、图上下文推理模块以及图语义分布模块；具体如图2所示，图2是本发明实施例提供的一种图金字塔模型的结构示意图，如图2所示，所述图金字塔模型包括图语义聚合模块21、图上下文推理模块22以及图语义分布模块23。
车辆部件分割装置在将所述各个车辆图像数据集中的车辆图像以及所述车辆图像对应的标签集合的交集输入预设的图金字塔模型中进行训练，得到车辆部件分割模型时，可以将所述各个车辆图像数据集中的车辆图像以及所述车辆图像对应的标签集合的交集输入所述图金字塔模型的图语义聚合模块中，聚合得到所述各个车辆图像数据集对应的语义特征；通过所述图金字塔模型中的图上下文推理模块以及图语义分布模块对所述各个车辆图像数据集对应的语义特征进行处理，并根据处理结果训练得到所述车辆部件分割模型。
在一个实施例中，车辆部件分割装置在通过所述图金字塔模型中的图上下文推理模块以及图语义分布模块对所述各个车辆图像数据集对应的语义特征进行处理时，可以将所述各个车辆图像数据集对应的语义特征输入所述图金字塔模型的图上下文推理模块中，确定各个语义特征之间的关联关系；将所述各个语义特征之间的关联关系输入所述图金字塔模型的图语义分布模块中进行训练，得到所述车辆部件分割模型。通过图上下文推理模块有助于有效地确定车辆图像中相邻的车辆部件之间的关联关系以及不相邻的车辆部件的关联关系。
在一个实施例中，车辆部件分割装置在将所述各个语义特征之间的关联关系输入所述图金字塔模型的图语义分布模块中进行训练，得到所述车辆部件分割模型时，可以将所述各个语义特征之间的关联关系输入所述图金字塔模型的图语义分布模块中，得到语义特征分布；根据所述语义特征分布确定损失函数值，并根据所述损失函数值训练得到所述车辆部件分割模型。
在一个实施例中，车辆部件分割装置在根据所述语义特征分布确定损失函数值时，可以根据所述语义特征分布中的分布概率确定语义相近的各个语义特征，并将所述语义相近的各个语义特征进行融合处理，得到各个车辆部件的目标语义特征；将所述各个车辆部件的目标语义特征输入所述图金字塔模型，得到所述损失函数值。
在一个实施例中，车辆部件分割装置在根据所述损失函数值训练得到所述车辆部件分割模型时，当所述损失函数值不满足预设阈值时，可以根据所述损失函数值调整所述图金字塔模型的模型参数；将所述各个车辆图像数据集中的车辆图像以及所述车辆图像对应的标签集合的交集输入调整模型参数后的图金字塔模型，得到新的损失函数值；当所述新的损失函数值满足预设阈值时，确定得到所述车辆部件分割模型。
S104：将待识别车辆图像输入训练得到的车辆部件分割模型，得到所述待识别车辆图像的分割结果，所述分割结果中包括用于指示所述待识别车辆图像中车辆部件的标签集合。
本发明实施例中，车辆部件分割装置可以将待识别车辆图像输入训练得到的车辆部件分割模型，得到所述待识别车辆图像的分割结果，所述分割结果中包括用于指示所述待识别车辆图像中车辆部件的标签集合。
在某些实施例中，所述待识别车辆图像中车辆部件的标签集合包括待识别车辆图像中的第一标签和第二标签，即所述待识别车辆图像中车辆部件的标签集合包括待识别车辆图像中的前景和背景，以及待识别车辆图像中车辆外观部件的标签集合。
本发明实施例中，车辆部件分割装置可以获取预先已对车辆部件进行标注的样本车辆图像数据集，所述样本车辆图像数据集中包括多个车辆图像数据集，每个车辆图像数据集中包括一张或多张指定车辆的车辆图像以及所述车辆图像中标注的车辆部件的标签集合，所述标签集合中包括一个或多个标签，其中，不同的标签用于指示不同的车辆部件；根据所述每个车辆图像数据集中的标签集合，确定各个车辆图像数据集的标签集合的交集；将所述各个车辆图像数据集中的车辆图像以及所述车辆图像对应的标签集合的交集输入预设的图金字塔模型中进行训练，得到车辆部件分割模型；将待识别车辆图像输入训练得到的车辆部件分割模型，得到所述待识别车辆图像的分割结果，所述分割结果中包括用于指示所述待识别车辆图像中车辆部件的标签集合。通过这种实施方式，可以减少了标注任务量，提升车辆部件分割模型的鲁棒性，增强车辆部件分割模型的分割能力，提高车辆部件的分割准确率。
本发明实施例还提供了一种车辆部件分割装置，该车辆部件分割装置用于执行前述任一项所述的方法的单元。具体地，参见图3，图3是本发明实施例提供的一种车辆部件分割装置的示意框图。本实施例的车辆部件分割装置包括：获取单元301、确定单元302、训练单元303、识别单元304。
获取单元301，用于获取预先已对车辆部件进行标注的样本车辆图像数据集，所述样本车辆图像数据集中包括多个车辆图像数据集，每个车辆图像数据集中包括一张或多张指定车辆的车辆图像以及所述车辆图像中标注的车辆部件的标签集合，所述标签集合中包括一个或多个标签，其中，不同的标签用于指示不同的车辆部件；
确定单元302，用于根据所述每个车辆图像数据集中的标签集合，确定各个车辆图像数据集的标签集合的交集；
训练单元303，用于将所述各个车辆图像数据集中的车辆图像以及所述车辆图像对应的标签集合的交集输入预设的图金字塔模型中进行训练，得到车辆部件分割模型；
识别单元304，用于将待识别车辆图像输入训练得到的车辆部件分割模型，得到所述待识别车辆图像的分割结果，所述分割结果中包括用于指示所述待识别车辆图像中车辆部件的标签集合。
进一步地，所述图金字塔模型包括图语义聚合模块、图上下文推理模块以及图语义分布模块；所述训练单元303将所述各个车辆图像数据集中的车辆图像以及所述车辆图像对应的标签集合的交集输入预设的图金字塔模型中进行训练，得到车辆部件分割模型时，具体用于：
将所述各个车辆图像数据集中的车辆图像以及所述车辆图像对应的标签集合的交集输入所述图金字塔模型的图语义聚合模块中，聚合得到所述各个车辆图像数据集对应的语义特征；
通过所述图金字塔模型中的图上下文推理模块以及图语义分布模块对所述各个车辆图像数据集对应的语义特征进行处理，并根据处理结果训练得到所述车辆部件分割模型。
进一步地，所述训练单元303通过所述图金字塔模型中的图上下文推理模块以及图语义分布模块对所述各个车辆图像数据集对应的语义特征进行处理时，具体用于：
将所述各个车辆图像数据集对应的语义特征输入所述图金字塔模型的图上下文推理模块中，确定各个语义特征之间的关联关系；
将所述各个语义特征之间的关联关系输入所述图金字塔模型的图语义分布模块中进行训练，得到所述车辆部件分割模型。
进一步地，所述训练单元303将所述各个语义特征之间的关联关系输入所述图金字塔模型的图语义分布模块中进行训练，得到所述车辆部件分割模型时，具体用于：
将所述各个语义特征之间的关联关系输入所述图金字塔模型的图语义分布模块中，得到语义特征分布；
根据所述语义特征分布确定损失函数值，并根据所述损失函数值训练得到所述车辆部件分割模型。
进一步地，所述训练单元303根据所述语义特征分布确定损失函数值时，具体用于：
根据所述语义特征分布中的分布概率确定语义相近的各个语义特征，并将所述语义相近的各个语义特征进行融合处理，得到各个车辆部件的目标语义特征；
将所述各个车辆部件的目标语义特征输入所述图金字塔模型，得到所述损失函数值。
进一步地，所述训练单元303根据所述损失函数值训练得到所述车辆部件分割模型时，具体用于：
当所述损失函数值不满足预设阈值时，根据所述损失函数值调整所述图金字塔模型的模型参数；
将所述各个车辆图像数据集中的车辆图像以及所述车辆图像对应的标签集合的交集输入调整模型参数后的图金字塔模型，得到新的损失函数值；
当所述新的损失函数值满足预设阈值时，确定得到所述车辆部件分割模型。
进一步地，所述车辆部件的标签集合中的标签包括第一标签和第二标签，所述第一标签用于指示每个车辆图像中的前景或背景，所述第二标签用于指示每个车辆图像中车辆的外观部件。
本发明实施例中，车辆部件分割装置可以获取预先已对车辆部件进行标注的样本车辆图像数据集，所述样本车辆图像数据集中包括多个车辆图像数据集，每个车辆图像数据集中包括一张或多张指定车辆的车辆图像以及所述车辆图像中标注的车辆部件的标签集合，所述标签集合中包括一个或多个标签，其中，不同的标签用于指示不同的车辆部件；根据所述每个车辆图像数据集中的标签集合，确定各个车辆图像数据集的标签集合的交集；将所述各个车辆图像数据集中的车辆图像以及所述车辆图像对应的标签集合的交集输入预设的图金字塔模型中进行训练，得到车辆部件分割模型；将待识别车辆图像输入训练得到的车辆部件分割模型，得到所述待识别车辆图像的分割结果，所述分割结果中包括用于指示所述待识别车辆图像中车辆部件的标签集合。通过这种实施方式，可以减少了标注任务量，提升车辆部件分割模型的鲁棒性，增强车辆部件分割模型的分割能力，提高车辆部件的分割准确率。
参见图4，图4是本发明实施例提供的一种计算机设备的示意框图。如图所示的本实施例中的设备可以包括：一个或多个处理器401；一个或多个输入设备402，一个或多个输出设备403和存储器404。上述处理器401、输入设备402、输出设备403和存储器404通过总线405连接。存储器404用于存储计算机程序，所述计算机程序包括程序，处理器401用于执行存储器404存储的程序。
其中，处理器401被配置用于调用所述程序执行：
获取预先已对车辆部件进行标注的样本车辆图像数据集，所述样本车辆图像数据集中包括多个车辆图像数据集，每个车辆图像数据集中包括一张或多张指定车辆的车辆图像以及所述车辆图像中标注的车辆部件的标签集合，所述标签集合中包括一个或多个标签，其中，不同的标签用于指示不同的车辆部件；
根据所述每个车辆图像数据集中的标签集合，确定各个车辆图像数据集的标签集合的交集；
将所述各个车辆图像数据集中的车辆图像以及所述车辆图像对应的标签集合的交集输入预设的图金字塔模型中进行训练，得到车辆部件分割模型；
将待识别车辆图像输入训练得到的车辆部件分割模型，得到所述待识别车辆图像的分割结果，所述分割结果中包括用于指示所述待识别车辆图像中车辆部件的标签集合。
进一步地，所述图金字塔模型包括图语义聚合模块、图上下文推理模块以及图语义分布模块；所述处理器401将所述各个车辆图像数据集中的车辆图像以及所述车辆图像对应的标签集合的交集输入预设的图金字塔模型中进行训练，得到车辆部件分割模型时，具体用于：
将所述各个车辆图像数据集中的车辆图像以及所述车辆图像对应的标签集合的交集输入所述图金字塔模型的图语义聚合模块中，聚合得到所述各个车辆图像数据集对应的语义特征；
通过所述图金字塔模型中的图上下文推理模块以及图语义分布模块对所述各个车辆图像数据集对应的语义特征进行处理，并根据处理结果训练得到所述车辆部件分割模型。
进一步地，所述处理器401通过所述图金字塔模型中的图上下文推理模块以及图语义分布模块对所述各个车辆图像数据集对应的语义特征进行处理时，具体用于：
将所述各个车辆图像数据集对应的语义特征输入所述图金字塔模型的图上下文推理模块中，确定各个语义特征之间的关联关系；
将所述各个语义特征之间的关联关系输入所述图金字塔模型的图语义分布模块中进行训练，得到所述车辆部件分割模型。
进一步地，所述处理器401将所述各个语义特征之间的关联关系输入所述图金字塔模型的图语义分布模块中进行训练，得到所述车辆部件分割模型时，具体用于：
将所述各个语义特征之间的关联关系输入所述图金字塔模型的图语义分布模块中，得到语义特征分布；
根据所述语义特征分布确定损失函数值，并根据所述损失函数值训练得到所述车辆部件分割模型。
进一步地，所述处理器401根据所述语义特征分布确定损失函数值时，具体用于：
根据所述语义特征分布中的分布概率确定语义相近的各个语义特征，并将所述语义相近的各个语义特征进行融合处理，得到各个车辆部件的目标语义特征；
将所述各个车辆部件的目标语义特征输入所述图金字塔模型，得到所述损失函数值。
进一步地，所述处理器401根据所述损失函数值训练得到所述车辆部件分割模型时，具体用于：
当所述损失函数值不满足预设阈值时，根据所述损失函数值调整所述图金字塔模型的模型参数；
将所述各个车辆图像数据集中的车辆图像以及所述车辆图像对应的标签集合的交集输入调整模型参数后的图金字塔模型，得到新的损失函数值；
当所述新的损失函数值满足预设阈值时，确定得到所述车辆部件分割模型。
进一步地，所述车辆部件的标签集合中的标签包括第一标签和第二标签，所述第一标签用于指示每个车辆图像中的前景或背景，所述第二标签用于指示每个车辆图像中车辆的外观部件。
本发明实施例中，计算机设备可以获取预先已对车辆部件进行标注的样本车辆图像数据集，所述样本车辆图像数据集中包括多个车辆图像数据集，每个车辆图像数据集中包括一张或多张指定车辆的车辆图像以及所述车辆图像中标注的车辆部件的标签集合，所述标签集合中包括一个或多个标签，其中，不同的标签用于指示不同的车辆部件；根据所述每个车辆图像数据集中的标签集合，确定各个车辆图像数据集的标签集合的交集；将所述各个车辆图像数据集中的车辆图像以及所述车辆图像对应的标签集合的交集输入预设的图金字塔模型中进行训练，得到车辆部件分割模型；将待识别车辆图像输入训练得到的车辆部件分割模型，得到所述待识别车辆图像的分割结果，所述分割结果中包括用于指示所述待识别车辆图像中车辆部件的标签集合。通过这种实施方式，可以减少了标注任务量，提升车辆部件分割模型的鲁棒性，增强车辆部件分割模型的分割能力，提高车辆部件的分割准确率。
应当理解，在本发明实施例中，所称处理器401可以是中央处理单元(CenSralProcessing UniS，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigiSalSignal Processor，DSP)、专用集成电路(ApplicaSion Specific InSegraSed CircuiS，ASIC)、现成可编程门阵列(Field-Programmable GaSe Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
输入设备402可以包括触控板、麦克风等，输出设备403可以包括显示器(LCD等)、扬声器等。
该存储器404可以包括只读存储器和随机存取存储器，并向处理器401提供指令和数据。存储器404的一部分还可以包括非易失性随机存取存储器。例如，存储器404还可以存储设备类型的信息。
具体实现中，本发明实施例中所描述的处理器401、输入设备402、输出设备403可执行本发明实施例提供的图1所述的方法实施例中所描述的实现方式，也可执行本发明实施例图3所描述的车辆部件分割装置的实现方式，在此不再赘述。
本发明实施例中还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现图1所对应实施例中描述的车辆部件分割方法，也可实现本发明图3所对应实施例的车辆部件分割装置，在此不再赘述。
所述计算机可读存储介质可以是前述任一实施例所述的车辆部件分割装置的内部存储单元，例如车辆部件分割装置的硬盘或内存。所述计算机可读存储介质也可以是所述车辆部件分割装置的外部存储装置，例如所述车辆部件分割装置上配备的插接式硬盘，智能存储卡(SmarS Media Card,SMC)，安全数字(Secure DigiSal,SD)卡，闪存卡(FlashCard)等。进一步地，所述计算机可读存储介质还可以既包括所述车辆部件分割装置的内部存储单元也包括外部存储装置。所述计算机可读存储介质用于存储所述计算机程序以及所述车辆部件分割装置所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个计算机可读存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的计算机可读存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。所述的计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。
需要强调的是，为进一步保证上述数据的私密和安全性，上述数据还可以存储于一区块链的节点中。其中，本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
以上所述，仅为本发明的部分实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。
Claims (8)
1.一种车辆部件分割方法，其特征在于，所述方法包括：
获取预先已对车辆部件进行标注的样本车辆图像数据集，所述样本车辆图像数据集中包括多个车辆图像数据集，每个车辆图像数据集中包括一张或多张指定车辆的车辆图像以及所述车辆图像中标注的车辆部件的标签集合，所述标签集合中包括一个或多个标签，其中，不同的标签用于指示不同的车辆部件；
根据所述每个车辆图像数据集中的标签集合，确定各个车辆图像数据集的标签集合的交集；
将所述各个车辆图像数据集中的车辆图像以及所述车辆图像对应的标签集合的交集输入预设的图金字塔模型中进行训练，得到车辆部件分割模型；
将待识别车辆图像输入训练得到的车辆部件分割模型，得到所述待识别车辆图像的分割结果，所述分割结果中包括用于指示所述待识别车辆图像中车辆部件的标签集合；
所述图金字塔模型包括图语义聚合模块、图上下文推理模块以及图语义分布模块；所述将所述各个车辆图像数据集中的车辆图像以及所述车辆图像对应的标签集合的交集输入预设的图金字塔模型中进行训练，得到车辆部件分割模型，包括：
将所述各个车辆图像数据集中的车辆图像以及所述车辆图像对应的标签集合的交集输入所述图金字塔模型的图语义聚合模块中，聚合得到所述各个车辆图像数据集对应的语义特征；
通过所述图金字塔模型中的图上下文推理模块以及图语义分布模块对所述各个车辆图像数据集对应的语义特征进行处理，并根据处理结果训练得到所述车辆部件分割模型；
所述通过所述图金字塔模型中的图上下文推理模块以及图语义分布模块对所述各个车辆图像数据集对应的语义特征进行处理，包括：
将所述各个车辆图像数据集对应的语义特征输入所述图金字塔模型的图上下文推理模块中，确定各个语义特征之间的关联关系；
将所述各个语义特征之间的关联关系输入所述图金字塔模型的图语义分布模块中进行训练，得到所述车辆部件分割模型。
2.根据权利要求1所述的方法，其特征在于，所述将所述各个语义特征之间的关联关系输入所述图金字塔模型的图语义分布模块中进行训练，得到所述车辆部件分割模型，包括：
将所述各个语义特征之间的关联关系输入所述图金字塔模型的图语义分布模块中，得到语义特征分布；
根据所述语义特征分布确定损失函数值，并根据所述损失函数值训练得到所述车辆部件分割模型。
3.根据权利要求2所述的方法，其特征在于，所述根据所述语义特征分布确定损失函数值，包括：
根据所述语义特征分布中的分布概率确定语义相近的各个语义特征，并将所述语义相近的各个语义特征进行融合处理，得到各个车辆部件的目标语义特征；
将所述各个车辆部件的目标语义特征输入所述图金字塔模型，得到所述损失函数值。
4.根据权利要求2所述的方法，其特征在于，所述根据所述损失函数值训练得到所述车辆部件分割模型，包括：
当所述损失函数值不满足预设阈值时，根据所述损失函数值调整所述图金字塔模型的模型参数；
将所述各个车辆图像数据集中的车辆图像以及所述车辆图像对应的标签集合的交集输入调整模型参数后的图金字塔模型，得到新的损失函数值；
当所述新的损失函数值满足预设阈值时，确定得到所述车辆部件分割模型。
5.根据权利要求1所述的方法，其特征在于，
所述车辆部件的标签集合中的标签包括第一标签和第二标签，所述第一标签用于指示每个车辆图像中的前景或背景，所述第二标签用于指示每个车辆图像中车辆的外观部件。
6.一种车辆部件分割装置，其特征在于，包括：
获取单元，用于获取预先已对车辆部件进行标注的样本车辆图像数据集，所述样本车辆图像数据集中包括多个车辆图像数据集，每个车辆图像数据集中包括一张或多张指定车辆的车辆图像以及所述车辆图像中标注的车辆部件的标签集合，所述标签集合中包括一个或多个标签，其中，不同的标签用于指示不同的车辆部件；
确定单元，用于根据所述每个车辆图像数据集中的标签集合，确定各个车辆图像数据集的标签集合的交集；
训练单元，用于将所述各个车辆图像数据集中的车辆图像以及所述车辆图像对应的标签集合的交集输入预设的图金字塔模型中进行训练，得到车辆部件分割模型；
识别单元，用于将待识别车辆图像输入训练得到的车辆部件分割模型，得到所述待识别车辆图像的分割结果，所述分割结果中包括用于指示所述待识别车辆图像中车辆部件的标签集合；
所述图金字塔模型包括图语义聚合模块、图上下文推理模块以及图语义分布模块；所述训练单元将所述各个车辆图像数据集中的车辆图像以及所述车辆图像对应的标签集合的交集输入预设的图金字塔模型中进行训练，得到车辆部件分割模型时，具体用于：
将所述各个车辆图像数据集中的车辆图像以及所述车辆图像对应的标签集合的交集输入所述图金字塔模型的图语义聚合模块中，聚合得到所述各个车辆图像数据集对应的语义特征；
通过所述图金字塔模型中的图上下文推理模块以及图语义分布模块对所述各个车辆图像数据集对应的语义特征进行处理，并根据处理结果训练得到所述车辆部件分割模型；
所述训练单元通过所述图金字塔模型中的图上下文推理模块以及图语义分布模块对所述各个车辆图像数据集对应的语义特征进行处理时，具体用于：
将所述各个车辆图像数据集对应的语义特征输入所述图金字塔模型的图上下文推理模块中，确定各个语义特征之间的关联关系；
将所述各个语义特征之间的关联关系输入所述图金字塔模型的图语义分布模块中进行训练，得到所述车辆部件分割模型。
7.一种计算机设备，其特征在于，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序，所述处理器被配置用于调用所述程序，执行如权利要求1-5任一项所述的方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现权利要求1-5任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110611255.1A CN113221907B (zh) | 2021-06-01 | 2021-06-01 | 一种车辆部件分割方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110611255.1A CN113221907B (zh) | 2021-06-01 | 2021-06-01 | 一种车辆部件分割方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113221907A CN113221907A (zh) | 2021-08-06 |
| CN113221907B true CN113221907B (zh) | 2024-05-31 |
Family
ID=77082595
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110611255.1A Active CN113221907B (zh) | 2021-06-01 | 2021-06-01 | 一种车辆部件分割方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113221907B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114972761B (zh) * | 2022-06-20 | 2024-05-07 | 平安科技（深圳）有限公司 | 基于人工智能的车辆部件分割方法及相关设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111192270A (zh) * | 2020-01-03 | 2020-05-22 | 中山大学 | 一种基于点全局上下文关系推理的点云语义分割方法 |
| CN111539458A (zh) * | 2020-04-02 | 2020-08-14 | 咪咕文化科技有限公司 | 特征图处理方法、装置、电子设备及存储介质 |
| CN111898410A (zh) * | 2020-06-11 | 2020-11-06 | 东南大学 | 无约束场景下的基于上下文推理的人脸检测方法 |
| CN112329659A (zh) * | 2020-11-10 | 2021-02-05 | 平安科技（深圳）有限公司 | 基于车辆图像的弱监督语义分割方法及其相关设备 |
| CN112528878A (zh) * | 2020-12-15 | 2021-03-19 | 中国科学院深圳先进技术研究院 | 检测车道线的方法、装置、终端设备及可读存储介质 |
| CN112541463A (zh) * | 2020-12-21 | 2021-03-23 | 上海眼控科技股份有限公司 | 模型训练方法、外观分割方法、设备及存储介质 |
-
2021
- 2021-06-01 CN CN202110611255.1A patent/CN113221907B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111192270A (zh) * | 2020-01-03 | 2020-05-22 | 中山大学 | 一种基于点全局上下文关系推理的点云语义分割方法 |
| CN111539458A (zh) * | 2020-04-02 | 2020-08-14 | 咪咕文化科技有限公司 | 特征图处理方法、装置、电子设备及存储介质 |
| CN111898410A (zh) * | 2020-06-11 | 2020-11-06 | 东南大学 | 无约束场景下的基于上下文推理的人脸检测方法 |
| CN112329659A (zh) * | 2020-11-10 | 2021-02-05 | 平安科技（深圳）有限公司 | 基于车辆图像的弱监督语义分割方法及其相关设备 |
| CN112528878A (zh) * | 2020-12-15 | 2021-03-19 | 中国科学院深圳先进技术研究院 | 检测车道线的方法、装置、终端设备及可读存储介质 |
| CN112541463A (zh) * | 2020-12-21 | 2021-03-23 | 上海眼控科技股份有限公司 | 模型训练方法、外观分割方法、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113221907A (zh) | 2021-08-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021232594A1 (zh) | 语音情绪识别方法、装置、电子设备及存储介质 | |
| CN112860841B (zh) | 一种文本情感分析方法、装置、设备及存储介质 | |
| CN111737499A (zh) | 基于自然语言处理的数据搜索方法及相关设备 | |
| US20220189008A1 (en) | Method for detecting data defects and computing device utilizing method | |
| CN111415336B (zh) | 一种图像篡改识别方法、装置、服务器及存储介质 | |
| CN112926471A (zh) | 业务单据影像内容识别方法及装置 | |
| CN113221907B (zh) | 一种车辆部件分割方法、装置、设备及存储介质 | |
| CN110781856A (zh) | 异质人脸识别模型训练方法、人脸识别方法及相关装置 | |
| CN112634246A (zh) | 一种口腔图像识别方法及相关设备 | |
| US20200257984A1 (en) | Systems and methods for domain adaptation | |
| CN114330533A (zh) | 设备屏幕老化二分类模型训练方法及设备屏幕老化检测方法 | |
| CN113705749A (zh) | 基于深度学习的二维码识别方法、装置、设备及存储介质 | |
| CN114155363A (zh) | 换流站车辆识别方法、装置、计算机设备和存储介质 | |
| CN111784053A (zh) | 交易风险检测方法、设备及可读存储介质 | |
| CN111680680A (zh) | 一种目标码定位方法、装置、电子设备及存储介质 | |
| CN114241411B (zh) | 基于目标检测的计数模型处理方法、装置及计算机设备 | |
| CN113313214B (zh) | 一种基于多卷积核后验的带水印字符的识别方法及*** | |
| CN116245630A (zh) | 一种反欺诈检测方法、装置、电子设备及介质 | |
| CN111488452A (zh) | 一种网页篡改检测方法、检测***及相关设备 | |
| CN115222943A (zh) | 基于人工智能的倒车镜损伤检测方法及相关设备 | |
| CN111753723B (zh) | 一种基于密度校准的指纹识别方法及装置 | |
| CN111104844B (zh) | 多***信息录入方法、装置、电子设备及存储介质 | |
| CN113095203A (zh) | 双录数据质检中的客户签名检测方法及装置 | |
| Padmanabhan et al. | Sanity checks for saliency methods explaining object detectors | |
| CN114612919B (zh) | 一种票据信息处理***及方法、装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |