CN116129198B - 一种多域轮胎花纹图像分类方法、***、介质及设备 - Google Patents
一种多域轮胎花纹图像分类方法、***、介质及设备 Download PDFInfo
- Publication number
- CN116129198B CN116129198B CN202310382056.7A CN202310382056A CN116129198B CN 116129198 B CN116129198 B CN 116129198B CN 202310382056 A CN202310382056 A CN 202310382056A CN 116129198 B CN116129198 B CN 116129198B
- Authority
- CN
- China
- Prior art keywords
- features
- domain
- memory
- tire pattern
- holographic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000013145 classification model Methods 0.000 claims abstract description 15
- 230000000007 visual effect Effects 0.000 claims abstract description 14
- 238000009826 distribution Methods 0.000 claims abstract description 12
- 230000005540 biological transmission Effects 0.000 claims abstract description 10
- 238000010276 construction Methods 0.000 claims abstract description 10
- 230000008569 process Effects 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims abstract description 7
- 230000015654 memory Effects 0.000 claims description 88
- 230000006870 function Effects 0.000 claims description 11
- 230000007246 mechanism Effects 0.000 claims description 11
- 238000000354 decomposition reaction Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 230000009977 dual effect Effects 0.000 claims description 6
- 208000000044 Amnesia Diseases 0.000 claims description 5
- 208000026139 Memory disease Diseases 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 5
- 230000006984 memory degeneration Effects 0.000 claims description 5
- 208000023060 memory loss Diseases 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 238000003860 storage Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 238000005457 optimization Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明属于图像处理技术领域，提供了一种多域轮胎花纹图像分类方法、***、介质及设备，针对多场景轮胎花纹图片分类问题，提出的方案为：基于轮胎花纹图像数据集和训练后的轮胎花纹分类模型得到分类概率分布进行分类得到轮胎花纹图像分类结果；其中，轮胎花纹分类模型的构建过程包括：将轮胎花纹图像数据集分为源域和目标域；对轮胎花纹图像数据进行特征提取得到轮胎花纹图像的全局特征和局部特征；基于全局特征和局部特征，构建双内存模块，通过双内存模块保存两个域中局部特征的视觉知识和跨域传递知识，从而利用一个域的特征来构造包含两个域信息的全息特征。其普遍性和抗噪性都有所提升。
Description
技术领域
本发明属于图像处理技术领域，尤其涉及一种多域轮胎花纹图像分类方法、***、介质及设备。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
轮胎花纹图像分类任务是利用深度学习技术对轮胎花纹图片进行特征提取，再由分类器根据已提取特征计算概率分布进行分类的任务，它是计算机视觉领域一项基本任务。该项任务在生产生活上也有着很广泛的应用场景，比如需要对现场留下的轮胎花纹进行分类，由于车辆的种类繁多，如果人工对这些图片进行分类，那无疑是低效且费力的。该任务可以有效缓解上述问题，在保证分类精度的基础上，极大的节省了人力和物力。
但是，对于轮胎花纹分类任务的研究，也存在一定的困难，具体原因如下：
1）不同时域拍摄的轮胎图片存在很大差异。对于同一时段内拍摄的轮胎图片而言，比如中午拍摄的图片，其所显示的花纹特征比较清晰，纹理比较清楚，轮胎图片中所表现的负面阴影区域较少，仅仅依赖现有的经典深度学习分类模型便可取得很好的分类效果，但是，这种定时段拍摄的轮胎图片不具有一般性。对于实际应用场景下的轮胎花纹图片，拍摄时间往往具有很大的随机性，而轮胎花纹图像对于拍摄环境的亮度要求很高，不同的亮度会导致轮胎花纹图像的纹理特征表现出很大的差异性，拍摄环境和亮度的影响也会产生不同的背景噪音，这会给轮胎花纹图像分类带来很大的困难。
2）不同空间域拍摄的轮胎花纹存在很大差异。在实际应用场景下，轮胎花纹图片的采集地点具有极大的不稳定性，而拍摄者采集图片的角度也各不相同，这就产生了大量差异性很大的轮胎花纹图片，在对其进行分类任务时，不仅要求模型能够正确识别不同环境下拍摄的轮胎花纹图片，还要求对不同角度拍摄的图片具有很高的辨识度，这就要求模型具有很高的抗噪性。
3）单张轮胎图像包含多个类型的花纹。由于图片采集的路段不同，可能会产生多车经过采集点，这就产生了另一个问题，如何对多花纹图像进行分类，这种图片往往含有更为复杂的特征，对模型的抗噪性能要求很高，而目前的分类模型对于这种图片的分类性能仍然有待提升。
围绕上述挑战，现有方法提出了一种多时段轮胎花纹图像分类方法，其通过从另一个场景下的图片(如中午拍摄的轮胎花纹图片)转移知识，成功地提高了对一个图片的(如黄昏拍摄的轮胎花纹图片)的性能，但由于源域和目标域是在固定的角度拍摄的，它们在一般情况下存在局限性。另一方面，其对于多轮胎花纹图像的检测性能并不能达到预期，这证明模型的抗噪性能并不好，无法正确的对复杂的轮胎图片进行分类。
发明内容
为了解决上述背景技术中存在的至少一项技术问题，本发明提供一种多域轮胎花纹图像分类方法、***、介质及设备，其通过从多个角度学习到目标图像的特征，通过多损失优化能很大程度的抑制图片的背景噪音，使得模型学习到的视觉特征更加全面。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一个方面提供一种多域轮胎花纹图像分类方法，包括如下步骤：
获取轮胎花纹图像数据集；
基于轮胎花纹图像数据集和训练后的轮胎花纹分类模型得到分类概率分布进行分类得到轮胎花纹图像分类结果；
其中，轮胎花纹分类模型的构建过程包括：
将轮胎花纹图像数据集分为源域和目标域；对轮胎花纹图像数据进行特征提取得到轮胎花纹图像的全局特征和局部特征；基于全局特征和局部特征，构建双内存模块，通过双内存模块保存两个域中局部特征的视觉知识和跨域传递知识,从而利用一个域的特征来构造包含两个域信息的全息特征。
进一步地，所述对轮胎花纹图像数据进行特征提取得到轮胎花纹图像的全局特征和局部特征包括：
采用预训练神经网络对轮胎花纹图片数据进行特征提取得到整体图像特征；
对整体图像特征进行均值池处理；
引入自注意力机制对均值池处理后的图像特征进行编码得到图像编码特征；
基于图像编码特征，采用深度残差映射的方法进行因式分解，得到轮胎花纹图像的全局特征和局部特征。
进一步地，所述构建双内存模块的过程包括：
采用不同轮胎图片的判别特征质心作为内存的基本构件；
在每个内存的基本构件中，将每个质心初始化为属于相应类的所有轮胎花纹图像样本的局部特征的均值向量。
进一步地，所述通过双内存模块保存两个域中局部特征的视觉知识和跨域传递知识,从而利用一个域的特征来构造包含两个域信息的全息特征，具体包括：
基于源域内存模块的局部特征和目标域的全局图像特征，构建得到异质全息特征；
基于源域或目标域的内存模块的局部特征和其全局特征，构建得到同质全息特征；
将异质全息特征和同质全息特征进行拼接得到全息特征。
进一步地，所述基于源域内存模块的局部特征和目标域的全局图像特征，构建得到异质全息特征，包括：
基于给定域的局部特征，通过检索内存，得到相反域的内存特征；
采用基于注意机制的内存选择器，以软方式自适应选择得到参与的异质内存特征；
结合相反域的内存特征和参与的异质内存特征得到异质全息特征。
进一步地，所述基于源域或目标域的内存模块的局部特征和其全局特征，构建得到同质全息特征，包括：
基于给定的全局特征，通过检索内存，得到全局的内存特征；
采用基于注意机制的内存选择器，以软方式自适应选择得到参与的同质内存特征；
结合全局的内存特征和参与的同质内存特征得到同质全息特征。
进一步地，轮胎花纹分类模型进行训练时的损失函数为：
其中，为对抗损失的平衡权值，/>为内存损失的平衡权值，/>为全息特征的判别损失，/>为局部特征的判别损失，/>为优化域判别器和动态全息模块的对抗损失，为优化分解模块的对抗损失函数，/>为内存损失。
本发明的第二个方面提供一种多域轮胎花纹图像分类***，包括：
数据获取模块，其被配置为：获取轮胎花纹图像数据集；
图像分类模块，其被配置为：基于轮胎花纹图像数据集和训练后的轮胎花纹分类模型得到分类概率分布进行分类得到轮胎花纹图像分类结果；
其中，轮胎花纹分类模型的构建过程包括：
将轮胎花纹图像数据集分为源域和目标域；对轮胎花纹图像数据进行特征提取得到轮胎花纹图像的全局特征和局部特征；基于全局特征和局部特征，构建双内存模块，通过双内存模块保存两个域中局部特征的视觉知识和跨域传递知识,从而利用一个域的特征来构造包含两个域信息的全息特征。
本发明的第三个方面提供一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述的一种多域轮胎花纹图像分类方法中的步骤。
本发明的第四个方面提供一种电子设备。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述的一种多域轮胎花纹图像分类方法中的步骤。
与现有技术相比，本发明的有益效果是：
1、本发明通过对轮胎花纹图像数据进行特征提取得到轮胎花纹图像的全局特征和局部特征；基于全局特征和局部特征，构建双内存模块，通过双内存模块保存两个域中局部特征的视觉知识和跨域传递知识,从而利用一个域的特征来构造包含两个域信息的全息特征；较之之前的方法，本发明使得轮胎花纹分类任务的准确度有了一定的提高，其普遍性和抗噪性都有所提升。
2、本发明针对多场景轮胎花纹图片分类问题，提出了一种多域轮胎花纹图像分类方法，它能够从多个角度学习到目标图像的特征，通过多损失优化能很大程度的抑制图片的背景噪音，使得模型学习到的视觉特征更加全面。
3、针对单图片多花纹的问题，本发明可以通过设置单花纹轮胎图像为源域，多花纹图像为目标域来进行学习，极大的增加了有用信息的摄入，和干扰花纹的影响。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例提供的一种多域轮胎花纹图像分类方法流程图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
术语解释
源域：(source domain)表示与测试样本不同的领域，但是有丰富的监督信息；
目标域：(target domain)表示测试样本所在的领域，无标签或者只有少量标签。
源域和目标域往往属于同一类任务，但是分布不同。
实施例一
如图1所示，本实施例提供一种多域轮胎花纹图像分类方法，包括如下步骤：
步骤1：获取不同场景和拍摄角度的轮胎花纹图像数据，使得不同场景和不同时间下的轮胎花纹图片各成一类；
将不同场景和拍摄角度的轮胎花纹图片数据随机选择两类放入源域和目标域。
假设目标域的轮胎花纹图片和源域的图片集/>。
其中，表示相应域图片集中第/>张图片，/>表示/>对应的轮胎花纹种类，用来表示两个数据集中的一个，其中，/>表示图片域索引。
步骤2：使用在ImageNet上预训练的ResNet-152对轮胎花纹图片数据进行特征提取得到整体图像特征，并对预训练网络处理后的图片进行均值池处理，获得特征嵌入维度为的图像特征/>，/>为CNN特征维度。
其中，为整体图像特征，/>和/>为第i个和第j个图像的特征，/>和/>分别为3个1×1卷积层，/>为注意力评分，表示第j个图像与第i个图像的关系，T表示一次处理T张图片。
利用可训练参数将参与的特征加回到原始特征中，然后利用池化来计算输入特征的表示：
为了得到轮胎花纹图片纹理特征的细粒度特征表示，对预处理后的图像特征引入自注意力机制对均值池处理后的图像特征进行编码得到图像编码特征。至此，得到最终的图像编码特征。
步骤3：采用深度残差映射的方法对最终的整体图像特征进行因式分解，得到轮胎花纹图像的全局特征和局部纹理特征，以便在不同的特征间传递特定知识。
为了在不同域之间传递知识，需要把分解为成局部特征/>和全局特征/>，这样就可以在不同域之间传递特定域知识来构建全息特征。
采用深度残差映射方法对特征进行分解， 残差分解模块如下：
其中，表示局部特征，/>表示全局特征，/>是由参数/>的全连接层和tanh激活层组成的非线性transformer。
步骤4：构建双内存模块和/>，通过双内存模块分别保存两个域中所有轮胎花纹类别的局部特征。
采用不同轮胎图片的判别特征质心作为内存的基本构件，令表示目标域训练数据的视觉特征内存；
类似地，表示源域的视觉特征内存。
其中，K为轮胎花纹类数，每个质心表示目标域中保存的第i个轮胎类别的局部特征知识，每个质心/>示源域中保存的第i个轮胎类别的局部特征知识。
在和/>中，每个质心初始化为属于相应类的所有轮胎花纹图像样本的局部特征的均值向量：
其中，是包含第i个轮胎花纹类别的域v中所有标记的训练样本的支撑集，/>是中第j个图片的局部特征。
在构建源域全息特征时，需要目标域的相应特征进行补充，于是提出通过内存块来保存每个域的局部特征来实现，双内存模块包含两个内存块，用于在两个域中保存图像局部特征的视觉知识和跨域传递知识。
步骤5：所述通过双内存模块保存两个域中局部特征的视觉知识和跨域传递知识,从而利用一个域的特征来构造包含两个域信息的全息特征，具体包括：
步骤501：将知识从源域内存模块的局部特征和目标域的全局图像特征结合，构建异质全息特征，具体包括：
步骤5011：给定局部特征，通过检索内存/>，得到相反域的内存特征/>，操作如下:
Norm(/>),/>
其中，是一个基于全连接层构建的可学习线性transformer，用于计算全息系数/>，通过检索相反域的内存/>，Norm是正则化函数，为Softmax函数。
步骤5012：设计了一种基于注意机制的内存选择器，以软方式自适应选择重要内存：
其中，是基于全连接层构建的可学习线性transformer,/>表示元素的乘法，/>是参与的异质内存特征。
步骤5013：结合和/>构建异质全息特征/>，如下所示：
步骤502：将知识从源域或目标域的内存模块的局部特征和其全局特征结合，构建同质全息特征，具体包括：
步骤5021：给定全局特征，通过检索内存/>，得到全局的内存特征/>，操作如下：
Norm(/>),/>
其中，是一个基于全连接层构建的可学习线性transformer, 用于计算全息系数/>，通过检索域内存/>，Norm是正则化函数，为Softmax函数。
步骤5022：设计了一种基于注意机制的内存选择器，以软方式自适应选择重要内存:
其中，是基于全连接层构建的可学习线性transformer，/>表示元素的乘法，/>是参与的同质内存特征。
步骤5023：结合和/>构建同质全息特征/>，如下所示:
步骤503：将异质全息特征和同质全息特征进行拼接得到全息特征，包含了来自于源域和目标域的图像特征。
构建全息特征如下:
其中，表示向量拼接，上式中，/>和/>包含目标域的图像信息，和/>包含源域的图像信息。
步骤6：基于全息特征，设计了轮胎花纹分类模块，该模块通过Softmax全连接层生成最终的概率分布。
基于全息特征，创建了一个分类模块最/>，该模块可以通过带有Softmax的全连接层生成终分类概率分布。
在多分类识别任务中，使用相同的分类模块分别基于和/>计算源域和目标域的分类得分，/>和/>共享相同的全息特征空间。
步骤7：使用多损失函数的加权和作为该方法的总损失，所涉损失如下：
其中，为对抗损失的平衡权值，/>为内存损失的平衡权值，/>为全息特征的判别损失，/>为局部特征的判别损失，/>为优化域判别器和动态全息模块的对抗损失，为优化分解模块的对抗损失函数，/>为内存损失。
应用和/>使全息特征/>和局部特征/>对不同的轮胎类别具有判别性。动态全息模块与分类模块相连接，构造全息特征，预测最终分类的概率分布y。
其中，使用交叉熵损失来约束:
其中，是对ground-truth类标签/>的one-hot编码，/>表示/>。
判别损失：判别损失使得不同域的全息特征和局部特征具有辨别性。
对于这两个域来说，用ground-truth轮胎类的负对数似然特定域的局部特征:
其中，由基于局部特征/>的分类模块/>生成，/>。
对抗损失：使得不同域的全局特征共享一个全局特征空间，不同域的全息特征共享一个全息特征空间。
通过限制动态全息模块，以至于一个训练有素的判别器不能可靠地预测全息特征的域标签。这是通过梯度反转层(GRL)和域判别器实现的，它基于全息特征/>预测域标签/>。
利用交叉熵损失优化域判别器和动态全息模块：
其中，是对ground-truth域标签/>的单热编码。
创建另一个GRL层和视图鉴别器，它基于/>预测域标签/>。
优化分解模块的对抗损失函数定义如下:
其中，是对ground-truth域标签/>的单热编码。
内存损失：为了优化双内存模块，通过最小化视图特定特征与每个内存质心之间的类内距离和类间距离来更新局部特征信息，以确保类内紧凑和类间区分。
具体来说，内存损失有以下两个组成部分:
其中，和/>分别为类内相似度损失和类间大边际损失。其中：
其中，为手动定义的边界因子，/>为基于图像/>通过特征编码和分解模块计算的局部特征，/>为特定域/>中第/>个轮胎类别的特征内存质心。
本实施例中，最终的分类结果包括“邓禄普1956016”、“东风165R13”、“韩泰2056516”等。
实施例二
本实施例提供了一种多域轮胎花纹图像分类***，包括：
数据获取模块，其被配置为：获取轮胎花纹图像数据集；
图像分类模块，其被配置为：基于轮胎花纹图像数据集和训练后的轮胎花纹分类模型得到分类概率分布进行分类得到轮胎花纹图像分类结果；
其中，轮胎花纹分类模型的构建过程包括：
将轮胎花纹图像数据集分为源域和目标域；对轮胎花纹图像数据进行特征提取得到轮胎花纹图像的全局特征和局部特征；基于全局特征和局部特征，构建双内存模块，通过双内存模块保存两个域中局部特征的视觉知识和跨域传递知识,从而利用一个域的特征来构造包含两个域信息的全息特征。
实施例三
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现实施例一所述的一种多域轮胎花纹图像分类方法中的步骤。
实施例四
本实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现实施例一所述的一种多域轮胎花纹图像分类方法中的步骤。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种多域轮胎花纹图像分类方法，其特征在于，包括如下步骤：
获取轮胎花纹图像数据集；
基于轮胎花纹图像数据集和训练后的轮胎花纹分类模型得到分类概率分布进行分类得到轮胎花纹图像分类结果；
其中，轮胎花纹分类模型的构建过程包括：
将轮胎花纹图像数据集分为源域和目标域；对轮胎花纹图像数据进行特征提取得到轮胎花纹图像的全局特征和局部特征；基于全局特征和局部特征，构建双内存模块，通过双内存模块保存两个域中局部特征的视觉知识和跨域传递知识，从而利用一个域的特征来构造包含两个域信息的全息特征；
所述通过双内存模块保存两个域中局部特征的视觉知识和跨域传递知识，从而利用一个域的特征来构造包含两个域信息的全息特征，包括：
基于源域内存模块的局部特征和目标域的全局图像特征，构建得到异质全息特征；
基于源域或目标域的内存模块的局部特征和其全局特征，构建得到同质全息特征；将异质全息特征和同质全息特征进行拼接得到全息特征；
所述基于源域内存模块的局部特征和目标域的全局图像特征，构建得到异质全息特征，包括：
基于给定域的局部特征，通过检索内存，得到相反域的内存特征；采用基于注意机制的内存选择器，以软方式自适应选择得到参与的异质内存特征；结合相反域的内存特征和参与的异质内存特征得到异质全息特征；
所述基于源域或目标域的内存模块的局部特征和其全局特征，构建得到同质全息特征，包括：
基于给定的全局特征，通过检索内存，得到全局的内存特征；采用基于注意机制的内存选择器，以软方式自适应选择得到参与的同质内存特征；结合全局的内存特征和参与的同质内存特征得到同质全息特征；
基于全息特征，设计了轮胎花纹分类模块，该模块通过Softmax全连接层生成最终的概率分布，包括：
在多分类识别任务中，使用相同的分类模块分别基于全息特征计算源域和目标域的分类得分，不同域的全息特征共享相同的全息特征空间。
2.根据权利要求1所述的一种多域轮胎花纹图像分类方法，其特征在于，所述对轮胎花纹图像数据进行特征提取得到轮胎花纹图像的全局特征和局部特征包括：
采用预训练神经网络对轮胎花纹图片数据进行特征提取得到整体图像特征；
对整体图像特征进行均值池处理；
引入自注意力机制对均值池处理后的图像特征进行编码得到图像编码特征；
基于图像编码特征，采用深度残差映射的方法进行因式分解，得到轮胎花纹图像的全局特征和局部特征。
3.根据权利要求1所述的一种多域轮胎花纹图像分类方法，其特征在于，所述构建双内存模块的过程包括：
采用不同轮胎图片的判别特征质心作为内存的基本构件；
在每个内存的基本构件中，将每个质心初始化为属于相应类的所有轮胎花纹图像样本的局部特征的均值向量。
4.根据权利要求1所述的一种多域轮胎花纹图像分类方法，其特征在于，轮胎花纹分类模型进行训练时的损失函数为：
其中，为对抗损失的平衡权值，/>为内存损失的平衡权值，/>为全息特征的判别损失，/>为局部特征的判别损失，/>为优化域判别器和动态全息模块的对抗损失，/>为优化分解模块的对抗损失函数，/>为内存损失。
5.一种多域轮胎花纹图像分类***，其特征在于，包括：
数据获取模块，其被配置为：获取轮胎花纹图像数据集；
图像分类模块，其被配置为：基于轮胎花纹图像数据集和训练后的轮胎花纹分类模型得到分类概率分布进行分类得到轮胎花纹图像分类结果；
其中，轮胎花纹分类模型的构建过程包括：
将轮胎花纹图像数据集分为源域和目标域；对轮胎花纹图像数据进行特征提取得到轮胎花纹图像的全局特征和局部特征；基于全局特征和局部特征，构建双内存模块，通过双内存模块保存两个域中局部特征的视觉知识和跨域传递知识，从而利用一个域的特征来构造包含两个域信息的全息特征；
所述通过双内存模块保存两个域中局部特征的视觉知识和跨域传递知识，从而利用一个域的特征来构造包含两个域信息的全息特征，包括：
基于源域内存模块的局部特征和目标域的全局图像特征，构建得到异质全息特征；基于源域或目标域的内存模块的局部特征和其全局特征，构建得到同质全息特征；将异质全息特征和同质全息特征进行拼接得到全息特征；
所述基于源域内存模块的局部特征和目标域的全局图像特征，构建得到异质全息特征，包括：
基于给定域的局部特征，通过检索内存，得到相反域的内存特征；采用基于注意机制的内存选择器，以软方式自适应选择得到参与的异质内存特征；结合相反域的内存特征和参与的异质内存特征得到异质全息特征；
所述基于源域或目标域的内存模块的局部特征和其全局特征，构建得到同质全息特征，包括：
基于给定的全局特征，通过检索内存，得到全局的内存特征；采用基于注意机制的内存选择器，以软方式自适应选择得到参与的同质内存特征；结合全局的内存特征和参与的同质内存特征得到同质全息特征；
基于全息特征，设计了轮胎花纹分类模块，该模块通过Softmax全连接层生成最终的概率分布，包括：
在多分类识别任务中，使用相同的分类模块分别基于全息特征计算源域和目标域的分类得分，不同域的全息特征共享相同的全息特征空间。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一项所述的一种多域轮胎花纹图像分类方法中的步骤。
7.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-4中任一项所述的一种多域轮胎花纹图像分类方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310382056.7A CN116129198B (zh) | 2023-04-12 | 2023-04-12 | 一种多域轮胎花纹图像分类方法、***、介质及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310382056.7A CN116129198B (zh) | 2023-04-12 | 2023-04-12 | 一种多域轮胎花纹图像分类方法、***、介质及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116129198A CN116129198A (zh) | 2023-05-16 |
| CN116129198B true CN116129198B (zh) | 2023-07-18 |
Family
ID=86310317
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310382056.7A Active CN116129198B (zh) | 2023-04-12 | 2023-04-12 | 一种多域轮胎花纹图像分类方法、***、介质及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116129198B (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114387207A (zh) * | 2021-12-02 | 2022-04-22 | 浙江大学 | 基于自注意力机制与双重领域自适应的轮胎瑕疵检测方法及模型 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230071240A1 (en) * | 2021-09-03 | 2023-03-09 | Gopi Krishnan RAJBAHADUR | Methods, systems, and media for robust classification using active learning and domain knowledge |
| CN114511521B (zh) * | 2022-01-21 | 2024-07-12 | 浙江大学 | 基于多重表示与多重子域自适应的轮胎瑕疵检测方法 |
| CN114882278A (zh) * | 2022-05-09 | 2022-08-09 | 浙江理工大学 | 一种基于注意力机制和迁移学习的轮胎花纹分类方法和装置 |
| CN114821282B (zh) * | 2022-06-28 | 2022-11-04 | 苏州立创致恒电子科技有限公司 | 一种基于域对抗神经网络的图像检测装置及方法 |
| CN115493511A (zh) * | 2022-08-09 | 2022-12-20 | 北京理工大学 | 基于超表面全息投影的三维成像方法 |
| CN115661484A (zh) * | 2022-12-16 | 2023-01-31 | 山东建筑大学 | 一种轻量级的轮胎花纹分类方法及*** |
-
2023
- 2023-04-12 CN CN202310382056.7A patent/CN116129198B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114387207A (zh) * | 2021-12-02 | 2022-04-22 | 浙江大学 | 基于自注意力机制与双重领域自适应的轮胎瑕疵检测方法及模型 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116129198A (zh) | 2023-05-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110414432B (zh) | 对象识别模型的训练方法、对象识别方法及相应的装置 | |
| CN111709311B (zh) | 一种基于多尺度卷积特征融合的行人重识别方法 | |
| CN112069896B (zh) | 一种基于孪生网络融合多模板特征的视频目标跟踪方法 | |
| CN110598029A (zh) | 基于注意力转移机制的细粒度图像分类方法 | |
| CN113761259A (zh) | 一种图像处理方法、装置以及计算机设备 | |
| CN113688851B (zh) | 数据标注方法和装置和精细粒度识别方法和装置 | |
| CN109871892A (zh) | 一种基于小样本度量学习的机器人视觉认知*** | |
| SG171858A1 (en) | A method for updating a 2 dimensional linear discriminant analysis (2dlda) classifier engine | |
| CN113095370A (zh) | 图像识别方法、装置、电子设备及存储介质 | |
| CN114358188A (zh) | 特征提取模型处理、样本检索方法、装置和计算机设备 | |
| WO2021243947A1 (zh) | 对象再识别方法及装置、终端和存储介质 | |
| CN112733602B (zh) | 关系引导的行人属性识别方法 | |
| CN114842343A (zh) | 一种基于ViT的航空图像识别方法 | |
| CN108960270A (zh) | 一种基于流形迁移学习的数据标定方法及*** | |
| CN111626120A (zh) | 工业环境下基于改进的yolo-6d算法的目标检测方法 | |
| CN114780767A (zh) | 一种基于深度卷积神经网络的大规模图像检索方法及*** | |
| CN115830531A (zh) | 一种基于残差多通道注意力多特征融合的行人重识别方法 | |
| CN111126155B (zh) | 一种基于语义约束生成对抗网络的行人再识别方法 | |
| Bi et al. | Critical direction projection networks for few-shot learning | |
| CN113283320A (zh) | 一种基于通道特征聚合的行人重识别方法 | |
| CN116129198B (zh) | 一种多域轮胎花纹图像分类方法、***、介质及设备 | |
| CN115527064A (zh) | 基于多阶段ViT与对比学习的毒蘑菇细粒度图像分类方法 | |
| CN117011219A (zh) | 物品质量检测方法、装置、设备、存储介质和程序产品 | |
| CN116958624A (zh) | 指定材质的识别方法、装置、设备、介质及程序产品 | |
| Da et al. | Remote sensing image ship detection based on improved YOLOv3 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |