CN116629315B - 感知模型的训练方法、装置、设备和介质 - Google Patents
感知模型的训练方法、装置、设备和介质 Download PDFInfo
- Publication number
- CN116629315B CN116629315B CN202310587190.0A CN202310587190A CN116629315B CN 116629315 B CN116629315 B CN 116629315B CN 202310587190 A CN202310587190 A CN 202310587190A CN 116629315 B CN116629315 B CN 116629315B
- Authority
- CN
- China
- Prior art keywords
- feature
- image
- mask
- training
- masking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 149
- 230000008447 perception Effects 0.000 title claims abstract description 101
- 238000000034 method Methods 0.000 title claims abstract description 70
- 230000000873 masking effect Effects 0.000 claims abstract description 105
- 238000012545 processing Methods 0.000 claims abstract description 75
- 230000008569 process Effects 0.000 claims abstract description 19
- 238000001514 detection method Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 12
- 230000007246 mechanism Effects 0.000 claims description 10
- 230000009471 action Effects 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 8
- 238000004821 distillation Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 241000282326 Felis catus Species 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
本公开提供了一种感知模型的训练方法、装置、设备和介质，涉及计算机视觉、图像处理和深度学习等技术领域，可应用于元宇宙和智慧城市等场景。具体实现方案为：采用包括目标对象的第一图像对预定编码网络进行训练；以及基于经训练的编码网络，得到感知模型；进行训练的过程包括：对第一图像进行掩码处理，得到包括第一掩码图像块和第一非掩码图像块的第一预处理图像；采用预训练图像处理模型对第一预处理图像进行处理，得到第一掩码特征和第一非掩码特征；采用预定编码网络对第一非掩码图像块进行编码，得到第二非掩码特征；基于第二非掩码特征重构得到第二掩码特征；以及根据两个非掩码特征之间的差异，以及两个掩码特征之间的差异进行训练。
Description
技术领域
本公开涉及人工智能领域，具体涉及计算机视觉、图像处理和深度学习等技术领域，可应用于元宇宙和智慧城市等场景。
背景技术
随着计算机技术和网络技术的发展，深度学习模型的应用越来越广泛，且深度学习模型在各个领域也都取得了突破性的进展。尤其是基于自监督训练的通用大模型，得到了业界的广泛认可，在目标识别、检测、分割等领域发挥了重要作用。
发明内容
本公开旨在提供一种感知模型的训练方法、装置、设备和介质，以在感知任务上充分发挥通用大模型的作用，提高感知任务的完成精度。
根据本公开的第一个方面，提供了一种感知模型的训练方法，包括：采用包括目标对象的第一图像对预定编码网络进行训练，得到经训练的编码网络；以及基于经训练的编码网络，得到感知模型；感知模型包括基于经训练的编码网络得到的编码网络；其中，采用包括目标对象的第一图像对预定编码网络进行训练包括：对第一图像进行掩码处理，得到由第一掩码图像块和第一非掩码图像块构成的第一预处理图像；采用预训练图像处理模型对第一预处理图像进行处理，得到第一掩码图像块的第一掩码特征和第一非掩码图像块的第一非掩码特征；采用预定编码网络对第一非掩码图像块进行编码，得到第二非掩码特征；基于第二非掩码特征重构第一掩码图像块的特征，得到第二掩码特征；以及根据第一非掩码特征与第二非掩码特征之间的差异，以及第一掩码特征与第二掩码特征之间的差异，对预定编码网络进行训练。
根据本公开的第二个方面，提供了一种感知模型的训练装置，包括：第一训练模块，用于采用包括目标对象的第一图像对预定编码网络进行训练，得到经训练的编码网络；以及模型获得模块，用于基于经训练的编码网络，得到感知模型；感知模型包括基于经训练的编码网络得到的编码网络；其中，第一训练模块包括：第一掩码子模块，用于对第一图像进行掩码处理，得到由第一掩码图像块和第一非掩码图像块构成的第一预处理图像；第一图像处理子模块，用于采用预训练图像处理模型对第一预处理图像进行处理，得到第一掩码图像块的第一掩码特征和第一非掩码图像块的第一非掩码特征；第一编码子模块，用于采用预定编码网络对第一非掩码图像块进行编码，得到第二非掩码特征；第一重构子模块，用于基于第二非掩码特征重构第一掩码图像块的特征，得到第二掩码特征；以及第一训练子模块，用于根据第一非掩码特征与第二非掩码特征之间的差异，以及第一掩码特征与第二掩码特征之间的差异，对预定编码网络进行训练。
根据本公开的第三个方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开提供的感知模型的训练方法。
根据本公开的第四个方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开提供的感知模型的训练方法。
根据本公开的第五个方面，提供了一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令存储于可读存储介质和电子设备其中至少之一上，所述计算机程序/指令在被处理器执行时实现本公开提供的感知模型的训练方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开实施例的感知模型的训练方法和装置的应用场景示意图；
图2是根据本公开实施例的感知模型的训练方法的流程示意图；
图3是根据本公开第一实施例的感知模型的训练方法的原理示意图；
图4是根据本公开实施例的得到第二掩码特征的原理示意图；
图5是根据本公开第二实施例的感知模型的训练方法的原理示意图；
图6是根据本公开实施例的感知模型的训练装置的结构框图；以及
图7是用来实施本公开实施例的感知模型的训练方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
目前，通常采用通用数据对通用大模型进行自监督的预训练。通用数据通常包含多种目标类别的数据，例如包括动物类别、车辆类别、行人类别的数据，因此能在多个领域中取得较好的泛化性能。但在针对目标对象的感知任务中，由于通常需要更加关注目标对象的结构差异性和细粒度信息，且通用数据与感知任务所需处理的数据之间存在较大的领域差距(domain gap)，因此，通用大模型的能力无法充分发挥，感知精度通常很差。
通常，自监督的预训练可以采用基于对比学习的方法来实现，也可以采用基于自编码的方法来实现。其中，基于对比学习的方法主要为：利用图像增强技术，对不同图像增强方式所得到的两个图像的处理结果进行对比，以拉近对同一图像进行增强处理所得到的两个图像的处理结果，拉远对不同图像进行图像增强处理所得到的两个图像的处理结果。基于自编码的方法主要为：对图像进行部分区域的掩码操作，再将得到的掩码部分恢复到特定表征空间，以减小恢复的特征与掩码前掩码部分的特征之间的差异。
为了解决上述问题，本公开提供了一种感知模型的训练方法、装置、设备和介质。以下先结合图1对本公开提供的方法和装置的应用场景进行描述。
图1是根据本公开实施例的感知模型的训练方法和装置的应用场景示意图。
如图1所示，该应用场景100可以包括服务器110和数据库120。服务器110与数据库120通信连接。
数据库120中可以维护有图像库，图像库可以包括通用图像库和特定领域的图像库。其中，特定领域的图像库例如可以是对不同类型的目标对象维护的图像库。目标对象例如可以为人体、猫、狗等能够自行移动、改变姿态的物体。
服务器110例如可以从数据库120中获取包括目标对象的图像，并采用获取的图像对通用大模型进行自监督训练，并基于自监督训练后的通用大模型得到用于执行针对目标图像的感知任务的感知模型130。
在一实施例中，服务器110在对通用大模型进行自监督训练时，例如还可以基于预训练图像处理模型140来对通用大模型进行蒸馏训练。其中，预训练图像处理模型140例如可以为预先训练得到的、精度满足要求的任意图像处理模型。
如图1所示，该应用场景100中还可以包括电子设备150，该电子设备150可以通过网络与服务器110通信连接。例如，电子设备150中可以安装有图像处理类应用、即时通信类应用等客户端应用，服务器110可以为向电子设备150中安装的客户端应用的运行提供支持的后台管理服务器。
例如，电子设备150可以从服务器110处获取训练得到的感知模型130，并采用获取得到的感知模型130对输入的图像160进行处理，以得到感知结果170。其中，感知结果170例如可以根据具体的感知任务来确定，例如，若感知任务为行人重识别任务，则感知结果170可以为图像160中是否包括特定行人；若感知任务为人体属性识别任务，则感知结果170可以为图像160中人体的属性类别。
需要说明的是，本公开提供的感知模型的训练方法可以由服务器110执行，相应地，本公开提供的感知模型的训练装置可以设置在服务器110中。
应该理解，图1中的服务器110、数据库120和电子设备150的数目和类型仅仅是示意性的。根据实现需要，可以具有任意数目和类型的服务器110、数据库120和电子设备150。
以下将结合图2～图5对本公开提供的感知模型的训练方法进行详细描述。
图2是根据本公开实施例的感知模型的训练方法的流程示意图。
如图2所示，该实施例的感知模型的训练方法200可以包括操作S210～操作S220。其中，操作S210可以包括操作S211～操作S215。
在操作S210，采用包括目标对象的第一图像对预定编码网络进行训练，得到经训练的编码网络。
其中，第一图像例如可以是从针对目标对象维护的图像库中抽取得到的图像。目标对象例如可以为前述人体、猫、狗等能够自行移动、改变姿态的物体。预定编码网络例如可以采用基于CNN构建的编码器，也可以采用基于自注意力机制构建的编码器。
在一实施例中，预定编码网络可以包括Transformer编码器，以对输入的图像进行更好的建模，并提高对输入图像所存在的噪声、变形等的包容度，提高编码网络的鲁棒性。
具体地，操作S210可以通过操作S211～操作S215来实现。
在操作S211，对第一图像进行掩码处理，得到由第一掩码图像块和第一非掩码图像块构成的第一预处理图像。
例如，该实施例可以对第一图像进行划分，划分得到多个图像块。随后，对多个图像块中的部分图像块进行掩码处理，从而得到第一预处理图像。其中，可以从多个图像块中随机选择进行掩码处理的图像块，进行掩码处理的图像块占划分得到的多个图像块的比例可以为第一比例a％，该第一比例a％可以根据实际需求进行设定，本公开对此不做限定。
例如，可以将选择的图像块中各像素的像素值调整为(0，0，0)或者调整为(255，255，255)，从而实现掩码处理。
例如，第一比例a％还可以根据预定编码网络的模型规模来确定，例如可以根据该预定编码网络包括的网络参数的参数量来确定。若预定编码网络的模型规模较大，则可以为第一比例设置较大的取值；若模型规模较小，则可以为第一比例设置较小的取值。具体地，该第一比例的取值例如可以与预定编码网络的模型规模正相关。例如，根据实际需求，该第一比例a％的取值范围例如可以为[15％，60％]。
在操作S212，采用预训练图像处理模型对第一预处理图像进行处理，得到第一掩码图像块的第一掩码特征和第一非掩码图像块的第一非掩码特征。
其中，预训练图像处理模型例如可以为预训练得到的任意图像处理模型。例如，该预训练图像处理模型可以为对比语言-图像预训练(Contrastive Language-Image Pre-Training，简称为CLIP)模型、掩膜自编码(Masked AutoEncoder，简称为MAE)模型、快速语言图像预训练(Fast Language-Image Pre-Training，简称为FLIP)模型等。在一实施例中，该预训练图像处理模型可以为前述的基于自监督训练得到的通用大模型。其中，CLIP模型的预训练任务是预测给定的图像和文本是否是一对(paired)，使用对比学习(contrastivelearning)的loss。CLIP的主要结构是一个文本编码器Text Encoder和一个图像编码器Image Encoder，然后计算文本编码器得到的文本向量与图像编码器得到的图像向量的相似度，以预测文本和图像是否为一对。
该实施例中，可以将第一预处理图像输入预训练图像处理模型，将预训练图像处理模型中编码器输出的特征图中，与第一掩码图像块对应的特征作为第一掩码特征，与第一非掩码图像块对应的特征作为第一非掩码特征。例如，若预训练图像处理模型为CLIP模型，则可以从图像编码器(Image Encoder)输出的特征图中提取出第一掩码特征和第一非掩码特征。
在操作S213，采用预定编码网络对第一非掩码图像块进行编码，得到第二非掩码特征。
该实施例可以将第一预处理图像中的非掩码图像块以图像块序列的形式输入预定编码网络，由预定编码网络处理后输出第二非掩码特征。例如，预定编码网络可以采用自注意力机制对输入的图像块序列进行处理，将处理得到的特征作为第二非掩码特征。或者，预定编码网络可以对输入的图像块序列进行卷积运算，将卷积运算得到的特征作为第二非掩码特征。
在操作S214，基于第二非掩码特征重构第一掩码图像块的特征，得到第二掩码特征。
例如，该实施例可以将第二非掩码特征以特征块的形式和第一掩码图像块一并输入预定解码网络，由预定解码网络根据第二非掩码特征对第一掩码图像块处的图像内容进行重构，从而得到第二掩码特征。
其中，预定解码网络例如可以包括卷积层，用于对输入的序列进行卷积运算。或者，预定解码网络可以采用交叉注意力机制对输入的特征块和第一掩码图像块进行交叉注意力运算，将交叉注意力运算所得到的特征作为第二掩码特征。在进行交叉注意力运算时，例如可以将特征块形式的第二非掩码特征作为键特征和值特征，根据第一掩码图像块得到查询特征。
在操作S215，根据第一非掩码特征与第二非掩码特征之间的差异，以及第一掩码特征与第二掩码特征之间的差异，对预定编码网络进行训练。
根据本公开的实施例，例如可以采用余弦距离、欧式距离等来表示两个特征之间的差异。该实施例可以将两个非掩码特征之间的差异与两个掩码特征之间的差异的加权和，作为损失值。随后以最小化损失值为目标，对预定编码网络进行训练。
在一实施例中，可以根据两个非掩码特征之间的差异，确定蒸馏损失的损失值。根据两个掩码特征之间的差异，确定重构损失的损失值，即对掩码区域的图像块的特征进行重构的损失值。随后，该实施例可以将蒸馏损失的损失值和重构损失的损失值的加权和，作为预定编码网络的整体损失值。以最小化该整体损失值为目标，采用反向传播算法来调整预定编码网络的网络参数，从而实现对预定编码网络的训练。
例如，设定第一预处理图像中第一非掩码图像块v的数量为|v|，该实施例可以采用以下公式(1)来计算蒸馏损失的损失值Lv。
其中，表示对于|v|个第一非掩码图像块中的第i个图像块得到的第二非掩码特征，/>表示对于|v|个第一非掩码图像块中的第i个图像块得到的第一非掩码特征。表示/>与/>之间的余弦相似度。
例如，设定第一预处理图像中第一掩码图像块m的数量为|m|，该实施例可以采用以下公式(2)来计算重构损失的损失值Lm。
其中，表示对于|m|个第一掩码图像块中的第j个图像块得到的第二掩码特征，表示对于|m|个第一掩码图像块中的第j个图像块得到的第一掩码特征。表示/>与/>之间的余弦相似度。
可以理解的是，上述计算重构损失的损失值和蒸馏损失的损失值的公式仅作为示例以利于理解本公开，本公开对此不做限定。
在操作S220，基于经训练的编码网络，得到感知模型。
其中，感知模型包括基于经训练的编码网络得到的编码网络。例如，感知模型可以包括经训练的编码网络。该实施例例如可以将经训练的编码网络与预定检测头Head连接，从而得到感知模型。其中，检测头Head的结构与需要实现的感知任务相对应。例如，检测头Head可以由全连接层和归一化层等中的至少一个构成。
例如，对于行人重识别任务，检测头Head可以包括全连接层。对于人体关键点检测任务，检测头Head可以包括全连接层和归一化层。
本公开实施例通过根据预训练图像处理模型得到的特征与需要训练的预定编码网络得到的特征之间的差异，对预定编码网络进行训练，可以使得预定编码网络学习到预训练图像处理模型的表达能力。且通过对掩码图像块进行重构，并根据重构的掩码特征与预训练图像处理模型得到的掩码特征之间的差异来对预定编码网络进行训练，可以达到采用包括目标对象的第一对象对预定编码网络的自监督训练。如此，可以使得训练得到的编码网络不仅具有预训练图像处理模型的处理能力，还可以使得训练得到的编码网络可以更好地针对目标对象执行感知任务，以更好地学习到目标对象的结构差异性和细粒度信息，提高基于经训练的编码网络得到的感知模型的感知精度。
图3是根据本公开第一实施例的感知模型的训练方法的原理示意图。
根据本公开的实施例，上述的预定编码网络例如可以是通过采用通用图像库中的图像进行预训练得到的。在此基础上，再通过采用包括目标对象的第一图像来对预定编码网络进行训练，可以使得得到的经训练的编码网络不仅可以学习到通用图像库中图像的特征，还可以针对性地学习到针对目标对象的特征。因此，可以在提高得到的感知模型针对目标对象的处理能力，还可以提高感知模型的泛化性能。
例如，如图3所示，在实施例300中，可以预先设定原始编码网络301，该原始编码网络301例如可以基于卷积网络或者基于Transformer架构的编码器构建。该实施例300中，可以先从通用图像库310中抽取第二图像，并采用第二图像来对原始编码网络301进行训练，从而得到预定编码网络303。例如，采用第二图像对原始编码网络301进行训练的原理例如可以与采用第一图像对预定编码网络进行训练的原理类似。
例如，在对原始编码网络301进行训练时，可以先对抽取的第二图像进行掩码处理，得到第二非掩码图像块311和第二掩码图像块312，该第二非掩码图像块311和第二掩码图像块312可以构成第二预处理图像。其中，对第二图像进行掩码处理的原理与对第一图像进行掩码处理的原理类似，在此不再赘述。随后，可以采用预训练图像处理模型来对第二预处理图像进行处理，得到第二掩码图像块312的第三掩码特征和第二非掩码图像块311的第三非掩码特征。同时，可以采用原始编码网络301来对第二非掩码图像块311进行编码，得到第四非掩码特征，并基于第四非掩码特征重构第二掩码图像块312的特征，得到第四掩码特征。随后，该实施例300可以根据第三非掩码特征与第四非掩码特征之间的差异，以及第三掩码特征与第四掩码特征之间的差异，确定第二损失值330，并以最小化该第二损失值330为目标，对原始编码网络301进行训练。其中，第二损失值330例如可以包括蒸馏损失的损失值和重构损失的损失值。其中，蒸馏损失的损失值的计算原理可以参见上文描述的公式(1)，重构损失的损失值的计算原理可以参见上文描述的公式(2)。该实施例可以将两部分损失值的加权和作为第二损失值330。其中，加权时所采用的权重可以根据实际需求进行设定，本公开对此不做限定。
例如，可以采用原始解码网络302来对第二掩码图像块312的特征进行重构。且在训练原始编码网络301时，同步地训练原始解码网络302。原始解码网络302例如可以基于CNN网络或者基于Transformer的解码器构建，本公开对此不作限定。
如图3所示，通过训练原始编码网络301，可以得到前述的预定编码网络303。通过训练原始解码网络302，例如可以得到用于对前述的第一掩码图像块进行重构的预定解码网络。
在得到原始编码网络301之后，该实施例300可以从目标对象的图像库320中抽取包括目标对象的第二图像，并采用上文描述的操作S211～操作S215来对预定编码网络303进行训练。具体先对第二图像进行掩码处理，得到第一非掩码图像块321和第一掩码图像块322。随后，将第一非掩码图像块321输入预定编码网络303，从而得到第二非掩码特征。并采用预定解码网络304来基于第二非掩码特征对第一掩码图像块322的特征进行重构，得到第二掩码特征。最后，基于第二非掩码特征、第二掩码特征得到第一损失值340。该第一损失值340例如可以为上文描述的预定编码网络303的整体损失值。通过对预定编码网络303进行训练，可以得到经训练的编码网络。随后，可以采用上文描述的操作S220，来基于经训练的编码网络得到感知模型350。
根据本公开的实施例，在对第一图像进行掩码处理时所采用的掩码率例如可以为第一掩码率a％，在对第二图像进行掩码处理时所采用的掩码率例如可以为第二掩码率b％。其中，a与b的取值可以相等，也可以不相等。例如，a的取值可以小于b的取值，以更多地保留第一图像中目标对象的信息，利于预定编码网络能够更多的学习到目标对象的细粒度特征，提高经训练的编码网络的精度。
可以理解的是，得到第二掩码特征的原理与得到第四掩码特征的原理类似。为了更好地说明，以下结合图4，来对得到第二掩码特征的原理进行进一步地扩展和补充。
图4是根据本公开实施例的得到第二掩码特征的原理示意图。
根据本公开的实施例，在得到第二掩码特征时，例如可以考虑第一掩码图像块在第一预处理图像中的位置，以在第一掩码图像块的特征的重建过程中，充分考虑第一掩码图像块与第一非掩码图像块之间的相对位置信息，利于提高重构精度。
例如，该实施例可以在重构第一掩码图像块的特征时，先根据第一掩码图像块在第一预处理图像中的位置，确定指示第一掩码图像块的嵌入特征。例如，可以直接对指示第一掩码图像块在第一预处理图像中的位置的位置信息进行编码，从而得到嵌入特征。例如，可以采用正弦函数等来对第一掩码图像块的位置信息进行编码。
在得到嵌入特征后，例如可以采用交叉注意力机制来对第二非掩码特征和嵌入特征进行处理，将处理得到的特征作为重构得到的第一掩码图像块的特征，即第二掩码特征。例如，在采用交叉注意力机制处理时，可以将第二非掩码特征作为键特征和值特征，将嵌入特征作为查询特征。
在一实施例中，还可以在训练过程中训练得到可以在一定程度上表示掩码图像块的随机特征，并基于该随机特征和对位置信息进行编码得到的位置特征，来得到第一掩码图像块的嵌入特征。如此，可以提高得到的嵌入特征的表达能力，利于提高重构得到的第二掩码特征的精度。
例如，如图4所示，该实施例400在得到第二掩码特征时，可以先对指示第一掩码图像块411在第一预处理图像410中的位置的位置信息420进行编码，得到位置特征430。随后，可以将该位置特征430与经训练的随机特征440拼接，从而得到指示第一掩码图像块的嵌入特征450。例如，可以在通道维度拼接该位置特征430和经训练的随机特征440。其中，经训练的随机特征440可以是在训练得到预定编码网络的过程中训练得到的特征。在训练预定编码网络的过程中，该经训练的随机特征440的初始值可以随机设定，只要尺寸与第二非掩码特征的尺寸相同即可。需要说明的是，此处特征的尺寸是指宽度和高度，不涉及通道维度。
在得到第一掩码图像块的嵌入特征450之后，该实施例可以将第二非掩码特征460和嵌入特征450输入预定解码网络470中，由预定解码网络采用交叉注意力机制来对第二非掩码特征460和嵌入特征450进行处理，从而输出第二掩码特征480。
在一实施例中，可以采用图3描述的原理对原始解码网络302进行训练，将训练后的解码网络作为该预定解码网络470。例如，该预定解码网络470和原始解码网络302例如可以仅包括单个解码层，以加快感知模型的训练过程。这是由于基于预训练图像处理模型(例如CLIP模型)得到的特征进行了感知模型的训练，预训练图像处理模型能够提供高层的语义信息，即使采用单个解码层，也可以保证解码的精度。
可以理解的是，在对预定编码网络进行训练的过程中，该实施例还可以根据第一掩码特征与第二掩码特征之间的差异，来对经训练的随机特征440进行训练。例如，可以将经训练的随机特征440作为一组网络参数，采用与训练预定编码网络的原理类似的原理，来对经训练的随机特征440进行训练。在对前文描述的原始编码网络进行训练的过程中，该实施例还可以根据前述第三掩码特征与第四掩码特征之间的差异，对经训练的随机特征440的初始值进行训练。
图5是根据本公开第二实施例的感知模型的训练方法的原理示意图。
根据本公开的实施例，在通过前述实施例得到经训练的编码网络之后，例如可以将该经训练的编码网络作为感知模型中编码网络的初始结构。即如图5所示，该实施例500可以将该经训练的编码网络作为初始编码网络511，构建初始感知模型。例如，可以在初始编码网络511之后连接根据感知任务确定的预定检测头Head 512，从而得到初始感知模型510。可以理解的是，预定检测头Head 512可以是前文描述的检测头。例如，对于行人重识别任务，预定检测头Head可以包括全连接层。对于人体关键点检测任务，预定检测头Head可以包括全连接层和归一化层。
在得到初始感知模型510之后，该实施例500例如可以从预定图像库520中抽取样本图像530。该预定图像库520中的图像例如可以至少包括具有标签的图像，且该具有标签的图像为包括目标对象的图像，其中的标签指示针对目标对象的实际感知结果，例如，该实际感知结果可以包括目标对象的对象ID、目标对象的属性信息等，该实际感知结果与感知任务相对应。
在抽取得到样本图像530之后，该实施例500可以采用初始感知模型510对样本图像530进行处理。具体可以将样本图像530输入初始感知模型510中的初始编码网络，经由初始编码网络511处理后得到编码特征将该编码特征输入预定检测头512，经由预定检测头512处理后得到预测感知结果540。例如，对于行人重识别任务，预测感知结果540可以由表示目标对象分别属于多个预定行人的多个概率值构成的概率向量表示。对于人体关键点检测任务，预测感知结果540可以由预测得到的人体关键点的位置信息来表示。
随后，该实施例500可以根据样本图像的标签所指示的实际感知结果550与预测感知结果540之间的差异，来对初始感知模型510进行训练，将训练后的模型作为感知模型560。
例如，可以根据实际感知结果550与预测感知结果540，来确定初始感知模型510预测的损失值570。以最小化该预测的损失值为目标，对初始感知模型510进行训练。可以理解的是，确定损失值570时所采用的损失函数可以根据感测任务的类型来确定，例如可以采用交叉熵损失函数，交并比损失函数等，本公开对此不做限定。
可以理解的是，上述抽取样本图像并对初始感知模型510进行训练的过程为对初始感知模型进行有监督的训练的过程。通过该有监督的训练的过程，可以提高得到的感知模型的精度。
基于本公开提供的感知模型的训练方法，本公开还提供了一种感知模型的训练装置。以下将结合图6对该装置进行详细描述。
图6是根据本公开实施例的感知模型的训练装置的结构框图。
如图6所示，该实施例的感知模型的训练装置600可以包括第一训练模块610和模型获得模块620。
第一训练模块610用于采用包括目标对象的第一图像对预定编码网络进行训练，得到经训练的编码网络。在一实施例中，第一训练模块610可以用于执行上文描述的操作S210，在此不再赘述。
例如，第一训练模块610可以包括第一掩码子模块611、第一图像处理子模块612、第一编码子模块613、第一重构子模块614和第一训练子模块615。第一掩码子模块611用于对第一图像进行掩码处理，得到由第一掩码图像块和第一非掩码图像块构成的第一预处理图像。第一图像处理子模块612用于采用预训练图像处理模型对第一预处理图像进行处理，得到第一掩码图像块的第一掩码特征和第一非掩码图像块的第一非掩码特征。第一编码子模块613用于采用预定编码网络对第一非掩码图像块进行编码，得到第二非掩码特征。第一重构子模块614用于基于第二非掩码特征重构第一掩码图像块的特征，得到第二掩码特征。第一训练子模块615用于根据第一非掩码特征与第二非掩码特征之间的差异，以及第一掩码特征与第二掩码特征之间的差异，对预定编码网络进行训练。在一实施例中，第一掩码子模块611、第一图像处理子模块612、第一编码子模块613、第一重构子模块614和第一训练子模块615可以分别用于执行上文描述的操作S211～操作S215，在此不再赘述。
模型获得模块620用于基于经训练的编码网络，得到感知模型。其中，感知模型包括基于经训练的编码网络得到的编码网络。在一实施例中，模型获得模块620可以用于执行上文描述的操作S220，在此不再赘述。
根据本公开的实施例，上述感知模型的训练装置600还可以包括：图像抽取模块，用于从通用图像库中抽取第二图像；以及第二训练模块，用于采用第二图像对原始编码网络进行训练，得到预定编码网络。
根据本公开的实施例，上述模型获得模块620可以包括：初始模型获得子模块，用于以经训练的编码网络作为初始编码网络，得到初始感知模型；第二图像处理子模块，用于采用初始感知模型对样本图像进行处理，得到预测感知结果；样本图像具有指示实际感知结果的标签；以及训练子模块，用于根据预测感知结果和实际感知结果之间的差异，对初始感知模型进行训练，得到感知模型。
根据本公开的实施例，上述第一重构子模块可以包括：嵌入特征确定单元，用于根据第一掩码图像块在第一预处理图像中的位置，确定指示第一掩码图像块的嵌入特征；以及特征处理单元，用于采用交叉注意力机制对第二非掩码特征和嵌入特征进行处理，得到第二掩码特征。
根据本公开的实施例，上述嵌入特征确定单元包括：位置编码子单元，用于对指示第一掩码图像块在第一预处理图像中的位置的位置信息进行编码，得到位置特征；以及特征拼接子单元，用于将位置特征与经训练的随机特征拼接，得到指示第一掩码图像块的嵌入特征，其中，装置还包括第三训练模块，用于根据第一掩码特征与第二掩码特征之间的差异，对经训练的随机特征进行训练。
根据本公开的实施例，上述第二训练模块可以包括：第二掩码子模块，用于对第二图像进行掩码处理，得到由第二掩码图像块和第二非掩码图像块构成的第二预处理图像；第三图像处理子模块，用于采用预训练图像处理模型对第二预处理图像进行处理，得到第二掩码图像块的第三掩码特征和第二非掩码图像块的第三非掩码特征；第二编码子模块，用于采用原始编码网络对第二非掩码图像块进行编码，得到第四非掩码特征；第二重构子模块，用于基于第四非掩码特征重构第二掩码图像块的特征，得到第四掩码特征；以及第二训练子模块，用于根据第三非掩码特征与第四非掩码特征之间的差异，以及第三掩码特征与第四掩码特征之间的差异，对原始编码网络进行训练。
根据本公开的实施例，对第一图像进行掩码处理时采用的第一掩码率小于对第二图像进行掩码处理时采用的第二掩码率。
根据本公开的实施例，上述特征处理单元用于：将第二非掩码特征和嵌入特征输入预定解码网络，由预定解码网络输出第二掩码特征。上述第一训练子模块还用于：根据第一非掩码特征与第二非掩码特征之间的差异，以及第一掩码特征与第二掩码特征之间的差异，对预定解码网络进行训练，其中，预定解码网络包括单个解码层。
根据本公开的实施例，目标对象包括人体；感知模型包括以下模型中的至少之一：行人重识别模型、人体属性识别模型、人体动作检测模型、人体关键点检测模型；预训练图像处理模型包括对比语言-图像预训练CLIP模型。
需要说明的是，本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供、公开和应用等处理，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。在本公开的技术方案中，在获取或采集用户个人信息之前，均获取了用户的授权或同意。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图7示出了可以用来实施本公开实施例的感知模型的训练方法的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图7所示，电子设备700包括计算单元701，其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序，来执行各种适当的动作和处理。在RAM 703中，还可存储电子设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
电子设备700中的多个部件连接至I/O接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许电子设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如感知模型的训练方法。例如，在一些实施例中，感知模型的训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到电子设备700上。当计算机程序加载到RAM 703并由计算单元701执行时，可以执行上文描述的感知模型的训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行感知模型的训练方法。
本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。其中，服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务(″Virtual Private Server″，或简称″VPS″)中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式***的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
Claims (19)
1.一种感知模型的训练方法，包括：
采用包括目标对象的第一图像对预定编码网络进行训练，得到经训练的编码网络；以及
基于所述经训练的编码网络，得到感知模型；
其中，采用包括目标对象的第一图像对预定编码网络进行训练包括：
对所述第一图像进行掩码处理，得到由第一掩码图像块和第一非掩码图像块构成的第一预处理图像；
采用预训练图像处理模型对所述第一预处理图像进行处理，得到所述第一掩码图像块的第一掩码特征和所述第一非掩码图像块的第一非掩码特征；
采用所述预定编码网络对所述第一非掩码图像块进行编码，得到第二非掩码特征；
基于所述第二非掩码特征重构所述第一掩码图像块的特征，得到第二掩码特征；以及
根据所述第一非掩码特征与所述第二非掩码特征之间的差异，以及所述第一掩码特征与所述第二掩码特征之间的差异，对所述预定编码网络进行训练；
其中，所述基于所述第二非掩码特征重构所述第一掩码图像块的特征，得到第二掩码特征包括：
根据所述第一掩码图像块在所述第一预处理图像中的位置，确定指示所述第一掩码图像块的嵌入特征；以及
采用交叉注意力机制对所述第二非掩码特征和所述嵌入特征进行处理，得到所述第二掩码特征。
2.根据权利要求1所述的方法，还包括：
从通用图像库中抽取第二图像；以及
采用所述第二图像对原始编码网络进行训练，得到所述预定编码网络。
3.根据权利要求1所述的方法，其中，所述基于所述经训练的编码网络，得到感知模型包括：
以所述经训练的编码网络作为初始编码网络，得到初始感知模型；
采用所述初始感知模型对样本图像进行处理，得到预测感知结果；所述样本图像具有指示实际感知结果的标签；以及
根据所述预测感知结果和所述实际感知结果之间的差异，对所述初始感知模型进行训练，得到所述感知模型。
4.根据权利要求1所述的方法，其中，所述根据所述第一掩码图像块在所述第一预处理图像中的位置，确定指示所述第一掩码图像块的嵌入特征包括：
对指示所述第一掩码图像块在所述第一预处理图像中的位置的位置信息进行编码，得到位置特征；以及
将所述位置特征与经训练的随机特征拼接，得到指示所述第一掩码图像块的嵌入特征，
其中，所述方法还包括：根据所述第一掩码特征与所述第二掩码特征之间的差异，对所述经训练的随机特征进行训练。
5.根据权利要求2所述的方法，其中，所述采用所述第二图像对原始编码网络进行训练，得到所述预定编码网络包括：
对所述第二图像进行掩码处理，得到由第二掩码图像块和第二非掩码图像块构成的第二预处理图像；
采用所述预训练图像处理模型对所述第二预处理图像进行处理，得到所述第二掩码图像块的第三掩码特征和所述第二非掩码图像块的第三非掩码特征；
采用所述原始编码网络对所述第二非掩码图像块进行编码，得到第四非掩码特征；
基于所述第四非掩码特征重构所述第二掩码图像块的特征，得到第四掩码特征；以及
根据所述第三非掩码特征与所述第四非掩码特征之间的差异，以及所述第三掩码特征与所述第四掩码特征之间的差异，对所述原始编码网络进行训练。
6.根据权利要求5所述的方法，其中，对所述第一图像进行掩码处理时采用的第一掩码率小于对所述第二图像进行掩码处理时采用的第二掩码率。
7.根据权利要求1所述的方法，其中，所述采用交叉注意力机制对所述第二非掩码特征和所述嵌入特征进行处理，得到所述第二掩码特征包括：
将所述第二非掩码特征和所述嵌入特征输入预定解码网络，由所述预定解码网络输出所述第二掩码特征，
所述方法还包括：根据所述第一非掩码特征与所述第二非掩码特征之间的差异，以及所述第一掩码特征与所述第二掩码特征之间的差异，对所述预定解码网络进行训练，
其中，所述预定解码网络包括单个解码层。
8.根据权利要求1～7中任一项所述的方法，其中：
所述目标对象包括人体；
所述感知模型包括以下模型中的至少之一：行人重识别模型、人体属性识别模型、人体动作检测模型、人体关键点检测模型；
所述预训练图像处理模型包括对比语言-图像预训练CLIP模型。
9.一种感知模型的训练装置，包括：
第一训练模块，用于采用包括目标对象的第一图像对预定编码网络进行训练，得到经训练的编码网络；以及
模型获得模块，用于基于所述经训练的编码网络，得到感知模型；
其中，所述第一训练模块包括：
第一掩码子模块，用于对所述第一图像进行掩码处理，得到由第一掩码图像块和第一非掩码图像块构成的第一预处理图像；
第一图像处理子模块，用于采用预训练图像处理模型对所述第一预处理图像进行处理，得到所述第一掩码图像块的第一掩码特征和所述第一非掩码图像块的第一非掩码特征；
第一编码子模块，用于采用所述预定编码网络对所述第一非掩码图像块进行编码，得到第二非掩码特征；
第一重构子模块，用于基于所述第二非掩码特征重构所述第一掩码图像块的特征，得到第二掩码特征；以及
第一训练子模块，用于根据所述第一非掩码特征与所述第二非掩码特征之间的差异，以及所述第一掩码特征与所述第二掩码特征之间的差异，对所述预定编码网络进行训练；
其中，所述第一重构子模块包括：
嵌入特征确定单元，用于根据所述第一掩码图像块在所述第一预处理图像中的位置，确定指示所述第一掩码图像块的嵌入特征；以及
特征处理单元，用于采用交叉注意力机制对所述第二非掩码特征和所述嵌入特征进行处理，得到所述第二掩码特征。
10.根据权利要求9所述的装置，还包括：
图像抽取模块，用于从通用图像库中抽取第二图像；以及
第二训练模块，用于采用所述第二图像对原始编码网络进行训练，得到所述预定编码网络。
11.根据权利要求9所述的装置，其中，所述模型获得模块包括：
初始模型获得子模块，用于以所述经训练的编码网络作为初始编码网络，得到初始感知模型；
第二图像处理子模块，用于采用所述初始感知模型对样本图像进行处理，得到预测感知结果；所述样本图像具有指示实际感知结果的标签；以及
训练子模块，用于根据所述预测感知结果和所述实际感知结果之间的差异，对所述初始感知模型进行训练，得到所述感知模型。
12.根据权利要求9所述的装置，其中，所述嵌入特征确定单元包括：
位置编码子单元，用于对指示所述第一掩码图像块在所述第一预处理图像中的位置的位置信息进行编码，得到位置特征；以及
特征拼接子单元，用于将所述位置特征与经训练的随机特征拼接，得到指示所述第一掩码图像块的嵌入特征，
其中，所述装置还包括第三训练模块，用于根据所述第一掩码特征与所述第二掩码特征之间的差异，对所述经训练的随机特征进行训练。
13.根据权利要求10所述的装置，其中，所述第二训练模块包括：
第二掩码子模块，用于对所述第二图像进行掩码处理，得到由第二掩码图像块和第二非掩码图像块构成的第二预处理图像；
第三图像处理子模块，用于采用所述预训练图像处理模型对所述第二预处理图像进行处理，得到所述第二掩码图像块的第三掩码特征和所述第二非掩码图像块的第三非掩码特征；
第二编码子模块，用于采用所述原始编码网络对所述第二非掩码图像块进行编码，得到第四非掩码特征；
第二重构子模块，用于基于所述第四非掩码特征重构所述第二掩码图像块的特征，得到第四掩码特征；以及
第二训练子模块，用于根据所述第三非掩码特征与所述第四非掩码特征之间的差异，以及所述第三掩码特征与所述第四掩码特征之间的差异，对所述原始编码网络进行训练。
14.根据权利要求13所述的装置，其中，对所述第一图像进行掩码处理时采用的第一掩码率小于对所述第二图像进行掩码处理时采用的第二掩码率。
15.根据权利要求9所述的装置，其中，所述特征处理单元用于：
将所述第二非掩码特征和所述嵌入特征输入预定解码网络，由所述预定解码网络输出所述第二掩码特征；
所述第一训练子模块还用于：根据所述第一非掩码特征与所述第二非掩码特征之间的差异，以及所述第一掩码特征与所述第二掩码特征之间的差异，对所述预定解码网络进行训练，
其中，所述预定解码网络包括单个解码层。
16.根据权利要求9～1 5中任一项所述的装置，其中：
所述目标对象包括人体；
所述感知模型包括以下模型中的至少之一：行人重识别模型、人体属性识别模型、人体动作检测模型、人体关键点检测模型；
所述预训练图像处理模型包括对比语言-图像预训练CLIP模型。
17.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1～8中任一项所述的方法。
18.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1～8中任一项所述的方法。
19.一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令存储于可读存储介质和电子设备其中至少之一上，所述计算机程序/指令在被处理器执行时实现根据权利要求1～8中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310587190.0A CN116629315B (zh) | 2023-05-23 | 2023-05-23 | 感知模型的训练方法、装置、设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310587190.0A CN116629315B (zh) | 2023-05-23 | 2023-05-23 | 感知模型的训练方法、装置、设备和介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116629315A CN116629315A (zh) | 2023-08-22 |
| CN116629315B true CN116629315B (zh) | 2024-02-20 |
Family
ID=87591391
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310587190.0A Active CN116629315B (zh) | 2023-05-23 | 2023-05-23 | 感知模型的训练方法、装置、设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116629315B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114842307A (zh) * | 2022-07-04 | 2022-08-02 | 中国科学院自动化研究所 | 掩码图像模型训练方法、掩码图像内容预测方法和设备 |
| CN114926835A (zh) * | 2022-05-20 | 2022-08-19 | 京东科技控股股份有限公司 | 文本生成、模型训练方法和装置 |
| CN115131753A (zh) * | 2022-04-19 | 2022-09-30 | 中山大学·深圳 | 一种自动驾驶场景下的异构多任务协同*** |
| CN115187819A (zh) * | 2022-08-23 | 2022-10-14 | 北京医准智能科技有限公司 | 图像分类模型的训练方法、装置、电子设备及存储介质 |
| CN115294400A (zh) * | 2022-08-23 | 2022-11-04 | 北京医准智能科技有限公司 | 图像分类模型的训练方法、装置、电子设备及存储介质 |
| CN115294349A (zh) * | 2022-06-29 | 2022-11-04 | 北京百度网讯科技有限公司 | 训练模型的方法、装置、电子设备及存储介质 |
| CN115346074A (zh) * | 2022-09-02 | 2022-11-15 | 北京百度网讯科技有限公司 | 训练方法、图像处理方法、装置、电子设备以及存储介质 |
| CN115374798A (zh) * | 2021-05-19 | 2022-11-22 | 百度（美国）有限责任公司 | 计算机实施的方法、用于计算机学习的***和介质 |
| CN115982376A (zh) * | 2022-12-14 | 2023-04-18 | 北京百度网讯科技有限公司 | 基于文本、多模数据和知识训练模型的方法和装置 |
| CN116052288A (zh) * | 2023-01-06 | 2023-05-02 | 北京百度网讯科技有限公司 | 活体检测模型训练方法、活体检测方法、装置和电子设备 |
| WO2023072067A1 (zh) * | 2021-10-25 | 2023-05-04 | 百果园技术(新加坡)有限公司 | 人脸属性编辑模型的训练以及人脸属性编辑方法 |
| CN116095321A (zh) * | 2023-01-12 | 2023-05-09 | 上海双深信息技术有限公司 | 显著性区域图像编解码方法、***、设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022219402A1 (en) * | 2021-04-12 | 2022-10-20 | Nearmap Australia Pty Ltd | Semantically accurate super-resolution generative adversarial networks |
-
2023
- 2023-05-23 CN CN202310587190.0A patent/CN116629315B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115374798A (zh) * | 2021-05-19 | 2022-11-22 | 百度（美国）有限责任公司 | 计算机实施的方法、用于计算机学习的***和介质 |
| WO2023072067A1 (zh) * | 2021-10-25 | 2023-05-04 | 百果园技术(新加坡)有限公司 | 人脸属性编辑模型的训练以及人脸属性编辑方法 |
| CN115131753A (zh) * | 2022-04-19 | 2022-09-30 | 中山大学·深圳 | 一种自动驾驶场景下的异构多任务协同*** |
| CN114926835A (zh) * | 2022-05-20 | 2022-08-19 | 京东科技控股股份有限公司 | 文本生成、模型训练方法和装置 |
| CN115294349A (zh) * | 2022-06-29 | 2022-11-04 | 北京百度网讯科技有限公司 | 训练模型的方法、装置、电子设备及存储介质 |
| CN114842307A (zh) * | 2022-07-04 | 2022-08-02 | 中国科学院自动化研究所 | 掩码图像模型训练方法、掩码图像内容预测方法和设备 |
| CN115187819A (zh) * | 2022-08-23 | 2022-10-14 | 北京医准智能科技有限公司 | 图像分类模型的训练方法、装置、电子设备及存储介质 |
| CN115294400A (zh) * | 2022-08-23 | 2022-11-04 | 北京医准智能科技有限公司 | 图像分类模型的训练方法、装置、电子设备及存储介质 |
| CN115346074A (zh) * | 2022-09-02 | 2022-11-15 | 北京百度网讯科技有限公司 | 训练方法、图像处理方法、装置、电子设备以及存储介质 |
| CN115982376A (zh) * | 2022-12-14 | 2023-04-18 | 北京百度网讯科技有限公司 | 基于文本、多模数据和知识训练模型的方法和装置 |
| CN116052288A (zh) * | 2023-01-06 | 2023-05-02 | 北京百度网讯科技有限公司 | 活体检测模型训练方法、活体检测方法、装置和电子设备 |
| CN116095321A (zh) * | 2023-01-12 | 2023-05-09 | 上海双深信息技术有限公司 | 显著性区域图像编解码方法、***、设备及存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| "cots collaborative two stream vision language pre training model for cross modal retrieval";haoyu lu;《2022 IEEE conference on computer vision and pattern recognition 》;全文 * |
| "RPMG FSS : robust prior mask guided few shot semantic segmentation";zhang xinyu;《IEEE transactions on circuits and systems for video technology》;全文 * |
| "基于图模型和TRANSFORMER的细粒度跨模态检索算法研究";刘昊鑫;《中国优秀硕士学位论文全文数据库 信息科技辑》;全文 * |
| "基于联合损失函数的小规模数据人脸识别";张欣彧;《北京理工大学学报》;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116629315A (zh) | 2023-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109558832B (zh) | 一种人体姿态检测方法、装置、设备及存储介质 | |
| CN107273458B (zh) | 深度模型训练方法及装置、图像检索方法及装置 | |
| WO2022105125A1 (zh) | 图像分割方法、装置、计算机设备及存储介质 | |
| CN114549840B (zh) | 语义分割模型的训练方法和语义分割方法、装置 | |
| CN111160348A (zh) | 自然场景的文本识别方法、存储装置和计算机设备 | |
| CN114242113B (zh) | 语音检测方法、训练方法、装置和电子设备 | |
| CN114926835A (zh) | 文本生成、模型训练方法和装置 | |
| CN115565177B (zh) | 文字识别模型训练、文字识别方法、装置、设备及介质 | |
| CN113869205A (zh) | 对象检测方法、装置、电子设备和存储介质 | |
| CN114898266B (zh) | 训练方法、图像处理方法、装置、电子设备以及存储介质 | |
| CN114140831B (zh) | 人体姿态估计方法、装置、电子设备及存储介质 | |
| CN115761839A (zh) | 人脸活体检测模型的训练方法、人脸活体检测方法及装置 | |
| CN116611491A (zh) | 目标检测模型的训练方法、装置、电子设备和存储介质 | |
| CN116343233B (zh) | 文本识别方法和文本识别模型的训练方法、装置 | |
| CN117115600A (zh) | 无参考图像质量评价的方法、装置及电子设备 | |
| CN116994319A (zh) | 训练模型的方法和人脸识别方法、设备、介质 | |
| CN116629315B (zh) | 感知模型的训练方法、装置、设备和介质 | |
| CN115457329B (zh) | 图像分类模型的训练方法、图像分类方法和装置 | |
| CN115018734B (zh) | 视频修复方法和视频修复模型的训练方法、装置 | |
| CN114120074B (zh) | 基于语义增强的图像识别模型的训练方法和训练装置 | |
| CN113177483B (zh) | 视频目标分割方法、装置、设备以及存储介质 | |
| CN113139483A (zh) | 人体行为识别方法、装置、设备、存储介质以及程序产品 | |
| CN115147434A (zh) | 图像处理方法、装置、终端设备及计算机可读存储介质 | |
| CN116721315B (zh) | 活体检测模型的训练方法、装置、介质及电子设备 | |
| Yang et al. | Multiple Patch-Aware Network for Faster Real-World Image Dehazing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |