CN115661904A - 数据标注和域适应模型训练方法、装置、设备及介质 - Google Patents

数据标注和域适应模型训练方法、装置、设备及介质 Download PDF

Info

Publication number
CN115661904A
CN115661904A CN202211404950.1A CN202211404950A CN115661904A CN 115661904 A CN115661904 A CN 115661904A CN 202211404950 A CN202211404950 A CN 202211404950A CN 115661904 A CN115661904 A CN 115661904A
Authority
CN
China
Prior art keywords
domain
data
target
domain data
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211404950.1A
Other languages
English (en)
Inventor
张晶华
文扬
张丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Uisee Technologies Beijing Co Ltd
Original Assignee
Uisee Technologies Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Uisee Technologies Beijing Co Ltd filed Critical Uisee Technologies Beijing Co Ltd
Priority to CN202211404950.1A priority Critical patent/CN115661904A/zh
Publication of CN115661904A publication Critical patent/CN115661904A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本公开实施例公开了一种数据标注和域适应模型训练方法、装置、设备及介质。本公开通过获取源域数据集以及目标域数据集所构建的域适应模型,以通过域适应模型中的主干网络、域适应模块依次确定各目标域数据的初始特征、目标特征,进而根据目标特征确定目标域数据的预测识别标签,实现了对各目标域数据的标注,适用于各新场景下的数据集,无需人为标注,提高了标注效率和标注质量,降低了标注成本。并且,通过域适应模型中的域适应模块确定目标特征,实现了通过域适应模块将源域数据和目标域数据进行特征空间对齐,无需通过主干网络进行特征空间对齐,避免了对主干网络的反复训练,进而解决了主干网络训练过程不稳定、难以收敛的问题。

Description

数据标注和域适应模型训练方法、装置、设备及介质
技术领域
本公开涉及数据处理技术领域,尤其涉及一种数据标注和域适应模型训练方法、装置、设备及介质。
背景技术
深度神经网络由于具有较好的可学习性、准确率高,在各个领域被广泛应用,如,自动驾驶感知领域、自然语言处理领域等。深度神经网络要具备良好的感知能力,需要大量的标注数据进行监督训练,标注数据的数量和质量对神经网络的性能具有决定性的影响。
目前,深度神经网络训练所需的标注数据主要来源于人工标注,通过让标注人员根据制定的标注规则对点云、图像或文本等数据进行标注。同时,针对一些成熟的应用场景,也有厂商通过数据闭环的方式实现数据自动标注,但目前标注数据主要还是来源于人工标注。
然而,人工标注大量数据需要耗费较大的成本,特别是针对点云等3D数据,标注过程更加复杂,成本更高。此外,人工标注主要依赖于标注人员的主观判断,在标注过程中难以保证统一的标注标准,数据标注的质量较难保证。自动标注方法效率较高,且标注标准统一。现有的自动标注方法,大多只能针对较成熟的场景数据进行标注,对于稍有差异的新场景数据还是需要人工进行标注,不能实现完全的高效率自动标注。
因此,现有技术中存在以下技术问题:依赖人工标注的方式成本高、效率低、标注质量低;自动标注方法无法实现新场景下的数据标注。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题,本公开实施例提供了一种数据标注和域适应模型训练方法、装置、设备及介质,实现对目标域数据的标注,适用于各个新场景下的数据集,无需人为标注,提高了标注效率和标注质量,降低了标注成本。
第一方面,本公开实施例提供了一种数据标注方法,该方法包括:
获取基于源域数据集以及目标域数据集确定的域适应模型,其中,所述源域数据集包括各源域数据以及各源域数据对应的预设识别标签,所述目标域数据集包括各目标域数据;
将各所述目标域数据输入至所述域适应模型,得到所述域适应模型输出的各所述目标域数据对应的预测识别标签;
其中,所述域适应模型包括主干网络、域适应模块、域判别器以及预测输出模块,所述主干网络用于确定各所述目标域数据的初始特征,所述域适应模块用于根据各所述目标域数据的初始特征确定各所述目标域数据的目标特征,所述预测输出模块用于基于各所述目标域数据的目标特征确定各所述目标域数据对应的预测识别标签。
第二方面,本公开实施例还提供了一种域适应模型训练方法,所述方法包括:
基于源域数据集以及目标域数据集确定判别模型,其中,所述判别模型包括主干网络、预测输出模块以及域判别器,所述源域数据集包括各源域数据以及各源域数据对应的预设识别标签,所述目标域数据集包括各目标域数据;
基于所述判别模型构建域适应模型,基于所述域适应模型中的主干网络,确定所述源域数据集以及所述目标域数据集中各数据的初始特征,并基于所述域适应模型中的域适应模块以及各数据的初始特征确定各数据的目标特征;
基于各源域数据的目标特征、所述域判别器和所述预测输出模块,确定各源域数据的预测域分类标签以及预测识别标签,基于各目标域数据的目标特征以及所述域判别器,确定各目标域数据的预测域分类标签;
基于各源域数据的预测域分类标签、各源域数据的预测识别标签以及各目标域数据的预测域分类标签,对所述域适应模块中的参数进行调整。
第三方面,本公开实施例还提供了一种数据标注装置,该装置包括:
模型获取模块,用于获取基于源域数据集以及目标域数据集确定的域适应模型,其中,所述源域数据集包括各源域数据以及各源域数据对应的预设识别标签,所述目标域数据集包括各目标域数据;
标签确定模块,用于将各所述目标域数据输入至所述域适应模块,得到所述域适应模块输出的各所述目标域数据对应的预测识别标签;
其中,所述域适应模型包括主干网络、域适应模块、域判别器以及预测输出模块,所述主干网络用于确定各所述目标域数据的初始特征,所述域适应模块用于根据各所述目标域数据的初始特征确定各所述目标域数据的目标特征,所述预测输出模块用于基于各所述目标域数据的目标特征确定各所述目标域数据对应的预测识别标签。
第四方面,本公开实施例还提供了一种域适应模型训练装置,该装置包括:
判别模型确定模块,用于基于源域数据集以及目标域数据集确定判别模型,其中,所述判别模型包括主干网络、预测输出模块以及域判别器,所述源域数据集包括各源域数据以及各源域数据对应的预设识别标签,所述目标域数据集包括各目标域数据;
域适应模型构建模块,用于基于所述判别模型构建域适应模型,基于所述域适应模型中的主干网络,确定所述源域数据集以及所述目标域数据集中各数据的初始特征,并基于所述域适应模型中的域适应模块以及各数据的初始特征确定各数据的目标特征;
标签输出模块,用于基于各源域数据的目标特征、所述域判别器和所述预测输出模块,确定各源域数据的预测域分类标签以及预测识别标签,基于各目标域数据的目标特征以及所述域判别器,确定各目标域数据的预测域分类标签;
域适应训练模块,用于基于各源域数据的预测域分类标签、各源域数据的预测识别标签以及各目标域数据的预测域分类标签,对所述域适应模块中的参数进行调整。
第五方面,本公开实施例还提供了一种电子设备,所述电子设备包括:一个或多个处理器;存储装置,用于存储一个或多个程序;当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如上所述的数据标注方法或域适应模型训练方法。
第六方面,本公开实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上所述的数据标注方法或域适应模型训练方法。
本公开实施例提供的一种数据标注方法,通过获取源域数据集以及目标域数据集所构建的域适应模型,以通过域适应模型中的主干网络、域适应模块依次确定各目标域数据的初始特征、目标特征,进而根据目标特征确定目标域数据的预测识别标签,实现了对各目标域数据的标注,适用于各新场景下的数据集,无需人为标注,提高了标注效率和标注质量,降低了标注成本。并且,通过域适应模型中的域适应模块确定目标特征,实现了通过域适应模块将源域数据和目标域数据进行特征空间对齐,无需通过主干网络进行特征空间对齐,避免了对主干网络的反复训练,进而解决了主干网络训练过程不稳定、难以收敛的问题。
附图说明
结合附图并参考以下具体实施方式,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的,原件和元素不一定按照比例绘制。
图1为本公开实施例中的一种数据标注方法的流程图;
图2为本公开实施例中的一种域适应模型训练方法的流程图;
图3为本公开实施例提供的一种判别模型的训练过程示意图;
图4为本公开实施例提供的一种域适应模型的训练过程示意图;
图5为本公开实施例中的另一种域适应模型训练方法的流程图;
图6为本公开实施例提供的一种当前源域数据和当前目标域数据的分割结果示意图;
图7为本公开实施例提供的拼接数据的组成示意图;
图8为本公开实施例提供的拼接数据示意图;
图9为本公开实施例中的一种数据标注装置的结构示意图;
图10为本公开实施例中的一种域适应模型训练装置的结构示意图;
图11为本公开实施例中的一种电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
在对本公开实施例提供的数据标注方法和域适应模型训练方法进行详细介绍之前,先对本公开实施例提供的方法所解决的技术问题和应用场景进行示例性说明。
本公开实施例提供的方法,主要解决人工数据标注成本高、自动标注算法对新场景适应能力差的问题,该方法可以有效利用已有的源域数据来学习标注新场景数据,从而降低数据标注成本,提升标注方法对新场景数据的适应能力。
示例性的,本公开实施例提供的域适应模型训练方法,可以应用于生成如感知点云检测模型、地形检测模型、文本分类模型、文本翻译模型、文本摘要提取模型、文本预测模型、关键词转换模型、文本语义分析模型、图像风格转换模型、图像分类模型、图像分割模型、图像特征提取模型、图像增强模型、图像标签生成模型、人脸识别模型、面部表情识别模型、语言识别模型、语音识别模型、推荐模型等域适应模型。
示例性的,本公开实施例提供的数据标注方法,可以用于对点云数据、文本数据、图像数据或语音数据等数据,进行数据标注。例如,若目标域数据集包括无人驾驶的各感知点云数据,则可以通过域适应模型输出各感知点云数据对应的目标对象检测框,作为预测识别标签;若目标数据集包括各地形点云数据,则可以通过域适应模型输出各地形点云数据对应的地形三维模型,作为预测识别标签;若目标数据集包括各文本数据,则可以通过域适应模型输出各文本数据对应的文本摘要、文本分类、文本翻译结果、文本语义分析结果、关键词转换结果或文本预测结果,作为预测识别标签;若目标数据集包括各语音数据,则可以通过域适应模型输出各语音数据对应的语音识别结果、音频降噪结果、音频合成结果或语言识别结果;若目标数据集包括各图像数据,则可以通过域适应模型输出各图像数据对应的图像分类、图像分割结果、图像特征、图像压缩结果或图像标签。
上述应用场景仅作为示例性说明,本公开对域适应模型训练方法和数据标注方法的应用场景不进行限定。
图1为本公开实施例中的一种数据标注方法的流程图。该方法可以由数据标注装置执行,该装置可以采用软件和/或硬件的方式实现,该装置可配置于电子设备中。如图1所示,该方法具体可以包括如下步骤:
S110、获取基于源域数据集以及目标域数据集确定的域适应模型,其中,源域数据集包括各源域数据以及各源域数据对应的预设识别标签,目标域数据集包括各目标域数据。
在本实施例中,源域数据集中的源域数据可以是具备对应预设的识别标签的数据;目标域数据集中的目标域数据可以是不具备对应预设的识别标签的数据。其中,预设识别标签可以是与域适应模型的模型预测任务相对应的标签。示例性的,以模型预测任务为目标检测的点云数据中的目标对象为例,源域数据对应的预设识别标签可以是感知点云数据中包含的各目标对象的检测框。
可选的,目标域数据为点云数据、文本数据、图像数据或语音数据。其中,点云数据可以是感知点云数据、地图点云数据或医学图像点云数据等;文本数据可以是文章、商品详情页或网页文本等;图像数据可以是道路图像、面部图像、医学图像或车辆传感器采集图像等;语音数据可以是车机交互语音、通话语音或视频音频等。在本实施例中,可以实现对点云、文本、图像或语音等数据的标注。当然,目标域数据不局限于上述示例,可以根据实际标注需求确定。
需要说明的是,目标域数据集与源域数据集可以是不同数据来源的数据集,即目标域数据集可以是与源域数据集所在场景不同的新场景下的数据集。本实施例可以通过与目标域数据集场景不同的其它场景下的已标注数据,对目标域数据集进行标注。
如,沿用上例,模型预测任务为目标检测的点云数据中的目标对象,目标域数据集可以是高速公路点云数据,源域数据集可以是城市内道路点云数据。又比如,模型检测任务为识别面部区域,目标数据集可以是动画人脸图像,源域数据集可以是真实人脸图像。
具体的,可以获取根据源域数据集以及目标域数据集构建的域适应模型。其中,域适应模型的模型预测任务与源域数据的预设识别标签相对应,即模型预测任务的目标为输出各预测识别标签。
其中,域适应模型包括主干网络、域适应模块、域判别器以及预测输出模块,主干网络用于确定各目标域数据的初始特征,域适应模块用于根据各目标域数据的初始特征确定各目标域数据的目标特征,预测输出模块用于基于各目标域数据的目标特征确定各目标域数据对应的预测识别标签。
示例性的,可以先基于源域数据集构建预训练模型,预训练模型包括主干网络和预测输出模型,预训练模型的目标为输出与源域数据的预设识别标签一致的预测识别标签。进一步的,在预训练模型的基础上,根据源域数据集以及目标域数据集得到判别模型,判别模型包括预训练模型和域判别器,其中,域判别器的目标为区分各数据的来源域;进一步的,在判别模型的基础上,根据源域数据集以及目标域数据集得到域适应模型,其中,域适应模型包括判别模型和域适应模块,域适应模块的目标为将目标域数据的特征映射到与源域数据的特征相似的特征空间,以将目标域数据的特征与源域数据的特征对齐。
在一种具体的实施方式中,获取基于源域数据集以及目标域数据集确定的域适应模型,包括:基于源域数据集以及目标域数据集确定判别模型,其中,判别模型包括主干网络、预测输出模块以及域判别器;基于判别模型确定域适应模型。
其中,基于源域数据集以及目标域数据集确定判别模型,可以是:基于源域数据集确定预训练模型,在预训练模型的基础上增加域判别器,基于源域数据集以及目标域数据集对域判别器进行训练,得到判别模型。
具体的,最终得到的判别模型可以通过域判别器输出当前输入的源域数据或目标域数据对应的来源域。示例性的,可以对源域数据集中的各源域数据设置域分类标签,并对目标域数据集中的各目标域数据设置域分类标签,进而将各源域数据、各源域数据对应的域分类标签、各目标域数据、各目标域数据对应的域分类标签作为样本,训练域判别器。
进一步的,基于判别模型确定域适应模型,可以是在判别模型的基础上增加域适应模块,基于源域数据集以及目标域数据集对域适应模块进行训练,得到域适应模型。
通过上述方式,先基于源域数据集和目标域数据集确定判别模型,进而根据判别模型构建域适应模型,域判别器的训练是在域适应模块的情况下未参与的情况下完成的,这样设置的目的在于:实现对域判别器、域适应模块的分别训练,避免一起训练域判别器和域适应模型时存在的难以收敛、结果不稳定等问题。
S120、将各目标域数据输入至域适应模型,得到域适应模型输出的各目标域数据对应的预测识别标签。
在获取到域适应模型后,可以将所有目标域数据输入至域适应模型,域适应模型的主干网络可以确定出各目标域数据的初始特征,将各目标域数据的初始特征输入至域适应模块,域适应模块可以根据各目标域数据的初始特征确定各目标域数据的目标特征,将各目标域数据的目标特征输入至预测输出模块,预测输出模块可以根据各目标域数据的目标特征确定各目标域数据对应的预测识别标签。
其中,域适应模块可以是由若干卷积层构成的卷积模块,域适应模块会对主干网络输出的初始特征进行特征空间映射处理,将目标域数据的特征映射到和源域数据的特征相近的特征空间,以达到将目标域数据的特征与源域数据的特征对齐的目的,使得基于源域数据集训练的预测输出模块的预测效果,在目标域数据集上表现良好。
通过上述方式,可以得到各目标域数据对应的预测识别标签。考虑到可能存在误检标签,因此,还可以对所有预测识别标签进行筛选,以删除误检的伪标签。
在一种具体的实施方式中,在得到域适应模型输出的各目标域数据对应的预测识别标签之后,还包括:针对每一个目标域数据对应的预测识别标签,确定预测识别标签对应的识别标签特征,判断识别标签特征是否满足预设特征筛选条件,若不满足,则将预测识别标签剔除。
其中,识别标签特征可以是与预测识别标签相关的特征,如,标签的长度、标签的大小、两个相邻标签之间的距离等。示例性的,以目标域数据为感知点云数据为例,预测识别标签为目标对象的检测框,识别标签特征可以是检测框的尺寸、检测框内包含的点云数量、两个相邻检测框之间的距离、检测框的外观形状等。
预设特征筛选条件可以是预先设置的用于过滤伪标签的条件。具体的,当一个预测识别标签对应的识别标签特征满足预设特征筛选条件时,可以确定该预测识别标签为准确标签,当一个预测识别标签对应的识别标签特征不满足预设特征筛选条件时,可以确定该预测识别标签为伪标签,需要对其进行剔除。
示例性的,沿用上例,预设特征筛选条件可以是检测框的尺寸不超过预设尺寸,或者,检测框内包含的点云数量不小于预设数量,或者,相邻的两个检测框之间的距离不小于预设距离。具体的,预设特征筛选条件可以根据目标源数据的特征进行确定,本公开对此不进行限定。
具体的,将预测识别标签剔除,可以是仅将该预测识别标签剔除,后续可以采用域适应模型继续对该预测识别标签对应的目标域数据进行识别,或人工标注该预测识别标签对应的目标域数据;或者,将预测识别标签以及与预测识别标签对应的目标源数据一并剔除,以一并丢弃该目标源数据,避免目标源数据为异常点的情况下对整个数据集的影响。
通过上述方式,实现了在对目标源数据集进行批量标注后,从中剔除不合理、错误的标签,在经过伪标签筛选剔除后,剩余的目标源数据的预测识别标签可以视为可信度较高的标签,进一步的提高了数据标注的准确性,避免了错误标注对后续数据应用的影响。
本实施例提供的数据标注方法,通过获取源域数据集以及目标域数据集所构建的域适应模型,以通过域适应模型中的主干网络、域适应模块依次确定各目标域数据的初始特征、目标特征,进而根据目标特征确定目标域数据的预测识别标签,实现了对各目标域数据的标注,适用于各新场景下的数据集,无需人为标注,提高了标注效率和标注质量,降低了标注成本。并且,通过域适应模型中的域适应模块确定目标特征,实现了通过域适应模块将源域数据和目标域数据进行特征空间对齐,无需通过主干网络进行特征空间对齐,避免了对主干网络的反复训练,进而解决了主干网络训练过程不稳定、难以收敛的问题。
并且,本实施例提供的数据标注方法,在特征层面上拉进不同场景数据之间的分布差异,不需要对数据做特定的预处理,故通过简单的数据接口就可以兼容多种类型数据,包括但不限于点云、图像、文本等,同时,可以适配分类、检测、分割等多种任务场景。相较于现有的标注方法,适用范围更广,操作更简便。
图2为本公开实施例中的一种域适应模型训练方法的流程图。该方法可以由域适应模型训练装置执行,该装置可以采用软件和/或硬件的方式实现,该装置可配置于电子设备中。如图2所示,该方法具体可以包括如下步骤:
S210、基于源域数据集以及目标域数据集确定判别模型,其中,判别模型包括主干网络、预测输出模块以及域判别器,源域数据集包括各源域数据以及各源域数据对应的预设识别标签,目标域数据集包括各目标域数据。
在本实施例中,可以采用源域数据集以及目标域数据集直接训练得到一个判别模型,即同时对主干网络、预测输出模块以及域判别器进行训练。或者,还可以先采用源域数据集训练得到预训练模型,进而在预训练模型的基础上,再增加域判别器,采用源域数据集以及目标域数据集对域判别器进行训练。
在一种具体的实施方式中,基于源域数据集以及目标域数据集确定判别模型,包括:基于源域数据集确定预训练模型,其中,预训练模型包括主干网络和预测输出模块;基于预训练模型构建判别模型,根据源域数据集以及目标域数据集对判别模型中的域判别器进行训练,得到训练后的判别模型。
即,判别模型中的主干网络和预测输出模块可以直接选取预训练模型中的主干网络和预测输出模块;判别模型中的域判别器可以是基于源域数据集以及目标域数据集训练的。
具体的,可以先通过源域数据集对预训练模型的主干网络和预测输出模块进行有监督训练,在训练完成后,根据预训练模型的主干网络和预测输出模块,以及域判别器,构建判别模型,即加载预训练模型的主干网络和预测输出模块的参数,并增加域判别器,进而通过源域数据集和目标域数据集对域判别器进行进行训练。
其中,基于源域数据集确定预训练模型,可以包括:基于主干网络确定源域数据的初始特征,基于预测输出模块以及源域数据的初始特征确定源域数据的预测识别标签,根据预测识别标签和预设识别标签计算损失;根据损失计算结果对主干网络和预测输出模块中的参数进行调整,直至损失计算结果满足收敛条件。
需要说明的是,在本实施例中,在对域判别器进行训练的过程中,可以冻结主干网络和预测输出模块的参数,仅对域判别器的参数进行调整。
其中,根据源域数据集以及目标域数据集对判别模型中的域判别器进行训练,可以包括:为各源域数据以及各目标域数据添加预设域分类标签,如,源域数据的预设域分类标签可以为1,目标域数据的预设域分类标签可以为0;基于判别模型中的主干网络,确定源域数据或目标域数据的初始特征;根据判别模型中的域判别器以及初始特征,确定域判别器输出的预测域分类标签,根据预设域分类标签和预测域分类标签计算损失,根据损失计算结果对域判别器中的参数进行调整,直至损失计算结果满足收敛条件。
通过上述实施方式,先训练出主干网络和预测输出模块,得到预训练模型,再在预训练模型的基础上设置域判别器,单独对域判别器进行训练,实现了主干网络和预测输出模块,与域判别器之间的独立训练,这样设置的好处在于:将主干网络、预测输出模块,与域判别器分开训练,可以使得每一次训练的参数优化调整范围较小,容易收敛,提高训练速度;并且,还可以避免同时训练过程不稳定的问题,提高训练精度。
需要说明的是,基于上述步骤得到的判别模型,其中的主干网络可以准确从源域数据中提取出用于确定对应预测识别标签的初始特征,其中的域判别器可以准确对数据的来源域进行判断。
示例性的,图3为本公开实施例提供的一种判别模型的训练过程示意图,其中,主干网络和预测输出模块的参数被冻结,各源域数据和各目标域数据可以经过前处理后,输入至主干网络,进而经过主干网络提取初始特征后,通过域判别器得到预测域分类标签,进而根据预测域分类标签对域判别器的参数进行调整。
S220、基于判别模型构建域适应模型,基于域适应模型中的主干网络,确定源域数据集以及目标域数据集中各数据的初始特征,并基于域适应模型中的域适应模块以及各数据的初始特征确定各数据的目标特征。
在本实施例中,在得到判别模型后,可以在判别模型的基础上,增加域适应模块,构成域适应模型,并对域适应模块单独进行训练。其中,域适应模块可以是由若干卷积层构成的卷积模块,域适应模块可以对主干网络输出的初始特征进行特征空间映射处理。
具体的,需要采用源域数据集以及目标域数据集对域适应模型中的域适应模块单独进行训练。训练过程中,需要将各源域数据以及各目标域数据输入至域适应模块中,首先,通过主干网络,可以提取出输入的各数据的初始特征;进一步的,通过域适应模块,对各数据的初始特征作特征空间映射处理,得到各数据的目标特征。
示例性的,参见图4,图4为本公开实施例提供的一种域适应模型的训练过程示意图,其中,主干网络、预测输出模块和域判别器的参数被冻结,各源域数据和各目标域数据可以经过前处理后,输入至主干网络,进而经过主干网络提取初始特征后,经过域适应模块提取目标特征。
S230、基于各源域数据的目标特征、域判别器和预测输出模块,确定各源域数据的预测域分类标签以及预测识别标签,基于各目标域数据的目标特征以及域判别器,确定各目标域数据的预测域分类标签。
具体的,在域适应模型中的域适应模块的训练过程中,进一步的,可以将各源域数据和各目标域数据的目标特征分别输入至域判别器和预测输出模块,通过域判别器,输出各源域数据和各目标域数据的预测域分类标签,通过预测输出模块,输出各源域数据的预测识别标签。
S240、基于各源域数据的预测域分类标签、各源域数据的预测识别标签以及各目标域数据的预测域分类标签,对域适应模块中的参数进行调整。
具体的,在域适应模型中的域适应模块的训练过程中,进一步的,可以根据各源域数据的预测域分类标签、各源域数据的预测识别标签以及各目标域数据的预测域分类标签,计算损失,根据损失计算结果对域适应模块中的参数进行调整。
示例性的,可以仅根据各源域数据和各目标域数据的预设域分类标签、预测域分类标签,计算损失,根据损失计算结果调整域适应模块中的参数;或者,还可以根据各源域数据和各目标域数据的预设域分类标签、预测域分类标签,计算域分类损失,同时,根据各源域数据的预设识别标签和预测识别标签,计算模型识别损失,根据域分类损失和模型识别损失调整域适应模块中的参数。
在一种具体的实施方式中,基于各源域数据的预测域分类标签、各源域数据的预测识别标签以及各目标域数据的预测域分类标签,对域适应模块中的参数进行调整,可以包括如下步骤:
步骤11、获取各源域数据、各目标域数据的预设域分类标签;
步骤12、基于各源域数据的预设域分类标签以及预测域分类标签确定第一域分类损失,基于各目标域数据的预设域分类标签以及预测域分类标签确定第二域分类损失;
步骤13、基于各源域数据的预设识别标签以及预测识别标签确定模型识别损失;
步骤14、根据第一域分类损失、第二域分类损失以及模型识别损失,对域适应模块中的参数进行调整。
在上述步骤11中,可以将各源域数据的预设域分类标签和各目标域数据的预设域分类标签设置为相同数值,如,将所有目标域数据、源域数据的预设域分类标签均设置为1。
需要说明的是,这样设置的目的在于:将基于该预设域分类标签计算出的域判别器的域分类损失,作为目标域和源域的特征空间靠齐的评价指标,根据域判别器的域分类损失对域适应模块的参数进行调整,使得域适应模块处理后的目标域特征向源域特征的特征空间靠齐。
将各源域数据的预设域分类标签和各目标域数据的预设域分类标签设置为相同数值后,可以无需在域判别器前设置梯度翻转层。与设置梯度翻转层,通过梯度翻转层将域分类损失计算的梯度乘以-1后传播的方式相比,在保证域适应模块的特征空间映射能力的同时,减轻了域适应模型的结构复杂度。
进一步的,在上述步骤12中,根据各源域数据的预设域分类标签、各源域数据的预测域分类标签,计算第一域分类损失;根据各目标域数据的预设域分类标签、各目标域数据的预测域分类标签,计算第二域分类损失。
在上述步骤13中,根据各源域数据的预设识别标签、各源域数据的预测识别标签,计算模型识别损失。其中,第一域分类损失、第二域分类损失、模型识别损失可以是交叉熵损失、L1范数损失、均方误差损失或二进制交叉熵损失等,本实施例对此不进行限定。
进一步的,在上述步骤14中,根据第一域分类损失、第二域分类损失、模型识别损失,对域适应模块中的参数进行调整。如图4所示,可以根据第一域分类损失、第二域分类损失、模型识别损失,计算反向梯度,并回传梯度对域适应模块中的参数进行更新。示例性的,可以将上述三种损失累加,根据累加的结果计算反向梯度。
上述确定目标域数据和源域数据的目标特征、根据目标特征确定预测域分类标签以及预测识别标签、计算损失、以及根据损失对域适应模块中的参数进行调整,可以视为一次迭代过程,可以重复进行迭代训练,直至域分类损失和模型识别损失收敛。
通过上述方式,实现了基于域分类损失和模型识别损失,反向传播优化域适应模块中的参数,保证了域适应模块能够不断拉进目标域数据和源域数据的特征空间,同时,还能确保经过域适应模块映射之后的特征能够保证较高质量,具备较高的模型识别精度。
需要说明的是,在本实施例中,预训练模型、域判别器以及域适应模块可以是独立进行训练的。在预训练模型训练的过程中,域判别器和域适应模块不参与;在域判别器训练的过程中,域适应模块不参与,主干网络和预测输出模块的参数冻结;在域适应模块训练的过程中,主干网络、预测输出模块和域判别器的参数均冻结。
在使用主干网络进行特征提取、特征空间映射,基于损失一并对主干网络、域判别器和预测输出模块的参数进行优化更新的方式中,由于参数优化调整涉及到整个网络的各个模块,训练过程很不稳定,很难收敛;并且,主干网络和域判别器的优化更新较难掌控,如果其中某一方的能力过多的强于对方,就会导致整个对抗***失效,达不到对齐特征的目的。
因此,为了避免上述问题,本实施例提供的方法可以通过域适应模块进行特征空间映射,主干网络负责提取与模型预测任务相关的特征即可,无需负责进行特征空间映射,避免了对主干网络的迭代训练,进而解决了主干网络训练过程不稳定、难以收敛的问题,并且,通过对域判别器和域适应模块分别进行独立训练,使得每次迭代过程中参数调整范围更小,迭代优化方向可控,训练更加稳定可靠,进而能更好的在工程中应用。
本实施例提供的域适应模型训练方法,通过源域数据集和目标域数据集得到包括主干网络、预测输出模块以及域判别器的判别模型,进而通过判别模型构建域适应模型,并对域适应模块单独进行训练,实现了对域判别器和域适应模型的分别训练,域适应模块可以实现源域数据和目标域数据的特征空间对齐,通过域适应模型可以对目标域数据进行标注,适用于各场景下的数据,无需人为标注,提高了标注效率和标注质量,降低了标注成本。并且,避免使用主干网络进行特征空间映射,进而避免了对主干网络的反复迭代训练,解决了主干网络和域判别器同时优化困难的问题,在提高训练效率的同时,还可以提高模型识别精度。
图5为本公开实施例中的另一种域适应模型训练方法的流程图。该方法在上述各实施方式的基础上,对基于源域数据集和目标与数据集训练判别模型中的域判别器的过程进行了示例性说明。如图5所示,该方法具体可以包括如下步骤:
S510、基于源域数据集确定预训练模型,其中,预训练模型包括所述主干网络和所述预测输出模块。
S520、基于预训练模型构建判别模型,其中,判别模型包括主干网络、预测输出模块以及域判别器。
S530、基于源域数据集中各源域数据,以及目标域数据集中的各目标域数据,确定各拼接数据以及各拼接数据的预设域分类标签。
其中,拼接数据可以仅包括源域数据,也可以仅包括目标域数据,还可以同时包括源域数据和目标域数据。
在本实施例中,可以从源域数据集中随机选取一个源域数据,从目标域数据集中随机选取一个目标域数据,选取的数据不会再被选取;进一步的,从当前选取的源域数据和当前选取的目标域数据中随机选取部分数据,形成拼接数据。
在一种具体的实施方式中,基于源域数据集中各源域数据,以及目标域数据集中的各目标域数据,确定各拼接数据以及各拼接数据的预设域分类标签,可以包括如下步骤:
步骤21、从源域数据集以及目标域数据集中分别获取当前源域数据以及当前目标域数据;
步骤22、对当前源域数据、当前目标域数据分别进行分割处理,得到当前源域数据对应的预设数量个第一分割结果,以及当前目标域数据对应的预设数量个第二分割结果;
步骤23、基于第一数量个第一分割结果以及第二数量个第二分割结果,确定拼接数据,其中,第一数量与第二数量之和等于预设数量;
步骤24、确定各拼接数据的预设域分类标签。
在上述步骤21中,可以对将源域数据集以及目标域数据集中的数据打乱后,从源域数据集中随机选择一个源域数据作为当前源域数据,并从目标域数据集中随机选择一个目标域数据作为当前目标域数据。
进一步的,通过上述步骤22,分别对当前源域数据、当前目标域数据进行分割处理。其中,当前源域数据和当前目标域数的分割结果的数量可以相同,等于预设数量。当然,当前源域数据和当前目标域数的分割结果也可以不同,本实施例对此不进行限定。
示例性的,图6为本公开实施例提供的一种当前源域数据和当前目标域数据的分割结果示意图。参见图6,以点云数据为例,以传感器坐标系原点为中心,将当前源域数据、当前目标域数据分割为四份。可以理解的是,图像数据也可以以该方式进行划分,文本数据、语音数据等可以按照长度进行划分。
进一步的,可以随机选择第一数量个第一分割结果,以及第二数量个第二分割结果,将第一数量个第一分割结果和第二数量个第二分割结果组合,得到拼接数据。其中,第一数量的取值范围为0~预设数量,第二数量的取值范围为0~预设数量,第一数量与第二数量的和需等于预设数量。
示例性的,参见图7,图7为本公开实施例提供的拼接数据的组成示意图,展示了拼接数据的几种组成形式;其中,1表示源域,0表示目标域。图8为本公开实施例提供的拼接数据示意图,参见图8,展示了三种拼接数据。
通过上述方式,实现了基于第一分割结果和第二分割结果的拼接数据的确定,保证了拼接数据由预设数量的分割结果构成,进而保证了拼接数据与源域数据、目标域数据的大小一致,提高了对域判别器的训练精度。
具体的,可以重复上述步骤21-步骤23,确定出多个拼接数据,进一步的,可以确定各拼接数据的预设域分类标签。其中,拼接数据的预设域分类标签可以根据拼接数据所包含的数据的来源域确定。
例如,若拼接数据由1个第一分割结果和3个第二分割结果组成,则预设域分类标签可以是1000,若拼接数据由4个第一分割结果和0个第二分割结果组成,则预设域分类标签可以是1111。
针对上述步骤24,在一种具体的实施方式中,确定各拼接数据的预设域分类标签,可以是:针对每一个拼接数据,对拼接数据进行栅格化处理,以将拼接数据转化为各个栅格包含的栅格数据;根据各栅格包含的栅格数据的来源域,确定各栅格对应的域编码;基于各栅格对应的域编码确定拼接数据的预设域分类标签。
其中,栅格数据的来源域可以是栅格数据所属的数据对应的域。具体的,可以将拼接数据转化为HxW的栅格数据;进一步的,针对每一个栅格,判断栅格中包含的栅格数据属于目标域数据或源域数据,确定该栅格对应的域编码,如属于源域数据时,域编码为1;属于目标域数据时,域编码为0,同时属于源域数据和目标域数据(即栅格数据混杂两种数据)时,域编码为忽略类别。进一步的,将所有栅格对应的域编码组合得到预设域分类标签。
通过上述方式,实现了对所有拼接数据的预设域分类标签的准确确定,进而可以实现基于拼接数据的域判别器的训练,提高了域判别器的域判别能力。
S540、根据各拼接数据以及各拼接数据的预设域分类标签,对判别模型中的域判别器进行训练。
具体的,可以将各拼接数据输入至判别模型,通过判别模型的主干网络提取各拼接数据的初始特征,进而将各拼接数据的初始特征输入至域判别器,得到域判别器输出的各拼接数据的预测域分类标签,其中,各拼接数据的预测域分类标签可以是域判别器对拼接数据的域分类的预测结果;进一步的,根据各拼接数据的预设域分类标签和预测域分类标签,计算域判别器的分类损失,进而根据分类损失对域判别器的参数进行优化更新,直至满足收敛条件。其中,计算域判别器的分类损失,可以是计算域判别器的交叉熵分类损失。
S550、基于判别模型构建域适应模型,基于域适应模型中的主干网络,确定源域数据集以及目标域数据集中各数据的初始特征,并基于域适应模型中的域适应模块以及各数据的初始特征确定各数据的目标特征。
S560、基于各源域数据的目标特征、域判别器和预测输出模块,确定各源域数据的预测域分类标签以及预测识别标签,基于各目标域数据的目标特征以及域判别器,确定各目标域数据的预测域分类标签。
S570、基于各源域数据的预测域分类标签、各源域数据的预测识别标签以及各目标域数据的预测域分类标签,对域适应模块中的参数进行调整。
本实施例提供的域适应模型训练方法,通过各源域数据和各目标域数据构建各拼接数据,并确定各拼接数据的预设域分类标签,进而采用各拼接数据以及各拼接数据的预设域分类标签,对域判别器进行训练,使得训练后的域判别器可以准确分辨出源域数据和目标域数据,与直接采用源域数据和目标域数据训练域判别器的方式相比,通过拼接数据训练出的域判别器的域分辨能力更强,鲁棒性更高,进一步的,可以提高域适应模块的特征空间对齐的能力,进而提高了域适应模型的标注精度。
图9为本公开实施例中的一种数据标注装置的结构示意图。如图9所示:该装置包括:模型获取模块910以及标签确定模块920。
模型获取模块910,用于获取基于源域数据集以及目标域数据集确定的域适应模型,其中,所述源域数据集包括各源域数据以及各源域数据对应的预设识别标签,所述目标域数据集包括各目标域数据;
标签确定模块920,用于将各所述目标域数据输入至所述域适应模型,得到所述域适应模型输出的各所述目标域数据对应的预测识别标签;
其中,所述域适应模型包括主干网络、域适应模块、域判别器以及预测输出模块,所述主干网络用于确定各所述目标域数据的初始特征,所述域适应模块用于根据各所述目标域数据的初始特征确定各所述目标域数据的目标特征,所述预测输出模块用于基于各所述目标域数据的目标特征确定各所述目标域数据对应的预测识别标签。
本公开实施例提供的数据标注装置,通过获取源域数据集以及目标域数据集所构建的域适应模型,以通过域适应模型中的主干网络、域适应模块依次确定各目标域数据的初始特征、目标特征,进而根据目标特征确定目标域数据的预测识别标签,实现了对各目标域数据的标注,适用于各新场景下的数据集,无需人为标注,提高了标注效率和标注质量,降低了标注成本。并且,通过域适应模型中的域适应模块确定目标特征,实现了通过域适应模块将源域数据和目标域数据进行特征空间对齐,无需通过主干网络进行特征空间对齐,避免了对主干网络的反复训练,进而解决了主干网络训练过程不稳定、难以收敛的问题。
在上述各实施方式的基础上,可选的,模型获取模块910具体用于:基于源域数据集以及目标域数据集确定判别模型,其中,所述判别模型包括主干网络、预测输出模块以及域判别器;基于所述判别模型确定域适应模型。
在上述各实施方式的基础上,可选的,所述数据标注装置还包括伪标签处理模块,用于针对每一个所述目标域数据对应的预测识别标签,确定所述预测识别标签对应的识别标签特征,判断所述识别标签特征是否满足预设特征筛选条件,若不满足,则将所述预测识别标签剔除。
在上述各实施方式的基础上,可选的,所述目标域数据为点云数据、文本数据、图像数据或语音数据。
本公开实施例提供的数据标注装置,可执行本公开方法实施例所提供的数据标注方法中的步骤,具备执行步骤和有益效果此处不再赘述。
图10为本公开实施例中的一种域适应模型训练装置的结构示意图。如图10 所示:该装置包括:判别模型确定模块1010、域适应模型构建模块1020、标签确定模块1030以及域适应训练模块1040。
判别模型确定模块1010,用于基于源域数据集以及目标域数据集确定判别模型,其中,所述判别模型包括主干网络、预测输出模块以及域判别器,所述源域数据集包括各源域数据以及各源域数据对应的预设识别标签,所述目标域数据集包括各目标域数据;
域适应模型构建模块1020,用于基于所述判别模型构建域适应模型,基于所述域适应模型中的主干网络,确定所述源域数据集以及所述目标域数据集中各数据的初始特征,并基于所述域适应模型中的域适应模块以及各数据的初始特征确定各数据的目标特征;
标签输出模块1030,用于基于各源域数据的目标特征、所述域判别器和所述预测输出模块,确定各源域数据的预测域分类标签以及预测识别标签,基于各目标域数据的目标特征以及所述域判别器,确定各目标域数据的预测域分类标签;
域适应训练模块1040,用于基于各源域数据的预测域分类标签、各源域数据的预测识别标签以及各目标域数据的预测域分类标签,对所述域适应模块中的参数进行调整。
本公开实施例提供的数据标注装置,通过源域数据集和目标域数据集得到包括主干网络、预测输出模块以及域判别器的判别模型,进而通过判别模型构建域适应模型,并对域适应模块单独进行训练,实现了对域判别器和域适应模型的分别训练,域适应模块可以实现源域数据和目标域数据的特征空间对齐,通过域适应模型可以对目标域数据进行标注,适用于各场景下的数据,无需人为标注,提高了标注效率和标注质量,降低了标注成本。并且,避免使用主干网络进行特征空间映射,进而避免了对主干网络的反复迭代训练,解决了主干网络和域判别器同时优化困难的问题,在提高训练效率的同时,还可以提高模型识别精度。
在上述各实施方式的基础上,可选的,判别模型确定模块1010包括预训练模型确定单元以及判别模型确定单元,其中;
预训练模型确定单元,用于基于源域数据集确定预训练模型,其中,所述预训练模型包括所述主干网络和所述预测输出模块;
判别模型确定单元,用于基于所述预训练模型构建判别模型,根据所述源域数据集以及所述目标域数据集对所述判别模型中的域判别器进行训练,得到训练后的判别模型。
在上述各实施方式的基础上,可选的,判别模型确定单元,具体用于:基于所述源域数据集中各所述源域数据,以及所述目标域数据集中的各所述目标域数据,确定各拼接数据以及各所述拼接数据的预设域分类标签;根据各所述拼接数据以及各所述拼接数据的预设域分类标签,对所述判别模型中的域判别器进行训练。
在上述各实施方式的基础上,可选的,判别模型确定单元,还用于从所述源域数据集以及所述目标域数据集中分别获取当前源域数据以及当前目标域数据;对所述当前源域数据、所述当前目标域数据分别进行分割处理,得到所述当前源域数据对应的预设数量个第一分割结果,以及所述当前目标域数据对应的预设数量个第二分割结果;基于第一数量个所述第一分割结果以及第二数量个所述第二分割结果,确定所述拼接数据,其中,所述第一数量与所述第二数量之和等于所述预设数量;确定各所述拼接数据的预设域分类标签。
在上述各实施方式的基础上,可选的,判别模型确定单元,还用于针对每一个所述拼接数据,对所述拼接数据进行栅格化处理,以将所述拼接数据转化为各个栅格包含的栅格数据;根据各所述栅格包含的栅格数据的来源域,确定各所述栅格对应的域编码;基于各所述栅格对应的域编码确定所述拼接数据的预设域分类标签。
在上述各实施方式的基础上,可选的,域适应训练模块1040,具体用于:获取各源域数据、各目标域数据的预设域分类标签;基于各源域数据的预设域分类标签以及预测域分类标签确定第一域分类损失,基于各目标域数据的预设域分类标签以及预测域分类标签确定第二域分类损失;基于各源域数据的预设识别标签以及预测识别标签确定模型识别损失;根据所述第一域分类损失、所述第二域分类损失以及所述模型识别损失,对所述域适应模块中的参数进行调整。
本公开实施例提供的域适应模型训练装置,可执行本公开方法实施例所提供的域适应模型训练方法中的步骤,具备执行步骤和有益效果此处不再赘述。
图11为本公开实施例中的一种电子设备的结构示意图。下面具体参考图11,其示出了适于用来实现本公开实施例中的电子设备1100的结构示意图。图11示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图11所示,电子设备1100可以包括处理装置(例如中央处理器、图形处理器等)1101、只读存储器(ROM)1102、随机访问存储器(RAM)1103、总线 1104、输入/输出(I/O)接口1105、输入装置1106、输出装置1107、存储装置1108 以及通信装置1109。处理装置可以根据存储在只读存储器(ROM)1102中的程序或者从存储装置1108加载到随机访问存储器(RAM)1103中的程序而执行各种适当的动作和处理以实现如本公开所述的实施例的方法。在RAM1103中,还存储有电子设备1100操作所需的各种程序和数据。处理装置1101、ROM 1102以及RAM 1103通过总线1104彼此相连。输入/输出(I/O)接口1105也连接至总线 1104。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在非暂态计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码,从而实现如上所述的数据标注方法或域适应模型训练方法。在这样的实施例中,该计算机程序可以通过通信装置1109从网络上被下载和安装,或者从存储装置1108被安装,或者从ROM1102被安装。在该计算机程序被处理装置1101执行时,执行本公开实施例的方法中限定的上述功能。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备执行上述实施例所述的方法。
可选的,当上述一个或者多个程序被该电子设备执行时,该电子设备还可以执行上述实施例所述的其他步骤。
方案1、一种数据标注方法,所述方法包括:
获取基于源域数据集以及目标域数据集确定的域适应模型,其中,所述源域数据集包括各源域数据以及各源域数据对应的预设识别标签,所述目标域数据集包括各目标域数据;
将各所述目标域数据输入至所述域适应模型,得到所述域适应模型输出的各所述目标域数据对应的预测识别标签;
其中,所述域适应模型包括主干网络、域适应模块、域判别器以及预测输出模块,所述主干网络用于确定各所述目标域数据的初始特征,所述域适应模块用于根据各所述目标域数据的初始特征确定各所述目标域数据的目标特征,所述预测输出模块用于基于各所述目标域数据的目标特征确定各所述目标域数据对应的预测识别标签。
方案2、根据方案1所述的方法,所述获取基于源域数据集以及目标域数据集确定的域适应模型,包括:
基于源域数据集以及目标域数据集确定判别模型,其中,所述判别模型包括主干网络、预测输出模块以及域判别器;
基于所述判别模型确定域适应模型。。
方案3、根据方案1所述的方法,在所述得到所述域适应模型输出的各所述目标域数据对应的预测识别标签之后,所述方法还包括:
针对每一个所述目标域数据对应的预测识别标签,确定所述预测识别标签对应的识别标签特征,判断所述识别标签特征是否满足预设特征筛选条件,若不满足,则将所述预测识别标签剔除。。
方案4、根据方案1所述的方法,所述目标域数据为点云数据、文本数据、图像数据或语音数据。
方案5、一种域适应模型训练方法,所述方法包括:
基于源域数据集以及目标域数据集确定判别模型,其中,所述判别模型包括主干网络、预测输出模块以及域判别器,所述源域数据集包括各源域数据以及各源域数据对应的预设识别标签,所述目标域数据集包括各目标域数据;
基于所述判别模型构建域适应模型,基于所述域适应模型中的主干网络,确定所述源域数据集以及所述目标域数据集中各数据的初始特征,并基于所述域适应模型中的域适应模块以及各数据的初始特征确定各数据的目标特征;
基于各源域数据的目标特征、所述域判别器和所述预测输出模块,确定各源域数据的预测域分类标签以及预测识别标签,基于各目标域数据的目标特征以及所述域判别器,确定各目标域数据的预测域分类标签;
基于各源域数据的预测域分类标签、各源域数据的预测识别标签以及各目标域数据的预测域分类标签,对所述域适应模块中的参数进行调整。
方案6、根据方案5所述的方法,所述基于源域数据集以及目标域数据集确定判别模型,包括:
基于源域数据集确定预训练模型,其中,所述预训练模型包括所述主干网络和所述预测输出模块;
基于所述预训练模型构建判别模型,根据所述源域数据集以及所述目标域数据集对所述判别模型中的域判别器进行训练,得到训练后的判别模型。
方案7、根据方案6所述的方法,所述根据所述源域数据集以及所述目标域数据集对所述判别模型中的域判别器进行训练,包括:
基于所述源域数据集中各所述源域数据,以及所述目标域数据集中的各所述目标域数据,确定各拼接数据以及各所述拼接数据的预设域分类标签;
根据各所述拼接数据以及各所述拼接数据的预设域分类标签,对所述判别模型中的域判别器进行训练。
方案8、根据方案7所述的方法,所述基于所述源域数据集中各所述源域数据,以及所述目标域数据集中的各所述目标域数据,确定各拼接数据以及各所述拼接数据的预设域分类标签,包括:
从所述源域数据集以及所述目标域数据集中分别获取当前源域数据以及当前目标域数据;
对所述当前源域数据、所述当前目标域数据分别进行分割处理,得到所述当前源域数据对应的预设数量个第一分割结果,以及所述当前目标域数据对应的预设数量个第二分割结果;
基于第一数量个所述第一分割结果以及第二数量个所述第二分割结果,确定所述拼接数据,其中,所述第一数量与所述第二数量之和等于所述预设数量;
确定各所述拼接数据的预设域分类标签。
方案9、根据方案8所述的方法,所述确定各所述拼接数据的预设域分类标签,包括:
针对每一个所述拼接数据,对所述拼接数据进行栅格化处理,以将所述拼接数据转化为各个栅格包含的栅格数据;
根据各所述栅格包含的栅格数据的来源域,确定各所述栅格对应的域编码;
基于各所述栅格对应的域编码确定所述拼接数据的预设域分类标签。。
方案10、根据方案5所述的方法,所述基于各源域数据的预测域分类标签、各源域数据的预测识别标签以及各目标域数据的预测域分类标签,对所述域适应模块中的参数进行调整,包括:
获取各源域数据、各目标域数据的预设域分类标签;
基于各源域数据的预设域分类标签以及预测域分类标签确定第一域分类损失,基于各目标域数据的预设域分类标签以及预测域分类标签确定第二域分类损失;
基于各源域数据的预设识别标签以及预测识别标签确定模型识别损失;
根据所述第一域分类损失、所述第二域分类损失以及所述模型识别损失,对所述域适应模块中的参数进行调整。
方案11、一种数据标注装置,包括:
模型获取模块,用于获取基于源域数据集以及目标域数据集确定的域适应模型,其中,所述源域数据集包括各源域数据以及各源域数据对应的预设识别标签,所述目标域数据集包括各目标域数据;
标签确定模块,用于将各所述目标域数据输入至所述域适应模型,得到所述域适应模型输出的各所述目标域数据对应的预测识别标签;
其中,所述域适应模型包括主干网络、域适应模块、域判别器以及预测输出模块,所述主干网络用于确定各所述目标域数据的初始特征,所述域适应模块用于根据各所述目标域数据的初始特征确定各所述目标域数据的目标特征,所述预测输出模块用于基于各所述目标域数据的目标特征确定各所述目标域数据对应的预测识别标签。
方案12、一种域适应模型训练装置,包括:
判别模型确定模块,用于基于源域数据集以及目标域数据集确定判别模型,其中,所述判别模型包括主干网络、预测输出模块以及域判别器,所述源域数据集包括各源域数据以及各源域数据对应的预设识别标签,所述目标域数据集包括各目标域数据;
域适应模型构建模块,用于基于所述判别模型构建域适应模型,基于所述域适应模型中的主干网络,确定所述源域数据集以及所述目标域数据集中各数据的初始特征,并基于所述域适应模型中的域适应模块以及各数据的初始特征确定各数据的目标特征;
标签输出模块,用于基于各源域数据的目标特征、所述域判别器和所述预测输出模块,确定各源域数据的预测域分类标签以及预测识别标签,基于各目标域数据的目标特征以及所述域判别器,确定各目标域数据的预测域分类标签;
域适应训练模块,用于基于各源域数据的预测域分类标签、各源域数据的预测识别标签以及各目标域数据的预测域分类标签,对所述域适应模块中的参数进行调整。
方案13、一种电子设备,所述电子设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如方案1-4或5-10中任一项所述的方法。
方案14、一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如方案1-4或5-10中任一项所述的方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种数据标注方法,其特征在于,所述方法包括:
获取基于源域数据集以及目标域数据集确定的域适应模型,其中,所述源域数据集包括各源域数据以及各源域数据对应的预设识别标签,所述目标域数据集包括各目标域数据;
将各所述目标域数据输入至所述域适应模型,得到所述域适应模型输出的各所述目标域数据对应的预测识别标签;
其中,所述域适应模型包括主干网络、域适应模块、域判别器以及预测输出模块,所述主干网络用于确定各所述目标域数据的初始特征,所述域适应模块用于根据各所述目标域数据的初始特征确定各所述目标域数据的目标特征,所述预测输出模块用于基于各所述目标域数据的目标特征确定各所述目标域数据对应的预测识别标签。
2.一种域适应模型训练方法,其特征在于,所述方法包括:
基于源域数据集以及目标域数据集确定判别模型,其中,所述判别模型包括主干网络、预测输出模块以及域判别器,所述源域数据集包括各源域数据以及各源域数据对应的预设识别标签,所述目标域数据集包括各目标域数据;
基于所述判别模型构建域适应模型,基于所述域适应模型中的主干网络,确定所述源域数据集以及所述目标域数据集中各数据的初始特征,并基于所述域适应模型中的域适应模块以及各数据的初始特征确定各数据的目标特征;
基于各源域数据的目标特征、所述域判别器和所述预测输出模块,确定各源域数据的预测域分类标签以及预测识别标签,基于各目标域数据的目标特征以及所述域判别器,确定各目标域数据的预测域分类标签;
基于各源域数据的预测域分类标签、各源域数据的预测识别标签以及各目标域数据的预测域分类标签,对所述域适应模块中的参数进行调整。
3.根据权利要求2所述的方法,其特征在于,所述基于源域数据集以及目标域数据集确定判别模型,包括:
基于源域数据集确定预训练模型,其中,所述预训练模型包括所述主干网络和所述预测输出模块;
基于所述预训练模型构建判别模型,根据所述源域数据集以及所述目标域数据集对所述判别模型中的域判别器进行训练,得到训练后的判别模型。
4.根据权利要求3所述的方法,其特征在于,所述根据所述源域数据集以及所述目标域数据集对所述判别模型中的域判别器进行训练,包括:
基于所述源域数据集中各所述源域数据,以及所述目标域数据集中的各所述目标域数据,确定各拼接数据以及各所述拼接数据的预设域分类标签;
根据各所述拼接数据以及各所述拼接数据的预设域分类标签,对所述判别模型中的域判别器进行训练。
5.根据权利要求4所述的方法,其特征在于,所述基于所述源域数据集中各所述源域数据,以及所述目标域数据集中的各所述目标域数据,确定各拼接数据以及各所述拼接数据的预设域分类标签,包括:
从所述源域数据集以及所述目标域数据集中分别获取当前源域数据以及当前目标域数据;
对所述当前源域数据、所述当前目标域数据分别进行分割处理,得到所述当前源域数据对应的预设数量个第一分割结果,以及所述当前目标域数据对应的预设数量个第二分割结果;
基于第一数量个所述第一分割结果以及第二数量个所述第二分割结果,确定所述拼接数据,其中,所述第一数量与所述第二数量之和等于所述预设数量;
确定各所述拼接数据的预设域分类标签。
6.根据权利要求5所述的方法,其特征在于,所述确定各所述拼接数据的预设域分类标签,包括:
针对每一个所述拼接数据,对所述拼接数据进行栅格化处理,以将所述拼接数据转化为各个栅格包含的栅格数据;
根据各所述栅格包含的栅格数据的来源域,确定各所述栅格对应的域编码;
基于各所述栅格对应的域编码确定所述拼接数据的预设域分类标签。
7.一种数据标注装置,其特征在于,包括:
模型获取模块,用于获取基于源域数据集以及目标域数据集确定的域适应模型,其中,所述源域数据集包括各源域数据以及各源域数据对应的预设识别标签,所述目标域数据集包括各目标域数据;
标签确定模块,用于将各所述目标域数据输入至所述域适应模型,得到所述域适应模型输出的各所述目标域数据对应的预测识别标签;
其中,所述域适应模型包括主干网络、域适应模块、域判别器以及预测输出模块,所述主干网络用于确定各所述目标域数据的初始特征,所述域适应模块用于根据各所述目标域数据的初始特征确定各所述目标域数据的目标特征,所述预测输出模块用于基于各所述目标域数据的目标特征确定各所述目标域数据对应的预测识别标签。
8.一种域适应模型训练装置,其特征在于,包括:
判别模型确定模块,用于基于源域数据集以及目标域数据集确定判别模型,其中,所述判别模型包括主干网络、预测输出模块以及域判别器,所述源域数据集包括各源域数据以及各源域数据对应的预设识别标签,所述目标域数据集包括各目标域数据;
域适应模型构建模块,用于基于所述判别模型构建域适应模型,基于所述域适应模型中的主干网络,确定所述源域数据集以及所述目标域数据集中各数据的初始特征,并基于所述域适应模型中的域适应模块以及各数据的初始特征确定各数据的目标特征;
标签输出模块,用于基于各源域数据的目标特征、所述域判别器和所述预测输出模块,确定各源域数据的预测域分类标签以及预测识别标签,基于各目标域数据的目标特征以及所述域判别器,确定各目标域数据的预测域分类标签;
域适应训练模块,用于基于各源域数据的预测域分类标签、各源域数据的预测识别标签以及各目标域数据的预测域分类标签,对所述域适应模块中的参数进行调整。
9.一种电子设备,其特征在于,所述电子设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1或2-6中任一项所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1或2-6中任一项所述的方法。
CN202211404950.1A 2022-11-10 2022-11-10 数据标注和域适应模型训练方法、装置、设备及介质 Pending CN115661904A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211404950.1A CN115661904A (zh) 2022-11-10 2022-11-10 数据标注和域适应模型训练方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211404950.1A CN115661904A (zh) 2022-11-10 2022-11-10 数据标注和域适应模型训练方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN115661904A true CN115661904A (zh) 2023-01-31

Family

ID=85020825

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211404950.1A Pending CN115661904A (zh) 2022-11-10 2022-11-10 数据标注和域适应模型训练方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN115661904A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116403058A (zh) * 2023-06-09 2023-07-07 昆明理工大学 一种遥感跨场景多光谱激光雷达点云分类方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116403058A (zh) * 2023-06-09 2023-07-07 昆明理工大学 一种遥感跨场景多光谱激光雷达点云分类方法
CN116403058B (zh) * 2023-06-09 2023-09-12 昆明理工大学 一种遥感跨场景多光谱激光雷达点云分类方法

Similar Documents

Publication Publication Date Title
CN112132197B (zh) 模型训练、图像处理方法、装置、计算机设备和存储介质
CN110379020B (zh) 一种基于生成对抗网络的激光点云上色方法和装置
CN110827312B (zh) 一种基于协同视觉注意力神经网络的学习方法
CN112036514B (zh) 一种图像分类方法、装置、服务器及计算机可读存储介质
CN112102424A (zh) 车牌图像生成模型构建方法、生成方法及装置
US20220301334A1 (en) Table generating method and apparatus, electronic device, storage medium and product
CN112818951A (zh) 一种票证识别的方法
CN112668638A (zh) 一种图像美学质量评估和语义识别联合分类方法及***
CN113411550B (zh) 视频上色方法、装置、设备及存储介质
CN114329034A (zh) 基于细粒度语义特征差异的图像文本匹配判别方法及***
CN111461121A (zh) 一种基于yolov3网络的电表示数识别方法
CN114820871A (zh) 字体生成方法、模型的训练方法、装置、设备和介质
CN114037003A (zh) 问答模型的训练方法、装置及电子设备
CN114972847A (zh) 图像处理方法及装置
CN116994021A (zh) 图像检测方法、装置、计算机可读介质及电子设备
CN115661904A (zh) 数据标注和域适应模型训练方法、装置、设备及介质
CN117152459A (zh) 图像检测方法、装置、计算机可读介质及电子设备
CN114842524A (zh) 一种基于不规则显著性像素簇的人脸鉴伪方法
CN114120413A (zh) 模型训练方法、图像合成方法、装置、设备及程序产品
CN110717068A (zh) 一种基于深度学习的视频检索方法
CN117009577A (zh) 一种视频数据处理方法、装置、设备及可读存储介质
CN113378723A (zh) 一种基于深度残差网络的输变电线路隐患自动安全识别***
CN114639132A (zh) 人脸识别场景下的特征提取模型处理方法、装置、设备
CN116311275B (zh) 一种基于seq2seq语言模型的文字识别方法及***
CN114529765B (zh) 一种数据处理方法、设备以及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination