CN114863209A - 类别比例引导的无监督领域适应建模方法、***、设备及介质 - Google Patents
类别比例引导的无监督领域适应建模方法、***、设备及介质 Download PDFInfo
- Publication number
- CN114863209A CN114863209A CN202210425027.XA CN202210425027A CN114863209A CN 114863209 A CN114863209 A CN 114863209A CN 202210425027 A CN202210425027 A CN 202210425027A CN 114863209 A CN114863209 A CN 114863209A
- Authority
- CN
- China
- Prior art keywords
- domain
- sample
- target domain
- training
- guided
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 17
- 239000011159 matrix material Substances 0.000 claims abstract description 41
- 238000012549 training Methods 0.000 claims abstract description 41
- 230000009466 transformation Effects 0.000 claims abstract description 24
- 238000013507 mapping Methods 0.000 claims abstract description 19
- 238000002360 preparation method Methods 0.000 claims abstract description 7
- 238000005457 optimization Methods 0.000 claims description 8
- 238000011478 gradient descent method Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 4
- 238000003860 storage Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 description 14
- 230000006978 adaptation Effects 0.000 description 7
- 208000035126 Facies Diseases 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 2
- 230000017105 transposition Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005251 gamma ray Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
- Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Multimedia (AREA)
- Computational Mathematics (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Algebra (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
Description
技术领域
本申请涉及适应建模技术领域,尤其涉及一种类别比例引导的无监督领域适应建模方法、***、设备及介质。
背景技术
机器学习可以用于解决复杂未知模型的建模问题,在很多领域得到了广泛的应用。由于建模是数据驱动的,因此模型准确度与数据质量紧密相关。现实中往往无法获得所有的数据,所以训练数据和真实场景产生的数据具有较大的概率分布偏差,容易导致模型精度下降甚至失效的问题。例如,在地球物理测井解释中,新井的测井数据与已解释井的测井数据分布偏差较大,为机器学习在测井解释模型建立的应用带来了较大的挑战。对于分布差异问题,可以采用领域适应方法来解决,对于目标域没有任何标签的场景,则限定到无监督领域适应。领域适应方法主要包括:基于样本加权、基于分布对齐和基于模型调整的领域适应方法。其中样本加权主要用于较小的分布偏差场景;分布对齐依赖于目标域伪标签的质量,而且多数针对的是边缘分布和条件分布差异的场景;模型调整具有最广阔的使用度,但是往往需要目标域存在一定的标签,难以胜任目标域无标签的场景。综上,已有的技术不适用先验分布差异的场景。
发明内容
本申请的主要目的在于提供一种类别比例引导的无监督领域适应建模方法、装置、设备及介质,旨在解决分类任务中源域和目标域的边缘分布和先验分布均发生变化的领域适应技术问题。
为实现上述目的,本申请提供一种类别比例引导的无监督领域适应建模方法,包括以下步骤:
训练目标域分类:将目标域样本进行傅里叶特征变换,其中傅里叶特征变换的参数与随机种子与源域中的RFF保持一致,得到目标域映射样本矩阵Ht,目标域分类器描述为ft(x)=φ(x)Bt,进而得到最优的源域输出权重矩阵
优选的,所述目标域分类器ft(x)=φ(x)Bt采用梯度下降法进行训练,即:
本申请还涉及一种类别比例引导的无监督领域适应建模***,包括:
训练目标域分类器:将目标域样本进行傅里叶特征变换,得到目标域映射样本矩阵Ht,目标域分类器描述为ft(x)=φ(x)Bt;
本申请还涉及一种类别比例引导的无监督领域适应建模设备,所述电子设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述的一种类别比例引导的无监督领域适应建模方法的步骤。
本申请还涉及一种计算机可读存储介质,所述计算机可读存储介质上存储有实现类别比例引导的无监督领域适应建模方法的程序,所述实现类别比例引导的无监督领域适应建模方法的程序被处理器执行以实现上述类别比例引导的无监督领域适应建模方法的步骤。
本申请相对于现有技术,能够有效应对分类任务中源域和目标域的边缘分布和先验分布均发生变化的领域适应技术问题,同时具有非线性拟合能力强、训练速度快、模型准确度高的优点。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请类别比例引导的无监督领域适应建模方法流程示意图。
本申请目的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例,均属于本发明保护的范围。
实施例1
本申请实施例提供一种类别比例引导的无监督领域适应建模方法,参照图1,包括:
步骤一、数据准备与初始化
步骤二、训练源域分类器
将源域样本进行随机傅里叶特征(Random Fourier Features,RFF)变换,得到源域映射样本矩阵k为映射后样本维度,源域分类器可描述为fs(x)=φ(x)Bs,为映射函数,为再生核希尔伯特空间,Bs为源域输出权重矩阵,通过求解以下优化问题求解即:
步骤三、训练目标域分类器
将目标域样本进行RFF变换,其中RFF变换的参数与随机种子与源域中的RFF保持一致,即源域和目标域的特征变换方式完全一致,得到目标域映射样本矩阵Ht,目标域分类器可描述为ft(x)=φ(x)Bt,Bt为源域输出权重矩阵,通过求解以下优化问题求解即:
进一步的,所述目标域分类器ft(x)=φ(x)Bt采用梯度下降法进行训练,即:
步骤四、输出目标域分类器
实施例2
本实施例以地球物理测井解释为例进行说明:例如未解释井的沉积相为深湖相,往往发育大段的泥岩,设分类目标为泥岩和砂岩,步骤如下:
步骤一、数据准备与初始化
采集某一深度的地球物理测井曲线(如声波测井曲线、伽马射线测井曲线和自然电位测井曲线)组成测井样本d表示使用的测井种类总数(即特征维度),样本对应的标签为 表示实数域,标签采用独热编码,标签的物理意义可为泥岩和砂岩,c为类别总数;
对于已解释井,可以得到有标签的源域,如果沿深度有ns个深度点的测井值,则收集的源域样本有ns个,且每个样本均有标签,则源域样例集合为 为源域第i个样本,为对应的标签;未解释井,即为无标签的目标域,需要进行预测,如果沿深度有nt个深度点的测井值,则收集的目标域样本有nt个,但是没有任何标签,目标域样本集合为 为目标域的第i个样本;
人工设定训练平衡系数γ1,η1,η2>0,人工设定比例矩阵Ξ=diag(p),为目标域类别比例向量;例如未解释井的沉积相为深湖相,往往发育大段的泥岩,设分类目标为泥岩和砂岩,则可设置如果未解释井的沉积相为滨浅湖相,往往发育大段的砂岩或者泥岩砂岩交替出现,则可设置具体设置根据地质学家实际经验为准。
步骤二、训练源域分类器
将源域样本进行随机傅里叶特征(Random Fourier Features,RFF)变换,得到源域映射样本矩阵k为映射后样本维度,源域分类器可描述为fs(x)=φ(x)BS,为映射函数,为再生核希尔伯特空间,BS为源域输出权重矩阵,通过求解以下优化问题求解即:
步骤三、训练目标域分类器
将目标域样本进行RFF变换,其中RFF变换的参数与随机种子与源域中的RFF保持一致,即源域和目标域的特征变换方式完全一致,得到目标域映射样本矩阵Ht,目标域分类器可描述为ft(x)=φ(x)Bt,Bt为源域输出权重矩阵,通过求解以下优化问题求解即:
进一步的,所述目标域分类器ft(x)=φ(x)Bt采用梯度下降法进行训练,即:
步骤四、输出目标域分类器
下面给出上述技术文档中的进一步说明:
本发明涉及的随机傅里叶特征变换见论文Rahimi,Ali,and Benjamin Recht.“Random features for large-scale kernel machines.”Advances in neuralinformation processing systems 20(2007),具体可以采用算法1中涉及的特征变换方法。
图拉普拉斯矩阵构造涉及的样本相似性可以采用欧式距离,并且需要对图拉普拉斯矩阵进行归一化处理。
以上仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利处理范围。
Claims (8)
7.一种类别比例引导的无监督领域适应建模设备,其特征在于,所述电子设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1至5中任一项所述的一种类别比例引导的无监督领域适应建模方法的步骤。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有实现类别比例引导的无监督领域适应建模方法的程序,所述实现类别比例引导的无监督领域适应建模方法的程序被处理器执行以实现如权利要求1至5中任一项所述类别比例引导的无监督领域适应建模方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210425027.XA CN114863209B (zh) | 2022-04-21 | 2022-04-21 | 类别比例引导的无监督领域适应建模方法、***、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210425027.XA CN114863209B (zh) | 2022-04-21 | 2022-04-21 | 类别比例引导的无监督领域适应建模方法、***、设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114863209A true CN114863209A (zh) | 2022-08-05 |
CN114863209B CN114863209B (zh) | 2023-10-20 |
Family
ID=82632471
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210425027.XA Active CN114863209B (zh) | 2022-04-21 | 2022-04-21 | 类别比例引导的无监督领域适应建模方法、***、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114863209B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116167288A (zh) * | 2023-04-19 | 2023-05-26 | 中国科学技术大学 | 一种ua2ft半监督迁移学习建模方法、介质及设备 |
CN117173350A (zh) * | 2023-08-09 | 2023-12-05 | 中国科学技术大学 | 基于主动领域适应学习的地质建模方法、***及介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107490810A (zh) * | 2017-08-17 | 2017-12-19 | 中国地质大学(北京) | 基于风场、物源、盆地***的储集砂体预测方法和装置 |
US20180204111A1 (en) * | 2013-02-28 | 2018-07-19 | Z Advanced Computing, Inc. | System and Method for Extremely Efficient Image and Pattern Recognition and Artificial Intelligence Platform |
CN113780346A (zh) * | 2021-08-06 | 2021-12-10 | 中国科学技术大学 | 一种先验约束分类器调整方法、***及可读存储介质 |
CN113869451A (zh) * | 2021-10-12 | 2021-12-31 | 中国民航大学 | 一种基于改进jgsa算法的变工况下滚动轴承故障诊断方法 |
CN114358123A (zh) * | 2021-12-03 | 2022-04-15 | 华南理工大学 | 一种基于深度对抗迁移网络的广义开放集故障诊断方法 |
-
2022
- 2022-04-21 CN CN202210425027.XA patent/CN114863209B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180204111A1 (en) * | 2013-02-28 | 2018-07-19 | Z Advanced Computing, Inc. | System and Method for Extremely Efficient Image and Pattern Recognition and Artificial Intelligence Platform |
CN107490810A (zh) * | 2017-08-17 | 2017-12-19 | 中国地质大学(北京) | 基于风场、物源、盆地***的储集砂体预测方法和装置 |
CN113780346A (zh) * | 2021-08-06 | 2021-12-10 | 中国科学技术大学 | 一种先验约束分类器调整方法、***及可读存储介质 |
CN113869451A (zh) * | 2021-10-12 | 2021-12-31 | 中国民航大学 | 一种基于改进jgsa算法的变工况下滚动轴承故障诊断方法 |
CN114358123A (zh) * | 2021-12-03 | 2022-04-15 | 华南理工大学 | 一种基于深度对抗迁移网络的广义开放集故障诊断方法 |
Non-Patent Citations (3)
Title |
---|
JOGENDRA NATH KUNDU等: "Generalize then Adapt: Source-Free Domain Adaptive Semantic Segmentation", 《ARXIV》, pages 1 - 21 * |
LONGXIANG SUN等: "Cross-Well Lithology Identification Based on Wavelet Transform and Adversarial Learning", 《ENERGIES》, vol. 16, no. 3, pages 1 - 17 * |
WENJUN LV 等: "LogRegX: An Explainable Regression Network for Cross-Well Geophysical Logs Generation", 《IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT》, vol. 72, pages 1 - 11 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116167288A (zh) * | 2023-04-19 | 2023-05-26 | 中国科学技术大学 | 一种ua2ft半监督迁移学习建模方法、介质及设备 |
CN117173350A (zh) * | 2023-08-09 | 2023-12-05 | 中国科学技术大学 | 基于主动领域适应学习的地质建模方法、***及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114863209B (zh) | 2023-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhu et al. | Intelligent logging lithological interpretation with convolution neural networks | |
US20180247156A1 (en) | Machine learning systems and methods for document matching | |
EP3690714A1 (en) | Method for acquiring sample images for inspecting label among auto-labeled images to be used for learning of neural network and sample image acquiring device using the same | |
CN110516095B (zh) | 基于语义迁移的弱监督深度哈希社交图像检索方法和*** | |
EP3690741A2 (en) | Method for automatically evaluating labeling reliability of training images for use in deep learning network to analyze images, and reliability-evaluating device using the same | |
CN104298999B (zh) | 基于递归自动编码的高光谱特征学习方法 | |
CN113592786B (zh) | 一种基于深度学习的海洋中尺度涡检测方法 | |
Li et al. | IncepTCN: A new deep temporal convolutional network combined with dictionary learning for strong cultural noise elimination of controlled-source electromagnetic data | |
CN111598167B (zh) | 基于图学习的小样本图像识别方法及*** | |
CN114595732B (zh) | 基于深度聚类的雷达辐射源分选方法 | |
Kim et al. | Label-preserving data augmentation for mobile sensor data | |
Nasim et al. | Seismic facies analysis: a deep domain adaptation approach | |
CN108734199A (zh) | 基于分段深度特征及低秩表示的高光谱图像鲁棒分类方法 | |
US20230306559A1 (en) | Point cloud denoising method based on multi-level attention perception | |
CN104809471A (zh) | 一种基于空间光谱信息的高光谱图像残差融合分类方法 | |
Wang et al. | Seismic stratum segmentation using an encoder–decoder convolutional neural network | |
CN113780346B (zh) | 一种先验约束分类器调整方法、***及可读存储介质 | |
Grönquist et al. | Predicting weather uncertainty with deep convnets | |
Zhou et al. | MSAR‐DefogNet: Lightweight cloud removal network for high resolution remote sensing images based on multi scale convolution | |
CN114863209B (zh) | 类别比例引导的无监督领域适应建模方法、***、设备及介质 | |
CN115019132A (zh) | 一种用于复杂背景船舶的多目标识别方法 | |
Kaur et al. | Deep-learning-based 3D fault detection for carbon capture and storage | |
Naprstek et al. | Convolutional neural networks applied to the interpretation of lineaments in aeromagnetic data | |
CN112766381A (zh) | 有限样本下属性引导的sar图像生成方法 | |
CN116758432A (zh) | 基于改进Resnet神经网络的自然地质灾害分类识别方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |