CN112163374B - 一种多模态数据中间层融合全连接地质图预测模型的处理方法 - Google Patents
一种多模态数据中间层融合全连接地质图预测模型的处理方法 Download PDFInfo
- Publication number
- CN112163374B CN112163374B CN202011029251.4A CN202011029251A CN112163374B CN 112163374 B CN112163374 B CN 112163374B CN 202011029251 A CN202011029251 A CN 202011029251A CN 112163374 B CN112163374 B CN 112163374B
- Authority
- CN
- China
- Prior art keywords
- data
- remote sensing
- full
- matrix
- basic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 36
- 238000003672 processing method Methods 0.000 title claims abstract description 9
- 238000012549 training Methods 0.000 claims abstract description 51
- 238000005070 sampling Methods 0.000 claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 35
- 238000000034 method Methods 0.000 claims abstract description 29
- 238000013528 artificial neural network Methods 0.000 claims abstract description 22
- 238000010606 normalization Methods 0.000 claims abstract description 18
- 230000000295 complement effect Effects 0.000 claims abstract description 10
- 238000013500 data storage Methods 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 45
- 238000000605 extraction Methods 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 11
- 229910052729 chemical element Inorganic materials 0.000 claims description 5
- 230000001502 supplementing effect Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 description 18
- 230000004913 activation Effects 0.000 description 8
- 238000013507 mapping Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013075 data extraction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000009469 supplementation Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Remote Sensing (AREA)
- Medical Informatics (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Geophysics And Detection Of Objects (AREA)
Abstract
本申请公开了一种多模态数据中间层融合全连接地质图预测模型的处理方法，包括：对证据数据进行补值和归一化处理；根据训练采样点坐标从处理后的证据数据中读取数据信息；获取训练采样点基础数据与遥感数据；判断所述数据是否一次性读入内存，如果是，直接输入模型训练，如果否，从数据存储路径分组输入模型训练。本发明的优点是：不但把原始数据转化为高维特征表达，还将基础数据特征与遥感数据特征进行特征融合，并利用全连接神经网络最大化的获取基础数据和遥感数据在高维空间上的共性特征，大大提高了提高预测对象的能力、精度，使填图单位岩性在空间的分布形态和展布方向、分布位置、地质对象之间的相邻关系可以以准确性最大化体现和表达。
Description
技术领域
本发明涉及一种多模态数据中间层融合全连接地质图预测模型的处理方法。
背景技术
地质证据数据具有多专业(涉及地物化遥)、多模态(矢量数据、栅格数据或空间数据和属性数据)、多尺度(最高精度5米，一般精度为10-2000米之间)，可反映地表及一定深度下(去部分掩盖层)地质特征等特点。过去通常处理的方法基本都是按专业按同一数据类型进行处理，数据的融合很难摆脱“多张皮”的困局，大大的限制了数据在深层次方面的挖掘。
发明内容
本发明的目的在于克服上述不足，提供一种多模态数据中间层融合全连接地质图预测模型的处理方法，其解决地质证据数据如何深层挖掘的技术问题。
为了实现上述目的，本发明采用的技术方案为：一种多模态数据中间层融合全连接地质图预测模型的处理方法，其特征在于，包括：
对证据数据进行补值和归一化处理；
根据训练采样点坐标从处理后的证据数据中读取数据信息；
获取训练采样点基础数据与遥感数据；
判断所述数据是否一次性读入内存，如果是，直接输入模型训练，如果否，从数据存储路径分组输入模型训练。
进一步地，所述对证据数据进行补值，包括：
读取遥感数据为数据矩阵，记为A；
创建与基础数据处理范围一致的数据矩阵，矩阵内数据初始值均为0，该数据矩阵记为B；
从A的左下角开始逐行读取与基础数据处理范围一致的数据并将数据存储至B中相应的位置；
若B中矩阵上半部分有数据为0，则将该数据替换为其所在列的第一个不为0的值，若B中矩阵下半部分有数据为0，则将该数据替换为其所在列的最后一个不为0的值；
若B中矩阵左半部分有数据为0，则将该数据替换为其所在行的第一个不为0的值，若B中矩阵右半部分有数据为0，则将该数据替换为其所在行的最后一个不为0的值；
B为补值过后的证据数据。
进一步地，所述归一化处理采用算法：
其中，X表示基础数据或遥感数据在每个通道或者每类化学元素上读取到的数据，X_MIN表示数据矩阵X中的最小值，X_MAX表示数据矩阵X中的最大值。
进一步地，所述模型包括：
输入层：将训练采样点的基础数据和遥感数据同时通过输入层输入到全连接混合输入模型；
基础数据特征提取层：该特征提取层由三个全连接层构成，通过全连接神经网络进行全连接操作，利用权重值来提取网络特征即基础数据特征，将原始数据转化为高维特征表达；
遥感数据特征提取层：该特征提取层由三个全连接层构成，通过全连接神经网络进行全连接操作，利用权重值来提取网络特征即遥感数据特征，将原始数据转化为高维特征表达；
融合层：将基础数据特征与遥感数据特征进行特征融合；
全连接层：利用全连接神经网络获取基础数据和遥感数据在高维空间上的共性特征；
输出层：输出采样点预测为各类的概率值。
本发明的有益效果为：
实现简单，不但把原始数据转化为高维特征表达，还将基础数据特征与遥感数据特征进行特征融合，并利用全连接神经网络最大化的获取基础数据和遥感数据在高维空间上的共性特征，大大提高了提高预测对象的能力、精度，使地质图最基本的地质对象---填图单位岩性在空间的分布形态和展布方向、分布位置、地质对象之间的相邻关系等指标可以以准确性最大化体现和表达。这项技术突破后，将彻底变革现有地质调查工作模式，创新为地质知识图谱+地质大数据+深度学习算法为一体的新型地质填图模式，实现最优地质路线+地质图预测循环递进推进的填图模式，形成细粒度的预测地质图。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是本发明的多模态数据中间层融合全连接地质图预测模型的处理方法的流程图；
图2是图1所示方法的实施例示意图；
图3是不同数据处理范围实施例示意图；
图4为证据数据归一化的流程图；
图5为多模态数据中间层融合全连接地质图预测模型网络结构图；
具体实施方式
如在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可理解，硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”为一开放式用语，故应解释成“包含但不限定于”。“大致”是指在可接收的误差范围内，本领域技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果。说明书后续描述为实施本申请的较佳实施方式，然所述描述乃以说明本申请的一般原则为目的，并非用以限定本申请的范围。本申请的保护范围当视所附权利要求所界定者为准。
请参照图1至图5，本发明的一种多模态数据中间层融合全连接地质图预测模型的处理方法，包括：
步骤S101，对证据数据进行补值和归一化处理；
步骤S102，根据训练采样点坐标从处理后的证据数据中读取数据信息；
步骤S103，获取训练采样点基础数据与遥感数据；
步骤S104，判断所述数据是否一次性读入内存，如果是，直接输入模型训练，如果否，从数据存储路径分组输入模型训练。
在一个实施例中，所述对证据数据进行补值，包括：
读取遥感数据为数据矩阵，记为A；
创建与基础数据处理范围一致的数据矩阵，矩阵内数据初始值均为0，该数据矩阵记为B；
从A的左下角开始逐行读取与基础数据处理范围一致的数据并将数据存储至B中相应的位置；
若B中矩阵上半部分有数据为0，则将该数据替换为其所在列的第一个不为0的值，若B中矩阵下半部分有数据为0，则将该数据替换为其所在列的最后一个不为0的值；
若B中矩阵左半部分有数据为0，则将该数据替换为其所在行的第一个不为0的值，若B中矩阵右半部分有数据为0，则将该数据替换为其所在行的最后一个不为0的值；
B为补值过后的证据数据。
在一个实施例中，所述归一化处理采用算法：
其中，X表示基础数据或遥感数据在每个通道或者每类化学元素上读取到的数据，X_MIN表示数据矩阵X中的最小值，X_MAX表示数据矩阵X中的最大值。
在一个实施例中，所述模型包括：
输入层：将训练采样点的基础数据和遥感数据同时通过输入层输入到全连接混合输入模型；
基础数据特征提取层：该特征提取层由三个全连接层构成，通过全连接神经网络进行全连接操作，利用权重值来提取网络特征即基础数据特征，将原始数据转化为高维特征表达；
遥感数据特征提取层：该特征提取层由三个全连接层构成，通过全连接神经网络进行全连接操作，利用权重值来提取网络特征即遥感数据特征，将原始数据转化为高维特征表达；
融合层：将基础数据特征与遥感数据特征进行特征融合；
全连接层：利用全连接神经网络获取基础数据和遥感数据在高维空间上的共性特征；
输出层：输出采样点预测为各类的概率值。
各种证据数据空间边界一致性处理及证据数据补值方法
由于数据是多模态，加上数据的来源和处理方式是多种软件的缘故，可能会导致边界数据没有充满整个图框区域，导致数据不匹配，出现了空白区(无值区)，为充分利用所用的数据，保证预测区可以充满整个图框区域，需要进行各种证据数据空间边界一致性处理。本例以4幅1∶50000图幅的数据为例，说明数据处理的方法和流程：
表1记录的是四个图幅合并后证据数据的数据处理范围，表中1∶20万地球化学数据与高磁_2500为基础数据，遥感高三SAR数据、数字高程模型(DEM)与遥感Landsat8为遥感数据，从表中可以看出基础数据和遥感数据的处理范围不一致。若数据处理范围不一致可能会导致根据采样点坐标信息得到的对应的基础数据及遥感数据与该采样点不相符。如图3所示，黑色区域代表数据处理范围，图3(a)数据处理范围为(4，4)；图3(b)中数据处理范围为(5，5)，白色区域为采样点坐标信息的位置，正常情况下，数据读取时应以左下角为原点根据采样点坐标信息进行数据读取，则(a)(b)中白色区域位置坐标信息一致，数据读取正确，但实际情况是数据读取是以左上角为原点根据采样点坐标信息进行数据读取，则(a)(b)中白色区域位置坐标信息不一致。为保证数据读取的一致性，需要将证据数据的处理范围保持一致。
表1四幅合并证据数据处理范围
| 数据 | 数据处理范围 |
| 1∶20万地球化学 | 宽8114像素，高7191像素 |
| 高磁_2500 | 宽8114像素，高7191像素 |
| ALOS SAR数据 | 宽8112像素，高7189像素 |
| 数字高程模型(DEM) | 宽8116像素，高7190像素 |
| 遥感Landsat8 | 宽8116像素，高7190像素 |
以基础数据为基准，对遥感数据进行数据补值处理，使得遥感数据处理范围与基础数据一致。
数据补值过程如下：
①读取遥感数据为数据矩阵，记为A；
②创建与基础数据处理范围一致的数据矩阵，矩阵内数据初始值均为0，该数据矩阵记为B；
③从A的左下角开始逐行读取与基础数据处理范围一致的数据并将数据存储至B中相应的位置；
④若B中矩阵上半部分有数据为0，则将该数据替换为其所在列的第一个不为0的值，若B中矩阵下半部分有数据为0，则将该数据替换为其所在列的最后一个不为0的值；
⑤若B中矩阵左半部分有数据为0，则将该数据替换为其所在行的第一个不为0的值，若B中矩阵右半部分有数据为0，则将该数据替换为其所在行的最后一个不为0的值；
⑥B为补值过后的证据数据。
(2)地质证据数据归一化
地质证据涉及到各种专业数据，每种数据的量纲也基本不一致。因此需要将有量纲表达式变成无量纲(不含实际数据的物理单位)表达式，这样有利于不同单位或量级的指标能够进行比较和加权，这种过程称为归一化。归一化把数据变成(0，1)或者(-1，1)之间的小数，它是一种线性变换，可以保证对数据进行归一化处理后不会造成数据“失效”，相反可以提高数据的表现力，实现数据增强。本发明采用了如下归一化公式：
其中X表示基础数据或遥感数据在每个通道或者每类化学元素上读取到的数据，X_MIN表示数据矩阵X中的最小值，X_MAX表示数据矩阵X中的最大值。
对证据数据进行归一化处理，一是防止过大或过小的数值范围会导致计算时的浮点上溢或下溢；二是不同的数值范围会导致不同属性对模型的重要性不同，归一化处理数据后达到不同属性对模型训练的均衡；三是对数据进行归一化处理后可以加快梯度下降的求解速度，即提升模型的收敛速度。
请参照图4，证据数据中基础数据与遥感数据处理方式相同，下面以归一化处理数字高程模型(DEM)数据为例对此归一化处理数据流程进行具体说明：
①从指定的证据数据存储路径下获取数字高程模型数据的tif格式文件；
②运用skimage包中io模块下的imread函数读取该tif格式文件为数据矩阵，记该数据矩阵为A且A为numpy数组形式；
③运用numpy库中max方法及min方法求A中的最大值B以及最小值C；
④计算其结果为数字高程模型(DEM)数据归一化之后的结果，将该结果记为D，D为数据矩阵格式；
⑤保存D为npy格式文件即numpy数组形式文件，将其存储在归一化处理数据的文件夹下，存储名为“DEM.npy”。
(3)数据分组存储
由于第二次采样半径较大，得到的训练采样点数据量过大，可能会存在无法一次性将数据读入内存进行模型训练的问题，当出现该问题时需要对训练采样点的基础数据以及遥感数据先放入硬盘存储，模型训练时再将数据从硬盘读入内存。如果内存允许则直接进入第四步。
分组存储数据的方法如下：
①为防止数据读入出错，先将各类填图单位及岩性通过二次采样后扩充得到的训练集采样点的数据进行基础数据和遥感数据的存储，将这些数据分组存储在每类填图单位及岩性对应的基础与遥感数据文件夹(例如，文件保存路径：/datasets/PRB/训练采样点数据/基础(遥感)数据/Qh3al第四系河床/interp_data_1(remote_data_1).npy)中；每份npy文件存储内容为该类地质体的训练集采样点的基础数据或遥感数据；
②将第1步得到的各类填图单位及岩性的基础和遥感数据进行分组合成得到最后训练采样点数据，存储至对应的文件夹中(文件保存路径例如/datasets/PRB/训练采样点数据/基础(遥感)数据/interp_data_1(remote_data_1).npy)，每份npy文件存储了参与训练的每一类填图单位及岩性的训练采样点的基础数据或遥感数据。
根据上述分组存储数据的方式完成对训练采样点基础数据及遥感数据的存储，模型训练时从存储路径下分组读取基础数据及遥感数据，将该数据读入内存进行模型训练。
(4)多模态数据中间层融合全连接地质图预测模型建模
①多模态数据中间层融合全连接地质图预测模型结构
多模态融合是指综合来自两个或多个模态的信息以进行预测的过程。在预测的过程中，单个模态通常不能包含产生精确预测结果所需的全部有效信息，多模态融合过程融合了来自两个或多个模态的信息，实现信息补充，拓宽输入数据所包含信息的覆盖范围，提升预测结果的精度，提高预测模型的鲁棒性。目前，多模态数据融合主要有三种融合方式：前端融合或数据水平融合、后端融合或决策水平融合以及中间融合。中间融合是指将不同模态数据先转化为高维特征表达，再与模型的中间层进行融合。本发明采用中间融合方式。多模态数据中间层融合全连接地质图预测模型网络结构图见图5。其中各层的含义如下：
输入层：将训练采样点的基础数据和遥感数据同时通过输入层输入到全连接混合输入模型；
基础数据特征提取层：该特征提取层由三个全连接层构成，通过全连接神经网络进行全连接操作，利用权重值来提取网络特征即基础数据特征，将原始数据转化为高维特征表达(全连接层的3层层数确定由下第②点描述)；
遥感数据特征提取层：该特征提取层由三个全连接层构成，通过全连接神经网络进行全连接操作，利用权重值来提取网络特征即遥感数据特征，将原始数据转化为高维特征表达；
融合层：将基础数据特征与遥感数据特征进行特征融合；
全连接层：利用全连接神经网络获取基础数据和遥感数据在高维空间上的共性特征；
输出层：输出采样点预测为各类的概率值。
①不同模态数据转化为高维特征表达的全连接层层数优化确定
全连接层的层数的选择是提高建模精度的一个重要指标。增加层数会导致运算时间增加，效率变低以及过拟合，层数不足会导致特征信息提取不足进而影响模型精度以及召回率。对于按填图单位及岩性预测地质图来说，一个项目通常在2-4幅联测的规模，填图单位及岩性分类树基本在100-200个之间。预测通过不同全连接层个数计算比较，三个全连接层的优势，对不同模态数据转化为高维特征表达提取和提高模型精度以及召回率是明显的。表2是在相同样本数据条件下采用不同全连接层层数对模型精度影响的对比表。
表2
从表2中可以发现3个模型结构在相同的训练集采样点上进行训练得到的初始模型在原始采样点及训练集采样点上准确率与平均召回率值差距还是比较明显的。由于初始模型的准确率会对二次建模的训练采样点有一定程度的影响，若初始模型准确度过低，则会导致二次采样的训练采样点及其标签可信度就会较低。表2中可以看出，采用2层全连接神经网络对基础数据及遥感数据进行特征提取是不足的，对训练集的拟合程度不够，导致模型存在欠拟合的现象。采用3层全连接神经网络对基础数据及遥感数据进行特征提取明显得到大幅度提高，原始采样点在初始模型的准确度和平均召回率都提高15％以上，原始采样点在二次模型的准确度和平均召回率都提高13％-15％以上，虽然最后模型的训练集准确率都在95％以上，但采用3层全连接神经网络的召回率提高了8％以上。采用4层全连接神经网络对基础数据及遥感数据进行特征提取虽然比采用2层全连接神经网络效果明显有一些提高，但与3层全连接神经网络相比，所有对应的指标大概还相差4％左右，表明在基础数据及遥感数据单独提取特征的单分支中增加全连接层的层数并不会明显增加相应的准确率及平均召回率值。故在基于PRB数据深度学习地质图预测模型中，采用采用3层全连接神经网络对基础数据及遥感数据进行特征提取是合适的选择。
网络结构参数确定的原则和方法
在建模时，应根据预测对象标签的个数和地质证据的数量，按表2选择网络结构参数的原则和方法进行选取。表3是根据具体应用给出的一个参数确定方法和原则的实例。
表3
由表3所示，其中各参数含义如下：
a、Input-1、Input-2分别代表基础数据以及遥感数据输入。相应的输出维度表示对应的数据种类。如其中基础数据包括39类化学元素数据及地面高磁数据，则输出维度为40维。遥感数据包括高分三号卫星数据、Landsat8卫星数据以及数字高程模型数据共有16种数据，则输出维度为16维。
b、Dense-1、Dense-2、Dense-3这三个全连接层为基础数据提取特征，Dense-4、Dense-5、Dense-6这三个全连接层为遥感数据提取特征。
c、Concatenate层为融合层。
d、Dense-7获取基础数据和遥感数据在高维空间上的共性特征。
e、Output为输出层。其中每个单一模态提取特征的第一个全连接层神经元个数即参数由需要分类的地质体类别数来确定，设类别数为A，第一个全连接层神经元个数为B，A与B的关系应满足以下公式：B＝2n＞A。
f、激活函数也是网络模型训练的关键元素之一，它主要是像神经网络中加入非线性因素，使得网络可以解决更复杂的非线性问题，同时激活函数在前向传播的过程中过滤掉一些无用的信息，并且在反向传播中更新网络训练参数。ReLU函数具有单侧抑制、单侧直通、激活边界较宽以及可以稀疏网络等特点，因此该激活函数收敛速度比较快；Softmax激活函数一般用作输出层的激活函数，常与交叉熵损失函数结合使用，该函数又称归一化指数函数，它是二分类函数Sigmoid函数在多分类任务上的推广，目的是将多分类的结果以概率的形式展现出来。因此，本发明中，在全连接层中均采用ReLU激活函数，在输出层采用一般用作输出层的激活函数，常与交叉熵损失函数结合使用。该函数又称归一化指数函数，它是二分类函数Sigmoid函数在多分类任务上的推广，目的是将多分类的结果以概率的形式展现出来。
该全连接混合输入模型选择SGD(随机梯度下降算法)作为参数优化器，相较于经典梯度下降算法更新参数时遍历所有训练数据，随机梯度下降算法用单个训练样本的损失来近似所有训练样本的平均损失，大大加快了网络训练速度。在学习率的选择上，选择0.001作为初始学习率，并在网络训练中采用衰减学习速率的方法即一开始采用较大的学习速率，每次参数更新后，在下一次更新参数时减小学习率对参数做更精细的调整。
在具体应用中，填图单位数量的变化可以按照上述处理参数要求进行灵活变换。
本发明的有益效果为：
实现简单，不但把原始数据转化为高维特征表达，还将基础数据特征与遥感数据特征进行特征融合，并利用全连接神经网络最大化的获取基础数据和遥感数据在高维空间上的共性特征，大大提高了提高预测对象的能力、精度，使地质图最基本的地质对象---填图单位岩性在空间的分布形态和展布方向、分布位置、地质对象之间的相邻关系等指标可以以准确性最大化体现和表达。这项技术突破后，将彻底变革现有地质调查工作模式，创新为地质知识图谱+地质大数据+深度学习算法为一体的新型地质填图模式，实现最优地质路线+地质图预测循环递进推进的填图模式，形成细粒度的预测地质图。
上述说明示出并描述了本申请的若干优选实施例，但如前所述，应当理解本申请并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述申请构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本申请的精神和范围，则都应在本申请所附权利要求的保护范围内。
Claims (1)
1.一种多模态数据中间层融合全连接地质图预测模型的处理方法，其特征在于，包括：
对证据数据进行补值和归一化处理；
根据训练采样点坐标从处理后的证据数据中读取数据信息；
获取训练采样点基础数据与遥感数据；
判断所述数据是否一次性读入内存，如果是，直接输入模型训练，如果否，从数据存储路径分组输入模型训练；
所述对证据数据进行补值，包括：
读取遥感数据为数据矩阵，记为A；
创建与基础数据处理范围一致的数据矩阵，矩阵内数据初始值均为0，该数据矩阵记为B；
从A的左下角开始逐行读取与基础数据处理范围一致的数据并将数据存储至B中相应的位置；
若B中矩阵上半部分有数据为0，则将该数据替换为其所在列的第一个不为0的值，若B中矩阵下半部分有数据为0，则将该数据替换为其所在列的最后一个不为0的值；
若B中矩阵左半部分有数据为0，则将该数据替换为其所在行的第一个不为0的值，若B中矩阵右半部分有数据为0，则将该数据替换为其所在行的最后一个不为0的值；
即为补值过后的数据矩阵B；
所述归一化处理采用算法：
其中，X表示基础数据或遥感数据在每个通道或者每类化学元素上读取到的数据，X_MIN表示数据矩阵X中的最小值，X_MAX表示数据矩阵X中的最大值；
所述模型包括：
输入层：将训练采样点的基础数据和遥感数据同时通过输入层输入到全连接混合输入模型；
基础数据特征提取层：该特征提取层由三个全连接层构成，通过全连接神经网络进行全连接操作，利用权重值来提取网络特征即基础数据特征，将原始数据转化为高维特征表达；
遥感数据特征提取层：该特征提取层由三个全连接层构成，通过全连接神经网络进行全连接操作，利用权重值来提取网络特征即遥感数据特征，将原始数据转化为高维特征表达；
融合层：将基础数据特征与遥感数据特征进行特征融合；
全连接层：利用全连接神经网络获取基础数据和遥感数据在高维空间上的共性特征；
输出层：输出采样点预测为各类的概率值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011029251.4A CN112163374B (zh) | 2020-09-27 | 2020-09-27 | 一种多模态数据中间层融合全连接地质图预测模型的处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011029251.4A CN112163374B (zh) | 2020-09-27 | 2020-09-27 | 一种多模态数据中间层融合全连接地质图预测模型的处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112163374A CN112163374A (zh) | 2021-01-01 |
| CN112163374B true CN112163374B (zh) | 2024-02-20 |
Family
ID=73864176
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011029251.4A Active CN112163374B (zh) | 2020-09-27 | 2020-09-27 | 一种多模态数据中间层融合全连接地质图预测模型的处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112163374B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114239885A (zh) * | 2022-01-11 | 2022-03-25 | 中国科学院深圳先进技术研究院 | 一种运行故障预测方法及装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105512661A (zh) * | 2015-11-25 | 2016-04-20 | 中国人民解放军信息工程大学 | 一种基于多模态特征融合的遥感影像分类方法 |
| CN109614880A (zh) * | 2018-11-19 | 2019-04-12 | 国家电网有限公司 | 一种多模态生物特征融合方法及装置 |
| CN110458043A (zh) * | 2019-07-20 | 2019-11-15 | 中国船舶重工集团公司第七二四研究所 | 一种基于迁移学习与全连接层输出的sar目标识别方法 |
| CN110458282A (zh) * | 2019-08-06 | 2019-11-15 | 齐鲁工业大学 | 一种融合多角度多模态的图像描述生成方法及*** |
| CN110490095A (zh) * | 2019-07-31 | 2019-11-22 | 中国人民解放军战略支援部队信息工程大学 | 一种基于神经网络的多模态特征融合调制识别方法和*** |
| CN110516723A (zh) * | 2019-08-15 | 2019-11-29 | 天津师范大学 | 一种基于深度张量融合的多模态地基云图识别方法 |
| CN110796105A (zh) * | 2019-11-04 | 2020-02-14 | 中国矿业大学 | 一种基于多模态数据融合的遥感图像语义分割方法 |
| CN111275130A (zh) * | 2020-02-18 | 2020-06-12 | 上海交通大学 | 基于多模态的深度学习预测方法、***、介质及设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108805270B (zh) * | 2018-05-08 | 2021-02-12 | 华中科技大学 | 一种基于存储器的卷积神经网络*** |
-
2020
- 2020-09-27 CN CN202011029251.4A patent/CN112163374B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105512661A (zh) * | 2015-11-25 | 2016-04-20 | 中国人民解放军信息工程大学 | 一种基于多模态特征融合的遥感影像分类方法 |
| CN109614880A (zh) * | 2018-11-19 | 2019-04-12 | 国家电网有限公司 | 一种多模态生物特征融合方法及装置 |
| CN110458043A (zh) * | 2019-07-20 | 2019-11-15 | 中国船舶重工集团公司第七二四研究所 | 一种基于迁移学习与全连接层输出的sar目标识别方法 |
| CN110490095A (zh) * | 2019-07-31 | 2019-11-22 | 中国人民解放军战略支援部队信息工程大学 | 一种基于神经网络的多模态特征融合调制识别方法和*** |
| CN110458282A (zh) * | 2019-08-06 | 2019-11-15 | 齐鲁工业大学 | 一种融合多角度多模态的图像描述生成方法及*** |
| CN110516723A (zh) * | 2019-08-15 | 2019-11-29 | 天津师范大学 | 一种基于深度张量融合的多模态地基云图识别方法 |
| CN110796105A (zh) * | 2019-11-04 | 2020-02-14 | 中国矿业大学 | 一种基于多模态数据融合的遥感图像语义分割方法 |
| CN111275130A (zh) * | 2020-02-18 | 2020-06-12 | 上海交通大学 | 基于多模态的深度学习预测方法、***、介质及设备 |
Non-Patent Citations (1)
| Title |
|---|
| 《Multi-modal deep learning for landform recognition》;Lin Du等;《ISPRS Journal of Photogrammetry and Remote Sensing》;20191009;第158卷;63-75 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112163374A (zh) | 2021-01-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111191736B (zh) | 基于深度特征交叉融合的高光谱图像分类方法 | |
| CN108920720B (zh) | 基于深度哈希和gpu加速的大规模图像检索方法 | |
| CN111583165A (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN108009559B (zh) | 一种基于空谱联合信息的高光谱数据分类方法 | |
| CN112862774B (zh) | 一种遥感影像建筑物精确分割方法 | |
| CN113469119B (zh) | 基于视觉转换器和图卷积网络的宫颈细胞图像分类方法 | |
| CN113435253B (zh) | 一种多源影像联合城区地表覆盖分类方法 | |
| Younis et al. | Detection and annotation of plant organs from digitised herbarium scans using deep learning | |
| CN112927253B (zh) | 基于卷积神经网络的岩心fib-sem图像分割方法 | |
| CN110245683B (zh) | 一种少样本目标识别的残差关系网络构建方法及应用 | |
| CN112199886B (zh) | 一种prb数据深度学习地质图预测模型的处理方法 | |
| CN111652273A (zh) | 一种基于深度学习的rgb-d图像分类方法 | |
| CN112101153A (zh) | 基于感受野模块与多重特征金字塔的遥感目标检测方法 | |
| CN114331122A (zh) | 重点人员风险等级评估方法及相关设备 | |
| CN114821340A (zh) | 一种土地利用分类方法及*** | |
| CN113936214A (zh) | 一种基于融合空天遥感影像的岩溶湿地植被群落分类方法 | |
| CN112163374B (zh) | 一种多模态数据中间层融合全连接地质图预测模型的处理方法 | |
| CN113989287A (zh) | 城市道路遥感图像分割方法、装置、电子设备和存储介质 | |
| CN115330703A (zh) | 基于上下文信息融合的遥感影像云与云阴影检测方法 | |
| Zhang et al. | SaltISCG: Interactive salt segmentation method based on CNN and graph cut | |
| CN116824133A (zh) | 一种遥感图像智能解译方法 | |
| CN116956214A (zh) | 基于正则化集成学习的多模态细粒度论文分类方法和*** | |
| CN111461130B (zh) | 一种高精度图像语义分割算法模型及分割方法 | |
| CN115294346A (zh) | 一种改进Inception-v3网络的手势图像识别方法 | |
| CN117765297B (zh) | 高光谱图像分类方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230717 Address after: 100037 Beijing City, Xicheng District Fuwai Street No. 45 Applicant after: DEVELOPMENT & RESEARCH CENTER OF CHINA GEOLOGICAL SURVEY BUREAU Applicant after: Command center of natural resources comprehensive survey of China Geological Survey Address before: 100037 Beijing City, Xicheng District Fuwai Street No. 45 Applicant before: DEVELOPMENT & RESEARCH CENTER OF CHINA GEOLOGICAL SURVEY BUREAU |
|
| TA01 | Transfer of patent application right | ||
| CI02 | Correction of invention patent application |
Correction item: Applicant|Address|Applicant Correct: Command center of natural resources comprehensive survey of China Geological Survey|100055 No.55, Honglian South Road, Xicheng District, Beijing False: DEVELOPMENT & RESEARCH CENTER OF CHINA GEOLOGICAL SURVEY BUREAU|100037 Beijing City, Xicheng District Fuwai Street No. 45|China Geological Survey Natural Resources Comprehensive Survey Command Center Number: 30-02 Volume: 39 |
|
| CI02 | Correction of invention patent application | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |