CN117095216B - 基于对抗生成网络的模型训练方法、***、设备及介质 - Google Patents

基于对抗生成网络的模型训练方法、***、设备及介质 Download PDF

Info

Publication number
CN117095216B
CN117095216B CN202311063865.8A CN202311063865A CN117095216B CN 117095216 B CN117095216 B CN 117095216B CN 202311063865 A CN202311063865 A CN 202311063865A CN 117095216 B CN117095216 B CN 117095216B
Authority
CN
China
Prior art keywords
image
data
preset
model
soil
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311063865.8A
Other languages
English (en)
Other versions
CN117095216A (zh
Inventor
万翔
谢淑云
李启铭
田野
崔倩倩
杨正论
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei Geological Survey
Original Assignee
Hubei Geological Survey
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei Geological Survey filed Critical Hubei Geological Survey
Priority to CN202311063865.8A priority Critical patent/CN117095216B/zh
Publication of CN117095216A publication Critical patent/CN117095216A/zh
Application granted granted Critical
Publication of CN117095216B publication Critical patent/CN117095216B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种基于对抗生成网络的模型训练方法、***、设备及介质，涉及大数据技术领域。在该方法中，获取未测区的土壤特征数据，将土壤特征数据转换为图像数据；根据预设参数信息处理图像数据，得到图像样本；将图像样本的文件格式转换为预设标准文件格式，得到输入样本；将输入样本输入预设初始网络模型，获取历史化学元素分布图像数据训练预设初始网络模型，得到输出结果；构建损失函数，根据预设均方误差公式，判断损失函数损失值是否大于预置损失阈值；若否，则将初始网络模型作为区域地球化学元素预测模型。实施本申请提供的技术方案，能够训练一种基于对抗生成网络的区域地球化学元素预测模型以实现快速准确预测区域地球化学元素浓度的效果。

Description

基于对抗生成网络的模型训练方法、***、设备及介质
技术领域
本申请涉及大数据技术领域，具体涉及一种基于对抗生成网络的模型训练方法、***、设备及介质。
背景技术
随着大数据的不断发展，区域地球化学数据的检测在大数据技术领域也日渐成熟。区域地球化学数据的检测是地质勘探和环境监测等领域的重要任务。地球化学数据是通过地球化学方法获得的，包括岩石、土壤、矿物、水等的化学元素含量和分布等信息。这些数据可以提供有关地质构造、矿床类型、环境污染等方面的信息，对资源勘探和环境保护等领域具有重要的意义。
目前，传统的地球化学元素数据采集方式是通过野外取样、实验室分析等手段获得区域地球化学数据来进行数据分析和预测。
但是在实际应用中，传统确定地球化学元素浓度的方法需要工作人员大范围野外实地采样，并凭经验对目标区域的化学元素浓度分布进行预测，这种方法耗费时间大且不够准确。因此，目前工作人员用于评估目标区域地球化学元素浓度分布的方法亟待改进。
发明内容
本申请提供了一种基于对抗生成网络的模型训练方法、***、设备及介质，能够训练一种基于对抗生成网络的区域地球化学元素预测模型以实现快速准确预测区域地球化学元素浓度的效果。
第一方面，本申请提供了一种基于对抗生成网络的模型训练方法，包括：
获取训练区的历史化学元素分布图像数据，所述历史化学元素分布图像数据包括历史土壤特征数据和对应的历史化学元素浓度；
响应于图像裁剪操作，根据预设参数信息处理所述图像数据，得到图像样本；
将所述图像样本的文件格式转换为预设标准文件格式，得到输入样本，所述预设标准文件格式为tfrecords文件格式；
响应于模型训练操作，提取所述输入样本中的所述历史土壤特征数据作为模型输入特征输入预设初始网络模型，并将所述对应的历史化学元素浓度按照预设比例划分为训练集数据和测试集数据进行模型训练，得到输出结果；
计算所述输出结果和预设标准数据之间的误差值，并根据所述误差值构建损失函数；
根据预设均方误差公式，判断所述损失函数对应的损失值是否大于预置损失阈值；
若否，则将所述训练后的所述初始网络模型作为区域地球化学元素预测模型。
通过采用上述技术方案，***获取训练区的历史土壤特征信息并转换为图像数据，然后通过工作人员设定的预设参数信息裁剪该图像数据，得到图像样本并将该图像样本的文件格式转换为tfrecords文件格式得到输入样本，便于模型训练时读取数据，之后响应于工作人员的模型训练操作，将该输入样本作为模型输入特征输入条件对抗生成网络模型进行模型训练，并提取对应的历史化学元素浓度作为训练集数据和测试集数据进行模型训练，得到输出结果，计算该输出结果与预设标准数据的误差值并构建误差函数，然后计算该误差函数的损失值，若是该损失值小于预置损失阈值则将该条件对抗生成网络模型作为区域地球化学元素预测模型，可有效提高区域地球化学元素浓度预测的准确性。
可选的，所述预设参数信息包括：输入数据路径、裁剪图像大小阈值、裁剪步长和输出数据路径。
通过采用上述技术方案，工作人员设定预设参数：输入数据路径、裁剪图像大小阈值、裁剪步长和输出数据路径，***根据该预设参数裁剪图像，能够提高模型训练的准确性。
可选的，响应于用户发出的图像裁剪指令，提取所述图像数据对应的原图像；根据所述预设参数信息中的裁剪图像大小阈值和裁剪步长，按照滑动窗口的裁剪方式将所述图像裁剪为对应大小的多个tif图像，并将所述多个tif图像作为所述图像样本。
通过采用上述技术方案，按照滑动窗口的裁剪方式裁剪图像数据至指定裁剪图像大小，可减小***的计算量。
可选的，将所述多个tif图像附上所述各tif图像在原图像中的坐标标签，所述坐标标签包括行号、列号和样本号；将附有相同坐标标签的tif图像存入同一个文件夹，得到存储有相同坐标标签的tif图像对应的多个文件夹。
通过采用上述技术方案，将得到的多个tif图像附上各tif图像在原图像中对应的坐标标签，然后***将具有相同坐标标签的tif图像存储至同一文件夹中，得到多个文件夹，可将tif图像进行划分，防止在模型训练时读取数据出现混淆，造成模型训练效率的问题。
可选的，调取所述多个文件夹中的各tif图像；根据预设序列化和反序列化数据算法，将所述tif图像转换为所述tfrecords文件格式对应的二进制数据；将所述二进制数据存入对应的预设tfrecords文件，并将所述预设tfrecords文件作为所述输入样本，所述预设tfrecords文件用于tensorflow框架读取数据。
通过采用上述技术方案，根据预设序列化和反序列化数据算法，***将tif图像转换为tfrecords文件格式对应的二进制数据，然后将该二进制数据存入对应的预设tfrecords文件，从而得到输入样本，能够为后续模型训练提供数据基础，提高模型训练的效率。
可选的，所述预设均方差公式，包括：
其中，K为损失值，n为输入样本数，Yt为预设标准元素浓度，Yp为元素浓度预测值。
通过采用上述技术方案，结合模型训练得到的元素浓度预测值和预设标准元素浓度进行计算，得到损失值，可根据该损失值对模型训练进行评估，提高模型训练的准确性。
可选的，获取未测区的土壤特征数据；将所述未测区的土壤特征数据输入所述区域地球化学元素预测模型，得到对应的元素分布浓度预测结果；将所述元素分布浓度预测结果转换为tif格式图像，并发送给用户终端。
通过采用上述技术方案，在模型训练完成之后，获取未测区的土壤特征数据，并将该未测区的土壤特征数据输入区域地球化学元素浓度预测模型，得到对应区域的元素分布浓度预测结果，并将该预测结果还原成tif格式图像发送给用户终端，可有效提高区域地球化学元素浓度预测的准确性，降低人为采集和分析区域地球化学元素浓度的误差影响。
在本申请的第二方面提供了一种基于对抗生成网络的模型训练方法的***。
数据获取模块，用于获取训练区的历史化学元素分布图像数据，所述历史化学元素分布图像数据包括历史土壤特征数据和对应的历史化学元素浓度；
数据处理模块，用于响应于图像裁剪操作，根据预设参数信息处理所述图像数据，得到图像样本；将所述图像样本的文件格式转换为预设标准文件格式，得到输入样本，所述预设标准文件格式为tfrecords文件格式；
模型训练模块，用于提取所述输入样本中的所述历史土壤特征数据作为模型输入特征输入预设初始网络模型，并将所述对应的历史化学元素浓度按照预设比例划分为训练集数据和测试集数据进行模型训练，得到输出结果；
误差识别模块，用于计算所述输出结果和预设标准数据之间的误差值，并根据所述误差值构建损失函数；根据预设均方误差公式，判断所述损失函数对应的损失值是否大于预置损失阈值；若否，则将所述训练后的所述初始网络模型作为区域地球化学元素预测模型。
在本申请的第三方面提供了一种电子设备。
在本申请的第四方面提供了一种计算机可读存储介质。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现一种基于对抗生成网络的模型训练方法。
综上所述，本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
1、本申请通过获取训练区的历史土壤特征信息并转换为图像数据，然后通过工作人员设定的预设参数信息裁剪该图像数据，得到图像样本并将该图像样本的文件格式转换为tfrecords文件格式得到输入样本，便于模型训练时读取数据，之后响应于工作人员的模型训练操作，将该输入样本作为模型输入特征输入条件对抗生成网络模型进行模型训练，并提取对应的历史化学元素浓度作为训练集数据和测试集数据进行模型训练，得到输出结果，计算该输出结果与预设标准数据的误差值并构建误差函数，然后计算该误差函数的损失值，若是该损失值小于预置损失阈值则将该条件对抗生成网络模型作为区域地球化学元素预测模型，可有效提高区域地球化学元素浓度预测的准确性。
2、本申请通过滑动窗口的方式裁剪图像，滑动窗口的方式可以将图像分割成多个小区域，使得每个小区域都能够独立进行处理，降低了***处理图像的计算量。
3、本申请通过采用条件对抗生成网络模型预测区域地球化学元素浓度，能够降低工作人员在实验室人为分析的成本，自动拟合大量的地质信息，提高了区域地球化学元素浓度预测的准确性。
附图说明
图1是本申请实施例提供的一种基于对抗生成网络的模型训练方法的流程示意图。
图2是本申请实施例提供的一种基于对抗生成网络的模型训练方法的图像裁剪流程示意图。
图3是本申请实施例提供的一种基于对抗生成网络的模型训练***的结构示意图。
图4是本申请实施例的公开的一种电子设备的结构示意图。
附图标记说明：301、数据获取模块；302、数据处理模块；303、模型训练模块；304、误差识别模块；400、电子设备；401、处理器；402、存储器；403、用户接口；404、网络接口；405、通信总线。
具体实施方式
为了使本领域的技术人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。
在本申请实施例的描述中，“例如”或者“举例来说”等词用于表示作例子、例证或说明。本申请实施例中被描述为“例如”或者“举例来说”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“例如”或者“举例来说”等词旨在以具体方式呈现相关概念。
在本申请实施例的描述中，术语“多个”的含义是指两个或两个以上。例如，多个***是指两个或两个以上的***，多个屏幕终端是指两个或两个以上的屏幕终端。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
为了便于理解本申请实施例提供的方法及***，在介绍本申请实施例之前，先对本申请实施例的背景进行介绍。
目前，传统的地球化学数据采集方式是通过野外取样、实验室分析等手段获得区域地球化学数据来进行数据分析和预测，然而传统的地球化学数据获取方法需要工作人员输入大量区域地球化学特征信息，存在时间耗费大且获取数据准确性低的问题。
本申请实施例公开了一种基于对抗生成网络的模型训练方法，通过获取图像特征信息，并根据模型识别特征信息，得到区域地球化学数据，主要用于解决人工分析地球化学数据评估目标区域化学元素浓度慢且不准确的问题。
经过上述背景内容相关介绍，本领域技术人员可以了解现有技术中存在的问题，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行详细的描述，描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。
参照图1，一种基于对抗生成网络的模型训练方法，该方法包括S10至S50，具体包括以下步骤：
S10：获取训练区的历史化学元素分布图像数据，历史化学元素分布图像数据包括历史土壤特征数据和对应的历史化学元素浓度。
具体的，工作人员设有研究区域，该研究区域包括训练区和未测区。数据库中存储有训练区的所有历史土壤特征数据和对应的历史化学元素浓度和未测区的土壤特征数据。该土壤特征数据包括成土母质特征，土壤类型特征，例如红壤通常富含铁、铝等元素，而沼泽土壤富含有机质和氮等元素，土壤质地等信息，例如沙、粉砂、粉土、黏土等不同粒径颗粒的比例，不同质地的土壤可能对元素的吸附和释放有不同的效果。***获取数据库中训练区的土壤特征数据，通过预设地理信息软件，例如arcgis等地理信息软件处理未测区的土壤特征数据，得到图像数据。
S20：响应于图像裁剪操作，根据预设参数信息处理图像数据，得到图像样本。
具体的，工作人员点击图像裁剪功能按钮并输入预设参数信息，***响应于该工作人员点击图像裁剪功能按钮发出的图像裁剪指令对图像数据进行裁剪，并将完成裁剪后的图像作为图像样本。
其中预设参数信息包括输入数据路径、裁剪图像大小阈值、裁剪步长和输出数据路径四个参数。输入路径为图像数据所在的路径，***需要从该输入路径中读取图像数据。裁剪图像大小阈值为图像数据裁剪过程中，从一个完整的图像中裁剪出的子图像的大小，该裁剪图像大小阈值的设置需要根据具体任务来决定。裁剪步长为从图像数据中裁剪出子图像时，每次移动的像素距离。裁剪步长的选择需要根据裁剪图像大小阈值来设定，设定合适的裁剪步长，可充分利用图像数据，减少重复生成数据。输出数据路径为裁剪后的图像数据存放的路径，模型将裁剪后的图像数据保存到这个路径中，以便于训练和预测。例如，遥感图像的输入数据路径可以是data/images，裁剪图像大小阈值可以是256x256像素，裁剪步长可以是128像素，输出数据路径可以是data/cropped_images。在图像裁剪过程中，***将从data/images中读取原始图像，对该图像按照256x256像素和128像素的裁剪步长进行裁剪，并将裁剪后的图像数据保存到data/cropped_images中。
参照图2，具体步骤可以包括S21至S22：
S21：响应于用户发出的图像裁剪指令，提取图像数据对应的原图像。
示例性地，***响应于工作人员发出的图像裁剪指令，执行图像裁剪操作，然后根据工作人员输入的输入路径，调取数据库中该输入路径对应的原图像，例如输入路径为data/images，其中data为数据存储的根目录，images为存放图像数据的子目录。
S22：根据预设参数信息中的裁剪图像大小阈值和裁剪步长，按照滑动窗口的裁剪方式将图像裁剪为对应大小的多个tif图像，并将多个tif图像作为图像样本。
示例性地，在获取到输入路径对应的原图像之后，***会根据工作人员预设定的裁剪图像大小阈值和裁剪步长，采用滑动窗口的方式裁剪该原图像，滑动窗口是一种图像处理技术，用于从图像中提取特征或进行目标检测等任务，通过将一个固定大小的窗口在图像上滑动，从而分别截取窗口所覆盖的图像区域，并将这些区域作为图像样本进行后续处理。裁剪图像大小阈值则对应窗口的大小，裁剪步长则对应该窗口在原图像上移动的距离。经过图像裁剪，原图像被裁剪为裁剪图像大小阈值指定大小的多个子图像，该多个子图像会以TIFF图像格式保存，得到多个tif图像，之后***将该多个tif图像作为图像样本，该TIFF格式的图像常用于存储卫星图像、航空图像和数字高程模型等地球空间信息数据。
在上述实施例的基础上，得到多个tif图像后还存在图像存储过程，具体步骤包括：示例性地，***在得到多个tif图像之后，会将裁剪后得到的tif图像在原图像中的索引号作为坐标标签并，然后将该坐标标签作为各tif图像对应的文件名称，即图像样本的文件名称。该坐标标签包括行号、列号和样本号，例如，索引号sample_1_100_22中1表明是第一个图像样本，100表示行号，22表示列号。之后***将遍历各tif图像，并将文件名称相同的tif图像匹配到同一个文件夹中，从而得到多个文件夹，每个文件夹中存储有相同文件名称的tif图像，即具有相同坐标标签的tif图像。
S30：将图像样本的文件格式转换为预设标准文件格式，得到输入样本，预设标准文件格式为tfrecords文件格式。
具体的，由于条件对抗生成网络算法是基于tensorflow框架实现，因此在模型训练之前需要把存储有多个tif图像的文件夹转换成多个tfrecords文件，以方便tensorflow框架读取数据。该格式转换过程具体包括：***使用现有图像处理库，例如Pillow等图像读取工具读取多个文件夹中的tif图像，并将该tif图像转换为tensorflow支持的张量格式，例如，JPEG、PNG或BMP。张量是一个多维数组，具有任意数量的轴(也称为维度)和形状。张量可以表示各种类型的数据，包括数字、图像、音频、文本等等。在tensorflow框架中，所有的数据都以张量的形式表示。然后根据预设序列化数据算法，例如现有Protocol Buffers算法将tif图像转化为二进制数据，然后将该二进制数据与该二进制数据对应的文件夹名称捆绑在一起并保存到一个tfexample对象中，该tfexample对象是一种序列化格式，用于将数据存储在tfrecords文件中。之后***将所有的tfexample对象写入tfrecords文件中，每个tfrecords文件应包含相同数量的样本数据，以便在训练期间能够有效地读取和处理。该tfrecords文件即作为模型训练的输入样本。
S40：响应于模型训练操作，提取输入样本中的历史土壤特征数据作为模型输入特征输入预设初始网络模型，并将对应的历史化学元素浓度按照预设比例划分为训练集数据和测试集数据进行模型训练，得到输出结果。
具体的，在模型训练之前，工作人员需要设置训练数据路径、原始数据路径、预测图层数量、条件图层数量、训练周期、批量输入样本数、训练数据保存周期、损失函数权重值和模型保存路径等参数。在工作人员设置完之后，点击开始训练功能按钮发出模型训练请求，***响应于该模型训练请求执行模型训练操作，将得到的输入样本作为模型输入特征输入预设初始网络模型，该预设初始网络模型为条件对抗生成网络模型，该网络模型包括一个生成器和两个判别器，并获取数据库中训练区的历史化学元素分布图像数据，该化学元素分布图像数据包括历史土壤特征数据和对应的历史化学元素浓度，按照预设比例划分为训练集数据和测试集数据进行模型训练，例如，将百分之九十的数据作为训练集数据，将百分之十的数据作为测试集数据。
其中，生成器可将条件和符合高斯正太分布的随机噪声转化为模拟数据，生成器采用了U-NET结构，即跳跃连接，用于防止信息在编码过程中损失过大，使得训练不收敛。判别器则采用了典型的卷积神经网络结构，需要注意到是该网络最后一层输出的30*30格式大小的矩阵，与现有PatchGAN的设计理念相同，从全局角度评价图像。两个判别器可以对模拟数据和真实数据进行判别，并依据输出的判别矩阵计算损失函数，即Discrimnator Loss用以优化两个判别器；生成器模拟出的数据将和真实数据之间的误差，即两矩阵之间的欧式距离，以此构建损失函数。而输出的判伪矩阵将作为计算损失函数的依据，可以构建其生成器的损失函数，从而优化生成器参数，使得模拟数据更加准确。
在模型训练过程中，读取输入样本中的土壤特征数据，例如该土壤特征数据包括：成土母质特征：成土母质是指土壤形成的原始岩石或沉积物，它对土壤中元素的来源和含量有着重要影响。例如，如果成土母质是富含石灰岩的地层，那么土壤中的钙含量可能会较高。成土母质特征可以通过采集已知区域的土壤样本，并利用地质调查数据来确定。土壤类型特征：土壤类型是根据土壤的形成过程、组成成分和性质等进行分类的。不同类型的土壤具有不同的元素含量和特征。例如，红壤通常富含铁、铝等元素，而沼泽土壤富含有机质和氮等元素。通过已知区域的土壤样本和土壤分类***，我们可以确定未知区域的土壤类型，并推测其元素浓度。土壤质地：土壤质地指土壤中不同粒径颗粒的比例，如沙、粉砂、粉土、黏土等。土壤质地对土壤的保水性、通气性和养分保持等有重要影响。不同质地的土壤可能对元素的吸附和释放有不同的效果。通过已知区域的土壤样本和实验室测试，我们可以确定未知区域的土壤质地，并结合已有数据来预测元素浓度。根据训练区的历史土壤特征数据和对应的历史化学元素浓度，通过现有灰色关联度法可得到土壤特征数据和化学元素浓度之间的相关性，从而根据该相关性对未测区的化学元素浓度做出预测。其中，***将输入图像作为条件输入，将随机噪声作为生成器的输入，生成器将随机噪声和条件输入组合生成目标输出。判别器使用条件输入和生成器输出来判别目标输出的真假，并根据判别结果来更新模型的参数。反复训练模型，直到生成器能够生成逼真的目标输出。该目标输出即为模型训练的输出结果。例如，对于一张输入图像，其中包含了成土母质特征，土壤类型特征，土壤质地信息，可以将这些信息作为条件输入，将随机噪声作为生成器的输入，生成器将随机噪声和条件输入组合生成目标输出，即该区域的地球化学元素浓度预测值。生成器生成的目标输出可以通过与实际地球化学元素浓度值进行比较，评估模型的性能。
S50：计算输出结果和预设标准数据之间的误差值，并根据误差值构建损失函数；根据预设均方误差公式，判断损失函数对应的损失值是否大于预置损失阈值；若否，则将训练后的初始网络模型作为区域地球化学元素预测模型。
具体的，在得到模型训练的输出结果之后，***将该输出结果与预设标准数据进行比较，即将地球化学元素浓度预测值和实际地球化学元素浓度值比较，并计算误差值。***采集所有训练并计算得到的误差值，构建现有损失函数L1 Loss，即绝对值损失函数，用于衡量预测值与真实值之间的差异或误差，L1 Loss的计算方法是取预测值与真实值之间差的绝对值的平均值或总和。在得到损失函数之后，***在每次训练时会根据预设均方误差公式计算当前训练得到输出结果对应的损失值，然后判断当前训练得到的输出结果对应的损失值与预置损失阈值比较，如果当前训练得到的输出结果对应的损失值小于预置损失阈值，则结束训练，并将该训练后的条件对抗生成网络模型作为区域地球化学元素预测模型。该预设均方误差公式具体包括：
其中，K为损失值，n为输入样本数，Yt为预设标准元素浓度，即为实际地球化学元素浓度值，Yp为元素浓度预测值，即训练后得到的地球化学元素浓度预测值。
例如，获取到的输入样本数量为1，在指定区域的元素浓度预测值为铜元素浓度5，在该指定区域实际地球化学元素浓度值为铜元素浓度4，经过预设均方误差公式计算得到损失值为1，而预置损失阈值为1.5，该损失值小于预置损失阈值，则判定该模型收敛于实际地球化学元素浓度值，将该初始网络模型作为区域地球化学元素预测模型。
在本申请的一种优选实施例中，在模型训练完成得到区域地球化学元素预测模型之后，***可响应于工作人员发出的模型预测请求，将工作人员设定的区域条件数据输入区域地球化学元素预测模型，得到该区域条件数据对应的化学元素浓度预测值，然后将该化学元素浓度预测值自动拼接还原成tif格式图像并返回给工作人员终端。
下述为本申请的***实施例，可以用于执行本申请方法实施例。对于本申请平台实施例中未披露的细节，参照本申请方法实施例。
参照图3，为本申请实施例提供的一种基于对抗生成网络的模型训练方法的***，该***包括：数据获取模块301、数据处理模块302、模型训练模块303，误差识别模块304，其中：
数据获取模块301，用于获取训练区的历史化学元素分布图像数据，历史化学元素分布图像数据包括历史土壤特征数据和对应的历史化学元素浓度；
数据处理模块302，用于响应于图像裁剪操作，根据预设参数信息处理图像数据，得到图像样本；将图像样本的文件格式转换为预设标准文件格式，得到输入样本，预设标准文件格式为tfrecords文件格式；
模型训练模块303，用于提取输入样本中的历史土壤特征数据作为模型输入特征输入预设初始网络模型，并将对应的历史化学元素浓度按照预设比例划分为训练集数据和测试集数据进行模型训练，得到输出结果；
误差识别模块304，用于计算输出结果和预设标准数据之间的误差值，并根据误差值构建损失函数；根据预设均方误差公式，判断损失函数对应的损失值是否大于预置损失阈值；若否，则将训练后的初始网络模型作为区域地球化学元素预测模型。
需要说明的是：上述实施例提供的装置在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置和方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本申请还公开一种电子设备。参照图4，图4是本申请实施例的公开的一种电子设备的结构示意图。该电子设备400可以包括：至少一个处理器401，至少一个网络接口404，用户接口403，存储器402，至少一个通信总线405。
其中，通信总线405用于实现这些组件之间的连接通信。
其中，用户接口403可以包括显示屏(Display)、摄像头(Camera)，可选用户接口403还可以包括标准的有线接口、无线接口。
其中，网络接口404可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
其中，处理器401可以包括一个或者多个处理核心。处理器401利用各种接口和线路连接整个服务器内的各个部分，通过运行或执行存储在存储器402内的指令、程序、代码集或指令集，以及调用存储在存储器402内的数据，执行服务器的各种功能和处理数据。可选的，处理器401可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器401可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作***、用户界面图和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器401中，单独通过一块芯片进行实现。
其中，存储器402可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选的，该存储器402包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器402可用于存储指令、程序、代码、代码集或指令集。存储器402可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作***的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及的数据等。存储器402可选的还可以是至少一个位于远离前述处理器401的存储装置。参照图4，作为一种计算机存储介质的存储器402中可以包括操作***、网络通信模块、用户接口模块以及一种基于对抗生成网络的模型训练方法的应用程序。
在图4所示的电子设备400中，用户接口403主要用于为用户提供输入的接口，获取用户输入的数据；而处理器401可以用于调用存储器402中存储一种基于对抗生成网络的模型训练方法的应用程序，当由一个或多个处理器401执行时，使得电子设备400执行如上述实施例中一个或多个的方法。需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必需的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几种实施方式中，应该理解到，所披露的装置，可通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些服务接口，装置或单元的间接耦合或通信连接，可以是电性或其他的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储器包括：U盘、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上者，仅为本公开的示例性实施例，不能以此限定本公开的范围。即但凡依本公开教导所作的等效变化与修饰，皆仍属本公开涵盖的范围内。本领域技术人员在考虑说明书及实践真理的公开后，将容易想到本公开的其他实施方案。
本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未记载的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的范围和精神由权利要求限定。

Claims (9)

1.一种基于对抗生成网络的模型训练方法，其特征在于，包括：
获取训练区的历史化学元素分布图像数据，所述历史化学元素分布图像数据包括历史土壤特征数据和对应的历史化学元素浓度；
响应于图像裁剪操作，根据预设参数信息处理所述图像数据，得到图像样本；
将所述图像样本的文件格式转换为预设标准文件格式，得到输入样本，所述预设标准文件格式为tfrecords文件格式；
响应于模型训练操作，提取所述输入样本中的所述历史土壤特征数据作为模型输入特征输入预设初始网络模型，并将所述对应的历史化学元素浓度按照预设比例划分为训练集数据和测试集数据进行模型训练，得到输出结果；
计算所述输出结果和预设标准数据之间的误差值，并根据所述误差值构建损失函数；
根据预设均方误差公式，判断所述损失函数对应的损失值是否大于预置损失阈值；
若否，则将训练后的所述初始网络模型作为区域地球化学元素预测模型；
所述土壤特征数据包括成土母质特征，土壤类型特征，例如红壤通常富含铁、铝等元素，沼泽土壤富含有机质和氮等元素，土壤质地等信息，例如沙、粉砂、粉土、黏土等不同粒径颗粒的比例；
所述预设参数信息包括输入数据路径、裁剪图像大小阈值、裁剪步长和输出数据路径。
2.根据权利要求1所述的一种基于对抗生成网络的模型训练方法，其特征在于，所述响应于图像裁剪操作，根据预设参数信息处理所述图像数据，得到图像样本中，包括：
响应于用户发出的图像裁剪指令，提取所述图像数据对应的原图像；
根据所述预设参数信息中的裁剪图像大小阈值和裁剪步长，按照滑动窗口的裁剪方式将所述图像裁剪为对应大小的多个tif图像，并将所述多个tif图像作为所述图像样本。
3.根据权利要求2所述的一种基于对抗生成网络的模型训练方法，其特征在于，所述得到图像样本之后，还包括：
将所述多个tif图像附上所述各tif图像在原图像中的坐标标签，所述坐标标签包括行号、列号和样本号；
将附有相同坐标标签的tif图像存入同一个文件夹，得到存储有相同坐标标签的tif图像对应的多个文件夹。
4.根据权利要求3所述的一种基于对抗生成网络的模型训练方法，其特征在于，所述将所述图像样本的文件格式转换为预设标准文件格式，得到输入样本中，包括：
调取所述多个文件夹中的各tif图像；
根据预设序列化和反序列化数据算法，将所述tif图像转换为所述tfrecords文件格式对应的二进制数据；
将所述二进制数据存入对应的预设tfrecords文件，并将所述预设tfrecords文件作为所述输入样本，所述预设tfrecords文件用于tensorflow框架读取数据。
5.根据权利要求1所述的一种基于对抗生成网络的模型训练方法，其特征在于，所述预设均方误差公式，包括：
其中，K为损失值，n为输入样本数，Yt为预设标准元素浓度，Yp为元素浓度预测值。
6.根据权利要求1所述的一种基于对抗生成网络的模型训练方法，其特征在于，所述将所述训练后的所述初始网络模型作为区域地球化学元素预测模型之后，还包括：
获取未测区的土壤特征数据；
将所述未测区的土壤特征数据输入所述区域地球化学元素预测模型，得到对应的元素分布浓度预测结果；
将所述元素分布浓度预测结果转换为tif格式图像，并发送给用户终端。
7.一种基于权利要求1-6任一项的基于对抗生成网络的模型训练***，其特征在于，所述***包括：
数据获取模块(301)，用于获取训练区的历史化学元素分布图像数据，所述历史化学元素分布图像数据包括历史土壤特征数据和对应的历史化学元素浓度；所述土壤特征数据包括成土母质特征，土壤类型特征，例如红壤通常富含铁、铝等元素，沼泽土壤富含有机质和氮等元素，土壤质地等信息，例如沙、粉砂、粉土、黏土等不同粒径颗粒的比例；
数据处理模块(302)，用于响应于图像裁剪操作，根据预设参数信息处理所述图像数据，得到图像样本；将所述图像样本的文件格式转换为预设标准文件格式，得到输入样本，所述预设标准文件格式为tfrecords文件格式；所述预设参数信息包括输入数据路径、裁剪图像大小阈值、裁剪步长和输出数据路径；
模型训练模块(303)，用于提取所述输入样本中的所述历史土壤特征数据作为模型输入特征输入预设初始网络模型，并将所述对应的历史化学元素浓度按照预设比例划分为训练集数据和测试集数据进行模型训练，得到输出结果；
误差识别模块(304)，用于计算所述输出结果和预设标准数据之间的误差值，并根据所述误差值构建损失函数；根据预设均方误差公式，判断所述损失函数对应的损失值是否大于预置损失阈值；若否，则将所述训练后的所述初始网络模型作为区域地球化学元素预测模型。
8.一种电子设备，其特征在于，包括处理器(401)、存储器(402)、用户接口(403)及网络接口(404)，所述存储器(402)用于存储指令，所述用户接口(403)和网络接口(404)用于给其他设备通信，所述处理器(401)用于执行所述存储器(402)中存储的指令，以使所述电子设备执行如权利要求1-6任意一项所述的一种基于对抗生成网络的模型训练方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有指令，当所述指令被执行时，执行如权利要求1-6任意一项所述的一种基于对抗生成网络的模型训练方法。
CN202311063865.8A 2023-08-23 2023-08-23 基于对抗生成网络的模型训练方法、***、设备及介质 Active CN117095216B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311063865.8A CN117095216B (zh) 2023-08-23 2023-08-23 基于对抗生成网络的模型训练方法、***、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311063865.8A CN117095216B (zh) 2023-08-23 2023-08-23 基于对抗生成网络的模型训练方法、***、设备及介质

Publications (2)

Publication Number Publication Date
CN117095216A CN117095216A (zh) 2023-11-21
CN117095216B true CN117095216B (zh) 2024-06-04

Family

ID=88778073

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311063865.8A Active CN117095216B (zh) 2023-08-23 2023-08-23 基于对抗生成网络的模型训练方法、***、设备及介质

Country Status (1)

Country Link
CN (1) CN117095216B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018212680A1 (en) * 2017-05-17 2018-11-22 Mineral Exploration Network (Finland) Ltd. Geochemical method for searching mineral resource deposits
CN109273059A (zh) * 2018-10-15 2019-01-25 成都理工大学 一种区域地球化学数据校正方法
RU2728482C1 (ru) * 2019-12-02 2020-07-29 Общество с ограниченной ответственностью "Газпромнефть Научно-Технический Центр" (ООО "Газпромнефть НТЦ") Способы прямого геохимического прогноза залежей углеводородов
CN111983715A (zh) * 2020-07-23 2020-11-24 中国地质调查局发展研究中心 基于区域地球化学的高寒山区成矿远景区圈定方法
CN112567460A (zh) * 2018-08-10 2021-03-26 日本电信电话株式会社 异常探测装置、概率分布学习装置、自编码器学习装置、数据变换装置、程序
CN114022632A (zh) * 2021-11-23 2022-02-08 中国地质大学（武汉） 基于深度卷积生成对抗网络的地质模型快速生成方法
CN115511214A (zh) * 2022-10-25 2022-12-23 河海大学 基于多尺度样本不均的矿产预测方法及***
CN115602042A (zh) * 2022-09-26 2023-01-13 湖北省地质调查院（Cn） 空白图斑地球化学元素含量赋值方法、装置和电子设备
CN116206700A (zh) * 2023-02-04 2023-06-02 湖北省地质调查院 一种地球化学元素储量变化量的计算方法及***
WO2023105255A1 (en) * 2021-12-07 2023-06-15 Totalenergies Onetech Basin-wise concentration prediction

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11054539B2 (en) * 2019-10-30 2021-07-06 Vadim Kukharev Methods of searching for mineral resources by analyzing geochemical and other anomalies during gravitational resonances

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018212680A1 (en) * 2017-05-17 2018-11-22 Mineral Exploration Network (Finland) Ltd. Geochemical method for searching mineral resource deposits
CN112567460A (zh) * 2018-08-10 2021-03-26 日本电信电话株式会社 异常探测装置、概率分布学习装置、自编码器学习装置、数据变换装置、程序
CN109273059A (zh) * 2018-10-15 2019-01-25 成都理工大学 一种区域地球化学数据校正方法
RU2728482C1 (ru) * 2019-12-02 2020-07-29 Общество с ограниченной ответственностью "Газпромнефть Научно-Технический Центр" (ООО "Газпромнефть НТЦ") Способы прямого геохимического прогноза залежей углеводородов
CN111983715A (zh) * 2020-07-23 2020-11-24 中国地质调查局发展研究中心 基于区域地球化学的高寒山区成矿远景区圈定方法
CN114022632A (zh) * 2021-11-23 2022-02-08 中国地质大学（武汉） 基于深度卷积生成对抗网络的地质模型快速生成方法
WO2023105255A1 (en) * 2021-12-07 2023-06-15 Totalenergies Onetech Basin-wise concentration prediction
CN115602042A (zh) * 2022-09-26 2023-01-13 湖北省地质调查院（Cn） 空白图斑地球化学元素含量赋值方法、装置和电子设备
CN115511214A (zh) * 2022-10-25 2022-12-23 河海大学 基于多尺度样本不均的矿产预测方法及***
CN116206700A (zh) * 2023-02-04 2023-06-02 湖北省地质调查院 一种地球化学元素储量变化量的计算方法及***

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Recognition of multivariate geochemical anomalies associated with mineralization using an improved generative adversarial network;Chunjie Zhang, et.al;Ore Geology Reviews;20210901(第136期);1-8 *
基于多尺度特征和元学习的智能预测找矿靶区实验研究;黄勇杰，等;计算机应用研究;20220127;第39卷(第6期);1772-1778 *
矿源层地球化学元素在黄土盖层中纵向分布的趋势提取与应用;谢淑云，等;地球科学（中国地质大学学报）;20121115;第37卷(第6期);1133-1139 *
随州北部土地质量地球化学评价及空间分布研究;万翔，等;资源环境与工程;20190923;第33卷(第S1期);22-26 *

Also Published As

Publication number Publication date
CN117095216A (zh) 2023-11-21

Similar Documents

Publication Publication Date Title
CN112580439B (zh) 小样本条件下的大幅面遥感图像舰船目标检测方法及***
CN110598784B (zh) 基于机器学习的建筑垃圾分类方法及装置
CN109977191B (zh) 问题地图检测方法、装置、电子设备和介质
CN109359170B (zh) 用于生成信息的方法和装置
KR101827908B1 (ko) 해양 기상 분석 장치 및 방법
CN109543907B (zh) 一种复杂地形风资源评估方法及其装置
CN113360587B (zh) 一种基于gis技术的土地测绘设备及测绘方法
Sun et al. Remote estimation of grafted apple tree trunk diameter in modern orchard with RGB and point cloud based on SOLOv2
CN115439753B (zh) 一种基于dem的陡峭河岸识别方法及***
CN115457492A (zh) 目标检测方法、装置、计算机设备及存储介质
CN112837604A (zh) 确定地图中的目标点的地理坐标的方法和装置
CN113901348A (zh) 一种基于数学模型的钉螺分布影响因素识别与预测方法
CN117095216B (zh) 基于对抗生成网络的模型训练方法、***、设备及介质
KR102416714B1 (ko) 3차원 이미지 및 딥러닝을 활용한 도시 규모 나무 지도 작성 시스템 및 방법
CN112669426B (zh) 基于生成对抗网络的三维地理信息模型渲染方法及***
CN115062859A (zh) 一种对长爪沙鼠的密度进行预测的方法和装置
CN114238541A (zh) 敏感目标信息获取方法、装置和计算机设备
US11454733B2 (en) System and method for analysis of subsurface data
CN114239250A (zh) 一种国土空间规划设计的***和方法
CN116978052B (zh) 基于改进YOLOv5的桥梁设计图的子图布局识别方法
CN115801845B (zh) 基于边缘计算的工业互联网数据采集方法及相关设备
CN117690029B (zh) 一种基于自动生成样本的岩性识别方法、平台及介质
CN117496162B (zh) 一种红外卫星遥感影像薄云去除方法、装置及介质
CN117195016B (zh) 污水处理模式确定方法、装置、计算机设备及存储介质
CN115457540B (zh) 点云目标检测模型的构建方法、目标检测标注方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant