CN111382706A - 基于联邦学习的预测方法、装置、存储介质及遥感设备 - Google Patents

基于联邦学习的预测方法、装置、存储介质及遥感设备 Download PDF

Info

Publication number
CN111382706A
CN111382706A CN202010164191.0A CN202010164191A CN111382706A CN 111382706 A CN111382706 A CN 111382706A CN 202010164191 A CN202010164191 A CN 202010164191A CN 111382706 A CN111382706 A CN 111382706A
Authority
CN
China
Prior art keywords
federal
prediction
local
data
remote sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010164191.0A
Other languages
English (en)
Inventor
黄安埠
刘洋
殷磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WeBank Co Ltd
Original Assignee
WeBank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WeBank Co Ltd filed Critical WeBank Co Ltd
Priority to CN202010164191.0A priority Critical patent/CN111382706A/zh
Publication of CN111382706A publication Critical patent/CN111382706A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于联邦学习的预测方法、装置、存储介质及遥感设备，该方法包括：根据本地训练数据对初始模型进行训练，获得单方预测模型；将所述单方预测模型传输至地面信息中心，由所述地面信息中心将对应于若干个遥感设备的若干个所述单方预测模型进行聚合获得联邦预测模型，所述联邦预测模型包括若干个联邦分模型；接收对应的联邦分模型，并基于所述联邦分模型对待预测本地数据进行预测，获得预测标签。由此，通过在遥感设备本地进行模型训练，并基于联邦学习实现了高空数据的综合利用，打破了数据传输的技术瓶颈。

Description

基于联邦学习的预测方法、装置、存储介质及遥感设备
技术领域
本发明涉及数据处理技术领域，尤其涉及一种基于联邦学习的预测方法、装置、存储介质及遥感设备。
背景技术
随着计算机技术的发展，越来越多的技术(大数据、分布式、区块链Blockchain、人工智能等)应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变，但由于金融行业的安全性、实时性要求，也对技术提出了更高的要求。
当前越来越多的人造卫星等遥感设备在高空中运行，并执行各自的任务，获得对应的数据。众所周知，遥感技术难度高、耗资大，遥感设备获得的数据都很珍贵，若要综合利用各个遥感设备的数据，则需要将这些数据汇总到地面信息中心，由地面信息中心进行数据分析和处理。但是遥感设备与地面信息中心存在网络延时，且遥感设备获得的高空数据的数据量巨大，对网络宽带的要求较高，进而数据传输成为了技术瓶颈。
发明内容
本发明提供一种基于联邦学习的预测方法、装置、存储介质及遥感设备，旨在实现高空数据的综合利用，打破数据传输的技术瓶颈。
为实现上述目的，本发明提供一种基于联邦学习的预测方法，所述方法应用于遥感***，所述方法包括：
根据本地训练数据对初始模型进行训练，获得单方预测模型；
将所述单方预测模型传输至地面信息中心，由所述地面信息中心将对应于若干个遥感设备的若干个所述单方预测模型进行聚合获得联邦预测模型，所述联邦预测模型包括若干个联邦分模型；
接收对应的联邦分模型，并基于所述联邦分模型对待预测本地数据进行预测，获得预测标签。
优选地，所述根据本地训练数据对初始模型进行训练，获得单方预测模型的步骤包括：
随机获得初始模型参数，利用所述初始模型参数获得所述本地训练数据的初始预测标签，基于所述初始预测标签和所述本地训练数据的实际标签计算损失函数；
基于所述损失函数，通过梯度下降的方式更新模型参数；
若达到收敛条件则停止更新，并将对应的模型参数保存为最终模型参数，以此获得单方预测模型。
优选地，所述若干个遥感设备具有不同的倾角，所述基于所述联邦分模型对待预测本地数据进行预测，获得预测标签的步骤之前还包括：
判断各个所述遥感设备的待预测本地数据是否包括若干个相同维度的目标数据；
若各个所述遥感设备的待预测本地数据包括若干个相同维度的目标数据，则执行步骤：基于所述联邦分模型对待预测本地数据进行预测，获得预测标签。
优选地，所述根据本地训练数据对初始模型进行训练，获得单方预测模型的步骤之前还包括：
通过控制***接收所述地面信息中心发送的指令，根据所述指令执行任务，获得所述本地数据，所述本地数据包括图像数据；
对所述本地数据进行预处理，获得本地训练数据。
优选地，所述判断各个所述遥感设备的待预测本地数据是否包括若干个相同维度的目标数据的步骤包括：
基于预测任务确定若干个待判断维度；
获取所述各个遥感设备的待预测本地数据中的本地维度，基于所述待判定维度判断所述本地维度是否包括若干个相同维度；
若所述本地维度都包括所述若干个待判断维度，则判定各个所述遥感设备的本地维度包括若干个相同维度；
若各个所述遥感设备的本地维度包括若干个相同维度，则从所述待预测本地数据中查找与所述若干个待判断维度对应的目标数据；
若所述各个遥感设备的本地数据中都存在与所述若干个待判断维度对应的目标数据，则判定各个所述遥感设备的待预测本地数据包括若干个相同维度的目标数据。
优选地，所述对所述本地数据进行预处理，获得本地训练数据的步骤包括：
按流程对所述本地数据进行预处理，将预处理后的所述本地数据保存为所述本地训练数据。
优选地，所述接收对应的联邦分模型，并基于所述联邦分模型对待预测本地数据进行预测，获得预测标签的步骤包括：
接收所述地面信息中心对应返回的所述联邦分模型；
将待预测本地数据输入所述联邦分模型，由所述联邦分模型输出对应的预测标签。
此外，为实现上述目的，本发明还提供一种基于联邦学习的预测装置，所述基于联邦学习的预测装置包括：
训练模块，用于根据本地训练数据对初始模型进行训练，获得单方预测模型；
传输模块，用于将所述单方预测模型传输至地面信息中心，由所述地面信息中心将对应于若干个遥感设备的若干个所述单方预测模型进行聚合获得联邦预测模型，所述联邦预测模型包括若干个联邦分模型；
预测模块，用于接收对应的联邦分模型，并基于所述联邦分模型对待预测本地数据进行预测，获得预测标签。
此外，为实现上述目的，本发明还提供一种遥感设备，所述遥感设备包括处理器，存储器以及存储在所述存储器中的基于联邦学习的预测程序，所述基于联邦学习的预测程序被所述处理器运行时，实现如上所述的基于联邦学习的预测方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机存储介质，所述计算机存储介质上存储有基于联邦学习的预测程序，所述基于联邦学习的预测程序被处理器运行时实现如上所述基于联邦学习的预测方法的步骤。
相比现有技术，本发明公开了一种基于联邦学习的预测方法、装置、存储介质及遥感设备，根据本地训练数据对初始模型进行训练，获得单方预测模型；将所述单方预测模型传输至地面信息中心，由所述地面信息中心将对应于若干个遥感设备的若干个所述单方预测模型进行聚合获得联邦预测模型，所述联邦预测模型包括若干个联邦分模型；接收对应的联邦分模型，并基于所述联邦分模型对待预测本地数据进行预测，获得预测标签。由此，通过在遥感设备本地进行模型训练，并基于联邦学习实现了高空数据的综合利用，打破了数据传输的技术瓶颈。
附图说明
图1是本发明各实施例涉及的遥感设备的硬件结构示意图；
图2是本发明基于联邦学习的预测方法第一实施例的流程示意图；
图3是本发明基于联邦学习的预测方法一实施例的场景示意图；
图4是本发明基于联邦学习的预测方法第二实施例的流程示意图；
图5是本发明基于联邦学习的预测装置第一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例主要涉及的遥感设备是指能够实现网络连接的网络连接设备，所述遥感设备可以是服务器、云平台等。
参照图1，图1是本发明各实施例涉及的遥感设备的硬件结构示意图。本发明实施例中，遥感设备可以包括处理器1001(例如中央处理器Central Processing Unit、CPU)，通信总线1002，输入端口1003，输出端口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信；输入端口1003用于数据输入；输出端口1004用于数据输出，存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器，存储器1005可选的还可以是独立于前述处理器1001的存储装置。本领域技术人员可以理解，图1中示出的硬件结构并不构成对本发明的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
继续参照图1，图1中作为一种可读存储介质的存储器1005可以包括操作***、网络通信模块、应用程序模块以及基于联邦学习的预测程序。在图1中，网络通信模块主要用于连接服务器，与服务器进行数据通信；而处理器1001可以调用存储器1005中存储的基于联邦学习的预测程序，并执行如下操作：
根据本地训练数据对初始模型进行训练，获得单方预测模型；
将所述单方预测模型传输至地面信息中心，由所述地面信息中心将对应于若干个遥感设备的若干个所述单方预测模型进行聚合获得联邦预测模型，所述联邦预测模型包括若干个联邦分模型；
接收对应的联邦分模型，并基于所述联邦分模型对待预测本地数据进行预测，获得预测标签。
进一步地，处理器1001还可以用于调用存储器1005中存储的基于联邦学习的预测程序，并执行以下步骤：
随机获得初始模型参数，利用所述初始模型参数获得所述本地训练数据的初始预测标签，基于所述初始预测标签和所述本地训练数据的实际标签计算损失函数；
基于所述损失函数，通过梯度下降的方式更新模型参数；若达到收敛条件则停止更新，并将对应的模型参数保存为最终模型参数，以此获得单方预测模型。
进一步地，处理器1001还可以用于调用存储器1005中存储的基于联邦学习的预测程序，并执行以下步骤：
判断各个所述遥感设备的待预测本地数据是否包括若干个相同维度的目标数据；
若各个所述遥感设备的待预测本地数据包括若干个相同维度的目标数据，则执行步骤：基于所述联邦分模型对待预测本地数据进行预测，获得预测标签。
进一步地，处理器1001还可以用于调用存储器1005中存储的基于联邦学习的预测程序，并执行以下步骤：
通过控制***接收所述地面信息中心发送的指令，根据所述指令执行任务，获得所述本地数据，所述本地数据包括图像数据；
对所述本地数据进行预处理，获得本地训练数据。
进一步地，处理器1001还可以用于调用存储器1005中存储的基于联邦学习的预测程序，并执行以下步骤：
基于预测任务确定若干个待判断维度；
获取所述各个遥感设备的待预测本地数据中的本地维度，基于所述待判定维度判断所述本地维度是否包括若干个相同维度；
若所述本地维度都包括所述若干个待判断维度，则判定各个所述遥感设备的本地维度包括若干个相同维度；
若各个所述遥感设备的本地维度包括若干个相同维度，则从所述待预测本地数据中查找与所述若干个待判断维度对应的目标数据；
若所述各个遥感设备的本地数据中都存在与所述若干个待判断维度对应的目标数据，则判定各个所述遥感设备的待预测本地数据包括若干个相同维度的目标数据。
进一步地，处理器1001还可以用于调用存储器1005中存储的基于联邦学习的预测程序，并执行以下步骤：
按流程对所述本地数据进行预处理，将预处理后的所述本地数据保存为所述本地训练数据。
进一步地，处理器1001还可以用于调用存储器1005中存储的基于联邦学习的预测程序，并执行以下步骤：
接收所述地面信息中心对应返回的所述联邦分模型；
将待预测本地数据输入所述联邦分模型，由所述联邦分模型输出对应的预测标签。
基于上述的结构，提出本发明基于联邦学习的预测方法的各个实施例。
参照图2，图2是本发明基于联邦学习的预测方法第一实施例的流程示意图。
本实施例中，所述基于联邦学习的预测方法应用于遥感设备，所述方法包括：
步骤S101：根据本地训练数据对初始模型进行训练，获得单方预测模型；
本实施例中，所述遥感设备一般指利用遥感技术进行工作的高空设备，例如高塔、气球、飞机、火箭、人造地球卫星、宇宙飞船和航天飞机等。遥感技术是指从远离地面的遥感设备，通过传感器对地球表面的电磁波辐射信息进行探测，然后经信息的传输、处理和判读分析，对地球的资源与环境进行探测与监测的综合性技术。从远距离采用高空鸟瞰的形式进行探测，包括多点位、多谱段、多时段和多高度的遥感影像以及多次增强的遥感信息，能提供综合***性、瞬时性或同步性的连续区域性同步信息，在环境科学领域的应用具有很大优越性。遥感设备具有很多用途，如地形探测，石油探测，大气环境，以及地形探测等等。
通常每一个遥感设备都有其倾斜角度(遥感设备轨道平面与地球赤道平面的夹角叫轨道倾角)，因此，这些遥感设备的图像都是按照某一个角度进行拍摄获得图像，本实施例中，将所述图像数据标记为本地数据。
本实施例中，所述步骤S101:根据本地训练数据对初始模型进行训练，获得单方预测模型的步骤之前还包括：
步骤S1001：通过控制***接收所述地面信息中心发送的指令，根据所述指令执行任务，获得所述本地数据，所述本地数据包括图像数据；
一般地，所述遥感设备需要与地面信息中心建立通讯连接。由此，所述遥感设备可以与所述地面信息中心进行数据传输。
所述遥感设备预先搭载了控制***，所述控制***包括多个预设指令，也可以接收地面信息中心发送的控制指令，并根据所述预设指令和/或所述控制指令执行相应的任务。所述任务可以是地图绘制、地形勘测等。
当所述遥感设备通过所述控制***接收到所述地面信息中心发送的指令后，则根据所述指令执行任务，获得相对应的本地数据。一般地，所述本地数据是图像数据。
步骤S1002：对所述本地数据进行预处理，获得本地训练数据。
获得所述本地数据后，则对所述本地数据进行预处理。具体地，所述对所述本地数据进行预处理，获得本地训练数据的步骤包括：
按流程对所述本地数据进行预处理，将预处理后的所述本地数据保存为所述本地训练数据。
按流程对所述本地初始数据进行预处理，获得可以进行模型训练的本地训练数据。所述预处理包括降噪、几何校正、图像增强和图像裁剪等，将预处理后的所述本地数据保存为所述本地训练数据。所述本地初始数据可以是图像数据。一般地，可以通过滤波器对所述本地训练数据进行降噪处理。在遥感成像过程中，受多种因素的综合影响，原始图像上地物的几何位置、形状、大小、尺寸、方位等特征与其对应的地面地物的特征往往是不一致的，这种不一致就是几何变形，也称几何畸变，因而需要进行校正处理。所述流程是指预处理的顺序，一般地根据经验设置，例如按如下流程进行：降噪，几何校正、图像裁剪。
本实施例中，对所述本地数据进行预处理后获得所述本地训练数据，基于所述本地训练数据对随机获得的模型参数进行机器学习训练，不断对所述模型参数进行迭代更新，直到收敛，将最终的模型参数保存，以此获得单方预测模型。
本实施例中，选择若干个遥感设备，所述若干个遥感设备具有不同的倾角，基于所述倾角组成全景遥感***。例如360°全景遥感***，也可以是180°遥感***或者是270°遥感***。对于360°全景遥感***则要选择若干个不同倾角的遥感设备，被选择的遥感设备可以获得360°全景数据。
具体地，参考图3，图3是本发明基于联邦学习的预测方法一实施例的场景示意图。在图3a中，选择6个不同倾角的遥感设备，这6个遥感设备的倾角分别为θ1、θ2、θ3、θ4、θ5、θ6，这6个遥感设备组成了一个360°全景遥感***。在图3b中，选择4个遥感设备C1、C2、C3以及C4，其中，C1、C2、C3和C4的倾角各不相同，可以获得不同角度不同方向的数据，因而可以组成一个遥感***，并且该遥感***与地面信息中心S保持通讯连接。
本实施例中，所述若干个遥感设备分别进行模型训练，获得若干个单方预测模型，将所述单方预测模型表示为：
Figure BDA0002406690340000093
其中M表示模型，i表示遥感设备编号，t表示当前迭代次数。若当前模型迭代次数为t，则根据所述本地训练数据对初始模型
Figure BDA0002406690340000095
进行训练，直到所述初始模型
Figure BDA0002406690340000094
收敛，则获得
Figure BDA0002406690340000096
步骤S102：将所述单方预测模型传输至地面信息中心，由所述地面信息中心将对应于若干个遥感设备的若干个所述单方预测模型进行聚合获得联邦预测模型，所述联邦预测模型包括若干个联邦分模型；
获得所述单方预测模型后，则通过预先与所述地面信息中心建立的连接，将所述单方预测模型传输至所述地面信息中心。所述地面信息中心接收若干个遥感设备上传的若干个单方预测模型，将所述若干个单方预测模型进行聚合，获得联邦预测模型。
所述地面信息中心对多个单方预测模型进行聚合后获得联邦预测模型Mt+1：
Figure BDA0002406690340000091
进一步地，将联邦分模型表示为
Figure BDA0002406690340000092
并将所述联邦分模型发送给所述若干个遥感设备。
步骤S103：接收对应的联邦分模型，并基于所述联邦分模型对待预测本地数据进行预测，获得预测标签。
所述遥感设备接收所述地面信息中心返回的对应的联邦分模型，并基于所述联邦分模型对待预测本地数据进行预测，获得预测标签。
具体地，所述接收对应的联邦分模型，并基于所述联邦分模型对待预测本地数据进行预测，获得预测标签的步骤包括：
步骤S103a：接收所述地面信息中心对应返回的所述联邦分模型；
接收所述地面信息中心对应返回的所述联邦分模型。将所述联邦分模型保存至预设存储路径，并更新所述遥感设备的联邦分模型。具体地，可以直接保存所述联邦分模型。若所述遥感设备上已有原始的联邦分模型，即更新所述原始的联邦分模型，并且也可以比较所述保存的联邦分模型与原始的联邦分模型的异同，获得不相同的差异参数，基于所述差异差数对所述原始的联邦分模型进行更新，一般地，在接收地面信息中心对应返回的联邦分模型之后，将该联邦分模型标记为最新模型，并使用该最新模型进行预测。在其它实施例中，可以删除或停用所述原始的联邦分模型。
步骤S103b：将待预测本地数据输入所述联邦分模型，由所述联邦分模型输出对应的预测标签。
本实施例中，将待预测本地数据输入所述联邦分模型，由所述联邦分模型根据模型参数对所述待预测本地数据进行处理，获得预测标签。所述预测标签可以是0、1以及其它。所述预测标签还可以包括预测结果和概率。需要说明的是，预先将所述遥感设备根据任务获得的本地数据进行预处理，获得所述待预测本地数据，预处理过程与上述处理本地初始数据获得本地训练数据的过程一致。所述联邦分模型对所述待预测本地数据进行预测，输出预测标签，所述预测标签与具体任务相关。例如对于地形勘测，则所述预测标签可以是所述待预测本地数据的地形类型，以及属于该类型的概率。再例如，对于石油勘测，则所述预测标签可以为是或否，此时可以用对应的数字1、0表示。
所述步骤S103:基于所述联邦分模型对待预测本地数据进行预测，获得预测标签的步骤之前还包括：
步骤S103-1：判断各个所述遥感设备的待预测本地数据是否包括若干个相同维度的目标数据；
本实施例中，所述若干个遥感设备获取到的本地数据中有若干个相同的维度。故为了获得满足要求的待预测数据，可以预先判断各个所述遥感设备的待预测本地数据中是否包括相同维度的目标数据。
具体地，所述步骤S103-1：判断各个所述遥感设备的待预测本地数据是否包括若干个相同维度的目标数据的步骤包括：
步骤S103-1a：基于预测任务确定若干个待判断维度；
可以理解的，所述待预测本地数据包括多个维度的数据。基于不同的任务，不同任务的遥感设备获得的本地数据中包括一个或多个不同维度的数据，所述不同任务的遥感设备获得的本地数据中也可以包括一个或多个相同维度的数据。所述相同维度的个数以及对应的待判断维度可以根据任务具体设置，例如若所述基于联邦学***面数据等，因此，可以将所述测高数据和所述海平面数据确定为所述待判断维度。
步骤S103-1b：获取所述各个遥感设备的待预测本地数据中的本地维度，基于所述待判定维度判断所述本地维度是否包括若干个相同维度；
对所述待预测本地数据进行解析，获取所述各个遥感设备的待预测本地数据中的本地维度。再将所述本地维度与所述待判定维度进行对比。具体地，先判断所述本地维度的个数是否大于或等于所述待判断维度的个数；若所述本地维度的个数大于或等于所述待判断维度的个数，则进一步对比所述本地维度与所述待判断维度的具体维度的内容，若所述本地维度包括所述待判断维度的具体维度的内容，则判定所述本地维度都包括所述若干个待判断维度。
步骤S103-1c：若所述本地维度都包括所述若干个待判断维度，则判定各个所述遥感设备的本地维度包括若干个相同维度；
反之，若所述本地维度不完全包括所述若干个待判断维度，则判定各个所述遥感设备的本地维度不包括若干个相同维度。
步骤S103-1d：若各个所述遥感设备的本地维度包括若干个相同维度，则从所述待预测本地数据中查找与所述若干个待判断维度对应的目标数据；
反之，若各个所述遥感设备的本地维度不包括若干个相同维度，判定对应的待预测本地数据为无效数据，则忽略所述无效数据。可以理解地，若各个所述遥感设备的本地数据不包括若干个相同维度的目标数据，则可能会由于所述本地数据的信息不全导致预测结果出现偏差。
骤S103-1e：若所述各个遥感设备的本地数据中都存在与所述若干个待判断维度对应的目标数据，则判定各个所述遥感设备的待预测本地数据包括若干个相同维度的目标数据。
若各个所述遥感设备的待预测本地数据包括若干个相同维度的目标数据，则执行步骤：基于所述联邦分模型对待预测本地数据进行预测，获得预测标签。
本实施例通过上述方案，根据本地训练数据对初始模型进行训练，获得单方预测模型；将所述单方预测模型传输至地面信息中心，由所述地面信息中心将对应于若干个遥感设备的若干个所述单方预测模型进行聚合获得联邦预测模型，所述联邦预测模型包括若干个联邦分模型；接收对应的联邦分模型，并基于所述联邦分模型对待预测本地数据进行预测，获得预测标签。由此，通过在遥感设备本地进行模型训练，并基于联邦学习实现了高空数据的综合利用，打破了数据传输的技术瓶颈。
基于上述图2所示的第二实施例，提出本发明第三实施例。如图4所示，图4是本发明基于联邦学习的预测方法第二实施例的流程示意图。
所述根据本地训练数据对初始模型进行训练，获得单方预测模型的步骤包括：
步骤S101a：随机获得初始模型参数，利用所述初始模型参数获得所述本地训练数据的初始预测标签，基于所述初始预测标签和所述本地训练数据的实际标签计算损失函数；
所述初始模型可以是卷积神经网络模型，深度学习模型，决策树等。随机获得所述初始模型各层的模型参数，并保存为初始模型参数。所述初始模型参数也可以根据经验确定。
本实施例中，获取大量的本地数据，并且标记所述本地数据的实际标签，所述实际标签根据所述本地数据的结果确定。例如对于石油勘测任务，若所述本地数据的结果是图片对应的区域存在石油，则所述实际标签可以是1；若所述本地数据的结果是图片对应的区域不存在石油，则所述实际标签可以是0；若无法确定所述本地数据的结果是图片对应的区域是否存在石油，则所述实际标签可以是其它。
将所述本地数据进行预处理后，获得对应的本地训练数据。所述本地数据是图像数据，所述预处理包括降噪、几何校正、图像增强和图像裁剪等操作。
基于所述初始模型参数对所述本地训练数据进行处理，获得所述初始预测标签。根据所述初始预测标签和所述实际标签计算损失函数。所述损失函数可以是采用针对任务的常用损失函数本实施例中，基于mini-batch计算所述交叉熵损失函数。
步骤S101b：基于所述损失函数，通过梯度下降的方式更新模型参数；
根据所述交叉熵损失函数计算所述初始模型中各个参数对应的梯度，根据各个参数的梯度来对应更新各个参数，也即调整所述初始模型的各个参数。此处，根据交叉熵损失函数更新模型参数的过程与现有的模型参数更新过程类似，在此不做详细赘述。
步骤S101c：若达到收敛条件则停止更新，并将对应的模型参数保存为最终模型参数，以此获得单方预测模型。
判断所述交叉熵损失函数是否收敛，若所述交叉熵损失函数收敛，则判定对应的所述质检模型收敛。所述收敛条件为所述交叉熵损失函数获得最小值。
若所述初始模型处于收敛状态，则停止训练，将最后一次训练的参数保存为最终的模型参数，基于所述最终的模型参数获得所述单方预测模型。
反之，若所述单方预测模型未达到收敛状态，则继续训练：不断地进行迭代更新，直到收敛。最终获得所述单方预测模型。
本实施例基于上述方案，随机获得初始模型参数，随机获得初始模型参数，利用所述初始模型参数获得所述本地训练数据的初始预测标签，基于所述初始预测标签和所述本地训练数据的实际标签计算损失函数；基于所述损失函数，通过梯度下降的方式更新模型参数；若达到收敛条件则停止更新，并将对应的模型参数保存为最终模型参数，以此获得单方预测模型。由此，通过本地训练数据进行模型训练，实现了高空数据的综合利用，打破了数据传输的技术瓶颈。
此外，本实施例还提供一种基于联邦学习的预测装置。参照图5，图5为本发明基于联邦学习的预测装置第一实施例的功能模块示意图。
本实施例中，所述基于联邦学习的预测装置为虚拟装置，存储于图1所示的遥感设备的存储器1005中，以实现基于联邦学习的预测程序的所有功能：用于根据本地训练数据对初始模型进行训练，获得单方预测模型；用于将所述单方预测模型传输至地面信息中心，由所述地面信息中心将对应于若干个遥感设备的若干个所述单方预测模型进行聚合获得联邦预测模型，所述联邦预测模型包括若干个联邦分模型；用于接收对应的联邦分模型，并基于所述联邦分模型对待预测本地数据进行预测，获得预测标签。
具体地，所述基于联邦学习的预测装置包括：
训练模块10，用于根据本地训练数据对初始模型进行训练，获得单方预测模型；
传输模块20，用于将所述单方预测模型传输至地面信息中心，由所述地面信息中心将对应于若干个遥感设备的若干个所述单方预测模型进行聚合获得联邦预测模型，所述联邦预测模型包括若干个联邦分模型；
预测模块30，用于接收对应的联邦分模型，并基于所述联邦分模型对待预测本地数据进行预测，获得预测标签。
进一步地，所述训练模块包括：
计算单元，用于随机获得初始模型参数，利用所述初始模型参数获得所述本地训练数据的初始预测标签，基于所述初始预测标签和所述本地训练数据的实际标签计算损失函数；
更新单元，用于基于所述损失函数，通过梯度下降的方式更新模型参数；
保存单元，用于若达到收敛条件则停止更新，并将对应的模型参数保存为最终模型参数，以此获得单方预测模型。
进一步地，所述预测模块还包括：
判断单元，用于判断各个所述遥感设备的待预测本地数据是否包括若干个相同维度的目标数据；
执行单元，用于若各个所述遥感设备的待预测本地数据包括若干个相同维度的目标数据，则执行步骤：基于所述联邦分模型对待预测本地数据进行预测，获得预测标签。
进一步地，所述训练模块还包括
接收单元，用于通过控制***接收所述地面信息中心发送的指令，根据所述指令执行任务，获得所述本地数据，所述本地数据包括图像数据；
预处理单元，用于对所述本地数据进行预处理，获得本地训练数据。
进一步地，所述判断单元包括：
确定子单元，用于基于预测任务确定若干个待判断维度；
获取子单元，用于获取所述各个遥感设备的待预测本地数据中的本地维度，基于所述待判定维度判断所述本地维度是否包括若干个相同维度；
第一判定子单元，用于若所述本地维度都包括所述若干个待判断维度，则判定各个所述遥感设备的本地维度包括若干个相同维度；
查找单元，用于若各个所述遥感设备的本地维度包括若干个相同维度，则从所述待预测本地数据中查找与所述若干个待判断维度对应的目标数据；
第二判定子单元，用于若所述各个遥感设备的本地数据中都存在与所述若干个待判断维度对应的目标数据，则判定各个所述遥感设备的待预测本地数据包括若干个相同维度的目标数据。
进一步地，所述预处理单元包括：
预处理子单元：按流程对所述本地数据进行预处理，将预处理后的所述本地数据保存为所述本地训练数据。
进一步地，所述预测模块包括：
接收单元，用于接收所述地面信息中心对应返回的所述联邦分模型；
输入单元，用于将待预测本地数据输入所述联邦分模型，由所述联邦分模型输出对应的预测标签。
此外，本发明实施例还提供一种计算机存储介质，所述计算机存储介质上存储有基于联邦学习的预测程序，所述基于联邦学习的预测程序被处理器运行时实现如上所述基于联邦学习的预测方法的步骤，此处不再赘述。
相比现有技术，本发明提出的一种基于联邦学习的预测方法、装置、存储介质及遥感设备，该方法包括：接收地面信息中心发送的所述联邦分模型；将本地数据输入所述联邦分模型，由所述联邦分模型输出对应的预测标签。由此，基于联邦学习，利用遥感设备***的本地数据进行预测，打破了数据传输的技术瓶颈，实现了高空数据的综合利用。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备执行本发明各个实施例所述的方法。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于联邦学习的预测方法，其特征在于，所述方法包括：
根据本地训练数据对初始模型进行训练，获得单方预测模型；
将所述单方预测模型传输至地面信息中心，由所述地面信息中心将对应于若干个遥感设备的若干个所述单方预测模型进行聚合获得联邦预测模型，所述联邦预测模型包括若干个联邦分模型；
接收对应的联邦分模型，并基于所述联邦分模型对待预测本地数据进行预测，获得预测标签。
2.根据权利要求1所述的方法，其特征在于，所述根据本地训练数据对初始模型进行训练，获得单方预测模型的步骤包括：
随机获得初始模型参数，利用所述初始模型参数获得所述本地训练数据的初始预测标签，基于所述初始预测标签和所述本地训练数据的实际标签计算损失函数；
基于所述损失函数，通过梯度下降的方式更新模型参数；
若达到收敛条件则停止更新，并将对应的模型参数保存为最终模型参数，以此获得单方预测模型。
3.根据权利要求1所述的方法，其特征在于，所述若干个遥感设备具有不同的倾角，所述基于所述联邦分模型对待预测本地数据进行预测，获得预测标签的步骤之前还包括：
判断各个所述遥感设备的待预测本地数据是否包括若干个相同维度的目标数据；
若各个所述遥感设备的待预测本地数据包括若干个相同维度的目标数据，则执行步骤：基于所述联邦分模型对待预测本地数据进行预测，获得预测标签。
4.根据权利要求1所述的方法，其特征在于，所述根据本地训练数据对初始模型进行训练，获得单方预测模型的步骤之前还包括：
通过控制***接收所述地面信息中心发送的指令，根据所述指令执行任务，获得所述本地数据，所述本地数据包括图像数据；
对所述本地数据进行预处理，获得本地训练数据。
5.根据权利要求3所述的方法，其特征在于，所述判断各个所述遥感设备的待预测本地数据是否包括若干个相同维度的目标数据的步骤包括：
基于预测任务确定若干个待判断维度；
获取所述各个遥感设备的待预测本地数据中的本地维度，基于所述待判定维度判断所述本地维度是否包括若干个相同维度；
若所述本地维度都包括所述若干个待判断维度，则判定各个所述遥感设备的本地维度包括若干个相同维度；
若各个所述遥感设备的本地维度包括若干个相同维度，则从所述待预测本地数据中查找与所述若干个待判断维度对应的目标数据；
若所述各个遥感设备的本地数据中都存在与所述若干个待判断维度对应的目标数据，则判定各个所述遥感设备的待预测本地数据包括若干个相同维度的目标数据。
6.根据权利要求4所述的方法，其特征在于，所述对所述本地数据进行预处理，获得本地训练数据的步骤包括：
按流程对所述本地数据进行预处理，将预处理后的所述本地数据保存为所述本地训练数据。
7.根据权利要求1所述的方法，其特征在于，所述接收对应的联邦分模型，并基于所述联邦分模型对待预测本地数据进行预测，获得预测标签的步骤包括：
接收所述地面信息中心对应返回的所述联邦分模型；
将待预测本地数据输入所述联邦分模型，由所述联邦分模型输出对应的预测标签。
8.一种基于联邦学习的预测装置，其特征在于，所述基于联邦学习的预测装置包括：
训练模块，用于根据本地训练数据对初始模型进行训练，获得单方预测模型；
传输模块，用于将所述单方预测模型传输至地面信息中心，由所述地面信息中心将对应于若干个遥感设备的若干个所述单方预测模型进行聚合获得联邦预测模型，所述联邦预测模型包括若干个联邦分模型；
预测模块，用于接收对应的联邦分模型，并基于所述联邦分模型对待预测本地数据进行预测，获得预测标签。
9.一种遥感设备，其特征在于，所述遥感设备包括处理器，存储器以及存储在所述存储器中的基于联邦学习的预测程序，所述基于联邦学习的预测程序被所述处理器运行时，实现如权利要求1-7中任一项所述的基于联邦学习的预测方法的步骤。
10.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有基于联邦学习的预测程序，所述基于联邦学习的预测程序被处理器运行时实现如权利要求1-7中任一项所述基于联邦学习的预测方法的步骤。
CN202010164191.0A 2020-03-10 2020-03-10 基于联邦学习的预测方法、装置、存储介质及遥感设备 Pending CN111382706A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010164191.0A CN111382706A (zh) 2020-03-10 2020-03-10 基于联邦学习的预测方法、装置、存储介质及遥感设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010164191.0A CN111382706A (zh) 2020-03-10 2020-03-10 基于联邦学习的预测方法、装置、存储介质及遥感设备

Publications (1)

Publication Number Publication Date
CN111382706A true CN111382706A (zh) 2020-07-07

Family

ID=71221632

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010164191.0A Pending CN111382706A (zh) 2020-03-10 2020-03-10 基于联邦学习的预测方法、装置、存储介质及遥感设备

Country Status (1)

Country Link
CN (1) CN111382706A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112001502A (zh) * 2020-08-24 2020-11-27 平安科技（深圳）有限公司 高延时网络环境鲁棒的联邦学习训练方法及装置
CN112862347A (zh) * 2021-03-02 2021-05-28 同济大学 基于联邦学习的设备异常监测方法、***、存储介质及终端
CN113313268A (zh) * 2021-06-11 2021-08-27 杭州煋辰数智科技有限公司 一种基于联邦学习预测方法、装置、存储介质及遥感设备
WO2021189906A1 (zh) * 2020-10-20 2021-09-30 平安科技（深圳）有限公司 基于联邦学习的目标检测方法、装置、设备及存储介质
WO2022111068A1 (zh) * 2020-11-27 2022-06-02 中兴通讯股份有限公司 Rru欠压风险预测方法、装置、***、设备及介质
WO2022130098A1 (en) * 2020-12-15 2022-06-23 International Business Machines Corporation Federated learning for multi-label classification model for oil pump management

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112001502A (zh) * 2020-08-24 2020-11-27 平安科技（深圳）有限公司 高延时网络环境鲁棒的联邦学习训练方法及装置
WO2021189906A1 (zh) * 2020-10-20 2021-09-30 平安科技（深圳）有限公司 基于联邦学习的目标检测方法、装置、设备及存储介质
WO2022111068A1 (zh) * 2020-11-27 2022-06-02 中兴通讯股份有限公司 Rru欠压风险预测方法、装置、***、设备及介质
WO2022130098A1 (en) * 2020-12-15 2022-06-23 International Business Machines Corporation Federated learning for multi-label classification model for oil pump management
CN112862347A (zh) * 2021-03-02 2021-05-28 同济大学 基于联邦学习的设备异常监测方法、***、存储介质及终端
CN113313268A (zh) * 2021-06-11 2021-08-27 杭州煋辰数智科技有限公司 一种基于联邦学习预测方法、装置、存储介质及遥感设备

Similar Documents

Publication Publication Date Title
CN111382706A (zh) 基于联邦学习的预测方法、装置、存储介质及遥感设备
KR102358554B1 (ko) 시맨틱 분할 모델을 위한 훈련 방법 및 장치, 전자 기기, 저장 매체
CN111797650B (zh) 障碍物的识别方法、装置、计算机设备和存储介质
CN109683699B (zh) 基于深度学习实现增强现实的方法、装置及移动终端
CN111401621B (zh) 基于联邦学习的预测方法、装置、设备及存储介质
US10755146B2 (en) Network architecture for generating a labeled overhead image
US9386266B2 (en) Method and apparatus for increasing frame rate of an image stream using at least one higher frame rate image stream
CN111310770A (zh) 目标检测方法和装置
US9571801B2 (en) Photographing plan creation device and program and method for the same
CN111444923A (zh) 自然场景下图像语义分割方法和装置
US20220366646A1 (en) Computer Vision Systems and Methods for Determining Structure Features from Point Cloud Data Using Neural Networks
CN114648709A (zh) 一种确定图像差异信息的方法与设备
CN112013820B (zh) 一种面向无人机机载平台部署的实时目标检测方法及装置
CN116129234A (zh) 一种基于注意力的4d毫米波雷达与视觉的融合方法
US10346717B1 (en) System and method for thresholding of local image descriptors
CN115393826A (zh) 三维车道线生成方法、装置、电子设备和计算机可读介质
CN115731451A (zh) 模型训练方法、装置、电子设备及存储介质
AU2022206663A1 (en) Computer vision systems and methods for determining roof conditions from imagery using segmentation networks
CN110321794B (zh) 一种融入语义模型的遥感图像油罐检测方法
Christian Optical attitude determination from horizon orientation using image segmentation
CN117036982B (zh) 海上养殖区的光学卫星图像处理方法和装置、设备和介质
CN115240171B (zh) 道路结构感知方法及装置
CN117152577B (zh) 铸件缺陷检测方法、装置、电子设备和存储介质
US20220383515A1 (en) Digital video computing system for vehicle
Singh et al. Performance Assessment of Deep Learning Algorithm Using xView Data Set

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination