CN108985709A - 面向多卫星数据中心协同遥感产品生产的工作流管理方法 - Google Patents

面向多卫星数据中心协同遥感产品生产的工作流管理方法 Download PDF

Info

Publication number
CN108985709A
CN108985709A CN201810671454.XA CN201810671454A CN108985709A CN 108985709 A CN108985709 A CN 108985709A CN 201810671454 A CN201810671454 A CN 201810671454A CN 108985709 A CN108985709 A CN 108985709A
Authority
CN
China
Prior art keywords
remote sensing
data
task
workflow
sensing products
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810671454.XA
Other languages
English (en)
Inventor
马艳
王力哲
张�杰
孙书言
宋凡
宋一凡
刘鹏
陈腊娇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Remote Sensing and Digital Earth of CAS
Original Assignee
Institute of Remote Sensing and Digital Earth of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Remote Sensing and Digital Earth of CAS filed Critical Institute of Remote Sensing and Digital Earth of CAS
Priority to CN201810671454.XA priority Critical patent/CN108985709A/zh
Publication of CN108985709A publication Critical patent/CN108985709A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/103—Workflow collaboration or project management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Data Mining & Analysis (AREA)
  • Game Theory and Decision Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种面向多卫星数据中心协同遥感产品生产的工作流管理方法，包括以下步骤：构建遥感产品生产处理流程库，构建多源遥感数据处理的流程知识库,构建多级任务订单库；根据Kepler动态工作流***及PBS作业调度***自动构建遥感产品生产的不同粒度的具体任务工作流；制定启发式工作流动态调度策略方法；制定与遥感产品生产相关的多级任务状态监控的策略，及基于重试、检查点恢复、超时退出的容错策略；构建了可动态的流程库、算法库，实现了多卫星数据中心多源遥感工作流的动态可扩展管理。

Description

面向多卫星数据中心协同遥感产品生产的工作流管理方法
技术领域
本发明涉及卫星数据中心技术领域，具体来说，涉及一种面向多卫星数据中心协同遥感产品生产的工作流管理方法。
背景技术
目前，许多国家和地区已经建立了不同的遥感卫星平台和卫星数据中心，具备了多光谱、多角度、多时相、多空间分辨率的空间观测及数据处理能力。这些不同类型的卫星平台已经产生并将持续产生海量的遥感数据，以满足专门化的信息提取及应用需求。由于单一卫星数据源难以满足遥感领域大型应用的综合应用需求，将当前的多个卫星数据中心机构联合起来，提供多源、海量的卫星遥感数据支持，开展大规模的数据处理及分析，满足用户综合遥感信息服务需求已成为当前遥感应用的重要发展趋势之一。
然而，联合多个卫星数据中心构建分布式的遥感数据协同处理***存在技术问题。首先，多源遥感数据分布于不同卫星数据中心中，生产过程大规模的数据迁移影响多数据中心协同处理整体效率；其次，遥感数据处理本身需要进行预处理、后期处理等复杂流程，并且多源遥感数据的处理流程之间存在巨大差异，从而增加了生产工作流管理的复杂性；此外，综合遥感应用往往还需要处理***能够自动完成批量的数据处理任务，在分布式场景下实现复杂流程自动化管理也是影响多数据中心协同处理***构建的关键问题之一。针对海量遥感产品生产需求及多数据中心协同复杂处理流程自动化管理的重要问题，当前解决方案难以根据多卫星数据中心的复杂***架构，***地制定出合适的流程的管理、工作任务自动化组织、调度、扩展管理策略。
发明内容
针对相关技术中的上述技术问题，本发明提出一种面向多卫星数据中心协同遥感产品生产的工作流管理方法，能够克服现有技术的上述不足。
为实现上述技术目的，本发明的技术方案是这样实现的：
一种面向多卫星数据中心协同遥感产品生产的工作流管理方法，包括以下步骤：
S1：对遥感产品生产的通常处理流程进行模型归纳，构建遥感产品生产处理流程库，对于流程库的单个流程，针对多源遥感产品的差异及遥感产品依赖数据源的差异，构建多源遥感数据处理的流程知识库，按照流程库的多级处理流程，在生产过程中动态构建多级任务订单库；
S2：针对多卫星数据中心***的多层级、分布式的***特点，根据Kepler动态工作流***及PBS作业调度***自动构建遥感产品生产的不同粒度的具体任务工作流；
S3：针对多卫星数据中心协同遥感数据处理的数据密集、计算密集、分布式计算、多目标优化的特点，及工作流的层级特点，制定包含数据传输、任务队列和计算性能的基于多卫星数据中心协同遥感产品生产场景的启发式工作流动态调度策略方法；
S4：根据具体自动化、批量的遥感产品生产环境，制定与遥感产品生产相关的多级任务状态监控的策略，及基于重试、检查点恢复、超时退出的容错策略；
S5：针对多源遥感产品生产流程、算法更新迅速的特点，构建了可动态的流程库、算法库，实现了多卫星数据中心多源遥感工作流的动态可扩展管理。
进一步的，步骤S1中，所述的遥感产品生产处理流程库包括遥感产品生产分类及其相应的子流程。
优选的，所述的遥感产品生产分类包括遥感共性产品、遥感融合产品和遥感同化产品；所述的子流程包括预处理流程和后处理流程。
进一步的，步骤S1中，所述的多源遥感数据处理的流程知识库是指多源遥感数据生产同一种遥感产品所包含的不同步骤，具体包括已校正的数据不需要经过几何精矫正、有些数据不需要经过辐射矫正及标准分幅产品无需经过标准分幅。
优选的，所述的多源遥感数据处理的流程知识库还包括不同遥感产品所依赖的不同数据源。
进一步的，步骤S1中，所述的多级任务订单库指在实际生产过程中与遥感产品生产流程库和多源遥感数据处理的流程知识库所对应的具体生产流程，根据不同流程步骤、任务级别和数据源所处的位置，动态产生的多级生产任务订单，所述的多级生产任务订单用于生产流程的自动化构建、监控及调度。
进一步的，步骤S2具体包括：
S2.1：根据Kepler动态工作***的工作流模版进行生产流程的自动化构建，该自动化构建过程依托遥感产品生产流程库和进行多源遥感数据处理的流程知识库，匹配流程进行自动化；
S2.2：基于PBS作业调度***自动构建方法，根据实际批量生产任务特点，制定统一的PBS作业***模版，实现批量任务的统一管理。
进一步的，步骤S3中，所述的基于多卫星数据中心协同遥感产品生产场景的启发式工作流动态调度策略方法具体为：
基于产品生产过程中海量数据传输时间估计、每个卫星数据中心任务队列情况估计和每个卫星数据中心的任务处理能力计算三方面因素，结合***监控及任务订单状态构建预测模型，进行资源匹配和任务调度。
优选的，资源匹配和任务调度的具体步骤是：
S3.1：基于Best-effort调度建立以执行时间约束的目标函数，工作流调度目标为一个三级任务订单的执行时间最短，调度目标函数为：
ECT(t，r)＝max{EAT(t，r)，FAT(t，r)}+EET(t，r)
其中，其中t为一个三级订单任务，r为三级订单所需要的资源集合，ECT(t,r)为三级订单任务的预计完成时间，EET(t,r)为任务调度后在当前数据中心上的任务执行估计时间，EAT(t,r)为当前数据中心可以执行任务t的估计时间，FAT(t,r)为资源r全部在当前数据中心上准备完毕的估计时间；
S3.2：数据资源调度：借助数据管理***，优先分配遥感数据缓存库中已经缓存的数据资源，对于未缓存的数据资源，需要会按照数据类型向对应数据中心请求下载，根据请求数据量估算每个数据中心的FAT(t,r)；
S3.3：计算资源调度：通过部署资源监控***动态监控每个数据中心的性能信息，将CPU、网络、负载信息实时更新到计算资源库中，在调度阶段，根据每个数据中心的监控信息预测数据中心的计算性能，并进行EET(t,r)估计；
S3.4：任务队列计算：通过多级任务订单库查询每个数据中心PBS任务队列以及任务订单库中任务运行状态预测可运行当前任务的时间，并进行EAT(t,r)估计；
S3.5：基于“近数据计算”的原则构建了启发式调度规则，包含了用于调度启发式的规则。
优选的，步骤S3.5中，用于调度启发式的规则包括估计FAT的经验参数，EET估计时各项性能指标的权重参数，资源调度时性能指标阈值。
本发明的有益效果：本发明根据多卫星数据中心协同的遥感产品生产环境设计了适合主从式分布式架构的工作流管理方法，通过构建遥感产品处理流程库、多源遥感数据处理的流程知识库实现多源遥感数据产品的复杂流程管理及复杂数据依赖管理，与之对应的多级任务订单库能够快速实现具体生产工作流的快速构建，如此可大幅简化遥感产品的生产的模型及实现，基于多目标优化的调度规则库实现了产品生产工作流的动态调度管理，最大程度地匹配合适的数据资源和计算资源，从而大大提高多卫星数据中心协同生产的性能，处理流程库、算法库及工作流模板库大大提高了生产工作流管理的扩展性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例所述的多卫星数据中心协同的大规模遥感产品生产工作流管理***整体架构图；
图2是本发明实施例所述的主数据中心上遥感产品生产工作流管理运行时序示意图；
图3是本发明实施例所述的分布式卫星数据中心生产***上任务执行时序示意图；
图4a和图4b是本发明实施例所述的遥感产品处理流程库中的生产处理流程树和多级处理任务订单库示意图；
图5是本发明实施例所述的基于启发式规则的遥感产品动态调度模型图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，根据本发明实施例所述的一种面向多卫星数据中心协同遥感产品生产的工作流管理方法，包括以下步骤：
S1：对遥感产品生产的通常处理流程进行模型归纳，构建遥感产品生产处理流程库，对于流程库的单个流程，针对多源遥感产品的差异及遥感产品依赖数据源的差异，构建多源遥感数据处理的流程知识库，按照流程库的多级处理流程，在生产过程中动态构建多级任务订单库；
S2：针对多卫星数据中心***的多层级、分布式的***特点，根据Kepler动态工作流***及PBS作业调度***自动构建遥感产品生产的不同粒度的具体任务工作流；
S3：针对多卫星数据中心协同遥感数据处理的数据密集、计算密集、分布式计算、多目标优化的特点，及工作流的层级特点，制定包含数据传输、任务队列和计算性能的基于多卫星数据中心协同遥感产品生产场景的启发式工作流动态调度策略方法；
S4：根据具体自动化、批量的遥感产品生产环境，制定与遥感产品生产相关的多级任务状态监控的策略，及基于重试、检查点恢复、超时退出的容错策略；
S5：针对多源遥感产品生产流程、算法更新迅速的特点，构建了可动态的流程库、算法库，实现了多卫星数据中心多源遥感工作流的动态可扩展管理。
在一具体实施例中，步骤S1中，所述的遥感产品生产处理流程库包括遥感产品生产分类及其相应的子流程。
在一具体实施例中，所述的遥感产品生产分类包括遥感共性产品、遥感融合产品和遥感同化产品；所述的子流程包括预处理流程和后处理流程。
在一具体实施例中，步骤S1中，所述的多源遥感数据处理的流程知识库是指多源遥感数据生产同一种遥感产品所包含的不同步骤，具体包括已校正的数据不需要经过几何精矫正、有些数据不需要经过辐射矫正及标准分幅产品无需经过标准分幅。
在一具体实施例中，所述的多源遥感数据处理的流程知识库还包括不同遥感产品所依赖的不同数据源。
在一具体实施例中，步骤S1中，所述的多级任务订单库指在实际生产过程中与遥感产品生产流程库和多源遥感数据处理的流程知识库所对应的具体生产流程，根据不同流程步骤、任务级别和数据源所处的位置，动态产生的多级生产任务订单，所述的多级生产任务订单用于生产流程的自动化构建、监控及调度。
在一具体实施例中，步骤S2具体包括：
S2.1：根据Kepler动态工作***的工作流模版进行生产流程的自动化构建，该自动化构建过程依托遥感产品生产流程库和进行多源遥感数据处理的流程知识库，匹配流程进行自动化；
S2.2：基于PBS作业调度***自动构建方法，根据实际批量生产任务特点，制定统一的PBS作业***模版，实现批量任务的统一管理。
在一具体实施例中，步骤S3中，所述的基于多卫星数据中心协同遥感产品生产场景的启发式工作流动态调度策略方法具体为：
基于产品生产过程中海量数据传输时间估计、每个卫星数据中心任务队列情况估计和每个卫星数据中心的任务处理能力计算三方面因素，结合***监控及任务订单状态构建预测模型，进行资源匹配和任务调度。
在一具体实施例中，资源匹配和任务调度的具体步骤是：
S3.1：基于Best-effort调度建立以执行时间约束的目标函数，工作流调度目标为一个三级任务订单的执行时间最短，调度目标函数为：
ECT(t，r)＝max{EAT(t，r)，FAT(t，r)}+EET(t，r)
其中，其中t为一个三级订单任务，r为三级订单所需要的资源集合，ECT(t,r)为三级订单任务的预计完成时间，EET(t,r)为任务调度后在当前数据中心上的任务执行估计时间，EAT(t,r)为当前数据中心可以执行任务t的估计时间，FAT(t,r)为资源r全部在当前数据中心上准备完毕的估计时间；
S3.2：数据资源调度：借助数据管理***，优先分配遥感数据缓存库中已经缓存的数据资源，对于未缓存的数据资源，需要会按照数据类型向对应数据中心请求下载，根据请求数据量估算每个数据中心的FAT(t,r)；
S3.3：计算资源调度：通过部署资源监控***动态监控每个数据中心的性能信息，将CPU、网络、负载信息实时更新到计算资源库中，在调度阶段，根据每个数据中心的监控信息预测数据中心的计算性能，并进行EET(t,r)估计；
S3.4：任务队列计算：通过多级任务订单库查询每个数据中心PBS任务队列以及任务订单库中任务运行状态预测可运行当前任务的时间，并进行EAT(t,r)估计；
S3.5：基于“近数据计算”的原则构建了启发式调度规则，包含了用于调度启发式的规则。
其中，步骤S3.5中，用于调度启发式的规则包括估计FAT的经验参数，EET估计时各项性能指标的权重参数，资源调度时性能指标阈值。
为了方便理解本发明的上述技术方案，以下通过具体使用方式上对本发明的上述技术方案进行详细说明。
根据本发明所述的一种面向多卫星数据中心协同遥感产品生产的工作流管理方法，包括以下基本组件与模块：
1)多数据中心协同遥感产品生产架构包括一个主数据中心和多个分布式的卫星数据中心，并基于此构建整个工作流***。在主数据中心上构建了产品生产的处理流程库，多源遥感数据处理的流程知识库，并在主数据中心和分布式卫星数据中心建立了多级任务订单库用于遥感产品生产流程的统一管理，并实现全局计算任务的订单拆分，状态监控与反馈；
2)在工作流自动构建模块，主数据中心上的处理流程库，工作流模板库、任务订单库等能够实现复杂处理流程的自动匹配、任务分解和抽象工作流的组织，基于Kepler科学工作流***，从而实现抽象工作流到具体工作流的自动构建；
3)在工作流动态调度模块，借助主数据中心上对算法资源与计算资源进行统一的管理，为工作流调度提供信息服务。在调度框架上***整体采用两级调度策略，在主数据中心利用每个数据中心的性能监控信息及任务负载信息，将计算任务调度到每个数据中心，在数据中心内部基于Torque PBS调度***实现处理任务作业管理与调度；
4)在工作流监控与容错模块，各分布式卫星数据中心主动向主数据中心的产品反馈任务状态，主数据中心的Kepler工作流执行过程中会查询任务的执行状态，中途出错时，***会根据预定的容错策略，进行重试、检查点恢复、超时退出等策略，进行生产工作流的容错，直到工作流运行结束。
具体多卫星数据中心协同遥感产品生产时，主数据中心上遥感产品生产工作流管理运行时序如图2所示，分别进行抽象工作流构建、任务调度、具体工作流的自动构建、工作流校验与执行、工作流状态监控与容错。分布式卫星数据中心生产***上任务执行时序如图3所示，任务接受、PBS作业订单的自动生成、PBS算法脚本的批量提交、PBS订单监控与容错处理、任务订单状态的反馈。
具体使用时，1)、生产处理任务树和多级处理任务订单库
本发明采用的产品生产处理任务树和多级处理任务订单库的生成方法如图4所示，根据产品生产所需的原始数据类型自动匹配多源遥感数据预处理流程库及不同遥感数据处理流程知识库，匹配完成后，任务流程库中建立一个任务树状结构的遥感产品处理流程如图4a所示。任务树构造完成后需要进行任务订单初步处理、订单数据解析、订单生产确认、生产流程的匹配、多级订单的拆分等处理任务的自动匹配分解之后，在主数据中心多级订单库中形成了与处理流程库对应的多级任务订单，如图4b所示，多级任务订单先后关系、所属关系便得到明确，形成了产品生产处理流程的抽象的工作流。
2)、遥感产品生产具体工作流自动构建
在本发明中，主数据中心的具体工作流的自动构建需要借助已经生成的多级订单库和基于Kepler工作流的具体工作流自动构建模版，在该模版中，对应多级任务订单库，例如二级订单为单位的工作流文件，该文件包含多个处理流程，每个处理流程主要为一个三级订单，每个三级订单主要包含任务提交、执行状态查询、任务状态逐级反馈等逻辑，工作流能够通过分支逻辑自动更新错误状态，然后停止工作流，避免了错误逻辑。其次，将所有Actors连接起来，并按照功能模块分组，形成了整个三级订单的工作流模版。最后，可以按照抽象工作流的流程，将任意的三级订单的Kepler工作流模版组合，形成了工作流模版。
3)、两级遥感产品生产任务动态调度框架
在主数据中心上基于启发式规则为工作流任务选择合适的数据中心资源，主要以下步骤完成：1、目标函数的建立：基于Best-effort调度建立以执行时间约束的目标函数，工作流调度目标为一个三级任务订单的执行时间最短，调度目标函数为
ECT(t，r)＝max{EAT(t，r)，FAT(t，r)}+EET(t，r)
其中t为一个三级订单任务，r为三级订单所需要的资源集合，本***中主要为遥感数据，ECT(t,r)为三级订单任务的预计完成时间(Estimated Completion Time,ECT)，EET(t,r)为任务调度后在当前数据中心上的任务执行估计时间(Estimated ExecutionTime,EET)，主要影响因素为数据中心计算性能，EAT(t,r)为当前数据中心可以执行任务t的估计时间(Estimated Availability Time,EAT)，只要影像因素为当前数据中心的任务队列，FAT(t,r)为资源r全部在当前数据中心上准备完毕的估计时间(File AvailableTime,FAT)，主要影响因素为数据资源传输。目标函数考虑了每个计算资源执行任务时数据准备时间FAT，调度之前的任务队列完成时间EAT，当前订单任务执行时间EET；2、数据资源调度：借助数据管理***，优先分配遥感数据缓存库中已经缓存的数据资源，对于未缓存的数据资源，需要会按照数据类型向对应数据中心请求下载，根据请求数据量估算每个数据中心的FAT(t,r)；3、计算资源调度：通过部署资源监控***动态监控每个数据中心的性能信息，将CPU、IO、Mem、网络、负载等信息实时更新到计算资源库中，在调度阶段，根据每个数据中心的监控信息预测数据中心的计算性能，并进行EET(t,r)估计；4、任务队列计算：通过多级任务订单库查询每个数据中心PBS任务队列以及任务订单库中任务运行状态预测可运行当前任务的时间，并进行EAT(t,r)估计；5此外，基于“近数据计算”的原则构建了启发式调度规则，包含了一些用于调度启发式的规则，包括估计FAT的经验参数，EET估计时各项性能指标的权重参数，资源调度时性能指标阈值，基于调度规则库，能够完成批量遥感数据分布式处理任务的自动化调度，其动态调度过程如下图5所示。
各卫星数据中心的PBS任务的调度策略为采用先来先服务FIFO(First In FirstOut)和基于优先级的综合调度策略，然后按照作业队列的优先顺序进行相应的PBS算法处理订单的执行。
按照以上介绍，发明完成了一套大规模、分布式多源遥感产品生产工作流管理方法，主要适用于主从架构的多卫星数据中心协同处理环境。本方法利用统一的流程管理、自动化的工作流构建、启发式多目标优化调度、流程的可靠控制与监控等策略，能够大大提升多数据中心协同多源遥感产品***业务性能及生产效率。
综上所述，本发明根据多卫星数据中心协同的遥感产品生产环境设计了适合主从式分布式架构的工作流管理方法，通过构建遥感产品处理流程库、多源遥感数据处理的流程知识库实现多源遥感数据产品的复杂流程管理及复杂数据依赖管理，与之对应的多级任务订单库能够快速实现具体生产工作流的快速构建，如此可大幅简化遥感产品的生产的模型及实现，基于多目标优化的调度规则库实现了产品生产工作流的动态调度管理，最大程度地匹配合适的数据资源和计算资源，从而大大提高多卫星数据中心协同生产的性能，处理流程库、算法库及工作流模板库大大提高了生产工作流管理的扩展性。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种面向多卫星数据中心协同遥感产品生产的工作流管理方法，其特征在于，包括以下步骤：
S1：对遥感产品生产的通常处理流程进行模型归纳，构建遥感产品生产处理流程库，对于流程库的单个流程，针对多源遥感产品的差异及遥感产品依赖数据源的差异，构建多源遥感数据处理的流程知识库，按照流程库的多级处理流程，在生产过程中动态构建多级任务订单库；
S2：针对多卫星数据中心***的多层级、分布式的***特点，根据Kepler动态工作流***及PBS作业调度***自动构建遥感产品生产的不同粒度的具体任务工作流；
S3：针对多卫星数据中心协同遥感数据处理的数据密集、计算密集、分布式计算、多目标优化的特点，及工作流的层级特点，制定包含数据传输、任务队列和计算性能的基于多卫星数据中心协同遥感产品生产场景的启发式工作流动态调度策略方法；
S4：根据具体自动化、批量的遥感产品生产环境，制定与遥感产品生产相关的多级任务状态监控的策略，及基于重试、检查点恢复、超时退出的容错策略；
S5：针对多源遥感产品生产流程、算法更新迅速的特点，构建了可动态的流程库、算法库，实现了多卫星数据中心多源遥感工作流的动态可扩展管理。
2.根据权利要求1所述的一种面向多卫星数据中心协同遥感产品生产的工作流管理方法，其特征在于，步骤S1中，所述的遥感产品生产处理流程库包括遥感产品生产分类及其相应的子流程。
3.根据权利要求2所述的一种面向多卫星数据中心协同遥感产品生产的工作流管理方法，其特征在于，所述的遥感产品生产分类包括遥感共性产品、遥感融合产品和遥感同化产品；所述的子流程包括预处理流程和后处理流程。
4.根据权利要求1所述的一种面向多卫星数据中心协同遥感产品生产的工作流管理方法，其特征在于，步骤S1中，所述的多源遥感数据处理的流程知识库是指多源遥感数据生产同一种遥感产品所包含的不同步骤，具体包括已校正的数据不需要经过几何精矫正、有些数据不需要经过辐射矫正及标准分幅产品无需经过标准分幅。
5.根据权利要求4所述的一种面向多卫星数据中心协同遥感产品生产的工作流管理方法，其特征在于，所述的多源遥感数据处理的流程知识库还包括不同遥感产品所依赖的不同数据源。
6.根据权利要求1所述的一种面向多卫星数据中心协同遥感产品生产的工作流管理方法，其特征在于，步骤S1中，所述的多级任务订单库指在实际生产过程中与遥感产品生产流程库和多源遥感数据处理的流程知识库所对应的具体生产流程，根据不同流程步骤、任务级别和数据源所处的位置，动态产生的多级生产任务订单，所述的多级生产任务订单用于生产流程的自动化构建、监控及调度。
7.根据权利要求1所述的一种面向多卫星数据中心协同遥感产品生产的工作流管理方法，其特征在于，步骤S2具体包括：
S2.1：根据Kepler动态工作***的工作流模版进行生产流程的自动化构建，该自动化构建过程依托遥感产品生产流程库和进行多源遥感数据处理的流程知识库，匹配流程进行自动化；
S2.2：基于PBS作业调度***自动构建方法，根据实际批量生产任务特点，制定统一的PBS作业***模版，实现批量任务的统一管理。
8.根据权利要求1所述的一种面向多卫星数据中心协同遥感产品生产的工作流管理方法，其特征在于，步骤S3中，所述的基于多卫星数据中心协同遥感产品生产场景的启发式工作流动态调度策略方法具体为：
基于产品生产过程中海量数据传输时间估计、每个卫星数据中心任务队列情况估计和每个卫星数据中心的任务处理能力计算三方面因素，结合***监控及任务订单状态构建预测模型，进行资源匹配和任务调度。
9.根据权利要求8所述的一种面向多卫星数据中心协同遥感产品生产的工作流管理方法，其特征在于，资源匹配和任务调度的具体步骤是：
S3.1：基于Best-effort调度建立以执行时间约束的目标函数，工作流调度目标为一个三级任务订单的执行时间最短，调度目标函数为：
其中，其中t为一个三级订单任务，r为三级订单所需要的资源集合，ECT(t,r)为三级订单任务的预计完成时间，EET(t,r)为任务调度后在当前数据中心上的任务执行估计时间，EAT(t,r)为当前数据中心可以执行任务t的估计时间，FAT(t,r)为资源r全部在当前数据中心上准备完毕的估计时间；
S3.2：数据资源调度：借助数据管理***，优先分配遥感数据缓存库中已经缓存的数据资源，对于未缓存的数据资源，需要会按照数据类型向对应数据中心请求下载，根据请求数据量估算每个数据中心的FAT(t,r)；
S3.3：计算资源调度：通过部署资源监控***动态监控每个数据中心的性能信息，将CPU、网络、负载信息实时更新到计算资源库中，在调度阶段，根据每个数据中心的监控信息预测数据中心的计算性能，并进行EET(t,r)估计；
S3.4：任务队列计算：通过多级任务订单库查询每个数据中心PBS任务队列以及任务订单库中任务运行状态预测可运行当前任务的时间，并进行EAT(t,r)估计；
S3.5：基于“近数据计算”的原则构建了启发式调度规则，包含了用于调度启发式的规则。
10.根据权利要求9所述的一种面向多卫星数据中心协同遥感产品生产的工作流管理方法，其特征在于，步骤S3.5中，用于调度启发式的规则包括估计FAT的经验参数，EET估计时各项性能指标的权重参数，资源调度时性能指标阈值。
CN201810671454.XA 2018-06-26 2018-06-26 面向多卫星数据中心协同遥感产品生产的工作流管理方法 Pending CN108985709A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810671454.XA CN108985709A (zh) 2018-06-26 2018-06-26 面向多卫星数据中心协同遥感产品生产的工作流管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810671454.XA CN108985709A (zh) 2018-06-26 2018-06-26 面向多卫星数据中心协同遥感产品生产的工作流管理方法

Publications (1)

Publication Number Publication Date
CN108985709A true CN108985709A (zh) 2018-12-11

Family

ID=64538833

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810671454.XA Pending CN108985709A (zh) 2018-06-26 2018-06-26 面向多卫星数据中心协同遥感产品生产的工作流管理方法

Country Status (1)

Country Link
CN (1) CN108985709A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109657862A (zh) * 2018-12-20 2019-04-19 中国地质大学（武汉） 一种多源遥感数据产品生产工作流自组织方法
CN109977036A (zh) * 2019-02-19 2019-07-05 东软集团股份有限公司 缓存流程模板的方法、装置、存储介质及电子设备
CN110941463A (zh) * 2019-11-13 2020-03-31 中国科学院遥感与数字地球研究所 一种遥感卫星数据预处理多级产品自驱动***
CN111404593A (zh) * 2020-03-13 2020-07-10 北京华云星地通科技有限公司 卫星遥感数据的处理方法
CN111669213A (zh) * 2020-05-22 2020-09-15 军事科学院***工程研究院网络信息研究所 一种卫星通信资源的动态管控***体系架构和管控方法
CN111754073A (zh) * 2020-05-19 2020-10-09 北京吉威空间信息股份有限公司 空间数据业务的集中式处理与分布式作业框架构建方法
CN112231086A (zh) * 2020-10-22 2021-01-15 中国科学院空天信息创新研究院 一种遥感信息产品的生产工作流描述及调度方法及装置
CN112308443A (zh) * 2020-11-09 2021-02-02 中国科学院空天信息创新研究院 一种遥感信息产品生成工作流的批量调度方法及装置
CN112488492A (zh) * 2020-11-26 2021-03-12 中科星通(廊坊)信息技术有限公司 一种基于优先级的遥感产品生产调度方法
CN112698859A (zh) * 2020-12-31 2021-04-23 中科星通(廊坊)信息技术有限公司 一种基于遥感数据的在线产品定制***以及定制方法
CN113010598A (zh) * 2021-04-28 2021-06-22 河南大学 面向遥感大数据处理的动态自适应分布式协同工作流***
CN114461357A (zh) * 2021-12-22 2022-05-10 中国科学院空天信息创新研究院 一种遥感卫星原始数据实时处理流程调度引擎

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104484230A (zh) * 2014-12-31 2015-04-01 中国科学院遥感与数字地球研究所 基于近数据计算原则的多卫星数据中心工作流调度算法
CN105094982A (zh) * 2014-09-23 2015-11-25 航天恒星科技有限公司 一种多星遥感数据处理***
CN106022245A (zh) * 2016-05-16 2016-10-12 中国资源卫星应用中心 一种基于算法分类的多源遥感卫星数据并行处理***及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105094982A (zh) * 2014-09-23 2015-11-25 航天恒星科技有限公司 一种多星遥感数据处理***
CN104484230A (zh) * 2014-12-31 2015-04-01 中国科学院遥感与数字地球研究所 基于近数据计算原则的多卫星数据中心工作流调度算法
CN106022245A (zh) * 2016-05-16 2016-10-12 中国资源卫星应用中心 一种基于算法分类的多源遥感卫星数据并行处理***及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHANG, J., YAN, J., MA, Y. ET AL.: "《Infrastructures and services for remote sensing data production management across multiple satellite data centers》", 《CLUSTER COMPUT（2016）》 *
ZHANG,W.,WANG,L.,LIU,D.,SONG,W.,MA,Y.,LIU,P.,CHEN,D.: "《Towards building a multi-datacenter infrastructure for massive remote sensing image processing》", 《CONCURRENCY&COMPTUTATION PRACTICE&EXPERINECE》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109657862A (zh) * 2018-12-20 2019-04-19 中国地质大学（武汉） 一种多源遥感数据产品生产工作流自组织方法
CN109977036A (zh) * 2019-02-19 2019-07-05 东软集团股份有限公司 缓存流程模板的方法、装置、存储介质及电子设备
CN110941463A (zh) * 2019-11-13 2020-03-31 中国科学院遥感与数字地球研究所 一种遥感卫星数据预处理多级产品自驱动***
CN111404593B (zh) * 2020-03-13 2022-02-15 北京华云星地通科技有限公司 卫星遥感数据的处理方法及装置
CN111404593A (zh) * 2020-03-13 2020-07-10 北京华云星地通科技有限公司 卫星遥感数据的处理方法
CN111754073A (zh) * 2020-05-19 2020-10-09 北京吉威空间信息股份有限公司 空间数据业务的集中式处理与分布式作业框架构建方法
CN111754073B (zh) * 2020-05-19 2023-08-18 北京吉威空间信息股份有限公司 空间数据业务的集中式处理与分布式作业框架构建方法
CN111669213A (zh) * 2020-05-22 2020-09-15 军事科学院***工程研究院网络信息研究所 一种卫星通信资源的动态管控***体系架构和管控方法
CN112231086A (zh) * 2020-10-22 2021-01-15 中国科学院空天信息创新研究院 一种遥感信息产品的生产工作流描述及调度方法及装置
CN112231086B (zh) * 2020-10-22 2024-04-26 中国科学院空天信息创新研究院 一种遥感信息产品的生产工作流描述及调度方法及装置
CN112308443A (zh) * 2020-11-09 2021-02-02 中国科学院空天信息创新研究院 一种遥感信息产品生成工作流的批量调度方法及装置
CN112488492A (zh) * 2020-11-26 2021-03-12 中科星通(廊坊)信息技术有限公司 一种基于优先级的遥感产品生产调度方法
CN112698859A (zh) * 2020-12-31 2021-04-23 中科星通(廊坊)信息技术有限公司 一种基于遥感数据的在线产品定制***以及定制方法
CN113010598B (zh) * 2021-04-28 2022-11-01 河南大学 面向遥感大数据处理的动态自适应分布式协同工作流***
CN113010598A (zh) * 2021-04-28 2021-06-22 河南大学 面向遥感大数据处理的动态自适应分布式协同工作流***
CN114461357A (zh) * 2021-12-22 2022-05-10 中国科学院空天信息创新研究院 一种遥感卫星原始数据实时处理流程调度引擎
CN114461357B (zh) * 2021-12-22 2022-11-11 中国科学院空天信息创新研究院 一种遥感卫星原始数据实时处理流程调度***

Similar Documents

Publication Publication Date Title
CN108985709A (zh) 面向多卫星数据中心协同遥感产品生产的工作流管理方法
CN102780759B (zh) 基于调度目标空间的云计算资源调度方法
Joo et al. Multi-layered optimization of demand resources using lagrange dual decomposition
CN103092683B (zh) 用于数据分析的基于启发式的调度
CN101957780B (zh) 一种基于资源状态信息的网格任务调度处理器及方法
US20220027817A1 (en) Deep reinforcement learning for production scheduling
CN105260818B (zh) 混合云环境下带截止日期约束工作流组的在线优化调度方法
Liu et al. Resource preprocessing and optimal task scheduling in cloud computing environments
CN104731657B (zh) 一种资源调度方法和***
CN107015856A (zh) 云环境下科学工作流中的任务调度方案生成方法及装置
TWI788650B (zh) 用於半導體加工調度的方法、半導體加工調度系統和非暫時性電腦可讀儲存介質
CN102752395B (zh) 一种用于分布式数据中心实时业务分配的在线调度方法
Durgadevi et al. Resource allocation in cloud computing using SFLA and cuckoo search hybridization
CN103246969B (zh) 一种物流调配的实现方法和装置
CN110739696A (zh) 智能配网环境中需求侧资源与可再生能源的集成调度方法
CN108416523A (zh) 任务调度方法、装置、电子设备及存储介质
CN110928651B (zh) 一种移动边缘环境下的服务工作流容错调度方法
Cao et al. A parallel computing framework for large-scale air traffic flow optimization
CN109559033B (zh) 一种面向云设计制造模式的社交化团队成员优选方法
CN109615143A (zh) 基于多QoS约束的广域信息管理***任务调度蚁群优化算法
Li et al. An agent-based approach to optimizing modular vehicle fleet operation
CN113010296B (zh) 基于形式化模型的任务解析与资源分配方法及***
US20220263313A1 (en) Data structure comprising an energy schedule and method for providing a data structure comprising an energy schedule
CN115964182B (zh) 资源的调度方法和***
CN107274135A (zh) 基于协同信息共享的烟叶原料统筹方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181211