CN112099976A - 政务数据交换任务调度方法和装置 - Google Patents

政务数据交换任务调度方法和装置 Download PDF

Info

Publication number
CN112099976A
CN112099976A CN202011036287.5A CN202011036287A CN112099976A CN 112099976 A CN112099976 A CN 112099976A CN 202011036287 A CN202011036287 A CN 202011036287A CN 112099976 A CN112099976 A CN 112099976A
Authority
CN
China
Prior art keywords
data exchange
task
metadata
data
message queue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011036287.5A
Other languages
English (en)
Inventor
余乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Construction Bank Corp
Original Assignee
China Construction Bank Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Construction Bank Corp filed Critical China Construction Bank Corp
Priority to CN202011036287.5A priority Critical patent/CN112099976A/zh
Publication of CN112099976A publication Critical patent/CN112099976A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/547—Remote procedure calls [RPC]; Web services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/548—Queue

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种政务数据交换任务调度方法和装置，该方法包括：获取数据订阅机构发送的数据订阅请求，该数据订阅请求包括：目录元数据；根据该目录元数据获取任务元数据；将该任务元数据发送至消息队列，以使各机构的前端主机通过订阅消息队列中的该任务元数据进而控制数据交换，通过采用上述技术方案，使得各机构的前端主机之间根据消息队列中的任务元数据进行数据交换，数据不需要通过政务数据资源中心，解决任务之间相互争抢资源、一个任务崩溃后影响其他任务执行等问题。

Description

政务数据交换任务调度方法和装置
技术领域
本发明涉及计算机技术领域，尤其涉及一种政务数据交换任务调度方法和装置。
背景技术
随着电子化政务服务的发展，各政务部门对数据的需求越来越多，数据交换任务的工作强度和复杂度也在不断的增加。数据交换场景多为点对点，如：局办对局办、局办对中心、中心对局办等。政务数据共享交换作为政务部门间数据流通的主要机制，现正经历数据交换场景愈加频繁、数据交换量日益增大的过程。
传统的政务数据交换任务调度的方式依赖中心化执行数据交换任务，依赖政务数据资源中心的计算、存储与网络资源，但是，政务数据资源中心资源有限，中心化的数据交换任务多为顺序执行，当某两个点之间存在较为消耗资源与时间的数据交换任务的情况下，会延迟其他无关的数据交换任务的完成时间，另外，中心化的数据交换任务多为单实例执行，当某两个点之间的数据交换任务导致实例崩溃，会导致其他无关的数据交换任务都无法执行，即：现有中心化政务数据交换任务调度技术会导致任务之间相互争抢资源、一个任务崩溃后影响其他任务执行等问题。
发明内容
针对现有技术中的问题，本发明提供一种政务数据交换任务调度方法和装置，能够至少部分地解决现有技术中存在的问题。
为了实现上述目的，本发明采用如下技术方案：
第一方面，提供一种政务数据交换任务调度方法，包括：
获取数据订阅机构发送的数据订阅请求，该数据订阅请求包括：目录元数据；
根据该目录元数据获取任务元数据；
将该任务元数据发送至消息队列，以使各机构的前端主机通过订阅消息队列中的该任务元数据进而控制数据交换。
进一步地，该根据该目录元数据获取任务元数据，包括：
根据该目录元数据形成交换元数据；
根据该交换元数据形成任务元数据。
进一步地，政务数据交换任务调度方法还包括：
获取数据生产机构发送的信息资源目录；
根据该信息资源目录得到该目录元数据并展示，以便数据订阅机构基于展示的目录元数据下达数据订阅请求。
进一步地，该消息队列为kafka。
进一步地，政务数据交换任务调度方法还包括：
订阅消息队列中的由各机构的前置主机发送的数据交换状态信息；
根据该数据交换状态信息记录数据交换任务执行状态。
进一步地，政务数据交换任务调度方法还包括：
订阅消息队列中的由各机构的前置主机发送的本地数据交换账目信息；
根据该本地数据交换账目信息记录数据交换历史。
第二方面，提供一种政务数据交换任务调度装置，包括：
数据订阅请求获取模块，获取数据订阅机构发送的数据订阅请求，该数据订阅请求包括：目录元数据；
任务元数据获取模块，根据该目录元数据获取任务元数据；
数据交换控制模块，将该任务元数据发送至消息队列，以使各机构的前端主机通过订阅消息队列中的该任务元数据进而控制数据交换。
进一步地，该任务元数据获取模块包括：
交换元数据获取单元，根据该目录元数据形成交换元数据；
任务元数据产生单元，根据该交换元数据形成任务元数据。
进一步地，政务数据交换任务调度装置还包括：
信息资源目录获取模块，获取数据生产机构发送的信息资源目录；
目录元数据产生展示模块，根据该信息资源目录得到该目录元数据并展示，以便数据订阅机构基于展示的目录元数据下达数据订阅请求。
进一步地，该消息队列为kafka。
进一步地，政务数据交换任务调度装置还包括：
数据交换状态信息订阅模块，订阅消息队列中的由各机构的前置主机发送的数据交换状态信息；
任务执行状态记录模块，根据该数据交换状态信息记录数据交换任务执行状态。
进一步地，政务数据交换任务调度装置还包括：
交换账目信息订阅模块，订阅消息队列中的由各机构的前置主机发送的本地数据交换账目信息；
数据交换历史记录模块，根据该本地数据交换账目信息记录数据交换历史。
第三方面，提供一种政务数据交换任务调度方法，包括：
订阅消息队列中的任务元数据；
根据该任务元数据控制数据交换。
进一步地，在进行数据交换前，还包括：
记录本地数据交换账目信息。
进一步地，在进行数据交换时，还包括：
将数据交换状态信息发送至消息队列，以使政务数据资源中心通过订阅消息队列中的该数据交换状态信息记录数据交换任务执行状态。
进一步地，在进行数据交换后，还包括：
将本次数据交换对应的本地数据交换账目信息发送至消息队列，以使政务数据资源中心通过订阅消息队列中的该本地数据交换账目信息记录数据交换历史。
第四方面，提供一种政务数据交换任务调度装置，包括：
任务元数据订阅模块，订阅消息队列中的任务元数据；
数据交换模块，根据该任务元数据控制数据交换。
进一步地，政务数据交换任务调度装置还包括：
交换账目记录模块，记录本地数据交换账目信息。
进一步地，政务数据交换任务调度装置还包括：
数据交换状态信息发布模块，将数据交换状态信息发送至消息队列，以使政务数据资源中心通过订阅消息队列中的该数据交换状态信息记录数据交换任务执行状态。
进一步地，政务数据交换任务调度装置还包括：
交换账目发送模块，在进行数据交换后，将本次数据交换对应的本地数据交换账目信息发送至消息队列，以使政务数据资源中心通过订阅消息队列中的该本地数据交换账目信息记录数据交换历史。
第三方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，该处理器执行该程序时实现上述的政务数据交换任务调度方法的步骤。
第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的政务数据交换任务调度方法的步骤。
本发明提供的政务数据交换任务调度方法和装置，该方法包括：获取数据订阅机构发送的数据订阅请求，该数据订阅请求包括：目录元数据；根据该目录元数据获取任务元数据；将该任务元数据发送至消息队列，以使各机构的前端主机通过订阅消息队列中的该任务元数据进而控制数据交换，通过采用上述技术方案，使得各机构的前端主机之间根据消息队列中的任务元数据进行数据交换，数据不需要通过政务数据资源中心，解决任务之间相互争抢资源、一个任务崩溃后影响其他任务执行等问题。
为让本发明的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为利用本发明实施例中政务数据交换任务调度方法的***架构示意图；
图2是本发明实施例中的政务数据资源中心执行的政务数据交换任务调度方法的流程示意图一；
图3示出了本发明实施例中的步骤S200的具体步骤；
图4是本发明实施例中的政务数据资源中心执行的政务数据交换任务调度方法的流程示意图二；
图5示出了本发明实施例中的步骤S600和步骤S700；
图6示出了本发明实施例中的步骤S800和步骤S900；
图7举例说明了本发明实施例中的局办对中心数据交换任务的调度流程；
图8举例说明了本发明实施例中的局办对局办数据交换任务的调度流程；
图9是本发明实施例中的政务数据资源中心中的政务数据交换任务调度装置的结构框图一；
图10示出了任务元数据获取模块的结构框图；
图11是本发明实施例中的政务数据资源中心中的政务数据交换任务调度装置的结构框图二；
图12示出了本发明实施例中各机构的前端主机执行的政务数据交换任务调度方法的流程示意图一；
图13示出了本发明实施例中各机构的前端主机执行的政务数据交换任务调度方法的流程示意图二；
图14示出了本发明实施例中的步骤S4000和步骤S5000；
图15是本发明实施例中的前端主机中的政务数据交换任务调度装置的结构框图一；
图16是本发明实施例中的前端主机中的政务数据交换任务调度装置的结构框图二；
图17为本发明实施例电子设备的结构图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
现有中心化政务数据交换任务调度技术会导致任务之间相互争抢资源、一个任务崩溃后影响其他任务执行等问题。
为至少部分解决上述技术问题，本发明实施例提供了一种政务数据交换任务调度方法，使得各机构的前端主机之间根据消息队列中的任务元数据进行数据交换，数据不需要通过政务数据资源中心，解决任务之间相互争抢资源、一个任务崩溃后影响其他任务执行等问题。
图1为利用本发明实施例中政务数据交换任务调度方法的***架构示意图；如图1所示，机构A作为产生数据的部门，其经办人通过客户端设备A1发布信息资源目录，政务数据资源中心服务器S1接收信息资源目录并发布，机构B作为需要机构A的数据或称使用机构A的数据的部门，其经办人通过客户端设备B1能够看到政务数据资源中心服务器S1发布的机构A上传的信息资源目录的目录元数据，而后向政务数据资源中心服务器S1发布数据订阅请求，政务数据资源中心服务器S1获取数据订阅机构发送的数据订阅请求，所述数据订阅请求包括：目录元数据，对客户端设备B1上传的数据订阅请求进行审核校验后，确定可以将请求的数据发送给机构B后，根据所述目录元数据获取任务元数据，将所述任务元数据发送至消息队列；机构A的前端主机和机构B的前端主机均实时订阅消息队列中的消息，当机构A的前端主机和机构B的前端主机接收到该任务元数据后，得知该数据源交换服务与自身有关，则根据该任务元数据，在机构A的前端主机和机构B的前端主机之间通过传输路径进行数据交换，由此实现了交换的数据不需要通过政务数据资源中心的数据交换。
可以理解的是，客户端设备可以包括智能手机、平板电子设备、便携式计算机、台式电脑等。
服务器与客户端设备之间可以使用任何合适的网络协议进行通信，包括在本申请提交日尚未开发出的网络协议。所述网络协议例如可以包括TCP/IP协议、UDP/IP协议、HTTP协议、HTTPS协议等。当然，所述网络协议例如还可以包括在上述协议之上使用的RPC协议(Remote Procedure Call Protocol，远程过程调用协议)、REST协议(RepresentationalState Transfer，表述性状态转移协议)等。
图2是本发明实施例中的政务数据资源中心执行的政务数据交换任务调度方法的流程示意图一；如图2所示，该政务数据交换任务调度方法可以包括以下内容：
步骤S100：获取数据订阅机构发送的数据订阅请求，所述数据订阅请求包括：目录元数据。
其中，数据订阅机构发送的数据订阅请求是数据订阅机构的经办人在通过客户端设备看到政务数据资源中心发布的目录后，通过客户端设备发送给政务数据资源中心的。
值得说明的是，目录元数据是对数据生产机构的数据进行描述的数据。
步骤S200：根据所述目录元数据获取任务元数据；
其中，任务元数据根据目录元数据产生，具体包括：发送方信息、接收方信息、需要在机构之间交换的数据、数据库以及消息队列地址等等。其中，该发送方信息和接收方信息可以是机构名称、机构代码和/或机构的前端主机的ID等。
步骤S300：将所述任务元数据发送至消息队列，以使各机构的前端主机通过订阅消息队列中的该任务元数据进而控制数据交换。
具体地，消息队列可以为基于Spring框架的Kafka消息队列。在微服务架构的***中，使用Kafka消息队列来构建一个共用的消息主题让***中所有数据交换任务的实例都连接上来，即消息总线。通过消息总线对分布式的数据交换任务进行调度。
其中，各机构的前端主机通过订阅消息队列中的该任务元数据进而控制数据交换时，根据交换元数据进行封装处理产生交换任务，而后根据交换任务执行数据交换。
通过采用上述技术方案，使得各机构的前端主机之间根据消息队列中的任务元数据进行数据交换，数据不需要通过政务数据资源中心，解决任务之间相互争抢资源、一个任务崩溃后影响其他任务执行等问题。
在一个可选的实施例中，参见图3，该步骤S200可以包括以下内容：
步骤S210：根据所述目录元数据形成交换元数据。
其中，交换元数据根据目录元数据产生，具体包括：发送方信息、接收方信息、需要在机构之间交换的数据等。其中，该发送方信息和接收方信息可以是机构名称、机构代码和/或机构的前端主机的ID等。
步骤S220：根据所述交换元数据形成任务元数据。
任务元数据与交换元数据相比，包括更细粒度的信息，比如数据库、消息队列地址等。
通过采用上述技术方案，能够提高数据交换的速度和便捷度。
在一个可选的实施例中，参见图4，该政务数据交换任务调度方法还可以包括：
步骤S400：获取数据生产机构发送的信息资源目录；
具体地，该信息资源目录是一种描述性的数据，具体描述数据生产机构的数据是什么数据、数据量以及产生时间等等。
步骤S500：根据所述信息资源目录得到所述目录元数据并展示，以便数据订阅机构基于展示的目录元数据下达数据订阅请求。
具体地，目录元数据是对数据生产机构的数据进行描述的数据。
通过采用上述技术方案，能够进一步提高数据交换的速度和便捷度。
在一个可选的实施例中，参见图5，该政务数据交换任务调度方法还可以包括：
步骤S600：订阅消息队列中的由各机构的前置主机发送的数据交换状态信息；
具体地，在各机构的前置主机进行数据交换时，会实时记录数据交换状态信息，并发送至消息队列，以供政务数据资源中心订阅。
步骤S700：根据所述数据交换状态信息记录数据交换任务执行状态。
其中，政务数据资源中心根据数据交换状态信息能够得知并记录数据交换任务执行状态，以便对数据交换过程进行整体把握，并实现数据交换日志的记录，以便需要时溯源。
通过采用上述技术方案，能够进一步提高数据交换的安全性和可靠性。
在一个可选的实施例中，参见图6，该政务数据交换任务调度方法还可以包括：
步骤S800：订阅消息队列中的由各机构的前置主机发送的本地数据交换账目信息；
步骤S900：根据所述本地数据交换账目信息记录数据交换历史。
与上述技术方案相似，在各机构的前置主机进行数据交换时，会记录本地数据交换账目信息，并发送至消息队列，以供政务数据资源中心订阅。政务数据资源中心根据本地数据交换账目信息能够得知数据交换的账目，以便对数据的去向进行准确把握和记录，以便需要时溯源。
综上所述，本发明实施例中完成了分布式数据交换任务的调度、分布式数据交换任务的执行、分布式数据交换任务执行结果的记录，充分利用了政务数据资源中心的边缘算力，提升了数据交换任务的执行效率、可用性和可靠性，较好的适应了数据交换场景愈加频繁、数据交换量日益增大的发展态势，加强了政府间数据流通的效率，进而提升了数字政府的服务能力。
现有技术中，局办把数据放在前置主机上，数据中心从前置主机把数据拿走，给到另一个局办的前置主机上，而本发明实施例提供的方案直接在前置主机上进行数据交换，A部门的前置主机直接把数据发送给B部门的前置主机，由此使得各机构的前端主机之间根据消息队列中的任务元数据进行数据交换，将相互之间没有关联的数据交换任务调度至不同的前置主机进行执行，在充分利用算力资源的同时，使各数据交换任务之间互不影响，数据不需要通过政务数据资源中心，解决任务之间相互争抢资源、一个任务崩溃后影响其他任务执行等问题。
图7举例说明了本发明实施例中的局办对中心数据交换任务的调度流程；如图7所示，局办对中心数据交换任务的调度流程：
1、发布目录后形成目录元数据；
2、订阅后获取目录元数据形成交换元数据；
3、获取交换元数据形成任务元数据；
4、将任务元数据发布至MQ(kafka)；
5、各部门的前置主机上的交换子***订阅MQ消息，根据不同的消息调用不同的方法形成定时任务或者直接调用方法执行相应逻辑；
6、各部门的前置主机上的“中心执行***”的定时任务调用传输方法，进行数据传输(局办前置数据库、中心库)；
7、定时任务启动之前，记录本地账目信息；
8、交换子***将状态信息发布至MQ，中心订阅此消息，记录任务执行状态；
9、账目信息(任务执行后)发布至MQ，中心订阅此消息，中心记录账目信息。
图8举例说明了本发明实施例中的局办对局办数据交换任务的调度流程；如图8所示，局办对局办数据交换任务的调度流程：
1、订阅目录后形成订阅目录元数据；
2、获取目录元数据形成交换元数据；
3、获取交换元数据形成任务元数据；
4、任务元数据发布至MQ(kafka)；
5、“中心执行***”订阅MQ消息，根据不同的消息调用不同的方法形成定时任务或者直接调用方法执行相应逻辑；
6、定时任务调用传输方法，将存量数据从中心库同步到局办前置库；
7、定时任务执行状态信息发布至MQ，中心订阅此消息，记录任务执行状态；
8、“中心执行***”记录本地对账(任务执行前)；
9、对账信息(任务执行后)发布至MQ，中心订阅此消息，中心记录对账信息。
增量数据交换任务调度流程：
1、发布目录后形成目录元数据；
2、获取目录元数据形成交换元数据；
3、获取交换元数据形成任务元数据；
4、任务元数据发布至MQ(kafka)；
5、“边缘执行***”订阅MQ消息，根据不同的消息调用不同的方法形成定时任务或者直接调用方法执行相应逻辑；
6、定时任务调用传输方法，将增量数据从数据提供方前置库同步到数据需求方的前置库；
7、定时任务执行状态信息发布至MQ，中心订阅此消息，记录任务执行状态；
8、“边缘执行***”记录本地对账；
9.对账信息(任务执行后)发布至MQ，中心订阅此消息，中心记录对账信息。
基于同一发明构思，本申请实施例还提供了一种政务数据资源中心中的政务数据交换任务调度装置，可以用于实现上述实施例所描述的方法，如下面的实施例所述。由于政务数据资源中心中的政务数据交换任务调度装置解决问题的原理与上述方法相似，因此政务数据资源中心中的政务数据交换任务调度装置的实施可以参见上述方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图9是本发明实施例中的政务数据资源中心中的政务数据交换任务调度装置的结构框图一。如图9所示，该政务数据资源中心中的政务数据交换任务调度装置具体包括：数据订阅请求获取模块10、任务元数据获取模块20以及数据交换控制模块30。
数据订阅请求获取模块10获取数据订阅机构发送的数据订阅请求，所述数据订阅请求包括：目录元数据；
任务元数据获取模块20根据所述目录元数据获取任务元数据；
数据交换控制模块30将所述任务元数据发送至消息队列，以使各机构的前端主机通过订阅消息队列中的该任务元数据进而控制数据交换。
其中，消息队列为kafka。
通过采用上述技术方案，使得各机构的前端主机之间根据消息队列中的任务元数据进行数据交换，数据不需要通过政务数据资源中心，解决任务之间相互争抢资源、一个任务崩溃后影响其他任务执行等问题。
在一个可选的实施例中，参见图10，任务元数据获取模块包括：交换元数据获取单元21以及任务元数据产生单元22。
交换元数据获取单元21根据所述目录元数据形成交换元数据；
任务元数据产生单元22根据所述交换元数据形成任务元数据。
在一个可选的实施例中，参见图11，政务数据交换任务调度装置还可以包括：信息资源目录获取模块40以及目录元数据产生展示模块50。
信息资源目录获取模块40获取数据生产机构发送的信息资源目录；
目录元数据产生展示模块50根据所述信息资源目录得到所述目录元数据并展示，以便数据订阅机构基于展示的目录元数据下达数据订阅请求。
在一个可选的实施例中，政务数据交换任务调度装置还包括：数据交换状态信息订阅模块以及任务执行状态记录模块。
数据交换状态信息订阅模块，订阅消息队列中的由各机构的前置主机发送的数据交换状态信息；
任务执行状态记录模块，根据所述数据交换状态信息记录数据交换任务执行状态。
在一个可选的实施例中，政务数据交换任务调度装置还包括：交换账目信息订阅模块以及数据交换历史记录模块。
交换账目信息订阅模块，订阅消息队列中的由各机构的前置主机发送的本地数据交换账目信息；
数据交换历史记录模块，根据所述本地数据交换账目信息记录数据交换历史。
本发明实施例还提供了一种在各机构的前端主机上执行的政务数据交换任务调度方法，与上述的在政务数据资源中心上执行的政务数据交换任务调度方法对应，二者在细节上可以相互参见，重复之处参见上述，具体不再赘述。
图12示出了本发明实施例中各机构的前端主机执行的政务数据交换任务调度方法的流程示意图一；如图12所示，该政务数据交换任务调度方法可以包括以下内容：
步骤S1000：订阅消息队列中的任务元数据；
其中，消息队列可以为基于Spring框架的Kafka消息队列。在微服务架构的***中，使用Kafka消息队列来构建一个共用的消息主题让***中所有数据交换任务的实例都连接上来，即消息总线。通过消息总线对分布式的数据交换任务进行调度。
任务元数据根据目录元数据产生，具体包括：发送方信息、接收方信息、需要在机构之间交换的数据、数据库以及消息队列地址等等。其中，该发送方信息和接收方信息可以是机构名称、机构代码和/或机构的前端主机的ID等。
步骤S2000：根据所述任务元数据控制数据交换。
具体地，前置主机实时订阅消息队列中的任务元数据，而后判断任务元数据是否与本前置主机有关，若是，根据任务元数据执行数据交换。
其中，判断任务元数据是否与本前置主机有关一般有两种情形，判断本机构是否是发送方或判断本机构是否是发送方是否为接收方，若本机构是发送方，则根据指示，将所需数据实时或定时以预定方式发送到接收方；若本机构是接收方，则根据指示，实时或定时接收发送方发送的数据。
通过采用上述技术方案，使得各机构的前端主机之间根据消息队列中的任务元数据进行数据交换，数据不需要通过政务数据资源中心，解决任务之间相互争抢资源、一个任务崩溃后影响其他任务执行等问题。
在一个可选的实施例中，参见图13，该政务数据交换任务调度方法还可以包括：
步骤S3000：记录本地数据交换账目信息。
在各机构的前置主机进行数据交换时，会记录本地数据交换账目信息，实现日志记录。
在一个可选的实施例中，参见图14，该政务数据交换任务调度方法还可以包括：
步骤S4000：将数据交换状态信息发送至消息队列；
具体地，在进行数据交换时，通过将数据交换状态信息发送至消息队列，使政务数据资源中心通过订阅消息队列中的该数据交换状态信息记录数据交换任务执行状态。
步骤S5000：将本次数据交换对应的本地数据交换账目信息发送至消息队列。
具体地，在数据交换完成后，通过将本次数据交换对应的本地数据交换账目信息发送至消息队列以使政务数据资源中心通过订阅消息队列中的该本地数据交换账目信息记录数据交换历史。
基于同一发明构思，本申请实施例还提供了一种各机构的前置主机中的政务数据交换任务调度装置，可以用于实现上述实施例所描述的方法，如下面的实施例所述。由于各机构的前置主机中的政务数据交换任务调度装置解决问题的原理与上述方法相似，因此各机构的前置主机中的政务数据交换任务调度装置的实施可以参见上述方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图15是本发明实施例中的前端主机中的政务数据交换任务调度装置的结构框图一；如图15所示，该政务数据交换任务调度装置包括：任务元数据订阅模块1000以及数据交换模块2000。
任务元数据订阅模块1000订阅消息队列中的任务元数据；
数据交换模块2000根据该任务元数据控制数据交换。
通过采用上述技术方案，使得各机构的前端主机之间根据消息队列中的任务元数据进行数据交换，数据不需要通过政务数据资源中心，解决任务之间相互争抢资源、一个任务崩溃后影响其他任务执行等问题。
在一个可选的实施例中，参见图16，政务数据交换任务调度装置还包括：交换账目记录模块3000、数据交换状态信息发布模块4000以及交换账目发送模块5000。
交换账目记录模块3000记录本地数据交换账目信息。
数据交换状态信息发布模块4000将数据交换状态信息发送至消息队列，以使政务数据资源中心通过订阅消息队列中的该数据交换状态信息记录数据交换任务执行状态；
交换账目发送模块5000在进行数据交换后，将本次数据交换对应的本地数据交换账目信息发送至消息队列，以使政务数据资源中心通过订阅消息队列中的该本地数据交换账目信息记录数据交换历史。
上述实施例阐明的装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为电子设备，具体的，电子设备例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
在一个典型的实例中电子设备具体包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的政务数据交换任务调度方法的步骤。
下面参考图17，其示出了适于用来实现本申请实施例的电子设备600的结构示意图。
如图17所示，电子设备600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM))603中的程序而执行各种适当的工作和处理。在RAM603中，还存储有***600操作所需的各种程序和数据。CPU601、ROM602、以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡，调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装如存储部分608。
特别地，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的政务数据交换任务调度方法的步骤。
在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、***或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于***实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (22)

1.一种政务数据交换任务调度方法，其特征在于，包括：
获取数据订阅机构发送的数据订阅请求，所述数据订阅请求包括：目录元数据；
根据所述目录元数据获取任务元数据；
将所述任务元数据发送至消息队列，以使各机构的前端主机通过订阅消息队列中的该任务元数据进而控制数据交换。
2.根据权利要求1所述的政务数据交换任务调度方法，其特征在于，所述根据所述目录元数据获取任务元数据，包括：
根据所述目录元数据形成交换元数据；
根据所述交换元数据形成任务元数据。
3.根据权利要求1所述的政务数据交换任务调度方法，其特征在于，还包括：
获取数据生产机构发送的信息资源目录；
根据所述信息资源目录得到所述目录元数据并展示，以便数据订阅机构基于展示的目录元数据下达数据订阅请求。
4.根据权利要求1所述的政务数据交换任务调度方法，其特征在于，所述消息队列为kafka。
5.根据权利要求1所述的政务数据交换任务调度方法，其特征在于，还包括：
订阅消息队列中的由各机构的前置主机发送的数据交换状态信息；
根据所述数据交换状态信息记录数据交换任务执行状态。
6.根据权利要求1所述的政务数据交换任务调度方法，其特征在于，还包括：
订阅消息队列中的由各机构的前置主机发送的本地数据交换账目信息；
根据所述本地数据交换账目信息记录数据交换历史。
7.一种政务数据交换任务调度装置，其特征在于，包括：
数据订阅请求获取模块，获取数据订阅机构发送的数据订阅请求，所述数据订阅请求包括：目录元数据；
任务元数据获取模块，根据所述目录元数据获取任务元数据；
数据交换控制模块，将所述任务元数据发送至消息队列，以使各机构的前端主机通过订阅消息队列中的该任务元数据进而控制数据交换。
8.根据权利要求7所述的政务数据交换任务调度装置，其特征在于，所述任务元数据获取模块包括：
交换元数据获取单元，根据所述目录元数据形成交换元数据；
任务元数据产生单元，根据所述交换元数据形成任务元数据。
9.根据权利要求7所述的政务数据交换任务调度装置，其特征在于，还包括：
信息资源目录获取模块，获取数据生产机构发送的信息资源目录；
目录元数据产生展示模块，根据所述信息资源目录得到所述目录元数据并展示，以便数据订阅机构基于展示的目录元数据下达数据订阅请求。
10.根据权利要求7所述的政务数据交换任务调度装置，其特征在于，所述消息队列为kafka。
11.根据权利要求7所述的政务数据交换任务调度装置，其特征在于，还包括：
数据交换状态信息订阅模块，订阅消息队列中的由各机构的前置主机发送的数据交换状态信息；
任务执行状态记录模块，根据所述数据交换状态信息记录数据交换任务执行状态。
12.根据权利要求7所述的政务数据交换任务调度装置，其特征在于，还包括：
交换账目信息订阅模块，订阅消息队列中的由各机构的前置主机发送的本地数据交换账目信息；
数据交换历史记录模块，根据所述本地数据交换账目信息记录数据交换历史。
13.一种政务数据交换任务调度方法，其特征在于，包括：
订阅消息队列中的任务元数据；
根据所述任务元数据控制数据交换。
14.根据权利要求13所述的政务数据交换任务调度方法，其特征在于，在进行数据交换前，还包括：
记录本地数据交换账目信息。
15.根据权利要求13所述的政务数据交换任务调度方法，其特征在于，在进行数据交换时，还包括：
将数据交换状态信息发送至消息队列，以使政务数据资源中心通过订阅消息队列中的该数据交换状态信息记录数据交换任务执行状态。
16.根据权利要求14所述的政务数据交换任务调度方法，其特征在于，在进行数据交换后，还包括：
将本次数据交换对应的本地数据交换账目信息发送至消息队列，以使政务数据资源中心通过订阅消息队列中的该本地数据交换账目信息记录数据交换历史。
17.一种政务数据交换任务调度装置，其特征在于，包括：
任务元数据订阅模块，订阅消息队列中的任务元数据；
数据交换模块，根据所述任务元数据控制数据交换。
18.根据权利要求17所述的政务数据交换任务调度装置，其特征在于，还包括：
交换账目记录模块，记录本地数据交换账目信息。
19.根据权利要求17所述的政务数据交换任务调度装置，其特征在于，还包括：
数据交换状态信息发布模块，将数据交换状态信息发送至消息队列，以使政务数据资源中心通过订阅消息队列中的该数据交换状态信息记录数据交换任务执行状态。
20.根据权利要求18所述的政务数据交换任务调度装置，其特征在于，还包括：
交换账目发送模块，在进行数据交换后，将本次数据交换对应的本地数据交换账目信息发送至消息队列，以使政务数据资源中心通过订阅消息队列中的该本地数据交换账目信息记录数据交换历史。
21.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至6、13至16任一项所述的政务数据交换任务调度方法的步骤。
22.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6、13至16任一项所述的政务数据交换任务调度方法的步骤。
CN202011036287.5A 2020-09-27 2020-09-27 政务数据交换任务调度方法和装置 Pending CN112099976A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011036287.5A CN112099976A (zh) 2020-09-27 2020-09-27 政务数据交换任务调度方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011036287.5A CN112099976A (zh) 2020-09-27 2020-09-27 政务数据交换任务调度方法和装置

Publications (1)

Publication Number Publication Date
CN112099976A true CN112099976A (zh) 2020-12-18

Family

ID=73783417

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011036287.5A Pending CN112099976A (zh) 2020-09-27 2020-09-27 政务数据交换任务调度方法和装置

Country Status (1)

Country Link
CN (1) CN112099976A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112836236A (zh) * 2021-02-04 2021-05-25 航天广通科技(深圳)有限公司 一种数据共享交换平台库表资源的订阅方法和***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110307543A1 (en) * 2010-06-14 2011-12-15 Richard Allen Megginson Servicing database operations using a messaging server
CN102904960A (zh) * 2012-10-19 2013-01-30 北京奇虎科技有限公司 一种基于rss的信息同步***及方法
CN107229755A (zh) * 2017-06-30 2017-10-03 郑州云海信息技术有限公司 一种分布式***优化方法及设备
CN108737568A (zh) * 2018-06-22 2018-11-02 重庆助康医学检验实验室有限公司 一种基于消息队列服务器的数据交互***和方法
CN109325008A (zh) * 2018-09-07 2019-02-12 国电南瑞科技股份有限公司 面向消息中间件的跨域数据同步方法与***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110307543A1 (en) * 2010-06-14 2011-12-15 Richard Allen Megginson Servicing database operations using a messaging server
CN102904960A (zh) * 2012-10-19 2013-01-30 北京奇虎科技有限公司 一种基于rss的信息同步***及方法
CN107229755A (zh) * 2017-06-30 2017-10-03 郑州云海信息技术有限公司 一种分布式***优化方法及设备
CN108737568A (zh) * 2018-06-22 2018-11-02 重庆助康医学检验实验室有限公司 一种基于消息队列服务器的数据交互***和方法
CN109325008A (zh) * 2018-09-07 2019-02-12 国电南瑞科技股份有限公司 面向消息中间件的跨域数据同步方法与***

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112836236A (zh) * 2021-02-04 2021-05-25 航天广通科技(深圳)有限公司 一种数据共享交换平台库表资源的订阅方法和***

Similar Documents

Publication Publication Date Title
CN107729139B (zh) 一种并发获取资源的方法和装置
WO2020258290A1 (zh) 日志数据收集方法、日志数据收集装置、存储介质和日志数据收集***
US9921929B2 (en) Test case execution
CN111784318B (zh) 数据处理方法、装置、电子设备及存储介质
CN110968586A (zh) 分布式事务处理方法及装置
CN111078745A (zh) 基于区块链技术的数据上链方法和装置
CN110781373B (zh) 榜单更新方法、装置、可读介质和电子设备
CN111163130A (zh) 一种网络服务***及其数据传输方法
CN111913738A (zh) 访问请求的处理方法、装置、计算设备和介质
CN105930249B (zh) 应用监控方法和装置
CN112733001A (zh) 获取订阅信息的方法、装置和电子设备
CN115357761A (zh) 链路追踪方法、装置、电子设备及存储介质
CN110727507B (zh) 一种消息的处理方法、装置、计算机设备和存储介质
CN106357654B (zh) 远程过程调用方法、装置及通信***
CN107395663B (zh) 数据获取方法及装置
CN112099976A (zh) 政务数据交换任务调度方法和装置
CN112685104A (zh) 应用程序启动控制方法、装置、电子设备和存储介质
CN111488373A (zh) 用于处理请求的方法和***
CN110730109A (zh) 用于生成信息的方法和装置
CN115022106B (zh) 一种群信息处理方法、装置、设备及介质
CN116095074A (zh) 资源分配方法、装置、相关设备及存储介质
CN112860292A (zh) 一种基于应用的配置管理方法及装置
CN115250276A (zh) 分布式***及数据处理的方法和装置
CN110928944B (zh) 一种数据处理方法及其装置
CN112596882A (zh) 一种延时任务调度的方法、设备及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination