CN112765246A - 任务处理方法、装置、电子设备和存储介质 - Google Patents

任务处理方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN112765246A
CN112765246A CN202011643797.9A CN202011643797A CN112765246A CN 112765246 A CN112765246 A CN 112765246A CN 202011643797 A CN202011643797 A CN 202011643797A CN 112765246 A CN112765246 A CN 112765246A
Authority
CN
China
Prior art keywords
information
task
service plug
data
scheduling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011643797.9A
Other languages
English (en)
Other versions
CN112765246B (zh
Inventor
任亮
傅雨梅
李孟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhiyin Intelligent Technology Co ltd
Original Assignee
Beijing Zhiyin Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhiyin Intelligent Technology Co ltd filed Critical Beijing Zhiyin Intelligent Technology Co ltd
Priority to CN202011643797.9A priority Critical patent/CN112765246B/zh
Publication of CN112765246A publication Critical patent/CN112765246A/zh
Application granted granted Critical
Publication of CN112765246B publication Critical patent/CN112765246B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G06F9/44521—Dynamic linking or loading; Link editing at or after load time, e.g. Java class loading
    • G06F9/44526—Plug-ins; Add-ons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Stored Programmes (AREA)

Abstract

本申请提供一种任务处理方法、装置、电子设备和存储介质，本申请的任务处理方法包括：响应于针对整合界面中服务插件的操作，获取所述操作对应的任务信息；基于所述任务信息，生成调度信息；其中所述调度信息中包括所述任务信息指定的目标服务插件；根据所述调度信息，调度所述目标服务插件进行数据处理。故本申请通过将多个第三方异构***集合到一整合界面中，从而能够实现多个第三方异构***的界面统一，利于客户获取数据。

Description

任务处理方法、装置、电子设备和存储介质
技术领域
本申请涉及金融科技的技术领域，具体而言，涉及一种任务处理方法、装置、电子设备和存储介质。
背景技术
随着计算机技术的发展，越来越多的技术应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变。当公司面向金融场景时，需要多个第三方***联动操作，用人工去记录每个***的操作以及数据，而每个第三方***界面不统一，账号体系也不同，报表格式不一致，数据不一致也不同步，不仅操作麻烦，耗时长，无法及时得到数据结构，而且容易出现错误，无法满足金融行业的安全性、实时性要求。
发明内容
本申请实施例的目的在于提供一种任务处理方法、装置、电子设备和存储介质，其能够实现多个第三方异构***的界面统一，利于客户获取数据。
第一方面，本发明提供一种任务处理方法，包括：
响应于针对整合界面中服务插件的操作，获取所述操作对应的任务信息；
基于所述任务信息，生成调度信息；其中所述调度信息中包括所述任务信息指定的目标服务插件；
根据所述调度信息，调度所述目标服务插件进行数据处理。
于一实施例中，所述响应于针对整合界面中目标服务的操作，获取所述操作对应的任务信息之前，包括：
获取用户的登陆信息和预存登陆规则；其中所述预存登陆规则中包括所述登陆信息指定的预设服务插件；
根据所述预存登陆规则，向所述预设服务插件发送登陆请求。
于一实施例中，所述根据所述预存登陆规则，向所述预设服务插件发送登陆请求之后，包括：
基于预设时间规则，向所述预设服务插件发送心跳包；其中所述心跳报文携带所述预设服务插件的工作状态信息；
基于所述心跳包，判断所述预设服务插件是否连通；
若所述预设服务插件不能连通，则进行示警。
于一实施例中，所述响应于针对整合界面中目标服务的操作，获取所述操作对应的任务信息，包括：
根据所述整合界面中目标服务的操作，判断数据库中是否存在所述操作对应的所述任务信息；
当所述数据库中存在所述任务信息时，则直接获取所述任务信息；
当所述数据库中不存在所述任务信息时，则根据用户配置信息，获取所述任务信息。
于一实施例中，所述基于所述任务信息，生成调度信息，包括：
将所述任务信息转换成第一预设格式的工作流链路信息；
解析所述工作流链路信息，为所述工作流链路信息添加任务标识，以及所述任务信息指定的所述目标服务插件标识，生成所述调度信息。
于一实施例中，所述根据所述调度信息，调度所述目标服务插件进行数据处理，包括：
根据所述调度信息，调度所述目标服务插件进行数据提取；
验证所述数据是否为空数据；
若所述数据不是空数据，则将验证后的所述数据以第二预设格式保存至所述数据库；
若所述数据是空数据，则继续根据所述调度信息，调度所述目标服务插件进行数据提取，直至所述数据不是空数据。
于一实施例中，所述根据所述调度信息，调度所述目标服务插件进行数据处理之后，包括：
生成数据报表。
于一实施例中，所述任务处理方法还包括：
监控所述服务插件的任务执行状态，记录工作日志。
第二方面，本发明提供一种任务处理装置，包括：获取模块、生成模块和调度模块，获取模块用于响应于针对整合界面中服务插件的操作，获取所述操作对应的任务信息；生成模块用于基于基于所述任务信息，生成调度信息；其中所述调度信息中包括所述任务信息指定的目标服务插件；调度模块用于根据所述调度信息，调度所述目标服务插件进行数据处理。
第三方面，本发明提供一种电子设备，包括：存储器和处理器，存储器用以存储计算机程序；处理器用以执行如前述实施方式中任一项所述的方法。
第四方面，本发明提供一种非暂态电子设备可读存储介质，包括：程序，当其藉由电子设备运行时，使得所述电子设备执行前述实施方式中任一项所述的方法。
本申请的一种任务处理方法、装置、电子设备和存储介质，通过将多个第三方异构***集合到一整合界面中，从而能够实现多个第三方异构***的界面统一，利于客户获取数据。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请一实施例示出的电子设备的结构示意图。
图2为本申请一实施例的任务处理方法的应用场景示意图。
图3为本申请一实施例的任务处理方法的流程示意图。
图4为本申请一实施例示出的图3对应实施例中步骤S110的细节流程示意图。
图5为本申请一实施例示出的图3对应实施例中步骤S120的细节流程示意图。
图6为本申请一实施例示出的图3对应实施例中步骤S130的细节流程示意图。
图7为本申请一实施例的任务处理方法的流程示意图。
图8为本申请一实施例示出的任务处理装置的结构示意图。
图标：100-电子设备；101-总线；102-存储器；103-处理器；200-任务处理装置；210-获取模块；220-生成模块；230-调度模块；300-插拔式架构数据应用管理***；310-客户端；320-微服务治理端；321-通讯模块；322-服务网关；323-服务注册发现；330-服务端；331-服务器；332-流程执行入口模块；333-插件模块；3331-调度单元；3332-数据质量单元；3333-通信单元；334-执行模块。
具体实施方式
在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，并不表示排列序号，也不能理解为指示或暗示相对重要性。
在本申请的描述中，术语“包括”、“包含”等表示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其他特征、步骤、操作、元素、组件和/或其集合的存在或添加。
在本申请的描述中，除非另有明确的规定和限定，术语“安装”、“设置”、“设有”、“连接”、“配置为”应做广义理解。例如，可以是固定连接，也可以是可拆卸连接，或整体式构造；可以是机械连接，也可以是电连接；可以是直接相连，也可以是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
下面将结合附图对本申请的技术方案进行清楚、完整地描述。
请参照图1，其为本申请一实施例示出的电子设备100的结构示意图。电子设备100包括：至少一个处理器103和存储器102，图1中以一个处理器103为例。处理器103和存储器102通过总线101连接，存储器102存储有可被处理器103执行的指令，指令被处理器103执行，以使电子设备100可执行下述的实施例中方法的全部或部分流程，以改善型材缺陷检测方法，改良型材制造工艺。
于一实施例中，处理器103可以是通用处理器103，包括但不限于中央处理器103(Central Processing Unit，CPU)、网络处理器103(Network Processor，NP)等，还可以是数字信号处理器103(Digital Signal Processor，DSP)、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、现成可编程门阵列(Field Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器103可以是微处理器103或者该处理器103也可以是任何常规的处理器103等，处理器103是电子设备100的控制中心，利用各种接口和线路连接整个电子设备100的各个部分。处理器103可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。
于一实施例中，存储器102可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，包括但不限于，随机存取存储器102(Random Access Memory，RAM)，只读存储器102(Read Only Memory，ROM)，静态随机存取存储器102(Static Random AccessMemory，简称SRAM)，可编程只读存储器102(Programmable Read-Only Memory，PROM)，可擦除只读存储器102(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器102(Electric Erasable Programmable Read-Only Memory，EEPROM)。
电子设备100可以是手机、笔记本电脑、台式计算机、或者多台计算机组成的运算***等设备。电子设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。例如电子设备100还包括用于人机交互的输入输出设备。
请参照图2，其为本申请一实施例的任务处理方法的应用场景示意图。该应用场景可以是金融科技的插拔式架构数据应用管理***300。插拔式架构数据应用管理***300包括：客户端310、微服务治理端320和服务端330。
其中，客户端310包括供用户操作的统一整合界面，整合界面上设有多个服务插件图标，客户端310可以根据用户针对整合界面中服务插件的操作向服务端330和微服务治理端320发送指令，并接收处理服务端330传输的数据，并进行存储。于一实施例中，客户端310可以是根据VUE框架编写的前端模块，即前端构建数据驱动的web界面的库，用户可以通过拖拽整合界面上的多个服务插件图标，生成工作流程图，且可以自动生成对应SQL语句(结构化查询语言，Structured Query Language)。
微服务治理端320包括：通讯模块321(Open Feign)、服务网关322(Gateway)和服务注册发现323，其中，服务网关322支持单点登录(SingleSignOn，SSO)，就是通过用户的一次性鉴别登录，当用户在整合界面上登录一次以后，即可获得访问单点登录插拔式架构数据应用管理***300中其他关联服务插件的权限，它可以验证登录信息，解析登录请求转发给对应服务插件。通讯模块321可以基于RPC框架支撑，实现跨服务交互，发送请求，根据路由表，调用方法，实现远程过程调用，通过网络来表达调用的语义和传达调用的数据。服务注册发现323可以注册插拔式架构数据应用管理***300中所有服务插件，可以让每个插件模块333负载均衡，维护服务端330的可用性及可靠性。
服务端330包括服务器331(kd server)、流程执行入口模块332(flow executionentrance)、插件模块333和执行模块334(linkis node execution)。
其中，插件模块333为对应客户端310上整合界面上设有多个服务插件图标设置的，每个插件模块333可以具有相同的设置，也可以具有不同的设置。
插件模块333包括统一用户管理接口，通过统一用户管理接口可以调转到第三方的第三方异构***中，其登陆状态与整合界面保持一致。插件模块333还包括工程管理接口，用于新增、删除、修改工程。插件模块333还包括工程中对应工作流接口，通过工程中对应工作流接口，使得当对插件模块333编辑时，第三方的第三方异构***能够同步感知。插件模块333还包括执行任务接口，通过执行任务接口可以控制插件模块333执行任务，可以设置执行时长，获取日志，发送邮件监控等执行任务。
于一实施例中，插件模块333包括调度单元3331(scheduler app joint)、数据质量单元3332(qualitis app joint)和通信单元3333(send mail app joint)。
调度单元3331一方面与本***中流程执行入口模块332或者执行模块334对接，另一方面与第三方异构***对接，根据流程执行入口模块332或者执行模块334所传输的调度信息所对应的语义，自行操作插件模块333执行调度信息指定的任务。数据质量单元3332可以与第三方异构***的数据质量***对接，验证根据调度信息指定的任务获取的数据是否为空，字段是否有误等。通信单元3333一方面与本插拔式架构数据应用管理***300对接，一方面与第三方异构***的发送邮件***，用于数据传输以及工作日志传输。
服务器331接收来自客户端310的指令，对于用户指令保存到服务器331的数据库(资源文件目录)中并进行处理。
于一操作过程中，服务器331接收了用户所绘制的工作流程图，将该信息转换JSON格式(JavaScript Object Notation)的工作流链路信息，将工作流链路信息保存至数据库，并对工作流链路信息进行解析，为所述工作流链路信息添加任务标识，以及所述任务信息指定的所述目标服务插件标识，从而生成后续流程执行入口模块332、执行模块334或者插件模块333所能解读的所述调度信息。其中，一个工作流程图对应一个工作流链路信息，一个工作流链路信息对应一个任务标识。任务信息指定的所述目标服务插件即工作流程图中涉及到的服务插件。本实施例中，信息传递过程依次为服务器331、流程执行入口模块332、执行模块334和插件模块333。
于一操作过程中，服务器331接收了用户打开单个服务插件的指令，服务器331也对该指令进行处理，生成流程执行入口模块332或者执行模块334所能解读的所述调度信息。本实施例中，信息传递过程略过流程执行入口模块332，直接传输至流程执行入口模块332。
流程执行入口模块332用于接收服务器331的指令，并与执行模块334和插件模块333交互且分配任务，还可以用于发送心跳包，验证各个插件模块333的服务是否可以连通，以保持心跳。于一实施例中，流程执行入口模块332可以根据服务器331的任务标识和目标服务插件标识提交调度信息至执行模块334和插件模块333，并根据该调度信息中的工作节点以及工作树的数据结构，分配插件模块333的接口，按照工作树的每个分支挂好所需资源。
执行模块334用于接收服务器331或者流程执行入口模块332的指令，并与流程执行入口模块332和插件模块333交互。于一实施例中，执行模块334把调度信息通过插件模块333打包到第三方的第三方异构***上，对应好语义，使得第三方的第三方异构***可以根据调度信息进行操作，每个节点按照流程执行入口模块332分配的接口执行任务，也可以根据这个调度信息调用大数据集群执行计算引擎的任务，其中，在整合界面可以看到流程图，用户可以自行操作调度任务。
服务器331、流程执行入口模块332、插件模块333和执行模块334中执行的每个步骤都会记录日志，数据库记录执行状态信息，便于后续追踪。同时，服务器331、流程执行入口模块332、插件模块333和执行模块334中执行的每个步骤都会反馈给客户端310，以便客户端310能够实时了解插拔式架构数据应用管理***300的工作状态和运行状况。
于一实施过程中，用户在整合界面中将多个目标服务插件图标拖拽，客户端310自动将其转换成对应SQL语句，形成包括SQL语句的工作流程图，每个图标对应一个目标服务插件的数据处理操作任务，当这个工作流程图画完，用户点击发布版本，服务器331工作流程图生成Json文件，打包到流程执行入口模块332，流程执行入口模块332再通过执行模块334控制插件模块333执行该工作流程图，且按照工作流程图的顺序执行，去调取各个第三方异构***的数据，依次验证调取的每个数据的数据质量，并将数据保存，之后可以按照客户指令生成数据报表。当有并行任务时，可以同时调取几个第三方异构***的数据，之后统一验证数据质量。在整个操作过程中，中间监控信息都会反馈至客户端310上，以便客户可以实时观看运行状况。
本实施例通过将多个第三方异构***集合到一整合界面中，从而能够实现多个第三方异构***的界面统一，使得所有第三方异构***界面兼容，统一UI，整合界面支持汉语或英语等多种语言操作功能，相当于解耦一个复杂的超大型***，轻松融合进统一整合界面上，实现统一整合界面操作，可以支撑工作流拖拽操作，利于客户获取数据，学习成本低。
本实施例还通过运用微服务处理端，插拔式连通各种第三方异构***，只需要在服务端330嵌套要***的服务组件，即可打通工作流，可以对接大数据集群，扩展方便，可用性较高，性能较好，且利于监控各个服务插件的运行状况，且维护成本低，当出现问题开发人员可以明确到对应服务插件上修改，另外可以通过服务网关322实现单点登录，提高了用户的工作效率。
根据插件模块333统一规范，从而可以通过分配插件模块333包括的几个接口，调度第三方异构***的元数据信息，将其整合，让无法兼容的第三方异构***通过本插拔式架构数据应用管理***300实现数据统一和数据同步，缩减了用户操作时长，且提高了数据准确性，从而可以满足金融行业的安全性、实时性要求。
请参照图3，其为本申请一实施例的任务处理方法的流程示意图。该方法可由图1所示的电子设备100来执行，或者应用于图2所示的应用场景，以实现多个第三方异构***的界面统一，利于客户获取数据。该方法包括如下步骤：
步骤S110：响应于针对整合界面中服务插件的操作，获取操作对应的任务信息。
本步骤中针对整合界面中服务插件的操作可以是来自客户端310的指令，例如用户所绘制的工作流程图或者用户打开单个服务插件的指令。来自客户端310的指令可以是SQL语句的格式。本步骤可以由服务器331执行。
步骤S120：基于任务信息，生成调度信息；其中调度信息中包括任务信息指定的目标服务插件。
本步骤的调度信息可以是由任务信息转换成的JSON格式(JavaScript ObjectNotation)的工作流链路信息。目标服务插件可以设有一个或者多个。本步骤可以由服务器331执行。
于一实施例中，本步骤的调度信息还可以包括对目标服务插件的数据如何处理的信息，例如保存或者计算。
步骤S130：根据调度信息，调度目标服务插件进行数据处理。
本步骤可以由流程执行入口模块332、执行模块334和插件模块333联合执行。于一实施例中，可以将流程执行入口模块332、执行模块334和插件模块333获取的数据以统一的格式保存至数据库中，以便客户获取。
请参照图4，其为本申请一实施例示出的图3对应实施例中步骤S110的细节流程示意图。步骤S110可以包括如下步骤：
步骤S111：根据整合界面中目标服务的操作，判断数据库中是否存在操作对应的任务信息。
步骤S112：当数据库中存在任务信息时，则直接获取任务信息。
步骤S113：当数据库中不存在任务信息时，则根据用户配置信息，获取任务信息。
在上述步骤中，数据库可以预存有多个任务信息，每个任务信息对应于用户的不同指令，以应对不同的业务场景或业务需求。判数据库中是否存在对应于业务场景的任务文件，若数据库中存在任务信息，则执行步骤S112，从而直接调取数据库中存在的任务信息，执行对应的任务。若数据库中不存在任务信息时，则执行步骤S113，根据用户通过客户端310重新发送的SQL语句指令，获取相关任务信息。
请参照图5，其为本申请一实施例示出的图3对应实施例中步骤S120的细节流程示意图。步骤S120可以包括如下步骤：
步骤S121：将任务信息转换成第一预设格式的工作流链路信息。
本步骤的第一预设格式为JSON格式。
步骤S122：解析工作流链路信息，为工作流链路信息添加任务标识，以及任务信息指定的目标服务插件标识，生成调度信息。
在上述步骤中，服务器331可以接收用户所绘制的工作流程图，将该信息转换JSON格式的工作流链路信息，将工作流链路信息保存至数据库，并对工作流链路信息进行解析，为所述工作流链路信息添加任务标识，以及所述任务信息指定的所述目标服务插件标识，从而生成后续流程执行入口模块332、执行模块334或者插件模块333所能解读的所述调度信息。其中，一个工作流程图对应一个工作流链路信息，一个工作流链路信息对应一个任务标识。任务信息指定的所述目标服务插件即工作流程图中涉及到的服务插件。本实施例中，信息传递过程依次为服务器331、流程执行入口模块332、执行模块334和插件模块333。
在上述步骤中，服务器331可以接收用户打开单个服务插件的指令，服务器331也对该指令进行处理，生成流程执行入口模块332或者执行模块334所能解读的所述调度信息。本实施例中，信息传递过程略过流程执行入口模块332，直接传输至流程执行入口模块332。
请参照图6，其为本申请一实施例示出的图3对应实施例中步骤S130的细节流程示意图。步骤S130可以包括如下步骤：
步骤S131：根据调度信息，调度目标服务插件进行数据提取。
步骤S132：验证数据是否为空数据；
步骤S133：若数据不是空数据，则将验证后的数据以第二预设格式保存至数据库。
在上述步骤中，流程执行入口模块332和执行模块334插件模块333根据调度信息按序调度目标服务插件进行数据提取，并依次验证提取的数据是否为空数据，若数据不是空数据，则执行步骤S133，进行下一步操作，若数据是空数据，则跳转至步骤S131继续根据调度信息，调度目标服务插件进行数据提取，直至数据不是空数据。
于一其他的实施例，步骤S130还可以包括验证提取的数据是否字段有误的过程。验证提取的数据是否字段有误，若数据字段无误，则进行下一步操作，若数据字段有误，则跳转至步骤S131继续根据调度信息，调度目标服务插件进行数据提取，直至数据字段无误。
请参照图7，其为本申请一实施例的任务处理方法的流程示意图。该方法可由图1所示的电子设备100来执行，或者应用于图2所示的应用场景，以实现多个第三方异构***的界面统一，利于客户获取数据。该方法包括如下步骤：
步骤S201：获取用户的登陆信息和预存登陆规则；其中预存登陆规则中包括登陆信息指定的预设服务插件。
本步骤的用户的登陆信息为用户在客户端310输入的插拔式架构数据应用管理***300的账号信息，本步骤的预存登陆规则为数据库中，和插拔式架构数据应用管理***300的账号信息绑定的多个第三方异构***的账号信息。其中预设服务插件为和插拔式架构数据应用管理***300的账号信息绑定的多个第三方异构***。预设服务插件可以是整合界面上所有服务插件，也可以是部分服务插件。本步骤可以由微服务治理端320执行。
步骤S202：根据预存登陆规则，向预设服务插件发送登陆请求。
本步骤向预设服务插件发送登陆请求，可以是由服务网关322向多个第三方异构***发送数据库中预存的账号信息。
步骤S203：基于预设时间规则，向预设服务插件发送心跳包；其中心跳报文携带预设服务插件的工作状态信息。
步骤S204：基于心跳包，判断预设服务插件是否连通。
步骤S205：若预设服务插件不能连通，则进行示警，直至预设服务插件能连通。
步骤S206：若预设服务插件能连通，则提示用户预设服务插件能连通。
在上述步骤S203、步骤S204、步骤S205、和步骤S206中，可以通过流程执行入口端执行，判断各个插件模块333的服务是否可以连通，以保持心跳。若预设服务插件能连通，则执行步骤S206，提示用户预设服务插件能连通，进行下一步骤；反之，预设服务插件不能连通，则执行步骤S205进行示警，用户进行人工维护或者***自动维护后，再转至步骤S203，直至预设服务插件能连通，再进行下一步骤。
步骤S207：响应于针对整合界面中服务插件的操作，获取操作对应的任务信息。详细参见上述实施例中对步骤S110的描述。
步骤S208：基于任务信息，生成调度信息；其中调度信息中包括任务信息指定的目标服务插件。详细参见上述实施例中对步骤S120的描述。
步骤S209：根据调度信息，调度目标服务插件进行数据处理。详细参见上述实施例中对步骤S130的描述。
步骤S210：生成数据报表。
本步骤可以通过插拔式架构数据应用管理***300的统一数据整合模块，基于数据库中根据调度信息获取的数据，按照客户要求，并生成客户所需的报表，通过邮件等方式发送到指定位置，以提高工作效率。
步骤S211：监控服务插件的任务执行状态，记录工作日志。
本步骤可以通过插拔式架构数据应用管理***300中的各个部件联合进行，以便用户实时了解插拔式架构数据应用管理***300中的各个部件的运行状况，利于维修和调整。
请参照图8，其为本申请一实施例示出的任务处理装置200的结构示意图。该装置可应用于图1所示的电子设备100，包括：获取模块210、生成模块220和调度模块230。各个模块的原理关系如下：
获取模块210，用于响应于针对整合界面中服务插件的操作，获取操作对应的任务信息。
生成模块220，用于基于任务信息，生成调度信息；其中调度信息中包括任务信息指定的目标服务插件。
调度模块230，用于根据调度信息，调度目标服务插件进行数据处理。
上述任务处理装置200的详细描述，请参见上述实施例中相关方法步骤的描述。
本申请实施例还提供了一种电子设备100可读存储介质，包括：程序，当其在电子设备100上运行时，使得电子设备100可执行上述实施例中方法的全部或部分流程。其中，存储介质可为磁盘、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器102(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等。存储介质还可以包括上述种类的存储器102的组合。
在本申请所提供的几个实施例中，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。
在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。以上仅为本申请的优选实施例而已，仅用于说明本申请的技术方案，并不用于限制本申请。对于本技术领域的普通技术人员而言，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
需要说明的是，在不冲突的情况下，本申请中的实施例中的特征可以相互结合。以上仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种任务处理方法，其特征在于，包括：
响应于针对整合界面中服务插件的操作，获取所述操作对应的任务信息；
基于所述任务信息，生成调度信息；其中所述调度信息中包括所述任务信息指定的目标服务插件；
根据所述调度信息，调度所述目标服务插件进行数据处理。
2.根据权利要求1所述的任务处理方法，其特征在于，所述响应于针对整合界面中目标服务的操作，获取所述操作对应的任务信息之前，包括：
获取用户的登陆信息和预存登陆规则；其中所述预存登陆规则中包括所述登陆信息指定的预设服务插件；
根据所述预存登陆规则，向所述预设服务插件发送登陆请求。
3.根据权利要求2所述的任务处理方法，其特征在于，所述根据所述预存登陆规则，向所述预设服务插件发送登陆请求之后，包括：
基于预设时间规则，向所述预设服务插件发送心跳包；其中所述心跳报文携带所述预设服务插件的工作状态信息；
基于所述心跳包，判断所述预设服务插件是否连通；
若所述预设服务插件不能连通，则进行示警。
4.根据权利要求1至3任一项所述的任务处理方法，其特征在于，所述响应于针对整合界面中目标服务的操作，获取所述操作对应的任务信息，包括：
根据所述整合界面中目标服务的操作，判断数据库中是否存在所述操作对应的所述任务信息；
当所述数据库中存在所述任务信息时，则直接获取所述任务信息；
当所述数据库中不存在所述任务信息时，则根据用户配置信息，获取所述任务信息。
5.根据权利要求4所述的任务处理方法，其特征在于，所述基于所述任务信息，生成调度信息，包括：
将所述任务信息转换成第一预设格式的工作流链路信息；
解析所述工作流链路信息，为所述工作流链路信息添加任务标识，以及所述任务信息指定的所述目标服务插件标识，生成所述调度信息。
6.根据权利要求5所述的任务处理方法，其特征在于，所述根据所述调度信息，调度所述目标服务插件进行数据处理，包括：
根据所述调度信息，调度所述目标服务插件进行数据提取；
验证所述数据是否为空数据；
若所述数据不是空数据，则将验证后的所述数据以第二预设格式保存至所述数据库；
若所述数据是空数据，则继续根据所述调度信息，调度所述目标服务插件进行数据提取，直至所述数据不是空数据。
7.根据权利要求5所述的任务处理方法，其特征在于，所述根据所述调度信息，调度所述目标服务插件进行数据处理之后，包括：
生成数据报表。
8.一种任务处理装置，其特征在于，包括：
获取模块，用于响应于针对整合界面中服务插件的操作，获取所述操作对应的任务信息；
生成模块，用于基于所述任务信息，生成调度信息；其中所述调度信息中包括所述任务信息指定的目标服务插件；
调度模块，用于根据所述调度信息，调度所述目标服务插件进行数据处理。
9.一种电子设备，其特征在于，包括：
存储器，用以存储计算机程序；
处理器，用以执行如权利要求1至7中任一项所述的任务处理方法。
10.一种非暂态电子设备可读存储介质，其特征在于，包括：程序，当其藉由电子设备运行时，使得所述电子设备执行权利要求1至7中任一项所述的任务处理方法。
CN202011643797.9A 2020-12-30 2020-12-30 任务处理方法、装置、电子设备和存储介质 Active CN112765246B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011643797.9A CN112765246B (zh) 2020-12-30 2020-12-30 任务处理方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011643797.9A CN112765246B (zh) 2020-12-30 2020-12-30 任务处理方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN112765246A true CN112765246A (zh) 2021-05-07
CN112765246B CN112765246B (zh) 2024-05-24

Family

ID=75698670

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011643797.9A Active CN112765246B (zh) 2020-12-30 2020-12-30 任务处理方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN112765246B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114172966A (zh) * 2021-12-07 2022-03-11 中国工商银行股份有限公司 单元化架构下的服务调用方法、服务处理方法及装置
CN116595154A (zh) * 2023-07-14 2023-08-15 阿里巴巴（中国）有限公司 任务处理方法以及自动问答方法

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102324074A (zh) * 2011-10-28 2012-01-18 山东城通科技有限公司 中小企业信息化应用集群平台
CN103854168A (zh) * 2014-02-17 2014-06-11 湖南中烟工业有限责任公司 异构流程待办集中处理方法及处理装置
CN105094818A (zh) * 2015-07-14 2015-11-25 国家信息中心 基于soa的自然资源综合应用构建方法及***
US20170180211A1 (en) * 2015-12-18 2017-06-22 Convergent Technology Advisors Hybrid cloud integration fabric and ontology for integration of data, applications, and information technology infrastructure
CN107025134A (zh) * 2017-03-02 2017-08-08 北京三快在线科技有限公司 数据库服务***及兼容多种数据库的方法
CN109241191A (zh) * 2018-09-13 2019-01-18 华东交通大学 一种分布式数据源异构同步平台及同步方法
CN109358866A (zh) * 2018-08-09 2019-02-19 南京易捷思达软件科技有限公司 一种面向应用的多云管理***
CN110149412A (zh) * 2019-06-05 2019-08-20 广州云华智慧科技有限公司 基于云化通信器的智能化云平台***
CN110599655A (zh) * 2019-09-17 2019-12-20 成都云鼎丝路信息技术有限公司 一种Ultimo统一决策平台及安防管理方法
CN110727664A (zh) * 2019-09-18 2020-01-24 上海联蔚信息科技有限公司 用于对公有云数据执行目标操作的方法与设备
CN110825756A (zh) * 2019-10-31 2020-02-21 北京东软望海科技有限公司 数据同步方法、装置、存储介质及设备
CN111026372A (zh) * 2019-12-12 2020-04-17 北京中电普华信息技术有限公司 基于微服务应用架构的Web版手机桌面***及用户工作台
CN111061171A (zh) * 2019-12-04 2020-04-24 广州穗能通能源科技有限责任公司 配电房监控***、配电房数据处理、调用方法及其装置
CN111371830A (zh) * 2019-11-26 2020-07-03 航天科工网络信息发展有限公司 一种万网融合场景下基于数据驱动的智能协同云架构
WO2020157615A1 (en) * 2019-01-28 2020-08-06 White3 S.R.L. Visual integration software system of heterogeneous sources, based on the nebular-physical-topological representation of a complex system
CN111784282A (zh) * 2020-06-10 2020-10-16 深圳市时耕科技有限公司 智慧场馆综合管理平台
CN116915700A (zh) * 2023-08-10 2023-10-20 北银金融科技有限责任公司 一种前端微服务聚合技术解决方法

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102324074A (zh) * 2011-10-28 2012-01-18 山东城通科技有限公司 中小企业信息化应用集群平台
CN103854168A (zh) * 2014-02-17 2014-06-11 湖南中烟工业有限责任公司 异构流程待办集中处理方法及处理装置
CN105094818A (zh) * 2015-07-14 2015-11-25 国家信息中心 基于soa的自然资源综合应用构建方法及***
US20170180211A1 (en) * 2015-12-18 2017-06-22 Convergent Technology Advisors Hybrid cloud integration fabric and ontology for integration of data, applications, and information technology infrastructure
CN107025134A (zh) * 2017-03-02 2017-08-08 北京三快在线科技有限公司 数据库服务***及兼容多种数据库的方法
CN109358866A (zh) * 2018-08-09 2019-02-19 南京易捷思达软件科技有限公司 一种面向应用的多云管理***
CN109241191A (zh) * 2018-09-13 2019-01-18 华东交通大学 一种分布式数据源异构同步平台及同步方法
WO2020157615A1 (en) * 2019-01-28 2020-08-06 White3 S.R.L. Visual integration software system of heterogeneous sources, based on the nebular-physical-topological representation of a complex system
CN110149412A (zh) * 2019-06-05 2019-08-20 广州云华智慧科技有限公司 基于云化通信器的智能化云平台***
CN110599655A (zh) * 2019-09-17 2019-12-20 成都云鼎丝路信息技术有限公司 一种Ultimo统一决策平台及安防管理方法
CN110727664A (zh) * 2019-09-18 2020-01-24 上海联蔚信息科技有限公司 用于对公有云数据执行目标操作的方法与设备
CN110825756A (zh) * 2019-10-31 2020-02-21 北京东软望海科技有限公司 数据同步方法、装置、存储介质及设备
CN111371830A (zh) * 2019-11-26 2020-07-03 航天科工网络信息发展有限公司 一种万网融合场景下基于数据驱动的智能协同云架构
CN111061171A (zh) * 2019-12-04 2020-04-24 广州穗能通能源科技有限责任公司 配电房监控***、配电房数据处理、调用方法及其装置
CN111026372A (zh) * 2019-12-12 2020-04-17 北京中电普华信息技术有限公司 基于微服务应用架构的Web版手机桌面***及用户工作台
CN111784282A (zh) * 2020-06-10 2020-10-16 深圳市时耕科技有限公司 智慧场馆综合管理平台
CN116915700A (zh) * 2023-08-10 2023-10-20 北银金融科技有限责任公司 一种前端微服务聚合技术解决方法

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
ANIRBAN BHATTACHARJEE: "Algorithms and Techniques for Automated Deployment and Efficient Management of Large-Scale Distributed Data Analytics Services", 《VANDERBILT UNIVERSITY PROQUEST DISSERTATIONS PUBLISHING》, 29 February 2020 (2020-02-29), pages 1 - 24 *
LUCIO_CN: "前端微服务整合之"插拔式架构"实现方案", Retrieved from the Internet <URL:《https://blog.csdn.net/lizhipeng123321/article/details/81868136》> *
余勇;林为民;郭骞;: "电力信息***安全可信的一站式业务服务***的研究", 信息网络安全, no. 08 *
刘海;张瞩熹;任雯;肖岩平;: "面向异构数据源的分布式集成工具研究与设计", 计算机应用研究, no. 1, pages 204 - 206 *
周玲元;: "基于网格的网络化制造平台集成研究", 机电产品开发与创新, no. 04 *
李聪: "基于微服务架构的培训***的设计与实现", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》, no. 01, 15 January 2020 (2020-01-15), pages 138 - 483 *
王锋等: "前后端分离模式下的WEB***集成方案", 《通信技术》, vol. 53, no. 09, pages 2347 - 2350 *
马立红;王海生;宁光涛;杨陵霞;刘保柱;: "基于多源数据融合与分析的配电网可视化诊断***的构建", 电子技术与软件工程, no. 02, pages 210 - 213 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114172966A (zh) * 2021-12-07 2022-03-11 中国工商银行股份有限公司 单元化架构下的服务调用方法、服务处理方法及装置
CN114172966B (zh) * 2021-12-07 2024-02-06 中国工商银行股份有限公司 单元化架构下的服务调用方法、服务处理方法及装置
CN116595154A (zh) * 2023-07-14 2023-08-15 阿里巴巴（中国）有限公司 任务处理方法以及自动问答方法
CN116595154B (zh) * 2023-07-14 2023-12-12 阿里巴巴（中国）有限公司 任务处理方法以及自动问答方法

Also Published As

Publication number Publication date
CN112765246B (zh) 2024-05-24

Similar Documents

Publication Publication Date Title
CN111083225B (zh) 在物联网平台中的数据处理方法、装置及物联网平台
US7730183B2 (en) System and method for generating virtual networks
CN108804215B (zh) 一种任务处理方法、装置以及电子设备
US9442822B2 (en) Providing a visual representation of a sub-set of a visual program
CN109831466B (zh) 微服务业务处理方法及nginx服务器
US11221907B1 (en) Centralized software issue triage system
US10657027B2 (en) Aggregating data for debugging software
CN112765246B (zh) 任务处理方法、装置、电子设备和存储介质
CN113596078A (zh) 业务问题定位方法及装置
KR102118487B1 (ko) 지속적인 통합 및 배포를 위한 컨테이너 기반 애플리케이션의 자동 품질검사 시스템 및 방법
US11902804B2 (en) Fault triage and management with restricted third-party access to a tenant network
US8997116B2 (en) Event logging application programming interface (API)
CN113360386B (zh) 交换芯片驱动测试方法、装置、电子设备和存储介质
CN113191889A (zh) 风控配置方法、配置***、电子设备及可读存储介质
US10831590B2 (en) Error handling
CN109324892B (zh) 分布式管理方法、分布式管理***及装置
WO2023151397A1 (zh) 应用程序部署方法、装置、设备及介质
CN113158195B (zh) 一种基于poc脚本的分布式漏洞扫描方法及***
CN107818122A (zh) 一种代理组件、搜索管理方法及搜索管理***
US8321844B2 (en) Providing registration of a communication
CN117171800B (zh) 一种基于零信任防护体系的敏感数据识别方法及装置
JP7470769B1 (ja) クラウドのａｐｉの変更を分析する方法
KR102668339B1 (ko) 인터페이스 관리 방법, 인터페이스 거버넌스 시스템, 및 인터페이스를 관리하는, 컴퓨터로 실행가능한 프로그램을 저장하는 저장매체
WO2021147375A1 (zh) 数据管理方法、装置、设备、计算机可读存储介质及***
CN111125149B (zh) 基于Hive的数据获取方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant