CN112965881A - 一种数据计算方法、引擎、***、设备及介质 - Google Patents

一种数据计算方法、引擎、***、设备及介质 Download PDF

Info

Publication number
CN112965881A
CN112965881A CN202110336471.XA CN202110336471A CN112965881A CN 112965881 A CN112965881 A CN 112965881A CN 202110336471 A CN202110336471 A CN 202110336471A CN 112965881 A CN112965881 A CN 112965881A
Authority
CN
China
Prior art keywords
calculation
request
data calculation
target data
computation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110336471.XA
Other languages
English (en)
Inventor
杨尚京
王枫
谭仕朝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Lexin Software Technology Co Ltd
Original Assignee
Shenzhen Lexin Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Lexin Software Technology Co Ltd filed Critical Shenzhen Lexin Software Technology Co Ltd
Priority to CN202110336471.XA priority Critical patent/CN112965881A/zh
Publication of CN112965881A publication Critical patent/CN112965881A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/547—Remote procedure calls [RPC]; Web services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/03—Credit; Loans; Processing thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Technology Law (AREA)
  • Strategic Management (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明实施例公开了一种数据计算方法、引擎、***、设备及介质。其中，数据计算方法，包括：响应于客户端应用发起的目标数据计算请求，获取与所述目标数据计算请求匹配的计算配置信息；获取所述目标数据计算请求中包含的目标业务参数，并根据所述目标业务参数和所述计算配置信息，采用与所述目标数据计算请求对应的执行拓扑结构进行数据计算，得到目标信息项；其中，所述执行拓扑结构中由多个信息项的计算逻辑作为拓扑节点，以各信息项的计算顺序作为拓扑路径。本发明实施例的技术方案，解决了现有技术中无法清晰展示计算流程的问题，通过执行拓扑结构进行数据计算，实现计算流程的清晰展示。

Description

一种数据计算方法、引擎、***、设备及介质
技术领域
本发明实施例涉及计算机技术，尤其涉及一种数据计算方法、引擎、***、设备及介质。
背景技术
互联网金融业务在整个借贷流程中会涉及到用户账单计费、融资保费计费、资金方清算计费等多处计费，每个计费流程存在多个信息项计算，例如，用户账单计费包括还款日计算、本金计算、利息计算等。
现有技术中，通常在各自应用程序上编码实现各计费流程，对各种计费逻辑的管理比较困难，各信息项计算往往耦合在一个粗粒度的计费流程中，无法清晰的展示计费流程。
发明内容
本发明实施例提供一种数据计算方法、引擎、***、设备及介质，通过执行拓扑结构进行数据计算，实现计算流程的清晰展示。
第一方面，本发明实施例提供了一种数据计算方法，所述方法包括：
响应于客户端应用发起的目标数据计算请求，获取与所述目标数据计算请求匹配的计算配置信息；
获取所述目标数据计算请求中包含的目标业务参数，并根据所述目标业务参数和所述计算配置信息，采用与所述目标数据计算请求对应的执行拓扑结构进行数据计算，得到目标信息项；
其中，所述执行拓扑结构中由多个信息项的计算逻辑作为拓扑节点，以各信息项的计算顺序作为拓扑路径。
第二方面，本发明实施例还提供了一种数据计算引擎，所述数据计算引擎包括预处理器和执行器；
所述预处理器，用于响应于用户发起的目标数据计算请求，获取与所述目标数据计算请求匹配的计算配置信息；
所述执行器，用于获取所述目标数据计算请求中包含的目标业务参数，并根据所述目标业务参数和所述计算配置信息，采用与所述目标数据计算请求对应的执行拓扑结构进行数据计算，得到目标信息项；
其中，所述执行拓扑结构中由多个信息项的计算逻辑作为拓扑节点，以各信息项的计算顺序作为拓扑路径。
第三方面，本发明实施例还提供了一种数据计算***，所述数据计算***包括本发明任意实施例提供的数据计算引擎，计算管理子***、立体监控子***以及数据源；
所述计算管理子***，用于对至少一项计算逻辑的各版本的打包结果进行存储，以及在数据计算过程中进行流程显示和监控告警；
所述数据源，用于为所述计算引擎提供与当前目标数据计算请求匹配的计算配置信息；
所述立体监控子***，用于对运行数据计算引擎的基础设施进行监控，对各应用性能进行监控，以及对各项业务指标进行监控。
第四方面，本发明实施例还提供了一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例提供的数据计算方法。
第五方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例提供的数据计算方法。
本发明实施例的技术方案，响应于客户端应用发起的目标数据计算请求，获取与目标数据计算请求匹配的计算配置信息，然后获取目标数据计算请求中包含的目标业务参数，并根据目标业务参数和计算配置信息，采用与目标数据计算请求对应的执行拓扑结构进行数据计算，得到目标信息项，其中，执行拓扑结构中由多个信息项的计算逻辑作为拓扑节点，以各信息项的计算顺序作为拓扑路径，解决了现有技术中无法清晰展示数据计算流程的问题，通过执行拓扑结构进行数据计算，实现计算流程的清晰展示。
附图说明
图1是本发明实施例一中的一种数据计算方法的流程图；
图2是本发明实施例二中的一种数据计算方法的流程图；
图3是本发明实施例三中的一种数据计算引擎的结构示意图；
图4是本发明实施例四中的一种数据计算***的结构示意图；
图5是本发明实施例五提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一中的一种数据计算方法的流程图，本实施例的技术方案适用于根据执行拓扑结构进行数据计算的情况，该方法可以由数据计算引擎执行，该引擎可以由软件和/或硬件来实现，并可以集成在各种通用计算机设备中，具体包括如下步骤：
步骤110、响应于客户端应用发起的目标数据计算请求，获取与目标数据计算请求匹配的计算配置信息。
其中，目标数据计算请求可以是指客户端应用响应于用户的操作，向后台服务器发送的请求，该请求用于指示内置有数据计算引擎的后台服务器计算相应的数据，具体的，该目标数据计算请求中可以包含至少一个业务参数。示例性的，用户在客户端应用进行还款日、待还本金和待还利息的计算操作，则客户端应用会向后台服务器发起计算上述数据的请求，具体的，该请求中可以包含用户输入的借款金额和借款时间。
计算配置信息可以是指计算用户请求的数据过程中，除用户输入的业务参数之外，还需用到的数据和一些配置信息，示例性的，计算配置信息可以包括借款利率，以及相关计算方式。
本实施例中，数据计算引擎在接收到客户端应用发起的目标数据计算请求时，需要根据目标数据计算请求，获取匹配的计算配置信息，具体的，数据计算引擎可以根据目标数据计算请求中包含的需要计算的至少一个目标信息项，在数据源中查询这些目标信息项计算过程中需要的计算配置信息。示例性的，数据计算引擎接收到关于借款方的客户端应用发起的关于还款日、待还本金和待还利息计算的请求，需要获取在计算上述信息项时需要用到的计算配置信息，例如，借款利率。数据源可以是数据库或者RPC(Remote ProcedureCall Protocol，远程过程调用协议)接口等。
步骤120、获取目标数据计算请求中包含的目标业务参数，并根据目标业务参数和计算配置信息，采用与目标数据计算请求对应的执行拓扑结构进行数据计算，得到目标信息项；
其中，执行拓扑结构中由多个信息项的计算逻辑作为拓扑节点，以各信息项的计算顺序作为拓扑路径。
其中，目标业务参数可以是指用户输入的用于计算目标信息项的参数，示例性的，目标业务参数是借款方的客户端应用发起的目标数据计算请求中携带的借款本金以及借款时间等参数。执行拓扑结构是对一项业务逻辑进行解析得到的，一项业务逻辑中包含多个需要计算的信息项，执行拓扑结构的每个节点表示一个信息项，按照计算顺序将各信息项串联则构成拓扑路径。示例性的，与借款方相关的业务逻辑中包括用户账单、还款日和待还本金等多个需要计算的信息项，上述信息项即为执行拓扑结构的各节点。
目标业务参数与计算配置信息不同，目标业务参数是用户输入的计算目标信息项的主要数据，而计算配置信息是数据计算引擎根据接收到的目标数据计算请求从数据源中获取的，用于辅助计算目标信息项的参数。
本实施例中，数据计算引擎接收到客户端应用发起的目标数据计算请求后，获取目标数据计算请求中包含的目标业务参数，并确定与当前目标数据计算请求对应的执行拓扑结构，最终将目标业务参数和计算配置信息一起输入至执行拓扑结构中进行数据计算，得到目标信息项。其中，数据计算引擎可以根据目标数据计算请求中包含的需要计算的至少一个目标信息项，来确定执行拓扑结构，例如，选择包含了目标数据计算请求中至少一个目标信息项的执行拓扑结构进行数据计算。
示例性的，数据计算引擎获取到目标数据计算请求中包含的目标业务参数为借款本金以及借款时间，需要计算的目标信息项包括了还款日、待还本金和待还利息，可以将上述目标业务参数和获取的计算配置信息输入至包含上述目标信息项的执行拓扑结构进行计算，最终得到目标信息项。
本发明实施例的技术方案，响应于客户端应用发起的目标数据计算请求，获取与目标数据计算请求匹配的计算配置信息，然后获取目标数据计算请求中包含的目标业务参数，并根据目标业务参数和计算配置信息，采用与目标数据计算请求对应的执行拓扑结构进行数据计算，得到目标信息项，其中，执行拓扑结构中由多个信息项的计算逻辑作为拓扑节点，以各信息项的计算顺序作为拓扑路径，解决了现有技术中无法清晰展示数据计算流程的问题，通过执行拓扑结构进行数据计算，实现计算流程的清晰展示。
实施例二
图2为本发明实施例二中的一种数据计算方法的流程图，本实施例在上述实施例的基础上进一步细化，提供了在响应于客户端应用发起的目标数据计算请求，获取与目标数据计算请求匹配的计算配置信息之前的具体步骤，以及获取与目标数据计算请求匹配的计算配置信息的具体步骤。下面结合图2对本发明实施例二提供的一种数据计算方法进行说明，包括以下步骤：
步骤210、对开发者上传的至少一项计算逻辑进行解析，得到与各计算逻辑匹配的执行拓扑结构。
本实施例中，开发者根据实际业务需求编写至少一项计算逻辑后，将至少一项计算逻辑上传到数据计算引擎，数据计算引擎在收到计算逻辑后，首先对各计算逻辑进行解析，按照信息项维度将各计算逻辑拆分为多个计算逻辑，最终将每个信息项对应的计算逻辑作为执行拓扑结构的各拓扑节点，各信息项的计算顺序为拓扑路径。将各项计算逻辑按照信息项维度进行拆分，实现了按照统一的计算标准执行计算过程，可以使每个信息项的计算过程清晰的展示给用户，便于用户了解各信息项计算结果，以及进行计算流程的比对。
示例性的，数据计算引擎接收到开发者上传的一项关于借款方的计算逻辑，首先对该计算逻辑进行解析，按照信息项维度将其拆分为多个计算逻辑，具体的，将借款方的计算逻辑拆分为用户账单计算逻辑、还款日计算逻辑、待还本金计算逻辑以及待还利息计算逻辑，将每个拆分后的计算逻辑作为执行拓扑结构的拓扑节点。
步骤220、对至少一项计算逻辑分别进行打包，将打包结果存储至版本仓库中，并根据开发者输入的灰度参数，进行灰度发布，版本仓库中存储有与计算逻辑对应的至少一个版本的打包结果。
本实施例中，为了对计算逻辑进行版本管理，每次开发者上传计算逻辑时，数据计算引擎都将计算逻辑进行打包，并将打包好的计算逻辑以及该计算逻辑的版本对应存储至版本仓库中，版本仓库用于管理各计算逻辑对应的多个版本的打包结果。在存储打包好的计算逻辑时，还会根据开发者设置的灰度参数，对新版本技术逻辑进行灰度发布，实现新旧版本计算逻辑的稳定过渡。
示例性的，开发者将与资金方相关的计算逻辑的2.0版本上传后，数据计算引擎会将该计算引擎进行打包，将打包好的2.0版本的计算逻辑与之前上传的1.0版本对应存储，并且还会根据开发者设置的灰度参数，进行灰度发布，例如，开发者设置的灰度参数为30％，则数据计算引擎会将资金方的客户端应用发起的目标数据计算请求中的30％采用2.0版本的计算逻辑进行计算，剩余的70％仍采用原始的1.0版本的计算逻辑进行计算，通过灵活调节灰度参数，实现了新旧版本计算逻辑的稳定过渡，以及计费逻辑的热部署。
步骤230、响应于客户端应用发起的目标数据计算请求，获取与所述目标数据计算请求匹配的计算配置信息。
可选的，获取与目标数据计算请求匹配的计算配置信息，包括下述至少一项：
根据目标数据计算请求，在数据库中查询与目标数据计算请求匹配的计算配置信息；
根据目标数据计算请求，通过调用远程过程调用协议RPC接口获取与目标数据计算请求匹配的计算配置信息；
根据目标数据计算请求，通过读取Hippo配置获取与目标数据计算请求匹配的计算配置信息。
本可选的实施例中，提供了一种获取与目标数据计算请求匹配的计算配置信息的具体方式，包括下述至少一种方式：
1.根据目标数据计算请求，在数据计算引擎对应的数据库中查询与目标数据计算请求匹配的计算配置信息，例如，根据目标数据计算请求中包含的待计算的信息项，确定计算方式或者计算过程中需要的辅助数据；
2.根据目标数据计算请求，通过调用RPC接口获取与目标数据计算请求匹配的计算配置信息；
3.根据目标数据计算请求，通过读取Hippo配置获取与目标数据计算请求匹配的计算配置信息。
步骤240、获取目标数据计算请求中包含的目标业务参数，并根据目标业务参数和计算配置信息，采用与目标数据计算请求对应的执行拓扑结构进行数据计算，得到目标信息项；
其中，执行拓扑结构中由多个信息项的计算逻辑作为拓扑节点，以各信息项的计算顺序作为拓扑路径。
可选的，在根据目标业务参数和计算配置信息，采用与目标数据计算请求对应的执行拓扑结构进行数据计算时，还包括：
监控执行拓扑结构中各节点的节点执行时间，以及由多个节点构成的路径的路径执行时间；
当节点执行时间超过第一时间阈值和/或路径执行时间超过第二时间阈值时，向监控告警模块发送告警请求，以指示监控告警模块根据预设告警规则进行告警。
本可选的实施例中，提供了一种在根据目标业务参数和计算配置信息，采用与目标数据计算请求对应的执行拓扑结构进行数据计算的同时执行的步骤，具体的，数据计算引擎会在使用执行拓扑结构进行数据计算过程中，监控执行拓扑结构中各节点的节点执行时间，以及由多个节点构成的路径执行时间，并判断各节点执行时间是否超过预设的第一时间阈值，和/或各路径执行时间是否超过预设的第二时间阈值，若是，则向监控告警模块发送告警请求，指示监控告警模块根据预设的告警规则进行告警。
示例性的，数据计算引擎监控到与待还利息计算逻辑对应的节点执行时间为1秒，而预先设定的第一时间阈值为500毫秒，则向监控告警模块发送告警请求，监控告警模块则会根据预设的告警规则进行告警，例如，预设告警规则为1分钟内接收到超过10个告警请求则发起告警，提示开发者关注当前计算过程是否有逻辑错误或者冗余。
本发明实施例的技术方案，对开发者上传的至少一项计算逻辑进行解析，得到与各计算逻辑匹配的执行拓扑结构，对至少一项计算逻辑分别进行打包，将打包结果存储至版本仓库中，并根据开发者输入的灰度参数，进行灰度发布，响应于客户端应用发起的目标数据计算请求，获取与所述目标数据计算请求匹配的计算配置信息，获取目标数据计算请求中包含的目标业务参数，并根据目标业务参数和计算配置信息，采用与目标数据计算请求对应的执行拓扑结构进行数据计算，得到目标信息项，一方面通过执行拓扑结构进行数据计算，实现计算流程的清晰展示，另一方面，将计算逻辑的打包结果存储至版本仓库中，并根据开发者输入的灰度参数，进行灰度发布，可以实现计算逻辑的热部署。
实施例三
图3为本发明实施例三中的一种数据计算引擎的结构示意图，数据计算引擎包括预处理器11和执行器12；
其中，预处理器11，用于响应于用户发起的目标数据计算请求，获取与目标数据计算请求匹配的计算配置信息。
数据计算引擎中的预处理器11在接收到客户端应用发起的目标数据计算请求时，需要根据目标数据计算请求，获取匹配的计算配置信息，具体的，数据计算引擎中包含的预处理器11可以根据目标数据计算请求中包含的需要计算的至少一个目标信息项，在数据源中查询计算这些目标信息项需要的计算配置信息。
执行器12，用于获取目标数据计算请求中包含的目标业务参数，并根据目标业务参数和计算配置信息，采用与目标数据计算请求对应的执行拓扑结构进行数据计算，得到目标信息项；
其中，执行拓扑结构中由多个信息项的计算逻辑作为拓扑节点，以各信息项的计算顺序作为拓扑路径。
数据计算引擎接收到客户端应用发起的目标数据计算请求后，数据计算引擎中的执行器12获取目标数据计算请求中包含的目标业务参数，并确定与当前目标数据计算请求对应的执行拓扑结构，最终将目标业务参数和计算配置信息一起输入至执行拓扑结构中进行数据计算，得到目标信息项。其中，执行器12可以根据目标数据计算请求中包含的需要计算的至少一个目标信息项，来确定执行拓扑结构，例如，选择包含了目标数据计算请求中至少一个目标信息项的执行拓扑结构进行数据计算。
可选的，数据计算引擎还包括解析器13；
解析器13，用于对开发者上传的至少一项计算逻辑进行解析，得到与各计算逻辑匹配的执行拓扑结构；
对至少一项计算逻辑分别进行打包，将打包结果存储至版本仓库中，并根据开发者输入的灰度参数，进行灰度发布，版本仓库中存储有与计算逻辑对应的至少一个版本的打包结果。
数据计算引擎中的解析器13在收到开发者上传的计算逻辑后，首先对各计算逻辑进行解析，按照信息项维度将各计算逻辑拆分为多个计算逻辑，最终将每个信息项对应的计算逻辑作为执行拓扑结构的各拓扑节点，各信息项的计算顺序为拓扑路径。将各项计算逻辑按照信息项维度进行拆分，实现了按照统一的计算标准执行计算过程，可以使每个信息项的计算过程清晰的展示给用户，便于用户了解各信息项计算结果，以及进行计算流程的比对。
在此之后，为了对计算逻辑进行版本管理，每次开发者上传计算逻辑时，数据计算引擎中的解析器13都将计算逻辑进行打包，并将打包好的计算逻辑以及该计算逻辑的版本对应存储至版本仓库中，版本仓库用于管理各计算逻辑对应的多个版本的打包结果。在存储打包好的计算逻辑时，还会根据开发者设置的灰度参数，对新版本技术逻辑进行灰度发布，实现新旧版本计算逻辑的稳定过渡。
可选的，数据计算引擎还包括监控器14；
监控器14，用于监控执行拓扑结构中各节点的节点执行时间，以及各路径的路径执行时间；
当节点执行时间超过第一时间阈值和/或路径执行时间超过第二时间阈值时，向监控告警模块发送告警请求，以指示监控告警模块根据预设告警规则进行告警。
数据计算引擎在使用执行拓扑结构进行数据计算过程中，通过监控器14监控执行拓扑结构中各节点的节点执行时间，以及由多个节点构成的路径执行时间，并判断各节点执行时间是否超过预设的第一时间阈值，和/或各路径执行时间是否超过预设的第二时间阈值，若是，则向监控告警模块发送告警请求，指示监控告警模块根据预设的告警规则进行告警。
本发明实施例的技术方案，响应于客户端应用发起的目标数据计算请求，获取与目标数据计算请求匹配的计算配置信息，然后获取目标数据计算请求中包含的目标业务参数，并根据目标业务参数和计算配置信息，采用与目标数据计算请求对应的执行拓扑结构进行数据计算，得到目标信息项，其中，执行拓扑结构中由多个信息项的计算逻辑作为拓扑节点，以各信息项的计算顺序作为拓扑路径，解决了现有技术中无法清晰展示数据计算流程的问题，通过执行拓扑结构进行数据计算，实现计算流程的清晰展示。
实施例四
图4为本发明实施例四提供的一种数据计算***的结构示意图，该数据计算装置，本发明实施例中任一所述的数据计算引擎1，计算管理子***2、立体监控子***3以及数据源4；
计算管理子***2，用于对至少一项计算逻辑的各版本的打包结果进行存储，以及在数据计算过程中进行流程显示和监控告警。
计算管理子***2，一方面，用于存储各项计算逻辑的各个版本的打包结果，便于新旧版本的稳定过渡，另一方面，可以在数据计算过程中进行计算流程的显示和监控告警，便于用户了解计算流程，同时便于开发者查找逻辑问题。
数据源4，用于为计算引擎提供与当前目标数据计算请求匹配的计算配置信息。
其中，数据源可以是RPC接口、数据库或者Hippo等，数据计算引擎在接收到目标数据计算请求后，可以通过预处理器11在数据源处查询与目标数据计算请求匹配的计算配置信息。
立体监控子***3，用于对运行数据计算引擎1的基础设施进行监控，对各应用性能进行监控，以及对各项业务指标进行监控。
立体监控子***3主要用于对运行数据计算引擎1的基础设备进行监控，例如，对服务器设备的运行情况进行监控，还包括各应用性能的监控，例如，与用户对应的应用或者与资金方对应的应用，除此之外，还可以对各业务指标进行监控。
可选的，数据计算引擎包括处理器11，执行器12，解析器13和监控器14。
可选的，计算管理子***2包括版本仓库21，监控告警模块22以及流程比较模块23；
版本仓库21，用于存储与至少一项计算逻辑匹配的各版本的打包结果，以及根据各版本计算逻辑的灰度参数，进行灰度发布；
监控告警模块22，用于根据监控器发送的告警请求以及预设的告警规则，进行告警；
流程比较模块23，用于比较至少一个应用程序通过调用数据计算引擎，计算得到的至少一个信息项的差异。
本可选的实施例中，计算管理子***2包括版本仓库21，监控告警模块22以及流程比较模块23，其中，版本仓库21用于存储与至少一项计算逻辑匹配的各版本的打包结果，并根据各版本计算逻辑的灰度参数，进行灰度发布，实现计算逻辑热部署的同时，还可以实现新旧版本计算逻辑的稳定过渡，降低新版本计算逻辑发布的风险；监控告警模块22用于接收监控器14发送的告警请求，并根据告警请求和预设的告警规则进行告警，例如，在1分钟内接收到超过10个告警请求，则发起告警，便于提醒开发者根据告警情况，定位问题，进行计算逻辑检测；流程比较模块23用于比较至少一个应用程序通过调用数据计算引擎，计算得到的至少一个信息项的差异，便于用户比较是否有信息项计算错误。
可选的，立体监控子***3可以包括基础设施监控模块31，应用性能监控模块32，以及业务指标监控模块33。
可选的，所述数据源4可以包括PRC接口41、数据库42以及Hippo43。
本发明实施例的技术方案，对开发者上传的至少一项计算逻辑进行解析，得到与各计算逻辑匹配的执行拓扑结构，对至少一项计算逻辑分别进行打包，将打包结果存储至版本仓库中，并根据开发者输入的灰度参数，进行灰度发布，响应于客户端应用发起的目标数据计算请求，获取与所述目标数据计算请求匹配的计算配置信息，获取目标数据计算请求中包含的目标业务参数，并根据目标业务参数和计算配置信息，采用与目标数据计算请求对应的执行拓扑结构进行数据计算，得到目标信息项，通过执行拓扑结构进行数据计算，实现计算流程的清晰展示，另一方面，将计算逻辑的打包结果存储至版本仓库中，并根据开发者输入的灰度参数，进行灰度发布，可以实现计算逻辑的热部署。
实施例五
图5为本发明实施例五提供的一种电子设备的结构示意图，如图5所示，该电子设备包括处理器50和存储器51；设备中处理器50的数量可以是一个或多个，图5中以一个处理器50为例；设备中的处理器50和存储器51可以通过总线或其它方式连接，图5中以通过总线连接为例。
存储器51作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的一种数据计算方法对应的程序指令/模块(例如，数据计算引擎中的预处理器11和执行器12)。处理器50通过运行存储在存储器51中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的数据计算方法。
该方法包括：
响应于客户端应用发起的目标数据计算请求，获取与所述目标数据计算请求匹配的计算配置信息；
获取所述目标数据计算请求中包含的目标业务参数，并根据所述目标业务参数和所述计算配置信息，采用与所述目标数据计算请求对应的执行拓扑结构进行数据计算，得到目标信息项；
其中，所述执行拓扑结构中由多个信息项的计算逻辑作为拓扑节点，以各信息项的计算顺序作为拓扑路径。
存储器51可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器51可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其它非易失性固态存储器件。在一些实例中，存储器51可进一步包括相对于处理器50远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
实施例六
本发明实施例六还提供一种其上存储有计算机程序的计算机可读存储介质，所述计算机程序在由计算机处理器执行时用于执行一种数据计算方法，该方法包括：
响应于客户端应用发起的目标数据计算请求，获取与所述目标数据计算请求匹配的计算配置信息；
获取所述目标数据计算请求中包含的目标业务参数，并根据所述目标业务参数和所述计算配置信息，采用与所述目标数据计算请求对应的执行拓扑结构进行数据计算，得到目标信息项；
其中，所述执行拓扑结构中由多个信息项的计算逻辑作为拓扑节点，以各信息项的计算顺序作为拓扑路径。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述一种数据计算引擎和***的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其它等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (11)

1.一种数据计算方法，其特征在于，包括：
响应于客户端应用发起的目标数据计算请求，获取与所述目标数据计算请求匹配的计算配置信息；
获取所述目标数据计算请求中包含的目标业务参数，并根据所述目标业务参数和所述计算配置信息，采用与所述目标数据计算请求对应的执行拓扑结构进行数据计算，得到目标信息项；
其中，所述执行拓扑结构中由多个信息项的计算逻辑作为拓扑节点，以各信息项的计算顺序作为拓扑路径。
2.根据权利要求1所述的方法，其特征在于，在响应于客户端应用发起的目标数据计算请求，获取与所述目标数据计算请求匹配的计算配置信息之前，还包括：
对开发者上传的至少一项计算逻辑进行解析，得到与各计算逻辑匹配的执行拓扑结构；
对所述至少一项计算逻辑分别进行打包，将打包结果存储至版本仓库中，并根据开发者输入的灰度参数，进行灰度发布，所述版本仓库中存储有与计算逻辑对应的至少一个版本的打包结果。
3.根据权利要求1所述的方法，其特征在于，在根据所述目标业务参数和所述计算配置信息，采用与所述目标数据计算请求对应的执行拓扑结构进行数据计算时，还包括：
监控所述执行拓扑结构中各节点的节点执行时间，以及由多个节点构成的路径的路径执行时间；
当所述节点执行时间超过第一时间阈值和/或所述路径执行时间超过第二时间阈值时，向监控告警模块发送告警请求，以指示所述监控告警模块根据预设告警规则进行告警。
4.根据权利要求1所述的方法，其特征在于，获取与所述目标数据计算请求匹配的计算配置信息，包括下述至少一项：
根据所述目标数据计算请求，在数据库中查询与所述目标数据计算请求匹配的计算配置信息；
根据所述目标数据计算请求，通过调用远程过程调用协议RPC接口获取与所述目标数据计算请求匹配的计算配置信息；
根据所述目标数据计算请求，通过读取Hippo配置获取与所述目标数据计算请求匹配的计算配置信息。
5.一种数据计算引擎，其特征在于，包括预处理器和执行器；
所述预处理器，用于响应于用户发起的目标数据计算请求，获取与所述目标数据计算请求匹配的计算配置信息；
所述执行器，用于获取所述目标数据计算请求中包含的目标业务参数，并根据所述目标业务参数和所述计算配置信息，采用与所述目标数据计算请求对应的执行拓扑结构进行数据计算，得到目标信息项；
其中，所述执行拓扑结构中由多个信息项的计算逻辑作为拓扑节点，以各信息项的计算顺序作为拓扑路径。
6.根据权利要求5所述的数据计算引擎，其特征在于，还包括解析器；
所述解析器，用于对开发者上传的至少一项计算逻辑进行解析，得到与各计算逻辑匹配的执行拓扑结构；对所述至少一项计算逻辑分别进行打包，将打包结果存储至版本仓库中，并根据开发者输入的灰度参数，进行灰度发布，所述版本仓库中存储有与计算逻辑对应的至少一个版本的打包结果。
7.根据权利要求5所述的数据计算引擎，其特征在于，还包括监控器；
所述监控器，用于监控所述执行拓扑结构中各节点的节点执行时间，以及各路径的路径执行时间；当所述节点执行时间超过第一时间阈值和/或所述路径执行时间超过第二时间阈值时，向监控告警模块发送告警请求，以指示所述监控告警模块根据预设告警规则进行告警。
8.一种数据计算***，其特征在于，包括如权利要求5-7任一所述的数据计算引擎，计算管理子***、立体监控子***以及数据源；
所述计算管理子***，用于对至少一项计算逻辑的各版本的打包结果进行存储，以及在数据计算过程中进行流程显示和监控告警；
所述数据源，用于为所述计算引擎提供与当前目标数据计算请求匹配的计算配置信息；
所述立体监控子***，用于对运行数据计算引擎的基础设施进行监控，对各应用性能进行监控，以及对各项业务指标进行监控。
9.根据权利要求8所述的***，其特征在于，所述计算管理子***包括版本仓库，监控告警模块以及流程比较模块；
所述版本仓库，用于存储与至少一项计算逻辑匹配的各版本的打包结果，以及根据各版本计算逻辑的灰度参数，进行灰度发布；
所述监控告警模块，用于根据监控器发送的告警请求以及预设的告警规则，进行告警；
所述流程比较模块，用于比较至少一个应用程序通过调用数据计算引擎，计算得到的至少一个信息项的差异。
10.一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-4任一所述的数据计算方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4任一所述的数据计算方法。
CN202110336471.XA 2021-03-29 2021-03-29 一种数据计算方法、引擎、***、设备及介质 Pending CN112965881A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110336471.XA CN112965881A (zh) 2021-03-29 2021-03-29 一种数据计算方法、引擎、***、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110336471.XA CN112965881A (zh) 2021-03-29 2021-03-29 一种数据计算方法、引擎、***、设备及介质

Publications (1)

Publication Number Publication Date
CN112965881A true CN112965881A (zh) 2021-06-15

Family

ID=76279647

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110336471.XA Pending CN112965881A (zh) 2021-03-29 2021-03-29 一种数据计算方法、引擎、***、设备及介质

Country Status (1)

Country Link
CN (1) CN112965881A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113673997A (zh) * 2021-08-27 2021-11-19 深圳鼎盛电脑科技有限公司 一种资金计算引擎的可视化处理方法、装置、设备及介质
CN114661292A (zh) * 2022-03-07 2022-06-24 北京时空墨科技有限公司 数据的处理装置和编程***
CN117075948A (zh) * 2023-10-12 2023-11-17 阿里巴巴(成都)软件技术有限公司 一种软件上线的检测方法、设备和介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160277252A1 (en) * 2015-03-20 2016-09-22 International Business Machines Corporation High performance topology resolution for non-instrumented nodes
CN108520460A (zh) * 2018-03-26 2018-09-11 平安普惠企业管理有限公司 业务数据测算处理方法、装置、计算机设备和存储介质
JP2019067412A (ja) * 2018-10-23 2019-04-25 株式会社Ｙｋプランニング 借入金情報算出装置、借入金情報算出プログラム及び借入金情報の算出方法
CN110020773A (zh) * 2019-01-30 2019-07-16 阿里巴巴集团控股有限公司 一种数据处理方法、设备及计算机可读介质
CN112182106A (zh) * 2020-09-28 2021-01-05 中国平安人寿保险股份有限公司 保险业务数据的处理方法、***、装置及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160277252A1 (en) * 2015-03-20 2016-09-22 International Business Machines Corporation High performance topology resolution for non-instrumented nodes
CN108520460A (zh) * 2018-03-26 2018-09-11 平安普惠企业管理有限公司 业务数据测算处理方法、装置、计算机设备和存储介质
JP2019067412A (ja) * 2018-10-23 2019-04-25 株式会社Ｙｋプランニング 借入金情報算出装置、借入金情報算出プログラム及び借入金情報の算出方法
CN110020773A (zh) * 2019-01-30 2019-07-16 阿里巴巴集团控股有限公司 一种数据处理方法、设备及计算机可读介质
CN112182106A (zh) * 2020-09-28 2021-01-05 中国平安人寿保险股份有限公司 保险业务数据的处理方法、***、装置及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113673997A (zh) * 2021-08-27 2021-11-19 深圳鼎盛电脑科技有限公司 一种资金计算引擎的可视化处理方法、装置、设备及介质
CN114661292A (zh) * 2022-03-07 2022-06-24 北京时空墨科技有限公司 数据的处理装置和编程***
CN117075948A (zh) * 2023-10-12 2023-11-17 阿里巴巴(成都)软件技术有限公司 一种软件上线的检测方法、设备和介质
CN117075948B (zh) * 2023-10-12 2023-12-26 阿里巴巴(成都)软件技术有限公司 一种软件上线的检测方法、设备和介质

Similar Documents

Publication Publication Date Title
CN112965881A (zh) 一种数据计算方法、引擎、***、设备及介质
US10671474B2 (en) Monitoring node usage in a distributed system
EP1983437A1 (en) Determining of data quality in data streams
CN111209310B (zh) 基于流计算的业务数据处理方法、装置和计算机设备
TW201804392A (zh) 風險識別方法、風險識別裝置、雲風險識別裝置及系統
CN115174231B (zh) 一种基于AI Knowledge Base的网络欺诈分析方法及服务器
CN111858608A (zh) 一种数据管理方法、装置、服务器和存储介质
CN111813827A (zh) 黑名单筛查方法和装置、电子设备以及存储介质
CN110855477A (zh) 链路日志监控方法、装置、计算机设备和存储介质
CN108491408B (zh) 一种活动信息的处理方法、装置、电子设备及存储介质
US12021996B2 (en) Universal blockchain data model
CN109345249A (zh) 一种支付失败处理方法及装置
CN113806169A (zh) 业务异常处理方法及装置
CN113360210A (zh) 数据对账方法、装置、计算机设备和存储介质
CN111523921B (zh) 漏斗分析方法、分析设备、电子设备及可读存储介质
EP3058519A2 (en) Case-based reasoning
CN112491650A (zh) 动态分析服务之间调用环路情况的方法及相关设备
CN109377391B (zh) 一种信息追踪方法、存储介质和服务器
CN115082248A (zh) 业务信息处理方法及其装置、电子设备、存储介质
CN111552703B (zh) 一种数据处理方法及装置
CN114648323A (zh) 面向业务场景的调用链处理方法、装置及介质
CN114356737A (zh) 模型监测方法、设备、存储介质及计算机程序产品
CN112596974A (zh) 一种全链路监控方法、装置、设备和存储介质
CN114884807B (zh) 链路日志生成方法、装置、物联网平台及存储介质
CN115795185B (zh) 风险行程筛查方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210615

RJ01 Rejection of invention patent application after publication