CN116993523A - 配置化对账方法、装置、设备及存储介质 - Google Patents

配置化对账方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116993523A
CN116993523A CN202311001544.5A CN202311001544A CN116993523A CN 116993523 A CN116993523 A CN 116993523A CN 202311001544 A CN202311001544 A CN 202311001544A CN 116993523 A CN116993523 A CN 116993523A
Authority
CN
China
Prior art keywords
reconciliation
data
preset
target
comparison result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311001544.5A
Other languages
English (en)
Inventor
董正轩
刘春龙
***
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China United Network Communications Group Co Ltd
Original Assignee
China United Network Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China United Network Communications Group Co Ltd filed Critical China United Network Communications Group Co Ltd
Priority to CN202311001544.5A priority Critical patent/CN116993523A/zh
Publication of CN116993523A publication Critical patent/CN116993523A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/12—Accounting
    • G06Q40/125—Finance or payroll
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • General Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Physics & Mathematics (AREA)
  • Marketing (AREA)
  • Data Mining & Analysis (AREA)
  • Development Economics (AREA)
  • Technology Law (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供一种配置化对账方法、装置、设备及存储介质，通过基于任务处理入口接收对账任务请求；将所述对账任务请求与分布式计算框架进程关联；基于所述分布式计算框架，获取对账报表；对于所述对账任务请求的每一个节点流程，基于所述分布式计算框架生成相应的节点日志，将所述节点日志汇总为对账执行链条报告，将所述对账报表和所述对账执行链条报告反馈至客户端，通过配置+调度+分布式计算框架实现对账全流程管理，将各节点的对账配置由手动转为自动，减少手动配置失误率，并且在大数据场景下，可以减少频繁与数据库的事务交互，减少数据库资源利用率，实现高效对账。

Description

配置化对账方法、装置、设备及存储介质
技术领域
本申请涉及数据处理领域，尤其涉及一种配置化对账方法、装置、设备及存储介质。
背景技术
随着互联网金融行业高速发展，分布式支付服务越来越多，交易业务数据成倍增加。在分布式支付***中，对账流程为支付服务和清结算提供了关键的技术支持，用于使支付使用方和支付提供方相互确认交易、资金的正确性。
但由于不同的业务***参与者之间各自执行物理隔离的对账流程，现有的对账方法针对每一个新增的对账场景都要新写一套对账代码或手动新增个性化配置，在每次对账流程执行时，需要通过创建一个新的线程来进行驱动，实际上不同的对账流程之间流程相似度较高，这就导致代码冗余度很高和配置复杂的问题。另一方面，对账流程内部关键步骤之间耦合度较高，根据对账流程，在对账流程的每一个节点都需要手动配置对账信息，容易出错，且对账流程缺少相应的流程管理过程，同一业务***内部所有的对账流程共享同一数据区，对账流程之间无隔离，***资源率较低，容易引发资源使用瓶颈。
发明内容
本申请提供一种配置化对账方法、装置、设备及存储介质，用以解决对账流程每一个节点都需要手动配置对账信息，容易出错，且对账流程缺少相应的流程管理过程，对账流程之间无隔离，***资源率较低的技术问题。
第一方面，本申请提供一种配置化对账方法，包括：
基于任务处理入口接收对账任务请求，所述对账任务请求包括数据源配置信息、数据清洗配置和对账逻辑配置信息；
将所述对账任务请求与分布式计算框架进程关联，所述对账任务请求还包括多个节点流程，所述分布式计算框架用于实现所述对账任务请求的每一个节点流程；
基于所述分布式计算框架，根据所述数据源配置信息从预设的数据源库获取至少两个目标文件，将所述目标文件分别映射为所述分布式计算框架中的目标内存表，根据所述数据清洗配置对所述目标内存表进行解析，获取各目标内存表对应的待对账数据，基于所述对账逻辑配置信息对所述待对账数据执行对账操作，获取对账报表；
对于所述对账任务请求的每一个节点流程，基于所述分布式计算框架生成相应的节点日志，将所述节点日志汇总为对账执行链条报告，将所述对账报表和所述对账执行链条报告反馈至客户端。
可选地，如上所述的方法，所述数据源配置信息包括数据源地址和文件名，所述根据所述数据源配置信息从预设的数据源库获取至少两个目标文件，包括：
基于当前接口通信模式连接预设的数据源库，根据所述数据源地址寻址获取至少一个目标数据源；
判断所述目标数据源是否需要身份认证；
若否，根据所述文件名，从所述目标数据源中获取目标文件；
若是，向客户端发送身份认证请求，当身份认证通过后，根据所述文件名，从所述目标数据源中获取目标文件。
可选地，如上所述的方法，所述数据清洗配置包括多个清洗字段及各清洗字段对应的清洗规则，所述根据所述数据清洗配置对所述目标内存表进行解析，获取各目标内存表对应的待对账数据，包括：
从所述目标内存表中获取所述清洗字段；
基于所述各清洗字段对应的清洗规则对所述目标内存表中各数据进行数据过滤，获得所述目标内存表对应的待对账数据。
可选地，如上所述的方法，所述对账逻辑配置信息包括各待对账数据对应的关联字段、比对公式、至少两种预设结果及各预设结果对应的标识，所述基于所述对账逻辑配置信息对所述待对账数据执行对账操作，获取对账报表，包括：
根据各待对账数据对应的关联字段，从各对账数据中提取用于比对的目标字段数据；
基于所述比对公式，按照预设的排列顺序依次将所述目标字段数据进行比对，获得每一次的比对结果；
将所述每一次的比对结果与预设结果进行匹配，确认所述每一次的比对结果的标识组合；
将所述目标字段数据与其对应的标识组合进行关联并写入表格，生成对账报表。
可选地，如上所述的方法，所述将所述每一次的比对结果与预设结果进行匹配，确认所述每一次的比对结果的标识组合，包括：
若所述比对结果与所述预设结果中任一预设结果一致，将该预设结果的标识添加至所述比对结果的标识列表中；
将所述标识列表中的标识按预设排列顺序进行排序，生成所述比对结果的标识组合。
可选地，如上所述的方法，所述各预设结果具有不同的优先级，所述将所述每一次的比对结果与预设结果进行匹配，确认所述每一次的比对结果的标识组合，包括：
判断所述比对结果匹配的预设结果的个数；
若所述比对结果匹配有一个预设结果，将所述预设结果的标识作为所述比对结果的标识；
若所述比对结果匹配有两个以上的预设结果，将所述预设结果按优先级排序，取前预设数值个预设结果的标识，汇总作为所述比对结果的标识组合。
可选地，如上所述的方法，所述对账任务请求还包括告警配置，所述告警配置包括告警标识和用户联系地址，所述将所述每一次的比对结果与预设结果进行匹配，确认所述每一次的比对结果的标识组合之后，还包括：
判断所述标识组合中是否含有所述告警标识；
若是，根据所述用户联系地址，向用户发出告警。
第二方面，本申请提供一种配置化对账装置，包括：
任务响应模块，用于基于任务处理入口接收对账任务请求，所述对账任务请求包括数据源配置信息、数据清洗配置和对账逻辑配置信息；
分布式计算框架构建模块，用于将所述对账任务请求与分布式计算框架进程关联，所述对账任务请求还包括多个节点流程，所述分布式计算框架用于实现所述对账任务请求的每一个节点流程；
对账执行模块，用于基于所述分布式计算框架，根据所述数据源配置信息从预设的数据源库获取至少两个目标文件，将所述目标文件分别映射为所述分布式计算框架中的目标内存表，根据所述数据清洗配置对所述目标内存表进行解析，获取各目标文件对应的待对账数据，基于所述对账逻辑配置信息对所述待对账数据执行对账操作，获取对账报表；
结果生成模块，用于对于所述对账任务请求的每一个节点流程，基于所述分布式计算框架生成相应的节点日志，将所述节点日志汇总为对账执行链条报告，将所述对账报表和所述对账执行链条报告反馈至客户端。
第三方面，本申请提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机执行指令，所述处理器执行所述计算机执行指令时实现上述第一方面中任一项所述的配置化对账方法。
第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面中任一项所述的配置化对账方法。
本申请提供的配置化对账方法、装置、设备及存储介质，通过基于任务处理入口接收对账任务请求，所述对账任务请求包括数据源配置信息、数据清洗配置和对账逻辑配置信息；将所述对账任务请求与分布式计算框架进程关联，所述对账任务请求还包括多个节点流程，所述分布式计算框架用于实现所述对账任务请求的每一个节点流程；基于所述分布式计算框架，根据所述数据源配置信息从预设的数据源库获取至少两个目标文件，将所述目标文件分别映射为所述分布式计算框架中的目标内存表，根据所述数据清洗配置对所述目标内存表进行解析，获取各目标内存表对应的待对账数据，基于所述对账逻辑配置信息对所述待对账数据执行对账操作，获取对账报表；对于所述对账任务请求的每一个节点流程，基于所述分布式计算框架生成相应的节点日志，将所述节点日志汇总为对账执行链条报告，将所述对账报表和所述对账执行链条报告反馈至客户端，通过配置+调度+分布式计算框架实现对账全流程管理，将各节点的对账配置由手动转为自动，减少手动配置失误率，并且在大数据场景下，可以减少频繁与数据库的事务交互，减少数据库资源利用率，实现高效对账。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1为本申请实施例提供的配置化对账方法的应用场景示意图。
图2为本申请实施例提供的配置化对账方法的流程图。
图3为本实施例提供的获取动态对账报表的方法的流程图。
图4为本申请实施例提供的配置化对账装置的示意图。
图5为本申请实施例提供的配置化对账装置的电子设备的结构示意图。
通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
为了更好地理解本申请实施例的方案，下面先对本申请实施例所涉及的一种应用场景进行介绍。
请参阅图1，图1为本申请实施例提供的配置化对账方法的应用场景示意图，如图1所示，包括客户端100，第一服务器200和第二服务器300。其中，客户端100可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。用户可以通过客户端100设置好数据源配置信息、数据清洗配置和对账逻辑配置信息等，并向第一服务器200发送对账任务请求。
第一服务器200和第二服务器300均可以用独立的服务器或者是多个服务器组成的服务器集群来实现。第一服务器200通过任务处理入口接收对账任务请求，将所述对账任务请求与分布式计算框架进程关联，根据对账任务请求的节点流程需要，第一服务器200可以连接第二服务器300，来获取不同业务***的目标文件，将所述目标文件分别映射为所述分布式计算框架中的目标内存表，根据所述数据清洗配置对所述目标内存表进行解析，获取各目标内存表对应的待对账数据，基于所述对账逻辑配置信息对所述待对账数据执行对账操作，获取对账报表；对于所述对账任务请求的每一个节点流程，第一服务器200基于所述分布式计算框架生成相应的节点日志，将所述节点日志汇总为对账执行链条报告，将所述对账报表和所述对账执行链条报告反馈至客户端100。第二服务器300可以用于处理并保存不同业务***的账单数据。
下面以具体的实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
图2为本申请实施例提供的配置化对账方法的流程图。如图2所示，本实施例的方法，包括：
S201：基于任务处理入口接收对账任务请求，所述对账任务请求包括数据源配置信息、数据清洗配置和对账逻辑配置信息。
本申请实施例的执行主体可以是服务器，也可以是服务器中的配置化对账平台，其中，配置化对账平台可以通过软件实现。
其中，数据源配置信息可以包括数据源地址和文件名，数据清洗配置可以包括多个清洗字段及各清洗字段对应的清洗规则，对账逻辑配置信息可以包括各待对账数据对应的关联字段、比对公式、至少两种预设结果及各预设结果对应的标识。
对账任务请求可以由定时任务调度***发起超文本传输协议(HypertextTransfer Protocol，HTTP)请求到任务处理入口，通过任务处理入口对账任务请求，将不同对账单的各节点所需的配置进行设置，简单方便，避免后续每个节点流程中因手动配置导致的失误，且提高了对账的效率。
需要说明的是，对账任务请求还可以包括任务策略配置，所述任务策略配置可以包括任务名称、任务执行频率、任务说明、任务重跑等信息。对于对账任务请求的各项配置的设置，可以通过用户界面(User Interface，UI)实现。
S202：将所述对账任务请求与分布式计算框架进程关联，所述对账任务请求还包括多个节点流程，所述分布式计算框架用于实现所述对账任务请求的每一个节点流程。
可以理解的是，分布式计算框架属于一种大数据技术组件，示例性的，分布式计算框架可以是flink，其可以处理离线数据，由于基于内存处理，其处理数据很快。当获取对账任务请求后，调度器会触发一个flink进程，从而在flink进程里实现对账的所有流程。
S203：基于所述分布式计算框架，根据所述数据源配置信息从预设的数据源库获取至少两个目标文件，将所述目标文件分别映射为所述分布式计算框架中的目标内存表，根据所述数据清洗配置对所述目标内存表进行解析，获取各目标内存表对应的待对账数据，基于所述对账逻辑配置信息对所述待对账数据执行对账操作，获取对账报表。
该步骤为所述分布式计算框架具体实现所述对账任务请求的每一个节点流程的过程。可以理解的是，可以根据数据源配置信息到预设的数据源库下载文件(比如文件1，文件2)，下载完文件后，flink程序将文件映射成不同的内存表(比如表1，表2)，该种内存表可以通过结构化查询语言(Structured Query Language，SQL)进行查询。
其中，数据清洗配置主要用于过滤一部分数据，从而获得待对账数据；对账逻辑配置信息主要为对待对账数据进行对账操作的具体配置；最后所有结果数据落入结果表，从而动态生成对账报表。
S204：对于所述对账任务请求的每一个节点流程，基于所述分布式计算框架生成相应的节点日志，将所述节点日志汇总为对账执行链条报告，将所述对账报表和所述对账执行链条报告反馈至客户端。
可以理解的是，每个对账节点都会设计节点日志，节点日志用于记录每个节点执行成功与否。待对账结束后，形成完整的对账执行链条报告，可以根据该对账执行链条报告对流程进行分析，如果某个节点执行失败，也可以根据对账执行链条报告进行告警，以便及时处理。
本实施例提供的配置化对账方法，通过基于任务处理入口接收对账任务请求，所述对账任务请求包括数据源配置信息、数据清洗配置和对账逻辑配置信息；将所述对账任务请求与分布式计算框架进程关联，所述对账任务请求还包括多个节点流程，所述分布式计算框架用于实现所述对账任务请求的每一个节点流程；基于所述分布式计算框架，根据所述数据源配置信息从预设的数据源库获取至少两个目标文件，将所述目标文件分别映射为所述分布式计算框架中的目标内存表，根据所述数据清洗配置对所述目标内存表进行解析，获取各目标内存表对应的待对账数据，基于所述对账逻辑配置信息对所述待对账数据执行对账操作，获取对账报表；对于所述对账任务请求的每一个节点流程，基于所述分布式计算框架生成相应的节点日志，将所述节点日志汇总为对账执行链条报告，将所述对账报表和所述对账执行链条报告反馈至客户端，通过配置+调度+分布式计算框架实现对账全流程管理，将各节点的对账配置由手动转为自动，减少手动配置失误率，并且在大数据场景下，可以减少频繁与数据库的事务交互，减少数据库资源利用率，实现高效对账。
下面对上述配置化对账方法的技术方案进行详细介绍。
在一种可能的实施方式中，所述数据源配置信息包括数据源地址和文件名，本实施例提供的配置化对账方法通过数据源地址寻址获取至少一个目标数据源，鉴权通过后，根据所述文件名，从所述目标数据源中获取目标文件。
具体地，根据所述数据源配置信息从预设的数据源库获取至少两个目标文件，包括：基于当前接口通信模式连接预设的数据源库，根据所述数据源地址寻址获取至少一个目标数据源；判断所述目标数据源是否需要身份认证；若否，根据所述文件名，从所述目标数据源中获取目标文件；若是，向客户端发送身份认证请求，当身份认证通过后，根据所述文件名，从所述目标数据源中获取目标文件。
可以理解的是，业务***1与业务***2对账，此对账流程会涉及两个文件。示例性的，文件1与文件2比对，文件1可能来自文件传输协议(File Transfer Protocol，FTP)文件服务器，文件2可能来自***即操作支持***(Operation Support Systems，OSS)文件服务器，上述FTP文件服务器和OSS文件服务器可以组成集群式数据源库，则根据数据源地址则可以从数据源库分别获取文件1和文件2所在的目标数据源。
在本实施例中，身份认证的过程也就是鉴权过程，用户身份认证信息为具有独特性的能够验证客户端身份的信息，比如，用户身份认证信息可以是客户端的公钥，也可以是客户端的签名信息。对客户端的用户身份进行验证，可以是通过密钥对客户端的权限进行认证，也可以是通过客户端提供的签名对客户端进行验证，本实施例在此不做限定。
需要说明的是，鉴权过程也可以是通过委托给第三方鉴权代理处理，获得身份认证的结果。示例性地，第三方鉴权代理可以通过对客户端提供的公钥或者签名信息等进行验证。当客户端提供的身份认证信息为签名信息时，第三方鉴权代理可以通过将客户端提供的签名信息与客户端认证的签名信息进行比对，若二者一致，则验证通过，第三方鉴权代理将验证结果返回。
本实施例中，通过数据源地址寻址获取至少一个目标数据源，鉴权通过后，根据所述文件名，从所述目标数据源中获取目标文件，能够保证数据安全，并且在大数据场景下，可以减少频繁与数据库的事务交互，减少数据库资源利用率，实现高效对账。
在一种可能的实施方式中，数据清洗配置包括多个清洗字段及各清洗字段对应的清洗规则，本实施例提供配置化对账方法通过清洗字段及各清洗字段对应的清洗规则对目标内存表中各数据进行数据过滤，获得所述目标内存表对应的待对账数据。
具体地，根据所述数据清洗配置对所述目标内存表进行解析，获取各目标内存表对应的待对账数据，包括：从所述目标内存表中获取所述清洗字段；基于所述各清洗字段对应的清洗规则对所述目标内存表中各数据进行数据过滤，获得所述目标内存表对应的待对账数据。
其中，清洗字段可以设定为包含特定数字排列的单号、也可以设定为金额数据等。清洗规则可以与预设的清洗阈值的数值比较，示例性的，针对于文件3，当清洗字段为账单金额，清洗规则为大于10，则文件3中账单金额大于10的数据均会被筛除，被筛除的这部分数据不参与后续的对账。
本实施例中，通过清洗字段及各清洗字段对应的清洗规则对目标内存表中各数据进行数据过滤，获得所述目标内存表对应的待对账数据，在大数据场景下初步过滤可以缩短对账时间,提高对账效率。
在一种可能的实施方式中，所述对账逻辑配置信息包括各待对账数据对应的关联字段、比对公式、至少两种预设结果及各预设结果对应的标识，本实施例提供的配置化对账方法通过从各对账数据中提取用于比对的目标字段数据，根据比对公式将所述目标字段数据进行比对，并将所述每一次的比对结果与预设结果进行匹配，确认所述每一次的比对结果的标识组合，生成对账报表。图3为本实施例提供的获取动态对账报表的方法的流程图，如图3所示，基于所述对账逻辑配置信息对所述待对账数据执行对账操作，获取动态对账报表，包括：
S301：根据各待对账数据对应的关联字段，从各对账数据中提取用于比对的目标字段数据。
在该步骤中，关联字段设定为数据的类别，比如针对待对账数据为清算中心数据和订单中心数据，关联字段1＝费用，关联字段2＝账单编号，则可以从清算中心数据和订单中心数据中提取出类型为“费用”的数据作为各自的第一目标字段数据，从清算中心数据和订单中心数据中提取出类型为“账单编号”的数据作为各自的第二目标字段数据。
S302：基于所述比对公式，按照预设的排列顺序依次将所述目标字段数据进行比对，获得每一次的比对结果。
可以理解的是，对于清算中心数据和订单中心数据的目标字段数据，可以按照比对公式来计算差异。示例性的，当第一目标字段数据为费用时，当第二目标字段数据为账单编号时，比对公式可以为第二目标字段数据相同，比对清算中心数据和订单中心数据的第一目标字段数据是否一致。则对于每一对账单编号相同的清算中心数据和订单中心数据，对其费用进行比对，对比结果为一致或不一致。
需要说明的事，根据关联字段的不同，比对结果和预设结果也可以有多种选择，比如当关联字段为订单时间，比对结果可以为清算时间与订单时间的时间差符合设定范围、清算清算时间与订单时间的时间差小于设定范围以及清算时间与订单时间的时间差超过设定范围等。
S303：将所述每一次的比对结果与预设结果进行匹配，确认所述每一次的比对结果的标识组合。
其中，预设结果的标识可以用字母表示，也可以用符号表示。
具体地，若所述比对结果与所述预设结果中任一预设结果一致，将该预设结果的标识添加至所述比对结果的标识列表中；将所述标识列表中的标识按预设排列顺序进行排序，生成所述比对结果的标识组合。示例性的，预设结果包括A＝单号一致，B＝金额一致和C＝时间一致，当比对结果包括单号一致、金额一致时，则比对结果的标识组合的可以为AB。
考虑到报表展示界面有限，也可以对各预设结果及其标识进行优先级排序。所述各预设结果具有不同的优先级，则所述将所述每一次的比对结果与预设结果进行匹配，确认所述每一次的比对结果的标识组合，包括：判断所述比对结果匹配的预设结果的个数；若所述比对结果匹配有一个预设结果，将所述预设结果的标识作为所述比对结果的标识；若所述比对结果匹配有两个以上的预设结果，将所述预设结果按优先级排序，取前预设数值个预设结果的标识，汇总作为所述比对结果的标识组合。示例性的，预设结果包括A＝单号一致，B＝金额一致和C＝时间一致，预设的优先级为A>B>C，当预设数值(展示数值)为2时，虽然比对结果包括单号一致、金额一致、时间一致，比对结果的标识组合为AB。
S304：将所述目标字段数据与其对应的标识组合进行关联并写入表格，生成对账报表。
在该步骤中，来自于文件1和文件2的待对账数据比对结束后，数据会落入到结果表，该结果表会存储文件1及文件2的所有字段。进一步地，对账报表还可以通过报表配置实现对有针对性的字段做动态提取。
本实施例中，通过从各对账数据中提取用于比对的目标字段数据，根据比对公式将所述目标字段数据进行比对，并将所述每一次的比对结果与预设结果进行匹配，确认所述每一次的比对结果的标识组合，生成对账报表，对账流程透明可见，且利用标识组合能够迅速分析对账数据中的具体情况。
在一种可能的实施方式中，考虑到方便运维人员及时定位问题，对账任务请求还包括告警配置，所述告警配置包括告警标识和用户联系地址，本实施例提供的配置化对账方法通过判断所述标识组合中是否含有所述告警标识，决定是否需要向用户发出告警。
其中，用户联系地址可以包括用户名、用户联系方式、手机号、邮箱等。告警标识可以针对于预设结果，关联预设结果的差异阈值，比如当清算时间与订单时间的时间差超过设定范围时，此预设结果对应的标识可以作为告警标识。
本实施例中，通过判断所述标识组合中是否含有所述告警标识，决定是否需要向用户发出告警，针对对账过程中差异数据，提供阈值差异告警机制，方便运维人员及时定位问题。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。
进一步需要说明的是，虽然流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图4为本申请实施例提供的配置化对账装置的示意图。如图4所示，该配置化对账装置包括：
任务响应模块41，用于基于任务处理入口接收对账任务请求，所述对账任务请求包括数据源配置信息、数据清洗配置和对账逻辑配置信息；
分布式计算框架构建模块42，用于将所述对账任务请求与分布式计算框架进程关联，所述对账任务请求还包括多个节点流程，所述分布式计算框架用于实现所述对账任务请求的每一个节点流程；
对账执行模块43，用于基于所述分布式计算框架，根据所述数据源配置信息从预设的数据源库获取至少两个目标文件，将所述目标文件分别映射为所述分布式计算框架中的目标内存表，根据所述数据清洗配置对所述目标内存表进行解析，获取各目标文件对应的待对账数据，基于所述对账逻辑配置信息对所述待对账数据执行对账操作，获取对账报表；
结果生成模块44，用于对于所述对账任务请求的每一个节点流程，基于所述分布式计算框架生成相应的节点日志，将所述节点日志汇总为对账执行链条报告，将所述对账报表和所述对账执行链条报告反馈至客户端。
在一种可能的设计中，所述数据源配置信息包括数据源地址和文件名，对账执行模块43具体用于：
基于当前接口通信模式连接预设的数据源库，根据所述数据源地址寻址获取至少一个目标数据源；
判断所述目标数据源是否需要身份认证；
若否，根据所述文件名，从所述目标数据源中获取目标文件；
若是，向客户端发送身份认证请求，当身份认证通过后，根据所述文件名，从所述目标数据源中获取目标文件。
在一种可能的设计中，所述数据清洗配置包括多个清洗字段及各清洗字段对应的清洗规则，对账执行模块43具体用于：
从所述目标内存表中获取所述清洗字段；
基于所述各清洗字段对应的清洗规则对所述目标内存表中各数据进行数据过滤，获得所述目标内存表对应的待对账数据。
在一种可能的设计中，所述对账逻辑配置信息包括各待对账数据对应的关联字段、比对公式、至少两种预设结果及各预设结果对应的标识，对账执行模块43具体用于：
根据各待对账数据对应的关联字段，从各对账数据中提取用于比对的目标字段数据；
基于所述比对公式，按照预设的排列顺序依次将所述目标字段数据进行比对，获得每一次的比对结果；
将所述每一次的比对结果与预设结果进行匹配，确认所述每一次的比对结果的标识组合；
将所述目标字段数据与其对应的标识组合进行关联并写入表格，生成动态对账报表。
在一种可能的设计中，对账执行模块43还具体用于：
若所述比对结果与所述预设结果中任一预设结果一致，将该预设结果的标识添加至所述比对结果的标识列表中；
将所述标识列表中的标识按预设排列顺序进行排序，生成所述比对结果的标识组合。
在一种可能的设计中，对账执行模块43还具体用于：
判断所述比对结果匹配的预设结果的个数；
若所述比对结果匹配有一个预设结果，将所述预设结果的标识作为所述比对结果的标识；
若所述比对结果匹配有两个以上的预设结果，将所述预设结果按优先级排序，取前预设数值个预设结果的标识，汇总作为所述比对结果的标识组合。
在一种可能的设计中，所述对账任务请求还包括告警配置，所述告警配置包括告警标识和用户联系地址，对账执行模块43还具体用于：
判断所述标识组合中是否含有所述告警标识；
若是，根据所述用户联系地址，向用户发出告警。
应该理解，上述的装置实施例仅是示意性的，本申请的装置还可通过其它的方式实现。例如，上述实施例中单元/模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如，多个单元、模块或组件可以结合，或者可以集成到另一个***，或一些特征可以忽略或不执行。
另外，若无特别说明，在本申请各个实施例中的各功能单元/模块可以集成在一个单元/模块中，也可以是各个单元/模块单独物理存在，也可以两个或两个以上单元/模块集成在一起。上述集成的单元/模块既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。
图5为本申请实施例提供的配置化对账装置的电子设备的结构示意图。如图5所示，该实施例的电子设备包括：至少一个处理器50(图5中仅示出一个)处理器、存储器51以及存储在存储器51中并可在至少一个处理器50上运行的计算机程序，处理器50执行计算机程序时实现上述任意各个方法实施例中的步骤。
该电子设备可包括，但不仅限于，处理器50、存储器51。本领域技术人员可以理解，图5仅仅是电子设备的举例，并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
所称处理器50可以是中央处理单元(Central Processing Unit，CPU)，该处理器50还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
处理器501的具体实现过程可参见上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
存储器51在一些实施例中可以是电子设备的内部存储单元，例如电子设备的内存。存储器51在另一些实施例中也可以是电子设备的外部存储设备，例如电子设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器51还可以既包括电子设备的内部存储单元也包括外部存储设备。存储器51用于存储操作***、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如计算机程序的程序代码等。存储器51还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
上述的计算机可读存储介质，上述可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。可读存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(Application Specific IntegratedCircuits，简称：ASIC)中。当然，处理器和可读存储介质也可以作为分立组件存在于上述电子设备中。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。上述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求书指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。

Claims (10)

1.一种配置化对账方法，其特征在于，包括：
基于任务处理入口接收对账任务请求，所述对账任务请求包括数据源配置信息、数据清洗配置和对账逻辑配置信息；
将所述对账任务请求与分布式计算框架进程关联，所述对账任务请求还包括多个节点流程，所述分布式计算框架用于实现所述对账任务请求的每一个节点流程；
基于所述分布式计算框架，根据所述数据源配置信息从预设的数据源库获取至少两个目标文件，将所述目标文件分别映射为所述分布式计算框架中的目标内存表，根据所述数据清洗配置对所述目标内存表进行解析，获取各目标内存表对应的待对账数据，基于所述对账逻辑配置信息对所述待对账数据执行对账操作，获取对账报表；
对于所述对账任务请求的每一个节点流程，基于所述分布式计算框架生成相应的节点日志，将所述节点日志汇总为对账执行链条报告，将所述对账报表和所述对账执行链条报告反馈至客户端。
2.根据权利要求1所述的方法，其特征在于，所述数据源配置信息包括数据源地址和文件名，所述根据所述数据源配置信息从预设的数据源库获取至少两个目标文件，包括：
基于当前接口通信模式连接预设的数据源库，根据所述数据源地址寻址获取至少一个目标数据源；
判断所述目标数据源是否需要身份认证；
若否，根据所述文件名，从所述目标数据源中获取目标文件；
若是，向客户端发送身份认证请求，当身份认证通过后，根据所述文件名，从所述目标数据源中获取目标文件。
3.根据权利要求1所述的方法，其特征在于，所述数据清洗配置包括多个清洗字段及各清洗字段对应的清洗规则，所述根据所述数据清洗配置对所述目标内存表进行解析，获取各目标内存表对应的待对账数据，包括：
从所述目标内存表中获取所述清洗字段；
基于所述各清洗字段对应的清洗规则对所述目标内存表中各数据进行数据过滤，获得所述目标内存表对应的待对账数据。
4.根据权利要求1所述的方法，其特征在于，所述对账逻辑配置信息包括各待对账数据对应的关联字段、比对公式、至少两种预设结果及各预设结果对应的标识，所述基于所述对账逻辑配置信息对所述待对账数据执行对账操作，获取对账报表，包括：
根据各待对账数据对应的关联字段，从各对账数据中提取用于比对的目标字段数据；
基于所述比对公式，按照预设的排列顺序依次将所述目标字段数据进行比对，获得每一次的比对结果；
将所述每一次的比对结果与预设结果进行匹配，确认所述每一次的比对结果的标识组合；
将所述目标字段数据与其对应的标识组合进行关联并写入表格，生成对账报表。
5.根据权利要求4所述的方法，其特征在于，所述将所述每一次的比对结果与预设结果进行匹配，确认所述每一次的比对结果的标识组合，包括：
若所述比对结果与所述预设结果中任一预设结果一致，将该预设结果的标识添加至所述比对结果的标识列表中；
将所述标识列表中的标识按预设排列顺序进行排序，生成所述比对结果的标识组合。
6.根据权利要求4所述的方法，其特征在于，所述各预设结果具有不同的优先级，所述将所述每一次的比对结果与预设结果进行匹配，确认所述每一次的比对结果的标识组合，包括：
判断所述比对结果匹配的预设结果的个数；
若所述比对结果匹配有一个预设结果，将所述预设结果的标识作为所述比对结果的标识；
若所述比对结果匹配有两个以上的预设结果，将所述预设结果按优先级排序，取前预设数值个预设结果的标识，汇总作为所述比对结果的标识组合。
7.根据权利要求4所述的方法，其特征在于，所述对账任务请求还包括告警配置，所述告警配置包括告警标识和用户联系地址，所述将所述每一次的比对结果与预设结果进行匹配，确认所述每一次的比对结果的标识组合之后，还包括：
判断所述标识组合中是否含有所述告警标识；
若是，根据所述用户联系地址，向用户发出告警。
8.一种配置化对账装置，其特征在于，包括：
任务响应模块，用于基于任务处理入口接收对账任务请求，所述对账任务请求包括数据源配置信息、数据清洗配置和对账逻辑配置信息；
分布式计算框架构建模块，用于将所述对账任务请求与分布式计算框架进程关联，所述对账任务请求还包括多个节点流程，所述分布式计算框架用于实现所述对账任务请求的每一个节点流程；
对账执行模块，用于基于所述分布式计算框架，根据所述数据源配置信息从预设的数据源库获取至少两个目标文件，将所述目标文件分别映射为所述分布式计算框架中的目标内存表，根据所述数据清洗配置对所述目标内存表进行解析，获取各目标文件对应的待对账数据，基于所述对账逻辑配置信息对所述待对账数据执行对账操作，获取对账报表；
结果生成模块，用于对于所述对账任务请求的每一个节点流程，基于所述分布式计算框架生成相应的节点日志，将所述节点日志汇总为对账执行链条报告，将所述对账报表和所述对账执行链条报告反馈至客户端。
9.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至7任一项所述的方法。
CN202311001544.5A 2023-08-09 2023-08-09 配置化对账方法、装置、设备及存储介质 Pending CN116993523A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311001544.5A CN116993523A (zh) 2023-08-09 2023-08-09 配置化对账方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311001544.5A CN116993523A (zh) 2023-08-09 2023-08-09 配置化对账方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116993523A true CN116993523A (zh) 2023-11-03

Family

ID=88526412

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311001544.5A Pending CN116993523A (zh) 2023-08-09 2023-08-09 配置化对账方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116993523A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117251120A (zh) * 2023-11-17 2023-12-19 杭州乒乓智能技术有限公司 基于jvm堆外内存的对账***优化方法、装置、设备及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117251120A (zh) * 2023-11-17 2023-12-19 杭州乒乓智能技术有限公司 基于jvm堆外内存的对账***优化方法、装置、设备及介质
CN117251120B (zh) * 2023-11-17 2024-03-01 杭州乒乓智能技术有限公司 基于jvm堆外内存的对账***优化方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
WO2019184120A1 (zh) 一种账户管理方法、装置、终端设备及存储介质
CN111274045B (zh) 一种多平台对接方法、装置、计算机设备及可读存储介质
JP2020511059A (ja) 情報認証方法及びシステム
WO2020000720A1 (zh) 服务器、报文处理方法、程序和计算机可读存储介质
CN109189367B (zh) 一种数据处理方法、装置、服务器及存储介质
US20140289243A1 (en) Method and system for centralized issue tracking
CN111723313A (zh) 页面跳转的处理方法、装置、设备及存储介质
CN113034274A (zh) 一种基于区块链的供应链金融服务***、方法及终端设备
WO2020224100A1 (zh) 区块链配置文件的处理装置、***、方法及存储介质
CN104579909A (zh) 一种用户信息的分类、用户分组信息的获取方法和设备
CN116993523A (zh) 配置化对账方法、装置、设备及存储介质
CN113420057A (zh) 对账数据处理方法及相关装置
CN109241163B (zh) 电子凭证的生成方法及终端设备
CN112015826B (zh) 基于区块链的智能合约安全性检测方法及相关设备
CN111324645B (zh) 区块链的数据处理方法及装置
CN113407551A (zh) 数据一致性确定方法、装置、设备及存储介质
CN116739596A (zh) 基于区块链的交易监管方法、装置、设备、介质和产品
CN110059081A (zh) 基于数据展示的数据输出方法、装置及计算机设备
CN112035471B (zh) 一种事务处理方法及计算机设备
US11782823B2 (en) Automatically capturing weather data during engineering tests
CN111652580B (zh) 一种对节点的数据处理方法及装置
CN113643032A (zh) 一种基于区块链的信息处理方法、装置及数据管理***
CN113592645A (zh) 数据验证的方法和装置
CN111611056A (zh) 数据处理方法、装置、计算机设备及存储介质
CN112181817A (zh) 用于soa架构平台的测试方法及测试装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination