CN109241163A - 电子凭证的生成方法及终端设备 - Google Patents

电子凭证的生成方法及终端设备 Download PDF

Info

Publication number
CN109241163A
CN109241163A CN201810961263.7A CN201810961263A CN109241163A CN 109241163 A CN109241163 A CN 109241163A CN 201810961263 A CN201810961263 A CN 201810961263A CN 109241163 A CN109241163 A CN 109241163A
Authority
CN
China
Prior art keywords
electronic certificate
generation
data
user
format
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810961263.7A
Other languages
English (en)
Other versions
CN109241163B (zh
Inventor
任练
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Life Insurance Company of China Ltd
Original Assignee
Ping An Life Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Life Insurance Company of China Ltd filed Critical Ping An Life Insurance Company of China Ltd
Priority to CN201810961263.7A priority Critical patent/CN109241163B/zh
Publication of CN109241163A publication Critical patent/CN109241163A/zh
Application granted granted Critical
Publication of CN109241163B publication Critical patent/CN109241163B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明适用于数据处理技术领域，提供了一种电子凭证的生成的方法及终端设备，通过配置指令，运行配置文件从而与多种数据格式的外部数据库建立连接；根据电子凭证的生成指令，通过SparkContext分别从多个所述外部数据库中获取多个所述数据源文件，并进行格式统一化处理，此时生成的弹性分布式数据集RDD中都是格式统一的数据源文件，基于预设的电子凭证的生成指令与电子凭证的生成模板的对应关系，从RDD中提取基础数据，基于预设的电子凭证的生成指令与验证逻辑的对应关系，选取目标验证逻辑并对基础数据进行验证，若验证通过则将基础数据填入电子凭证的生成模板，生成电子凭证的生成表，以更顺利，更高效地的对多类数据源进行整合。

Description

电子凭证的生成方法及终端设备
技术领域
本发明属于数据处理技术领域，尤其涉及一种电子凭证的生成方法及终端设备。
背景技术
当前，金融机构需要基于一个用户的大量数据，并根据用户的需求进行数据的核对以及文件的整合，并最终依据整合结果输出一个凭证以完成电子凭证的生成工作。例如：在寿险电子凭证的生成过程中，需要对大量的结构化、非结构化以及不同的数据格式的用户寿险数据进行处理，并将最后经过格式审核的业务数据和添加的电子凭证的生成信息一起存储到寿险电子凭证的生成表中，从而完成电子凭证的生成。
但是现有的电子凭证的生成生产线难以应对大量不同格式的原始数据，可能出现对原始数据无法进行整合处理的问题，此外需要人工对原始数据进行调取、审核以及排版，然后再发送电子凭证的生成设备进行制作以及分类分发，因此电子凭证的生成过程中错误率较高，且需要大量的人力成本。
发明内容
有鉴于此，本发明实施例提供了一种电子凭证的生成方法及终端设备，以解决现有技术在电子凭证的生成过程中存在的难以对不同数据源的数据进行整合，以及自动化程度低的问题。
本发明实施例的第一方面提供了一种电子凭证的生成方法，包括：
根据用户输入的配置指令运行存储于本地数据库中的配置文件，通过运行所述配置文件与多个外部数据库进行连接，所述外部数据库中存有多种格式的数据源文件，所述数据源文件记载了数据与数据类型的对应关系；
根据用户输入的电子凭证的生成指令，通过SparkContext分别从多个所述外部数据库中获取多个所述数据源文件，并对多个所述数据源文件进行格式统一化处理，生成弹性分布式数据集RDD；
基于预设的电子凭证的生成指令与电子凭证的生成模板的对应关系，将所述电子凭证的生成指令对应的电子凭证的生成模板中的多个数据类型作为目标数据类型，从所述RDD中提取多个所述目标数据类型对应的数据，作为基础数据；
基于预设的电子凭证的生成指令与验证逻辑的对应关系，将所述电子凭证的生成指令对应的验证逻辑作为目标验证逻辑，通过所述目标验证逻辑对所述基础数据进行验证；
若所述基础数据通过验证，则将所述基础数据存入所述电子凭证的生成模板，生成电子凭证的生成表。
本发明实施例的第二方面提供了一种终端设备，包括存储器以及处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如下步骤：
根据用户输入的配置指令运行存储于本地数据库中的配置文件，通过运行所述配置文件与多个外部数据库进行连接，所述外部数据库中存有多种格式的数据源文件，所述数据源文件记载了数据与数据类型的对应关系；
根据用户输入的电子凭证的生成指令，通过SparkContext分别从多个所述外部数据库中获取多个所述数据源文件，并对多个所述数据源文件进行格式统一化处理，生成弹性分布式数据集RDD；
基于预设的电子凭证的生成指令与电子凭证的生成模板的对应关系，将所述电子凭证的生成指令对应的电子凭证的生成模板中的多个数据类型作为目标数据类型，从所述RDD中提取多个所述目标数据类型对应的数据，作为基础数据；
基于预设的电子凭证的生成指令与验证逻辑的对应关系，将所述电子凭证的生成指令对应的验证逻辑作为目标验证逻辑，通过所述目标验证逻辑对所述基础数据进行验证；
若所述基础数据通过验证，则将所述基础数据存入所述电子凭证的生成模板，生成电子凭证的生成表。
本发明实施例的第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：
根据用户输入的配置指令运行存储于本地数据库中的配置文件，通过运行所述配置文件与多个外部数据库进行连接，所述外部数据库中存有多种格式的数据源文件，所述数据源文件记载了数据与数据类型的对应关系；根据用户输入的电子凭证的生成指令，通过SparkContext分别从多个所述外部数据库中获取多个所述数据源文件，并对多个所述数据源文件进行格式统一化处理，生成弹性分布式数据集RDD；基于预设的电子凭证的生成指令与电子凭证的生成模板的对应关系，将所述电子凭证的生成指令对应的电子凭证的生成模板中的多个数据类型作为目标数据类型，从所述RDD中提取多个所述目标数据类型对应的数据，作为基础数据；基于预设的电子凭证的生成指令与验证逻辑的对应关系，将所述电子凭证的生成指令对应的验证逻辑作为目标验证逻辑，通过所述目标验证逻辑对所述基础数据进行验证；若所述基础数据通过验证，则将所述基础数据存入所述电子凭证的生成模板，生成电子凭证的生成表。
进一步地，所述根据用户输入的电子凭证的生成指令，通过SparkContext分别从多个所述外部数据库中获取多个所述数据源文件，并对多个所述数据源文件进行格式统一化处理，包括：
根据所述电子凭证的生成指令，向所述外部数据库发送格式询问指令；接收多个所述外部数据库返回的所述数据源文件对应的格式；根据所述数据源文件对应的格式，调用sparkContext中预设的与所述格式对应的函数，通过所述函数从所述外部数据库中读取所述数据源文件，并将所述数据源文件的格式转为预设的统一格式。
进一步地，在所述接收用户输入的配置指令以及电子凭证的生成指令之前，还包括：
获取用户输入的验证逻辑的代码；
将所述验证逻辑的代码写入Spark任务；
生成所述Spark任务对应的电子凭证的生成指令，以建立电子凭证的生成指令与验证逻辑的对应关系。
进一步地，所述方法还包括：
若所述基础数据未通过验证，则将所述电子凭证的生成指令与用户的对应关系存入异常任务日志表；若所述基础数据通过验证，则将所述电子凭证的生成指令与用户的对应关系存入合规任务日志表；基于所述异常任务日志表以及所述合规任务日志表，屏蔽不符合预设准入规则的用户。
进一步地，所述基于所述异常任务日志表以及所述合规任务日志表，屏蔽不符合预设的准入规则的用户，包括：
统计预设时间段内所述异常任务日志表中各个用户对应的电子凭证的生成指令的数量，作为各个用户的电子凭证的生成异常数；统计预设时间段内所述合规任务日志表中各个用户对应的电子凭证的生成指令的数量，作为各个用户的电子凭证的生成合规数；通过公式：计算用户在预设时间段内电子凭证的生成指令的异常概率，所述logerr为用户的电子凭证的生成异常数，lognorm为用户的电子凭证的生成异常数，logmean为用户在预设时间段内电子凭证的生成指令的异常概率；若用户在预设时间段内异常概率大于或等于预设的异常阈值，则向所述用户显示预警信息，并在接收到触发指令之前，屏蔽所述用户发送的所述电子凭证的生成指令。
在本发明实施例中，通过配置指令，运行本地数据库中的配置文件从而与多种数据格式的外部数据库建立连接；根据电子凭证的生成指令，通过SparkContext分别从多个所述外部数据库中获取多个所述数据源文件，并对多个所述数据源文件进行格式统一化处理，此时生成的弹性分布式数据集RDD中都是格式统一的数据源文件，基于预设的电子凭证的生成指令与电子凭证的生成模板的对应关系，从RDD中提取基础数据，基于预设的电子凭证的生成指令与验证逻辑的对应关系，选取目标验证逻辑并对基础数据进行验证，若验证通过则将基础数据填入电子凭证的生成模板，生成电子凭证的生成表，以更顺利，更高效地的对多类数据源进行整合，提供电子凭证的生成的自动化程度。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的电子凭证的生成方法的实现流程图；
图2是本发明实施例提供的电子凭证的生成方法S102的具体实现流程图；
图3是本发明实施例提供的电子凭证异常的处理方法的具体实现流程图；
图4是本发明实施例提供的电子凭证的生成装置的结构框图；
图5是本发明实施例提供的终端设备的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
图1示出了本发明实施例提供的电子凭证的生成方法的实现流程，该方法流程包括步骤S101至S106。各步骤的具体实现原理如下。
S101：根据用户输入的配置指令运行存储于本地数据库中的配置文件，通过运行所述配置文件与多个外部数据库进行连接，所述外部数据库中存有多种格式的数据源文件，所述数据源文件记载了数据与数据类型的对应关系。
在本发明实施例中，存在有两类数据库，分别为一个本地数据库和多个外部数据库，其中外部数据库中分别存储有多种类型的与电子凭证的生成相关的数据，而本地数据库中存储有多种配置文件。
在本发明实施例中，当接收到用户输入的配置指令后，根据预设的对应关系，运行存储于本地数据库中的相关配置文件，则可建立与多个外部数据库之间的连接，这些外部数据库为本次电子凭证的生成提供原始的数据。可以理解地，在本发明实施例中，根据配置指令的不同会运行不同的配置文件，因而本地服务器会与不同的外部数据库进行连接。
在本发明实施例中，一个外部数据库可能存储有多种格式的数据源文件，例如文本格式数据源文件、JSON格式数据源文件、CSV格式数据源文件以及sequenceFiles格式数据源文件等。每一个数据源文件存储有多条数据，以及这些数据对应的数据类型，其中数据类型可以是：合同金额、合同时间、折损费以及滞纳金等，而各个数据类型对应的数据则是这些数据类型对应的具体的值，例如；合同金额为1000万，则数据为“1000万”，数据类型为“合同金额”。
S102，根据用户输入的电子凭证的生成指令，通过SparkContext分别从多个所述外部数据库中获取多个所述数据源文件，并对多个所述数据源文件进行格式统一化处理，生成弹性分布式数据集RDD。
根据上文所述，电子凭证所需要计算和比对的数据存储在不同的数据源文件中，而不同的数据源文件的格式可能不同，这不利于后续的统一计算。所以在本发明实施例中，通过SparkContext分别从多个所述外部数据库中获取多个所述数据源文件，可以在读取的过程中将被读取的数据源文件的格式输出为统一的格式。
值得注意地，Spark是一个用于处理大数据的计算引擎，是一个通用的并行框架，而SparkContext是编写Spark程序用到的一个类，该类包括多个具体的函数式组件。
可以理解地，电子凭证的生成指令不同于之前的配置指令，电子凭证的生成指令中描述了希望调用的数据类型，以及用何种验证逻辑对这些数据类型对应的数据进行校验。
在本发明实施例中，弹性分布式数据集(Resilient Distributed Dataset，RDD)是通过SparkContext读取不同的数据源文件后生成的格式统一的数据集，所以RDD内存储有根据电子凭证的生成指令读取的、且格式统一的数据，每个数据有其对应的数据类型。
作为本发明的一个实施例，如图2所示，上述S102包括：
S1021：根据所述电子凭证的生成指令，向所述外部数据库发送格式询问指令。
S1022：接收多个所述外部数据库返回的所述数据源文件对应的格式。
S1023：根据所述数据源文件对应的格式，调用SparkContext中预设的与所述格式对应的函数，通过所述函数从所述外部数据库中读取所述数据源文件，并将所述数据源文件的格式转为预设的统一格式。
可选地，通过SparkContext中的textFile()函数读取文本格式的数据源文件，并将所述文本格式转为预设的统一格式；通过SparkContext中的import json函数读取JSON格式数据源文件，并将所述JSON格式转为预设的统一格式；通过import csv函数读取CSV格式数据源文件，并将所述CSV格式转为预设的统一格式；通过val data＝sc.sequenceFile()函数读取sequenceFile格式数据源文件，并将所述sequenceFile格式转为预设的统一格式。
在本发明实施例中，通过发送格式询问指令的方式获取电子凭证的生成指令所要调用数据源文件的格式，并基于SparkContext中预设的与所述格式对应的函数读取数据源文件并将其转换为预设的统一格式，为之后的电子凭证的生成提供统一格式的数据，有利于提高电子凭证的生成的速度以及后续验证的自动化程度。
S103：基于预设的电子凭证的生成指令与电子凭证的生成模板的对应关系，将所述电子凭证的生成指令对应的电子凭证的生成模板中的多个数据类型作为目标数据类型，从所述RDD中提取多个所述目标数据类型对应的数据，作为基础数据。
可以理解地，根据电子凭证的生成指令从各个外部数据库中读取的数据源文件内包括大量的数据，而在电子凭证的生成过程中，并不需要各个数据源文件中的全部数据类型对应的数据，所以在格式统一化之后，还需要对RDD中的数据进行二次筛选，筛选后的数据才是真正用于生成电子凭证所需的数据。
可选地，根据电子凭证的生成指令可以确定一个电子凭证的生成模板，电子凭证的生成模板中有多个数据类型，在本发明实施例中，将电子凭证的生成模板中的数据类型作为目标数据类型。
S104，基于预设的电子凭证的生成指令与验证逻辑的对应关系，将所述电子凭证的生成指令对应的验证逻辑作为目标验证逻辑，通过所述目标验证逻辑对所述基础数据进行验证。
值得注意地，在本发明实施例中，电子凭证的生成指令与验证逻辑的对应关系是在接收用户输入的配置指令以及电子凭证的生成指令之前就确定的。可选地，设定电子凭证的生成指令与验证逻辑的对应关系的方法包括：
获取用户输入的验证逻辑的代码；将所述验证逻辑的代码写入Spark任务；生成所述Spark任务对应的电子凭证的生成指令，以建立电子凭证的生成指令与验证逻辑的对应关系。
可以理解地，在电子凭证的制作过程中，需要对多个目标数据类型对应的数据是否满足验证逻辑进行判断，而不同的应用场景下的验证逻辑是不同的，本发明实施例主要介绍在电子凭证的生成程序上的步骤和技术，不对具体的验证逻辑进行限定。
S105，若所述基础数据通过验证，则将所述基础数据存入所述电子凭证的生成模板，生成电子凭证的生成表。
S106，若所述基础数据未通过验证，则不将所述基础数据存入所述电子凭证的生成模板。
在本发明实施例中，通过配置指令，运行本地数据库中的配置文件从而与多种数据格式的外部数据库建立连接；根据电子凭证的生成指令，通过SparkContext分别从多个所述外部数据库中获取多个所述数据源文件，并对多个所述数据源文件进行格式统一化处理，此时生成的弹性分布式数据集RDD中都是格式统一的数据源文件，基于预设的电子凭证的生成指令与电子凭证的生成模板的对应关系，从RDD中提取基础数据，基于预设的电子凭证的生成指令与验证逻辑的对应关系，选取目标验证逻辑并对基础数据进行验证，若验证通过则将基础数据填入电子凭证的生成模板，生成电子凭证的生成表，以更顺利，更高效地的对多类数据源进行整合，提供电子凭证的生成的自动化程度。
可选地，本发明还提供一个电子凭证异常的处理方法，详述如下：
将所述电子凭证的生成指令与用户的对应关系存入异常任务日志表；若所述基础数据通过验证，则将所述电子凭证的生成指令与用户的对应关系存入合规任务日志表；基于所述异常任务日志表以及所述合规任务日志表，屏蔽不符合预设准入规则的用户。
作为本发明的一个实施例，如图3所示，上述电子凭证的生成异常的处理方法，包括：
S301，统计预设时间段内所述异常任务日志表中各个用户对应的电子凭证的生成指令的数量，作为各个用户的电子凭证的生成异常数。
S302，统计预设时间段内所述合规任务日志表中各个用户对应的电子凭证的生成指令的数量，作为各个用户的电子凭证的生成合规数。
S303，通过公式1计算用户在预设时间段内电子凭证的生成指令的异常概率。
可选地，所述公式1为：所述logerr为用户的电子凭证的生成异常数，lognorm为用户的电子凭证的生成异常数，logmean为用户在预设时间段内电子凭证的生成指令的异常概率。
S304，若用户在预设时间段内异常概率大于或等于预设的异常阈值，则向所述用户显示预警信息，并在接收到触发指令之前，屏蔽所述用户发送的所述电子凭证的生成指令。
可以理解地，在本发明实施例中，通过屏蔽经常出现电子凭证的生成异常的用户，可以减少电子凭证在生成时不必要的工作量，也有利于识别和防止非正常用户对于电子凭证的生成***的攻击和错误且反复的使用。
对应于上文实施例所述的电子凭证的生成方法，图4示出了本发明实施例提供的电子凭证的生成装置的结构框图，为了便于说明，仅示出了与本发明实施例相关的部分。
参照图4，该装置包括：
配置模块401，用于根据用户输入的配置指令运行存储于本地数据库中的配置文件，通过运行所述配置文件与多个外部数据库进行连接，所述外部数据库中存有多种格式的数据源文件，所述数据源文件记载了数据与数据类型的对应关系；
读取模块402，用于根据用户输入的电子凭证的生成指令，通过SparkContext分别从多个所述外部数据库中获取多个所述数据源文件，并对多个所述数据源文件进行格式统一化处理，生成弹性分布式数据集RDD；
提取模块403，用于基于预设的电子凭证的生成指令与电子凭证的生成模板的对应关系，将所述电子凭证的生成指令对应的电子凭证的生成模板中的多个数据类型作为目标数据类型，从所述RDD中提取多个所述目标数据类型对应的数据，作为基础数据；
验证模块404，用于基于预设的电子凭证的生成指令与验证逻辑的对应关系，将所述电子凭证的生成指令对应的验证逻辑作为目标验证逻辑，通过所述目标验证逻辑对所述基础数据进行验证；
生成模块405，用于若所述基础数据通过验证，则将所述基础数据存入所述电子凭证的生成模板，生成电子凭证的生成表。
进一步地，所述读取模块包括：
发送子模块，用于根据所述电子凭证的生成指令，向所述外部数据库发送格式询问指令；
接收子模块，用于接收多个所述外部数据库返回的所述数据源文件对应的格式；
调用子模块，用于根据所述数据源文件对应的格式，调用SparkContext中预设的与所述格式对应的函数，通过所述函数从所述外部数据库中读取所述数据源文件，并将所述数据源文件的格式转为预设的统一格式。
可选地，所述装置还包括：
获取模块，用于获取用户输入的验证逻辑；
写入模块，用于将所述验证逻辑写入Spark任务；
建立模块，用于为所述Spark任务分配一个电子凭证的生成指令，以建立电子凭证的生成指令与验证逻辑的对应关系。
进一步地，所述装置还包括：
第一记录模块，用于若所述基础数据未通过验证，则将所述电子凭证的生成指令与用户的对应关系存入异常任务日志表；
第二记录模块，用于若所述基础数据通过验证，则将所述电子凭证的生成指令与用户的对应关系存入合规任务日志表；
屏蔽模块，用于基于所述异常任务日志表以及所述合规任务日志表，屏蔽不符合预设准入规则的用户。
可选地，所述屏蔽模块具体用于：
统计预设时间段内所述异常任务日志表中各个用户对应的电子凭证的生成指令的数量，作为各个用户的电子凭证的生成异常数；
统计预设时间段内所述合规任务日志表中各个用户对应的电子凭证的生成指令的数量，作为各个用户的电子凭证的生成合规数；
通过公式：计算用户在预设时间段内电子凭证的生成指令的异常概率，所述logerr为用户的电子凭证的生成异常数，lognorm为用户的电子凭证的生成异常数，logmean为用户在预设时间段内电子凭证的生成指令的异常概率；
若用户在预设时间段内异常概率大于或等于预设的异常阈值，则向所述用户显示预警信息，并在接收到触发指令之前，屏蔽所述用户发送的所述电子凭证的生成指令。
在本发明实施例中，通过配置指令，运行本地数据库中的配置文件从而与多种数据格式的外部数据库建立连接；根据电子凭证的生成指令，通过SparkContext分别从多个所述外部数据库中获取多个所述数据源文件，并对多个所述数据源文件进行格式统一化处理，此时生成的弹性分布式数据集RDD中都是格式统一的数据源文件，基于预设的电子凭证的生成指令与电子凭证的生成模板的对应关系，从RDD中提取基础数据，基于预设的电子凭证的生成指令与验证逻辑的对应关系，选取目标验证逻辑并对基础数据进行验证，若验证通过则将基础数据填入电子凭证的生成模板，生成电子凭证的生成表，以更顺利，更高效地的对多类数据源进行整合，提供电子凭证的生成的自动化程度。
图5是本发明一实施例提供的终端设备的示意图。如图5所示，该实施例的终端设备5包括：处理器50、存储器51以及存储在所述存储器51中并可在所述处理器50上运行的计算机程序52，例如电子凭证的生成程序。所述处理器50执行所述计算机程序52时实现上述各个电子凭证的生成方法实施例中的步骤，例如图1所示的步骤101至106。或者，所述处理器50执行所述计算机程序52时实现上述各装置实施例中各模块/单元的功能，例如图4所示单元401至405的功能。
示例性的，所述计算机程序52可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器51中，并由所述处理器50执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序52在所述终端设备5中的执行过程。
所述终端设备5可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器50、存储器51。本领域技术人员可以理解，图5仅仅是终端设备5的示例，并不构成对终端设备5的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器50可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器51可以是所述终端设备5的内部存储单元，例如终端设备5的硬盘或内存。所述存储器51也可以是所述终端设备5的外部存储设备，例如所述终端设备5上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器51还可以既包括所述终端设备5的内部存储单元也包括外部存储设备。所述存储器51用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器51还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述***中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种电子凭证的生成方法，其特征在于，包括：
根据用户输入的配置指令运行存储于本地数据库中的配置文件，通过运行所述配置文件与多个外部数据库进行连接，所述外部数据库中存有多种格式的数据源文件，所述数据源文件记载了数据与数据类型的对应关系；
根据用户输入的电子凭证的生成指令，通过SparkContext分别从多个所述外部数据库中获取多个所述数据源文件，并对多个所述数据源文件进行格式统一化处理，生成弹性分布式数据集RDD；
基于预设的电子凭证的生成指令与电子凭证的生成模板的对应关系，将所述电子凭证的生成指令对应的电子凭证的生成模板中的多个数据类型作为目标数据类型，从所述RDD中提取多个所述目标数据类型对应的数据，作为基础数据；
基于预设的电子凭证的生成指令与验证逻辑的对应关系，将所述电子凭证的生成指令对应的验证逻辑作为目标验证逻辑，通过所述目标验证逻辑对所述基础数据进行验证；
若所述基础数据通过验证，则将所述基础数据存入所述电子凭证的生成模板，生成电子凭证的生成表。
2.如权利要求1所述的电子凭证的生成方法，其特征在于，所述根据用户输入的电子凭证的生成指令，通过SparkContext分别从多个所述外部数据库中获取多个所述数据源文件，并对多个所述数据源文件进行格式统一化处理，包括：
根据所述电子凭证的生成指令，向所述外部数据库发送格式询问指令；
接收多个所述外部数据库返回的所述数据源文件对应的格式；
根据所述数据源文件对应的格式，调用SparkContext中预设的与所述格式对应的函数，通过所述函数从所述外部数据库中读取所述数据源文件，并将所述数据源文件的格式转为预设的统一格式。
3.如权利要求1所述的电子凭证的生成方法，其特征在于，在所述接收用户输入的配置指令以及电子凭证的生成指令之前，还包括：
获取用户输入的验证逻辑的代码；
将所述验证逻辑的代码写入Spark任务；
生成所述Spark任务对应的电子凭证的生成指令，以建立电子凭证的生成指令与验证逻辑的对应关系。
4.如权利要求1所述的电子凭证的生成方法，其特征在于，还包括：
若所述基础数据未通过验证，则将所述电子凭证的生成指令与用户的对应关系存入异常任务日志表；
若所述基础数据通过验证，则将所述电子凭证的生成指令与用户的对应关系存入合规任务日志表；
基于所述异常任务日志表以及所述合规任务日志表，屏蔽不符合预设准入规则的用户。
5.如权利要求4所述的电子凭证的生成方法，其特征在于，所述基于所述异常任务日志表以及所述合规任务日志表，屏蔽不符合预设的准入规则的用户，包括：
统计预设时间段内所述异常任务日志表中各个用户对应的电子凭证的生成指令的数量，作为各个用户的电子凭证的生成异常数；
统计预设时间段内所述合规任务日志表中各个用户对应的电子凭证的生成指令的数量，作为各个用户的电子凭证的生成合规数；
通过公式：计算用户在预设时间段内电子凭证的生成指令的异常概率，所述logerr为用户的电子凭证的生成异常数，lognorm为用户的电子凭证的生成异常数，logmean为用户在预设时间段内电子凭证的生成指令的异常概率；
若用户在预设时间段内异常概率大于或等于预设的异常阈值，则向所述用户显示预警信息，并在接收到触发指令之前，屏蔽所述用户发送的所述电子凭证的生成指令。
6.一种终端设备，包括存储器以及处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现如下步骤：
根据用户输入的配置指令运行存储于本地数据库中的配置文件，通过运行所述配置文件与多个外部数据库进行连接，所述外部数据库中存有多种格式的数据源文件，所述数据源文件记载了数据与数据类型的对应关系；
根据用户输入的电子凭证的生成指令，通过SparkContext分别从多个所述外部数据库中获取多个所述数据源文件，并对多个所述数据源文件进行格式统一化处理，生成弹性分布式数据集RDD；
基于预设的电子凭证的生成指令与电子凭证的生成模板的对应关系，将所述电子凭证的生成指令对应的电子凭证的生成模板中的多个数据类型作为目标数据类型，从所述RDD中提取多个所述目标数据类型对应的数据，作为基础数据；
基于预设的电子凭证的生成指令与验证逻辑的对应关系，将所述电子凭证的生成指令对应的验证逻辑作为目标验证逻辑，通过所述目标验证逻辑对所述基础数据进行验证；
若所述基础数据通过验证，则将所述基础数据存入所述电子凭证的生成模板，生成电子凭证的生成表。
7.如权利要求6所述的终端设备，其特征在于，还包括：
所述根据用户输入的电子凭证的生成指令，通过SparkContext分别从多个所述外部数据库中获取多个所述数据源文件，并对多个所述数据源文件进行格式统一化处理，包括：
根据所述电子凭证的生成指令，向所述外部数据库发送格式询问指令；
接收多个所述外部数据库返回的所述数据源文件对应的格式；
根据所述数据源文件对应的格式，调用SparkContext中预设的与所述格式对应的函数，通过所述函数从所述外部数据库中读取所述数据源文件，并将所述数据源文件的格式转为预设的统一格式。
8.如权利要求6所述的终端设备，其特征在于，还包括：
若所述基础数据未通过验证，则将所述电子凭证的生成指令与用户的对应关系存入异常任务日志表；
若所述基础数据通过验证，则将所述电子凭证的生成指令与用户的对应关系存入合规任务日志表；
基于所述异常任务日志表以及所述合规任务日志表，屏蔽不符合预设准入规则的用户。
9.如权利要求8所述的终端设备，其特征在于，还包括：
所述基于所述异常任务日志表以及所述合规任务日志表，屏蔽不符合预设的准入规则的用户，包括：
统计预设时间段内所述异常任务日志表中各个用户对应的电子凭证的生成指令的数量，作为各个用户的电子凭证的生成异常数；
统计预设时间段内所述合规任务日志表中各个用户对应的电子凭证的生成指令的数量，作为各个用户的电子凭证的生成合规数；
通过公式：计算用户在预设时间段内电子凭证的生成指令的异常概率，所述logerr为用户的电子凭证的生成异常数，lognorm为用户的电子凭证的生成异常数，logmean为用户在预设时间段内电子凭证的生成指令的异常概率；
若用户在预设时间段内异常概率大于或等于预设的异常阈值，则向所述用户显示预警信息，并在接收到触发指令之前，屏蔽所述用户发送的所述电子凭证的生成指令。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述方法的步骤。
CN201810961263.7A 2018-08-22 2018-08-22 电子凭证的生成方法及终端设备 Active CN109241163B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810961263.7A CN109241163B (zh) 2018-08-22 2018-08-22 电子凭证的生成方法及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810961263.7A CN109241163B (zh) 2018-08-22 2018-08-22 电子凭证的生成方法及终端设备

Publications (2)

Publication Number Publication Date
CN109241163A true CN109241163A (zh) 2019-01-18
CN109241163B CN109241163B (zh) 2023-06-02

Family

ID=65068436

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810961263.7A Active CN109241163B (zh) 2018-08-22 2018-08-22 电子凭证的生成方法及终端设备

Country Status (1)

Country Link
CN (1) CN109241163B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110855625A (zh) * 2019-10-17 2020-02-28 新华三信息安全技术有限公司 基于流式处理的异常分析方法、装置及存储介质
CN111681028A (zh) * 2020-04-16 2020-09-18 上海淇玥信息技术有限公司 资源配置方法及其装置、电子设备和计算机可读存储介质
CN113763011A (zh) * 2020-11-19 2021-12-07 北京沃东天骏信息技术有限公司 电子凭证的分配处理方法、装置、设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101853454A (zh) * 2009-04-01 2010-10-06 华为技术有限公司 一种电子凭证实现方法及装置
US20110131643A1 (en) * 2009-12-01 2011-06-02 International Business Machines Corporation Token Mediation Service in a Data Management System
CN104392184A (zh) * 2014-11-13 2015-03-04 北京海泰方圆科技有限公司 一种多级电子文件凭证生成和校验的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101853454A (zh) * 2009-04-01 2010-10-06 华为技术有限公司 一种电子凭证实现方法及装置
US20110131643A1 (en) * 2009-12-01 2011-06-02 International Business Machines Corporation Token Mediation Service in a Data Management System
CN104392184A (zh) * 2014-11-13 2015-03-04 北京海泰方圆科技有限公司 一种多级电子文件凭证生成和校验的方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110855625A (zh) * 2019-10-17 2020-02-28 新华三信息安全技术有限公司 基于流式处理的异常分析方法、装置及存储介质
CN111681028A (zh) * 2020-04-16 2020-09-18 上海淇玥信息技术有限公司 资源配置方法及其装置、电子设备和计算机可读存储介质
CN113763011A (zh) * 2020-11-19 2021-12-07 北京沃东天骏信息技术有限公司 电子凭证的分配处理方法、装置、设备和存储介质

Also Published As

Publication number Publication date
CN109241163B (zh) 2023-06-02

Similar Documents

Publication Publication Date Title
US20210374610A1 (en) Efficient duplicate detection for machine learning data sets
JP7461695B2 (ja) ブロックチェーン・ネットワークからのデータの抽出
CN106980649B (zh) 写入区块链业务数据的方法和装置及业务子集合确定方法
EP3161635B1 (en) Machine learning service
US10452992B2 (en) Interactive interfaces for machine learning model evaluations
CN102314460B (zh) 数据分析方法、***及服务器
CN105988889B (zh) 一种数据校验方法及装置
CN111198868B (zh) 一种智能分库实时数据迁移方法和装置
US20210092160A1 (en) Data set creation with crowd-based reinforcement
CN110069495A (zh) 数据存储方法、装置和终端设备
CN109241163A (zh) 电子凭证的生成方法及终端设备
CN110275861A (zh) 数据存储方法及装置、存储介质、电子装置
CN111552509B (zh) 一种接口间依赖关系的确定方法及装置
CN109783346A (zh) 基于关键字驱动的自动化测试方法、装置及终端设备
CN110377576A (zh) 创建日志模板的方法和装置、日志分析方法
CN109117467A (zh) 可配置的动态数据报表的生成方法、***、设备和介质
CN107977504A (zh) 一种非对称堆芯燃料管理计算方法、装置及终端设备
US20240126730A1 (en) Schema Validation with Data Synthesis
CN109669936A (zh) 一种基于聚合模型的海量数据质量报告生成方法
CN112764935B (zh) 大数据处理方法、装置、电子设备及存储介质
CN116150200A (zh) 数据处理方法、装置、电子设备及存储介质
CN109918277A (zh) 电子装置、***日志聚类分析结果的评价方法及存储介质
CN112131291B (zh) 基于json数据的结构化解析方法、装置、设备及存储介质
CN109324963A (zh) 自动测试收益结果的方法及终端设备
CN114238349A (zh) 数据校验方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant