CN110309125B - 数据校验方法、电子装置及存储介质 - Google Patents
数据校验方法、电子装置及存储介质 Download PDFInfo
- Publication number
- CN110309125B CN110309125B CN201910559406.6A CN201910559406A CN110309125B CN 110309125 B CN110309125 B CN 110309125B CN 201910559406 A CN201910559406 A CN 201910559406A CN 110309125 B CN110309125 B CN 110309125B
- Authority
- CN
- China
- Prior art keywords
- data
- index
- service data
- configuration
- service
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/217—Database tuning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及数据处理技术领域，提供了一种数据校验方法、电子装置及计算机存储介质，该方法包括：通过连接多个数据源对应的业务***，根据预设的时间频率从每个业务***中获取相应的业务数据进行指标配置，得到各业务数据对应的指标和指标配置信息，对得到的各业务数据对应的指标进行规则配置生成包括指标阈值的配置文件；再将各业务数据对应的指标和指标配置信息输入计算引擎运算得到各业务数据对应的指标值；最后，利用规则引擎读取所述配置文件解析出各业务数据对应的指标阈值，校验各业务数据对应的指标值是否超过对应的指标阈值。本发明通过定期对各业务***的数据进行规则配置后自动化校验，确保数据的可靠性，从而提高数据质量。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种数据校验方法、电子装置及计算机可读存储介质。
背景技术
随着大数据技术的普及，数据处理和计算在各个行业领域中有着广泛的应用。其中ETL(Extract-Transform-Load，数据仓库)技术在大规模的数据处理中有着重要的作用。
目前，很多公司的业务数据是通过各个地方的业务***上报汇总，ETL在数据上报，指标统计，决策分析等应用场景中对数据质量要求较高，传统校验数据的方式采用部分数据人工对数，存在校验效率低、人工对数易出错、自动化程度不高等不足，影响数据的准确率，造成数据的决策有误。
发明内容
鉴于以上内容，本发明提供一种数据校验方法、电子装置及计算机可读存储介质，其主要目的在于定期对各业务***的数据进行自动化校验，确保数据的可靠性，提高数据质量。
为实现上述目的，本发明提供一种数据校验方法，应用于电子装置，该方法包括：
获取步骤：连接多个数据源对应的业务***，根据预设的时间频率从每个业务***中获取相应的业务数据；
第一配置步骤：对获取的每笔业务数据进行指标配置，得到各业务数据对应的指标和指标配置信息；
第二配置步骤：对得到的各业务数据对应的指标进行规则配置生成配置文件，所述配置文件包括各业务数据对应的指标阈值；
计算步骤：将各业务数据对应的指标和指标配置信息输入计算引擎运算，得到运算后的各业务数据对应的指标值；及
校验步骤：利用规则引擎读取所述配置文件，解析所述配置文件得到各业务数据对应的指标阈值，校验各业务数据对应的指标值是否超过对应的指标阈值。
优选地，所述校验步骤包括：
当判断一笔业务数据对应的指标值超过对应的指标阈值时，判断该业务数据有误，为该有误的业务数据分配预设标记并保存至预警表。
优选地，所述校验步骤后还包括：
预警步骤：定时扫描所述预警表，当扫描到有所述预设标记业务数据时，触发预设预警***生成对应的预警信息，并发送至对应的业务***。
优选地，所述指标配置信息包括指标关联的数据源、指标的运算逻辑和配置时间。
优选地，所述计算步骤包括：
从得到的指标配置信息中查找出与各业务数据对应的指标的运算逻辑；
根据查找出的运算逻辑对各业务数据对应的指标进行SQL计算，得到各业务数据对应的指标值。
此外，为实现上述目的，本发明还提供一种电子装置，该电子装置包括存储器和处理器，所述存储器中存储有可在所述处理器上运行的数据校验程序，所述数据校验程序被所述处理器执行时实现如下步骤：
获取步骤：连接多个数据源对应的业务***，根据预设的时间频率从每个业务***中获取相应的业务数据；
第一配置步骤：对获取的每笔业务数据进行指标配置，得到各业务数据对应的指标和指标配置信息；
第二配置步骤：对得到的各业务数据对应的指标进行规则配置生成配置文件，所述配置文件包括各业务数据对应的指标阈值；
计算步骤：将各业务数据对应的指标和指标配置信息输入计算引擎运算，得到运算后的各业务数据对应的指标值；及
校验步骤：利用规则引擎读取所述配置文件，解析所述配置文件得到各业务数据对应的指标阈值，校验各业务数据对应的指标值是否超过对应的指标阈值。
优选地，所述校验步骤包括：
当判断一笔业务数据对应的指标值超过对应的指标阈值时，判断该业务数据有误，为该有误的业务数据分配预设标记并保存至预警表。
优选地，所述校验步骤后还包括：
预警步骤：定时扫描所述预警表，当扫描到有所述预设标记业务数据时，触发预设预警***生成对应的预警信息，并发送至对应的业务***。
优选地，所述指标配置信息包括指标关联的数据源、指标的运算逻辑和配置时间。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中包括数据校验程序，所述数据校验程序被处理器执行时，可实现如上所述的数据校验方法中的任一步骤。
本发明提出的数据校验方法、电子装置及计算机可读存储介质，通过连接多个数据源对应的业务***，根据预设的时间频率从每个业务***中获取相应的业务数据，对获取的每笔业务数据进行指标配置，得到各业务数据对应的指标和指标配置信息，对得到的各业务数据对应的指标进行规则配置生成配置文件，所述配置文件包括各业务数据对应的指标阈值；再将各业务数据对应的指标和指标配置信息输入计算引擎运算，得到运算后的各业务数据对应的指标值；最后，利用规则引擎读取所述配置文件，解析所述配置文件得到各业务数据对应的指标阈值，校验各业务数据对应的指标值是否超过对应的指标阈值。本发明通过定期对各业务***的数据进行规则配置后自动化校验，确保数据的可靠性，从而提高数据质量。
附图说明
图1为本发明电子装置较佳实施例的示意图；
图2为图1中的数据校验程序一较佳实施例的程序模块图；
图3为本发明数据校验方法一较佳实施例的流程图；
图4为图1中的数据校验程序另一较佳实施例的程序模块图；
图5为本发明数据校验方法另一较佳实施例的流程图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
参照图1所示，为本发明电子装置较佳实施例的示意图。电子装置1是一种能够按照事先设定或者存储的指令，自动进行数值计算和/或信息处理的设备。所述电子装置1可以是计算机、也可以是单个网络服务器、多个网络服务器组成的服务器组或者基于云计算的由大量主机或者网络服务器构成的云，其中云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。
在本实施例中，电子装置1可包括，但不仅限于，可通过***总线相互通信连接的存储器11、处理器12、网络接口13，存储器11存储有可在处理器12上运行的数据校验程序10。需要指出的是，图1仅示出了具有组件11-13的电子装置1，但是应当理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
其中，存储器11包括内存及至少一种类型的可读存储介质。内存为电子装置1的运行提供缓存；可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等的非易失性存储介质。在一些实施例中，可读存储介质可以是电子装置1的内部存储单元，例如该电子装置1的硬盘；在另一些实施例中，该非易失性存储介质也可以是电子装置1的外部存储设备，例如电子装置1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。本实施例中，存储器11的可读存储介质通常用于存储安装于电子装置1的操作***和各类应用软件，例如存储本发明一实施例中的数据校验程序10等。此外，存储器11还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器12在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器12通常用于控制所述电子装置1的总体操作，例如执行与所述其他设备进行数据交互或者通信相关的控制和处理等。本实施例中，所述处理器12用于运行所述存储器11中存储的程序代码或者处理数据，例如运行数据校验程序10等。
所述网络接口13可包括无线网络接口或有线网络接口，该网络接口13通常用于在所述电子装置1与其他电子设备之间建立通信连接。
所述数据校验程序10存储在存储器11中，包括存储在存储器11中的计算机可读指令，该计算机可读指令可被处理器12执行，以实现本申请各实施例的方法。
在一实施例中，上述数据校验程序10被所述处理器12执行时实现如下步骤：
获取步骤：连接多个数据源对应的业务***，根据预设的时间频率从每个业务***中获取相应的业务数据。
本实施例中，数据源包括业务***名称、IP域名、连接端口、数据库、数据库类型，数据同步频率等。通过数据源连接到各业务***，按预设的时间频率从每个业务***中获取相应的业务数据，并对获取到的业务数据固化至Hive仓库，不影响各业务***继续录入其它的数据，确保获取到的原始业务数据的可靠性。所述Hive为一种数据仓库工具，可以对获取到数据提取、转化、加载，还可以进行SQL数据查询等。
在一实施例中，连接多个数据源(如不同***的IP域名或连接端口)对应的业务***，根据预设的时间频率(如每日上午8点)从每个务***(如各省、市的业务***)中获取相应的业务数据(保单数据)固化至Hive仓库。
第一配置步骤：对获取的每笔业务数据进行指标配置，得到各业务数据对应的指标和指标配置信息。
具体地，根据获取的每笔业务数据的字段属性对业务数据进行指标配置，得到各业务数据对应的指标，再将得到各业务数据对应的指标进行关联，对关联后的指标配置并匹配预设的运算逻辑，最后得到指标配置信息。
进一步地，所述指标配置信息包括指标关联的数据源、指标的运算逻辑和配置时间。
指标关联的数据源包括各业务数据对应的指标之间的关联，以及各业务数据的数据源之间的关联，便于追溯数据的来源；
指标的运算逻辑包括一般函数(如sum、count、min或max的函数)以及预先设置的自定义函数(如数学公式的函数)；
配置时间指各业务数据进行指标配置的时间记录。
第二配置步骤：对得到的各业务数据对应的指标进行规则配置生成配置文件，所述配置文件包括各业务数据对应的指标阈值。
本实施例中，为了对获取到的各业务数据能够自动校验，预先对业务数据进行规制配置，即规则配置各业务数据对应的指标，生成配置文件，该配置文件为drl格式的文件，可被Drools规则引擎解析，所述配置文件包括各业务数据对应的指标阈值，该指标阈值是根据各业务数据的字段属性以及对应的指标在规则配置时生成对应的指标阈值。
计算步骤：将各业务数据对应的指标和指标配置信息输入计算引擎运算，得到运算后的各业务数据对应的指标值。
本实施例中，计算引擎采用Spark引擎，是一种快速、通用处理大规模数据Spark引擎。根据各业务数据对应的指标和指标配置信息进行Spark引擎计算，包括利用Spark引擎中的SQL工具进行计算和/或利用Spark引擎对各业务***的业务数据展开维度层级间的计算，得到计算后的各业务数据对应的指标值，并以json格式保存至数据库。
SQL为结构化查询语言(Structured Query Language)的简称。是一种数据查询、程序设计和数据管理的工具，对处理大规模数据的计算，以及提供多种不同的计算方式具有通用性。
进一步地，所述计算步骤包括：
从得到的指标配置信息中查找出与各业务数据对应的指标的运算逻辑；
根据查找出的运算逻辑对各业务数据对应的指标进行SQL计算，得到各业务数据对应的指标值。
其中，运算逻辑包括一般函数(如sum、count、min或max的函数)以及预先设置的自定义函数(如数学公式的函数)，利用SQL根据各业务数据对应的指标所配置到的运算逻辑，完成复杂、多样的业务数据计算，得到各业务数据对应的指标值。
校验步骤：利用规则引擎读取所述配置文件，解析所述配置文件得到各业务数据对应的指标阈值，校验各业务数据对应的指标值是否超过对应的指标阈值。
本实施例，规则引擎采用Drools引擎，能够自动加载配置文件并解析，针对业务数据规则配置完成的配置文件，Drools引擎自动读取所述配置文件，并解析出各业务数据对应的指标阈值，用以校验运算后的各业务数据对应的指标值是否超过对应的指标阈值，能够快捷、高效的对运算后的各个业务数据对应的指标值进行校验，判断各业务数据的正确性。
进一步地，所述校验步骤包括：
当判断一笔业务数据对应的指标值超过对应的指标阈值时，判断该业务数据有误，为该有误的业务数据分配预设标记并保存至预警表。
进一步地，所述校验步骤后还包括：
预警步骤：定时扫描所述预警表，当扫描到有所述预设标记业务数据时，触发预设预警***生成对应的预警信息，并发送至对应的业务***。
在一个实施例中，通过预设的时间定期对所述预警表进行扫描，当扫描到有所述预设标记业务数据时，触发预设预警***生成对应的预警信息，所述预警信息包括标记的有误业务数据、有误业务数据关联的数据源以及预警时间等，并将所述预警信息发送至对应的业务***。业务***在接收到所述预警信息后，业务***的操作人员根据预警信息进行分析，及时解决有误的业务数据，确保数据的正确性，提高数据质量。
参照图2所示，为图1中的数据校验程序10一较佳实施例的程序模块图。
在一个实施例中，数据校验程序10包括：获取模块101、第一配置模块102、第二配置模块103、计算模块104、校验模块105。所述模块101-105所实现的功能或操作步骤均与下述数据校验方法类似，此处不再详述，示例性地，例如其中：
获取模块101，用于连接多个数据源对应的业务***，根据预设的时间频率从每个业务***中获取相应的业务数据；
第一配置模块102，用于对获取的每笔业务数据进行指标配置，得到各业务数据对应的指标和指标配置信息；
第二配置模块103，用于对得到的各业务数据对应的指标进行规则配置生成配置文件，所述配置文件包括各业务数据对应的指标阈值；
计算模块104，用于将各业务数据对应的指标和指标配置信息输入计算引擎运算，得到运算后的各业务数据对应的指标值；及
校验模块105，用于利用规则引擎读取所述配置文件，解析所述配置文件得到各业务数据对应的指标阈值，校验各业务数据对应的指标值是否超过对应的指标阈值。
参照图4所示，为图1中的数据校验程序10另一较佳实施例的程序模块图，在校验模块105后，数据校验程序10还包括预警模块106，示例性地：
预警模块106，用于定时扫描所述预警表，当扫描到有所述预设标记业务数据时，触发预设预警***生成对应的预警信息，并发送至对应的业务***。
参照图3所示，为本发明数据校验方法一较佳实施例的流程图。本发明揭露了一种数据校验方法，应用于上述的电子装置，该方法包括：
步骤S210：连接多个数据源对应的业务***，根据预设的时间频率从每个业务***中获取相应的业务数据。
本实施例中，数据源包括业务***名称、IP域名、连接端口、数据库、数据库类型，数据同步频率等。通过数据源连接到各业务***，按预设的时间频率从每个业务***中获取相应的业务数据，并对获取到的业务数据固化至Hive仓库，不影响各业务***继续录入其它的数据，确保获取到的原始业务数据的可靠性。所述Hive为一种数据仓库工具，可以对获取到数据提取、转化、加载，还可以进行SQL数据查询等。
在一实施例中，连接多个数据源(如不同***的IP域名或连接端口)对应的业务***，根据预设的时间频率(如每日上午8点)从每个务***(如各省、市的业务***)中获取相应的业务数据(保单数据)固化至Hive仓库。
步骤S220：对获取的每笔业务数据进行指标配置，得到各业务数据对应的指标和指标配置信息。
具体地，根据获取的每笔业务数据的字段属性对业务数据进行指标配置，得到各业务数据对应的指标，再将得到各业务数据对应的指标进行关联，对关联后的指标配置并匹配预设的运算逻辑，最后得到指标配置信息。
进一步地，所述指标配置信息包括指标关联的数据源、指标的运算逻辑和配置时间。
指标关联的数据源包括各业务数据对应的指标之间的关联，以及各业务数据的数据源之间的关联，便于追溯数据的来源；
指标的运算逻辑包括一般函数(如sum、count、min或max的函数)以及预先设置的自定义函数(如数学公式的函数)；
配置时间指各业务数据进行指标配置的时间记录。
步骤S230：对得到的各业务数据对应的指标进行规则配置生成配置文件，所述配置文件包括各业务数据对应的指标阈值。
本实施例中，为了对获取到的各业务数据能够自动校验，预先对业务数据进行规制配置，即规则配置各业务数据对应的指标，生成配置文件，该配置文件为drl格式的文件，可被Drools规则引擎解析，所述配置文件包括各业务数据对应的指标阈值，该指标阈值是根据各业务数据的字段属性以及对应的指标在规则配置时生成对应的指标阈值。
步骤S240：将各业务数据对应的指标和指标配置信息输入计算引擎运算，得到运算后的各业务数据对应的指标值。
本实施例中，计算引擎采用Spark引擎，是一种快速、通用处理大规模数据Spark引擎。根据各业务数据对应的指标和指标配置信息进行Spark引擎计算，包括利用Spark引擎中的SQL工具进行计算和/或利用Spark引擎对各业务***的业务数据展开维度层级间的计算，得到计算后的各业务数据对应的指标值，并以json格式保存至数据库。
SQL为结构化查询语言(Structured Query Language)的简称。是一种数据查询、程序设计和数据管理的工具，对处理大规模数据的计算，以及提供多种不同的计算方式具有通用性。
进一步地，所述步骤S240：包括：
从得到的指标配置信息中查找出与各业务数据对应的指标的运算逻辑；
根据查找出的运算逻辑对各业务数据对应的指标进行SQL计算，得到各业务数据对应的指标值。
其中，运算逻辑包括一般函数(如sum、count、min或max的函数)以及预先设置的自定义函数(如数学公式的函数)，利用SQL根据各业务数据对应的指标所配置到的运算逻辑，完成复杂、多样的业务数据计算，得到各业务数据对应的指标值。
步骤S250：利用规则引擎读取所述配置文件，解析所述配置文件得到各业务数据对应的指标阈值，校验各业务数据对应的指标值是否超过对应的指标阈值。
本实施例，规则引擎采用Drools引擎，能够自动加载配置文件并解析，针对业务数据规则配置完成的配置文件，Drools引擎自动读取所述配置文件，并解析出各业务数据对应的指标阈值，用以校验运算后的各业务数据对应的指标值是否超过对应的指标阈值，能够快捷、高效的对运算后的各个业务数据对应的指标值进行校验，判断各业务数据的正确性。
进一步地，所述步骤S250：包括：
当判断一笔业务数据对应的指标值超过对应的指标阈值时，判断该业务数据有误，为该有误的业务数据分配预设标记并保存至预警表。
参照图5所示，为本发明数据校验方法另一较佳实施例的流程图，在所述步骤S250后，该方法还包括：
步骤S260：定时扫描所述预警表，当扫描到有所述预设标记业务数据时，触发预设预警***生成对应的预警信息，并发送至对应的业务***。
在一个实施例中，通过预设的时间定期对所述预警表进行扫描，当扫描到有所述预设标记业务数据时，触发预设预警***生成对应的预警信息，所述预警信息包括标记的有误业务数据、有误业务数据关联的数据源以及预警时间等，并将所述预警信息发送至对应的业务***。业务***在接收到所述预警信息后，业务***的操作人员根据预警信息进行分析，及时解决有误的业务数据，确保数据的正确性，提高数据质量。
此外，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中包括数据校验程序，所述数据校验程序被处理器执行时，可实现如下操作：
获取步骤：连接多个数据源对应的业务***，根据预设的时间频率从每个业务***中获取相应的业务数据；
第一配置步骤：对获取的每笔业务数据进行指标配置，得到各业务数据对应的指标和指标配置信息；
第二配置步骤：对得到的各业务数据对应的指标进行规则配置生成配置文件，所述配置文件包括各业务数据对应的指标阈值；
计算步骤：将各业务数据对应的指标和指标配置信息输入计算引擎运算，得到运算后的各业务数据对应的指标值；及
校验步骤：利用规则引擎读取所述配置文件，解析所述配置文件得到各业务数据对应的指标阈值，校验各业务数据对应的指标值是否超过对应的指标阈值。
本发明计算机可读存储介质具体实施方式与上述数据校验方法和电子装置各实施例基本相同，在此不作累述。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (8)
1.一种数据校验方法，应用于电子装置，其特征在于，该方法包括：
获取步骤：连接多个数据源对应的业务***，根据预设的时间频率从每个业务***中获取相应的业务数据；
第一配置步骤：对获取的每笔业务数据进行指标配置，得到各业务数据对应的指标和指标配置信息，所述指标配置信息包括指标关联的数据源、指标的运算逻辑和配置时间，所述第一配置步骤具体包括：根据获取的业务数据的字段属性对该业务数据进行指标配置，得到各业务数据对应的指标，将各业务数据对应的指标进行关联，对关联后的指标配置匹配预设的运算逻辑，得到指标配置信息；
第二配置步骤：对得到的各业务数据对应的指标进行规则配置生成配置文件，所述配置文件包括各业务数据对应的指标阈值，所述指标阈值是根据各业务数据的字段属性及对应的指标在规则配置时生成的；
计算步骤：将各业务数据对应的指标和指标配置信息输入计算引擎运算，得到运算后的各业务数据对应的指标值；及
校验步骤：利用规则引擎读取所述配置文件，解析所述配置文件得到各业务数据对应的指标阈值，校验各业务数据对应的指标值是否超过对应的指标阈值。
2.如权利要求1所述的数据校验方法，其特征在于，所述校验步骤包括：
当判断一笔业务数据对应的指标值超过对应的指标阈值时，判断该业务数据有误，为该有误的业务数据分配预设标记并保存至预警表。
3.如权利要求2所述的数据校验方法，其特征在于，所述校验步骤后还包括：
预警步骤：定时扫描所述预警表，当扫描到有所述预设标记业务数据时，触发预设预警***生成对应的预警信息，并发送至对应的业务***。
4.如权利要求1-3任一项所述的数据校验方法，其特征在于，所述计算步骤包括：
从得到的指标配置信息中查找出与各业务数据对应的指标的运算逻辑；
根据查找出的运算逻辑对各业务数据对应的指标进行SQL计算，得到各业务数据对应的指标值。
5.一种电子装置，其特征在于，该电子装置包括存储器和处理器，所述存储器中存储有可在所述处理器上运行的数据校验程序，所述数据校验程序被所述处理器执行时实现如下步骤：
获取步骤：连接多个数据源对应的业务***，根据预设的时间频率从每个业务***中获取相应的业务数据；
第一配置步骤：对获取的每笔业务数据进行指标配置，得到各业务数据对应的指标和指标配置信息，所述指标配置信息包括指标关联的数据源、指标的运算逻辑和配置时间，所述第一配置步骤具体包括：根据获取的业务数据的字段属性对该业务数据进行指标配置，得到各业务数据对应的指标，将各业务数据对应的指标进行关联，对关联后的指标配置匹配预设的运算逻辑，得到指标配置信息；
第二配置步骤：对得到的各业务数据对应的指标进行规则配置生成配置文件，所述配置文件包括各业务数据对应的指标阈值，所述指标阈值是根据各业务数据的字段属性及对应的指标在规则配置时生成的；
计算步骤：将各业务数据对应的指标和指标配置信息输入计算引擎运算，得到运算后的各业务数据对应的指标值；及
校验步骤：利用规则引擎读取所述配置文件，解析所述配置文件得到各业务数据对应的指标阈值，校验各业务数据对应的指标值是否超过对应的指标阈值。
6.如权利要求5所述的电子装置，其特征在于，所述校验步骤包括：
当判断一笔业务数据对应的指标值超过对应的指标阈值时，判断该业务数据有误，为该有误的业务数据分配预设标记并保存至预警表。
7.如权利要求6所述的电子装置，其特征在于，所述校验步骤后还包括：
预警步骤：定时扫描所述预警表，当扫描到有所述预设标记业务数据时，触发预设预警***生成对应的预警信息，并发送至对应的业务***。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括数据校验程序，所述数据校验程序被处理器执行时，可实现如权利要求1至4中任意一项所述的数据校验方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910559406.6A CN110309125B (zh) | 2019-06-24 | 2019-06-24 | 数据校验方法、电子装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910559406.6A CN110309125B (zh) | 2019-06-24 | 2019-06-24 | 数据校验方法、电子装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110309125A CN110309125A (zh) | 2019-10-08 |
| CN110309125B true CN110309125B (zh) | 2021-09-21 |
Family
ID=68076631
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910559406.6A Active CN110309125B (zh) | 2019-06-24 | 2019-06-24 | 数据校验方法、电子装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110309125B (zh) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112733083B (zh) * | 2019-10-28 | 2023-08-18 | ***通信集团湖南有限公司 | 一种数据校验方法、***及装置 |
| CN111325466A (zh) * | 2020-02-20 | 2020-06-23 | 深圳壹账通智能科技有限公司 | 智能预警方法与*** |
| CN112540996B (zh) * | 2020-11-12 | 2023-11-24 | Oppo（重庆）智能科技有限公司 | 一种业务数据的校验方法、装置、电子设备及存储介质 |
| CN112506901A (zh) * | 2020-11-30 | 2021-03-16 | 深圳微众信用科技股份有限公司 | 一种数据质量测量方法、装置及介质 |
| CN112445875B (zh) * | 2020-12-14 | 2024-03-01 | 招商局金融科技有限公司 | 数据关联及检验方法、装置、电子设备及存储介质 |
| CN112579376A (zh) * | 2020-12-16 | 2021-03-30 | 中国建设银行股份有限公司 | 一种双跑阶段数据校验方法、***、设备及存储介质 |
| CN112734358A (zh) * | 2020-12-25 | 2021-04-30 | 山东浪潮通软信息科技有限公司 | 业务***的配置方法和装置 |
| CN112767767B (zh) * | 2021-01-29 | 2022-12-23 | 重庆子元科技有限公司 | 一种虚拟训练*** |
| CN113128848B (zh) * | 2021-04-01 | 2024-06-21 | 广州虎牙科技有限公司 | 全业务指标的数据质量监控方法、电子设备及存储介质 |
| CN113223200A (zh) * | 2021-05-07 | 2021-08-06 | 广州天长信息技术有限公司 | 基于指标维度的公路偷逃智能防控方法、存储介质和*** |
| CN113553533A (zh) * | 2021-06-10 | 2021-10-26 | 国网安徽省电力有限公司 | 一种基于数字化内部五级市场考核体系的指标计算方法 |
| CN113609283A (zh) * | 2021-07-28 | 2021-11-05 | 浙江惠瀜网络科技有限公司 | 数据获取方法及*** |
| CN113778535B (zh) * | 2021-08-10 | 2024-02-23 | 济南浪潮数据技术有限公司 | 一种云主机操作校验的方法、***、设备和存储介质 |
| CN113515923B (zh) * | 2021-09-14 | 2022-01-04 | 浙江省金融综合服务平台管理有限公司 | 一种应用于决策引擎中的指标加工实现方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101135715A (zh) * | 2007-05-25 | 2008-03-05 | 中兴通讯股份有限公司 | 一种北向接口数据完整性的检验方法 |
| CN105550511A (zh) * | 2015-12-11 | 2016-05-04 | 北京锐软科技股份有限公司 | 一种基于数据校验技术的数据质量测评***及方法 |
| CN106452933A (zh) * | 2015-08-05 | 2017-02-22 | 腾讯科技（北京）有限公司 | 一种业务数据的统计方法、装置及*** |
| CN107038200A (zh) * | 2016-12-15 | 2017-08-11 | 平安科技（深圳）有限公司 | 业务数据处理方法及*** |
| CN109522318A (zh) * | 2018-10-22 | 2019-03-26 | 中国银行股份有限公司 | 一种数据质量管理方法及*** |
| CN109766370A (zh) * | 2018-12-27 | 2019-05-17 | 口碑(上海)信息技术有限公司 | 数据处理方法、数据服务***及设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101719237A (zh) * | 2009-12-09 | 2010-06-02 | 南京联创科技集团股份有限公司 | 基于全业务指标规则配置的数据质量监控方法 |
-
2019
- 2019-06-24 CN CN201910559406.6A patent/CN110309125B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101135715A (zh) * | 2007-05-25 | 2008-03-05 | 中兴通讯股份有限公司 | 一种北向接口数据完整性的检验方法 |
| CN106452933A (zh) * | 2015-08-05 | 2017-02-22 | 腾讯科技（北京）有限公司 | 一种业务数据的统计方法、装置及*** |
| CN105550511A (zh) * | 2015-12-11 | 2016-05-04 | 北京锐软科技股份有限公司 | 一种基于数据校验技术的数据质量测评***及方法 |
| CN107038200A (zh) * | 2016-12-15 | 2017-08-11 | 平安科技（深圳）有限公司 | 业务数据处理方法及*** |
| CN109522318A (zh) * | 2018-10-22 | 2019-03-26 | 中国银行股份有限公司 | 一种数据质量管理方法及*** |
| CN109766370A (zh) * | 2018-12-27 | 2019-05-17 | 口碑(上海)信息技术有限公司 | 数据处理方法、数据服务***及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110309125A (zh) | 2019-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110309125B (zh) | 数据校验方法、电子装置及存储介质 | |
| CN108427705B (zh) | 电子装置、分布式***日志查询方法及存储介质 | |
| CN108446407B (zh) | 基于区块链的数据库审计方法和装置 | |
| CN109474578B (zh) | 报文消息校验方法、装置、计算机设备和存储介质 | |
| CN113242236A (zh) | 一种网络实体威胁图谱构建方法 | |
| CN110599354A (zh) | 线上对账方法、***、计算机设备和计算机可读存储介质 | |
| CN105260639A (zh) | 一种脸部识别***的数据更新的方法及装置 | |
| CN112307747A (zh) | 车辆配件检索方法、装置、计算机设备及可读存储介质 | |
| CN110191097B (zh) | 登录页面安全性的检测方法、***、设备及存储介质 | |
| CN116719799A (zh) | 环保数据治理方法、装置、计算机设备和存储介质 | |
| CN114328017A (zh) | 一种数据库备份方法、***、计算机设备和存储介质 | |
| CN112364022B (zh) | 信息推导管理方法、装置、计算机设备及可读存储介质 | |
| CN114356898A (zh) | 数据存储方法、装置、电子设备和存储介质 | |
| CN112579608A (zh) | 案件数据查询方法、***、设备及计算机可读存储介质 | |
| CN109271431B (zh) | 数据抽取方法、装置、计算机设备及存储介质 | |
| CN109284833B (zh) | 为机器学习模型获取特征数据的方法、设备和存储介质 | |
| CN106095511A (zh) | 一种服务器升级方法和装置 | |
| CN114168610B (zh) | 一种基于线序划分的分布式存储和查询方法及*** | |
| CN113259154B (zh) | 中台数据校验通知方法、装置、计算机设备和存储介质 | |
| CN111708795B (zh) | 对象标识生成方法、更新方法、装置、计算机设备和介质 | |
| CN111585897B (zh) | 请求路由管理方法、***、计算机***及可读存储介质 | |
| CN112583761B (zh) | 安全实体的管理方法、装置、计算机设备和存储介质 | |
| CN110489416B (zh) | 一种基于数据处理的信息存储方法及相关设备 | |
| CN110119337B (zh) | 一种数据分析方法、装置及服务器 | |
| CN111045983A (zh) | 核电站电子文件管理方法、装置、终端设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |