CN113268231A - 一种数据采集比对方法 - Google Patents

Abstract

本发明涉及计算机软件、数据处理领域，具体提供了一种数据采集比对方法，具有以下步骤：S1、分析采集需求；S2、编写配置文件；S3、微调配置文件和Python脚本；S4、运行比对逻辑；S5、前台展示比对结果。与现有技术相比，本发明可以提高通信设备数据采集比对业务代码开发过程中代码的可复用性，减少开发过程的重复工作。

Description

一种数据采集比对方法

技术领域

本发明涉及计算机软件、数据处理领域，具体提供一种数据采集比对方法。

背景技术

本次采集比对以采集比对业务需求为出发点，由于之前处理新的采集比对相关业务需求时，要对每个sql脚本改造,然后修改shell脚本。每次采集比对业务都需要增改这些文件，这样就会导致每次处理新的采集比对业务需求工作量都会很大，造成代码可复用性低、效率低下等问题。

发明内容

本发明是针对上述现有技术的不足，提供一种实用性强的数据采集比对方法。

本发明解决其技术问题所采用的技术方案是：

一种数据采集比对方法，具有以下步骤：

S1、分析采集需求；

S2、编写配置文件；

S3、微调配置文件和Python脚本；

S4、运行比对逻辑；

S5、前台展示比对结果。

进一步的，在步骤S1中，不同的采集任务对应不同的采集表和资源表，每次采集需要分析当前采集包对应的表、字段映射关系和资源表间、采集表间依赖关系，分析客户需求和通信资源间关系，然后和数据表一一对应。

进一步的，在同一采集业务场景下，抽取业务公共逻辑，分做可配置属性和公共业务逻辑两部分，将两者分别设计成配置文件和Python脚本。

作为优选，在不同采集业务场景下，需对配置文件和Python脚本微调部分逻辑。

进一步的，在步骤S2中，根据采集需求，在配置文件内配置数据库连接信息、采集包、资源表和采集表映射以及表内字段映射信息，Python脚本会依据配置文件信息自动运行比对逻辑并记录结果到数据库中。

进一步的，在步骤S3中，Python脚本是比对逻辑的核心，仅需修改或添加某些特殊字段，适配当前场景采集需求即可。

进一步的，在步骤S4中，首先，解析配置文件各部分配置信息，然后，可复用的采集比对业务逻辑代码部分，循环体内包括解析配置文件表和字段映射、表内字段比对逻辑和比对结果，sql语句保存到数据库逻辑。

进一步的，在步骤S5中，前台展示时先将sql解析成真正的比对结果，再展示到用户操作界面；

用户勾选比对结果然后后台会将结果条目对应的sql语句取出来执行，从而完成采集比对业务。

本发明的一种数据采集比对方法和现有技术相比，具有以下突出的有益效果：

本发明一种数据采集比对方法，可以提高通信设备数据采集比对业务代码开发过程中代码的可复用性，减少开发过程的重复工作。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

附图1是一种数据采集比对方法的流程示意图；

附图2是一种数据采集比对方法中编写配置文件的流程示意图；

附图3是一种数据采集比对方法中运行比对逻辑的流程示意图。

具体实施方式

为了使本技术领域的人员更好的理解本发明的方案，下面结合具体的实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例都属于本发明保护的范围。

下面给出一个最佳实施例：

如图1所示，本实施例中的一种数据采集比对方法，在同一采集业务场景下，体现在抽取业务公共逻辑，分做可配置属性和公共业务逻辑两部分，将二者分别设计成配置文件和Python脚本。

在不同采集业务场景下，只需对配置文件和Python脚本微调部分逻辑。

将比对结果拼接为sql并录入数据库，前台将sql初步解析后将比对结果展示在前台，用户勾选需要录入的数据，即相当于勾选需要执行的sql，进而完成采集比对。

可以根据实际的需求对配置文件结构进行调整，以适配不同场景下采集比对业务需求。

具体有以下步骤：

S1、分析采集需求：

不同的采集任务对应不同的采集表和资源表，每次采集需要分析当前采集包对应的表和字段映射关系和资源表间、采集表间依赖关系。需要分析客户需求和通信资源间关系，然后和数据库表一一对应。

S2、编写配置文件：

如图2所示，本方法的核心就是配置文件，Python脚本会依据配置文件信息自动运行比对逻辑并记录结果到数据库中。这一步需要依据第一步分析的采集需求，在配置文件内配置数据库连接信息、采集包、资源表和采集表映射以及表内字段映射等信息。这样可以减少重复代码开发，提高逻辑代码可复用性。

S3、微调配置文件和Python脚本：

Python脚本是本方法比对逻辑的核心。针对通用的配置文件配置信息可能不足以满足其他场景下的采集比对业务，所以可能需要针对当前场景灵活修改配置文件和对应的比对脚本解析部分代码。这里只需修改或添加某些特殊字段等，以适配当前场景采集需求，而无需修改配置和比对整体逻辑。

S4、运行比对逻辑：

如图3所示，首先是解析配置文件各部分配置信息，然后是可复用的采集比对业务逻辑代码部分，循环体内包括解析配置文件表和字段映射、表内字段比对逻辑和比对结果——sql语句保存到数据库逻辑。该部分代码是本方案核心业务代码，是针对采集业务的基本逻辑，各采集场景均可使用，每次开发无需修改。

conf.ini：配置文件。

CollectTables：采集表，保存通信设备采集到的数据。

ResourceTables：资源表，保存目前数据库内记录的设备信息。

TempMapperRecordList：暂存之前循环的结果，只用于给下面的循环判断当前比对资源是否录入，以判断执行insert还是update格式的拼接。

Commit：数据库事务提交，为了防止比对过程出错，将数据库提交放在整个比对逻辑的最后。

S5、前台展示比对结果，用户勾选，执行sql。上一步的最后只是保存拼接好的sql语句。前台展示时会先将sql解析成真正的比对结果，再展示到用户操作界面。用户勾选比对结果然后后台会将结果条目对应的sql语句取出来执行，从而完成采集比对业务。

上述具体的实施方式仅是本发明具体的个案，本发明的专利保护范围包括但不限于上述具体的实施方式，任何符合本发明的一种数据采集比对方法权利要求书的且任何所述技术领域普通技术人员对其做出的适当变化或者替换，皆应落入本发明的专利保护范围。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.一种数据采集比对方法，其特征在于，具有以下步骤：

S1、分析采集需求；

S2、编写配置文件；

S3、微调配置文件和Python脚本；

S4、运行比对逻辑；

S5、前台展示比对结果。

2.根据权利要求1所述的一种数据采集比对方法，其特征在于，在步骤S1中，不同的采集任务对应不同的采集表和资源表，每次采集需要分析当前采集包对应的表、字段映射关系和资源表间、采集表间依赖关系，分析客户需求和通信资源间关系，然后和数据表一一对应。

3.根据权利要求2所述的一种数据采集比对方法，其特征在于，在同一采集业务场景下，抽取业务公共逻辑，分做可配置属性和公共业务逻辑两部分，将两者分别设计成配置文件和Python脚本。

4.根据权利要求3所述的一种数据采集比对方法，其特征在于，在不同采集业务场景下，需对配置文件和Python脚本微调部分逻辑。

5.根据权利要求1所述的一种数据采集比对方法，其特征在于，在步骤S2中，根据采集需求，在配置文件内配置数据库连接信息、采集包、资源表和采集表映射以及表内字段映射信息，Python脚本会依据配置文件信息自动运行比对逻辑并记录结果到数据库中。

6.根据权利要求1所述的一种数据采集比对方法，其特征在于，在步骤S3中，Python脚本是比对逻辑的核心，仅需修改或添加某些特殊字段，适配当前场景采集需求即可。

7.根据权利要求1所述的一种数据采集比对方法，其特征在于，在步骤S4中，首先，解析配置文件各部分配置信息，然后，可复用的采集比对业务逻辑代码部分，循环体内包括解析配置文件表和字段映射、表内字段比对逻辑和比对结果，sql语句保存到数据库逻辑。

8.根据权利要求1所述的一种数据采集比对方法，其特征在于，在步骤S5中，前台展示时先将sql解析成真正的比对结果，再展示到用户操作界面；

用户勾选比对结果然后后台会将结果条目对应的sql语句取出来执行，从而完成采集比对业务。

Images