CN111309758B

CN111309758B - 一种计费数据验证比对方法及装置

Info

Publication number: CN111309758B
Application number: CN202010059070.XA
Authority: CN
Inventors: 张爽; 赵舜宇; 柳超
Original assignee: Beijing Jindi Technology Co Ltd
Current assignee: Beijing Jindi Technology Co Ltd
Priority date: 2020-01-19
Filing date: 2020-01-19
Publication date: 2024-02-13
Anticipated expiration: 2040-01-19
Also published as: CN111309758A

Abstract

本发明实施例公开了一种计费数据验证比对方法及装置，其中，方法包括：获取用户计费信息并整理为计费数据记录；获取接口调用日志并整理为接口调用数据记录；所述计费数据记录和接口调用数据记录为相同的数据格式；根据所述计费数据记录和接口调用数据记录中的用户标识和接口标识，对所述计费数据记录和接口调用数据记录中的数据进行比对。本发明实施例方案中，根据用户标识和所调用接口的接口标识，对数据库中的计费数据和云端的接口调用日志进行比对，通过比对确认用户计费数据的准确性，能够对计费数据与实际接口调用数据进行再次核对，从而确保计费数据的准确，满足***计费需求，使得计费数据更为精准无误，极大的提高了用户体验。

Description

一种计费数据验证比对方法及装置

技术领域

本发明涉及计算机与网络技术领域，尤其是一种计费数据验证比对方法及装置。

背景技术

随着计算机技术的不断发展，由此带来的科技成果也已融入到人们生活的方方面面中，给人们生活带来诸多便捷。其中，“天眼查”就是这方面的佼佼者，天眼查是一款基于政府公开数据，结合独家图数据库技术和世界领先的计算机语言学***台，其不仅涵盖企业背景、实际控制人、对外投资、融资历史、股权结构、法律诉讼等角度，而且还可以实时监控所关注的企业的多维度的变更。“天眼查”用公开的数据，以开放的方式，解决广泛的商业安全需求。

天眼查数据开放平台是一个天眼查对客户订单管理和接口的计费平台，拥有着大量的企业和个人的客户，具有每日亿万级的调用量。为保障正确的对客户计费，不但需要对计费日志进行处理校验，同时还需实时或者定期的对计费数据进行整理和转存。

为保障正确的对客户计费，需要在对计费日志进行处理校验的同时，对计费数据进行验证和比对。现有技术中的计费验证和比对方案，无法满足实际大量用户计费数据的验证，亟需要一种新的对计费数据进行验证和比对的方案。

发明内容

本发明实施例所要解决的一个技术问题是：提供一种计费数据验证比对方法及装置，解决现有技术中计费数据验证环节容易出错造成计费数据不准确的问题。

根据本发明的一个方面，提供了一种计费数据验证比对方法，所述方法包括：

获取用户计费信息并整理为计费数据记录；

获取接口调用日志并整理为接口调用数据记录；所述计费数据记录和接口调用数据记录为相同的数据格式；

根据所述计费数据记录和接口调用数据记录中的用户标识和接口标识，对所述计费数据记录和接口调用数据记录中的数据进行比对。

较佳的，所述获取接口调用日志并整理为接口调用数据记录，包括：

获取所述接口调用日志；

根据所述用户标识和接口标识，获取所述接口调用日志中所有与所述用户标识和接口标识关联的记录；

将所述记录保存为接口调用数据记录。

较佳的，所述方法还包括：

根据所述用户标识和接口标识，声明临时关联容器；

逐条确定所述接口调用日志中的记录是否包含所述用户标识和接口标识；将包含所述用户标识和接口标识的记录放入所述临时关联容器；

遍历所述接口调用日志，直到获取所有包含所述用户标识和接口标识的记录。

较佳的，所述根据所述计费数据记录和接口调用数据记录中的用户标识和接口标识，对所述计费数据记录和接口调用数据记录中的数据进行比对，包括：

以所述用户标识和接口标识关联键值，分别在所述计费数据记录和接口调用数据记录中获取与所述用户标识和接口标识相关联的数据记录；

以所述用户标识和接口标识为键值，对所述计费数据记录和接口调用数据记录进行比对。

较佳的，所述方法还包括：

定时以所述用户标识和接口标识为键值，对所述计费数据记录和接口调用数据记录进行比对。

根据本发明的另一个方面，提供了一种计费数据验证比对装置，包括：

归一化单元，用于获取用户计费信息并整理为计费数据记录；获取接口调用日志并整理为接口调用数据记录；所述计费数据记录和接口调用数据记录为相同的数据格式；

比对单元，用于根据所述计费数据记录和接口调用数据记录中的用户标识和接口标识，对所述计费数据记录和接口调用数据记录中的数据进行比对。

较佳的，所述归一化单元，具体包括接口调用数据处理子单元，用于：

获取所述接口调用日志；根据用户标识和接口标识，获取所述接口调用日志中所有与所述用户标识和接口标识关联的记录；将所述记录保存为接口调用数据记录。

较佳的，所述接口调用数据处理子单元，还用于：

根据所述用户标识和接口标识，声明临时关联容器；逐条确定所述接口调用日志中的记录是否包含所述用户标识和接口标识；，将包含所述用户标识和接口标识的记录放入所述临时关联容器；遍历所述接口调用日志，直到获取所有包含所述用户标识和接口标识的记录。

较佳的，所述比对单元，还用于：

根据本发明的另一个方面，提供了一种电子设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现上述任一所述的方法。

根据本发明的另一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现上述任一所述的方法。

基于本发明上述实施例提供的计费数据验证比对方案，通过获取用户计费信息并整理为计费数据记录；获取接口调用日志并整理为接口调用数据记录；所述计费数据记录和接口调用数据记录为相同的数据格式；根据所述计费数据记录和接口调用数据记录中的用户标识和接口标识，对所述计费数据记录和接口调用数据记录中的数据进行比对。本发明实施例方案中，根据用户标识和所调用接口的接口标识，对数据库中的计费数据和云端的接口调用日志进行比对，通过比对确认用户计费数据的准确性，能够对计费数据与实际接口调用数据进行再次核对，从而确保计费数据的准确，满足***计费需求，使得计费数据更为精准无误，极大的提高了用户体验。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

构成说明书的一部分的附图描述了本发明的实施例，并且连同描述一起用于解释本发明的原理。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

参照附图，根据下面的详细描述，可以更加清楚地理解本发明，其中：

图1为本发明一个实施例提供的计费数据验证比对方法原理流程图。

图2为本发明一个实施例提供的计费数据验证比对装置结构示意图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

如图1所示，为本实施例提供的计费数据验证比对方法原理流程图，其中，

步骤11，获取用户计费信息并整理为计费数据记录；获取接口调用日志并整理为接口调用数据记录；所述计费数据记录和接口调用数据记录为相同的数据格式。

对于用户计费信息的处理，或者是接口调用日志的处理，目的在于将二者处理为相同的格式，然后进行验证比对。二者处理为相同的格式，可以是将其中一种数据处理为另一种数据的格式，也可以是将二者均处理为另外一种数据格式。

可以对接口调用日志进行处理，将其处理为与计费数据库中用户计费信息相同的数据格式。也可以是以所述用户标识和接口标识为键值，在所述计费数据记录和调用数据记录分别获取对应的数据；对获取的数据进行比对。

获取所述接口调用日志；根据用户标识和接口标识，获取所述接口调用日志中所有与所述用户标识和接口标识关联的记录；将所述记录保存为与所述用户计费信息相同的数据格式。

根据所述用户标识和接口标识，声明一个临时关联容器；逐条对所述接口调用日志中的记录进行比对，将包含所述用户标识和接口标识的记录放入所述临时关联容器；遍历所述接口调用日志，直到所述用户标识和接口标识相关联的记录比对完成。将不包含所述用户标识和接口标识的记录另外声明临时关联容器。

获取计费数据库中存储的所述用户计费信息和云端存储的所述接口调用日志；根据用户标识和接口标识，分别对所述用户计费信息和接口调用日志进行整理，获取以所述用户标识和接口标识为键值的数据记录。

步骤12，根据所述计费数据记录和接口调用数据记录中的用户标识和接口标识，对所述计费数据记录和接口调用数据记录中的数据进行比对。

在本发明的一个实施例中，可以根据用户标识和接口标识，分别从计费数据记录和调用数据记录中获取对应的数据记录，然后进行比对。

在本发明的一个实施例中，可以定时对以所述用户标识和接口标识为键值的数据记录进行比对。例如，可以在每天凌晨进行。

本实施例，通过将用户计费信息和接口调用日志整理为格式相同的计费数据记录和调用数据记录；根据用户标识和接口标识，对所述计费数据记录和调用数据记录中的数据进行比对。本发明实施例方案中，根据用户标识和所调用接口的接口标识，对数据库中的计费数据和云端的接口调用日志进行比对，通过比对确认用户计费数据的准确性，能够对计费数据与实际接口调用数据进行再次核对，从而确保计费数据的准确，满足***计费需求，使得计费数据更为精准无误，极大的提高了用户体验。

在本发明的一个实施例中，用户计费数据存储于计费数据库中，可以是设置于本地的数据库，也可以是云端的数据库。接口调用日志可以是各个接口调用数据的记录，可以存储于本地数据库中，也可以实时保存于云端服务器中。

可以将接口调用日志保存在云端服务器提供的专用日志服务器中，通过云端服务器提供的专用接口调用SDK调用，并只提供固定的日志格式。例如，阿里云日志服务器，可以通过JAVA代码和Maven接入阿里云的SDK，通过阿里云提供日志接口来获取阿里云日志服务器提供的日志数据，也即本实施例的接口调用日志。阿里云日志服务器输出的日志文件，具有特殊的表结构，需要对其进行处理，然后才能得到具体的日志数据。

在本发明的一个实施例中，获取接口调用日志并整理为接口调用数据记录，具体可以包括：

获取所述接口调用日志；

将所述记录保存为接口调用数据记录。

在本发明的一个实施例中，具体的接口调用日志的数据转换方法可以包括：

根据所述用户标识和接口标识，声明临时关联容器；

在本发明的一个实施例中，根据所述计费数据记录和接口调用数据记录中的用户标识和接口标识，对所述计费数据记录和接口调用数据记录中的数据进行比对，包括：

可以定时以所述用户标识和接口标识为键值，对所述计费数据记录和接口调用数据记录进行比对。

在本发明的一个实施例中，具体的计费数据验证比对过程如下：

本实施例的方案可以分为三个主要步骤。

第一步：定期处理之前的缓存，根据用户标识、接口ID、订单ID等，进行计费计量处理，和用户的消费记录存入数据库。

第二步：将调用接口工程日志按照自己的格式存放起来，放在阿里云的日志服务中。

第三步：比对接口工程日志和数据库记录日志。

具体的验证比对过程如下：

通过JAVA代码和Maven，引入阿里云的SDK，通过阿里云提供日志接口调用接口分析功能，匹配SQL，拿到需要的日志的格式。

对于云端的接口调用日志的处理过程如下：

使用JAVA获取日志(log),然后拿到日志表(logContent)。把云端的逐条日志，按用户密钥(token)和接口唯一标识(url)相同的，整合成一条数据。通过遍历logContent，获取content模型中的键值(key)和数值(value)。例如

{

url:service_Interface_One,

token:23122edqwdq213nhkad，

Status:0，

Num:调用接口的数量

}

具体解释如下：

声明一个临时关联容器(map),把用户密钥(token)和接口唯一标识(url)为键值，放入map中，将content模型转换成map格式。

声明一个方法内日志关联容器(logMap)，判断logMap中是否存在以当前map中token_url为key的值。

如果不存在，声明一个临时状态关联容器(statusMap)，把当前数据分类和数量放进去。

例如：statusMap.put(map.get("status").toString(),map.get("num").toString())；然后将当前日志数据以token_url为key放入statusMap。

如果存在，声明一个临时变量(tmpMap)，获取当前以token_url为key的值并赋予tmpMap，把当前数据分类和数量放进去tmpMap.put(map.get("status").toString(),map.get("num").toString())；然后向logMap放入以token_url为key放入statusMap。

输出logMap，把日志处理成一个Map的形式。

logMap:{

token_url：{status:num},

token_url：{status:num}

}

例如：

logMap:{23122edqwdq213nhkad_service_Interface_One:{

0:10000,

1:20000

}，

11111111_service_Interface_Two:{

0:10000

}

其中，Token:用户的密钥，用户的唯一标识。Url:接口URL，接口唯一标识。Status:0表示无数据，1表示有数据，2表示异常数据，3表示计费依据。Num:调用接口的数量。

进一步的，整理计费数据库中的用户计费信息。具体如下：

通过Java代码，把计费数据库日志取出来，然后整理成一个Map的形式token_url：{status:num}。例如：

23122edqwdq213nhkad_service_Interface_One:{

url:service_Interface_One,

token:23122edqwdq213nhkad，

fId:1,

fName:接口1，

orgId:3083,

orgName:用户，

AutId:1,

dataCount:100,

exdataCount:100,

noDataCount:100

}。

进一步的，比对日志。

可以用定时任务：把上述任务执行，获取阿里云日志与数据库日志，整理成相应的格式。

日志的logMap转换成Set集合，遍历logMap，获取logMap所有的记录(entry)，然后获取key。取数据库dataBaseMap相同key的value，通过JSONObject.parseObject()转换成valueMap。例如：

23122edqwdq213nhkad_service_Interface_One:{

url:service_Interface_One,

token:23122edqwdq213nhkad，

fId:1,

fName:接口1，

orgId:3083,

orgName:用户，

AutId:1,

dataCount:100,

exdataCount:100,

noDataCount:100

}

把这个Map存储在对象logModel中。获取logMap的value值statusMap，转换成Set集合，获取statusEntry，遍历statusEntry，根据key匹配相应的值。

case"0":

logModel.setNoAuthCount(Integer.parseInt(statusEntry.getValue()))；

break；

case"1":

logModel.setDataMinus(logModel.getDataCount()-Integer.parseInt(statusEntry.getValue()))；

break；

case"2":

logModel.setNoDataMinus(logModel.getNoDataCount()-Integer.parseInt(statusEntry.getValue()))；

break；

case"3":

logModel.setExMinus(logModel.getExCount()-Integer.parseInt(statusEntry.getValue()))；

处理完成之后，看该用户的数据是否有差异。若有差异，则上报相关差异，否则，认为数据验证比对无误。

如图2所示，为本发明实施例提供的一种计费数据验证比对装置，包括，

归一化单元21，用于获取用户计费信息并整理为计费数据记录；获取接口调用日志并整理为接口调用数据记录；所述计费数据记录和接口调用数据记录为相同的数据格式；

比对单元22，用于根据所述计费数据记录和接口调用数据记录中的用户标识和接口标识，对所述计费数据记录和接口调用数据记录中的数据进行比对。

具体的，所述归一化单元21，具体包括接口调用数据处理子单元211，用于获取所述接口调用日志；根据用户标识和接口标识，获取所述接口调用日志中所有与所述用户标识和接口标识关联的记录；将所述记录保存为接口调用数据记录。

具体的，所述接口调用数据处理子单元211，还用于根据所述用户标识和接口标识，声明临时关联容器；逐条确定所述接口调用日志中的记录是否包含所述用户标识和接口标识；，将包含所述用户标识和接口标识的记录放入所述临时关联容器；遍历所述接口调用日志，直到获取所有包含所述用户标识和接口标识的记录。

具体的，所述比对单元22，还用于

具体的，所述比对单元22，还用于定时以所述用户标识和接口标识为键值，对所述计费数据记录和接口调用数据记录进行比对。

本发明实施例还提供了一种电子设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现上述任一实施例所述的方法。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现上述任一实施例所述的方法。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于***实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

可能以许多方式来实现本发明的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。

本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims

1.一种计费数据验证比对方法，其特征在于，所述方法包括：

获取用户计费信息并整理为计费数据记录；

获取接口调用日志；根据用户标识和接口标识，获取所述接口调用日志中所有与所述用户标识和接口标识关联的记录；将所述记录保存为接口调用数据记录；所述计费数据记录和接口调用数据记录为相同的数据格式；

以所述用户标识和接口标识关联键值，分别在所述计费数据记录和接口调用数据记录中获取与所述用户标识和接口标识相关联的数据记录；以所述用户标识和接口标识为键值，对所述计费数据记录和接口调用数据记录进行比对。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述用户标识和接口标识，声明临时关联容器；

3.如权利要求1所述的方法，其特征在于，所述方法还包括：

4.一种计费数据验证比对装置，其特征在于，包括：

比对单元，用于以所述用户标识和接口标识关联键值，分别在所述计费数据记录和接口调用数据记录中获取与所述用户标识和接口标识相关联的数据记录；以所述用户标识和接口标识为键值，对所述计费数据记录和接口调用数据记录进行比对；

其中，所述归一化单元，包括接口调用数据处理子单元，所述接口调用数据处理子单元用于获取所述接口调用日志；根据用户标识和接口标识，获取所述接口调用日志中所有与所述用户标识和接口标识关联的记录；将所述记录保存为接口调用数据记录。

5.如权利要求4所述的装置，其特征在于，所述接口调用数据处理子单元，还用于：

根据所述用户标识和接口标识，声明临时关联容器；逐条确定所述接口调用日志中的记录是否包含所述用户标识和接口标识；将包含所述用户标识和接口标识的记录放入所述临时关联容器；遍历所述接口调用日志，直到获取所有包含所述用户标识和接口标识的记录。

6.如权利要求4所述的装置，其特征在于，所述比对单元，还用于：

7.一种电子设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现上述权利要求1-3任一所述的方法。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时，实现上述权利要求1-3任一所述的方法。