CN112380167A - 批量数据验证方法、装置、计算机设备及存储介质 - Google Patents

批量数据验证方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN112380167A
CN112380167A CN202011286409.6A CN202011286409A CN112380167A CN 112380167 A CN112380167 A CN 112380167A CN 202011286409 A CN202011286409 A CN 202011286409A CN 112380167 A CN112380167 A CN 112380167A
Authority
CN
China
Prior art keywords
file
tested
data
verification
analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011286409.6A
Other languages
English (en)
Other versions
CN112380167B (zh
Inventor
罗伟东
周南
潘凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Hexun Huagu Information Technology Co ltd
Original Assignee
Shenzhen Hexun Huagu Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Hexun Huagu Information Technology Co ltd filed Critical Shenzhen Hexun Huagu Information Technology Co ltd
Priority to CN202011286409.6A priority Critical patent/CN112380167B/zh
Publication of CN112380167A publication Critical patent/CN112380167A/zh
Application granted granted Critical
Publication of CN112380167B publication Critical patent/CN112380167B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G06F16/122—File system administration, e.g. details of archiving or snapshots using management policies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/14—Details of searching files based on file metadata
    • G06F16/148—File search processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明涉及批量数据验证方法、装置、计算机设备及存储介质；其中，方法，包括：获取用户提交的待测试文件数据；解析待测试文件数据的文件类型；若文件类型为线上存储，则对待测试文件数据进行解析验证，获取文件标识，并将文件标识写入线上数据库中；若文件类型为线下存储，则将待测试文件数据存入离线数据库，然后定期查询待测试文件数据并解析验证，获得文件标识，然后将文件标识写入线上数据库中；根据写入线上数据库中的文件标识，生成验证结果，并将验证结果返回给用户。本发明通过将用户提交的待测试文件数据进行分类，选择不同的验证方式，并记录中间验证过程以及结果，并反馈用户。

Description

批量数据验证方法、装置、计算机设备及存储介质
技术领域
本发明涉及批量数据验证技术领域，更具体地说是指批量数据验证方法、装置、计算机设备及存储介质。
背景技术
现有批量数据验证，通常是线下从存储***SQL匹配，测试流程离散，无法很好的跟踪追溯测试过程，把握测试进度以及匹配率。
发明内容
本发明实施例的目的在于克服现有技术的缺陷，提供批量数据验证方法、装置、计算机设备及存储介质。
为实现上述目的，本发明实施例采用以下技术方案：
批量数据验证方法，包括以下步骤：
获取用户提交的待测试文件数据；
解析待测试文件数据的文件类型；
若文件类型为线上存储，则对待测试文件数据进行解析验证，获取文件标识，并将文件标识写入线上数据库中；
若文件类型为线下存储，则将待测试文件数据存入离线数据库，然后定期查询待测试文件数据并解析验证，获得文件标识，然后将文件标识写入线上数据库中；
根据写入线上数据库中的文件标识，生成验证结果，并将验证结果返回给用户。
其进一步技术方案为：所述步骤解析待测试文件数据的文件类型之前，还包括：
获取用户的企业身份信息，并对企业身份信息进行认证；
判断企业身份信息认证是否通过；
若未通过，则结束；
若通过，则执行步骤解析待测试文件数据的文件类型。
其进一步技术方案为：所述步骤若文件类型为线上存储，则对待测试文件数据进行解析验证，获取文件标识，并将文件标识写入线上数据库中，包括：
若文件类型为线上存储，风控后台向OA***发起对待测试文件数据进行解析验证请求；
判断解析验证请求是否通过；
若未通过，则结束；
若通过，则OA***对待测试文件数据进行解析验证，获取文件标识，然后风控后台将文件标识写入线上数据库中。
其进一步技术方案为：所述步骤若文件类型为线下存储，则将待测试文件数据存入离线数据库，然后定期查询待测试文件数据并解析验证，获得文件标识，然后将文件标识写入线上数据库中，包括：
若文件类型为线下存储，且待测试文件数据容量大，可分解生成多个文件合并提交；
风控后台向OA***发起对待测试文件数据进行解析验证请求；
判断解析验证请求是否通过；
若未通过，则结束；
若通过，则风控后台将待测试文件数据存入离线数据库，然后OA***定期查询待测试文件数据并解析验证，获得文件标识，然后风控后台将文件标识写入线上数据库中。
批量数据验证装置，包括：获取单元，解析单元，解析获取写入单元，保存查询解析写入单元，及生成返回单元；
所述获取单元，用于获取用户提交的待测试文件数据；
所述解析单元，用于解析待测试文件数据的文件类型；
所述解析获取写入单元，用于对待测试文件数据进行解析验证，获取文件标识，并将文件标识写入线上数据库中；
所述保存查询解析写入单元，用于将待测试文件数据存入离线数据库，然后定期查询待测试文件数据并解析验证，获得文件标识，然后将文件标识写入线上数据库中；
所述生成返回单元，用于根据写入线上数据库中的文件标识，生成验证结果，并将验证结果返回给用户。
其进一步技术方案为：还包括：获取认证单元和判断单元；
所述获取认证单元，用于获取用户的企业身份信息，并对企业身份信息进行认证；
所述判断单元，用于判断企业身份信息认证是否通过。
其进一步技术方案为：所述解析获取写入单元包括：第一发起解析模块，第一判断模块，及解析验证写入模块；
所述第一发起解析模块，用于风控后台向OA***发起对待测试文件数据进行解析验证请求；
所述第一判断模块，用于判断解析验证请求是否通过；
所述解析验证写入模块，用于OA***对待测试文件数据进行解析验证，获取文件标识，然后风控后台将文件标识写入线上数据库中。
其进一步技术方案为：所述保存查询解析写入单元包括：分解生成模块，第二发起解析模块，第二判断模块，及保存查询写入模块；
所述分解生成模块，用于待测试文件数据容量大，可分解生成多个文件合并提交；
所述第二发起解析模块，用于风控后台向OA***发起对待测试文件数据进行解析验证请求；
所述第二判断模块，用于判断解析验证请求是否通过；
所述保存查询写入模块，用于风控后台将待测试文件数据存入离线数据库，然后OA***定期查询待测试文件数据并解析验证，获得文件标识，然后风控后台将文件标识写入线上数据库中。
一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如上述所述的批量数据验证方法。
一种存储介质，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时可实现如上述所述的批量数据验证方法。
本发明实施例与现有技术相比的有益效果是：通过将用户提交的待测试文件数据进行分类，选择不同的验证方式，并记录中间验证过程以及结果，并反馈用户，能更好地满足需求。
下面结合附图和具体实施例对本发明实施例作进一步描述。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的批量数据验证方法实施例一的流程示意图；
图2为本发明实施例提供的批量数据验证方法实施例二的流程示意图一；
图3为本发明实施例提供的批量数据验证方法实施例二的流程示意图二；
图4为本发明实施例提供的批量数据验证方法实施例二的流程示意图三；
图5为本发明实施例提供的批量数据验证装置实施例一的示意性框图；
图6为本发明实施例提供的批量数据验证装置实施例二的示意性框图一；
图7为本发明实施例提供的批量数据验证装置实施例二的示意性框图二；
图8为本发明实施例提供的批量数据验证装置实施例二的示意性框图三；
图9为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
为了使本发明实施例的目的、技术方案及优点更加清楚明白，下面结合附图和具体实施方式对本发明实施例作进一步详细说明。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明实施例一部分实施例，而不是全部的实施例。基于本发明实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明实施例保护的范围。
在本发明实施例的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明实施例的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明实施例中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明实施例中的具体含义。
在本发明实施例中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明实施例的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不应理解为必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行结合和组合。
请参阅图1到图9所示的具体实施例，其中，请参阅图1所示实施例一，本发明实施例公开了一种批量数据验证方法，包括以下步骤：
S1，获取用户提交的待测试文件数据；
其中，待测试文件数据可以为excel格式或者其他格式。
S2，解析待测试文件数据的文件类型；
其中，文件类型为存储在Hbase、Redis、Elasticsearch线上存储引擎，或存储在Hive、文件等线下存储引擎。
S3，若文件类型为线上存储，则对待测试文件数据进行解析验证，获取文件标识，并将文件标识写入线上数据库中；
S4，若文件类型为线下存储，则将待测试文件数据存入离线数据库，然后定期查询待测试文件数据并解析验证，获得文件标识，然后将文件标识写入线上数据库中；
S5，根据写入线上数据库中的文件标识，生成验证结果，并将验证结果返回给用户。
其中，请参阅图2所示实施例二，公开了一种批量数据验证方法，包括以下步骤：
A1，获取用户提交的待测试文件数据；
其中，待测试文件数据可以为excel格式或者其他格式。
A2，获取用户的企业身份信息，并对企业身份信息进行认证；
A3，判断企业身份信息认证是否通过；若未通过，则结束；
A4，若通过，解析待测试文件数据的文件类型；
其中，文件类型为存储在Hbase、Redis、Elasticsearch线上存储引擎，或存储在Hive、文件等线下存储引擎。
A5，若文件类型为线上存储，则对待测试文件数据进行解析验证，获取文件标识，并将文件标识写入线上数据库中；
A6，若文件类型为线下存储，则将待测试文件数据存入离线数据库，然后定期查询待测试文件数据并解析验证，获得文件标识，然后将文件标识写入线上数据库中；
A7，根据写入线上数据库中的文件标识，生成验证结果，并将验证结果返回给用户。
其中，请参阅图3所示，所述步骤A5，若文件类型为线上存储，则对待测试文件数据进行解析验证，获取文件标识，并将文件标识写入线上数据库中，包括：
A51，若文件类型为线上存储，风控后台向OA***发起对待测试文件数据进行解析验证请求；
A52，判断解析验证请求是否通过；若未通过，则结束；
A53，若通过，则OA***对待测试文件数据进行解析验证，获取文件标识，然后风控后台将文件标识写入线上数据库中。
其中，请参阅图4所示，所述步骤A6，若文件类型为线下存储，则将待测试文件数据存入离线数据库，然后定期查询待测试文件数据并解析验证，获得文件标识，然后将文件标识写入线上数据库中，包括：
A61，若文件类型为线下存储，且待测试文件数据容量大，可分解生成多个文件合并提交；
其中，若需要同时验证多个待测试文件数据，也可分解生成多个文件合并提交；
A62，风控后台向OA***发起对待测试文件数据进行解析验证请求；
A63，判断解析验证请求是否通过；若未通过，则结束；
A64，若通过，则风控后台将待测试文件数据存入离线数据库，然后OA***定期查询待测试文件数据并解析验证，获得文件标识，然后风控后台将文件标识写入线上数据库中。
其中，以下为本发明实施例的具体运用场景：波行(客户化名)使用标准黑名单V3接口，需要提前在***中测试数据库准确性和匹配度，这是需要用到批量数据测试***，首先在***中提起申请，该申请在OA***中通过审批后，OA***会向风控后台***发起请求，后台解析提交的文件，并将文件标识通过文件标识转换服务转换成数据库中可以识别的标识，并将文件标识写入到数据库中；而OA***定期会向风控后台发起请求获取最新需要查询的文件标识以及需要查询的产品，在获取到这些数据后会发起定时任务查询离线数据库并分析，将分析后的结果通过API请求的方式发送给风控后台，风控后台接收到数据后通过企业身份信息与用户发起的测试数据进行绑定，并将绑定的结果写入到数据库中；当上述操作完成后，前端页面会显示该验证任务已完成，当用户发起下载请求，风控后台会从数据库中把结果数据取出并解析成excel文件通过下载的形式返回给用户。
其中，除以上步骤操作外，风控后台在每一步操作完成度和详细信息都反馈到风控后台的界面中以帮助使用人员更好的跟踪和情况反馈。
本发明通过将用户提交的待测试文件数据进行分类，选择不同的验证方式，并记录中间验证过程以及结果，并反馈用户，能更好地满足需求。
请参阅图5所示，本发明还公开了一种批量数据验证装置的实施例一，包括：获取单元10，解析单元20，解析获取写入单元30，保存查询解析写入单元40，及生成返回单元50；
所述获取单元10，用于获取用户提交的待测试文件数据；
所述解析单元20，用于解析待测试文件数据的文件类型；
所述解析获取写入单元30，用于对待测试文件数据进行解析验证，获取文件标识，并将文件标识写入线上数据库中；
所述保存查询解析写入单元40，用于将待测试文件数据存入离线数据库，然后定期查询待测试文件数据并解析验证，获得文件标识，然后将文件标识写入线上数据库中；
所述生成返回单元50，用于根据写入线上数据库中的文件标识，生成验证结果，并将验证结果返回给用户。
其中，请参阅图6所示，批量数据验证装置的实施例二，包括：获取单元10，解析单元20，获取认证单元30，判断单元40，解析获取写入单元50，保存查询解析写入单元60，及生成返回单元70；
所述获取单元10，用于获取用户提交的待测试文件数据；
所述解析单元20，用于解析待测试文件数据的文件类型；
所述获取认证单元30，用于获取用户的企业身份信息，并对企业身份信息进行认证；
所述判断单元40，用于判断企业身份信息认证是否通过；
所述解析获取写入单元50，用于对待测试文件数据进行解析验证，获取文件标识，并将文件标识写入线上数据库中；
所述保存查询解析写入单元60，用于将待测试文件数据存入离线数据库，然后定期查询待测试文件数据并解析验证，获得文件标识，然后将文件标识写入线上数据库中；
所述生成返回单元70，用于根据写入线上数据库中的文件标识，生成验证结果，并将验证结果返回给用户。
其中，如图7所示，所述解析获取写入单元50包括：第一发起解析模块51，第一判断模块52，及解析验证写入模块53；
所述第一发起解析模块51，用于风控后台向OA***发起对待测试文件数据进行解析验证请求；
所述第一判断模块52，用于判断解析验证请求是否通过；
所述解析验证写入模块53，用于OA***对待测试文件数据进行解析验证，获取文件标识，然后风控后台将文件标识写入线上数据库中。
其中，如图8所示，所述保存查询解析写入单元60包括：分解生成模块61，第二发起解析模块62，第二判断模块63，及保存查询写入模块64；
所述分解生成模块61，用于待测试文件数据容量大，可分解生成多个文件合并提交；
所述第二发起解析模块62，用于风控后台向OA***发起对待测试文件数据进行解析验证请求；
所述第二判断模块63，用于判断解析验证请求是否通过；
所述保存查询写入模块64，用于风控后台将待测试文件数据存入离线数据库，然后OA***定期查询待测试文件数据并解析验证，获得文件标识，然后风控后台将文件标识写入线上数据库中。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述批量数据验证装置和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
上述批量数据验证装置可以实现为一种计算机程序的形式，该计算机程序可以在如图9所示的计算机设备上运行。
请参阅图9，图9是本申请实施例提供的一种计算机设备的示意性框图；该计算机设备500可以是终端，也可以是服务器，其中，终端可以是智能手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等具有通信功能的电子设备。服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图9，该计算机设备500包括通过***总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作***5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种批量数据验证方法。
该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种批量数据验证方法。
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
应当理解，在本申请实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机***中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本发明实施例还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中计算机程序包括程序指令，所述程序指令当被处理器执行时可实现上述的批量数据验证方法。
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明实施例的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明实施例所述方法的全部或部分步骤。
上述仅以实施例来进一步说明本发明实施例的技术内容，以便于读者更容易理解，但不代表本发明实施例的实施方式仅限于此，任何依本发明实施例所做的技术延伸或再创造，均受本发明实施例的保护。本发明实施例的保护范围以权利要求书为准。

Claims (10)

1.批量数据验证方法，其特征在于，包括以下步骤：
获取用户提交的待测试文件数据；
解析待测试文件数据的文件类型；
若文件类型为线上存储，则对待测试文件数据进行解析验证，获取文件标识，并将文件标识写入线上数据库中；
若文件类型为线下存储，则将待测试文件数据存入离线数据库，然后定期查询待测试文件数据并解析验证，获得文件标识，然后将文件标识写入线上数据库中；
根据写入线上数据库中的文件标识，生成验证结果，并将验证结果返回给用户。
2.根据权利要求1所述的批量数据验证方法，其特征在于，所述步骤解析待测试文件数据的文件类型之前，还包括：
获取用户的企业身份信息，并对企业身份信息进行认证；
判断企业身份信息认证是否通过；
若未通过，则结束；
若通过，则执行步骤解析待测试文件数据的文件类型。
3.根据权利要求2所述的批量数据验证方法，其特征在于，所述步骤若文件类型为线上存储，则对待测试文件数据进行解析验证，获取文件标识，并将文件标识写入线上数据库中，包括：
若文件类型为线上存储，风控后台向OA***发起对待测试文件数据进行解析验证请求；
判断解析验证请求是否通过；
若未通过，则结束；
若通过，则OA***对待测试文件数据进行解析验证，获取文件标识，然后风控后台将文件标识写入线上数据库中。
4.根据权利要求3所述的批量数据验证方法，其特征在于，所述步骤若文件类型为线下存储，则将待测试文件数据存入离线数据库，然后定期查询待测试文件数据并解析验证，获得文件标识，然后将文件标识写入线上数据库中，包括：
若文件类型为线下存储，且待测试文件数据容量大，可分解生成多个文件合并提交；
风控后台向OA***发起对待测试文件数据进行解析验证请求；
判断解析验证请求是否通过；
若未通过，则结束；
若通过，则风控后台将待测试文件数据存入离线数据库，然后OA***定期查询待测试文件数据并解析验证，获得文件标识，然后风控后台将文件标识写入线上数据库中。
5.批量数据验证装置，其特征在于，包括：获取单元，解析单元，解析获取写入单元，保存查询解析写入单元，及生成返回单元；
所述获取单元，用于获取用户提交的待测试文件数据；
所述解析单元，用于解析待测试文件数据的文件类型；
所述解析获取写入单元，用于对待测试文件数据进行解析验证，获取文件标识，并将文件标识写入线上数据库中；
所述保存查询解析写入单元，用于将待测试文件数据存入离线数据库，然后定期查询待测试文件数据并解析验证，获得文件标识，然后将文件标识写入线上数据库中；
所述生成返回单元，用于根据写入线上数据库中的文件标识，生成验证结果，并将验证结果返回给用户。
6.根据权利要求5所述的批量数据验证装置，其特征在于，还包括：获取认证单元和判断单元；
所述获取认证单元，用于获取用户的企业身份信息，并对企业身份信息进行认证；
所述判断单元，用于判断企业身份信息认证是否通过。
7.根据权利要求6所述的批量数据验证装置，其特征在于，所述解析获取写入单元包括：第一发起解析模块，第一判断模块，及解析验证写入模块；
所述第一发起解析模块，用于风控后台向OA***发起对待测试文件数据进行解析验证请求；
所述第一判断模块，用于判断解析验证请求是否通过；
所述解析验证写入模块，用于OA***对待测试文件数据进行解析验证，获取文件标识，然后风控后台将文件标识写入线上数据库中。
8.根据权利要求7所述的批量数据验证装置，其特征在于，所述保存查询解析写入单元包括：分解生成模块，第二发起解析模块，第二判断模块，及保存查询写入模块；
所述分解生成模块，用于待测试文件数据容量大，可分解生成多个文件合并提交；
所述第二发起解析模块，用于风控后台向OA***发起对待测试文件数据进行解析验证请求；
所述第二判断模块，用于判断解析验证请求是否通过；
所述保存查询写入模块，用于风控后台将待测试文件数据存入离线数据库，然后OA***定期查询待测试文件数据并解析验证，获得文件标识，然后风控后台将文件标识写入线上数据库中。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-4中任一项所述的批量数据验证方法。
10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时可实现如权利要求1-4中任一项所述的批量数据验证方法。
CN202011286409.6A 2020-11-17 2020-11-17 批量数据验证方法、装置、计算机设备及存储介质 Active CN112380167B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011286409.6A CN112380167B (zh) 2020-11-17 2020-11-17 批量数据验证方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011286409.6A CN112380167B (zh) 2020-11-17 2020-11-17 批量数据验证方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN112380167A true CN112380167A (zh) 2021-02-19
CN112380167B CN112380167B (zh) 2024-06-25

Family

ID=74585763

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011286409.6A Active CN112380167B (zh) 2020-11-17 2020-11-17 批量数据验证方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN112380167B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113032128A (zh) * 2021-04-20 2021-06-25 北京微纳星空科技有限公司 一种多任务的控制方法、装置、电子设备及存储介质
CN114328413A (zh) * 2021-12-30 2022-04-12 中国民航信息网络股份有限公司 数据处理方法及装置、存储介质及电子设备

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150302040A1 (en) * 2014-04-18 2015-10-22 International Business Machines Corporation Enabling testing of production systems without affecting customer data sets system and method
CN107315958A (zh) * 2016-04-26 2017-11-03 北京京东尚科信息技术有限公司 数据对象的合法性验证方法和装置
US20180101691A1 (en) * 2016-10-07 2018-04-12 American Express Travel Related Services Company, Inc. Systems and methods for role-based file access control
CN108959337A (zh) * 2018-03-22 2018-12-07 中国平安人寿保险股份有限公司 大数据获取方法、装置、设备及存储介质
KR20190011145A (ko) * 2017-07-24 2019-02-01 한국전자통신연구원 내부망 전달용 파일 검증 장치 및 방법
CN109582560A (zh) * 2018-10-09 2019-04-05 中国平安人寿保险股份有限公司 测试文件编辑方法、装置、设备及计算机可读存储介质
CN109616155A (zh) * 2018-11-19 2019-04-12 江苏科技大学 一种编码区域遗传变异致病性分类的数据处理***与方法
CN109739742A (zh) * 2018-11-27 2019-05-10 口碑(上海)信息技术有限公司 业务数据核对方法、装置及设备
CN110263001A (zh) * 2019-06-18 2019-09-20 深圳前海微众银行股份有限公司 文件管理方法、装置、***、设备及计算机可读存储介质
CN110554958A (zh) * 2019-08-01 2019-12-10 北京百度网讯科技有限公司 图数据库测试方法、***、设备和存储介质
CN110750440A (zh) * 2019-09-06 2020-02-04 平安普惠企业管理有限公司 数据测试方法及终端设备
US10614241B1 (en) * 2018-12-27 2020-04-07 Qumulo, Inc. Access verification for distributed file systems
CN111311136A (zh) * 2020-05-14 2020-06-19 深圳索信达数据技术有限公司 风控决策方法、计算机设备及存储介质
WO2020186786A1 (zh) * 2019-03-20 2020-09-24 平安科技（深圳）有限公司 文件处理方法、装置、计算机设备和存储介质
CN111857701A (zh) * 2020-07-24 2020-10-30 深圳市和讯华谷信息技术有限公司 终端动态界面显示方法、装置、计算机设备及存储介质

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150302040A1 (en) * 2014-04-18 2015-10-22 International Business Machines Corporation Enabling testing of production systems without affecting customer data sets system and method
CN107315958A (zh) * 2016-04-26 2017-11-03 北京京东尚科信息技术有限公司 数据对象的合法性验证方法和装置
US20180101691A1 (en) * 2016-10-07 2018-04-12 American Express Travel Related Services Company, Inc. Systems and methods for role-based file access control
KR20190011145A (ko) * 2017-07-24 2019-02-01 한국전자통신연구원 내부망 전달용 파일 검증 장치 및 방법
CN108959337A (zh) * 2018-03-22 2018-12-07 中国平安人寿保险股份有限公司 大数据获取方法、装置、设备及存储介质
CN109582560A (zh) * 2018-10-09 2019-04-05 中国平安人寿保险股份有限公司 测试文件编辑方法、装置、设备及计算机可读存储介质
CN109616155A (zh) * 2018-11-19 2019-04-12 江苏科技大学 一种编码区域遗传变异致病性分类的数据处理***与方法
CN109739742A (zh) * 2018-11-27 2019-05-10 口碑(上海)信息技术有限公司 业务数据核对方法、装置及设备
US10614241B1 (en) * 2018-12-27 2020-04-07 Qumulo, Inc. Access verification for distributed file systems
WO2020186786A1 (zh) * 2019-03-20 2020-09-24 平安科技（深圳）有限公司 文件处理方法、装置、计算机设备和存储介质
CN110263001A (zh) * 2019-06-18 2019-09-20 深圳前海微众银行股份有限公司 文件管理方法、装置、***、设备及计算机可读存储介质
CN110554958A (zh) * 2019-08-01 2019-12-10 北京百度网讯科技有限公司 图数据库测试方法、***、设备和存储介质
CN110750440A (zh) * 2019-09-06 2020-02-04 平安普惠企业管理有限公司 数据测试方法及终端设备
CN111311136A (zh) * 2020-05-14 2020-06-19 深圳索信达数据技术有限公司 风控决策方法、计算机设备及存储介质
CN111857701A (zh) * 2020-07-24 2020-10-30 深圳市和讯华谷信息技术有限公司 终端动态界面显示方法、装置、计算机设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
聂明辉;: "基于ESE数据库文件分析的IE浏览器取证技术研究", 警察技术, no. 04, 7 July 2016 (2016-07-07), pages 73 - 76 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113032128A (zh) * 2021-04-20 2021-06-25 北京微纳星空科技有限公司 一种多任务的控制方法、装置、电子设备及存储介质
CN113032128B (zh) * 2021-04-20 2024-05-17 北京微纳星空科技有限公司 一种多任务的控制方法、装置、电子设备及存储介质
CN114328413A (zh) * 2021-12-30 2022-04-12 中国民航信息网络股份有限公司 数据处理方法及装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN112380167B (zh) 2024-06-25

Similar Documents

Publication Publication Date Title
EP3457322B1 (en) Identity authentication by using specific human biological characteristics collection algorithms
WO2020140663A1 (zh) 微服务灰度发布方法、装置、计算机设备和存储介质
CN109992601B (zh) 待办事项信息的推送方法、装置和计算机设备
CN110751550B (zh) 对账方法、装置、计算机设备和存储介质
US20150363215A1 (en) Systems and methods for automatically generating message prototypes for accurate and efficient opaque service emulation
WO2020154154A1 (en) Blockchain-based service processing system and method, computing device, and storage medium
CN101996117B (zh) 计算机测试***及方法
CN112380167A (zh) 批量数据验证方法、装置、计算机设备及存储介质
CN110109656B (zh) 接口模拟方法、装置、计算机设备和存储介质
CN109190353B (zh) 用于自动生成证书文档的方法和计算设备
WO2019061664A1 (zh) 电子装置、基于用户上网数据的产品推荐方法及存储介质
CN112035611A (zh) 目标用户推荐方法、装置、计算机设备和存储介质
CN111475494A (zh) 一种海量数据处理方法、***、终端及存储介质
CN111445319A (zh) 一种凭证生成方法、装置、计算机设备及存储介质
US20220039001A1 (en) Network search method and apparatus, device and storage medium
CN117095808B (zh) 基于终端操作的模式推荐方法、装置、终端及存储介质
CN114003432A (zh) 参数校验方法、装置、计算机设备和存储介质
CN110851173B (zh) 报表生成方法及装置
CN110609790A (zh) 解析程序测试方法、装置、介质和计算机设备
CN112783866A (zh) 数据读取方法、装置、计算机设备和存储介质
CN111858279A (zh) 浏览器用户行为追踪方法及装置
CN114969077A (zh) 一种业务数据处理方法及装置
US20240104173A1 (en) Generating a token data feed with privacy-preserving logins
US20240104551A1 (en) Using on-chain data for generating a token data feed
CN109558326B (zh) 一种测试方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant