CN114185791A - 一种数据映射文件的测试方法、装置、设备及存储介质 - Google Patents

一种数据映射文件的测试方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114185791A
CN114185791A CN202111515291.4A CN202111515291A CN114185791A CN 114185791 A CN114185791 A CN 114185791A CN 202111515291 A CN202111515291 A CN 202111515291A CN 114185791 A CN114185791 A CN 114185791A
Authority
CN
China
Prior art keywords
field
data
data mapping
name
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111515291.4A
Other languages
English (en)
Inventor
李琳
田娜
吴文锦
王炜
张利东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Agricultural Bank of China
Original Assignee
Agricultural Bank of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Agricultural Bank of China filed Critical Agricultural Bank of China
Priority to CN202111515291.4A priority Critical patent/CN114185791A/zh
Publication of CN114185791A publication Critical patent/CN114185791A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3688—Test management for test execution, e.g. scheduling of test suites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3692—Test management for test results analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/186—Templates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本发明公开了一种数据映射文件的测试方法、装置、设备及存储介质。该方法包括：通过获取数据映射文件，所述数据映射文件包含多个数据映射表，所述数据映射表用于表示两个数据表的字段映射关系；基于数据映射模板对各所述数据映射表进行格式规范化处理；对规范化处理后的各数据映射表进行血缘解析，确定所述数据映射文件的字段血缘线，所述字段血缘线用于表示规范化处理后的各数据映射表的源字段和目标字段之间的映射关系；对所述字段血缘线中的字段进行测试，生成所述数据映射文件的测试报告。通过本发明的技术方案，能够对数据映射文件进行自动测试，提高测试效率和测试充分度，并减少人工校对所带来的成本高、数据错误率高的问题。

Description

一种数据映射文件的测试方法、装置、设备及存储介质
技术领域
本发明实施例涉及计算机技术领域，尤其涉及一种数据映射文件的测试方法、装置、设备及存储介质。
背景技术
对于涉及***中后台建设的项目，大部分的开发工作内容是对数据的改造加工。为了确保数据加工质量，项目组成员在需求或开发阶段讨论并编制数据映射表并纳入需求文档，作为后期开发的参考依据。
由于数据加工映射表格数据量较大，一般几百几千张表的规模，且一表多字段，所以一般为多人同时编制，最终导致交付测试人员的数据加工映射表格存在格式不统一、信息遗漏、设计有误的现象，致使项目开发完投产时发现关联***字段未接入、测试分析困难、测试执行问题重重。
目前主要依据需求对数据加工设计文档(如数据映射文件)和开发文档进行逐一人工核对，对测试人员测试能力有一定的要求，这也是目前文档测试大多还停滞于对操作文档的校对，对数据加工设计文档涉及较少的原因；并且设计文档内数据量较大，人工校对工作量大成本高，测试进度慢且校对覆盖度低。
发明内容
本发明实施例提供一种数据映射文件的测试方法、装置、设备及存储介质，以实现能够对数据映射文件进行自动测试，提高测试效率和测试充分度，并减少人工校对所带来的成本高、数据错误率高的问题。
第一方面，本发明实施例提供了一种数据映射文件的测试方法，包括：
获取数据映射文件，所述数据映射文件包含多个数据映射表，所述数据映射表用于表示两个数据表的字段映射关系；
基于数据映射模板对各所述数据映射表进行格式规范化处理；
对规范化处理后的各数据映射表进行血缘解析，确定所述数据映射文件的字段血缘线，所述字段血缘线用于表示多个数据表之间的字段映射关系；
对所述字段血缘线中的字段进行测试，生成所述数据映射文件的测试报告。
第二方面，本发明实施例还提供了一种数据映射文件的测试装置，该装置包括：
获取模块，用于获取数据映射文件，所述数据映射文件包含多个数据映射表；所述数据映射表用于表示两个数据表的字段映射关系；
处理模块，用于基于数据映射模板对各所述数据映射表进行格式规范化处理；
确定模块，用于对规范化处理后的各数据映射表进行血缘解析，确定所述数据映射文件的字段血缘线，所述字段血缘线用于表示多个数据表之间的字段映射关系；
测试模块，用于对所述字段血缘线中的字段进行测试，生成所述数据映射文件的测试报告。
进一步的，所述基于数据映射模板对各所述数据映射表进行格式规范化处理，包括：
针对每一数据映射表，获取所述数据映射表每列数据的列名称；
基于常用列名称字典确定所述列名称对应的规范列名称，所述常用列名称字典包含规范列名称对应的列名称，所述规范列名称包括：源字段名、源数据表名、目标字段名和目标数据表名；
调整数据映射表中的列排序，以使所述规范列名称在所述数据映射模板中的列号和在所述数据映射表中的列号相同。
进一步的，对规范化处理后的各数据映射表进行字段解析，确定字段血缘线，包括：
针对每一调整后的数据映射表，获取所述数据映射表的源字段名和源数据表名，构成源数据键值对；
获取所述数据映射表的目标字段名和目标数据表名，构成目标数据键值对；
基于所述源数据键值对和所述目标数据键值对，确定所述数据映射表的数据链映射关系；
基于各所述数据映射表的数据链映射关系确定至少一个字段血缘线。
进一步的，对所述字段血缘线中的字段进行测试，生成所述数据映射文件的测试报告，包括：
确定所述字段血缘线中的异常字段，所述异常字段包括以下至少一项：孤字段、无效字段和错误字段；
获取所述异常字段的属性信息，所述属性信息包括以下至少一项：所述异常字段的异常类型、所述异常字段所属数据表的表名、所述异常字段的对应的源数据表名以及所述异常字段对应的目标数据表名；
基于所述属性信息生成数据映射文件的测试报告。
进一步的，确定所述字段血缘线中的孤表字段，包括：
针对所述数据映射文件中的每个字段血缘线，确定所述字段血缘线的起始字段和所述起始字段对应的起始数据映射表表；
若起始字段为所述起始数据映射表的目标字段，且所述起始数据映射表的源字段为空，则将起始字段确定为孤字段。
进一步的，确定所述字段血缘线中的无效字段，包括：
针对所述数据映射文件中的每个字段血缘线，确定所述字段血缘线的起始字段和终止字段；
若所述起始字段或所述起始字段对应的起始数据表不在第一接口集合中，则将所述起始字段确定为无效字段；
若所述终止字段或所述终止字段对应的起终止数据表不在第二接口集合中，则将所述终止字段确定为无效字段。
进一步的，确定所述字段血缘线中的错误字段，包括：
针对所述数据映射文件中的每个字段血缘线，将字段内容不符合预设要求的字段确定为错误字段；
其中，所述预设要求基于数据映射表的业务需求确定或者由用户自行设定。
第三方面，本发明实施例还提供了一种终端设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明实施例中任一所述的数据映射文件的测试方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一所述的数据映射文件的测试方法。
本发明实施例通过获取数据映射文件，所述数据映射文件包含多个数据映射表；基于数据映射模板对各所述数据映射表进行格式规范化处理；对规范化处理后的各数据映射表进行血缘解析，确定所述数据映射文件的字段血缘线，所述字段血缘线用于表示规范化处理后的各数据映射表的源字段和目标字段之间的映射关系；对所述字段血缘线中的字段进行测试，生成所述数据映射文件的测试报告，能够对数据映射文件进行自动测试，提高测试效率和测试充分度，并减少人工校对所带来的成本高、数据错误率高的问题。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本发明实施例一中的一种数据映射文件的测试方法的流程图；
图2是本发明实施例二中的一种数据映射文件的测试方法的流程图；
图3是本发明实施例三中的一种数据映射文件的测试装置的结构示意图；
图4是本发明实施例四中的一种终端设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
实施例一
图1为本发明实施例一提供的一种数据映射文件的测试方法的流程图，本实施例可适用于自动对数据映射文件进行测试的情况，该方法可以由本发明实施例中的数据映射文件的测试装置来执行，该装置可采用软件和/或硬件的方式实现。
数据映射文件是一种用于数据加工的规范性文件。有关后台开的项目，经常是在已有的基础***文件或上进行数据加工等二次开发得到项目文件，由于项目文件往往需要团队共同开发，为了使各个团队成员开发得到的项目文件的变量名称、函数名称、接口名称等数据的类型和名称保持一致，在项目开发之前需要根据基础***文件和项目文件之间数据映射关系确定数据映射文件，作为后期开发的参考依据。数据映射文件用于记载基础***文件和项目文件的数据表中字段的映射关系。
由于数据映射的数据量较大，数据映射文件一般包括成百上千张数据映射表，每张表又包含多个字段，需要多人合作完成，因此首先要保证数据映射文件的规范性，才能保证开发得到项目文件统一可互认。
如图1所示，该方法具体包括如下步骤：
S110，获取数据映射文件，数据映射文件包含多个数据映射表，数据映射表反映两个数据表的字段映射关系。
其中，数据映射文件包含多个数据映射表，数据映射表用于反映两个数据表的字段之间的映射关系。数据表是基于程序文件中所包含的变量名称、函数名称、接口名称等数据构成的表。数据表为由行和列构成的二维表，字段为数据表中一列。数据映射表包括：目标数据表名、目标字段名、源数据表名和源字段名四个字段。示例性的，若数据表A中的字段a映射到数据表B中的字段b，则数据映射表的源数据表名为A，源字段名为a，目标数据表名为B，目标字段名为b。
示例性的，获取数据映射文件的方式可以为用户输入，也可以为通过调用的方式从数据库中调用，本发明实施例对此不设限制。
S120，基于数据映射模板对各数据映射表进行格式规范化处理。
其中，数据映射模板是指规范的数据映射表，作为评价所设计的数据映射表是否符合规范要求的标准文件。
具体的，基于数据映射模板中对表和字段的形式要求，对数据映射文件中所包含的各数据映射表进行规范化处理，规范化处理可以包括以下至少一项：字段顺序的调整、缺省字段的补充、多余字段的删除。
需要说明的是格式规范化处理是对数据映射表的形式问题进行规范化，无法修改数据映射表中的字段内容。
可选的，在对各数据映射表进行格式规范化处理之前，还包括：判断数据映射文件是否能够进行格式规范化处理，若不能，则生成错误报告，以使测试人员对各数据映射表进行手动修复。
S130，对规范化处理后的各数据映射表进行血缘解析，确定数据映射文件的字段血缘线，字段血缘线用于表示多个数据表之间的字段映射关系。
具体的，针对规范化处理后的数据映射表，确定数据映射表中所反映的字段之间的映射关系，将每张数据映射表所反映的数据表之间的字段映射关系进行血缘分析确定字段血缘线。数据映射文件中的多个数据映射表可以确定一条或多条字段血缘线。
示例性的，第一数据映射表反映数据表A中的字段a映射到数据表B中的字段b，第二数据映射表反映数据表B中的字段b映射到数据表C中的字段c，则字段血缘线为a—b—c。
S140，对字段血缘线中的字段进行测试，生成数据映射文件的测试报告。
具体的，对字段血缘线进行测试，确定段血缘线中的各字段是否存在异常，针对异常字段生成数据映射文件的测试报告。测试报告用于表示数据映射文件中的不规范之处，用于向测试人员和开发人员提供修改依据。
示例性的，数据映射文件的测试报告可以包括数据映射文件的异常字段、异常字段的类型或者异常原因。
本实施例的技术方案，通过获取数据映射文件，所述数据映射文件包含多个数据映射表；基于数据映射模板对各所述数据映射表进行格式规范化处理；对规范化处理后的各数据映射表进行血缘解析，确定所述数据映射文件的字段血缘线，所述字段血缘线用于表示规范化处理后的各数据映射表的源字段和目标字段之间的映射关系；对所述字段血缘线中的字段进行测试，生成所述数据映射文件的测试报告，能够对数据映射文件进行自动测试，提高测试效率和测试充分度，并减少人工校对所带来的成本高、数据错误率高的问题。
可选的，基于数据映射模板对各数据映射表进行格式规范化处理，包括：
针对每一数据映射表，获取数据映射表每列数据的列名称；
基于常用列名称字典确定列名称对应的规范列名称，所述常用列名称字典包含规范列名称对应的列名称，规范列名称包括：源字段名、源数据表名、目标字段名和目标数据表名；
基于规范列名称对应的列号调整数据映射表中的列排序，以使所述数据映射模板的列名称和所述数据映射表的规范列名称的排列顺序相同。
其中，源数据表名为源字段名对应的字段所属的数据表的名称；目标数据表名为目标字段名对应的字段所属的数据表的名称。
具体的，数据映射表与数据映射模板中各字段的名称和排列顺序可能出现不一致的情况，导致在测试过程中无法识别数据映射表中的列名称，所以需要将数据映射表进行规范化处理，以使数据映射表中的列名称与数据映射模板保持一致。
首先，若数据映射表的列名称与数据映射模板规范列名称不同，则通过常用列名称字典查找数据映射表的列名称对应的规范列名称，基于规范列名称对应的列号调整数据映射表中的列排序，以使数据映射模板的列名称和数据映射表的规范列名称的排列顺序相同。
示例性的，数据映射表的列名称分别为a、A、B、b，对应的规范列名称分别为源字段名、源数据表名、目标数据表名和目标字段名；在数据映射模板中规范列名称的排列顺序为源字段名、源数据表名、目标字段名和目标数据表名，则将数据映射表的列名称的排列顺序调整为a，A、b、B。
可选的，对规范化处理后的各数据映射表进行字段解析，确定字段血缘线，包括：
针对每一调整后的数据映射表，获取数据映射表的源字段名和源数据表名，构成源数据键值对；
获取数据映射表的目标字段名和目标数据表名，构成目标数据键值对；
基于源数据键值对和目标数据键值对，确定数据映射表的数据链映射关系；
基于各数据映射表的数据链映射关系确定至少一个字段血缘线。
示例性的，若第一数据映射表的源字段名、源数据表名、目标数据表名和目标字段名分别为a、A、b、B，则源数据键值对为[a，A]，所述目标数据键值对为[b，B]，确定第一数据映射表的数据链映射关系为[a，A]—[b，B]；若第二数据映射表的源字段名、源数据表名、目标数据表名和目标字段名分别为b、B、c、C则源数据键值对为[b，B]，所述目标数据键值对为[c，C]，确定第一数据映射表的数据链映射关系为[b，B]—[c，C]，则字段血缘线为[a，A]—[b，B]—[c，C]。
实施例二
图2为本发明实施例二中的一种数据映射文件的测试方法的流程图，本实施例以上述实施例为基础进行优化，在本实施例中，对所述字段血缘线中的字段进行测试，生成所述数据映射文件的测试报告，包括：确定所述字段血缘线中的异常字段，所述异常字段包括以下至少一项：孤字段、无效字段和错误字段；获取所述异常字段的属性信息，所述属性信息包括以下至少一项：异常类型和所述异常字段所属的表名；基于所述属性信息生成字段测试报告。
如图2所示，本实施例的方法具体包括如下步骤：
S210，获取数据映射文件，数据映射文件包含多个数据映射表，数据映射表用于表示两个数据表的字段映射关系。
S220，基于数据映射模板对各所述数据映射表进行格式规范化处理。
S230，对规范化处理后的各数据映射表进行血缘解析，确定数据映射文件的字段血缘线，字段血缘线用于表示多个数据表之间的字段映射关系。
S240，确定字段血缘线中的异常字段，异常字段包括以下至少一项：孤字段、无效字段和错误字段。
其中，孤字段是指无法追溯到字段血缘线源头的起始字段，即一个字段是字段血缘线中的起始字段，但该字段的源字段为空。无效字段是指字段血缘线中的起始字段或起始字段所属的起始表不在第一预设接口集合中，或者字段血缘线中的终止字段或终止字段所属的终止表不在第二预设接口集合中。错误字段是指字段血缘线中不符合预设要求的字段。
S250，获取异常字段的属性信息，属性信息包括以下至少一项：异常字段的异常类型、异常字段所属数据表的表名、异常字段的对应的源数据表名以及所述异常字段对应的目标数据表名。
具体的，在确定异常字段之后，获取异常字段的属性信息，所述属性信息可以包括：异常字段的异常类型和异常字段所属数据表的表名。异常字段的类型，用于说明异常字段的异常原因。异常字段所属数据表的表名用于说明异常字段对应的数据表，便于测试人员或技术开发人员在数据表中查找异常字段进行审核。所述异常字段的对应的源数据表名以及所述异常字段的目标数据表名，用于说明异常字段对应的数据映射表，便于测试人员或技术开发人员对异常字段进行修正。
S260，基于属性信息生成数据映射文件的测试报告。
具体的，根据获取到的异常字段的属性信息生成数据映射文件的测试报告。该测试报告中记载了异常字段，异常字段的类型，异常字段所述的数据映射表和数据表。测试人员或技术开发人员可以根据测试报告对数据映射文件中的数据映射表中的字段进行修正和查漏补缺。
本实施例的技术方案，通过获取数据映射文件，所述数据映射文件包含多个数据映射表；所述数据映射表用于表示两个数据表的字段映射关系；基于数据映射模板对各所述数据映射表进行格式规范化处理；对规范化处理后的各数据映射表进行血缘解析，确定所述数据映射文件的字段血缘线，所述字段血缘线用于表示多个数据表之间的字段映射关系；确定所述字段血缘线中的异常字段，所述异常字段包括以下至少一项：孤字段、无效字段和错误字段；获取所述异常字段的属性信息，所述属性信息包括以下至少一项：所述异常字段的异常类型、所述异常字段所属数据表的表名、所述异常字段的对应的源数据表名以及所述异常字段对应的目标数据表名；基于所述属性信息生成数据映射文件的测试报告，能够对数据映射文件进行自动测试，提高测试效率和测试充分度，并减少人工校对所带来的成本高、数据错误率高的问题，并在测试报告中给出异常字段的属性信息，便于测试人员或技术开发人员可以根据测试报告对数据映射文件中的数据映射表中的字段进行修正和查漏补缺。
可选的，确定字段血缘线中的孤表字段，包括：
针对数据映射文件中的每个字段血缘线，确定字段血缘线的起始字段和起始字段对应的起始数据映射表；
若起始字段为所述起始数据映射表的目标字段，且所述起始数据映射表的源字段为空，则将起始字段确定为孤字段。
示例性的，若字段血缘线为a—b—c，起始字段a所在的数据映射表为起始数据映射表，且起始字段a在起始数据映射表的目标字段，但是起始数据映射表中源字段为空，因此，无法溯源查询到起始字段a对应的源字段，将起始字段确定为孤字段。若起始字段a所在的数据映射表为起始数据映射表，且起始字段a在起始数据映射表的源字段，则起始字段a对应的数据表即为数据映射文件的源数据表，该字段不是孤字段。
可选的，确定字段血缘线中的无效字段，包括：
针对数据映射文件中的每个字段血缘线，确定字段血缘线的起始字段和终止字段；
若起始字段或起始字段对应的起始数据表不在第一接口集合中，则将起始字段确定为无效字段；
若终止字段或终止字段对应的起终止数据表不在第二接口集合中，则将终止字段确定为无效字段。
其中，第一接口集合中存储的字段和数据表可以用于与关联的源***接口进行交互，第二接口集合中的存储的字段和数据表可以应用于与关联的业务***接口进行交互。
示例性的，若字段血缘线为[a，A]—[b，B]—[c，C]，起始字段a对应的起始数据表为数据表A，终止字段c对应的终止数据表为数据表C，若起始字段a或起始字段对应的起始数据表A不在第一接口集合中，则将起始字段a确定为无效字段；若终止字段c或终止字段c对应的起终止数据表C不在第二接口集合中，则将终止字段确定为无效字段。
可选的，针对数据映射文件中的每个字段血缘线，将字段内容不符合预设要求的字段确定为错误字段；
其中，预设要求基于数据映射表的业务需求确定或者由用户自行设定。
具体的，由于业务的需求不同，对字段的要求也不同，因此可以根据数据映射表的业务需求确定对字段的预设要求，或者也可以预测人员自行设定对字段的预设要求，对字段内容可以包括字段长度、字段类型、字段的组成元素(如***数字、大小写字母、是否包含特殊字符等)。将不符合预设要求的字段确定为错误字段。
实施例三
图3为本发明实施例三提供的一种数据映射文件的测试装置的结构示意图。本实施例可适用于自动对数据映射文件进行测试的情况，该装置可采用软件和/或硬件的方式实现，该装置可集成在任何提供数据映射文件测试的功能的设备中，如图3所示，所述数据映射文件的测试装置具体包括：获取模块310、处理模块320、确定模块330和测试模块340。
其中，获取模块310，用于获取数据映射文件，所述数据映射文件包含多个数据映射表；所述数据映射表用于表示两个数据表的字段映射关系；
处理模块320，用于基于数据映射模板对各所述数据映射表进行格式规范化处理；
确定模块330，用于对规范化处理后的各数据映射表进行血缘解析，确定所述数据映射文件的字段血缘线，所述字段血缘线用于表示多个数据表之间的字段映射关系；
测试模块340，用于对所述字段血缘线中的字段进行测试，生成所述数据映射文件的测试报告。
可选的，所述处理模块320，具体用于：
针对每一数据映射表，获取所述数据映射表每列数据的列名称；
基于常用列名称字典确定所述列名称对应的规范列名称，所述常用列名称字典包含规范列名称对应的列名称，所述规范列名称包括：源字段名、源数据表名、目标字段名和目标数据表名；
调整数据映射表中的列排序，以使所述规范列名称在所述数据映射模板中的列号和在所述数据映射表中的列号相同。
可选的，所述确定模块330，具体用于：
针对每一调整后的数据映射表，获取所述数据映射表的源字段名和源数据表名，构成源数据键值对；
获取所述数据映射表的目标字段名和目标数据表名，构成目标数据键值对；
基于所述源数据键值对和所述目标数据键值对，确定所述数据映射表的数据链映射关系；
基于各所述数据映射表的数据链映射关系确定至少一个字段血缘线。
可选的，所述测试模块340，包括：
确定单元，用于确定所述字段血缘线中的异常字段，所述异常字段包括以下至少一项：孤字段、无效字段和错误字段；
获取单元，用于获取所述异常字段的属性信息，所述属性信息包括以下至少一项：所述异常字段的异常类型、所述异常字段所属数据表的表名、所述异常字段的对应的源数据表名以及所述异常字段对应的目标数据表名；
生成单元，用于基于所述属性信息生成数据映射文件的测试报告。
可选的，所述确定单元，具体用于：
针对所述数据映射文件中的每个字段血缘线，确定所述字段血缘线的起始字段和所述起始字段对应的起始数据映射表表；
若起始字段为所述起始数据映射表的目标字段，且所述起始数据映射表的源字段为空，则将起始字段确定为孤字段。
可选的，所述确定单元，具体用于：
针对所述数据映射文件中的每个字段血缘线，确定所述字段血缘线的起始字段和终止字段；
若所述起始字段或所述起始字段对应的起始数据表不在第一接口集合中，则将所述起始字段确定为无效字段；
若所述终止字段或所述终止字段对应的起终止数据表不在第二接口集合中，则将所述终止字段确定为无效字段。
可选的，所述确定单元，还用于：
针对所述数据映射文件中的每个字段血缘线，将字段内容不符合预设要求的字段确定为错误字段；
其中，所述预设要求基于数据映射表的业务需求确定或者由用户自行设定。
上述产品可执行本发明任意实施例所提供的数据映射文件的测试方法，具备执行方法相应的功能模块和有益效果。
实施例四
图4为本发明实施例四提供的一种终端设备的结构框图，如图4所示，该终端设备包括处理器410、存储器420、输入装置430和输出装置440；终端设备中处理器410的数量可以是一个或多个，图4中以一个处理器410为例；终端设备中的处理器410、存储器420、输入装置430和输出装置440可以通过总线或其他方式连接，图4中以通过总线连接为例。
存储器420作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的数据映射文件的测试方法对应的程序指令/模块(例如，数据映射文件的测试装置中的获取模块310、处理模块320、确定模块330和测试模块340)。处理器410通过运行存储在存储器420中的软件程序、指令以及模块，从而执行终端设备的各种功能应用以及数据处理，即实现上述的数据映射文件的测试方法。
存储器420可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器420可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器420可进一步包括相对于处理器410远程设置的存储器，这些远程存储器可以通过网络连接至终端设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置430可用于接收输入的数字或字符信息，以及产生与终端设备的用户设置以及功能控制有关的键信号输入。输出装置440可包括显示屏等显示设备。
实施例五
本发明实施例五提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请所有发明实施例提供的数据映射文件的测试方法：获取数据映射文件，所述数据映射文件包含多个数据映射表；所述数据映射表用于表示两个数据表的字段映射关系；基于数据映射模板对各所述数据映射表进行格式规范化处理；对规范化处理后的各数据映射表进行血缘解析，确定所述数据映射文件的字段血缘线，所述字段血缘线用于表示多个数据表之间的字段映射关系；对所述字段血缘线中的字段进行测试，生成所述数据映射文件的测试报告。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络包括局域网(LAN)或广域网(WAN)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种数据映射文件的测试方法，其特征在于，包括：
获取数据映射文件，所述数据映射文件包含多个数据映射表；所述数据映射表用于表示两个数据表的字段映射关系；
基于数据映射模板对各所述数据映射表进行格式规范化处理；
对规范化处理后的各数据映射表进行血缘解析，确定所述数据映射文件的字段血缘线，所述字段血缘线用于表示多个数据表之间的字段映射关系；
对所述字段血缘线中的字段进行测试，生成所述数据映射文件的测试报告。
2.根据权利要求1所述的方法，其特征在于，所述基于数据映射模板对各所述数据映射表进行格式规范化处理，包括：
针对每一数据映射表，获取所述数据映射表每列数据的列名称；
基于常用列名称字典确定所述列名称对应的规范列名称，所述常用列名称字典包含规范列名称对应的列名称，所述规范列名称包括：源字段名、源数据表名、目标字段名和目标数据表名；
调整数据映射表中的列排序，以使所述规范列名称在所述数据映射模板中的列号和在所述数据映射表中的列号相同。
3.根据权利要求2所述的方法，其特征在于，对规范化处理后的各数据映射表进行字段解析，确定字段血缘线，包括：
针对每一调整后的数据映射表，获取所述数据映射表的源字段名和源数据表名，构成源数据键值对；
获取所述数据映射表的目标字段名和目标数据表名，构成目标数据键值对；
基于所述源数据键值对和所述目标数据键值对，确定所述数据映射表的数据链映射关系；
基于各所述数据映射表的数据链映射关系确定至少一个字段血缘线。
4.根据权利要求1所述的方法，其特征在于，对所述字段血缘线中的字段进行测试，生成所述数据映射文件的测试报告，包括：
确定所述字段血缘线中的异常字段，所述异常字段包括以下至少一项：孤字段、无效字段和错误字段；
获取所述异常字段的属性信息，所述属性信息包括以下至少一项：所述异常字段的异常类型、所述异常字段所属数据表的表名、所述异常字段的对应的源数据表名以及所述异常字段对应的目标数据表名；
基于所述属性信息生成数据映射文件的测试报告。
5.根据权利要求4所述的方法，其特征在于，确定所述字段血缘线中的孤表字段，包括：
针对所述数据映射文件中的每个字段血缘线，确定所述字段血缘线的起始字段和所述起始字段对应的起始数据映射表表；
若起始字段为所述起始数据映射表的目标字段，且所述起始数据映射表的源字段为空，则将起始字段确定为孤字段。
6.根据权利要求4所述的方法，其特征在于，确定所述字段血缘线中的无效字段，包括：
针对所述数据映射文件中的每个字段血缘线，确定所述字段血缘线的起始字段和终止字段；
若所述起始字段或所述起始字段对应的起始数据表不在第一接口集合中，则将所述起始字段确定为无效字段；
若所述终止字段或所述终止字段对应的起终止数据表不在第二接口集合中，则将所述终止字段确定为无效字段。
7.根据权利要求4所述的方法，其特征在于，确定所述字段血缘线中的错误字段，包括：
针对所述数据映射文件中的每个字段血缘线，将字段内容不符合预设要求的字段确定为错误字段；
其中，所述预设要求基于数据映射表的业务需求确定或者由用户自行设定。
8.一种数据映射文件的测试装置，其特征在于，包括：
获取模块，用于获取数据映射文件，所述数据映射文件包含多个数据映射表；所述数据映射表用于表示两个数据表的字段映射关系；
处理模块，用于基于数据映射模板对各所述数据映射表进行格式规范化处理；
确定模块，用于对规范化处理后的各数据映射表进行血缘解析，确定所述数据映射文件的字段血缘线，所述字段血缘线用于表示多个数据表之间的字段映射关系；
测试模块，用于对所述字段血缘线中的字段进行测试，生成所述数据映射文件的测试报告。
9.一种终端设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一所述的数据映射文件的测试方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的数据映射文件的测试方法。
CN202111515291.4A 2021-12-13 2021-12-13 一种数据映射文件的测试方法、装置、设备及存储介质 Pending CN114185791A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111515291.4A CN114185791A (zh) 2021-12-13 2021-12-13 一种数据映射文件的测试方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111515291.4A CN114185791A (zh) 2021-12-13 2021-12-13 一种数据映射文件的测试方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114185791A true CN114185791A (zh) 2022-03-15

Family

ID=80604640

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111515291.4A Pending CN114185791A (zh) 2021-12-13 2021-12-13 一种数据映射文件的测试方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114185791A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116303370A (zh) * 2023-05-17 2023-06-23 建信金融科技有限责任公司 一种脚本血缘解析方法、装置、存储介质、设备及产品
CN117130946A (zh) * 2023-10-27 2023-11-28 北京世冠金洋科技发展有限公司 一种测试场景生成方法、装置、电子设备和可读存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116303370A (zh) * 2023-05-17 2023-06-23 建信金融科技有限责任公司 一种脚本血缘解析方法、装置、存储介质、设备及产品
CN116303370B (zh) * 2023-05-17 2023-08-15 建信金融科技有限责任公司 一种脚本血缘解析方法、装置、存储介质、设备及产品
CN117130946A (zh) * 2023-10-27 2023-11-28 北京世冠金洋科技发展有限公司 一种测试场景生成方法、装置、电子设备和可读存储介质
CN117130946B (zh) * 2023-10-27 2024-01-26 北京世冠金洋科技发展有限公司 一种测试场景生成方法、装置、电子设备和可读存储介质

Similar Documents

Publication Publication Date Title
CN107506451B (zh) 用于数据交互的异常信息监控方法及装置
US10885000B2 (en) Repairing corrupted references
CN106940695B (zh) 数据源信息的校验方法及装置
CN108446223B (zh) 一种基于动态编译的业务场景自动化测试方法
US8904352B2 (en) Systems and methods for processing source code during debugging operations
CN114185791A (zh) 一种数据映射文件的测试方法、装置、设备及存储介质
CN110198327B (zh) 一种数据传输方法及相关设备
CN111177113A (zh) 数据迁移方法、装置、计算机设备和存储介质
CN111324510B (zh) 日志处理方法、装置及电子设备
CN113886485A (zh) 数据处理方法、装置、电子设备、***和存储介质
CN111966587A (zh) 数据采集方法、装置和设备
CN111666201A (zh) 回归测试方法、装置、介质及电子设备
CN113268470A (zh) 一种高效的数据库回滚方案验证方法
CN114816971A (zh) 一种数据处理方法、相关设备及存储介质
CN108959508B (zh) Sql数据生成方法及装置
CN111752916A (zh) 数据采集方法及装置、计算机可读存储介质、电子设备
CN107273293B (zh) 大数据***性能测试方法、装置及电子设备
CN110716859A (zh) 自动为修改的代码推送测试用例的方法及相关装置
CN113238940A (zh) 一种接口测试结果的比对方法、装置、设备和存储介质
CN109840213B (zh) 一种gui测试的测试数据创建方法、装置、终端及存储介质
CN114328180A (zh) 接口自动化测试方法、***、电子设备及存储介质
CN108334621B (zh) 数据库操作方法、装置、设备及计算机可读存储介质
CN113448985A (zh) 一种api接口生成方法、调用方法、装置及电子设备
CN111143221B (zh) 一种测试方法及装置
CN116755684B (zh) OAS Schema的生成方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination