CN101515289B - 一种对通用数据文件进行检查的装置及方法 - Google Patents
一种对通用数据文件进行检查的装置及方法 Download PDFInfo
- Publication number
- CN101515289B CN101515289B CN2009100809227A CN200910080922A CN101515289B CN 101515289 B CN101515289 B CN 101515289B CN 2009100809227 A CN2009100809227 A CN 2009100809227A CN 200910080922 A CN200910080922 A CN 200910080922A CN 101515289 B CN101515289 B CN 101515289B
- Authority
- CN
- China
- Prior art keywords
- text
- data
- rule
- field
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种对通用数据文件进行检查的装置及方法,该装置包括数据接收单元(01)、数据存储单元(02)、参数配置单元(03)、规则管理单元(04)、数据执行处理单元(05)和数据检查输出单元(06),该装置具有星型连接结构,数据存储单元(02)位于该装置的中心,数据接收单元(01)、参数配置单元(03)、规则管理单元(04)、数据执行处理单元(05)和数据检查输出单元(06)分别连接于数据存储单元(02)。利用本发明,减少了移行过程中程序开发的工作量,节约了人力和时间,降低了企业移行的成本,实现了文本检查的通用性,提高了工作效率和检查的准确性。
Description
技术领域
本发明涉及计算机数据处理技术领域,尤其是一种对各种格式的通用数据文件进行检查的装置及方法。
背景技术
随着计算机应用***的推广和普及,应用***之间的整合也越来越频繁,***整合势必涉及到对数据文件的移行检查,由于各个应用***结构差别很大,对数据移行文件的格式要求也不尽相同,校验规则不统一,文本之间通常还存有各种校验关系,这导致移行文本的校验和转换变得非常复杂,需要根据不同***的实际要求更改移行数据文件格式。
数据移行时,业界通常的做法是根据每次移行的文本格式、校验规则等要求,为其设计开发一套文本校验的程序软件。每次移行都使用新程序软件,使得移行校验的正确率得不到明显提高,并且随着业务的发展,移行的复杂度会越来越高,数据量也会越来越大,对业务人员、开发人员和测试人员都是更大的挑战。这样,不仅做了很多的重复开发,耗费大量的人力和时间,企业的开发成本也会大大上升。
发明内容
(一)要解决的技术问题
针对以上问题,本发明的目的在于提供一种对通用数据文件检查装置和方法,以减少移行过程中程序开发的工作量,节约人力和时间,降低企业移行的成本,实现文本检查的通用性,提高工作效率和检查的准确性。
(二)技术方案
为达到上述目的的一个方面,本发明提供了一种对通用数据文件进行检查的装置,包括数据接收单元01、数据存储单元02、参数配置单元03、规则管理单元04、数据执行处理单元05和数据检查输出单元06,该装置具有星型连接结构,数据存储单元02位于该装置的中心,数据接收单元01、参数配置单元03、规则管理单元04、数据执行处理单元05和数据检查输出单元06分别连接于数据存储单元02;其中:
数据接收单元01,用于将数据文件从外部导入并存储到所述数据存储单元02中;
数据存储单元02,用于存放数据文件以及数据接收单元01、参数配置单元03、规则管理单元04、数据执行处理单元05或数据检查输出单元06的执行处理结果;
参数配置单元03,用于定义、修改和删除数据文件的文本、字段、规则、关系或约束信息,形成文本检查的规则信息,并将该规则信息存储到数据存储单元02中;
规则管理单元04,用于文本和字段管理规则的有效性验证及浏览,以及用于定义命令规则,生成行之有效的校验命令,并将生成的校验命令存储到数据存储单元02中,供数据执行处理单元05使用;
数据执行处理单元05,用于运行规则管理单元04生成的行之有效校验命令,对文本中的数据逐一检查,直到文本结束,并把校验结果输出给数据检查输出单元06;
数据检查输出单元06,用于将检查输出结果生成报表清单,提供给用户,供用户查找文本问题的所在。
上述方案中,所述数据接收单元01在将数据文件从外部导入到所述数据存储单元02的过程中,支持数据异常处理和导入后的数据信息浏览查看。
上述方案中,所述数据存储单元02包含有文本信息登记表、文本属性表、字段检查规则表、条件信息登记表和外键信息登记表,所述执行处理结果包括文本、字段、规则、关系、约束定义和文本检查结果信息。
上述方案中,所述文本信息登记表用于登记保存数据文件的名称和长度,所述文本属性表用于登记保存文件字段的属性,包括字段序号、字段名称和字段长度;所述字段检查规则表用于登记保存文本字段的检查规则信息,包括字段类型检查、必输项检查和常数项检查规则;所述条件信息登记表用于登记保存检查表与参照表之间约束关系;所述外键信息登记表用于登记保存检查表与参照表之间的约束关系。
上述方案中,所述参数配置单元03包括数据文本定义子单元、文本字段定义子单元、规则定义子单元、文本关系定义子单元和文本约束定义子单元,且数据文本定义子单元、文本字段定义子单元、规则定义子单元、文本关系定义子单元和文本约束定义子单元并行设置,通过一并行接口分别连接于数据存储单元02。
上述方案中,所述数据文本定义子单元为用户提供相关操作界面,实现文本基本信息的定义、修改和删除;所述文本字段定义子单元为用户提供文本字段维护相关操作界面,实现该文本字段基本信息的定义和删除,同时提供在任意字段后面增加新的字段功能;所述规则定义子单元为用户提供文本规则维护相关操作界面,实现该文本规则信息的定义和删除;所述文本关系定义子单元选择相关文本、相关字段、以及相关规则,为用户提供文本关系维护相关操作界面,实现该文本关系信息定义和删除,通过设置文本关系来确定文本与文本间的比较关系;所述文本约束定义子单元为用户提供文本约束条件维护相关操作界面,实现该文本约束条件信息定义和删除,通过设置文本约束条件来确定文本与文本间比较条件,用于规则校验条件。
为达到上述目的的另一个方面,本发明提供了一种对通用数据文件进行检查的方法,该方法通过对各种文本格式校验特点的归纳,定义好文件检查规则,实现对各种文本格式的移行数据文件校查效验,具体包括:
步骤1:参数配置单元设定文本的字段规则,并设置字段检查规则;
步骤2:规则管理单元提取数据存储单元保存的文件检查规则信息,将其组织成检查执行命令;
步骤3:数据接收单元导入待检查数据文件;
步骤4:数据执行处理单元根据规则管理单元生成的检查规则进行文件检查,并将检查结果保存在存储单元中;
步骤5:数据检查输出单元将存储单元保存的检查结果以报表格式输出给用户。
上述方案中,步骤1中所述参数配置单元设定文本的字段规则,并设置字段检查规则,具体包括:
参数配置单元添加新文件或表,并输入文件或表的名称和描述信息,生成的文件信息保存在数据存储单元的文本信息登记表中;
参数配置单元添加文件或表的结构信息,选择手工或自动化方式导入数据,生成文件属性信息表,文件属性信息表中各字段按照字段序号排列;
参数配置单元设置字段检查规则,包括简单规则、条件规则和复杂规则,该规则信息以多个表的形式保存在数据存储单元中。
上述方案中,步骤2中所述规则管理单元提取数据存储单元保存的文件检查规则信息,将其组织成检查执行命令,具体包括:所述规则管理单元从文件信息登记表中获取文件信息,从文本属性表中获取各字段的详细信息,再根据文本序号查找字段检查规则表,将此文本对应的规则全部取出放到一个临时表中,该临时表的结构与字段检查规则表相同,接着根据字段检查规则表的检查类型生成检查命令。
上述方案中,步骤3中所述数据接收单元导入待检查数据文件后,数据接收单元可浏览导入文件信息,如果文件格式不匹配,则数据接收单元将以文本格式输出文件导入失败信息。
上述方案中,步骤4中所述数据执行处理单元根据规则管理单元生成的检查规则进行文件检查,具体包括:在数据接收单元导入原始检查文件的过程中,数据执行处理单元进行简单规则的检查,接着输出导入文件检查结果,包括简单规则检查信息,若导入失败或有检查错误信息,则通知用户修改原始数据文件;若全部成功,则进行复杂规则检查。
(三)有益效果
从上述技术方案可以看出,本发明具有以下有益效果:
1、利用本发明,减少了移行过程中程序开发的工作量,节约了人力和时间,降低了企业移行的成本,实现了文本检查的通用性,提高了工作效率和检查的准确性。
2、利用本发明,不仅仅减少了技术人员的工作量,而且可以为业务人员提供了文本检查装置平台,提供了灵活的文本检查方案,规范了各类文本检查规则定义、设置、检查相关流程,在不受行业限制的情况下,实现文本检查的通用性、提高工作效率。
3、利用本发明,使得在移行过程中减少了大量程序开发和文本规则定义的时间,降低了企业移行的成本。同时使用通用的文件装置大大减少了技术人员在移行过程中的工作量,规范了移行中文本格式更改的操作流程,由用户自行进行文本设定和校验也可以大大提高测试进度。
4、本发明支持多平台多操作装置的特性使其可以应用于许多测试工作中,科学规范的文件检查提高了工作效率和检查的正确性,为测试工作赢得了更多的时间。
附图说明
图1是本发明提供的对通用数据文件进行检查的装置的结构示意图;
图2是本发明提供的对通用数据文件进行检查的装置中数据存储单元的结构示意图;
图3是本发明提供的对通用数据文件进行检查的装置中参数配置单元的结构示意图;
图4是本发明提供的对通用数据文件进行检查的方法流程图;
图5是本发明提供的规则管理单元生成命令规则的方法流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。
本发明通过建立一种通用数据文件检查模型,将各种文本格式校验的共同点归纳出来,使得用户可以方便的定义文件检查规则,实现对各种文本格式的移行数据文件自动校查效验。
如图1所示,图1是本发明提供的对通用数据文件进行检查的装置的结构示意图,该装置包括数据接收单元01、数据存储单元02、参数配置单元03、规则管理单元04、数据执行处理单元05和数据检查输出单元06。该装置具有星型连接结构,数据存储单元02位于该装置的中心,数据接收单元01、参数配置单元03、规则管理单元04、数据执行处理单元05和数据检查输出单元06分别连接于数据存储单元02。
数据接收单元01用于将数据文件从外部导入并存储到所述数据存储单元02中,导入过程中支持数据异常处理和导入后的数据信息浏览查看。其中,数据异常处理是指检查导入的数据文件文本长度、格式是否符合要求,并提示用户成功导入的记录数和失败的记录数。导入后的数据信息浏览查看是指数据文件导入后,用户可选择查看导入信息,确认导入文本内容是否正确。
数据存储单元02包含有文本信息登记表、文本属性表、字段检查规则表、条件信息登记表和外键信息登记表等(如图2所示),用于存放数据文件以及数据接收单元01、参数配置单元03、规则管理单元04数据执行处理单元05或数据检查输出单元06的执行处理结果,该执行处理结果包括文本、字段、规则、关系、约束定义和文本检查结果等信息。
其中,文本信息登记表用于登记保存数据文件的名称和长度;文本属性表用于登记保存文件字段的属性,包括字段序号、字段名称和字段长度;字段检查规则表用于登记保存文本字段的检查规则信息,包括字段类型检查、必输项检查和常数项检查规则;条件信息登记表用于登记保存检查表与参照表之间约束关系;外键信息登记表用于登记保存检查表与外键关联表之间的约束关系。
其中,检查表是指待检查的文本内容。在检查过程中,此表的某些字段需要与另一个检查表(即参照表)中的某个字段做条件比较,则其比较信息存入条件登记表中;检查表如果有外键,则还需要检查其外键关联的表(外键关联表)是否符合要求,二者的关联信息保存在外键信息登记表中。
参数配置单元03用于定义、修改和删除数据文件的文本、字段、规则、关系或约束等信息(如图3所示),形成文本检查的规则信息,并将该规则信息存储到数据存储单元02中。参数配置单元03包括数据文本定义子单元、文本字段定义子单元、规则定义子单元、文本关系定义子单元和文本约束定义子单元,且数据文本定义子单元、文本字段定义子单元、规则定义子单元、文本关系定义子单元和文本约束定义子单元并行设置,通过一并行接口分别连接于数据存储单元02。
其中,数据文本定义子单元为用户提供相关操作界面,实现文本基本信息的定义、修改和删除。文本字段定义子单元为用户提供文本字段维护相关操作界面,实现该文本字段基本信息的定义和删除,同时提供在任意字段后面增加新的字段功能。规则定义子单元为用户提供文本规则维护相关操作界面,实现该文本规则信息的定义和删除。文本关系定义子单元选择相关文本、相关字段、以及相关规则,为用户提供文本关系维护相关操作界面,实现该文本关系信息定义和删除,通过设置文本关系来确定文本与文本间的比较关系。文本约束定义子单元为用户提供文本约束条件维护相关操作界面,实现该文本约束条件信息定义和删除,通过设置文本约束条件来确定文本与文本间比较条件,用于规则校验条件。
规则管理单元04用于文本和字段管理规则的有效性验证及浏览,以及用于定义命令规则,生成行之有效的校验命令,并将生成的校验命令存储到数据存储单元02中,供数据执行处理单元05使用。
数据执行处理单元05用于运行规则管理单元04生成的行之有效校验命令,对文本中的数据逐一检查,直到文本结束,并把校验结果输出给数据检查输出单元06。
数据检查输出单元06用于将检查输出结果生成报表清单,提供给用户,供用户查找文本问题的所在。
基于图1至图3所示的对通用数据文件进行检查的装置,图4示出了本发明提供的对通用数据文件进行检查的方法流程图,该方法通过对各种文本格式校验特点的归纳,定义好文件检查规则,实现对各种文本格式的移行数据文件校查效验。具体包括以下步骤:
步骤1:参数配置单元设定文本的字段规则,并设置字段检查规则;
步骤2:规则管理单元提取数据存储单元保存的文件检查规则信息,将其组织成检查执行命令;
步骤3:数据接收单元导入待检查数据文件;
步骤4:数据执行处理单元根据规则管理单元生成的检查规则进行文件检查,并将检查结果保存在存储单元中;
步骤5:数据检查输出单元将存储单元保存的检查结果以报表格式输出给用户。
上述步骤1中,所述参数配置单元设定文本的字段规则,并设置字段检查规则,具体包括:
步骤10:参数配置单元添加新文件或表,并输入文件或表的名称和描述信息,生成的文件信息保存在数据存储单元的文本信息登记表中;文本信息登记表的格式如表1所示:
表1
步骤11:参数配置单元添加文件或表的结构信息,选择手工或自动化方式导入数据,生成文件属性信息表,文件属性信息表中各字段按照字段序号排列;文件属性信息表如表2所示:
序号 | 域名 | 域名描述 | 数据类型 | 备注 |
Id | 字段序号 | Long | ||
File_id | 文本序号 | Long | ||
Field_name | 字段名称 | Char(20) | ||
Field_lenth | 字段长度 | Long | ||
Ch_name | 中文名称说明 | Char(50) | ||
En_name | 英文文名称说明 | Char(50) |
表2
步骤12:参数配置单元设置字段检查规则,包括简单规则、条件规则和复杂规则,该规则信息以多个表的形式保存在数据存储单元中。本发明为灵活适应业务需求还支持手工输入检查规则,这些规则信息以多个表的形式全部保存在数据存储单元02中,其中最关键的表为字段检查规则表,字段检查规则表如表3所示:
表3
其中规则序号是唯一的,每个规则对应一个序号,一个文本中某个字段可能对应多个检查规则。所有规则都存放在此表中,以文本序号标识规则对应的文本,字段序号标识此规则是检查文本中的第几个字段。检查类型则标识此规则是做什么类型的检查,其中“字段类型”、“是否必输项”和“常数值检查”属于简单规则检查,不需要关联其他表即可完成检查,其他复杂规则的检查过程在后面的步骤中详细描述。
上述步骤2中,所述规则管理单元提取数据存储单元保存的文件检查规则信息,将其组织成检查执行命令,具体包括:所述规则管理单元从文件信息登记表中获取文件信息,从文本属性表中获取各字段的详细信息,再根据文本序号查找字段检查规则表,将此文本对应的规则全部取出放到一个临时表中,该临时表的结构与字段检查规则表相同,接着根据字段检查规则表的检查类型生成检查命令。
字段类型检查:根据“字段类型”生成检查字段类型的命令。例如“ifnumber(n)is true”
是否必输项:判断是否为空。如“if fieldl is null”
常数值检查:根据“运算符”和“常数值”生成条件比较命令。如“if x>200”。
复杂规则检查:字段的检查需要关联到其他表,通过查找条件信息登记表生成检查规则命令。条件信息登记表信息如表4所示:
序号 | 域名 | 域名描述 | 数据类型 | 备注 |
Id | 序号 | Long | ||
Check_id | 规则序号 | Long | ||
Subtab_id | 子表序号 | Long | ||
Forecol_id | 字段序号 | Long | ||
Subtab | 子表名称 | Char(50) | ||
Forecol | 条件字段名称 | Char(50) | ||
Compflag | 条件符号 | Char(50) | ||
Maintab_id | 参照表序号 | Long | ||
Maincol_id | 参照字段序号 | Long | ||
Maintab | 参照表名称 | Char(50) | ||
Maincol | 参照字段名称 | Char(50) | ||
Ch_name | 中文描述 | Char(50) | ||
En_name | 英文描述 | Char(50) |
表4
首先在条件信息表中查找此规则序号,得到需要检查的表名称和参照表名称,以及相应的字段信息,通过条件符号生成条件检查命令。如需要检查的表名TABLEA,检查字段为WORKDATE,参照表为TABLEB,检查字段为BATDATE,条件符号为“<”,则生成的检查规则命令为“ifTABLEA.WORKDATE<TABLE.WORKDATE”。
有时检查表和参照表是需要通过外键来定位,则需要根据外键信息登记表查找,外键信息登记表如表5所示:
表5
根据检查的表的外键(字段序号)查找参照表(关联表字段序号)得到对应的记录,再根据条件信息表的检查字段生成条件信息检查命令。
手工输入sql语句:对于有些特殊的检查规则,不能通过以上4种方法生成,则采用手工输入检查规则,这些规则保存在字段检查规则表的sqltxt字段里。规则管理单元04将以上规则命令生成后,放在一个临时表中,等待数据执行处理单元05调用执行。
上述步骤3中,所述数据接收单元导入待检查数据文件后,数据接收单元可浏览导入文件信息,如果文件格式不匹配,则数据接收单元将以文本格式输出文件导入失败信息。
上述步骤4中,所述数据执行处理单元根据规则管理单元生成的检查规则进行文件检查,具体包括:在数据接收单元导入原始检查文件的过程中,数据执行处理单元进行简单规则的检查,接着输出导入文件检查结果,包括简单规则检查信息,若导入失败或有检查错误信息,则通知用户修改原始数据文件;若全部成功,则进行复杂规则检查。检查结束后,将检查结果保存在存储单元02中。具体处理流程可参考图5,图5是本发明提供的规则管理单元生成命令规则的方法流程图。
为更加清楚说明本发明对通用数据文件进行检查的方法,以下提供一个具体实施例。在本实施例中,文件A.TXT是一个待检查的文本文件;文本文件B.TXT为参照表,作为A文件参数比较检查的依据,B.TXT可以为业务参数表或者数据字典数据等。
TXT文本结构如下:
A1 CHAR(10),
A2 int
A3 DATE
TXT文本结构如下:
B1 int
B2 CHAR(10)
Step1:数据接收单元将该两个文本结构和文本数据导入到本发明装置。
Step2:用户通过参数配置单元设置检查文本规则,包括以下内容:
(1)设置两个文本文件各个字段类型的检查规则,检查内容如下:
A1:字符类型检查
A2:数字类型检查
A3:日期类型检查
B1:数字类型检查
B2:字符类型检查
(2)设置两个文本文件间的关联关系。
在本实施例中,建立A文本文件字段A2与B文本文件字段B1的关联关系,即字段A2的取值范围从属于字段B1的取值;从而建立A文本与B文本之间的约束关系。
Step3:规则管理单元04读取数据存储单元02登记的字段检查规则表和条件信息登记表所存储的内容,并将这些规则信息组织转换成检查执行命令。
Step4:数据检查处理单元05,根据Step3生成的规则检查命令,进行数据关联检查,并输出检查结果到数据存储单元02;
Step5:数据检查输出单元06将检查结果以报表形式输出给用户。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (11)
1.一种对通用数据文件进行检查的装置,其特征在于,包括数据接收单元(01)、数据存储单元(02)、参数配置单元(03)、规则管理单元(04)、数据执行处理单元(05)和数据检查输出单元(06),该装置具有星型连接结构,数据存储单元(02)位于该装置的中心,数据接收单元(01)、参数配置单元(03)、规则管理单元(04)、数据执行处理单元(05)和数据检查输出单元(06)分别连接于数据存储单元(02);其中:
数据接收单元(01),用于将数据文件从外部导入并存储到所述数据存储单元(02)中;
数据存储单元(02),用于存放数据文件以及数据接收单元(01)、参数配置单元(03)、规则管理单元(04)、数据执行处理单元(05)或数据检查输出单元(06)的执行处理结果;
参数配置单元(03),用于定义、修改和删除数据文件的文本、字段、规则、关系或约束信息,形成文本检查的规则信息,并将该规则信息存储到数据存储单元(02)中;
规则管理单元(04),用于文本和字段管理规则的有效性验证及浏览,以及用于定义命令规则,生成行之有效的校验命令,并将生成的校验命令存储到数据存储单元(02)中,供数据执行处理单元(05)使用;
数据执行处理单元(05),用于运行规则管理单元(04)生成的行之有效校验命令,对文本中的数据逐一检查,直到文本结束,并把校验结果输出给数据检查输出单元(06);
数据检查输出单元(06),用于将检查输出结果生成报表清单,提供给用户,供用户查找文本问题的所在。
2.根据权利要求1所述的对通用数据文件进行检查的装置,其特征在于,所述数据接收单元(01)在将数据文件从外部导入到所述数据存储单元(02)的过程中,支持数据异常处理和导入后的数据信息浏览查看。
3.根据权利要求1所述的对通用数据文件进行检查的装置,其特征在于,所述数据存储单元(02)包含有文本信息登记表、文本属性表、字段检查规则表、条件信息登记表和外键信息登记表,所述执行处理结果包括文本、字段、规则、关系、约束定义和文本检查结果信息。
4.根据权利要求3所述的对通用数据文件进行检查的装置,其特征在于,所述文本信息登记表用于登记保存数据文件的名称和长度,所述文本属性表用于登记保存文件字段的属性,包括字段序号、字段名称和字段长度;所述字段检查规则表用于登记保存文本字段的检查规则信息,包括字段类型检查、必输项检查和常数项检查规则;所述条件信息登记表用于登记保存检查表与参照表之间约束关系;所述外键信息登记表用于登记保存检查表与外键关联表之间的约束关系。
5.根据权利要求1所述的对通用数据文件进行检查的装置,其特征在于,所述参数配置单元(03)包括数据文本定义子单元、文本字段定义子单元、规则定义子单元、文本关系定义子单元和文本约束定义子单元,且数据文本定义子单元、文本字段定义子单元、规则定义子单元、文本关系定义子单元和文本约束定义子单元并行设置,通过一并行接口分别连接于数据存储单元(02)。
6.根据权利要求5所述的对通用数据文件进行检查的装置,其特征在于,
所述数据文本定义子单元为用户提供相关操作界面,实现文本基本信息的定义、修改和删除;
所述文本字段定义子单元为用户提供文本字段维护相关操作界面,实现该文本字段基本信息的定义和删除,同时提供在任意字段后面增加新的字段功能;
所述规则定义子单元为用户提供文本规则维护相关操作界面,实现该文本规则信息的定义和删除;
所述文本关系定义子单元选择相关文本、相关字段、以及相关规则,为用户提供文本关系维护相关操作界面,实现该文本关系信息定义和删除,通过设置文本关系来确定文本与文本间的比较关系;
所述文本约束定义子单元为用户提供文本约束条件维护相关操作界面,实现该文本约束条件信息定义和删除,通过设置文本约束条件来确定文本与文本间比较条件,用于规则校验条件。
7.一种对通用数据文件进行检查的方法,其特征在于,该方法通过对各种文本格式校验特点的归纳,定义好文件检查规则,实现对各种文本格式的移行数据文件校查效验,具体包括:
步骤1:参数配置单元设定文本的字段规则,并设置字段检查规则;
步骤2:规则管理单元提取数据存储单元保存的文件检查规则信息,将其组织成检查执行命令;
步骤3:数据接收单元导入待检查数据文件;
步骤4:数据执行处理单元根据规则管理单元生成的检查规则进行文件检查,并将检查结果保存在存储单元中;
步骤5:数据检查输出单元将存储单元保存的检查结果以报表格式输出给用户。
8.根据权利要求7所述的对通用数据文件进行检查的方法,其特征在于,步骤1中所述参数配置单元设定文本的字段规则,并设置字段检查规则,具体包括:
参数配置单元添加新文件或表,并输入文件或表的名称和描述信息,生成的文件信息保存在数据存储单元的文本信息登记表中;
参数配置单元添加文件或表的结构信息,选择手工或自动化方式导入数据,生成文件属性信息表,文件属性信息表中各字段按照字段序号排列;
参数配置单元设置字段检查规则,包括简单规则、条件规则和复杂规则,该规则信息以多个表的形式保存在数据存储单元中。
9.根据权利要求7所述的对通用数据文件进行检查的方法,其特征在于,步骤2中所述规则管理单元提取数据存储单元保存的文件检查规则信息,将其组织成检查执行命令,具体包括:
所述规则管理单元从文件信息登记表中获取文件信息,从文本属性表中获取各字段的详细信息,再根据文本序号查找字段检查规则表,将此文本对应的规则全部取出放到一个临时表中,该临时表的结构与字段检查规则表相同,接着根据字段检查规则表的检查类型生成检查命令。
10.根据权利要求7所述的对通用数据文件进行检查的方法,其特征在于,步骤3中所述数据接收单元导入待检查数据文件后,数据接收单元可浏览导入文件信息,如果文件格式不匹配,则数据接收单元将以文本格式输出文件导入失败信息。
11.根据权利要求7所述的对通用数据文件进行检查的方法,其特征在于,步骤4中所述数据执行处理单元根据规则管理单元生成的检查规则进行文件检查,具体包括:
在数据接收单元导入原始检查文件的过程中,数据执行处理单元进行简单规则的检查,接着输出导入文件检查结果,包括简单规则检查信息,若导入失败或有检查错误信息,则通知用户修改原始数据文件;若全部成功,则进行复杂规则检查。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2009100809227A CN101515289B (zh) | 2009-03-25 | 2009-03-25 | 一种对通用数据文件进行检查的装置及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2009100809227A CN101515289B (zh) | 2009-03-25 | 2009-03-25 | 一种对通用数据文件进行检查的装置及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101515289A CN101515289A (zh) | 2009-08-26 |
CN101515289B true CN101515289B (zh) | 2011-01-05 |
Family
ID=41039742
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2009100809227A Active CN101515289B (zh) | 2009-03-25 | 2009-03-25 | 一种对通用数据文件进行检查的装置及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101515289B (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5401279B2 (ja) * | 2009-11-26 | 2014-01-29 | 株式会社日立製作所 | チェックルール設計支援方法、チェックルール設計支援システム、およびチェックルール設計支援プログラム |
CN102811445B (zh) * | 2011-06-01 | 2017-03-22 | 中兴通讯股份有限公司 | 配置数据的检查方法及装置 |
CN105094843B (zh) * | 2015-08-20 | 2018-10-09 | 网易(杭州)网络有限公司 | 一种数据表的检查方法及装置 |
CN105512042B (zh) * | 2015-12-22 | 2018-09-04 | 广东金赋科技股份有限公司 | 一种数据库的测试数据的自动生成方法、装置及测试*** |
CN106991103B (zh) * | 2016-01-21 | 2020-07-28 | 北京四维图新科技股份有限公司 | 一种导航数据文件的检查方法及引擎*** |
CN106384222A (zh) * | 2016-03-29 | 2017-02-08 | 平安科技(深圳)有限公司 | 保单回销方法和*** |
CN106202240A (zh) * | 2016-06-29 | 2016-12-07 | 华能国际电力股份有限公司 | 物资编码数据处理方法及装置 |
CN107092694B (zh) * | 2017-04-25 | 2020-10-20 | 杭州数梦工场科技有限公司 | 数据质量的稽查任务生成方法以及装置 |
CN107357589A (zh) * | 2017-07-21 | 2017-11-17 | 深圳易嘉恩科技有限公司 | 展示和编辑财务业务单据票据检查规则的界面*** |
CN107704438A (zh) * | 2017-09-22 | 2018-02-16 | 苏州大成有方数据科技有限公司 | 一种专利申请文件形式纠错*** |
CN107844515B (zh) * | 2017-09-26 | 2021-08-17 | 北京安博通科技股份有限公司 | 数据合规检查方法及装置 |
CN117075572A (zh) * | 2023-03-06 | 2023-11-17 | 昆易电子科技(上海)有限公司 | 测试*** |
-
2009
- 2009-03-25 CN CN2009100809227A patent/CN101515289B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN101515289A (zh) | 2009-08-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101515289B (zh) | 一种对通用数据文件进行检查的装置及方法 | |
WO2020233330A1 (zh) | 批量测试方法、装置及计算机可读存储介质 | |
CN107807982B (zh) | 一种异构数据库的一致性校验方法及装置 | |
US9558230B2 (en) | Data quality assessment | |
US6185583B1 (en) | Parallel rule-based processing of forms | |
CN112445875B (zh) | 数据关联及检验方法、装置、电子设备及存储介质 | |
CN112052242A (zh) | 数据查询方法、装置、电子设备及存储介质 | |
CN102236672A (zh) | 一种数据导入方法及装置 | |
CN110389941B (zh) | 数据库校验方法、装置、设备及存储介质 | |
CN109165209B (zh) | 数据库中对象类型的数据校验方法、装置、设备及介质 | |
CN104765745A (zh) | 对数据库中的加载数据进行逻辑验证的方法和*** | |
CN102760096A (zh) | 测试用数据的生成方法、单元测试方法以及单元测试*** | |
CN110347709A (zh) | 一种规则引擎的构建方法及*** | |
CN112328631A (zh) | 一种生产故障分析方法、装置、电子设备及存储介质 | |
CN112882995A (zh) | 脚本自动生成方法、装置、电子设备及存储介质 | |
CN201374063Y (zh) | 一种对通用数据文件进行检查的装置 | |
CN112783867A (zh) | 为满足实时大数据业务需求的数据库优化方法及云服务器 | |
CN112631903A (zh) | 任务测试方法、装置、电子设备及存储介质 | |
CN111401002A (zh) | 一种自动识别pdf电子回单信息的方法、装置与计算机存储介质 | |
CN103326930A (zh) | 开放平台接口自动巡检方法和*** | |
CN111400187B (zh) | 基于定制数据源的参数动态化校验***及方法 | |
CN106874192B (zh) | 一种面向数字出版的标准符合性的测试方法及测试*** | |
CN101673239B (zh) | 一种补丁的发放方法和装置 | |
CN114491184B (zh) | 一种数据处理方法及装置、存储介质及电子设备 | |
CN113032256B (zh) | 自动化测试方法、装置、计算机***和可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |