CN106909604B - 基于规则的excel表单和access数据库的自动检查方法及*** - Google Patents
基于规则的excel表单和access数据库的自动检查方法及*** Download PDFInfo
- Publication number
- CN106909604B CN106909604B CN201610799429.0A CN201610799429A CN106909604B CN 106909604 B CN106909604 B CN 106909604B CN 201610799429 A CN201610799429 A CN 201610799429A CN 106909604 B CN106909604 B CN 106909604B
- Authority
- CN
- China
- Prior art keywords
- data
- excel
- rule
- matching
- access database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 239000003086 colorant Substances 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims description 11
- 238000007689 inspection Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000013479 data entry Methods 0.000 description 15
- 230000001629 suppression Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2365—Ensuring data consistency and integrity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2291—User-Defined Types; Storage management thereof
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Security & Cryptography (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于规则定义和关联匹配的EXCEL表单内容与ACCESS数据库信息的自动检查方法。该方法包括以下步骤:定义表单生成规则,用于对表单内容进行分类,确定正确的填表方式,保证表单数据内部以及表单数据与数据库内容的一致性;构造生成模板,按照表单生成规则,逐列构造EXCEL表的生成模板,用于对待检查的EXCEL表进行相应的关联匹配;精确匹配,根据模板文件中的生成规则,对待检查的EXCEL表进行数据的正确性和相关性检查;输出检查结果,将可能的错误类别用不同的颜色表示,具体的错误信息输出到文件。
Description
技术领域
本案涉及数据的录入和管理领域,特别是针对EXCEL表单数据和ACCESS数据库的自动检查方法,自动寻找数据录入过程中出现的错误和矛盾,保证录入数据的统一。
背景技术
数据录入是指把现场收集的原始资料输入计算机,并加以存储的过程,已成为现代科学研究中一个不可缺少的重要环节,而数据录入质量的好坏直接影响数据分析和结果评估的准确性。
EXCEL作为微软OFFICE系列办公软件中的电子表格软件,可以用来制作电子表格、完成许多复杂的数据运算,进行数据的分析和预测,已成为国内外广大用户管理公司和个人财务、统计数据、绘制各种专业化表格的得力助手。同时,为了对原始数据进行更好的存储、管理和应用,有必要将采集到的历史数据输入到数据库,ACCESS是常用的数据库管理工具。
大型的研究中产生的原始数据量非常大,而且数据来源于部门中各个不同的单位,数据的组织方式、结构和形式也不尽相同,数据录入就是要把各类源数据从各个局部应用中抽取出来,按照统一的规范,输入到EXCEL表格和ACCESS数据库中。当原***是手工处理***时,各类数据分散在各种不同的原始材料中,数据录入是一个非常费时费力的工作。此时,如何保证录入数据的准确性,就显得尤为必要。
数据录入的质量控制通常分为三那个阶段,数据录入前,首先需要对原始数据进行核实,发现错误并及时修改,其次需要配备足够的设备和人员,并保证设备质量和人员素质,规范化录入流程;数据录入过程中,保证录入环境和录入人员的精神状态,合理安排工作,必要时采用两遍录入比较结果的方法来控制录入错误;数据录入完成后,还需要对录入的数据进行检查。
面对及大数据量的数据录入,人工的数据录入难免出错,而数据录入完成后的人工检查同样是一个费时费力的工作。在此过程中,工作人员的录入经验,情绪状态,录入环境是否安静,以及录入工作的安排是否合理有序,都将影响到录入质量。为此,本案提出一种基于规则定义和关联匹配的EXCEL表单内容与ACCESS数据库信息的自动检查方法,针对数据录入完成后的EXCEL表单和ACCESS数据库文件,检查数据录入的格式是否规范,数据是否有效,相互关联的数据是否一致等,节省了人力,提高了效率,也避免了上述影响录入质量的主观因素。
发明内容
本发明要解决的技术问题在于,提供一种自动检查EXCEL表单内容与ACCESS数据库信息的方法和***,以保证录入数据的准确性和一致性。
为达到上述目的,本案提出一种基于规则定义和关联匹配的方法,包括以下步骤:
定义表单生成规则步骤,按照数据录入时的填表规范,表单的数据要求和关联数据的抑制性要求,定义表单中每列元素的生成规则;
构造生成模板步骤,构造只包含表头的空表,按照上一步骤定义的生成规则,填写表单的生成模板,用于对待检查的EXCEL表进行相应的关联匹配;
精确匹配步骤,根据模板文件中的生成规则,对待检查的EXCEL表进行数据的正确性和相关性检查;
输出检查结果步骤,将可能的错误类别用不同的颜色表示,具体的错误信息输出到文件。
上述基于规则定义和关联匹配的EXCEL表单内容与ACCESS数据库信息的自动检查方法中,所述的定义表单生成规则步骤进一步包括:
步骤21,定义填表规范和数据类型相关的独立规则,包括非空,数据类型,数据范围,填写习惯等;
步骤22,定义表单内部列与列之间的数据一致性,包括数据的唯一性,数据的大小关系,范围关系,映射关系等;
步骤23,定义表单之间,以及EXCEL表与ACCESS数据库之间的数据一致性。
上述基于规则定义和关联匹配的EXCEL表单内容与ACCESS数据库信息的自动检查方法中,所述的精确匹配步骤进一步包括:
步骤31,逐列处理独立规则;
步骤32,处理单EXCEL单个sheet以及多个sheet之间的表间规则;
步骤33,处理多个EXCEL表的表间规则;
步骤34,处理EXCEL表与ACCESS数据库之间的一致性规则。
上述基于规则定义和关联匹配的EXCEL表单内容与ACCESS数据库信息的自动检查方法,其特征在于,是通过自定义规则来构造用于精确匹配的表格模板的。
上述基于规则定义和关联匹配的EXCEL表单内容与ACCESS数据库信息的自动检查方法,其特征在于,对于EXCEL表内部的数据关联,按照关联位置的不同进行了不同的定义,单独处理。
上述基于规则定义和关联匹配的EXCEL表单内容与ACCESS数据库信息的自动检查方法,其特征在于,对于EXCEL表与ACCESS数据库之间的数据关联,通过统一的规则定义,也可以得到处理。
本案进一步提出了一种应用上述基于规则定义和关联匹配的EXCEL表单内容与ACCESS数据库信息自动检查方法的***,包括:
规则定义模块,按照数据录入时的填表规范,表单的数据要求和关联数据的抑制性要求,定义表单中每列元素的生成规则;
模板生成模块,构造只包含表头的空表,按照上一步骤定义的生成规则,填写表单的生成模板,用于对待检查的EXCEL表进行相应的关联匹配;
精确匹配模块,根据模板文件中的生成规则,对待检查的EXCEL表进行数据的正确性和相关性检查;
结果输出模块,将可能的错误类别用不同的颜色表示,具体的错误信息输出到文件。
本发明极大地节省了录入数据检查的人力物力成本,对数据录入质量的自动控制有很大的帮助。
附图说明
图1为本发明基于规则定义和关联匹配的EXCEL表单内容与ACCESS数据库信息的自动检查方法的主要流程;
图2为表单生成规则的定义内容;
图3为本发明基于规则定义和关联匹配的EXCEL表单内容与ACCESS数据库信息的自动检查***的示意框图。
具体实施方式
下面结合附图对本发明做详细的说明,以进一步了解本发明的目的、方案及功效,但所附图式并非用于限制本发明。
参考图1,示出了本发明基于规则定义和关联匹配的EXCEL表单内容与ACCESS数据库信息的自动检查方法的主要流程:
定义表单生成规则步骤S10,按照数据录入时的填表规范,表单的数据要求和关联数据的抑制性要求,定义表单中每列元素的生成规则;
构造生成模板步骤S20,构造只包含表头的空表,按照上一步骤定义的生成规则,填写表单的生成模板,用于对待检查的EXCEL表进行相应的关联匹配;
精确匹配步骤S30,根据模板文件中的生成规则,对待检查的EXCEL表进行数据的正确性和相关性检查;
输出检查结果步骤S40,将可能的错误类别用不同的颜色表示,具体的错误信息输出到文件。
图2给出了本发明中表单生成规则的定义内容,具体的定义内容如下:
S201:填表规范和数据类型相关的独立规则
1、S_NE_(空规则,非空)
2、S_NE_INT_x1_y1_x2_y2...(整型数字型,非空,数值范围为x1-y1、x2-y2...,范围可以不填)
3、S_NE_JD(经度信息,非空,符合填写习惯)
4、S_NE_FLOAT_x(浮点型数字型,非空,保留x位小数)
5、S_NE_IN_x(字符型,非空,字符串范围在x内)
6、S_NE_REGEX_x(字符型,非空,满足正则表达式x)
7、S_NE_SF(字符型,非空,“是否”)
8、S_NE_PRO_x(与其他文件中内容一致,x为相应标号)
S202:表单内部列与列之间的数据一致性
1、M_NE_(空规则,非空)
2、M_NE_INT_X(整型数字型,非空,与第x列数据联合唯一)
3、M_NE_INT_X_y(整型数字型,非空,与第x列数据相关联,y为关联规则)
3、M_NE_FLOAT_x_y(浮点数字型,非空,保留y位小数,与第x列数据成大小关系)
4、M_NE_CON_x_y(浮点数字型,非空,保留y位小数,大小在第x列数据范围内)
5、M_NE_STR_X(字符串型,非空,与第x列数据相对应---同时判别字符串内数字范围)
6、M_NE_CNE_X(字符串型,非空,与第x列数据的非空与否相对应---同时判别字符串内数字范围)
7、M_NE_CODE_X(整型,非空,与第x列数据的非空与否相对应---同时判别字符串内数字范围)
8、M_NE_LVE_X(对照表)
S203:表单之间包括sheet之间和EXCEL表之间的数据一致性
1、X_NE_(空规则,非空)
2、X_NE_INT_0_EXL_x_y_x1_y1(与EXL中sheet x中的第y列内容一致,x1,y1为一致方式,非空)
3、X_NE_INT_x_EXL_y_z_x1_y1(有x列的“是否”决定与相应Excel表4.3中的第y列或5.1中的z列内容一致,非空)
4、X_NE_INT_x_INL_y_x1_y1(与表内sheet x中的第y列内容一致,x1,y1为一致方式,非空)
5、X_NE_INT_0_EXL_x_y_x1_y1_1(与EXL中sheet x中的第y列内容一致,x1,y1为一致方式,非空)
6、X_NE_INT_x_INL_y_x1_y1_1(与表内sheet x中的第y列内容一致,x1,y1为一致方式,非空)
7、X_NE_INT_-2_EXL_x_x0_y_y0_x1_y1(与EXL中sheet x中的第y列内容一致,x1,y1为一致方式,非空,一表汇总成两表)
8、X_NE_INT_-3_EXL_x_x0_y_y0_x1_y1(与EXL中sheet x中的第y列内容一致,x1,y1为一致方式,非空,两表汇总成一表)
S204:EXCEL表与ACCESS数据库之间的数据一致性
X_NE_INT_0_MDB_x(与数据库文件的x表单内容一致,非空)
基于上述方法,本发明进一步提供了一种应用上述基于规则定义和关联匹配的EXCEL表单内容与ACCESS数据库信息自动检查方法的***30,包括:
规则定义模块301,按照数据录入时的填表规范,表单的数据要求和关联数据的抑制性要求,定义表单中每列元素的生成规则;
模板生成模块302,构造只包含表头的空表,按照上一步骤定义的生成规则,填写表单的生成模板,用于对待检查的EXCEL表进行相应的关联匹配;
精确匹配模块303,根据模板文件中的生成规则,对待检查的EXCEL表进行数据的正确性和相关性检查;
结果输出模块304,将可能的错误类别用不同的颜色表示,具体的错误信息输出到文件。
虽然本发明已以实施例揭露如上,然其并非用以限定本发明,任何所属技术领域中具有通常知识者,在不脱离本发明的精神和范围内,当可作些许的更动与润饰,故本发明的保护范围当视后附的权利要求保护范围所界定者为准。
Claims (7)
1.一种基于规则定义和关联匹配的EXCEL表单内容与ACCESS数据库信息的自动检查方法,其特征在于,包括以下步骤:
定义表单生成规则步骤,用于按照数据录入时的填表规范、表单的数据要求和关联数据的一致性要求,定义表单中每列元素的生成规则;
构造生成模板步骤,用于构造只包含表头的空表,按照所述定义表单生成规则步骤所定义的所述生成规则,填写所述表单的生成模板,以对待检查的EXCEL表进行相应的关联匹配;
精确匹配步骤,用于根据模板文件中的生成规则,对所述待检查的EXCEL表进行数据的正确性和相关性检查;
所述的定义表单生成规则步骤进一步包括:
步骤21,定义填表规范和数据类型相关的独立规则,包括非空、数据类型、数据范围和填写习惯;
步骤22,定义表单内部列与列之间的数据一致性,包括数据的唯一性、数据的大小关系、范围关系和映射关系;
步骤23,定义所述表单之间,以及所述EXCEL表与ACCESS数据库之间的数据一致性;
对于所述EXCEL表内部的数据关联,按照关联位置的不同进行不同的定义单独处理,对于所述EXCEL表与所述ACCESS数据库之间的数据关联,通过统一的规则定义进行处理。
2.根据权利要求1所述的基于规则定义和关联匹配的EXCEL表单内容与ACCESS数据库信息的自动检查方法,其特征在于,还包括:
输出检查结果步骤,用于在所述精确匹配步骤之后将可能的错误类别用不同的颜色表示,并将具体的错误信息输出到文件。
3.根据权利要求1或2所述的基于规则定义和关联匹配的EXCEL表单内容与ACCESS数据库信息的自动检查方法,其特征在于,所述的精确匹配步骤进一步包括:
步骤41,逐列处理独立规则;
步骤42,处理单个所述EXCEL表的单个sheet以及多个sheet之间的表间规则;
步骤43,处理多个所述EXCEL表的表间规则;
步骤44,处理所述EXCEL表与所述ACCESS数据库之间的一致性规则。
4.根据权利要求1所述的基于规则定义和关联匹配的EXCEL表单内容与ACCESS数据库信息的自动检查方法,其特征在于,所述构造生成模板步骤中,是通过自定义规则来构造用于精确匹配的表格模板的。
5.根据权利要求1所述的基于规则定义和关联匹配的EXCEL表单内容与ACCESS数据库信息的自动检查方法,其特征在于,所述步骤21中定义的独立规则包括但不限于非空,数据类型,数据范围,填写习惯。
6.根据权利要求1所述的基于规则定义和关联匹配的EXCEL表单内容与ACCESS数据库信息的自动检查方法,其特征在于,所述步骤22中,定义数据一致性包括但不限于数据的唯一性,数据的大小关系,范围关系,映射关系。
7.一种应用权利要求1~6中任一项所述的基于规则定义和关联匹配的EXCEL表单内容与ACCESS数据库信息的自动检查方法的***,其特征在于,包括:
规则定义模块,用于按照数据录入时的填表规范,表单的数据要求和关联数据的一致性要求,定义所述表单中每列元素的生成规则;
模板生成模块,用于构造只包含表头的空表,按照所述规则定义模块定义的生成规则,填写所述表单的生成模板,以对待检查的EXCEL表进行相应的关联匹配;
精确匹配模块,根据模板文件中的生成规则,对所述待检查的EXCEL表进行数据的正确性和相关性检查;
结果输出模块,将可能的错误类别用不同的颜色表示,具体的错误信息输出到文件。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510968838 | 2015-12-22 | ||
CN2015109688384 | 2015-12-22 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106909604A CN106909604A (zh) | 2017-06-30 |
CN106909604B true CN106909604B (zh) | 2022-06-24 |
Family
ID=59206242
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610799429.0A Active CN106909604B (zh) | 2015-12-22 | 2016-08-31 | 基于规则的excel表单和access数据库的自动检查方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106909604B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107451112B (zh) * | 2017-07-24 | 2024-01-23 | 网易(杭州)网络有限公司 | 表格工具数据检查方法、装置、终端设备及存储介质 |
CN108170653B (zh) * | 2017-12-05 | 2021-07-20 | 北京航天计量测试技术研究所 | 基于信息融合的多模板校准证书自动生成方法 |
CN108399154B (zh) * | 2017-12-28 | 2021-09-28 | 北京金科汇智科技有限公司 | 工程试验数据采集*** |
CN109711815A (zh) * | 2018-12-29 | 2019-05-03 | 福建华闽通达信息技术有限公司 | 基于规范标准对表单统计和数据判断的方法及计算机设备 |
CN110908356A (zh) * | 2019-10-11 | 2020-03-24 | 成都飞机工业(集团)有限责任公司 | 一种飞控试验数据快速故障定位方法 |
CN113722208B (zh) * | 2021-06-04 | 2023-09-05 | 深圳希施玛数据科技有限公司 | 软件测试报表的项目进度验证方法及装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2178002A2 (en) * | 2008-10-20 | 2010-04-21 | Industrial Technology Research Institute | System and method for technical document analysis, and patent analysis system |
CN102654874A (zh) * | 2011-03-02 | 2012-09-05 | 顾菊林 | 单据数据管理方法及*** |
CN103020269A (zh) * | 2012-12-26 | 2013-04-03 | 广州市西美信息科技有限公司 | 一种数据验证的方法以及装置 |
CN103279631A (zh) * | 2013-06-27 | 2013-09-04 | 南京大学 | 设计模式制导的爪哇代码评审方法 |
CN104317974A (zh) * | 2014-11-21 | 2015-01-28 | 武汉理工大学 | 一种可重构的erp***中多源数据导入方法 |
CN104899143A (zh) * | 2015-06-15 | 2015-09-09 | 中国航空无线电电子研究所 | 提供数据挖掘的软件同行评审***实现装置 |
-
2016
- 2016-08-31 CN CN201610799429.0A patent/CN106909604B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2178002A2 (en) * | 2008-10-20 | 2010-04-21 | Industrial Technology Research Institute | System and method for technical document analysis, and patent analysis system |
CN102654874A (zh) * | 2011-03-02 | 2012-09-05 | 顾菊林 | 单据数据管理方法及*** |
CN103020269A (zh) * | 2012-12-26 | 2013-04-03 | 广州市西美信息科技有限公司 | 一种数据验证的方法以及装置 |
CN103279631A (zh) * | 2013-06-27 | 2013-09-04 | 南京大学 | 设计模式制导的爪哇代码评审方法 |
CN104317974A (zh) * | 2014-11-21 | 2015-01-28 | 武汉理工大学 | 一种可重构的erp***中多源数据导入方法 |
CN104899143A (zh) * | 2015-06-15 | 2015-09-09 | 中国航空无线电电子研究所 | 提供数据挖掘的软件同行评审***实现装置 |
Also Published As
Publication number | Publication date |
---|---|
CN106909604A (zh) | 2017-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106909604B (zh) | 基于规则的excel表单和access数据库的自动检查方法及*** | |
Goldschlag et al. | Business dynamics statistics of High Tech industries | |
CN110292775B (zh) | 获取差异数据的方法及装置 | |
US8140549B2 (en) | Methods and arrangements of processing and presenting information | |
CN104615667A (zh) | 一种基础数据生成方法、测试用数据生成方法及其装置 | |
US8301993B2 (en) | Mapping raw spreadsheet data into graphs on arbitrary subsets of the data | |
CN104063314B (zh) | 一种测试数据自动生成装置及方法 | |
CN111538731B (zh) | 一种工业数据自动生成报表*** | |
CN104778540A (zh) | 一种建材装备制造bom管理方法及管理*** | |
CN106874244A (zh) | 一种基于工作序列的文档自动生成模型的构建方法 | |
CN104715052A (zh) | 生成报表的方法及其*** | |
Boehmke | Data wrangling with R | |
CN113220728B (zh) | 数据查询方法、装置、设备和存储介质 | |
CN115293751A (zh) | 一种轨道交通bim模型数据的处理方法、***及设备 | |
CN112883042A (zh) | 数据更新及展示方法、装置、电子设备及存储介质 | |
CN104899228A (zh) | 一种发布网页资源的方法及装置 | |
CN103631710A (zh) | 软件规范开发辅助方法以及软件规范开发辅助装置 | |
CN110134398A (zh) | 表格数据的解析方法、***及设备 | |
EP2420967A1 (en) | Generating assessment data | |
CN115562979B (zh) | 一种基于人工智能的自动生成测试报告的方法 | |
CN107844490A (zh) | 一种数据库的分库方法及装置 | |
CN109902085A (zh) | 一种配置存储结构优化方法及*** | |
CN110334055B (zh) | 一种获取材料计算数据的方法 | |
Ramilo et al. | Building information modelling: challenges and barriers among architectural practices | |
CN113176873A (zh) | 用于信息管理的方法和装置、电子设备、及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |