CN115185988A - 比对方法和比对设备 - Google Patents
比对方法和比对设备 Download PDFInfo
- Publication number
- CN115185988A CN115185988A CN202210687334.5A CN202210687334A CN115185988A CN 115185988 A CN115185988 A CN 115185988A CN 202210687334 A CN202210687334 A CN 202210687334A CN 115185988 A CN115185988 A CN 115185988A
- Authority
- CN
- China
- Prior art keywords
- field
- compared
- preset
- comparison
- fields
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供一种比对方法和比对设备,涉及数据处理技术领域。本发明实施例提供的比对方法,包括:获取待比对数据表中的待比对字段以及所述待比对字段对应的字段内容;将所述待比对字段与多个预设子字段进行比对,得到与所述待比对字段对应的目标预设字段;根据字段规则表,确定所述目标预设字段对应的目标比对规则;所述字段规则表记录了预设字段和所述预设字段的至少一个比对规则;根据所述目标比对规则,对所述待比对字段对应的字段内容进行比对处理,得到所述待比对字段的比对结果。本发明实施例提供的比对方法和比对设备能够提高比对效率。
Description
技术领域
本发明涉及数据处理技术领域,具体而言,涉及一种比对方法和比对设备。
背景技术
现有市场上,比对主要是基于不同的业务场景进行设计的,例如,业务场景中包括数据表A,在需要对数据表A进行数据比对时,需要针对数据表A设计比对代码,从而对数据表A中的内容进行比对,再如,业务场景中还包括数据表B,在需要对数据表B进行比对时,又需要针对数据表B设计比对代码。
由于需要基于业务场景,对不同的数据表设计比对代码,而不同的数据表中可能存在相同的字段,使得数据比对效率低下。
发明内容
基于上述研究,本发明实施例提供一种比对方法和比对设备,以提高文件处理效率。
本发明的实施例可以通过以下两个方面实现:
第一方面,本发明实施例提供一种比对方法,该方法包括:
获取待比对数据表中的待比对字段以及所述待比对字段对应的字段内容;
将所述待比对字段与多个预设子字段进行比对,得到与所述待比对字段对应的目标预设字段;
根据字段规则表,确定所述目标预设字段对应的目标比对规则;所述字段规则表记录了预设字段和所述预设字段的至少一个比对规则;
根据所述目标比对规则,对所述待比对字段对应的字段内容进行比对处理,得到所述待比对字段的比对结果。
第二方面,本发明实施例提供一种比对设备,包括:执行单元和规则单元;
所述执行单元用于获取待比对数据表中的待比对字段以及所述待比对字段对应的字段内容;
所述规则单元用于将所述待比对字段与多个预设子字段进行比对,得到与所述待比对字段对应的目标预设字段;
所述规则单元还用于根据字段规则表,确定所述目标预设字段对应的目标比对规则;所述字段规则表记录了预设字段和所述预设字段的至少一个比对规则;
所述规则单元还用于根据所述目标比对规则,对所述待比对字段对应的字段内容进行比对处理,得到所述待比对字段的比对结果。
本发明实施例提供的比对方法和比对设备,基于字段实现数据比对,这样,即使有不同的数据表,特别是有相同字段的数据表,不需要为这些数据表分别设计比对代码,而只需要设计字段比对的代码,提高了比对效率,并且,得到了待比对字段对应的目标预设字段,然后通过目标预设字段对应的目标比对规则对待比对字段对应的字段内容进行比对处理,也在一定程度上提高了比对成功率。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例所提供的比对设备的一种结构框图。
图2为本发明实施例所提供的比对方法的一种流程示意图。
图3为本发明实施例所提供的待比对数据表的示意图。
图4为本发明实施例所提供的操作页面的示意图。
图5为本发明实施例所提供的结果操作页面的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
如背景技术所言,现有市场上,比对主要是基于不同的业务场景进行设计的,例如,业务场景中包括数据表A,在需要对数据表A进行数据比对时,需要针对数据表A设计比对代码,从而对数据表A中的内容进行比对,再如,业务场景中还包括数据表B,在需要对数据表B进行比对时,又需要针对数据表B设计比对代码。由于需要基于业务场景,对不同的数据表设计比对代码,而不同的数据表中可能存在相同的字段,使得数据比对效率低下。
基于此,本发明实施例提供一种比对方法和比对设备,基于字段实现数据比对,这样,即使有不同的数据表,特别是有相同字段的数据表,不需要为这些数据表分别设计比对代码,而只需要设计字段比对的代码,提高了比对效率,并且,得到了待比对字段对应的目标预设字段,然后通过目标预设字段对应的目标比对规则对待比对字段对应的字段内容进行比对处理,也在一定程度上提高了比对成功率。
请参阅图1,图1为本实施例提供的一种比对设备100的结构框图。比对设备100可以包括执行单元10、规则单元20、存储单元30、操作页面单元40、通信单元50、显示单元60以及结果展示单元70。执行单元10用于分别与规则单元20、存储单元30、操作页面单元40、通信单元50、显示单元60以及结果展示单元70进行交互。执行单元10可具体用于获取待比对数据表中的待比对字段以及所述待比对字段对应的字段内容,将所述待比对字段以及所述待比对字段对应的字段内容发送至规则单元20。规则单元20中可用于将所述待比对字段与多个预设子字段进行比对,得到与所述待比对字段对应的目标预设字段,根据字段规则表,确定所述目标预设字段对应的目标比对规则,规则单元20中还包括规则引擎,规则引擎可以根据所述目标比对规则,对所述待比对字段对应的字段内容进行比对处理,得到所述待比对字段的比对结果。存储单元30可用于进行数据存储,存储单元30可具体用于对所述待比对数据表进行存储。操作页面单元40提供一个操作页面,用户可以通过操作页面控制进行比对处理。通信单元50可以使得比对设备100具有通信能力,使得比对设备100可以通过网络建立其与其他设备之间的通信连接,并用于通过网络收发数据,网络可以是任何类型的有线或者无线网络,或者是它们的结合,仅作为示例,网络可以包括有线网络、无线网络、光纤网络、远程通信网络、内联网、因特网、局域网(Local Area Network,LAN)、广域网(Wide Area Network,WAN)、无线局域网(Wireless Local Area Networks,WLAN)、城域网(Metropolitan Area Network,MAN)、广域网(Wide Area Network,WAN)、公共电话交换网(Public Switched Telephone Network,PSTN)、蓝牙网络、ZigBee网络、或近场通信(NearField Communication,NFC)网络等,或其任意组合。显示单元60用于显示数据,显示单元60具体可用于显示待比对字段的比对结果,比对设备100可以包括1个或N个显示单元60,N为大于1的正整数。结果展示单元70用于得到操作结果,结果展示单元70可提供一个结果操作页面,用户通过结果操作页面输入想要执行的操作,结果展示单元70根据用户输入生成相应的操作命令,并且按照操作指令进行处理得到操作结果,操作结果可以通过显示单元60进行展示。
为了便于用户与显示单元60之间的交互,在本实施例中,比对设备100还可以包括输入输出单元,输入输出单元用于提供给用户输入数据,实现用户与比对设备100之间的交互。输入输出单元可以是,但不限于,鼠标和键盘等。
比对设备100可以是一个设备,也可以是多个设备,在比对设备100由多个设备组成时,例如,由3个设备组成,于是,执行单元10、操作页面单元40、通信单元50、显示单元60以及结果展示单元70可以在设备1,规则单元20可以在设备2,存储单元30可以在设备3。比对设备100可以包括终端和服务器,其中,终端可以包括手机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、个人数字助理(personaldigital assistant,PDA)等;服务器可以是高性能计算机。
可以理解地,图1所示的结构仅为示意。比对设备100还可以具有比图1所示更多或者更少的组件,或者具有与图1所示不同的配置。图1所示的各组件可以采用硬件、软件或其组合实现。
基于图1的比对设备100,本实施例提供一种比对方法,由图1所示的比对设备100执行,下面基于图1示出的比对设备100的结构图对本实施例提供的比对方法的步骤进行详细阐述。请结合参阅图2,本实施例所提供的比对方法包括步骤S101至步骤S104。本发明实施例所提供的比对方法可用于***领域,但不限于***领域。
步骤S101:获取待比对数据表中的待比对字段以及所述待比对字段对应的字段内容。
待比对数据表,是当前待比对的数据表,如图3所示。待比对字段,为待比对数据表中的当前待比对的字段,待比对数据表中包括多个字段。待比对字段可以是待比对数据表中的多个字段中的一个字段;待比对字段也可以是待标对数据表中的多个字段中的多个字段,如图3所示,待比对字段是6个字段中的字段3和字段5;待比对字段还可以是待比对数据表中的全部字段。待比对字段对应的字段内容,为待比对字段下的各个内容,例如,姓名字段,一字段内容为:张刘星三。
在一个实施例中,可以手动触发比对,获取待比对数据表中的待比对字段以及所述待比对字段对应的字段内容的步骤,包括:步骤S101A到步骤S101C。
步骤S101A:响应于操作页面的比对事件,获取比对事件中的表标识以及字段标识。
操作页面,为提供给用户的页面,通过该页面,用户可以选择要比对的数据表,以及,要比对的字段。
比对事件,为指示进行比对处理的事件,比对事件中会携带表标识和字段标识,其中,表标识唯一标识一个数据表,字段标识,唯一标识数据表中的一个字段。
如图4所示,用户从多个数据表中,选择了数据表A,进一步的,用户又从数据表A的6个字段中选择了字段2和字段4,于是,检测到比对事件,此时,比对事件携带的表标识为数据表A的表标识,比对事件携带的字段标识为数据表A中的字段2的字段标识以及字段4的字段标识。
如图4所示,通过操作页面,用户还可以添加和删除数据表。例如,用户删除数据表,用户可以在“表名”处输入要删除的数据表的表名,例如,用户输入的表名是数据表ccc,存储单30根据数据表ccc,将表名与数据表ccc相同以及相似的数据表的表名发送至操作页面单元40,操作页面单元40的操作页面对与数据表ccc相同以及相似的表名进行显示,如图4所示,相同以及相似的表名有:数据表ccc、数据表ccc1、数据表ccc2、数据表ccd,用户可以根据这4个表名,选择其实际想要删除的数据表。通过操作页面,用户也可以向存储单30中添加数据表,用户点击浏览按钮,然后选择了数据表xxx,再点击“请添加数据表”下方的确定按钮,即可将数据表xxx添加至存储单30中。
步骤S101B:根据所述表标识,从本地存储的数据中,得到所述表标识对应的待比对数据表,所述待比对数据表中包括多个字段和每个字段对应的字段内容。
表标识对应的待比对数据表中包括多个字段和每个字段对应的字段内容。本地存储的数据,是指存储单30中存储的数据。存储单30根据比对事件中的表标识,查找数据表,得到表标识与比对事件中的表标识相同的数据表,并将该数据表作为待比对数据表。
步骤S101C:根据所述字段标识,从所述多个字段和每个字段对应的字段内容中,得到所述待比对字段和所述待比对字段对应的字段内容。
将比对事件中的字段标识与待比对数据表中的各个字段的字段标识进行比对,找到与比对事件中的字段标识相同的字段标识,将与比对事件中的字段标识相同的字段标识对应的字段作为待比对字段。例如,待比对数据表为数据表A,数据表A中有字段1到字段6,字段标识分别为:A-ziduan1,A-ziduan2,A-ziduan3,A-ziduan4,A-ziduan5,A-ziduan6,比对事件中的字段标识为A-ziduan2和A-ziduan4,于是,待比对字段为字段2和字段4。
在一个实施例中,可以定时自动触发比对,获取待比对数据表中的待比对字段以及所述待比对字段对应的字段内容的步骤,包括:步骤S101a到步骤S101c。
步骤S101a:在当前时间为目标指定时间时,获取所述目标指定时间对应的表标识和字段标识;不同指定时间对应的表标识不同。
指定时间,是为数据表指定的比对处理的时间,不同指定时间对应的表标识不同,从而,可以在不同的时间对不同的数据表进行比对,一个指定时间可以对应至少一个表标识和至少一个字段标识,从而,可以在相同的时间对至少一个数据表进行比对。目标指定时间,为多个指定时间中的1个。如表1所示,表1记录了指定时间和表标识、字段标识的对应关系。
表1
步骤S101b:根据所述表标识,从本地存储的数据中,得到所述表标识对应的待比对数据表,所述待比对数据表中包括多个字段和每个字段对应的字段内容。
步骤S101b的实现可与步骤S101B相同,在此不再详述。
步骤S101c:根据所述字段标识,从所述多个字段和每个字段对应的字段内容中,得到所述待比对字段和所述待比对字段对应的字段内容。
步骤S101c的实现可与步骤S101C相同,在此不再详述。
在一个实施例中,有的字段不需要进行比对,可以直接跳过,根据所述字段标识,从所述多个字段和每个字段对应的字段内容中,得到所述待比对字段和所述待比对字段对应的字段内容的步骤,包括:步骤A到步骤C。
步骤A:根据所述字段标识,从所述多个字段中,得到所述字段标识对应的初步待比对字段。
初步待比对字段,为从数据表的所有字段中,初步筛选出来的字段,初步待比对字段中可能包含白名单字段,而白名单字段是不需要进行比对处理的字段,因此,为了提高比对效率,还需要对初步待比对字段继续进行筛选。例如,多个字段有:A-ziduan1,A-ziduan2,A-ziduan3,A-ziduan4,A-ziduan5,A-ziduan6,字段标识有A-ziduan2、A-ziduan5、A-ziduan6,于是,初步待比对字段有字段2、字段5以及字段6。
步骤B:将所述初步待比对字段与至少一个白名单字段进行比对,得到所述待比对字段。
白名单字段表中会记录每个数据表的白名单字段,如表2所示。通过查找白名单字段表,可以确定初步待比对字段中是否存在白名单字段,若不存在,则将初步待比对字段作为待比对字段,若存在,则将白名单字段从初步待比对字段中去除,从而得到待比对字段。继续上述例子,查找白名单字段表,可以看到,数据表A中,字段5是白名单字段,于是,从初步待比对字段:字段2、字段5以及字段6中去除字段5,得到待比对字段为字段2和字段6。
表2
步骤C:从所述每个字段对应的字段内容中,得到所述待比对字段对应的字段内容。
继续上述例子,由于待比对字段为字段2和字段6,于是,从字段1到6对应的字段内容中,得到字段2的字段内容,以及,字段6的字段内容。
步骤S102:将所述待比对字段与多个预设子字段进行比对,得到与所述待比对字段对应的目标预设字段。
预设字段,为预先设置的字段,例如,预设字段有姓名字段、电话字段。目标预设字段,为多个预设字段中与待比对字段相似度最高的预设字段。预设子字段,为预先设置的字段,预设字段与预设子字段之间的关系:一个预设字段关联至少一个预设子字段,与预设字段关联的预设子字段为与该预设字段有相同字段含义的扩充字段,扩充字段可以是别名、缩略词、英文词等,例如,预设字段为姓名字段,则预设子字段可以是名字字段、NAME字段、ChineseName字段,再如,预设字段为电话字段,则预设子字段可以是联系电话字段、telephone字段、phone字段、TEL字段。
在一个实施例中,将所述待比对字段与多个预设子字段进行比对,得到与所述待比对字段对应的目标预设字段的步骤,包括:步骤S102A到步骤S102B。
步骤S102A:将所述待比对字段与多个预设子字段进行比对,得到与所述待比对字段相同的目标预设子字段。
目标预设子字段,为多个预设子字段中与待比对字段相同的预设子字段。例如,待比对字段为NAME字段,多个预设子字段有名字字段、NAME字段、ChineseName字段、联系电话字段、telephone子弹,于是,5个预设子字段中与待比对字段相同的为第2个预设子字段:NAME字段,于是,将第2个预设子字段:NAME字段,作为目标预设子字段。
待比对字段与预设子字段之间的比对,可以通过如下方式进行:通过查找向量表得到待比对字段对应的字段向量以及预设子字段对应的字段向量,向量表中记录了多个英文单词和多个字对应的向量,字段向量为字段对应的向量;计算待比对字段对应的字段向量与预设子字段对应的字段向量之间的相似度,两个字段向量之间的相似度,可以是余弦相似度;若相似度等于1,则该预设子字段为目标预设子字段。
例如,待比对字段为NAME字段,通过查找向量表,得到英文单词NAME对应的向量为:[0.1,0.2,0.1,0.1,0.2,0.1,0.1,0.1],于是,待比对字段对应的字段向量为:[0.1,0.2,0.1,0.1,0.2,0.1,0.1,0.1],按照相同的方式,得到预设子字段1(英文单词telephone)对应的字段向量为:[0.2,0.2,0.2,0.05,0.05,0.1,0.1,0.1],预设子字段2(英文单词NAME)对应的字段向量为:[0.1,0.2,0.1,0.1,0.2,0.1,0.1,0.1],按照公式:(X,Y)/(|X|×|Y|),计算得到待比对字段对应的字段向量与预设子字段1对应的字段向量之间的余弦相似度1,以及,待比对字段对应的字段向量与预设子字段2对应的字段向量之间的余弦相似度2,此时,计算得到余弦相似度2等于1,因此,预设子字段2为目标预设子字段,其中,(X,Y)是指向量X与向量Y之间的内积,|X|是向量X的模,|Y|是向量Y的模。
步骤S102B:根据字段映射表,确定所述目标预设子字段所关联的目标预设字段;所述字段映射表记录了多个预设字段以及与每个预设字段关联的多个预设子字段。
如表3所示,为字段映射表,可以看到,一个预设字段与至少一个预设子字段关联。于是,在确定了目标预设子字段之后,可以查找字段映射表,找到与目标预设子字段关联的预设字段,并将与目标预设子字段关联的预设字段作为目标预设字段。继续上述例子,目标预设子字段为NAME字段,而与NAME字段关联的预设字段为姓名字段,于是,将姓名字段作为目标预设字段。
表3
在一个实施例中,将所述待比对字段与多个预设子字段进行比对,得到与所述待比对字段对应的目标预设字段的步骤,包括:步骤S102a到步骤S102d。
步骤S102a:将所述待比对字段与多个预设子字段进行比对,得到所述待比对字段与每个所述预设子字段之间的相似度。
待比对字段与预设子字段之间的相似度,反映了待比对字段与预设子字段之间的相似程度,该相似度包括余弦相似度,可以参照上述实施例中的余弦相似度的计算方式得到,在此不再详述。
步骤S102b:从所述待比对字段与每个所述预设子字段之间的相似度中,得到最大相似度。
最大相似度,为待比对字段与各个预设子字段之间的相似度中的最大的相似度。
步骤S102c:若所述最大相似度大于预设相似度,则将所述最大相似度对应的预设子字段确定为与所述待比对字段对应的目标预设子字段。
预设相似度,为预先设置的相似度,预先设置该相似度的目的是为了提高对目标预设子字段的确定精度,例如,可以将预设相似度设置为0.9,可以理解的是,若预设相似度小,那么,筛选出来的目标预设子字段可能与待比对字段并不是很相似。
在最大相似度大于预设相似度时,将最大相似度对应的预设子字段确定为目标预设子字段。例如,待比对字段为联系电话字段,预设子字段有:telephone字段、银联***字段、NAME字段,于是,联系电话字段与telephone字段、银联***字段、NAME字段之间的相似度分别为:0.95、0.05、0.1,于是,最大相似度为0.95,0.95对应的预设子字段为telephone字段,于是,与待比对字段对应的目标预设子字段为telephone字段。
步骤S102d:根据字段映射表,确定所述目标预设子字段所关联的目标预设字段;所述字段映射表记录了多个预设字段以及与每个预设字段关联的多个预设子字段。
根据字段映射表,确定telephone字段关联的预设字段为:电话字段,于是,将电话字段确定为目标预设字段。
步骤S103:根据字段规则表,确定所述目标预设字段对应的目标比对规则。
字段规则表记录了预设字段和预设字段的至少一个比对规则,对于每个预设字段,设置了至少一个比对规则,以满足多样化的比对需求。目标比对规则,为目标预设字段的至少一个比对规则中的一个。例如,预设字段为身份证号字段,为身份证号字段设置了2个比对规则,比对规则1为只能包括数字;比对规则2为只能包括数字和字母X。再如,预设字段为银行***字段,为银行***字段设置了2个比对规则,比对规则1为:必须以数字6开头,只能包括数字,位数为19位;比对规则2为必须以数字6开头,只能包括数字。
如表4所示,为字段规则表的一个示例,其中,规则标识,用于唯一标识一个比对规则。
表4
在一个实施例中,待比对数据表中还包括所述待比对字段对应的指定比对规则;根据字段规则表,确定所述目标预设字段对应的目标比对规则的步骤,包括:步骤a和步骤b。
步骤a:根据字段规则表,确定所述目标预设字段的至少一个比对规则中是否包括所述指定比对规则。
指定比对规则,是为待比对字段设置的比对规则,用户指示需要按照该设置的比对规则对待比对字段进行比对。
步骤b:若包括,则将所述指定比对规则确定为所述目标预设字段对应的目标比对规则。
例如,待比对字段对应的目标预设字段为预设字段N,指定比对规则为比对规则M,于是,确定预设字段N对应的3个比对规则中是否存在比对规则M,若存在,则确定目标比对规则为比对规则M。
在待比对数据表中包括待比对字段对应的指定比对规则时,将字段规则表中相应的指定次数+1。例如,待比对字段对应的目标预设字段为预设字段N,指定比对规则为比对规则M,预设字段N对应的3个比对规则中存在比对规则M,于是,将比对规则M对应的指定次数+1。
在一个实施例中,比对方法,还包括:
若目标预设字段的至少一个比对规则中不包括所述指定比对规则,则生成提示信息。
再如,待比对字段对应的目标预设字段为预设字段N,指定比对规则为比对规则K,于是,确定预设字段N对应的3个比对规则中不存在比对规则K,相应的,生成提示信息,比如,生成的提示信息为:未设置比对规则K对预设字段N进行比对,可以通过操作页面单元对提示信息进行反馈。
在一个实施例中,根据字段规则表,确定所述目标预设字段对应的目标比对规则的步骤,包括:确定字段规则表记录的目标预设字段对应的至少一个比对规则中,指定次数最多的比对规则,将指定次数最多的比对规则作为目标预设字段对应的目标比对规则。
指定次数,为比对规则被指定的次数。
在待比对数据表中不包括待比对字段对应的指定比对规则时,说明用户未指定待比对字段的比对规则,于是,可以根据目标预设字段对应的各个比对规则的指定次数,得到指定次数最多的比对规则,并将该规则作为目标比对规则。例如,目标预设字段为预设字段2,预设字段2的比对规则1的指定次数为20,预设字段2的比对规则2的指定次数为30,于是,目标比对规则为比对规则2。
步骤S104:根据所述目标比对规则,对所述待比对字段对应的字段内容进行比对处理,得到所述待比对字段的比对结果。
规则单元20中的规则引擎首先获取目标比对规则对应的规则脚本,然后将目标比对规则对应的规则脚本转换为Java代码,最后,按照转换后的Java代码执行,对待比对字段对应的字段内容进行比对,得到待比对字段的比对结果。其中,规则脚本是为比对规则设置的脚本,规则脚本可以是通过Aviator编写的。
待比对字段的比对结果,包括每个字段内容的比对结果,字段内容的比对结果包括比对通过和比对失败,例如,若待比对字段为身份证号字段,比对规则为:只能包括数字,身份证号字段有3个字段内容,分别为:5102411111,5X02411111,5104411111,于是,5102411111的比对结果将为比对通过,5X02411111的比对结果将为比对失败,5104411111的比对结果将为比对通过。
本实施例所提供的比对方法,基于字段实现数据比对,这样,即使有不同的数据表,特别是有相同字段的数据表,不需要为这些数据表分别设计比对代码,而只需要设计字段比对的代码,提高了比对效率,并且,得到了待比对字段对应的目标预设字段,然后通过目标预设字段对应的目标比对规则对待比对字段对应的字段内容进行比对处理,也在一定程度上提高了比对成功率。
在一个实施例中,若是比对发生了错误,则还可以过段时间再次比对,以比对通过,比对方法,还包括:
在监听到所述待比对字段的比对结果为目标错误结果时,获取所述目标错误结果对应的比对唤醒策略。
根据所述比对唤醒策略得到所述待比对字段对应的重新比对时间。
在所述重新比对时间到达时,对所述待比对字段对应的字段内容进行比对处理。
目标错误结果,是多个错误结果中的一个,其中,错误结果,是指比对过程中发生了异常导致比对失败的结果。重新比对时间,为重新启动比对的时间。例如,总共有3个错误结果,错误结果1的错误代码为001,意味着比对过程中发生了操作***升级导致比对中断,错误结果2的错误代码为010,意味着比对过程中接收到了暂停指令导致比对中断,错误结果的错误代码为011,意味着比对过程中发生了断电导致比对中断。通过错误唤醒表,如表5,可以得到目标错误结果的比对唤醒策略,错误唤醒表记录了错误结果以及错误结果对应的比对唤醒策略。例如,待比对字段的比对结果为001,则目标错误结果为错误结果1,当前时间是12:30:31,于是,重新比对时间为18:30:31,在18:30:31时,根据目标比对规则,对待比对字段对应的字段内容进行比对处理,得到待比对字段的比对结果。
表5
在一个实施例中,基于字段进行比对结果的汇总,便于后续针对字段的比对结果进行统计分析,比对方法,还包括:
将所述待比对字段的比对结果添加至所述目标预设字段对应的比对结果汇总表中;
响应汇总表操作指令,对所述比对结果汇总表进行处理。
预设字段对应的比对结果汇总表,是为预设字段设置的比对结果汇总表,用于对包含相同的预设字段的多个数据表,针对该相同的预设字段的比对结果进行汇总。例如,目标预设字段为姓名字段,数据表A和数据表B中都包含姓名字段,于是,姓名字段对应的比对结果汇总表中会记录数据表A中的姓名字段的字段内容的比对结果以及数据表B中的姓名字段的字段内容的比对结果。
在得到待比对字段的比对结果之后,将待比对字段的比对结果添加至目标预设字段对应的比对结果汇总表中,从而,便于后续针对字段的比对结果进行统计分析。
汇总表操作指令,为针对预设字段对应的比对结果汇总表进行操作的指令。例如,汇总表操作指令为统计失败指令,于是,响应统计失败指令,统计得到比对失败的字段内容的个数,然后将比对失败的字段内容的个数除以字段内容的总数,得到比对失败比例,如图5所示,用户点击“失败统计”按钮,结果展示单元70将检测到统计失败指令,于是,结果展示单元70响应于统计失败指令,对比对结果汇总表进行处理,得到比对失败比例为3/8。例如,汇总表操作指令为总数统计指令,响应总数统计指令,对预设字段包含的字段内容的总数进行统计,得到总数统计结果,如图5所示,用户点击“总数统计”按钮,结果展示单元70将检测到总数统计指令,于是,结果展示单元70响应于总数统计指令,对比对结果汇总表进行处理,得到总数统计结果为8。
在一个实施例中,比对方法,还包括:在当前时间为目标预设时间时,响应所述目标预设时间对应的汇总表操作指令,对所述比对结果汇总表进行处理。
目标预设时间,为多个预设时间中的一个,预设时间,为预先设置的时间,不同的预设时间,汇总表操作指令不同。例如,预设时间1,汇总表操作指令为统计失败指令,预设时间2,汇总表操作指令为总数统计指令。
需要知晓的是,统计失败指令、总数统计指令,只是两个汇总表操作指令的示例,还可以有更多的汇总表操作指令,例如,对象内容提取指令,当用户点击图5中的“对象内容提取”按钮之后,结果展示单元70将检测到对象内容提取指令,并且,对象内容提取指令中包括对象标识,对象标识用于唯一标识一个对象,于是,结果展示单元70响应于对象内容提取指令,从每个预设字段对应的比对结果汇总表中,得到对象标识在该预设字段的比对内容的比对结果,将对象标识在多个预设字段的比对内容的比对结果进行汇总,并通过结果展示单元70的结果操作页面进行显示。
如图1所示,本实施例提供一种比对设备100,包括:执行单元10和规则单元20;
所述执行单元10用于获取待比对数据表中的待比对字段以及所述待比对字段对应的字段内容;
所述规则单元20用于将所述待比对字段与多个预设子字段进行比对,得到与所述待比对字段对应的目标预设字段;
所述规则单元20还用于根据字段规则表,确定所述目标预设字段对应的目标比对规则;所述字段规则表记录了预设字段和所述预设字段的至少一个比对规则;
所述规则单元20还用于根据所述目标比对规则,对所述待比对字段对应的字段内容进行比对处理,得到所述待比对字段的比对结果,将所述待比对字段的比对结果发送给所述执行单元10。
可选的,所述规则单元20还用于:
将所述待比对字段与多个预设子字段进行比对,得到与所述待比对字段相同的目标预设子字段;
根据字段映射表,确定所述目标预设子字段所关联的目标预设字段;所述字段映射表记录了多个预设字段以及与每个预设字段关联的多个预设子字段,所述预设子字段表征与所述预设字段有相同字段含义的扩充字段。
可选的,所述规则单元20还用于:
将所述待比对字段与多个预设子字段进行比对,得到所述待比对字段与每个所述预设子字段之间的相似度;
从所述待比对字段与每个所述预设子字段之间的相似度中,得到最大相似度;
若所述最大相似度大于预设相似度,则将所述最大相似度对应的预设子字段确定为与所述待比对字段对应的目标预设子字段;
根据字段映射表,确定所述目标预设子字段所关联的目标预设字段;所述字段映射表记录了多个预设字段以及与每个预设字段关联的多个预设子字段,所述预设子字段表征与所述预设字段有相同字段含义的扩充字段。
可选的,所述待比对数据表中还包括所述待比对字段对应的指定比对规则;所述规则单元20还用于:
根据字段规则表,确定所述目标预设字段的至少一个比对规则中是否包括所述指定比对规则;
若包括,则将所述指定比对规则确定为所述目标预设字段对应的目标比对规则。
可选的,所述比对设备还包括操作页面单元40和存储单元30,所述操作页面单元40用于:响应于操作页面的比对事件,获取比对事件中的表标识以及字段标识,将所述表标识以及字段标识发送至所述执行单元10;
所述执行单元10还用于根据所述表标识,从存储单元30存储的数据中,得到所述表标识对应的待比对数据表,所述待比对数据表中包括多个字段和每个字段对应的字段内容;
所述执行单元10还用于根据所述字段标识,从所述多个字段和每个字段对应的字段内容中,得到所述待比对字段和所述待比对字段对应的字段内容。
存储单元30可以基于ElasticSearch作为存储容器。比对设备100还可以包括多种数据接收单元,例如,文件接收单元、数据库接收单元、爬虫单元,通过多种数据接收单元能够获取到各种各样的数据,也能实现各种渠道获取数据。数据接收单元将获取到的数据发送至存储单元30,存储单元30按照自身数据存储的格式,对数据接收单元发送的数据进行格式处理后存储。
可选的,所述比对设备还包括存储单元30,所述执行单元10还用于:
在当前时间为目标指定时间时,获取所述目标指定时间对应的表标识和字段标识;不同指定时间对应的表标识不同;
根据所述表标识,从存储单元30存储的数据中,得到所述表标识对应的待比对数据表,所述待比对数据表中包括多个字段和每个字段对应的字段内容;
根据所述字段标识,从所述多个字段和每个字段对应的字段内容中,得到所述待比对字段和所述待比对字段对应的字段内容。
可选的,所述执行单元10还用于:
根据所述字段标识,从所述多个字段中,得到所述字段标识对应的初步待比对字段;
将所述初步待比对字段与至少一个白名单字段进行比对,得到所述待比对字段;
从所述每个字段对应的字段内容中,得到所述待比对字段对应的字段内容。
可选的,所述比对设备,还包括:监听单元;
所述监听单元用于:在监听到所述待比对字段的比对结果为目标错误结果时,获取所述目标错误结果对应的比对唤醒策略;
所述监听单元还用于:根据所述比对唤醒策略得到所述待比对字段对应的重新比对时间,将所述重新比对时间发送至规则单元20;
所述规则单元20还用于:在所述重新比对时间到达时,根据所述目标比对规则,对所述待比对字段对应的字段内容进行比对处理。
可选的,所述比对设备,还包括:结果展示单元70;
所述执行单元10还用于将所述待比对字段的比对结果发送至所述结果展示单元70;
所述结果展示单元70用于:将所述待比对字段的比对结果添加至所述目标预设字段对应的比对结果汇总表中;
所述结果展示单元70还用于:响应汇总表操作指令,对所述比对结果汇总表进行处理。
本发明实施例所提供的比对方法和比对设备,属于相同的发明构思,因此,比对方法和比对设备实施例中的内容,可相互适用。
综上,本发明实施例提供的比对方法和比对设备,基于字段实现数据比对,这样,即使有不同的数据表,特别是有相同字段的数据表,不需要为这些数据表分别设计比对代码,而只需要设计字段比对的代码,提高了比对效率,并且,得到了待比对字段对应的目标预设字段,然后通过目标预设字段对应的目标比对规则对待比对字段对应的字段内容进行比对处理,也在一定程度上提高了比对成功率。
以上所述,仅为本发明的各种实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种比对方法,其特征在于,包括:
获取待比对数据表中的待比对字段以及所述待比对字段对应的字段内容;
将所述待比对字段与多个预设子字段进行比对,得到与所述待比对字段对应的目标预设字段;
根据字段规则表,确定所述目标预设字段对应的目标比对规则;所述字段规则表记录了预设字段和所述预设字段的至少一个比对规则;
根据所述目标比对规则,对所述待比对字段对应的字段内容进行比对处理,得到所述待比对字段的比对结果。
2.根据权利要求1所述的比对方法,其特征在于,所述将所述待比对字段与多个预设子字段进行比对,得到与所述待比对字段对应的目标预设字段,包括:
将所述待比对字段与多个预设子字段进行比对,得到与所述待比对字段相同的目标预设子字段;
根据字段映射表,确定所述目标预设子字段所关联的目标预设字段;所述字段映射表记录了多个预设字段以及与每个预设字段关联的多个预设子字段,所述预设子字段表征与所述预设字段有相同字段含义的扩充字段。
3.根据权利要求1所述的比对方法,其特征在于,所述将所述待比对字段与多个预设子字段进行比对,得到与所述待比对字段对应的目标预设字段,包括:
将所述待比对字段与多个预设子字段进行比对,得到所述待比对字段与每个所述预设子字段之间的相似度;
从所述待比对字段与每个所述预设子字段之间的相似度中,得到最大相似度;
若所述最大相似度大于预设相似度,则将所述最大相似度对应的预设子字段确定为与所述待比对字段对应的目标预设子字段;
根据字段映射表,确定所述目标预设子字段所关联的目标预设字段;所述字段映射表记录了多个预设字段以及与每个预设字段关联的多个预设子字段,所述预设子字段表征与所述预设字段有相同字段含义的扩充字段。
4.根据权利要求1所述的比对方法,其特征在于,所述待比对数据表中还包括所述待比对字段对应的指定比对规则;
所述根据字段规则表,确定所述目标预设字段对应的目标比对规则,包括:
根据字段规则表,确定所述目标预设字段的至少一个比对规则中是否包括所述指定比对规则;
若包括,则将所述指定比对规则确定为所述目标预设字段对应的目标比对规则。
5.根据权利要求1所述的比对方法,其特征在于,所述获取待比对数据表中的待比对字段以及所述待比对字段对应的字段内容,包括:
响应于操作页面的比对事件,获取比对事件中的表标识以及字段标识;
根据所述表标识,从本地存储的数据中,得到所述表标识对应的待比对数据表,所述待比对数据表中包括多个字段和每个字段对应的字段内容;
根据所述字段标识,从所述多个字段和每个字段对应的字段内容中,得到所述待比对字段和所述待比对字段对应的字段内容。
6.根据权利要求1所述的比对方法,其特征在于,所述获取待比对数据表中的待比对字段以及所述待比对字段对应的字段内容,包括:
在当前时间为目标指定时间时,获取所述目标指定时间对应的表标识和字段标识;不同指定时间对应的表标识不同;
根据所述表标识,从本地存储的数据中,得到所述表标识对应的待比对数据表,所述待比对数据表中包括多个字段和每个字段对应的字段内容;
根据所述字段标识,从所述多个字段和每个字段对应的字段内容中,得到所述待比对字段和所述待比对字段对应的字段内容。
7.根据权利要求5或6所述的比对方法,其特征在于,所述根据所述字段标识,从所述多个字段和每个字段对应的字段内容中,得到所述待比对字段和所述待比对字段对应的字段内容,包括:
根据所述字段标识,从所述多个字段中,得到所述字段标识对应的初步待比对字段;
将所述初步待比对字段与至少一个白名单字段进行比对,得到所述待比对字段;
从所述每个字段对应的字段内容中,得到所述待比对字段对应的字段内容。
8.根据权利要求1所述的比对方法,其特征在于,所述方法,还包括:
在监听到所述待比对字段的比对结果为目标错误结果时,获取所述目标错误结果对应的比对唤醒策略;
根据所述比对唤醒策略得到所述待比对字段对应的重新比对时间;
在所述重新比对时间到达时,对所述待比对字段对应的字段内容进行比对处理。
9.根据权利要求1所述的比对方法,其特征在于,所述方法,还包括:
将所述待比对字段的比对结果添加至所述目标预设字段对应的比对结果汇总表中;
响应汇总表操作指令,对所述比对结果汇总表进行处理。
10.一种比对设备,其特征在于,包括:执行单元和规则单元;
所述执行单元用于获取待比对数据表中的待比对字段以及所述待比对字段对应的字段内容;
所述规则单元用于将所述待比对字段与多个预设子字段进行比对,得到与所述待比对字段对应的目标预设字段;
所述规则单元还用于根据字段规则表,确定所述目标预设字段对应的目标比对规则;所述字段规则表记录了预设字段和所述预设字段的至少一个比对规则;
所述规则单元还用于根据所述目标比对规则,对所述待比对字段对应的字段内容进行比对处理,得到所述待比对字段的比对结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210687334.5A CN115185988A (zh) | 2022-06-16 | 2022-06-16 | 比对方法和比对设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210687334.5A CN115185988A (zh) | 2022-06-16 | 2022-06-16 | 比对方法和比对设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115185988A true CN115185988A (zh) | 2022-10-14 |
Family
ID=83512728
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210687334.5A Pending CN115185988A (zh) | 2022-06-16 | 2022-06-16 | 比对方法和比对设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115185988A (zh) |
-
2022
- 2022-06-16 CN CN202210687334.5A patent/CN115185988A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11038975B2 (en) | Information pushing method and device | |
US11153236B2 (en) | Real-time integration of machine intelligence into client messaging platforms | |
EP3396558B1 (en) | Method for user identifier processing, terminal and nonvolatile computer readable storage medium thereof | |
JP2008508597A (ja) | ヘルプユーティリティアプリケーションプログラム | |
CN106034138A (zh) | 一种远程服务调用方法及装置 | |
CN110688305A (zh) | 测试环境同步方法、装置、介质、电子设备 | |
CN109978114B (zh) | 数据处理方法、装置、服务器及存储介质 | |
CN111045848A (zh) | 日志分析方法、终端设备及计算机可读存储介质 | |
CN113326539B (zh) | 针对小程序进行隐私数据泄露检测的方法、装置及*** | |
CN113221036B (zh) | 电子票据邮件的处理方法及装置 | |
CN112988812B (zh) | 库存数据的处理方法、装置、设备及存储介质 | |
US9998341B2 (en) | Method of constructing data collector, server performing the same and storage medium for the same | |
CN110321246B (zh) | 一种故障处理方法及装置 | |
US7778660B2 (en) | Mobile communications terminal, information transmitting system and information receiving method | |
CN111538672A (zh) | 测试案例分层测试方法、计算机设备及计算机可读存储介质 | |
CN115185988A (zh) | 比对方法和比对设备 | |
US20150347529A1 (en) | System and method for contextual workflow automation | |
CN117479171B (zh) | 一种nfc名片的交互方法及计算机设备 | |
CN112165556B (zh) | 基于主叫方检测的呼叫方法和设备 | |
CN112165555B (zh) | 基于被叫方检测的呼叫方法和设备 | |
CN113891263B (zh) | 短信服务***及其同步发送方法、异步发送方法 | |
CN113515305B (zh) | 配置信息确定方法、配置快照生成方法及装置 | |
CN113364775B (zh) | 微服务的调用方法、装置及服务器 | |
CN116483834A (zh) | 数据索引添加方法及装置、存储介质、计算机设备 | |
CN114254027A (zh) | 数据处理方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |