CN110471902B - 基于元数据模型进行合标的数据处理方法及装置 - Google Patents
基于元数据模型进行合标的数据处理方法及装置 Download PDFInfo
- Publication number
- CN110471902B CN110471902B CN201910653984.6A CN201910653984A CN110471902B CN 110471902 B CN110471902 B CN 110471902B CN 201910653984 A CN201910653984 A CN 201910653984A CN 110471902 B CN110471902 B CN 110471902B
- Authority
- CN
- China
- Prior art keywords
- metadata
- bidding
- metadata model
- new
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/211—Schema design and management
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种基于元数据模型进行合标的数据处理方法及装置,其中方法通过包括:获取新元数据;确定所述新元数据对应的新元数据模型;将所述新元数据模型与元数据模型库中的已有元数据模型进行合标,并得到合标结果;根据所述合标结果对所述新元数据进行处理。达到了可以自动化进行合标的目的,从而实现了可以代替人工完成重复而繁重的工作,更加高效准确地进行元数据模型分析,进而采用本申请方案的元数据模型管理***可根据合标的结果作出相应处理的技术效果。
Description
技术领域
本申请涉及数据处理技术领域,具体而言,涉及一种基于元数据模型进行合标的数据处理方法及装置。
背景技术
元数据是定义真实数据的格式,类型和长度,范围等各种属性的基础数据。符合元数据定义的一系列具体数据,可以由符合相同元数据定义的终端读取、处理和存储。元数据是可以复用的。已经通过真实数据格式分析得出的元数据模型可以保存到元数据存储***。当需要分析新的元数据模型时,可将新模型与来自存储***的现有模型进行对比,并根据对比的结果进行后续操作。
存储并操作大量元数据模型时,需要元数据管理***。元数据管理***具备从多种来源抽取元数据的能力。必要时扫描各种元数据来源并定期更新元数据存储库。根据元数据模型的特点,在更新元数据存储库的过程中可以自动进行相似性、相等性检查,判断元数据模型是否符合特定标准。
对于数据库表进行合标分析的作用是显然的:符合数据表结构的数据才能进行存储,这里表的定义就是一种元数据。另外,分析一系列已有数据表是否符合某一版本的现行标准也属于合标工作的内容。过去,这一操作是人工进行的。当表的数量很大时,任务耗时长。而且人工比对可能出现遗漏,或其它错误。
针对相关技术中存在的诸多技术问题,目前尚未提出有效的解决方案。
发明内容
本申请的主要目的在于提供一种基于元数据模型进行合标的数据处理方法及装置,以解决相关技术中存在的至少一个技术问题。
为了实现上述目的,根据本申请的一个方面,提供了一种基于元数据模型进行合标的数据处理方法。
所述基于元数据模型进行合标的数据处理方法包括:
获取新元数据;
确定所述新元数据对应的新元数据模型;
将所述新元数据模型与元数据模型库中的已有元数据模型进行合标,并得到合标结果;
根据所述合标结果对所述新元数据进行处理。
进一步的,如前述的基于元数据模型进行合标的数据处理方法,将所述新元数据模型与元数据模型库中的已有元数据模型进行合标,包括:
确定所述新元数据模型与已有元数据模型之间的合标方式;
根据所述合标方式将所述新元数据模型与所述已有元数据模型进行合标。
进一步的,如前述的基于元数据模型进行合标的数据处理方法,所述确定所述新元数据模型与已有元数据模型之间的合标方式,根据所述合标方式将所述新元数据模型与所述已有元数据模型进行合标包括:
将一个所述新元数据模型与所述元数据模型库中任一已有元数据模型进行合标;用于判断是否存在与所述新元数据模型一致的已有元数据模型;
将一个所述新元数据模型与多个所述已有元数据模型进行合标;用于判断是否存在能够组成所述新元数据模型的多个已有元数据模型;
将多个所述新元数据模型与任一所述已有元数据模型进行合标;用于判断是否存在包括多个所述新元数据模型的组合体的一个已有元数据模型;
将多个所述新元数据模型与多个所述已有元数据模型进行合标;用于判断是否存在能够组成多个所述新元数据模型的组合体的多个已有元数据模型。
进一步的,如前述的基于元数据模型进行合标的数据处理方法,将多个所述新元数据模型与多个所述已有元数据模型进行合标,包括:
将多个所述新元数据模型进行联合,构成第一新元数据模型组;
将所述第一新元数据模型组与多个所述已有元数据模型进行合标;以及
确定多个所述新元数据模型的重复项,对所述重复项去重之后,组成第二新元数据模型组;
将所述第二新元数据模型组与多个所述已有元数据模型进行合标。
进一步的,如前述的基于元数据模型进行合标的数据处理方法,所述根据所述合标结果对所述新元数据进行处理,包括:
在所述合标结果为完全符合时,通过所述已有元数据模型保存新元数据;
在所述合标结果为部分符合时,复用所述已有元数据模型中符合部分,新建不符合部分,根据所述符合部分以及不符合部分生成第一元数据模型,并保存到所述元数据模型库中;
在所述合标结果为完全不符合时,将所述新元数据模型保存到所述元数据模型库中;以及
放弃所述合标结果,重新进行比对。
为了实现上述目的,根据本申请的另一方面,提供了一种基于元数据模型进行合标的数据处理装置。
根据本申请的基于元数据模型进行合标的数据处理装置包括:获取单元,用于获取新元数据;
模型确定单元,用于确定所述新元数据对应的新元数据模型;
合标单元,用于将所述新元数据模型与元数据模型库中的已有元数据模型进行合标,并得到合标结果;
处理单元,用于根据所述合标结果对所述新元数据进行处理。
进一步的,如前述的基于元数据模型进行合标的数据处理装置,所述合标单元具体用于:
确定所述新元数据模型与已有元数据模型之间的合标方式;
根据所述合标方式将所述新元数据模型与所述已有元数据模型进行合标。
进一步的,如前述的基于元数据模型进行合标的数据处理装置,所述合标单元包括:
第一合标模块,用于将一个所述新元数据模型与所述元数据模型库中任一已有元数据模型进行合标;用于判断是否存在与所述新元数据模型一致的已有元数据模型;
第二合标模块,用于将一个所述新元数据模型与多个所述已有元数据模型进行合标;用于判断是否存在能够组成所述新元数据模型的多个已有元数据模型;
第三合标模块,用于将多个所述新元数据模型与任一所述已有元数据模型进行合标;用于判断是否存在包括多个所述新元数据模型的组合体的一个已有元数据模型;
多对多合标子单元,用于将多个所述新元数据模型与多个所述已有元数据模型进行合标;用于判断是否存在能够组成多个所述新元数据模型的组合体的多个已有元数据模型。
进一步的,如前述的基于元数据模型进行合标的数据处理装置,所述多对多合标子单元包括:第四合标模块和第五合标模块;
所述第四合标模块,用于
将多个所述新元数据模型进行联合,构成第一新元数据模型组;
将所述第一新元数据模型组与多个所述已有元数据模型进行合标;
所述第五合标模块,用于
确定多个所述新元数据模型的重复项,对所述重复项去重之后,组成第二新元数据模型组;
将所述第二新元数据模型组与多个所述已有元数据模型进行合标。
进一步的,如前述的基于元数据模型进行合标的数据处理装置,所述处理单元包括:
第一处理模块,用于在所述合标结果为完全符合时,通过所述已有元数据模型保存新元数据;
第二处理模块,用于在所述合标结果为部分符合时,复用所述已有元数据模型中符合部分,新建不符合部分,根据所述符合部分以及不符合部分生成第一元数据模型,并保存到所述元数据模型库中;
第三处理模块,用于在所述合标结果为完全不符合时,将所述新元数据模型保存到所述元数据模型库中;以及
重新合标模块,用于放弃所述合标结果,重新进行合标。
在本申请实施例中,采用一种基于元数据模型进行合标的数据处理方法及装置的方式,其中方法通过包括:获取新元数据;确定所述新元数据对应的新元数据模型;将所述新元数据模型与元数据模型库中的已有元数据模型进行合标,并得到合标结果;根据所述合标结果对所述新元数据进行处理。达到了可以自动化进行合标的目的,从而实现了可以代替人工完成重复而繁重的工作,更加高效准确地进行元数据模型分析,进而采用本申请方案的元数据模型管理***可根据合标的结果作出相应处理的技术效果。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解,使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请一种实施例的基于元数据模型进行合标的数据处理方法的流程示意图;
图2是根据本申请一种实施例的基于元数据模型进行合标的数据处理装置的功能模块结构示意图;以及
图3是根据本申请一种实施例的合标流程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请中,术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例,并非用于限定所指示的装置、元件或组成部分必须具有特定方位,或以特定方位进行构造和操作。
并且,上述部分术语除了可以用于表示方位或位置关系以外,还可能用于表示其他含义,例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言,可以根据具体情况理解这些术语在本申请中的具体含义。
此外,术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如,可以是固定连接,可拆卸连接,或整体式构造;可以是机械连接,或电连接;可以是直接相连,或者是通过中间媒介间接相连,又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言,可以根据具体情况理解上述术语在本申请中的具体含义。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了实现上述目的,根据本申请的一个方面,提供了一种基于元数据模型进行合标的数据处理方法。如图1所示,该方法包括如下的步骤S1至步骤S4:
S1.获取新元数据;具体的,此处的所述新元数据可以是一个或多个;且所述新元数据可以是包括数据表形式的数据;
S2.确定所述新元数据对应的新元数据模型;也就是说,每个所述新元数据都有其对应的所述新元数据模型;
S3.将所述新元数据模型与元数据模型库中的已有元数据模型进行合标,并得到合标结果;
具体的,当所述新元数据是数据表的时候,分析一个或多个获取得到的数据表的是否符合某一版本的现行标准;如果不符合,则需要根据获取得到的所述数据表生成新的标准的数据表用于存储获取的数据表中的数据;
S4.根据所述合标结果对所述新元数据进行处理;
也就是说,当存在所述新元数据的元数据模型一致的已有元数据模型时,则可直接进行存储,当不存在时,则需生成与所述新元数据对应的模型才能进行所述新元数据的存储。
在一些实施例中,如前述的基于元数据模型进行合标的数据处理方法,将所述新元数据模型与元数据模型库中的已有元数据模型进行合标,包括:
确定所述新元数据模型与已有元数据模型之间的合标方式;
也就是说,合标方式存在多种,新元数据的数量以及用于合标的已有元数据模型的数量等信息在内的多种信息均可作为合标方式选择的参考信息;
根据所述合标方式将所述新元数据模型与所述已有元数据模型进行合标。
如图3所示,在一些实施例中,如前述的基于元数据模型进行合标的数据处理方法,所述确定所述新元数据模型与已有元数据模型之间的合标方式,根据所述合标方式将所述新元数据模型与所述已有元数据模型进行合标包括:
将一个所述新元数据模型与所述元数据模型库中任一已有元数据模型进行合标;用于判断是否存在与所述新元数据模型一致的已有元数据模型;
举例的,一个新元数据模型对一个现有元数据模型合标:选择一个现有***中最有可能和一个新元数据匹配的元数据模型,进行相等性,相似性合标分析。或者自动将新元数据模型和每一个***已有模型进行比对,并得出最有可能符合新元数据模型的已有模型;一般的,所述相等性,相似性合标可以通过设定具体的规则或标准进行判断;只需满足该标准即可判断所述新元数据模型与所述已有元数据模型相等或近似;
将一个所述新元数据模型与多个所述已有元数据模型进行合标;用于判断是否存在能够组成所述新元数据模型的多个已有元数据模型;
举例的,一个新元数据模型对多个现有元数据模型合标:选择多个现有***中最有可能和一个新元数据匹配的元数据模型,进行相等性,相似性合标分析。被选择的多个已有模型组合起来符合新元数据模型。此过程在用户指定选取已有模型个数n的情形下可以自动全局匹配。已有模型越多,n值越大,运行时间将越长。
将多个所述新元数据模型与任一所述已有元数据模型进行合标;用于判断是否存在包括多个所述新元数据模型的组合体的一个已有元数据模型;
举例的,多个新元数据模型对一个现有元数据模型合标:选择一个现有***中最有可能和多个新元数据匹配的元数据模型,进行相等性,相似性合标分析。被选择的一个已有模型,可能是多个新元数据模型的组合体,符合新元数据模型。此过程可以自动全局匹配。已有模型越多,新元数据模型个数n值越大,运行时间将越长。
将多个所述新元数据模型与多个所述已有元数据模型进行合标;用于判断是否存在能够组成多个所述新元数据模型的组合体的多个已有元数据模型。
具体的,当多个新元数据模型与多个已有元数据模型进行合标时,需要对所述新元数据进行联合,优选的,为了使合标时的匹配过程达到最佳的匹配效果,因此会根据不同的新元数据模型的排列顺序联合成不同的次序,例如当存在新元数据模型:A、B、C时;则会得到不同的次序ABC、ACB、BAC、BCA、CAB和CBA共六个组合,由于每个新元数据模型中的格式也各不相同,因此,不同次序排列会得到的联合得到的组合体也各不相同。优选的,选择合标结果符合度最高的排序作为输出的组合体的排序方法。
如图3所示,在一些实施例中,如前述的基于元数据模型进行合标的数据处理方法,将多个所述新元数据模型与多个所述已有元数据模型进行合标,包括:
将多个所述新元数据模型进行联合,构成第一新元数据模型组;
将所述第一新元数据模型组与多个所述已有元数据模型进行合标;
具体的,当多个新元数据模型对多个现有元数据模型顺序合标:选择多个现有***中最有可能和多个新元数据匹配的元数据模型,进行相等性,相似性合标分析。被选择的多个已有模型的组合体,可能是多个新元数据模型的组合体,符合新元数据模型。此过程可以自动全局匹配。已有模型越多,新元数据模型个数n值越大,运行时间将越长。此过程考虑新/旧元数据模型出现的顺序。
确定多个所述新元数据模型的重复项,对所述重复项去重之后,组成第二新元数据模型组;
将所述第二新元数据模型组与多个所述已有元数据模型进行合标。
具体的,多个新元数据模型对多个现有元数据模型交叉合标:选择多个现有***中最有可能和多个新元数据匹配的元数据模型,进行相等性,相似性合标分析。被选择的多个已有模型的组合体,可能是多个新元数据模型的组合体,符合新元数据模型。此过程可以自动全局匹配。已有模型越多,新元数据模型个数n值越大,运行时间将越长。此过程不考虑新/旧元数据模型出现的顺序。可以在组合过程中剔除多个新/旧模型中的重复项,并按一定规则排序后进行比对,提高效率。
符合的定义:符合可以是相等,也可以是相似即可。
在一些实施例中,如前述的基于元数据模型进行合标的数据处理方法,所述根据所述合标结果对所述新元数据进行处理,包括:
在所述合标结果为完全符合时,通过所述已有元数据模型保存新元数据;
在所述合标结果为部分符合时,复用所述已有元数据模型中符合部分,新建不符合部分,根据所述符合部分以及不符合部分生成第一元数据模型,并保存到所述元数据模型库中;
在所述合标结果为完全不符合时,将所述新元数据模型保存到所述元数据模型库中;以及
放弃所述合标结果,重新进行比对。
具体的,如图3所示:
在完全符合时:直接使用现有模型保存新元数据模型对应的数据;
在部分符合时:复用现有模型中符合的部分,并新建不符合的部分,形成新的现有元数据模型并保存到元数据模型库;
在完全不符合时:可直接将新元数据模型存入元数据模型库中;
以上三种结果均可被用户放弃,并重新进行比对。同时,每一种比对结果可由用户进行强制修改。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
根据本发明实施例,还提供了一种用于实施上述基于元数据模型进行合标的数据处理方法的基于元数据模型进行合标的数据处理装置,如图2所示,该装置包括:为了实现上述目的,根据本申请的另一方面,提供了一种基于元数据模型进行合标的数据处理装置。
根据本申请的基于元数据模型进行合标的数据处理装置包括:
获取单元1,用于获取新元数据;
模型确定单元2,用于确定所述新元数据对应的新元数据模型;
合标单元3,用于将所述新元数据模型与元数据模型库中的已有元数据模型进行合标,并得到合标结果;
处理单元4,用于根据所述合标结果对所述新元数据进行处理。
具体的,本发明实施例的装置中各模块实现其功能的具体过程可参见方法实施例中的相关描述,此处不再赘述。
在一些实施例中,如前述的基于元数据模型进行合标的数据处理装置,所述合标单元具体用于:
确定所述新元数据模型与已有元数据模型之间的合标方式;
根据所述合标方式将所述新元数据模型与所述已有元数据模型进行合标。
具体的,本发明实施例的装置中各模块实现其功能的具体过程可参见方法实施例中的相关描述,此处不再赘述。
在一些实施例中,如前述的基于元数据模型进行合标的数据处理装置,所述合标单元包括:
第一合标模块,用于将一个所述新元数据模型与所述元数据模型库中任一已有元数据模型进行合标;用于判断是否存在与所述新元数据模型一致的已有元数据模型;
第二合标模块,用于将一个所述新元数据模型与多个所述已有元数据模型进行合标;用于判断是否存在能够组成所述新元数据模型的多个已有元数据模型;
第三合标模块,用于将多个所述新元数据模型与任一所述已有元数据模型进行合标;用于判断是否存在包括多个所述新元数据模型的组合体的一个已有元数据模型;
多对多合标子单元,用于将多个所述新元数据模型与多个所述已有元数据模型进行合标;用于判断是否存在能够组成多个所述新元数据模型的组合体的多个已有元数据模型。
具体的,本发明实施例的装置中各模块实现其功能的具体过程可参见方法实施例中的相关描述,此处不再赘述。
在一些实施例中,如前述的基于元数据模型进行合标的数据处理装置,所述多对多合标子单元包括:第四合标模块和第五合标模块;
所述第四合标模块,用于
将多个所述新元数据模型进行联合,构成第一新元数据模型组;
将所述第一新元数据模型组与多个所述已有元数据模型进行合标;
所述第五合标模块,用于
确定多个所述新元数据模型的重复项,对所述重复项去重之后,组成第二新元数据模型组;
将所述第二新元数据模型组与多个所述已有元数据模型进行合标。
具体的,本发明实施例的装置中各模块实现其功能的具体过程可参见方法实施例中的相关描述,此处不再赘述。
在一些实施例中,如前述的基于元数据模型进行合标的数据处理装置,所述处理单元包括:
第一处理模块,用于在所述合标结果为完全符合时,通过所述已有元数据模型保存新元数据;
第二处理模块,用于在所述合标结果为部分符合时,复用所述已有元数据模型中符合部分,新建不符合部分,根据所述符合部分以及不符合部分生成第一元数据模型,并保存到所述元数据模型库中;
第三处理模块,用于在所述合标结果为完全不符合时,将所述新元数据模型保存到所述元数据模型库中;以及
重新合标模块,用于放弃所述合标结果,重新进行合标。
具体的,本发明实施例的装置中各模块实现其功能的具体过程可参见方法实施例中的相关描述,此处不再赘述。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (4)
1.一种基于元数据模型进行合标的数据处理方法,其特征在于,包括:
获取新元数据;
确定所述新元数据对应的新元数据模型;
将所述新元数据模型与元数据模型库中的已有元数据模型进行合标,并得到合标结果,包括:确定所述新元数据模型与已有元数据模型之间的合标方式;
根据所述合标方式将所述新元数据模型与所述已有元数据模型进行合标;其中,所述确定所述新元数据模型与已有元数据模型之间的合标方式,根据所述合标方式将所述新元数据模型与所述已有元数据模型进行合标包括:将一个所述新元数据模型与所述元数据模型库中任一已有元数据模型进行合标;用于判断是否存在与所述新元数据模型一致的已有元数据模型;将一个所述新元数据模型与多个所述已有元数据模型进行合标;用于判断是否存在能够组成所述新元数据模型的多个已有元数据模型;将多个所述新元数据模型与任一所述已有元数据模型进行合标;用于判断是否存在包括多个所述新元数据模型的组合体的一个已有元数据模型;将多个所述新元数据模型与多个所述已有元数据模型进行合标;用于判断是否存在能够组成多个所述新元数据模型的组合体的多个已有元数据模型;
根据所述合标结果对所述新元数据进行处理;根据所述合标结果对所述新元数据进行处理,包括:在所述合标结果为完全符合时,通过所述已有元数据模型保存新元数据;在所述合标结果为部分符合时,复用所述已有元数据模型中符合部分,新建不符合部分,根据所述符合部分以及不符合部分生成第一元数据模型,并保存到所述元数据模型库中;在所述合标结果为完全不符合时,将所述新元数据模型保存到所述元数据模型库中;以及放弃所述合标结果,重新进行比对。
2.根据权利要求1所述的基于元数据模型进行合标的数据处理方法,其特征在于,将多个所述新元数据模型与多个所述已有元数据模型进行合标,包括:
将多个所述新元数据模型进行联合,构成第一新元数据模型组;
将所述第一新元数据模型组与多个所述已有元数据模型进行合标;以及
确定多个所述新元数据模型的重复项,对所述重复项去重之后,组成第二新元数据模型组;
将所述第二新元数据模型组与多个所述已有元数据模型进行合标。
3.一种基于元数据模型进行合标的数据处理装置,其特征在于,包括:
获取单元,用于获取新元数据;
模型确定单元,用于确定所述新元数据对应的新元数据模型;
合标单元,用于将所述新元数据模型与元数据模型库中的已有元数据模型进行合标,并得到合标结果;所述合标单元具体用于:确定所述新元数据模型与已有元数据模型之间的合标方式;根据所述合标方式将所述新元数据模型与所述已有元数据模型进行合标;其中,所述合标单元包括:第一合标模块,用于将一个所述新元数据模型与所述元数据模型库中任一已有元数据模型进行合标;用于判断是否存在与所述新元数据模型一致的已有元数据模型;第二合标模块,用于将一个所述新元数据模型与多个所述已有元数据模型进行合标;用于判断是否存在能够组成所述新元数据模型的多个已有元数据模型;第三合标模块,用于将多个所述新元数据模型与任一所述已有元数据模型进行合标;用于判断是否存在包括多个所述新元数据模型的组合体的一个已有元数据模型;多对多合标子单元,用于将多个所述新元数据模型与多个所述已有元数据模型进行合标;用于判断是否存在能够组成多个所述新元数据模型的组合体的多个已有元数据模型;
处理单元,用于根据所述合标结果对所述新元数据进行处理;其中,所述处理单元包括:第一处理模块,用于在所述合标结果为完全符合时,通过所述已有元数据模型保存新元数据;第二处理模块,用于在所述合标结果为部分符合时,复用所述已有元数据模型中符合部分,新建不符合部分,根据所述符合部分以及不符合部分生成第一元数据模型,并保存到所述元数据模型库中;第三处理模块,用于在所述合标结果为完全不符合时,将所述新元数据模型保存到所述元数据模型库中;以及重新合标模块,用于放弃所述合标结果,重新进行合标。
4.根据权利要求3所述的基于元数据模型进行合标的数据处理装置,其特征在于,所述多对多合标子单元包括:第四合标模块和第五合标模块;
所述第四合标模块,用于
将多个所述新元数据模型进行联合,构成第一新元数据模型组;
将所述第一新元数据模型组与多个所述已有元数据模型进行合标;
所述第五合标模块,用于
确定多个所述新元数据模型的重复项,对所述重复项去重之后,组成第二新元数据模型组;
将所述第二新元数据模型组与多个所述已有元数据模型进行合标。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910653984.6A CN110471902B (zh) | 2019-07-18 | 2019-07-18 | 基于元数据模型进行合标的数据处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910653984.6A CN110471902B (zh) | 2019-07-18 | 2019-07-18 | 基于元数据模型进行合标的数据处理方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110471902A CN110471902A (zh) | 2019-11-19 |
CN110471902B true CN110471902B (zh) | 2022-12-16 |
Family
ID=68509809
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910653984.6A Active CN110471902B (zh) | 2019-07-18 | 2019-07-18 | 基于元数据模型进行合标的数据处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110471902B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116225682A (zh) * | 2022-12-06 | 2023-06-06 | 北京瑞风协同科技股份有限公司 | 一种合标数据服务器及合标数据处理方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106547918A (zh) * | 2016-11-30 | 2017-03-29 | 长城计算机软件与***有限公司 | 一种统计数据的整合方法及*** |
CN109710653A (zh) * | 2018-12-29 | 2019-05-03 | 北京航天数据股份有限公司 | 一种测试数据源配置方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108133000B (zh) * | 2017-12-21 | 2021-05-04 | 百度在线网络技术(北京)有限公司 | 一种元数据存储方法、装置和服务器 |
-
2019
- 2019-07-18 CN CN201910653984.6A patent/CN110471902B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106547918A (zh) * | 2016-11-30 | 2017-03-29 | 长城计算机软件与***有限公司 | 一种统计数据的整合方法及*** |
CN109710653A (zh) * | 2018-12-29 | 2019-05-03 | 北京航天数据股份有限公司 | 一种测试数据源配置方法及装置 |
Non-Patent Citations (1)
Title |
---|
面向电子文件保存的统一元数据模型的构建;刘越男等;《中国图书馆学报》;20170315(第02期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN110471902A (zh) | 2019-11-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110292775B (zh) | 获取差异数据的方法及装置 | |
US10289541B2 (en) | Source code flow analysis using information retrieval | |
CN102236672B (zh) | 一种数据导入方法及装置 | |
CN111428458A (zh) | 通用报表生成方法、装置及计算机可读存储介质 | |
CN109144481B (zh) | 面向领域的软件密集型***的构件化软件配置方法 | |
CN111782635B (zh) | 数据处理方法和装置、存储介质和电子装置 | |
CN111126019A (zh) | 基于模式定制的报表生成方法、装置和电子设备 | |
CN110471902B (zh) | 基于元数据模型进行合标的数据处理方法及装置 | |
CN111814458A (zh) | 规则引擎***优化方法、装置、计算机设备及存储介质 | |
CN113535481A (zh) | 数据的回溯方法、装置和非易失性计算机可读存储介质 | |
CN104572029A (zh) | 一种状态机可拼接性和拼接规则判定方法和装置 | |
CN110059967B (zh) | 一种应用于城市辅助决策分析的数据处理方法及装置 | |
CN111210324A (zh) | 一种基于并行计算的通用***数据处理方法及*** | |
CN113076365B (zh) | 数据同步方法、装置、电子设备及存储介质 | |
CN114860608A (zh) | 基于场景构建的***自动化测试方法、装置、设备及介质 | |
CN115357625A (zh) | 结构化数据比对方法、装置、电子设备及存储介质 | |
CN112130849B (zh) | 代码自动生成方法及装置 | |
CN113001538B (zh) | 一种命令解析方法及*** | |
CN109032578B (zh) | 基于数据库sql代码生成方法及*** | |
KR101700838B1 (ko) | 사업화 단계별 사업 관리 방법 및 그 시스템 | |
CN113254446A (zh) | 数据融合方法、装置、电子设备及介质 | |
CN113190587A (zh) | 实现业务数据处理的数据处理方法和装置 | |
CN112966974A (zh) | 一种项目配置方法、装置、设备及介质 | |
CN111752927A (zh) | 基于克隆的数据形态生成方法、装置、终端设备及介质 | |
CN113468155B (zh) | 问题数据处理方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |