CN110018845A - 元数据版本对比方法及装置 - Google Patents

元数据版本对比方法及装置 Download PDF

Info

Publication number
CN110018845A
CN110018845A CN201910305308.XA CN201910305308A CN110018845A CN 110018845 A CN110018845 A CN 110018845A CN 201910305308 A CN201910305308 A CN 201910305308A CN 110018845 A CN110018845 A CN 110018845A
Authority
CN
China
Prior art keywords
metadata
data
version
state
feature set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910305308.XA
Other languages
English (en)
Other versions
CN110018845B (zh
Inventor
刘俊良
杨绍辉
王怡君
王双
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Sefon Software Co Ltd
Original Assignee
Chengdu Sefon Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Sefon Software Co Ltd filed Critical Chengdu Sefon Software Co Ltd
Priority to CN201910305308.XA priority Critical patent/CN110018845B/zh
Publication of CN110018845A publication Critical patent/CN110018845A/zh
Application granted granted Critical
Publication of CN110018845B publication Critical patent/CN110018845B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/70Software maintenance or management
    • G06F8/71Version control; Configuration management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请提供一种元数据版本对比方法及装置。本申请通过对接收到的元数据版本对比指令进行解析,得到第一元数据版本及第二元数据版本各自的版本号,而后查找两个版本号各自对应的元数据特征集合,并提取出每条元数据在两个元数据特征集合中对应的状态组及时间戳组,最后根据各条元数据在对应时间戳组中的两个数据时间戳,将各条元数据在对应状态组中的两个数据状态进行对比,以根据对比结果识别出各条元数据在所述第一元数据版本与所述第二元数据版本之间的变化状况,从而实现计算资源消耗低且对比效率高的元数据版本对比过程,避免对其他应用程序的运行造成影响。

Description

元数据版本对比方法及装置
技术领域
本申请涉及数据治理技术领域,具体而言,涉及一种元数据版本对比方法及装置。
背景技术
随着网络技术的不断发展,数据治理技术在数据统筹管理领域中的作用愈发重要,而数据治理技术在实现的过程中会周期性地采集元数据并生成多个元数据版本。
目前,数据治理管理人员在获得每个元数据版本后,会将各元数据版本对应的元数据集合进行存储,并在需要选取不同版本的元数据集合进行版本对比时,直接调用对应版本的元数据集合进行数据对比,从而得到对应的版本对比结果。但这种元数据版本对比方案需要消耗大量的计算资源,并且整体的对比过程耗时长,易影响其他应用程序的正常运行。
发明内容
为了克服现有技术中的上述不足,本申请的目的在于提供一种元数据版本对比方法及装置,其能够节省计算资源,并快速地完成元数据版本对比过程,避免对其他应用程序的运行造成影响。
就方法而言,本申请实施例提供一种元数据版本对比方法,所述方法包括:
获取元数据版本对比指令,并对所述版本对比指令进行解析,得到第一元数据版本及第二元数据版本各自的版本号;
根据所述第一元数据版本及所述第二元数据版本各自的版本号,查找两个所述版本号各自对应的元数据特征集合,其中所述元数据特征集合包括每条元数据在对应版本号的元数据集合中的身份标识、数据状态及数据时间戳;
根据每条元数据的身份标识从查找到的两个元数据特征集合中提取出各条元数据对应的状态组及时间戳组,其中所述状态组包括对应元数据在所述两个元数据特征集合中各自对应的数据状态,所述时间戳组包括对应元数据在所述两个元数据特征集合中各自对应的数据时间戳;
根据各条元数据在对应时间戳组中的两个数据时间戳,将各条元数据在对应状态组中的两个数据状态进行对比,并根据对比结果识别各条元数据在所述第一元数据版本与所述第二元数据版本之间的变化状况。
就装置而言,本申请实施例提供一种元数据版本对比装置,所述装置包括:
对比指令解析模块,用于获取元数据版本对比指令,并对所述版本对比指令进行解析,得到第一元数据版本及第二元数据版本各自的版本号;
特征集合查找模块,用于根据所述第一元数据版本及所述第二元数据版本各自的版本号,查找两个所述版本号各自对应的元数据特征集合,其中所述元数据特征集合包括每条元数据在对应版本号的元数据集合中的身份标识、数据状态及数据时间戳;
对比特征提取模块,用于根据每条元数据的身份标识从查找到的两个元数据特征集合中提取出各条元数据对应的状态组及时间戳组,其中所述状态组包括对应元数据在所述两个元数据特征集合中各自对应的数据状态,所述时间戳组包括对应元数据在所述两个元数据特征集合中各自对应的数据时间戳;
特征对比识别模块,用于根据各条元数据在对应时间戳组中的两个数据时间戳,将各条元数据在对应状态组中的两个数据状态进行对比,并根据对比结果识别各条元数据在所述第一元数据版本与所述第二元数据版本之间的变化状况。
相对于现有技术而言,本申请具有以下有益效果:
本申请通过对接收到的元数据版本对比指令进行解析,得到第一元数据版本及第二元数据版本各自的版本号,而后查找两个版本号各自对应的元数据特征集合,并提取出每条元数据在两个元数据特征集合中对应的状态组及时间戳组,最后根据各条元数据在对应时间戳组中的两个数据时间戳,将各条元数据在对应状态组中的两个数据状态进行对比,以根据对比结果识别出各条元数据在所述第一元数据版本与所述第二元数据版本之间的变化状况,从而实现计算资源消耗低且对比效率高的元数据版本对比过程,避免对其他应用程序的运行造成影响。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举本申请较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对本申请保护范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的计算设备的方框示意图;
图2为本申请实施例提供的元数据版本对比方法的流程示意图之一;
图3为本申请实施例提供的元数据版本对比方法的流程示意图之二;
图4为本申请实施例提供的元数据版本对比方法的流程示意图之三;
图5为本申请实施例提供的元数据版本对比装置的方框示意图之一;
图6为本申请实施例提供的元数据版本对比装置的方框示意图之二;
图7为本申请实施例提供的元数据版本对比装置的方框示意图之三。
图标:10-计算设备;11-存储器;12-处理器;13-通信单元;100-元数据版本对比装置;110-对比指令解析模块;120-特征集合查找模块;130-对比特征提取模块;140-特征对比识别模块;150-数据内容显示模块;160-数据状态确定模块;170-增量存储调控模块;180-特征集合生成模块。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
在本申请的描述中,需要说明的是,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本申请中的具体含义。
下面结合附图,对本申请的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
请参照图1,是本申请实施例提供的计算设备10的方框示意图。在本申请实施例中,所述计算设备10可用于进行数据治理,并针对数据治理过程中得到的各版本的元数据集合进行版本对比。其中,所述计算设备10包括元数据版本对比装置100、存储器11、处理器12及通信单元13。所述存储器11、所述处理器12及所述通信单元13各个元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,所述存储器11、所述处理器12及所述通信单元13这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。其中,所述计算设备10可以是,但不限于,个人电脑(personal computer,PC)、服务器、平板电脑、个人数字助理(personal digital assistant,PDA)、移动上网设备(mobile Internetdevice,MID)等。
在本实施例中,所述存储器11可用于存储每个元数据版本所对应的元数据集合中的每条元数据的数据内容进行增量存储,所述存储器11还可用于存储每个元数据版本所对应的元数据特征集合。其中,每个元数据版本对应一个版本号,所述版本号用于表示对应元数据版本的身份信息,所述元数据特征集合包括每条元数据在对应版本号的元数据集合中的身份标识、数据状态及数据时间戳。同一条元数据在不同元数据版本中对应的身份标识相同,所述数据时间戳表示对应元数据被获取到的时间点数值,所述数据状态表示对应元数据在相邻两个版本之间的变化状态。
其中,所述数据状态包括新增状态、删除状态及修改状态。所述新增状态表示对应元数据在相邻两个版本之间的被新增,所述删除状态表示对应元数据在相邻两个版本之间的被删除,所述修改状态表示对应元数据在相邻两个版本之间的被修改。
在本实施例中,所述存储器11还用于存储计算机指令或计算机程序,所述处理器12在接收到执行指令后,可相应地执行所述计算机指令或所述计算机程序。
在本实施例中,所述处理器12可以是通用处理器,包括中央处理器(CentralProcessing Unit,CPU)、图形处理器(Graphics Processing Unit,GPU)、网络处理器(Network Processor,NP)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。
在本实施例中,所述通信单元13用于通过网络建立所述计算设备10与其他外部设备之间的通信连接,并通过所述网络收发数据。
在本实施例中,所述元数据版本对比装置100包括至少一个能够以软件或固件的形式存储于所述存储器11中或固化在所述计算设备10的操作***中的软件功能模块。所述处理器12可用于执行所述存储器11存储的可执行模块,例如所述元数据版本对比装置100所包括的软件功能模块及计算机程序等。所述计算设备10可通过所述元数据版本对比装置100实现计算资源消耗低且对比效率高的元数据版本对比过程,避免对其他应用程序的运行造成影响。
可以理解的是,图1所示的框图仅为计算设备10的一种结构组成示意图,所述计算设备10还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
请参照图2,是本申请实施例提供的元数据版本对比方法的流程示意图之一。在本申请实施例中,所述元数据版本对比方法应用于上述计算设备10,下面对图2所示的元数据版本对比方法的具体流程和步骤进行详细阐述。
步骤S210,获取元数据版本对比指令,并对所述版本对比指令进行解析,得到第一元数据版本及第二元数据版本各自的版本号。
在本实施例中,数据治理管理人员可根据版本对比需求,向计算设备10下达与该版本对比需求对应的元数据版本对比指令,以使该计算设备10进行对应的元数据版本对比流程。当所述计算设备10接收到所述元数据版本对比指令后,将对该版本对比指令进行数据解析,得到所述版本对比指令包括的第一元数据版本所对应的版本号,及第二元数据版本所对应的版本号。其中,所述第一元数据版本与所述第二元数据版本即为参与到元数据版本对比过程中的两个元数据版本。
步骤S220,根据所述第一元数据版本及所述第二元数据版本各自的版本号,查找两个所述版本号各自对应的元数据特征集合。
在本实施例中,所述计算设备10中存储有多个元数据版本各自对应的元数据特征集合,所述计算设备10以所述第一元数据版本及所述第二元数据版本各自的版本号为索引,从存储的所有元数据特征集合中查找出两个所述版本号各自对应的元数据特征集合。其中,所述元数据特征集合包括每条元数据在对应版本号的元数据集合中的身份标识、数据状态及数据时间戳。
步骤S230,根据每条元数据的身份标识从查找到的两个元数据特征集合中提取出各条元数据对应的状态组及时间戳组。
在本实施例中,每条元数据对应的状态组包括该元数据在所述两个元数据特征集合中各自对应的数据状态,每条元数据对应的时间戳组包括该元数据在所述两个元数据特征集合中各自对应的数据时间戳。其中,所述根据每条元数据的身份标识从查找到的两个元数据特征集合中提取出每条元数据对应的状态组及时间戳组,包括:
在查找到的两个元数据特征集合中,分别根据每条元数据的身份标识提取出该元数据在对应元数据特征集合中的元数据特征,其中所述元数据特征包括对应元数据的身份标识、数据状态及数据时间戳;
将身份标识相同的两个元数据特征进行数据整理,得到与身份标识对应的元数据在所述两个元数据特征集合处的状态组及时间戳组。
步骤S240,根据各条元数据在对应时间戳组中的两个数据时间戳,将各条元数据在对应状态组中的两个数据状态进行对比,并根据对比结果识别各条元数据在第一元数据版本与第二元数据版本之间的变化状况。
在本实施例中,当所述计算设备10得到每条元数据对应的与第一元数据版本及第二元数据版本匹配的状态组及时间戳组时,所述计算设备10根据每条元数据在对应时间戳组中的两个数据时间戳,将同一条元数据在对应状态组中的两个数据状态进行对比,以根据对比结果识别出该条元数据在所述第一元数据版本与所述第二元数据版本之间的变化状况,得到各条元数据在所述第一元数据版本与所述第二元数据版本之间的变化状况,从而实现计算资源消耗低且对比效率高的元数据版本对比过程,避免对其他应用程序的运行造成影响。
可选地,在本实施例中,所述根据对比结果识别各条元数据在第一元数据版本与第二元数据版本之间的变化状况的步骤,包括:
针对每条元数据,若对比结果为该元数据的与所述两个数据时间戳中的较小数据时间戳对应的数据状态是新增状态或删除状态,且该元数据的与所述两个数据时间戳中的较大数据时间戳对应的数据状态是修改状态,则判定该元数据在所述第一元数据版本与所述第二元数据版本之间被修改;
若对比结果为该元数据的与所述两个数据时间戳中的较小数据时间戳对应的数据状态是新增状态、修改状态及删除状态其中之一,且该元数据的与所述两个数据时间戳中的较大数据时间戳对应的数据状态是删除状态,则判定该元数据在所述第一元数据版本与所述第二元数据版本之间被删除;
若对比结果为该元数据的与所述两个数据时间戳中的较小数据时间戳对应的数据状态是删除状态或修改状态,且该元数据的与所述两个数据时间戳中的较大数据时间戳对应的数据状态是新增状态,则判定该元数据在所述第一元数据版本与所述第二元数据版本之间被新增。
可选地,在本实施例中,所述根据对比结果识别各条元数据在第一元数据版本与第二元数据版本之间的变化状况的步骤,还包括:
若对比结果为该元数据在对应状态组中的两个数据状态相同,且均不是删除状态,则判定该元数据在所述第一元数据版本与所述第二元数据版本之间保持不变。
请参照图3,是本申请实施例提供的元数据版本对比方法的流程示意图之二。在本申请实施例中,所述元数据版本对比方法还可以包括步骤S250。
步骤S250,当识别出每条元数据在所述第一元数据版本与所述第二元数据版本之间的变化状况后,将各条元数据的与所述第一元数据版本及所述第二元数据版本中的数据时间戳较大的元数据版本对应的被增量存储的数据内容进行显示。
在本实施例中,当计算设备10得到需要版本对比的每条元数据在所述第一元数据版本与所述第二元数据版本之间的变化状况后,所述计算设备10会将各条元数据的与所述第一元数据版本及所述第二元数据版本中的数据时间戳较大的元数据版本对应的被增量存储的数据内容进行显示,以便于数据治理管理人员直接观测到具体的元数据内容的变化状况。
请参照图4,是本申请实施例提供的元数据版本对比方法的流程示意图之三。在本申请实施例中,所述元数据版本对比方法还包括步骤S260、步骤S270及步骤S280。
步骤S260,当需要对当前获取到的元数据集合进行存储时,根据当前元数据集合中各条元数据的数据内容及各条元数据在最近记录的元数据特征集合中的数据状态,确定出各条元数据在当前元数据集合处的数据状态。
在本实施例中,所述计算设备10在获取到当前需要存储的元数据版本所对应的元数据集合时,所述计算设备10将根据当前元数据集合中每条元数据的数据内容,及其在最近记录的元数据版本的元数据特征集合中的数据状态,确定出当前元数据集合中每条元数据的数据状态。
可选地,所述根据当前元数据集合中各条元数据的数据内容及各条元数据在最近记录的元数据特征集合中的数据状态,确定出各条元数据在当前元数据集合处的数据状态的步骤,包括:
针对当前元数据集合中每条元数据,若该元数据在最近记录的元数据特征集合中的数据状态为新增状态、修改状态及删除状态其中之一,且该元数据在当前元数据集合中的数据内容为空,则判定该元数据在当前元数据集合处的数据状态为删除状态;
若该元数据在最近记录的元数据特征集合中的数据状态为删除状态,且该元数据在当前元数据集合中的数据内容不为空,则判定该元数据在当前元数据集合处的数据状态为新增状态;
若该元数据在最近记录的元数据特征集合中的数据状态为新增状态或修改状态,且该元数据在当前元数据集合中的数据内容不为空,则将该元数据在当前元数据集合中的数据内容,和该元数据在与最近记录的元数据特征集合对应的元数据集合中的数据内容进行对比;
当对比结果为数据内容相同时,判定该元数据在当前元数据集合处的数据状态,与该元数据在最近记录的元数据特征集合中的数据状态相同;
当对比结果为数据内容不同时,判定该元数据在当前元数据集合处的数据状态为修改状态。
其中,当某条元数据在最近记录的元数据特征集合中的数据状态为新增状态或修改状态,且该元数据在当前元数据集合中的数据内容不为空时,所述计算设备10通过将该元数据在最近记录的元数据特征集合所对应的数据内容,与其在当前元数据集合中的数据内容进行对比,以通过对比结果判别出该元数据在当前元数据集合处的数据状态。若该元数据对应的数据内容对比结果为数据内容相同,则判定该元数据在当前元数据集合处的数据状态,与该元数据在最近记录的元数据特征集合中的数据状态相同;若该元数据对应的数据内容对比结果为数据内容不同,则判定该元数据在当前元数据集合处的数据状态为修改状态。
步骤S270,根据当前元数据集合中各条元数据的数据状态将对应元数据的数据内容进行增量存储。
在本实施例中,所述计算设备10在当前元数据集合中某条元数据的数据状态为新增状态时,所述计算设备10会直接将该元数据当前的数据内容进行存储;所述计算设备10在当前元数据集合中某条元数据的数据状态为删除状态时,所述计算设备10会直接将该元数据当前的数据内容保存为空;所述计算设备10在当前元数据集合中某条元数据的数据状态为修改状态时,所述计算设备10通过将该元数据在当前元数据集合中的数据内容,与其在最近版本的元数据集合中的数据内容进行对比,并针对具体的数据内容差异进行增量存储。
步骤S280,生成与当前元数据集合对应的版本号,根据生成的所述版本号及当前元数据集合中各条元数据对应的数据状态、身份标识和数据时间戳,生成并记录对应的元数据特征集合。
在本实施例中,所述计算设备10在针对当前元数据集合生成对应的元数据特征集合时,该计算设备10会生成与当前元数据集合对应的版本号,并根据当前元数据集合中各条元数据的身份标识、数据状态及数据时间戳,生成包括有每条元数据的与当前版本号对应的身份标识、数据状态及数据时间戳的元数据特征集合。
请参照图5,是本申请实施例提供的元数据版本对比装置100的方框示意图之一。在本申请实施例中,所述元数据版本对比装置100包括对比指令解析模块110、特征集合查找模块120、对比特征提取模块130及特征对比识别模块140。
所述对比指令解析模块110,用于获取元数据版本对比指令,并对所述版本对比指令进行解析,得到第一元数据版本及第二元数据版本各自的版本号。
在本实施例中,所述对比指令解析模块110可以执行图2中的步骤S210,具体的执行过程可参照上文中对步骤S210的详细描述。
所述特征集合查找模块120,用于根据所述第一元数据版本及所述第二元数据版本各自的版本号,查找两个所述版本号各自对应的元数据特征集合。
在本实施例中,所述元数据特征集合包括每条元数据在对应版本号的元数据集合中的身份标识、数据状态及数据时间戳。所述特征集合查找模块120可以执行图2中的步骤S220,具体的执行过程可参照上文中对步骤S220的详细描述。
所述对比特征提取模块130,用于根据每条元数据的身份标识从查找到的两个元数据特征集合中提取出各条元数据对应的状态组及时间戳组。
在本实施例中,每条元数据对应的状态组包括该元数据在所述两个元数据特征集合中各自对应的数据状态,每条元数据对应的时间戳组包括该元数据在所述两个元数据特征集合中各自对应的数据时间戳。所述对比特征提取模块130可以执行图2中的步骤S230,具体的执行过程可参照上文中对步骤S230的详细描述。
所述特征对比识别模块140,用于根据各条元数据在对应时间戳组中的两个数据时间戳,将各条元数据在对应状态组中的两个数据状态进行对比,并根据对比结果识别各条元数据在第一元数据版本与第二元数据版本之间的变化状况。
在本实施例中,所述特征对比识别模块140可以执行图2中的步骤S240,具体的执行过程可参照上文中对步骤S240的详细描述。
请参照图6,是本申请实施例提供的元数据版本对比装置100的方框示意图之二。在本申请实施例中,所述元数据版本对比装置100还包括数据内容显示模块150。
所述数据内容显示模块150,用于当识别出每条元数据在所述第一元数据版本与所述第二元数据版本之间的变化状况后,将各条元数据的与所述第一元数据版本及所述第二元数据版本中的数据时间戳较大的元数据版本对应的被增量存储的数据内容进行显示。
在本实施例中,所述数据内容显示模块150可以执行图3中的步骤S250,具体的执行过程可参照上文中对步骤S250的详细描述。
请参照图7,是本申请实施例提供的元数据版本对比装置100的方框示意图之三。在本申请实施例中,所述元数据版本对比装置100还可以包括数据状态确定模块160、增量存储调控模块170及特征集合生成模块180。
所述数据状态确定模块160,用于当需要对当前获取到的元数据集合进行存储时,根据当前元数据集合中各条元数据的数据内容及各条元数据在最近记录的元数据特征集合中的数据状态,确定出各条元数据在当前元数据集合处的数据状态。
在本实施例中,所述数据状态确定模块160可以执行图4中的步骤S260,具体的执行过程可参照上文中对步骤S260的详细描述。
所述增量存储调控模块170,用于根据当前元数据集合中各条元数据的数据状态将对应元数据的数据内容进行增量存储。
在本实施例中,所述增量存储调控模块170可以执行图4中的步骤S270,具体的执行过程可参照上文中对步骤S270的详细描述。
所述特征集合生成模块180,用于生成与当前元数据集合对应的版本号,根据生成的所述版本号及当前元数据集合中各条元数据对应的数据状态、身份标识和数据时间戳,生成并记录对应的元数据特征集合。
在本实施例中,所述特征集合生成模块180可以执行图4中的步骤S280,具体的执行过程可参照上文中对步骤S280的详细描述。
综上所述,在本申请提供的元数据版本对比方法及装置中,本申请通过对接收到的元数据版本对比指令进行解析,得到第一元数据版本及第二元数据版本各自的版本号,而后查找两个版本号各自对应的元数据特征集合,并提取出每条元数据在两个元数据特征集合中对应的状态组及时间戳组,最后根据各条元数据在对应时间戳组中的两个数据时间戳,将各条元数据在对应状态组中的两个数据状态进行对比,以根据对比结果识别出各条元数据在所述第一元数据版本与所述第二元数据版本之间的变化状况,从而实现计算资源消耗低且对比效率高的元数据版本对比过程,避免对其他应用程序的运行造成影响。
以上所述,仅为本申请的各种实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,所作的可轻易想到的修改变化或等同替换,均应涵盖在本申请的保护范围之内。

Claims (10)

1.一种元数据版本对比方法,其特征在于,所述方法包括:
获取元数据版本对比指令,并对所述版本对比指令进行解析,得到第一元数据版本及第二元数据版本各自的版本号;
根据所述第一元数据版本及所述第二元数据版本各自的版本号,查找两个所述版本号各自对应的元数据特征集合,其中所述元数据特征集合包括每条元数据在对应版本号的元数据集合中的身份标识、数据状态及数据时间戳;
根据每条元数据的身份标识从查找到的两个元数据特征集合中提取出各条元数据对应的状态组及时间戳组,其中所述状态组包括对应元数据在所述两个元数据特征集合中各自对应的数据状态,所述时间戳组包括对应元数据在所述两个元数据特征集合中各自对应的数据时间戳;
根据各条元数据在对应时间戳组中的两个数据时间戳,将各条元数据在对应状态组中的两个数据状态进行对比,并根据对比结果识别各条元数据在所述第一元数据版本与所述第二元数据版本之间的变化状况。
2.根据权利要求1所述的方法,其特征在于,所述根据每条元数据的身份标识从查找到的两个元数据特征集合中提取出每条元数据对应的状态组及时间戳组,包括:
在查找到的两个元数据特征集合中,分别根据每条元数据的身份标识提取出该元数据在对应元数据特征集合中的元数据特征,其中所述元数据特征包括对应元数据的身份标识、数据状态及数据时间戳;
将身份标识相同的两个元数据特征进行数据整理,得到与身份标识对应的元数据在所述两个元数据特征集合处的状态组及时间戳组。
3.根据权利要求1所述的方法,其特征在于,所述数据状态包括新增状态、删除状态及修改状态,所述根据对比结果识别各条元数据在所述第一元数据版本与所述第二元数据版本之间的变化状况,包括:
针对每条元数据,若对比结果为该元数据的与所述两个数据时间戳中的较小数据时间戳对应的数据状态是新增状态或删除状态,且该元数据的与所述两个数据时间戳中的较大数据时间戳对应的数据状态是修改状态,则判定该元数据在所述第一元数据版本与所述第二元数据版本之间被修改;
若对比结果为该元数据的与所述两个数据时间戳中的较小数据时间戳对应的数据状态是新增状态、修改状态及删除状态其中之一,且该元数据的与所述两个数据时间戳中的较大数据时间戳对应的数据状态是删除状态,则判定该元数据在所述第一元数据版本与所述第二元数据版本之间被删除;
若对比结果为该元数据的与所述两个数据时间戳中的较小数据时间戳对应的数据状态是删除状态或修改状态,且该元数据的与所述两个数据时间戳中的较大数据时间戳对应的数据状态是新增状态,则判定该元数据在所述第一元数据版本与所述第二元数据版本之间被新增。
4.根据权利要求3所述的方法,其特征在于,所述根据对比结果识别各条元数据在所述第一元数据版本与所述第二元数据版本之间的变化状况,还包括:
若对比结果为该元数据在对应状态组中的两个数据状态相同,且均不是删除状态,则判定该元数据在所述第一元数据版本与所述第二元数据版本之间保持不变。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当识别出每条元数据在所述第一元数据版本与所述第二元数据版本之间的变化状况后,将各条元数据的与所述第一元数据版本及所述第二元数据版本中的数据时间戳较大的元数据版本对应的被增量存储的数据内容进行显示。
6.根据权利要求1-5中任意一项所述的方法,其特征在于,所述方法还包括:
当需要对当前获取到的元数据集合进行存储时,根据当前元数据集合中各条元数据的数据内容及各条元数据在最近记录的元数据特征集合中的数据状态,确定出各条元数据在当前元数据集合处的数据状态;
根据当前元数据集合中各条元数据的数据状态将对应元数据的数据内容进行增量存储;
生成与当前元数据集合对应的版本号,根据生成的所述版本号及当前元数据集合中各条元数据对应的数据状态、身份标识和数据时间戳,生成并记录对应的元数据特征集合。
7.根据权利要求6所述的方法,其特征在于,所述根据当前元数据集合中各条元数据的数据内容及各条元数据在最近记录的元数据特征集合中的数据状态,确定出各条元数据在当前元数据集合处的数据状态,包括:
针对当前元数据集合中每条元数据,若该元数据在最近记录的元数据特征集合中的数据状态为新增状态、修改状态及删除状态其中之一,且该元数据在当前元数据集合中的数据内容为空,则判定该元数据在当前元数据集合处的数据状态为删除状态;
若该元数据在最近记录的元数据特征集合中的数据状态为删除状态,且该元数据在当前元数据集合中的数据内容不为空,则判定该元数据在当前元数据集合处的数据状态为新增状态;
若该元数据在最近记录的元数据特征集合中的数据状态为新增状态或修改状态,且该元数据在当前元数据集合中的数据内容不为空,则将该元数据在当前元数据集合中的数据内容,和该元数据在与最近记录的元数据特征集合对应的元数据集合中的数据内容进行对比;
当对比结果为数据内容相同时,判定该元数据在当前元数据集合处的数据状态,与该元数据在最近记录的元数据特征集合中的数据状态相同;
当对比结果为数据内容不同时,判定该元数据在当前元数据集合处的数据状态为修改状态。
8.一种元数据版本对比装置,其特征在于,所述装置包括:
对比指令解析模块,用于获取元数据版本对比指令,并对所述版本对比指令进行解析,得到第一元数据版本及第二元数据版本各自的版本号;
特征集合查找模块,用于根据所述第一元数据版本及所述第二元数据版本各自的版本号,查找两个所述版本号各自对应的元数据特征集合,其中所述元数据特征集合包括每条元数据在对应版本号的元数据集合中的身份标识、数据状态及数据时间戳;
对比特征提取模块,用于根据每条元数据的身份标识从查找到的两个元数据特征集合中提取出各条元数据对应的状态组及时间戳组,其中所述状态组包括对应元数据在所述两个元数据特征集合中各自对应的数据状态,所述时间戳组包括对应元数据在所述两个元数据特征集合中各自对应的数据时间戳;
特征对比识别模块,用于根据各条元数据在对应时间戳组中的两个数据时间戳,将各条元数据在对应状态组中的两个数据状态进行对比,并根据对比结果识别各条元数据在所述第一元数据版本与所述第二元数据版本之间的变化状况。
9.根据权利要求8所述的装置,其特征在于,所述装置还包括:
数据内容显示模块,用于当识别出每条元数据在所述第一元数据版本与所述第二元数据版本之间的变化状况后,将各条元数据的与所述第一元数据版本及所述第二元数据版本中的数据时间戳较大的元数据版本对应的被增量存储的数据内容进行显示。
10.根据权利要求8或9所述的装置,其特征在于,所述装置还包括:
数据状态确定模块,用于当需要对当前获取到的元数据集合进行存储时,根据当前元数据集合中各条元数据的数据内容及各条元数据在最近记录的元数据特征集合中的数据状态,确定出各条元数据在当前元数据集合处的数据状态;
增量存储调控模块,用于根据当前元数据集合中各条元数据的数据状态将对应元数据的数据内容进行增量存储;
特征集合生成模块,用于生成与当前元数据集合对应的版本号,根据生成的所述版本号及当前元数据集合中各条元数据对应的数据状态、身份标识和数据时间戳,生成并记录对应的元数据特征集合。
CN201910305308.XA 2019-04-16 2019-04-16 元数据版本对比方法及装置 Active CN110018845B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910305308.XA CN110018845B (zh) 2019-04-16 2019-04-16 元数据版本对比方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910305308.XA CN110018845B (zh) 2019-04-16 2019-04-16 元数据版本对比方法及装置

Publications (2)

Publication Number Publication Date
CN110018845A true CN110018845A (zh) 2019-07-16
CN110018845B CN110018845B (zh) 2020-09-18

Family

ID=67191520

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910305308.XA Active CN110018845B (zh) 2019-04-16 2019-04-16 元数据版本对比方法及装置

Country Status (1)

Country Link
CN (1) CN110018845B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110427384A (zh) * 2019-07-30 2019-11-08 北京明略软件***有限公司 提示信息的发送方法及装置、存储介质、电子装置
CN111427966A (zh) * 2020-06-10 2020-07-17 腾讯科技(深圳)有限公司 数据库事务处理方法、装置及服务器
CN111782909A (zh) * 2020-07-01 2020-10-16 中国银行股份有限公司 一种记录元数据的方法、装置、电子设备及计算机可读存储介质
CN113961176A (zh) * 2020-07-20 2022-01-21 武汉斗鱼网络科技有限公司 一种实现客户端版本规则判定兼容性的方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140143284A1 (en) * 2012-11-20 2014-05-22 Gerard McCaffrey Zero downtime schema evolution
CN105893512A (zh) * 2016-03-30 2016-08-24 北京忆唐创元文化有限公司 一种基于元数据的任意版本兼容数据结构存取方法及装置
CN107943930A (zh) * 2017-11-22 2018-04-20 用友金融信息技术股份有限公司 动态表单生成方法、装置、计算机设备和可读存储介质
CN109144980A (zh) * 2018-08-21 2019-01-04 成都四方伟业软件股份有限公司 元数据管理方法、装置及电子设备
CN109241358A (zh) * 2018-08-14 2019-01-18 中国平安财产保险股份有限公司 元数据管理方法、装置、计算机设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140143284A1 (en) * 2012-11-20 2014-05-22 Gerard McCaffrey Zero downtime schema evolution
CN105893512A (zh) * 2016-03-30 2016-08-24 北京忆唐创元文化有限公司 一种基于元数据的任意版本兼容数据结构存取方法及装置
CN107943930A (zh) * 2017-11-22 2018-04-20 用友金融信息技术股份有限公司 动态表单生成方法、装置、计算机设备和可读存储介质
CN109241358A (zh) * 2018-08-14 2019-01-18 中国平安财产保险股份有限公司 元数据管理方法、装置、计算机设备及存储介质
CN109144980A (zh) * 2018-08-21 2019-01-04 成都四方伟业软件股份有限公司 元数据管理方法、装置及电子设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110427384A (zh) * 2019-07-30 2019-11-08 北京明略软件***有限公司 提示信息的发送方法及装置、存储介质、电子装置
CN111427966A (zh) * 2020-06-10 2020-07-17 腾讯科技(深圳)有限公司 数据库事务处理方法、装置及服务器
CN111782909A (zh) * 2020-07-01 2020-10-16 中国银行股份有限公司 一种记录元数据的方法、装置、电子设备及计算机可读存储介质
CN113961176A (zh) * 2020-07-20 2022-01-21 武汉斗鱼网络科技有限公司 一种实现客户端版本规则判定兼容性的方法及装置

Also Published As

Publication number Publication date
CN110018845B (zh) 2020-09-18

Similar Documents

Publication Publication Date Title
CN110018845A (zh) 元数据版本对比方法及装置
TWI729472B (zh) 特徵詞的確定方法、裝置和伺服器
CN105988996B (zh) 一种索引文件生成方法及装置
CN110245145A (zh) 关系型数据库到Hadoop数据库的结构同步方法和装置
CN107357794B (zh) 优化键值数据库的数据存储结构的方法和装置
CN114356927A (zh) 数据存储方法、装置、计算机设备和存储介质
CN115023697A (zh) 数据查询方法、装置及服务器
CN109885535A (zh) 一种文件存储的方法及相关装置
CN110222046B (zh) 列表数据的处理方法、装置、服务器和存储介质
CN112364014A (zh) 数据查询方法、装置、服务器及存储介质
CN111507400A (zh) 应用分类方法、装置、电子设备以及存储介质
CN111538859A (zh) 一种动态更新视频标签的方法、装置及电子设备
CN101377816B (zh) 匹配规则包含位移指示符的并行多模式匹配的方法及***
CN101483668A (zh) 热点数据的网络存储和访问方法、设备及***
CN112069175B (zh) 数据查询的方法、装置及电子设备
CN111125226B (zh) 一种配置数据采集方法及装置
CN110888739B (zh) 延迟任务的分布式处理方法与装置
CN111949720A (zh) 基于大数据和人工智能的数据分析方法及云端数据服务器
CN101677318A (zh) 匹配规则包含次数指示符的并行多模式匹配的方法及***
CN111046246A (zh) 标签更新方法及装置、分布式存储***
CN113778831B (zh) 一种数据应用性能分析方法、装置、设备和介质
CN112312590B (zh) 一种设备通信协议识别方法和装置
CN113177157B (zh) 标签分离方法、装置、设备及存储介质
CN110191026B (zh) 一种分布式业务链路监控方法及装置
CN117492822B (zh) 变更对比方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant