CN110688374A - 一种对层级数据进行去重的方法、装置及介质 - Google Patents

一种对层级数据进行去重的方法、装置及介质 Download PDF

Info

Publication number
CN110688374A
CN110688374A CN201910911931.XA CN201910911931A CN110688374A CN 110688374 A CN110688374 A CN 110688374A CN 201910911931 A CN201910911931 A CN 201910911931A CN 110688374 A CN110688374 A CN 110688374A
Authority
CN
China
Prior art keywords
data
node data
node
identification code
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910911931.XA
Other languages
English (en)
Inventor
齐文杰
易锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zheng Wei Yun Ltd
Original Assignee
Zheng Wei Yun Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zheng Wei Yun Ltd filed Critical Zheng Wei Yun Ltd
Priority to CN201910911931.XA priority Critical patent/CN110688374A/zh
Publication of CN110688374A publication Critical patent/CN110688374A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2246—Trees, e.g. B+trees

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种对层级数据进行去重的方法、装置及介质，包括：接收规范化的层级数据，层级数据的最小粒度为节点数据；为各节点数据增加标识码，标识码是当前节点数据的名称与父节点数据的名称直至根节点数据的名称连接成的一个链式串；按照层级关系依次遍历层级数据中每个层级所对应的节点数据，判断当前遍历的节点数据的标识码是否与Map记录的节点数据的标识码相同；如果是，则Map不记录节点数据；如果否，则Map记录节点数据。本发明为层级数据的各节点数据增加标识码确保节点数据的唯一性，避免通过双重遍历和Map去重时丢失必要数据，克服对层级数据去重会丢失部分必要数据，使去重后的层级数据之间的层级关系不完整的缺点。

Description

一种对层级数据进行去重的方法、装置及介质
技术领域
本发明涉及计算机领域，特别是涉及一种对层级数据进行去重的方法、装置及介质。
背景技术
随着信息化的发展，出现了越来越多的具有多个层级且各层级间具有关联关系的层级数据。例如表1即为一种层级数据，其每一列为一层，层级之间的关系为后一列数据存在对前一列数据的依赖，整体的表格呈现树形关系。
后台一级类目 后台二级类目 后台三级类目 后台四级类目
农副产品 粮食及其副产品 稻 大米
农副产品 粮食及其副产品 稻 糙米
农副产品 粮食及其副产品 稻 米粉
农副产品 粮食及其副产品 稻 稻副产品
农副产品 粮食及其副产品 小麦 小麦
农副产品 粮食及其副产品 小麦 小麦粉
农副产品 粮食及其副产品 小麦 小麦副产品
农副产品 粮食及其副产品 玉米 玉米
农副产品 粮食及其副产品 玉米 玉米糁/粉
农副产品 粮食及其副产品 玉米 其他玉米及副产品
农副产品 粮食及其副产品 大豆 黄豆
农副产品 粮食及其副产品 大豆 青豆
农副产品 粮食及其副产品 大豆 黑豆
农副产品 粮食及其副产品 大豆 其他大豆
农副产品 粮食及其副产品 薯类 马铃薯
农副产品 粮食及其副产品 薯类 甘薯
农副产品 粮食及其副产品 薯类 木薯
农副产品 粮食及其副产品 薯类 其他薯类(粮食)
表1
为了便于对层级数据进行处理，需要对层级数据进行去重，现有的去重方法为：通过双重遍历的方法(双重for循环)先遍历‘层’，然后遍历‘层中的每个数据’，然后在遍历过程中用到了map<level,object>进行数据去重处理。以表2的层级数据场景为例，利用现有的去重方法，去重结果为“植物”和“西红柿”都被去重过滤掉，但是西红柿不应该进行过滤处理，原本是允许重复的，它们与上层数据具有不同的层级关系，是不同的数据。
后台一级类目 后台二级类目 后台三级类目
植物 水果 西红柿
植物 蔬菜 西红柿
表2
应用现有技术对层级数据去重会丢失部分必要数据，使去重后的层级数据之间的层级关系不完整。
发明内容
本发明的目的是提供一种对层级数据进行去重的方法、装置及介质，通过为层级数据的各节点数据增加标识码确保节点数据的唯一性，避免通过双重遍历和Map去重时丢失必要数据，克服现有技术对层级数据去重会丢失部分必要数据，使去重后的层级数据之间的层级关系不完整的缺点。
为实现上述目的，本发明提供一种对层级数据进行去重的方法，包括：
接收规范化的层级数据，所述层级数据的最小粒度为节点数据；
为各所述节点数据增加标识码，所述标识码是当前节点数据的名称与父节点数据的名称直至根节点数据的名称连接成的一个链式串；
按照层级关系依次遍历所述层级数据中每个层级所对应的节点数据，判断当前遍历的节点数据的标识码是否与Map记录的节点数据的标识码相同；
如果是，则所述Map不记录所述节点数据；
如果否，则所述Map记录所述节点数据。
优选地，还包括：
根据当前节点的标识码中的父节点数据的名称直至根节点数据的名称的链式串，寻址当前节点的上一层级的数据。
优选地，还包括：
为各所述节点数据增加排序字段，以便于根据所述排序字段的值调整各所述节点数据之间的排列顺序。
优选地，还包括：
将所述Map中记录的节点数据导入数据库。
优选地，还包括：依据预设规则校验导入数据库的层级数据。
优选地，还包括：返回校验异常的信息。
为实现上述目的，本发明还提供一种对层级数据进行去重的装置，包括：
接收模块，用于接收规范化的层级数据，所述层级数据的最小粒度为节点数据；
添加模块，用于为各所述节点数据增加标识码，所述标识码是当前节点数据的名称与父节点数据的名称直至根节点数据的名称连接成的一个链式串；
遍历模块，用于按照层级关系依次遍历所述层级数据中每个层级所对应的节点数据，判断当前遍历的节点数据的标识码是否与Map记录的节点数据的标识码相同；
如果是，则所述Map不记录所述节点数据；
如果否，则所述Map记录所述节点数据。
为实现上述目的，本发明还提供一种对层级数据进行去重的装置，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现上述任一项所述的对层级数据进行去重的方法的步骤。
为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的对层级数据进行去重的方法的步骤。
本发明所提供的对层级数据进行去重的方法，包括：接收规范化的层级数据，其中，层级数据的最小粒度为节点数据，即层级数据包括有至少一个节点数据。为每个节点数据添加标识码，以当前节点数据为例，可以由当前节点数据的名称与父节点数据的名称直至根节点数据的名称连接成的一个链式串作为当前节点数据的标识码。按照层级关系依次遍历层级数据中每个层级所对应的节点数据，并判断当前遍历的节点数据的标识码是否与Map记录的节点数据的标识码相同，如果当前遍历的节点数据的标识码与Map记录的节点数据的标识码相同，则说明当前遍历的节点数据与Map记录的节点数据相同，则Map不记录当前遍历的节点数据，如果当前遍历的节点数据的标识码与Map记录的节点数据的标识码不相同，则说明当前遍历的节点数据与Map记录的节点数据不相同，则Map记录当前遍历的节点数据。本发明通过为层级数据的各节点数据增加标识码确保节点数据的唯一性，避免通过双重遍历和Map去重时丢失必要数据，克服现有技术对层级数据去重会丢失部分必要数据，使去重后的层级数据之间的层级关系不完整的缺点。
本发明提供的对层级数据进行去重的装置及介质也具有对层级数据进行去重的方法同样的有益效果，在此不再赘述。
附图说明
为了更清楚地说明本发明实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种对层级数据进行去重的方法的流程图；
图2为本发明实施例提供的一种层级数据的节点数据的排列顺序图；
图3为本发明实施例提供的一种层级数据保存在数据库中的示意图
图4为本发明实施例提供的一种对层级数据进行去重的装置的结构图；
图5为本发明实施例提供的另一种对层级数据进行去重的装置的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本发明保护范围。
本发明的核心是提供一种对层级数据进行去重的方法、装置及介质，通过为层级数据的各节点数据增加标识码确保节点数据的唯一性以区分不同的节点数据，避免去重时丢失部分必要数据，通过双重遍历和Map完成数据去重，克服现有技术对层级数据去重会丢失部分必要数据，使去重后的层级数据之间的层级关系不完整的缺点。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。
图1为本发明实施例提供的一种对层级数据进行去重的方法的流程图，如图1所示，对层级数据进行去重的方法包括：
S10：接收规范化的层级数据，层级数据的最小粒度为节点数据。
需要说明的是层级数据，是指具有多个层级并且各层级具有关联关系的数据，如表1所示。在具体实施中，对于步骤S10来说，接收规范化的层级数据以便于后续对规范化的层级数据进行统一处理。由于层级数据的表现形式不同，可能是excel格式的数据、也可能是text等其他格式的数据，为了对格式不同的层级数据进行去重处理，需要将其转换成规范化的层级数据。需要说明的是规范化的层级数据是指用嵌套的列表对象List<List<Sting>>保存的层级数据，其最小粒度是节点数据，以表1的层级数据为例，节点数据即指每个单元格的数据。
作为优选的实施方式，将原始层级数据转换成规范化的层级数据的过程中包括用剪枝法来去除原始层级数据的空行。
S20：为各节点数据增加标识码，标识码是当前节点数据的名称与父节点数据的名称直至根节点数据的名称连接成的一个链式串。
对于步骤S20来说，为各节点数据增加标识码，标识码是当前节点数据的名称与父节点数据的名称直至根节点数据的名称连接成的一个链式串。在具体实施中，每个节点数据用(uniqueKey,object)来表示，其中，uniqueKey表示一个唯一的标识码，object表示当前节点的数据。
以表1中的第三行第五列的糙米为例，它的uniqueKey为“糙米-稻-粮食及其副产品-农产副品”，它的object为糙米，糙米的节点数据表示为(糙米-稻-粮食及其副产品-农产副品，糙米)。
S30：按照层级关系依次遍历层级数据中每个层级所对应的节点数据，判断当前遍历的节点数据的标识码是否与Map记录的节点数据的标识码相同,如果是，则进入步骤S40，如果否，则入步骤S50。
对于步骤S30来说，按照层级关系依次遍历层级数据中每个层级所对应的节点数据，判断当前遍历的节点数据的标识码是否与Map记录的节点数据的标识码相同。需要说明的是Map，Map的数据结构为Map<uniqueKey,object>，在本发明中充当“备忘录”。还要说明的是按照层级关系依次遍历层级数据中每个层级所对应的节点数据的遍历方法也叫做双重遍历，先按照层级关系依次遍历层级数据，然后遍历各层级中的每个节点数据。
如果当前遍历的节点数据的标识码与Map记录的节点数据的标识码相同，则说明当前遍历的节点数据与Map记录的节点数据相同，进入步骤S40，如果当前遍历的节点数据的标识码与Map记录的节点数据的标识码不相同，则说明当前遍历的节点数据与Map记录的节点数据不相同，进入步骤S50。
S40：Map不记录节点数据。
S50：Map记录节点数据。
本发明所提供的对层级数据进行去重的方法，包括：接收规范化的层级数据，其中，层级数据的最小粒度为节点数据，即层级数据包括有至少一个节点数据。为每个节点数据添加标识码，以当前节点数据为例，可以由当前节点数据的名称与父节点数据的名称直至根节点数据的名称连接成的一个链式串作为当前节点数据的标识码。按照层级关系依次遍历层级数据中每个层级所对应的节点数据，并判断当前遍历的节点数据的标识码是否与Map记录的节点数据的标识码相同，如果当前遍历的节点数据的标识码与Map记录的节点数据的标识码相同，则说明当前遍历的节点数据与Map记录的节点数据相同，则Map不记录当前遍历的节点数据，如果当前遍历的节点数据的标识码与Map记录的节点数据的标识码不相同，则说明当前遍历的节点数据与Map记录的节点数据不相同，则Map记录当前遍历的节点数据。本发明通过为层级数据的各节点数据增加标识码确保节点数据的唯一性，避免通过双重遍历和Map去重时丢失必要数据，克服现有技术对层级数据去重会丢失部分必要数据，使去重后的层级数据之间的层级关系不完整的缺点。
在上一实施例的基础上，作为优选的实施方式，还包括：
根据当前节点的标识码中的父节点数据的名称直至根节点数据的名称的链式串，寻址当前节点的上一层级的数据。
通过Map中的标识码能找到对应上一层级的数据，方法是删除当前节点数据的标识码中的当前节点的名称得到上一级数据的标识码，从而找出上一层级的数据，保证了层级关系的正确性。
在上一实施例的基础上，作为优选的实施方式，还包括：为各所述节点数据增加排序字段，以便于根据所述排序字段的值调整各所述节点数据之间的排列顺序。
需要说明的是排序字段，是指存储节点数据的排列顺序的字段。调整排序字段的值时，节点数据的排列顺序也会改变，如图2所示，调整办公用品的排序字段，相应的办公用品的排列顺序也会相应改变。
本实施例为各节点数据增加排序字段以便于用户根据需求调整各节点数据之间的排列顺序。
在上一实施例的基础上，作为优选的实施方式，还包括：将Map中记录的节点数据导入数据库以实现对层级数据的记录。
本实施保存在数据库中的层级数据如图3所述，其中图3中的id是指节点数据的指针，pid是指对应的id的父亲节点的id，name是指节点数据的名称，level是指节点数据所在的层级，status是导入的指节点数据的有效性，has_children是指此节点数据是否有后代，tags是指层级数据的业务类别，leaf_flag是指标识码。其中，pid为0对应的节点数据是根节点数据，status的取值为1或-1，1为有效，-1为无效，has_children的取值范围为0或1,0代表无后代，1代表有后代。上述实施例将嵌套的列表对象中每一个节点数据被处理为VO对象，其中的层级之间的关联关系使用字段pid表示。
在上一实施例的基础上，作为优选的实施方式，还包括：依据预设规则校验导入数据库的层级数据。需要说明的是预设规则即为根据用户的需求预先设置校验规则，本发明不对预设规则做限定。本实施例的预设规则为判断导入数据库的层级数据中是否包含特殊字符“-”，判断导入数据库的层级数据的类目条数是否超过1500条，以及判断节点数据的名称是否重复，如果导入数据库的层级数据具有下列任一情况都属于不符合预设规则：包含特殊字符“-”或类目条数超过1500条或其节点数据的名称重复。
本实施例通过预设规则校验导入数据库的层级数据，以确认层级数据可以按照用户的需求导入数据库。
在上一实施例的基础上，作为优选的实施方式，还包括：返回校验异常的信息，以提示工作人员及时对校验异常的信息进行处理。
图4为本发明实施例提供的一种对层级数据进行去重的装置的结构图，如图4所述，本发明还提供一种的结构图，如图4所述，本装置包括：
接收模块10，用于接收规范化的层级数据，层级数据的最小粒度为节点数据；
添加模块20，用于为各节点数据增加标识码，标识码是当前节点数据的名称与父节点数据的名称直至根节点数据的名称连接成的一个链式串；
遍历模块30，用于按照层级关系依次遍历层级数据中每个层级所对应的节点数据，判断当前遍历的节点数据的标识码是否与Map记录的节点数据的标识码相同；
如果是，则Map不记录节点数据；
如果否，则Map记录节点数据。
本发明所提供的对层级数据进行去重的装置，包括：接收规范化的层级数据，其中，层级数据的最小粒度为节点数据，即层级数据包括有至少一个节点数据。为每个节点数据添加标识码，以当前节点数据为例，可以由当前节点数据的名称与父节点数据的名称直至根节点数据的名称连接成的一个链式串作为当前节点数据的标识码。按照层级关系依次遍历层级数据中每个层级所对应的节点数据，并判断当前遍历的节点数据的标识码是否与Map记录的节点数据的标识码相同，如果当前遍历的节点数据的标识码与Map记录的节点数据的标识码相同，则说明当前遍历的节点数据与Map记录的节点数据相同，则Map不记录当前遍历的节点数据，如果当前遍历的节点数据的标识码与Map记录的节点数据的标识码不相同，则说明当前遍历的节点数据与Map记录的节点数据不相同，则Map记录当前遍历的节点数据。本发明通过为层级数据的各节点数据增加标识码确保节点数据的唯一性，避免通过双重遍历和Map去重时丢失必要数据，克服现有技术对层级数据去重会丢失部分必要数据，使去重后的层级数据之间的层级关系不完整的缺点。
本发明还提供一种对层级数据进行去重的装置。图5为本发明实施例提供的另一种对层级数据进行去重的装置的结构图，如图5所示，该装置包括：
存储器50，用于存储计算机程序；
处理器51，用于执行计算机程序时实现如上述任一实施例的对层级数据进行去重的方法的步骤。
其中，处理器51可以包括一个或多个处理核心，比如5核心处理器、8核心处理器等。处理器51可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器51也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器51可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器51还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器50可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器50还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器50至少用于存储以下计算机程序501，其中，该计算机程序被处理器51加载并执行之后，能够实现前述任一实施例公开的对层级数据进行去重的方法中的相关步骤。另外，存储器50所存储的资源还可以包括操作***502和数据503等，存储方式可以是短暂存储或者永久存储。其中，操作***502可以为Windows。数据503可以包括但不限于上述方法所涉及到的数据。
在一些实施例中，对层级数据进行去重的装置还可包括有显示屏52、输入输出接口53、通信接口54、电源55以及通信总线56。
本领域技术人员可以理解，图5中示出的结构并不构成对层级数据进行去重的装置的限定，可以包括比图示更多或更少的组件。
本申请实施例提供的对层级数据进行去重的装置，包括存储器和处理器，处理器在执行存储器存储的程序时，能够实现如上所述的获取对层级数据进行去重的方法，效果同上。
本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述任一实施例的对层级数据进行去重的方法的步骤。
可以理解的是，如果上述实施例中的方法以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例中提供的计算机可读存储介质所包含的计算机程序能够在被处理器执行时实现如上所述的对层级数据进行去重的步骤，效果同上。
以上对本发明所提供的对层级数据进行去重的方法、装置及介质进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (9)

1.一种对层级数据进行去重的方法，其特征在于，包括：
接收规范化的层级数据，所述层级数据的最小粒度为节点数据；
为各所述节点数据增加标识码，所述标识码是当前节点数据的名称与父节点数据的名称直至根节点数据的名称连接成的一个链式串；
按照层级关系依次遍历所述层级数据中每个层级所对应的节点数据，判断当前遍历的节点数据的标识码是否与Map记录的节点数据的标识码相同；
如果是，则所述Map不记录所述节点数据；
如果否，则所述Map记录所述节点数据。
2.如权利要求1所述的对层级数据进行去重的方法，其特征在于，还包括：
根据当前节点的标识码中的父节点数据的名称直至根节点数据的名称的链式串，寻址当前节点的上一层级的数据。
3.如权利要求2所述的对层级数据进行去重的方法，其特征在于，还包括：
为各所述节点数据增加排序字段，以便于根据所述排序字段的值调整各所述节点数据之间的排列顺序。
4.如权利要求1所述的对层级数据进行去重的方法，其特征在于，还包括：
将所述Map中记录的节点数据导入数据库。
5.如权利要求4所述的对层级数据进行去重的方法，其特征在于，还包括：依据预设规则校验导入数据库的层级数据。
6.如权利要求5所述的对层级数据进行去重的方法，其特征在于，还包括：返回校验异常的信息。
7.一种对层级数据进行去重的装置，其特征在于，包括：
接收模块，用于接收规范化的层级数据，所述层级数据的最小粒度为节点数据；
添加模块，用于为各所述节点数据增加标识码，所述标识码是当前节点数据的名称与父节点数据的名称直至根节点数据的名称连接成的一个链式串；
遍历模块，用于按照层级关系依次遍历所述层级数据中每个层级所对应的节点数据，判断当前遍历的节点数据的标识码是否与Map记录的节点数据的标识码相同；
如果是，则所述Map不记录所述节点数据；
如果否，则所述Map记录所述节点数据。
8.一种对层级数据进行去重的装置，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至6任一项所述的对层级数据进行去重的方法的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的对层级数据进行去重的方法的步骤。
CN201910911931.XA 2019-09-25 2019-09-25 一种对层级数据进行去重的方法、装置及介质 Pending CN110688374A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910911931.XA CN110688374A (zh) 2019-09-25 2019-09-25 一种对层级数据进行去重的方法、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910911931.XA CN110688374A (zh) 2019-09-25 2019-09-25 一种对层级数据进行去重的方法、装置及介质

Publications (1)

Publication Number Publication Date
CN110688374A true CN110688374A (zh) 2020-01-14

Family

ID=69110107

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910911931.XA Pending CN110688374A (zh) 2019-09-25 2019-09-25 一种对层级数据进行去重的方法、装置及介质

Country Status (1)

Country Link
CN (1) CN110688374A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116245656A (zh) * 2023-05-11 2023-06-09 北京亚信数据有限公司 违规记录的去重、就诊数据违规金额的确定方法和装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101655871A (zh) * 2009-09-25 2010-02-24 金蝶软件（中国）有限公司 一种数据存储、查询方法和装置
CN102654895A (zh) * 2011-03-03 2012-09-05 腾讯科技（深圳）有限公司 一种生成扫描目录树的方法及装置
CN102867059A (zh) * 2012-09-19 2013-01-09 浪潮(北京)电子信息产业有限公司 一种树形结构中数据的处理方法和***
CN105046507A (zh) * 2015-07-24 2015-11-11 河南科技大学 一种基于关系型数据库的食品信息追溯方法
CN105069174A (zh) * 2015-09-17 2015-11-18 沈阳昭软软件有限公司 一种可配置的a+b模式的记录导航方法
CN109145073A (zh) * 2018-08-28 2019-01-04 成都市映潮科技股份有限公司 一种基于分词算法的地址解析方法及装置
CN109766439A (zh) * 2018-12-15 2019-05-17 内蒙航天动力机械测试所 统计查询软件的无限树状分类定义与指派方法
CN110209656A (zh) * 2019-04-26 2019-09-06 北京互金新融科技有限公司 数据处理方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101655871A (zh) * 2009-09-25 2010-02-24 金蝶软件（中国）有限公司 一种数据存储、查询方法和装置
CN102654895A (zh) * 2011-03-03 2012-09-05 腾讯科技（深圳）有限公司 一种生成扫描目录树的方法及装置
CN102867059A (zh) * 2012-09-19 2013-01-09 浪潮(北京)电子信息产业有限公司 一种树形结构中数据的处理方法和***
CN105046507A (zh) * 2015-07-24 2015-11-11 河南科技大学 一种基于关系型数据库的食品信息追溯方法
CN105069174A (zh) * 2015-09-17 2015-11-18 沈阳昭软软件有限公司 一种可配置的a+b模式的记录导航方法
CN109145073A (zh) * 2018-08-28 2019-01-04 成都市映潮科技股份有限公司 一种基于分词算法的地址解析方法及装置
CN109766439A (zh) * 2018-12-15 2019-05-17 内蒙航天动力机械测试所 统计查询软件的无限树状分类定义与指派方法
CN110209656A (zh) * 2019-04-26 2019-09-06 北京互金新融科技有限公司 数据处理方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116245656A (zh) * 2023-05-11 2023-06-09 北京亚信数据有限公司 违规记录的去重、就诊数据违规金额的确定方法和装置
CN116245656B (zh) * 2023-05-11 2023-08-11 北京亚信数据有限公司 违规记录的去重、就诊数据违规金额的确定方法和装置

Similar Documents

Publication Publication Date Title
AU2018253478B2 (en) Testing insecure computing environments using random data sets generated from characterizations of real data sets
CN103729337B (zh) 报表转换方法及装置
CN112905624B (zh) 一种低代码开发平台的数据库扩展方法及设备
CN106570018A (zh) 序列化与反序列化的方法、装置、***以及电子设备
JP2015531126A (ja) 製品特性のナビゲーションを実現する方法および装置
CN103309984B (zh) 数据处理的方法和装置
US8417701B2 (en) Generation of a categorization scheme
US10339035B2 (en) Test DB data generation apparatus
CN102929906A (zh) 基于内容特征和主题特征的文本分组聚类方法
CN106503003A (zh) 一种可扩展标记语言xml文档的压缩、解压方法和装置
CN110889272A (zh) 数据处理方法、装置、设备及存储介质
CN110688374A (zh) 一种对层级数据进行去重的方法、装置及介质
CN114676961A (zh) 企业外迁风险预测方法、装置及计算机可读存储介质
CN111984666A (zh) 数据库访问方法、装置、计算机可读存储介质和计算机设备
CN115982177B (zh) 一种基于树形维度的数据归集的方法、装置、设备及介质
US20200201584A1 (en) Method and apparatus for printing relational graph
CN112256691B (zh) 一种数据映射方法、装置及电子设备
CN108399251A (zh) 一种多层数据展现的智能生成器和数据展现方法
CN110704635B (zh) 一种知识图谱中三元组数据的转换方法及装置
CN105677677A (zh) 一种信息分类方法及装置
CN114265780A (zh) 一种报表***的测试方法、***、设备及存储介质
CN110032445B (zh) 大数据聚集计算方法及装置
CN103324608B (zh) 一种词形还原方法及装置
CN111767223A (zh) 一种文件处理方法、装置、电子设备及存储介质
CN110991177A (zh) 一种物料排重方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200114

RJ01 Rejection of invention patent application after publication