CN110879810A

CN110879810A - 数据处理方法及装置

Info

Publication number: CN110879810A
Application number: CN201911218310.XA
Authority: CN
Inventors: 蔡航飞; 曹进辉
Original assignee: Beijing Mininglamp Software System Co ltd
Current assignee: Beijing Mininglamp Software System Co ltd
Priority date: 2019-12-02
Filing date: 2019-12-02
Publication date: 2020-03-13

Abstract

本申请提供一种数据处理方法及装置，数据处理方法，包括：获取目标字段集，所述目标字段集包括多个目标字段；对所述目标字段集中的所有目标字段进行逆序存储；按预定的索引创建规则建立逆序存储后的目标字段集的前缀索引。本申请数据处理方法及装置，通过对目标字段集进行逆序存储，建立前缀索引的方式，减少索引块占用的存储空间，从而降低索引块对资源的占用，提高数据库资源的利用率。

Description

数据处理方法及装置

技术领域

本申请涉及数据处理技术领域，具体而言，涉及一种数据处理方法及装置。

背景技术

在关系数据库中，索引是一种单独的、物理的对数据库表中一列或多列的值进行排序的一种存储结构，其是某个表中一列或若干列值的集合和相应的指向表中物理标识这些值的数据页的逻辑指针清单。索引的作用相当于图书的目录，可以根据目录中的页码快速找到所需的内容。索引可以使对应于表的SQL语句执行得更快，可快速访问数据库表中的特定信息。

然而，索引的建立也带来了额外的问题，例如，索引占单独的存储，索引有独立的存储空间，在遇到一些庞大的数据表建了多个索引时，索引块占用的空间比数据表块还大，使得索引块占用的资源较高，降低了数据库资源的利用率，甚至部分场景为了避免回表查数据行会建立聚簇索引(组合索引)，此种情况下索引块占用的资源会更高。

发明内容

本申请实施例的目的在于提供一种数据处理方法及装置，通过对目标字段集进行逆序存储，建立前缀索引的方式，减少索引块占用的存储空间，从而降低索引块对资源的占用，提高数据库资源的利用率。

第一方面，本申请实施例提供了一种数据处理方法，包括：

获取目标字段集，所述目标字段集包括多个目标字段；

对所述目标字段集中的所有目标字段进行逆序存储；

按预定的索引创建规则建立逆序存储后的目标字段集的前缀索引。

在上述实现过程中，本申请实施例的数据处理方法，适用于后缀区分度较高的特殊字段的数据处理，其可以在不影响索引查询性能的情况下，通过对目标字段集进行逆序存储，建立前缀索引的方式，减少索引块占用的存储空间，从而降低索引块对资源的占用，提高数据库资源的利用率。

进一步地，在所述获取目标字段集之后，所述对所述目标字段集中的所有目标字段进行逆序存储之前，所述方法还包括：

根据所述目标字段集，确定目标字段的编码规则；

根据所述目标字段的编码规则，计算目标字段前缀的区分度及目标字段后缀的区分度；

判断所述目标字段后缀的区分度是否大于所述目标字段前缀的区分度；

若是，则对所述目标字段集中的所有目标字段进行逆序存储。

在上述实现过程中，该方法在获取目标字段集之后，对目标字段集中的所有目标字段进行逆序存储之前，会判断目标字段后缀的区分度是否大于前缀的区分度，以保障建立的索引的查询性能，避免建立的索引的查询性能较差。

进一步地，所述根据所述目标字段的编码规则，计算目标字段前缀的区分度及目标字段后缀的区分度，包括：

根据所述目标字段的编码规则，计算目标字段前缀的组合数及目标字段后缀的组合数；

所述判断所述目标字段后缀的区分度是否大于所述目标字段前缀的区分度，包括：

判断所述目标字段后缀的组合数是否大于所述目标字段前缀的组合数。

在上述实现过程中，目标字段前缀的区分度及后缀的区分度以组合数体现，便于对区分度的计算，从而提高计算效率。

进一步地，所述按预定的索引创建规则建立逆序存储后的目标字段集的前缀索引，包括：

根据所述目标字段的编码规则，确定所述目标字段集创建前缀索引的位数；

按所述创建前缀索引的位数及预定的索引创建规则建立逆序存储后的目标字段集的前缀索引。

在上述实现过程中，该方法在建立逆序存储后的目标字段集的前缀索引时，还结合了根据目标字段的编码规则确定的目标字段集创建前缀索引的位数，以更为准确、合理地建立目标字段集的前缀索引，进而提升建立的索引查询性能。

进一步地，在所述按预定的索引创建规则建立逆序存储后的目标字段集的前缀索引之后，所述方法还包括：

根据用户输入的索引查询条件，查询得到输出字段集，所述输出字段集包括多个输出字段；

对所述输出字段集中的所有输出字段进行逆序处理，输出逆序处理后的输出字段集。

在上述实现过程中，该方法在用户进行数据查询时，会对输出字段集进行逆序处理，输出逆序处理后的输出字段集，以还原查询数据，从而便于用户对查询数据的查阅等等。

第二方面，本申请实施例提供了一种数据处理装置，包括：

获取模块，用于获取目标字段集，所述目标字段集包括多个目标字段；

逆序存储模块，用于对所述目标字段集中的所有目标字段进行逆序存储；

索引建立模块，用于按预定的索引创建规则建立逆序存储后的目标字段集的前缀索引。

在上述实现过程中，本申请实施例的数据处理装置，适用于后缀区分度较高的特殊字段的数据处理，其可以在不影响索引查询性能的情况下，通过对目标字段集进行逆序存储，建立前缀索引的方式，减少索引块占用的存储空间，从而降低索引块对资源的占用，提高数据库资源的利用率。

进一步地，所述装置还包括：

确定模块，用于根据所述目标字段集，确定目标字段的编码规则；

计算模块，用于根据所述目标字段的编码规则，计算目标字段前缀的区分度及目标字段后缀的区分度；

判断模块，用于判断所述目标字段后缀的区分度是否大于所述目标字段前缀的区分度。

在上述实现过程中，该装置在获取目标字段集之后，对目标字段集中的所有目标字段进行逆序存储之前，会判断目标字段后缀的区分度是否大于前缀的区分度，以保障建立的索引的查询性能，避免建立的索引的查询性能较差。

进一步地，所述装置还包括：

查询模块，用于根据用户输入的索引查询条件，查询得到输出字段集，所述输出字段集包括多个输出字段；

输出模块，用于对所述输出字段集中的所有输出字段进行逆序处理，输出逆序处理后的输出字段集。

在上述实现过程中，该装置在用户进行数据查询时，会对输出字段集进行逆序处理，输出逆序处理后的输出字段集，以还原查询数据，从而便于用户对查询数据的查阅等等。

第三方面，本申请实施例提供了一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行上述的数据处理方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，其存储有上述的电子设备中所使用的计算机程序。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例一提供的数据处理方法的第一流程示意图；

图2为本申请实施例一提供的数据处理方法的第一效果比对图；

图3为本申请实施例一提供的数据处理方法的第二效果比对图；

图4为本申请实施例一提供的数据处理方法的第二流程示意图；

图5为本申请实施例二提供的数据处理装置的第一结构示意图；

图6为本申请实施例二提供的数据处理装置的第二结构示意图；

图7为本申请实施例二提供的数据处理装置的第三结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

目前，索引的建立也带来了额外的问题，例如，索引占单独的存储，索引有独立的存储空间，在遇到一些庞大的数据表建了多个索引时，索引块占用的空间比数据表块还大，使得索引块占用的资源较高，降低了数据库资源的利用率，甚至部分场景为了避免回表查数据行会建立聚簇索引(组合索引)，此种情况下索引块占用的资源会更高。

针对上述现有技术中的问题，本申请提供了一种数据处理方法及装置，通过对目标字段集进行逆序存储，建立前缀索引的方式，减少索引块占用的存储空间，从而降低索引块对资源的占用，提高数据库资源的利用率。

实施例一

参见图1，图1为本申请实施例提供的数据处理方法的第一流程示意图。本申请实施例中执行下述的数据处理方法的执行主体可以是服务器。

本申请实施例的数据处理方法，包括如下步骤：

步骤S110，获取目标字段集，目标字段集包括多个目标字段。

在本实施例中，目标字段集中的目标字段可以是后缀区分度较高的特殊字段。

可选地，目标字段可以是身份证号码、电商订单号。

目标字段集通常预存于数据库中，目标字段集可以是用户选定的，也可以是服务器自动选取的。

步骤S120，对目标字段集中的所有目标字段进行逆序存储。

在本实施例中，逆序存储，也即倒序存储。举例来说，假设目标字段为61100419741124020X，那么，该目标字段逆序存储后为X02042114791400116。

步骤S130，按预定的索引创建规则建立逆序存储后的目标字段集的前缀索引。

可以理解的是，较全文索引而言，前缀索引是对目标字段集中的目标字段的前X位数建立索引。

预定的索引创建规则可以是预定的索引创建方式。

本申请实施例的数据处理方法，适用于后缀区分度较高的特殊字段的数据处理，其可以在不影响索引查询性能的情况下，通过对目标字段集进行逆序存储，建立前缀索引的方式，减少索引块占用的存储空间，从而降低索引块对资源的占用，提高数据库资源的利用率。

具体地，可参见图2和图3，图2和图3为本申请实施例提供的数据处理方法的效果比对图，其中，图2和图3中的“t_person_1”表中的字段建立的索引是全文索引，“t_person_2”表中的字段进行了逆序存储，建立的索引是前缀索引，从图2和图3可明显得知，“t_person_2”表索引块占用的存储空间较“t_person_1”表索引块占用的存储空间减少了约1/3，“t_person_2”表和“t_person_1”表的索引查询性能几乎是相同的，可见，本申请实施例的数据处理方法减少了索引块占用的存储空间，降低了索引块对资源的占用，提高了数据库资源的利用率。

数据查询是数据库、数据表的重要功能之一，为了在用户查询数据时，便于用户查阅符合查询条件的目标字段，本申请实施例提供一种可能的实施方式，请参见图4，图4为本申请实施例提供的数据处理方法的第二流程示意图，本申请实施例的数据处理方法，在步骤S130，按预定的索引创建规则建立逆序存储后的目标字段集的前缀索引之后，还包括如下步骤：

步骤S140，根据用户输入的索引查询条件，查询得到输出字段集，输出字段集包括多个输出字段；

步骤S150，对输出字段集中的所有输出字段进行逆序处理，输出逆序处理后的输出字段集。

在此种实施方式下，逆序处理，也即倒序处理。举例来说，假设输出字段为X02042114791400116，那么，该输出字段逆序处理后为61100419741124020X。

该方法在用户进行数据查询时，会对输出字段集进行逆序处理，输出逆序处理后的输出字段集，以还原查询数据，从而便于用户对查询数据的查阅等等。

为了避免前缀索引的误建立，导致建立的索引的查询性能较差，本申请实施例提供一种可能的实施方式，本申请实施例的数据处理方法，在步骤S110，获取目标字段集之后，步骤S120，对目标字段集中的所有目标字段进行逆序存储之前，还包括如下步骤：

根据目标字段集，确定目标字段的编码规则；

根据目标字段的编码规则，计算目标字段前缀的区分度及目标字段后缀的区分度；

判断目标字段后缀的区分度是否大于目标字段前缀的区分度。

若目标字段后缀的区分度大于目标字段前缀的区分度，则执行步骤S120，对目标字段集中的所有目标字段进行逆序存储；若目标字段后缀的区分度不大于目标字段前缀的区分度，则结束本流程。

可选地，目标字段的编码规则可以是目标字段可以划分为几部分，每部分可以有多少种不同的编码。

可选地，目标字段前缀的区分度及目标字段后缀的区分度可以是目标字段前缀的组合数及目标字段后缀的组合数。

假设目标字段为身份证号码，身份证号码的编码规则可参考如下表格：

省份	地级市	区县	出生年份	出生月份	出生日期	序列号	性别	校验位
									61	04	23	1980	02	30	52	1	X

在目标字段为身份证号码，目标字段前缀为目标字段的前8位数的情况下，目标字段前缀的组合数为省份数量×地级市平均数量×区县平均数量×2(19或20)；在目标字段为身份证号码，目标字段后缀为目标字段的后8位数的情况下，目标字段后缀的组合数为校验位数量×2(男或女)×序列号数量×日期数量×月份数量。

经计算，可得知，在目标字段为身份证号码的情况下，目标字段的后8位数的区分度远大于目标字段的前8位数的区分度。

目标字段前缀的区分度及后缀的区分度以组合数体现，便于对区分度的计算，从而提高计算效率。

该方法在获取目标字段集之后，对目标字段集中的所有目标字段进行逆序存储之前，会判断目标字段后缀的区分度是否大于前缀的区分度，以保障建立的索引的查询性能，避免建立的索引的查询性能较差。

可选地，在此种实施方式下，本申请实施例的数据处理方法，步骤S130，按预定的索引创建规则建立逆序存储后的目标字段集的前缀索引，可包括：

根据目标字段的编码规则，确定目标字段集创建前缀索引的位数；

按上述创建前缀索引的位数及预定的索引创建规则建立逆序存储后的目标字段集的前缀索引。

可以理解的是，目标字段集创建前缀索引的位数，即目标字段集创建前缀索引的前X位。

目标字段集创建前缀索引的位数可以根据区分度的贡献值进行确定。

该方法在建立逆序存储后的目标字段集的前缀索引时，还结合了根据目标字段的编码规则确定的目标字段集创建前缀索引的位数，以更为准确、合理地建立目标字段集的前缀索引，进而提升建立的索引查询性能。

实施例二

为了执行上述实施例一对应的方法，以实现相应的功能和技术效果，下面提供一种数据处理装置。

参见图5，图5为本申请实施例提供的数据处理装置的第一结构示意图。

本申请实施例的数据处理装置，包括：

获取模块210，用于获取目标字段集，目标字段集包括多个目标字段；

逆序存储模块220，用于对目标字段集中的所有目标字段进行逆序存储；

索引建立模块230，用于按预定的索引创建规则建立逆序存储后的目标字段集的前缀索引。

本申请实施例的数据处理装置，适用于前缀区分度较高的特殊字段的数据处理，其可以在不影响索引查询性能的情况下，通过对目标字段集进行逆序存储，建立前缀索引的方式，减少索引块占用的存储空间，从而降低索引块对资源的占用，提高数据库资源的利用率。

参见图6，图6为本申请实施例提供的数据处理装置的第二结构示意图。

作为一种可选的实施方式，本申请实施例的数据处理装置，还可包括：

查询模块240，用于根据用户输入的索引查询条件，查询得到输出字段集，输出字段集包括多个输出字段；

输出模块250，用于对输出字段集中的所有输出字段进行逆序处理，输出逆序处理后的输出字段集。

参见图7，图7为本申请实施例提供的数据处理装置的第三结构示意图。

确定模块260，用于根据目标字段集，确定目标字段的编码规则；

计算模块270，用于根据目标字段的编码规则，计算目标字段前缀的区分度及目标字段后缀的区分度；

判断模块280，用于判断目标字段后缀的区分度是否大于目标字段前缀的区分度。

可选地，在此种实施方式下，计算模块270在根据目标字段的编码规则，计算目标字段前缀的区分度及目标字段后缀的区分度时，可：

根据目标字段的编码规则，计算目标字段前缀的组合数及目标字段后缀的组合数；

判断模块280在判断目标字段后缀的区分度是否大于目标字段前缀的区分度时，可：

判断目标字段后缀的组合数是否大于目标字段前缀的组合数。

可选地，在此种实施方式下，索引建立模块230，可具体用于：

上述的数据处理装置可实施上述实施例一的数据处理方法。上述实施例一中的可选项也适用于本实施例，这里不再详述。

本申请实施例的其余内容可参照上述实施例一的内容，在本实施例中，不再进行赘述。

实施例三

本申请实施例提供一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行上述的数据处理方法。

可选地，上述电子设备可以是服务器。

另外，本申请实施例还提供一种计算机可读存储介质，其存储有上述的电子设备中所使用的计算机程序。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims

1.一种数据处理方法，其特征在于，包括：

获取目标字段集，所述目标字段集包括多个目标字段；

对所述目标字段集中的所有目标字段进行逆序存储；

2.根据权利要求1所述的数据处理方法，其特征在于，在所述获取目标字段集之后，所述对所述目标字段集中的所有目标字段进行逆序存储之前，所述方法还包括：

根据所述目标字段集，确定目标字段的编码规则；

3.根据权利要求2所述的数据处理方法，其特征在于，所述根据所述目标字段的编码规则，计算目标字段前缀的区分度及目标字段后缀的区分度，包括：

4.根据权利要求2所述的数据处理方法，其特征在于，所述按预定的索引创建规则建立逆序存储后的目标字段集的前缀索引，包括：

5.根据权利要求1所述的数据处理方法，其特征在于，在所述按预定的索引创建规则建立逆序存储后的目标字段集的前缀索引之后，所述方法还包括：

6.一种数据处理装置，其特征在于，包括：

7.根据权利要求6所述的数据处理装置，其特征在于，所述装置还包括：

8.根据权利要求6所述的数据处理装置，其特征在于，所述装置还包括：

9.一种电子设备，其特征在于，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行根据权利要求1至5中任一项所述的数据处理方法。

10.一种计算机可读存储介质，其特征在于，其存储有权利要求9所述的电子设备中所使用的计算机程序。