CN110866002A - 分表数据处理的方法和装置 - Google Patents
分表数据处理的方法和装置 Download PDFInfo
- Publication number
- CN110866002A CN110866002A CN201810979311.5A CN201810979311A CN110866002A CN 110866002 A CN110866002 A CN 110866002A CN 201810979311 A CN201810979311 A CN 201810979311A CN 110866002 A CN110866002 A CN 110866002A
- Authority
- CN
- China
- Prior art keywords
- data
- sub
- processed
- data table
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000004590 computer program Methods 0.000 claims description 10
- 241000533950 Leucojum Species 0.000 description 12
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 7
- 230000009286 beneficial effect Effects 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 238000012217 deletion Methods 0.000 description 3
- 230000037430 deletion Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种分表数据处理的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：获取待处理数据和动态结构化查询语言的指令；判断所述待处理数据是否携带主键；若是，则根据所述主键中的数据表号确定与所述待处理数据对应的数据表；在所述数据表中，根据所述动态结构化查询语言的指令处理所述待处理数据。该实施方式采用了根据主键直接正确定位数据表的技术手段，无需循环所有需要操作的数据表，有效地避免了由于数据库构成的复杂性带来的循环冗杂的问题，提升了处理分表数据的效率，进而降低了数据库中处理数据压力，提升了数据库的性能。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种分表数据处理的方法和装置。
背景技术
分表可以指把原本存储于一个表中的数据分块存储到多个数据表上，分表数据可以指进行分表后存储于各数据表中的数据。对于分表数据的处理，现有技术中由于无法直接定位存储待处理数据的数据表，只能去全局的查询所有的表对应的数据记录，即查询、修改和删除等处理操作都需要去循环所有的数据表，得到各数据表中的处理结果，再对所有的处理结果进行聚合。
在实现本发明过程中，发明人发现现有技术中至少存在如下问题：现有技术中处理分表数据的方式，其性能和效率都不高。
发明内容
有鉴于此，本发明实施例提供一种分表数据处理的方法和装置，能够解决由于需要循环所有的数据表，以得到各数据表中的处理结果，从而对所有的处理结果进行聚合，而造成的处理分表数据的能力、效率不高的问题。
为实现上述目的，根据本发明实施例的一个方面，提供了一种分表数据处理的方法，包括：获取待处理数据和动态结构化查询语言的指令；判断所述待处理数据是否携带主键；若是，则根据所述主键中的数据表号确定与所述待处理数据对应的数据表；在所述数据表中，根据所述动态结构化查询语言的指令处理所述待处理数据。
可选地，所述主键采用以下方式生成：获取分表字段，确定所述分表字段的哈希码值；将所述分表字段的哈希码值除以数据表的总数量的余数，作为所述分表字段对应的数据表号；获取服务器的MAC地址，确定所述MAC地址的哈希码值；将所述MAC地址的哈希码值除以数据表的总数量的余数，作为序列号；根据当前时间的时间戳、所述序列号、数据库号和数据表号生成主键。
可选地，所述主键中依次包括：一个符号位、41位时间戳、8位序列号、6位数据库号和8位数据表号。
可选地，所述方法还包括：若所述待处理数据未携带主键，则判断是否存在分表字段；若存在分表字段，则确定所述分表字段的哈希码值；将所述分表字段的哈希码值除以数据表的总数量的余数，作为所述待处理数据对应的数据表号，并根据该数据表号确定与所述待处理数据对应的数据表；若不存在分表字段，则在所有数据表中循环查找所述待处理数据对应的数据表。
可选地，判断所述待处理数据是否携带主键；若是，则根据所述主键中的数据表号确定与所述待处理数据对应的数据表，还包括：若所述动态结构化查询语言的指令为修改数据或删除数据或查询数据的指令，且所述待处理数据携带主键，则：根据所述主键中的数据表号确定与所述待处理数据对应的数据表；若所述动态结构化查询语言的指令为添加数据的指令，则：所述待处理数据未携带主键；获取分表字段，确定所述分表字段的哈希码值；将所述分表字段的哈希码值除以数据表的总数量的余数，作为所述待处理数据对应的数据表号，并根据该数据表号确定与所述待处理数据对应的数据表。
为实现上述目的，根据本发明实施例的一个方面，提供了一种分表数据处理的装置，包括：获取模块，用于：获取待处理数据和动态结构化查询语言的指令；确定数据表模块，用于：判断所述待处理数据是否携带主键；若是，则根据所述主键中的数据表号确定与所述待处理数据对应的数据表；执行指令模块，用于：在所述数据表中，根据所述动态结构化查询语言的指令处理所述待处理数据。
可选地，所述装置还包括主键生成模块，用于：获取分表字段，确定所述分表字段的哈希码值；将所述分表字段的哈希码值除以数据表的总数量的余数，作为所述分表字段对应的数据表号；获取服务器的MAC地址，确定所述MAC地址的哈希码值；将所述MAC地址的哈希码值除以数据表的总数量的余数，作为序列号；根据当前时间的时间戳、所述序列号、数据库号和数据表号生成主键。
可选地，所述主键生成模块，还用于：生成的主键中依次包括一个符号位、41位时间戳、8位序列号、6位数据库号和8位数据表号。
可选地，所述确定数据表模块，还用于：若所述待处理数据未携带主键，则判断是否存在分表字段；若存在分表字段，则确定所述分表字段的哈希码值；将所述分表字段的哈希码值除以数据表的总数量的余数，作为所述待处理数据对应的数据表号，并根据该数据表号确定与所述待处理数据对应的数据表；若不存在分表字段，则在所有数据表中循环查找所述待处理数据对应的数据表。
可选地，所述确定数据表模块，还用于：若所述动态结构化查询语言的指令为修改数据或删除数据或查询数据的指令，且所述待处理数据携带主键，则：根据所述主键中的数据表号确定与所述待处理数据对应的数据表；若所述动态结构化查询语言的指令为添加数据的指令，则：所述待处理数据未携带主键；获取分表字段，确定所述分表字段的哈希码值；将所述分表字段的哈希码值除以数据表的总数量的余数，作为所述待处理数据对应的数据表号，并根据该数据表号确定与所述待处理数据对应的数据表。
为实现上述目的，根据本发明实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例提出的分表数据处理的方法。
为实现上述目的，根据本发明实施例的一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如本发明实施例提出的分表数据处理的方法。
上述发明中的一个实施例具有如下优点或有益效果：因为采用了根据主键直接正确定位数据表，并在该数据表中执行动态结构化查询语言的指令的技术手段，而无需循环所有需要操作的数据表，有效地避免了由于数据库构成的复杂性带来的循环冗杂的问题，提升了处理分表数据的效率，进而降低了数据库中处理数据压力，提升了数据库的性能。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是根据本发明实施例的分表数据处理的方法的基本流程的示意图；
图2是根据本发明实施例的主键生成策略的示意图；
图3是根据本发明实施例的分表数据处理的方法的优选流程的示意图；
图4是根据本发明实施例的分表数据处理的装置的基本模块的示意图；
图5是本发明实施例可以应用于其中的示例性***架构图；
图6是适于用来实现本发明实施例的终端设备或服务器的计算机***的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1是根据本发明实施例的分表数据处理的方法的基本流程的示意图。如图1所示，本发明实施例提供了一种分表数据处理的方法，包括：
步骤S101.获取待处理数据和动态结构化查询语言(SQL，Structured QueryLanguage)的指令；
步骤S102.判断所述待处理数据是否携带主键；若是，则根据所述主键中的数据表号确定与所述待处理数据对应的数据表；
步骤S103.在所述数据表中，根据所述动态结构化查询语言的指令处理所述待处理数据。
数据表号可以是数据表的序列号，也可以是数据表ID。主键可以指表示数据库中某数据唯一的记录。本发明实施例采用了根据主键直接正确定位数据表，并在该数据表中执行动态结构化查询语言的指令的技术手段，而无需循环所有需要操作的数据表，有效地避免了由于数据库构成的复杂性带来的循环冗杂的问题，提升了处理分表数据的效率，进而降低了数据库的存取压力，提升了数据库的性能。
本发明实施例中，所述主键采用以下方式生成：获取分表字段，确定所述分表字段的哈希码值；根据所述分表字段的哈希码值和数据表的总数量，将所述分表字段的哈希码值除以数据表的总数量的余数，作为所述分表字段对应的数据表号；获取服务器的媒体访问控制地址(即MAC地址)，确定所述媒体访问控制地址的哈希码值；根据所述媒体访问控制地址的哈希码值和数据表的总数量，将所述媒体访问控制地址的哈希码值除以数据表的总数量的余数，作为序列号；根据当前时间的时间戳、所述序列号、数据库号和数据表号生成主键。在生成主键之后需要将该主键加于新添加进该数据表的数据中。本发明实施例在雪花算法(snowFlake)的基础上，优化了主键的生成方式，使主键能够保存数据库和数据表的信息，实现了在处理分表数据的过程中利用主键定位数据库、数据表的有益效果。SnowFlake是一种生成分布式集群下全局唯一性ID(即主键)的算法。本发明实施例中还可以通过第三方的类似于分布式应用程序协调服务zookerper生成分布式集群下全局唯一ID。
本发明实施例中，所述主键中依次包括：一个符号位、41位时间戳、8位序列号、6位数据库号和8位数据表号。图2是根据本发明实施例的主键生成策略的示意图；如图2所示，第一位为符号位，没有任何业务意义；其后面的41位表示时间戳，以毫秒为单位，41位可以表示2^41-1个毫秒的值，转化成单位年则是69年；再后面的8位序列号是用来区分在同一毫秒内生成的相同数据，在集群环境中，当出现多个实例取的时间戳相同的情况，需要根据实例的mac地址来生成8位的值来进行区分；再后面的6位数据库号表示生成的数据库的序列号，总共支持的63个数据库；最后的8位数据表号表示生成的数据表的序列号，总共支持128个数据库表。本发明实施例在雪花算法(snowFlake)的基础上，优化了主键的生成方式，使主键能够保存数据库和数据表的信息，实现了在处理分表数据的过程中利用主键定位数据库、数据表的有益效果。
本发明实施例中，根据所述主键中的数据表号确定与所述待处理数据对应的数据表，包括：根据所述主键，确定主键中的最后8位为数据表号；根据该数据表号，定位所述待处理数据对应的数据表。本发明实施例在雪花算法(snowFlake)的基础上，优化了主键的生成方式，使主键能够保存数据表的信息，实现了在处理分表数据的过程中利用主键定位数据表的有益效果。
本发明实施例中，所述方法还包括：若所述待处理数据未携带主键，则判断是否存在分表字段；若存在分表字段，则确定所述分表字段的哈希码值；根据所述分表字段的哈希码值和数据表的总数量，将所述分表字段的哈希码值除以数据表的总数量的余数，作为所述待处理数据对应的数据表号，根据该数据表号确定与所述待处理数据对应的数据表；若不存在分表字段，则在所有数据表中循环查找所述待处理数据对应的数据表。分表字段是将一个表中的数据分块存储到多个数据表的依据，决定了分表的结果。例如，根据“性别”将用户信息分别存储至两个数据表中，在该分表过程中，“性别”即为分表字段。本发明实施例在没有主键的情况下，采用了根据分表字段定位数据表的技术手段，无需循环所有需要操作的数据表，有效地避免了由于数据库构成的复杂性带来的循环冗杂的问题，提升了处理分表数据的效率，进而降低了数据库的存取压力，提升了数据库的性能。
本发明实施例中，判断所述待处理数据是否携带主键；若是，则根据所述主键中的数据表号确定与所述待处理数据对应的数据表，还包括：若所述动态结构化查询语言的指令为修改数据或删除数据或查询数据的指令，且所述待处理数据携带主键，则：根据所述主键中的数据表号确定与所述待处理数据对应的数据表；若所述动态结构化查询语言的指令为添加数据的指令，则：所述待处理数据未携带主键；获取分表字段，确定所述分表字段的哈希码值；根据所述分表字段的哈希码值和数据表的总数量，将所述分表字段的哈希码值除以数据表的总数量的余数，作为所述待处理数据对应的数据表号，并根据该数据表号确定与所述待处理数据对应的数据表。对于需要添加进数据表中的新数据，由于其不携带主键，所以需要根据分表字段进行数据表的定位(即确定该新数据要添加进的数据表)；在根据分表字段生成主键后，再将该主键加于该新数据中，这样以后对该新数据进行修改、删除、查询等操作时就可以利用主键直接定位数据表，提升了处理分表数据的效率，进而降低了数据库中处理数据压力。
进一步提出一实现新增数据的实施例，其步骤如下：
根据mybatis的框架的SQL规则生成具有新增功能的动态SQL语句(或指令)；动态SQL语句中表示数据库表的参数为动态参数；
根据分表字段计算哈希码(hashCode)值，除以数据表总数取余得到数据表号；
根据时间戳、序列号、数据库序列和数据表序列生成唯一的主键，其中，序列号是由计算媒体访问控制(Media Access Control或者Medium Access Control，MAC)地址的hashCode值，根据该hashCode值除以数据表总数取余得到的；
具体地可以采用代理类MapperProxy中的调用invoke方法，利用生成的主键初始化实体类对象的主键(即将生成的主键加于新数据中)，将根据数据表号确定的数据表，获取该数据表的参数，并将该参数与动态SQL语句中的参数进行动态替换；动态替换之后将新数据直接添加保存到该数据表中，以完成数据新增。
其中，时间戳表示当前时间的一个长整型二进制码，可以理解为当前时间，序列号就是由物理机(服务器)的MAC地址处理生成的8位的二进制码，数据库表序列是根据路由规则生成的一个8位2二进制码。动态SQL语句支持动态替换需要新增或者需要查询的数据库表，比如语句：“select*from[表A]”中的[表A]是根据路由规则动态生成的。哈希码(hashCode)值是工具包JDK根据对象的地址或者字符串或者数字算出来的int类型的数值。Mybatis是一种支持数据的持久层操作和动态替换的中间件。
进一步，实现除新增功能外的其他数据处理功能的实施例如下：
根据mybatis的框架的SQL规则生成具有新增功能的动态SQL语句(或指令)，动态SQL语句中表示数据库表的参数为动态参数；
可以采用MapperProxy的invoke方法，判断是否存在主键，如果存在主键，那么直接根据主键定位对应的数据表，动态替换对应的数据库表的参数，然后执行动态SQL语句。如果不存在主键，那么判断分表字段的值是否存在，若存在，则根据分表字段得到数据表号，从而定位对应的数据表，动态替换对应的数据库表的参数，然后执行动态SQL语句。若不存在，那么需要全量去递归对应的数据表(即循环当前数据结构的所有数据表，查询到满足条件的数据，该数据所在的数据表即为对应的数据表)，执行动态SQL语句。
图3是根据本发明实施例的分表数据处理的方法的优选流程的示意图；如图3所示，具体地修改、删除、查询流程可以如下：
修改流程：判断修改的条件是否存在主键，如果存在，直接取得id的最后8位，直接定位到数据表。如果不存在主键，判断是否存在分表字段进行计算hash值并且计算数据表，修改数据并且返回。如果均不存在，那么需要循环所有的表进行数据的修改操作。
删除流程：判断修改的条件是否存在主键，如果存在，直接取得id的最后8位，直接定义到数据表。如果不存在主键，判断是否存在分表字段进行计算hash值并且计算数据表，删除数据并且返回。如果均不存在，那么需要循环所有的表进行数据的删除操作。
查询流程：判断修改的条件是否存在主键，如果存在，直接取得id的最后8位，直接定义到数据表。如果不存在主键，判断是否存在分表字段进行计算hash值并且计算数据表，查询数据并且返回。如果均不存在，那么需要循环所有的表进行数据的查询操作。
本发明实施例提供了一种分表数据处理的装置400，包括：获取模块401，用于：获取待处理数据和动态结构化查询语言的指令；确定数据表模块402，用于：判断所述待处理数据是否携带主键；若是，则根据所述主键中的数据表号确定与所述待处理数据对应的数据表；执行指令模块403，用于：在所述数据表中，根据所述动态结构化查询语言的指令处理所述待处理数据。本发明实施例采用了根据主键直接正确定位数据表，并在该数据表中执行动态结构化查询语言的指令的技术手段，而无需循环所有需要操作的数据表，有效地避免了由于数据库构成的复杂性带来的循环冗杂的问题，提升了处理分表数据的效率，进而降低了数据库的存取压力，提升了数据库的性能。
本发明实施例中，所述装置还包括主键生成模块，用于：获取分表字段，确定所述分表字段的哈希码值；根据所述分表字段的哈希码值和数据表的总数量，将所述分表字段的哈希码值除以数据表的总数量的余数，作为所述分表字段对应的数据表号；获取服务器的媒体访问控制地址，确定所述媒体访问控制地址的哈希码值；根据所述媒体访问控制地址的哈希码值和数据表的总数量，将所述媒体访问控制地址的哈希码值除以数据表的总数量的余数，作为序列号；根据当前时间的时间戳、所述序列号、数据库号和数据表号生成主键。本发明实施例在雪花算法(snowFlake)的基础上，优化了主键的生成方式，使主键能够保存数据库和数据表的信息，实现了在处理分表数据的过程中利用主键定位数据库、数据表的有益效果。
本发明实施例中，所述主键生成模块，还用于：生成的主键中依次包括一个符号位、41位时间戳、8位序列号、6位数据库号和8位数据表号。本发明实施例在雪花算法(snowFlake)的基础上，优化了主键的生成方式，使主键能够保存数据库和数据表的信息，实现了在处理分表数据的过程中利用主键定位数据库、数据表的有益效果。
本发明实施例中，所述确定数据表模块，还用于：根据所述主键，确定主键中的最后8位为数据表号；根据该数据表号，定位所述待处理数据对应的数据表。本发明实施例在雪花算法(snowFlake)的基础上，优化了主键的生成方式，使主键能够保存数据表的信息，实现了在处理分表数据的过程中利用主键定位数据表的有益效果。
本发明实施例中，所述确定数据表模块，还用于：若所述待处理数据未携带主键，则判断是否存在分表字段；若存在分表字段，则确定所述分表字段的哈希码值；根据所述分表字段的哈希码值和数据表的总数量，将所述分表字段的哈希码值除以数据表的总数量的余数，作为所述待处理数据对应的数据表号，根据该数据表号确定与所述待处理数据对应的数据表；若不存在分表字段，则在所有数据表中循环查找所述待处理数据对应的数据表。本发明实施例在没有主键的情况下，采用了根据分表字段定位数据表的技术手段，无需循环所有需要操作的数据表，有效地避免了由于数据库构成的复杂性带来的循环冗杂的问题，提升了处理分表数据的效率，进而降低了数据库的存取压力，提升了数据库的性能。
本发明实施例中，所述确定数据表模块，还用于：若所述动态结构化查询语言的指令为修改数据或删除数据或查询数据的指令，且所述待处理数据携带主键，则：根据所述主键中的数据表号确定与所述待处理数据对应的数据表；若所述动态结构化查询语言的指令为添加数据的指令，则：所述待处理数据未携带主键；获取分表字段，确定所述分表字段的哈希码值；根据所述分表字段的哈希码值和数据表的总数量，将所述分表字段的哈希码值除以数据表的总数量的余数，作为所述待处理数据对应的数据表号，并根据该数据表号确定与所述待处理数据对应的数据表。对于需要添加进数据表中的新数据，由于其不携带主键，所以需要根据分表字段进行数据表的定位(即确定该新数据要添加进的数据表)；在根据分表字段生成主键后，再将该主键加于该新数据中，这样以后对该新数据进行修改、删除、查询等操作时就可以利用主键直接定位数据表，提升了处理分表数据的效率，进而降低了数据库中处理数据压力。
图5示出了可以应用本发明实施例的分表数据处理的方法或分表数据处理的装置的示例性***架构500。
如图5所示，***架构500可以包括终端设备501、502、503，网络504和服务器505。网络504用以在终端设备501、502、503和服务器505之间提供通信链路的介质。网络504可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备501、502、503通过网络504与服务器505交互，以接收或发送消息等。终端设备501、502、503上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备501、502、503可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器505可以是提供各种服务的服务器，例如对用户利用终端设备501、502、503所浏览的购物类网站提供支持的后台管理服务器。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果反馈给终端设备。
需要说明的是，本发明实施例所提供的分表数据处理的方法一般由服务器505执行，相应地，分表数据处理的装置一般设置于服务器505中。
应该理解，图5中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
根据本发明的实施例，本发明还提供了一种电子设备和一种计算机可读介质。
本发明实施例的电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例提出的分表数据处理的方法。
本发明实施例的计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如本发明实施例提出的分表数据处理的方法。
下面参考图6，其示出了适于用来实现本发明实施例的终端设备的计算机***600的结构示意图。图6示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示，计算机***600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有***600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本发明的***中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括：获取模块、确定数据表模块、执行指令模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，获取模块还可以被描述为“用于获取待处理数据和动态结构化查询语言的指令的模块”。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：步骤S101.获取待处理数据和动态结构化查询语言的指令；步骤S102.判断所述待处理数据是否携带主键；若是，则根据所述主键中的数据表号确定与所述待处理数据对应的数据表；步骤S103.在所述数据表中，根据所述动态结构化查询语言的指令处理所述待处理数据。
本发明实施例因为采用了根据主键直接正确定位数据表，并在该数据表中执行动态结构化查询语言的指令的技术手段，而无需循环所有需要操作的数据表，有效地避免了由于数据库构成的复杂性带来的循环冗杂的问题，提升了处理分表数据的效率，进而降低了数据库中处理数据压力，提升了数据库的性能。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (12)
1.一种分表数据处理的方法，其特征在于，包括：
获取待处理数据和动态结构化查询语言的指令；
判断所述待处理数据是否携带主键；若是，则根据所述主键中的数据表号确定与所述待处理数据对应的数据表；
在所述数据表中，根据所述动态结构化查询语言的指令处理所述待处理数据。
2.根据权利要求1所述的方法，其特征在于，所述主键采用以下方式生成：
获取分表字段，确定所述分表字段的哈希码值；将所述分表字段的哈希码值除以数据表的总数量的余数，作为所述分表字段对应的数据表号；
获取服务器的MAC地址，确定所述MAC地址的哈希码值；将所述MAC地址的哈希码值除以数据表的总数量的余数，作为序列号；
根据当前时间的时间戳、所述序列号、数据库号和数据表号生成主键。
3.根据权利要求1所述的方法，其特征在于，所述主键中依次包括：一个符号位、41位时间戳、8位序列号、6位数据库号和8位数据表号。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
若所述待处理数据未携带主键，则判断是否存在分表字段；
若存在分表字段，则确定所述分表字段的哈希码值；将所述分表字段的哈希码值除以数据表的总数量的余数，作为所述待处理数据对应的数据表号，并根据该数据表号确定与所述待处理数据对应的数据表；
若不存在分表字段，则在所有数据表中循环查找所述待处理数据对应的数据表。
5.根据权利要求1所述的方法，其特征在于，判断所述待处理数据是否携带主键；若是，则根据所述主键中的数据表号确定与所述待处理数据对应的数据表，还包括：
若所述动态结构化查询语言的指令为修改数据或删除数据或查询数据的指令，且所述待处理数据携带主键，则：
根据所述主键中的数据表号确定与所述待处理数据对应的数据表；
若所述动态结构化查询语言的指令为添加数据的指令，则：
所述待处理数据未携带主键；获取分表字段，确定所述分表字段的哈希码值；将所述分表字段的哈希码值除以数据表的总数量的余数，作为所述待处理数据对应的数据表号，并根据该数据表号确定与所述待处理数据对应的数据表。
6.一种分表数据处理的装置，其特征在于，包括：
获取模块，用于：获取待处理数据和动态结构化查询语言的指令；
确定数据表模块，用于：判断所述待处理数据是否携带主键；若是，则根据所述主键确定与所述待处理数据对应的数据表；
执行指令模块，用于：在所述数据表中，根据所述动态结构化查询语言的指令处理所述待处理数据。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括主键生成模块，用于：
获取分表字段，确定所述分表字段的哈希码值；将所述分表字段的哈希码值除以数据表的总数量的余数，作为所述分表字段对应的数据表号；
获取服务器的MAC地址，确定所述MAC地址的哈希码值；将所述MAC地址的哈希码值除以数据表的总数量的余数，作为序列号；
根据当前时间的时间戳、所述序列号、数据库号和数据表号生成主键。
8.根据权利要求6所述的装置，其特征在于，所述主键生成模块，还用于：生成的主键中依次包括一个符号位、41位时间戳、8位序列号、6位数据库号和8位数据表号。
9.根据权利要求6所述的装置，其特征在于，所述确定数据表模块，还用于：
若所述待处理数据未携带主键，则判断是否存在分表字段；
若存在分表字段，则确定所述分表字段的哈希码值；将所述分表字段的哈希码值除以数据表的总数量的余数，作为所述待处理数据对应的数据表号，并根据该数据表号确定与所述待处理数据对应的数据表；
若不存在分表字段，则在所有数据表中循环查找所述待处理数据对应的数据表。
10.根据权利要求6所述的装置，其特征在于，所述确定数据表模块，还用于：
若所述动态结构化查询语言的指令为修改数据或删除数据或查询数据的指令，且所述待处理数据携带主键，则：
根据所述主键中的数据表号确定与所述待处理数据对应的数据表；
若所述动态结构化查询语言的指令为添加数据的指令，则：
所述待处理数据未携带主键；获取分表字段，确定所述分表字段的哈希码值；将所述分表字段的哈希码值除以数据表的总数量的余数，作为所述待处理数据对应的数据表号，并根据该数据表号确定与所述待处理数据对应的数据表。
11.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。
12.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-5中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810979311.5A CN110866002A (zh) | 2018-08-27 | 2018-08-27 | 分表数据处理的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810979311.5A CN110866002A (zh) | 2018-08-27 | 2018-08-27 | 分表数据处理的方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110866002A true CN110866002A (zh) | 2020-03-06 |
Family
ID=69651137
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810979311.5A Pending CN110866002A (zh) | 2018-08-27 | 2018-08-27 | 分表数据处理的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110866002A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113704245A (zh) * | 2020-05-22 | 2021-11-26 | 北京沃东天骏信息技术有限公司 | 一种数据库主键生成方法、分表定位方法和装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001025962A1 (en) * | 1999-10-05 | 2001-04-12 | S.C. Medicarom Group S.R.L. | Database organization for increasing performance by splitting tables |
| CN105005624A (zh) * | 2015-07-31 | 2015-10-28 | 天脉聚源(北京)传媒科技有限公司 | 一种生成索引文档id的方法及装置 |
| CN105930387A (zh) * | 2016-04-14 | 2016-09-07 | 北京思特奇信息技术股份有限公司 | 一种基于数据路由、分库分表的数据操作***及方法 |
| CN107633016A (zh) * | 2017-08-23 | 2018-01-26 | 阿里巴巴集团控股有限公司 | 数据处理方法及装置和电子设备 |
| CN107818115A (zh) * | 2016-09-14 | 2018-03-20 | 苏宁云商集团股份有限公司 | 一种处理数据表的方法及装置 |
-
2018
- 2018-08-27 CN CN201810979311.5A patent/CN110866002A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001025962A1 (en) * | 1999-10-05 | 2001-04-12 | S.C. Medicarom Group S.R.L. | Database organization for increasing performance by splitting tables |
| CN105005624A (zh) * | 2015-07-31 | 2015-10-28 | 天脉聚源(北京)传媒科技有限公司 | 一种生成索引文档id的方法及装置 |
| CN105930387A (zh) * | 2016-04-14 | 2016-09-07 | 北京思特奇信息技术股份有限公司 | 一种基于数据路由、分库分表的数据操作***及方法 |
| CN107818115A (zh) * | 2016-09-14 | 2018-03-20 | 苏宁云商集团股份有限公司 | 一种处理数据表的方法及装置 |
| CN107633016A (zh) * | 2017-08-23 | 2018-01-26 | 阿里巴巴集团控股有限公司 | 数据处理方法及装置和电子设备 |
Non-Patent Citations (2)
| Title |
|---|
| M.A.C AKMAL JAHAN 等: "" Separating tables from text and non-text objects in printed documents for digital reconstruction"", 2017 IEEE INTERNATIONAL CONFERENCE ON INDUSTRIAL AND INFORMATION SYSTEMS (ICIIS), 22 February 2018 (2018-02-22) * |
| 严成武: ""支持分库分表和读写分离的ORM框架的设计与实现"", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》, 15 February 2017 (2017-02-15) * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113704245A (zh) * | 2020-05-22 | 2021-11-26 | 北京沃东天骏信息技术有限公司 | 一种数据库主键生成方法、分表定位方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107704202B (zh) | 一种数据快速读写的方法和装置 | |
| CN110471848B (zh) | 一种动态返回报文的方法和装置 | |
| CN110689268B (zh) | 一种提取指标的方法和装置 | |
| CN107844488B (zh) | 数据查询方法和装置 | |
| CN110795315A (zh) | 监控业务的方法和装置 | |
| CN110705271A (zh) | 一种提供自然语言处理服务的***及方法 | |
| CN111753019B (zh) | 一种应用于数据仓库的数据分区方法和装置 | |
| CN112783887A (zh) | 一种基于数据仓库的数据处理方法及装置 | |
| CN113761565B (zh) | 数据脱敏方法和装置 | |
| CN109947736B (zh) | 实时计算的方法和*** | |
| CN110866001A (zh) | 确定待处理订单的方法和装置 | |
| CN113641706B (zh) | 数据查询的方法和装置 | |
| CN111858621B (zh) | 监控业务流程的方法、装置、设备和计算机可读介质 | |
| CN111949648B (zh) | 内存缓存数据***和数据索引方法 | |
| CN110866002A (zh) | 分表数据处理的方法和装置 | |
| CN113704245A (zh) | 一种数据库主键生成方法、分表定位方法和装置 | |
| CN109144991B (zh) | 动态分表的方法、装置、电子设备和计算机可存储介质 | |
| CN113495891B (zh) | 一种数据处理方法和装置 | |
| CN112783914B (zh) | 优化语句的方法和装置 | |
| US20180046656A1 (en) | Constructing filterable hierarchy based on multidimensional key | |
| CN110019671B (zh) | 一种处理实时消息的方法和*** | |
| CN107665241B (zh) | 一种实时数据多维度去重方法和装置 | |
| CN113704242A (zh) | 一种数据处理方法和装置 | |
| CN113220981A (zh) | 一种优化缓存的方法和装置 | |
| CN113760965B (zh) | 数据查询的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |