CN105938479B - 一种关系表与非关系表的结构转换方法 - Google Patents

一种关系表与非关系表的结构转换方法 Download PDF

Info

Publication number
CN105938479B
CN105938479B CN201610200564.9A CN201610200564A CN105938479B CN 105938479 B CN105938479 B CN 105938479B CN 201610200564 A CN201610200564 A CN 201610200564A CN 105938479 B CN105938479 B CN 105938479B
Authority
CN
China
Prior art keywords
relation table
hbase
relation
relationship
many
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610200564.9A
Other languages
English (en)
Other versions
CN105938479A (zh
Inventor
范冰冰
胡道鹏
何文哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Bingo Software Co Ltd
Original Assignee
South China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Normal University filed Critical South China Normal University
Priority to CN201610200564.9A priority Critical patent/CN105938479B/zh
Publication of CN105938479A publication Critical patent/CN105938479A/zh
Application granted granted Critical
Publication of CN105938479B publication Critical patent/CN105938479B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/214—Database migration support

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及关系表与非关系表的结构转换方法，包括判断关系型数据库中的单张关系表的类型；若某张表为独立关系表，则使用简单实体转换模型转换；判断关系型数据库中的两张关系表之间的关系；若存在一对一关系，则使用一对一关系转换模型转换；若存在一对多关系，则使用一对多关系转换模型转换；若存在多对多关系，则使用多对多关系转换模型转换。本发明实施方式提供的方法，可以根据原关系型数据库中表的类型和表关系，针对不同的表关系采用不同的转换模型进行转换，有效保留了原来结构化数据库所有的数据关系。

Description

一种关系表与非关系表的结构转换方法
技术领域
本发明涉及数据库迁移领域，尤其是一种从关系表与非关系表的结构转换方法。
背景技术
大数据分析是大数据应用的主要方向，传统的关系型数据库管理***(RDBMS)由于扩展性差，大数据下IO压力大，数据分析效率低下等问题，已经很难适应海量数据管理的需求。
随着HBase数据库被Facebook成功地用于构建实时***，其已经成为目前最热门的NOSQL数据库，其不仅拥有大部分NOSQL数据库所拥有的优点，而且提供了更为强大的可扩展性以及数据操作性能。目前，将HBase应用到业务***做大数据分析与数据挖掘已经成为大数据应用的一个热点，当前多数业务***使用关系型数据库存储数据，为了方便数据处理，通常需要将数据从关系型数据库迁移进HBase。
但是，如何将RDBMS数据导入到HBase，目前仍然面临巨大挑战：
第一、HBase与RDBMS的逻辑结构不同：HBase是按列存储的一种稀疏的半结构化数据库***，它与传统的关系型数据库有着很大的差异。把数据迁移到HBase必须考虑二者的差异，且解决这个问题；
第二、在HBase中数据保留某种关系：如果按照数据分析的场景进行数据迁移，数据间势必会有大量的多条件查询操作，HBase中多表间的连接操作效率很低，如何在一个HBase表里保留数据的多重关系是提升HBase高性能查询的关键。
第三、数据迁移性能问题：在迁移的过程中需要数据抽取与数据的重新组织，这些过程都伴随着join操作，而join操作十分耗时，如何提高数据join操作的效率是解决数据迁移性能的关键。
第四、HBase表结构设计的问题：HBase与RDBMS相比有很多的缺点，例如不支持索引，没有SQL，不支持join操作等，所以数据迁移中关键的一步就是设计HBase表结构，好的表结构设计能够极大地提高数据的查询效率。
发明内容
本发明的目的在于一种关系表与非关系表的结构转换方法，可以有效保留原来结构化数据库所有的数据关系，极大地提高数据的查询效率。
为此，本发明实施例提供了一种应用于RDBMS数据库到HBase数据库的数据迁移中的关系表与非关系表的结构转换方法，包括：判断关系型数据库中的单张关系表的类型；
若某张表为独立关系表，则使用简单实体转换模型进行转换，得到HBase数据库中的HBase非关系表；
判断关系型数据库中的两张关系表之间的关系；
若关系型数据库中的两张关系表存在一对一关系，则使用一对一关系转换模型进行转换，得到HBase数据库中的HBase非关系表；
若关系型数据库中的两张关系表存在一对多关系，则使用一对多关系转换模型进行转换，得到HBase数据库中的HBase非关系表；
若关系型数据库中的两张关系表存在多对多关系，则使用多对多关系转换模型进行转换，得到HBase数据库中的HBase非关系表；
判断关系型数据库中的三张或三张以上关系表相互之间的关系；
若三张或三张以上关系表相互之间存在一对多的关系，则使用复杂关系转换模型进行转换，得到HBase数据库中的HBase非关系表。
作为一种具体的实施例，所述独立关系表为：关系型数据库中的某张关系表没有使用其他表的主键作为外键，其他表也没有使用该表的主键作为外键。
作为一种具体的实施例，所述一对一关系为：一张表与另一张表有关联，且两张表元组间的关系为一一对应。
作为一种具体的实施例，所述一对多关系为：两张表中的其中一张表通过外键关系连接两个表，且使用外键的表的多个元组对应于另外一张表的同一个元组。
作为一种具体的实施例，所述多对多关系为：两张表通过一张中间表建立了联系，且两张表都至少存在一个元组与另外一张表的多个元组建立了联系。
作为一种具体的实施例，所述使用简单实体转换模型进行转换具体为：
对独立关系表A中的每一个主键将组合，作为HBase非关系表的行健
对独立关系表A的每一个元组一个键值对包括每一个元组中的每一个字段其中每一个字段是独立关系表A的非主键属性；
HBase非关系表的一个列族cfA中的列由独立关系表A中的非主键集合fA组成。
作为一种具体的实施例，所述使用一对一关系转换模型进行转换具体为为：
定义第一关系表A与第二关系表B为一对一关系，第一关系表A的外键是第二关系表B的主键，第三关系表C是第一关系表A与第二关系表B通过外连接的的合并表，且第一关系表A的主键为第三关系表C的主键；
将第一关系表A与第二关系表B通过外连接生成合并第三关系表C；
对第三关系表C使用简单实体转换模型进行转换，生成对应的HBase非关系表。
作为一种具体的实施例，所述使用一对多关系转换模型进行转换具体为：
定义第一关系表A与第二关系表B为一对多关系，第二关系表B的外键是第一关系表A的主键，且第二关系表B中多个元组的外键为第一关系表A同一元组的主键；第一HBase非关系表HA为HBase数据库中与第一关系表A对应的非关系表，第二HBase非关系表HB为HBase数据库中与第二关系表B对应的非关系表；
对于第二关系表B，其与第一关系表A为一对一关系，使用一对一关系转换模型进行转换得到第二HBase非关系表HB；
对于第一关系表A，先使用简单实体转换，转换成对应的第一HBase非关系表HA，在第一HBase非关系表HA中为第二关系表B的每一个非主键字段创建列族基于一对多关系，第一关系表A中一个元组的主键都有一个元组并且 是的外键；
在元组中，一个键值对的行健是是列族的列限定符，第二关系表B的非主键字段是这一列的值。
作为一种具体的实施例，所述使用多对多关系转换模型进行转换具体为：
定义第一关系表A与第二关系表B为一对多关系，第三关系表C是由第一关系表A与第二关系表B生成的中间关系表，第一HBase非关系表HA为HBase数据库中与第一关系表A对应的非关系表，第二HBase非关系表HB为HBase数据库中与第二关系表B对应的非关系表；
对于第一关系表A，由于第一关系表A与第二关系表B是一对多关系，先使用一对多关系转换模型转换得到第一HBase非关系表HA的初表，然后由于第一关系表A与第三关系表C也是一对多关系，对第一HBase非关系表HA的初表再采用一对多关系转换模型转换得到第一HBase非关系表HA；
对于第二关系表B，由于第二关系表B与第一关系表A是一对多关系，先使用一对多关系转换模型转换得到第二HBase非关系表HB的初表，然后由于第二关系表B与第三关系表C也是一对多关系，对第二HBase非关系表B的初表再采用一对多关系转换模型转换得到第二HBase非关系表HB。
与现有技术相比，本发明实施方式提供的关系表与非关系表的结构转换方法可以在从RDBMS数据库到HBase数据库的数据迁移转换表结构时，可以根据原关系型数据库中表的类型和表关系，针对不同的表关系采用不同的转换模型进行转换，有效保留了原来结构化数据库所有的数据关系。
附图说明
图1是本发明的方法的一个实施例的流程图；
图2是本发明实施例所述简单实体转换模型的逻辑结构图；
图3是本发明实施例一对一转换模型的逻辑结构图；
图4是本发明实施例一对多转换模型的逻辑结构图；
图5是本发明实施例多对多转换模型的逻辑结构图。
具体实施方式
下面结合附图，对本发明的实施方式做进一步说明。为了充分地了解本发明的目的、特征和效果，以下将结合附图1-5对本发明的构思、具体结构及产生的技术效果作进一步说明。
如图1所示，一种应用于RDBMS数据库到HBase数据库的数据迁移中的关系表与非关系表的结构转换方法，包括：
步骤101、判断关系型数据库中的单张关系表的类型；若某张表为独立关系表，则使用简单实体转换模型进行转换，得到HBase数据库中的HBase非关系表。
如图2所示，是本实施例中简单实体转换模型的逻辑结构图，在HBase非关系表HA中创建一个列族A_INFO来管理限定符(qualifiers)，实体表中的属性名作为限定符的名字。列族的名字在进行模型转换时定义。其中，所述独立关系表为：关系型数据库中的某张关系表没有使用其他表的主键作为外键，其他表也没有使用该表的主键作为外键。
为了方便模型转换先预定义关系表A的特征：
1、pkA是表A的主键，pkA可以由一个或者多个成为主键属性的字段组成。
2、假设1≤e≤k是主键属性集合，k是表A中的主键属性的个数。
3、k<d≤q+k，q是表A中的非主键属性个数，并且pkAΙfA＝φ。
4、表A有一系列的元组组成，每一个元组都有主键属性和非主键属性
简单实体的转换模型就是创建关系表A相对应的HBase表HA，并且为HA创建RowKey模型转换过程分为两步：
第一步定义HA的行健RowKey；
第二步定义HA的列族(column family)。
由上，可得所述使用简单实体转换模型进行转换，具体过程如下：
1、对独立关系表A中的每一个主键将组合，作为HBase非关系表HA的行健
2、对独立关系表A的每一个元组一个键值对(Key-Value Pair)包括每一个元组中的每一个字段其中每一个字段是独立关系表A的非主键属性；
3、HBase非关系表HA的一个列族cfA中的列由独立关系表A中的非主键集合fA组成。
步骤102、判断关系型数据库中的两张关系表之间的关系，具体包括：
步骤1021、若关系型数据库中的两张关系表存在一对一关系，则使用一对一关系转换模型进行转换，得到HBase数据库中的HBase非关系表。
其中，所述一对一关系为：一张表与另一张表有关联，且两张表元组间的关系为一一对应。
图3是本发明中一对一转换模型的逻辑结构图，第一关系表A的外键Bid是第二关系表B的主键，两张表实际上可以通过外连接合并成一张第三关系表C(在数据库连接查询时经常用到)，以一张表的主键作为这张合并表的主键。因此一对一的关系模型转换实际上是将表C通过简单地实体模型转换成对应的HBase表。
所述使用一对一关系转换模型进行转换具体为：
1、定义第一关系表A与第二关系表B为一对一关系，第一关系表A的外键是第二关系表B的主键，第三关系表C是第一关系表A与第二关系表B通过外连接的的合并表，且第一关系表A的主键为第三关系表C的主键；
2、将第一关系表A与第二关系表B通过外连接生成合并第三关系表C；
3、对第三关系表C使用简单实体转换模型Entity(C)进行转换，生成对应的HBase非关系表。
按照上述的模型转换得到HBase非关系表HC，如图2所示，表A与表B外连接合并后，将表B的属性***到表A对应的行中，然后共同存储在HC的一个列族中。将表A的主键设为HC的行健。
步骤1022、若关系型数据库中的两张关系表存在一对多关系，则使用一对多关系转换模型进行转换，得到HBase数据库中的HBase非关系表。
其中，所述一对多关系为：两张表中的其中一张表通过外键关系连接两个表，且使用外键的表的多个元组对应于另外一张表的同一个元组。
参见图4，图4是本实施例中一对多转换模型的逻辑结构图。如图4所示，关系表A与表B具有一对多的关系，从另一个角度看可以认为B与A具有一对一关系1-1(B，A)。对1-1(B，A)关系适用一对一关系转换模型得到HBase表HB，HB中存储表A相应的主键和属性。从一对多的角度看，我们必须保存表A中的一条记录在表B中的多个对应关系。在HBase中使用限定符的属性来标示B的行健，因此为B的每一个属性创建一个列族，并且用B的主键作为限定符来存储B的属性值。和简单实体模型转换类似表B的主键可能有多个字段，因此需要将B的主键字段合成一个单一的值。综上，一对多关系1-m-single(A，B)模型转换步骤如下：
1、假设：A与B在关系数据库中具有一对多关系1-m(A，B)，且表A的一条记录在表B中有多条记录相对应。
2、适用模型1-1(B，A)，生成对应的HTable HB，且把B的主键设为HB的行健。
3、适用模型1-m(A，B)，生成对应的HTable HA，HA存储表B的数据。
具体地，所述使用一对多关系转换模型进行转换具体为：
1、定义第一关系表A与第二关系表B为一对多关系，第二关系表B的外键是第一关系表A的主键，且第二关系表B中多个元组的外键为第一关系表A同一元组的主键。第一HBase非关系表HA为HBase数据库中与第一关系表A对应的非关系表，第二HBase非关系表HB为HBase数据库中与第二关系表B对应的非关系表。
2、对于第二关系表B，其与第一关系表A为一对一关系，使用一对一关系转换模型进行转换得到第二HBase非关系表HB。
3、对于第一关系表A，先使用简单实体转换，转换成对应的第一HBase非关系表HA，在第一HBase非关系表HA中为第二关系表B的每一个非主键字段创建列族基于一对多关系，第一关系表A中一个元组的主键都有一个元组并且 是的外键；在元组中，一个键值对的行健是是列族的列限定符，第二关系表B的非主键字段是这一列的值。
步骤1023、若关系型数据库中的两张关系表存在多对多关系，则使用多对多关系转换模型进行转换，得到HBase数据库中的HBase非关系表。
其中，所述多对多关系为：两张表通过一张中间表建立了联系，且两张表都至少存在一个元组与另外一张表的多个元组建立了联系。
参见图5，图5是本发明中一对多转换模型的逻辑结构图。
如图5所示第一关系表A和第二关系表B具有多对多的关系，但是通过中间关系表，第三关系表C来表达他们之间的关系。所以我们可以认为m-n(A，B)是两个1-m关系(1-m(A,B)和1-m(B，A))。此外，C表是由A和B所产生的关系表，A、B与C表均有一对多关系。因此在多对多关系转换模型中需要做就是的两个一对多关系模型转换。因为表C依赖A、B存在，所以不单独保存C表信息。第一HBase非关系表HA(HBase HA)创建BE、BF列族存储表B的数据，第二HBase非关系表HB创建AD、AE列族存储A表的数据，然后HA、HB中分别创建列族CE存储C表数据。所以多对多关系转换模型的转换过程可以拆分成四个一对多关系模型。综上，转换过程如下：
1、假设：实体A实体B有一对多关系假设一个实体，表C是由A与B生成的中间关系表。
2、先进行1-m(A，B)，然后1-m(A，C)得到HA。
3、先进行1-m(B，A)，然后1-m(B，C)得到HB。
具体地，所述使用多对多关系转换模型进行转换为：
定义第一关系表A与第二关系表B为一对多关系，第三关系表C是由第一关系表A与第二关系表B生成的中间关系表，第一HBase非关系表HA为HBase数据库中与第一关系表A对应的非关系表，第二HBase非关系表HB为HBase数据库中与第二关系表B对应的非关系表。
对于第一关系表A，由于第一关系表A与第二关系表B是一对多关系，先使用一对多关系转换模型转换得到第一HBase非关系表HA的初表，然后由于第一关系表A与第三关系表C也是一对多关系，对第一HBase非关系表HA的初表再采用一对多关系转换模型转换得到第一HBase非关系表HA。
对于第二关系表B，由于第二关系表B与第一关系表A是一对多关系，先使用一对多关系转换模型转换得到第二HBase非关系表HB的初表，然后由于第二关系表B与第三关系表C也是一对多关系，对第二HBase非关系表B的初表再采用一对多关系转换模型转换得到第二HBase非关系表HB。
本发明实施方式提供的关系表与非关系表的结构转换方法可以在从RDBMS数据库到HBase数据库的数据迁移转换表结构时，可以根据原关系型数据库中表的类型和表关系，针对不同的表关系采用不同的转换模型进行转换，有效保留了原来结构化数据库所有的数据关系。
应该理解，本发明并不局限于上述实施方式，凡是对本发明的各种改动或变型不脱离本发明的精神和范围，倘若这些改动和变型属于本发明的权利要求和等同技术范围之内，则本发明也意味着包含这些改动和变型。

Claims (7)

1.一种关系表与非关系表的结构转换方法，其应用于RDBMS数据库到HBase数据库的数据迁移中，其特征在于，包括：
判断关系型数据库中的单张关系表的类型；
若某张表为独立关系表，则使用简单实体转换模型进行转换，得到HBase数据库中的HBase非关系表；所述使用简单实体转换模型进行转换具体为：
对独立关系表A中的每一个主键将组合，作为HBase非关系表的行健
对独立关系表A的每一个元组一个键值对包括每一个元组中的每一个字段其中每一个字段是独立关系表A的非主键属性；
HBase非关系表的一个列族cfA中的列由独立关系表A中的非主键集合fA组成；
判断关系型数据库中的两张关系表之间的关系；
若关系型数据库中的两张关系表存在一对一关系，则使用一对一关系转换模型进行转换，得到HBase数据库中的HBase非关系表；
若关系型数据库中的两张关系表存在一对多关系，则使用一对多关系转换模型进行转换，得到HBase数据库中的HBase非关系表；
定义第一关系表A与第二关系表B为一对多关系，第二关系表B的外键是第一关系表A的主键，且第二关系表B中多个元组的外键为第一关系表A同一元组的主键；第一HBase非关系表HA为HBase数据库中与第一关系表A对应的非关系表，第二HBase非关系表HB为HBase数据库中与第二关系表B对应的非关系表；
对于第二关系表B，其与第一关系表A为一对一关系，使用一对一关系转换模型进行转换得到第二HBase非关系表HB；
对于第一关系表A，先使用简单实体转换，转换成对应的第一HBase非关系表HA，在第一HBase非关系表HA中为第二关系表B的每一个非主键字段创建列族基于一对多关系，第一关系表A中一个元组的主键都有一个元组并且 是的外键；
在元组中，一个键值对的行健是 是列族的列限定符，第二关系表B的非主键字段是这一列的值；
若关系型数据库中的两张关系表存在多对多关系，则使用多对多关系转换模型进行转换，得到HBase数据库中的HBase非关系表。
2.如权利要求1所述的关系表与非关系表的结构转换方法，其特征在于，所述独立关系表为：关系型数据库中的某张关系表没有使用其他表的主键作为外键，其他表也没有使用该表的主键作为外键。
3.如权利要求1所述的关系表与非关系表的结构转换方法，其特征在于，所述一对一关系为：一张表与另一张表有关联，且两张表元组间的关系为一一对应。
4.如权利要求1所述的关系表与非关系表的结构转换方法，其特征在于，所述一对多关系为：两张表中的其中一张表通过外键关系连接两个表，且使用外键的表的多个元组对应于另外一张表的同一个元组。
5.如权利要求1所述的关系表与非关系表的结构转换方法，其特征在于，所述多对多关系为：两张表通过一张中间表建立了联系，且两张表都至少存在一个元组与另外一张表的多个元组建立了联系。
6.如权利要求1所述的关系表与非关系表的结构转换方法，其特征在于，所述使用一对一关系转换模型进行转换具体为：
定义第一关系表A与第二关系表B为一对一关系，第一关系表A的外键是第二关系表B的主键，第三关系表C是第一关系表A与第二关系表B通过外连接的的合并表，且第一关系表A的主键为第三关系表C的主键；
将第一关系表A与第二关系表B通过外连接生成合并第三关系表C；
对第三关系表C使用简单实体转换模型进行转换，生成对应的HBase非关系表。
7.如权利要求1所述的关系表与非关系表的结构转换方法，其特征在于，所述使用多对多关系转换模型进行转换具体为：
定义第一关系表A与第二关系表B为一对多关系，第三关系表C是由第一关系表A与第二关系表B生成的中间关系表，第一HBase非关系表HA为HBase数据库中与第一关系表A对应的非关系表，第二HBase非关系表HB为HBase数据库中与第二关系表B对应的非关系表；
对于第一关系表A，由于第一关系表A与第二关系表B是一对多关系，先使用一对多关系转换模型转换得到第一HBase非关系表HA的初表，然后由于第一关系表A与第三关系表C也是一对多关系，对第一HBase非关系表HA的初表再采用一对多关系转换模型转换得到第一HBase非关系表HA；
对于第二关系表B，由于第二关系表B与第一关系表A是一对多关系，先使用一对多关系转换模型转换得到第二HBase非关系表HB的初表，然后由于第二关系表B与第三关系表C也是一对多关系，对第二HBase非关系表B的初表再采用一对多关系转换模型转换得到第二HBase非关系表HB。
CN201610200564.9A 2016-03-31 2016-03-31 一种关系表与非关系表的结构转换方法 Active CN105938479B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610200564.9A CN105938479B (zh) 2016-03-31 2016-03-31 一种关系表与非关系表的结构转换方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610200564.9A CN105938479B (zh) 2016-03-31 2016-03-31 一种关系表与非关系表的结构转换方法

Publications (2)

Publication Number Publication Date
CN105938479A CN105938479A (zh) 2016-09-14
CN105938479B true CN105938479B (zh) 2019-10-22

Family

ID=57151987

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610200564.9A Active CN105938479B (zh) 2016-03-31 2016-03-31 一种关系表与非关系表的结构转换方法

Country Status (1)

Country Link
CN (1) CN105938479B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201820175A (zh) * 2016-11-22 2018-06-01 財團法人資訊工業策進會 資料庫轉換伺服器及其資料庫轉換方法
CN106682173B (zh) * 2016-12-28 2019-10-18 华南理工大学 一种社保大数据olap预处理方法及在线分析查询方法
CN108920519A (zh) * 2018-06-04 2018-11-30 贵州数据宝网络科技有限公司 一对多数据供应***及方法
CN110032604B (zh) 2019-02-02 2021-12-07 北京奥星贝斯科技有限公司 数据存储装置、转译装置及数据库访问方法
CN110262969B (zh) * 2019-06-13 2022-03-22 泰康保险集团股份有限公司 报表测试方法、装置、电子设备及计算机可读存储介质
CN110688433B (zh) * 2019-12-10 2020-04-21 银联数据服务有限公司 一种基于路径的特征生成方法及装置
CN113901031A (zh) * 2021-10-21 2022-01-07 掌阅科技股份有限公司 数据库迁移方法、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102308297A (zh) * 2011-07-13 2012-01-04 华为技术有限公司 一种数据迁移方法、数据迁移装置及数据迁移***
CN103530327A (zh) * 2013-09-25 2014-01-22 清华大学深圳研究生院 一种从非关系型数据库到关系型数据库的数据迁移方法
WO2014088396A2 (en) * 2012-12-05 2014-06-12 Mimos Berhad Automatic transformation of non-relational database into relational database
CN104123392A (zh) * 2014-08-11 2014-10-29 吉林禹硕动漫游戏科技股份有限公司 一种关系型数据库迁移到HBase数据库的工具和方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9529875B2 (en) * 2014-01-13 2016-12-27 International Business Machines Corporation Transforming timeseries and non-relational data to relational for complex and analytical query processing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102308297A (zh) * 2011-07-13 2012-01-04 华为技术有限公司 一种数据迁移方法、数据迁移装置及数据迁移***
WO2014088396A2 (en) * 2012-12-05 2014-06-12 Mimos Berhad Automatic transformation of non-relational database into relational database
CN103530327A (zh) * 2013-09-25 2014-01-22 清华大学深圳研究生院 一种从非关系型数据库到关系型数据库的数据迁移方法
CN104123392A (zh) * 2014-08-11 2014-10-29 吉林禹硕动漫游戏科技股份有限公司 一种关系型数据库迁移到HBase数据库的工具和方法

Also Published As

Publication number Publication date
CN105938479A (zh) 2016-09-14

Similar Documents

Publication Publication Date Title
CN105938479B (zh) 一种关系表与非关系表的结构转换方法
Zhao et al. Modeling MongoDB with relational model
CN109669934B (zh) 一种切合电力客服业务的数据仓库***及其构建方法
CN106227800B (zh) 一种高度关联大数据的存储方法及管理***
CN102270232B (zh) 一种存储优化的语义数据查询***
CN104504008B (zh) 一种基于嵌套的SQL到HBase的数据迁移算法
US10002142B2 (en) Method and apparatus for generating schema of non-relational database
CN103810219B (zh) 一种基于行存储数据库的数据处理方法及装置
CN110222029A (zh) 一种大数据多维分析计算效率提升方法及***
Giannakouris et al. MuSQLE: Distributed SQL query execution over multiple engine environments
CN104504001A (zh) 面向海量分布式关系数据库的游标构造方法
CN103678550A (zh) 一种基于动态索引结构的海量数据实时查询方法
Goyal et al. Cross platform (RDBMS to NoSQL) database validation tool using bloom filter
CN103793467A (zh) 一种基于超图和动态规划的大数据实时查询优化方法
CN105022791A (zh) 一种新型的kv分布式数据存储方法
CN109165262A (zh) 一种关系型大表的分片集群***及其分片方法
CN107506394B (zh) 一种消除大数据规范关系连接冗余的优化方法
CN109686413A (zh) 一种基于es倒排索引的化学分子式检索方法
CN103279580A (zh) 基于新型语义空间的视频检索方法
CN103186674A (zh) 一种基于XML的Web数据快速查询方法
CN103761298A (zh) 一种基于分布式架构的实体匹配方法
Weiliang et al. A multiple sparse tables approach for multi-tenant data storage in SaaS
CN114791935A (zh) 一种基于云对象存储的高性能多维数据仓库的实现方法
CN103617181A (zh) 一种亲缘关系通用数据库构建方法和装置
CN110688386A (zh) 面向新型供电轨道交通大数据的分布式列族数据索引方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230802

Address after: Building G1, No. 17, Software Road, Tianhe District, Guangzhou, Guangdong 510660

Patentee after: GUANGZHOU BINGO SOFTWARE CO.,LTD.

Address before: 510631 School of computer science, South China Normal University, 55 West Zhongshan Road, Guangzhou, Guangdong

Patentee before: SOUTH CHINA NORMAL University