CN108241627A - 一种异构数据存储查询方法和*** - Google Patents

一种异构数据存储查询方法和*** Download PDF

Info

Publication number
CN108241627A
CN108241627A CN201611205958.XA CN201611205958A CN108241627A CN 108241627 A CN108241627 A CN 108241627A CN 201611205958 A CN201611205958 A CN 201611205958A CN 108241627 A CN108241627 A CN 108241627A
Authority
CN
China
Prior art keywords
data
database
nosql
isomeric
databases
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611205958.XA
Other languages
English (en)
Inventor
郭海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shenzhou Taiyue Software Co Ltd
Original Assignee
Beijing Shenzhou Taiyue Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shenzhou Taiyue Software Co Ltd filed Critical Beijing Shenzhou Taiyue Software Co Ltd
Priority to CN201611205958.XA priority Critical patent/CN108241627A/zh
Publication of CN108241627A publication Critical patent/CN108241627A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/90335—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种异构数据存储查询方法和***，该方法包括:将异构数据分解为字典数据和原始采集数据，将字典数据存储到若干关系型数据库中，将原始采集数据存储到若干NoSql数据库中，使得传统关系型数据库和NoSql数据库能更好的发挥各自的优点和特性，解决了海量异构数据查询效率较低的问题；查询数据时，并行从每一个关系型数据库和每一个NoSql数据库中分别获取字典数据和原始采集数据，相比串行查询更高效、快捷；将并行查询结果进行汇聚合并，将所有的关系型数据库和NoSql数据库返回的多维结果集转换为二维表结构的二维结果集，作为查询结果输出，以便页面展示，使查询结果方便易读。

Description

一种异构数据存储查询方法和***
技术领域
本发明涉及计算机技术领域，具体涉及一种异构数据存储查询方法和***。
背景技术
随着信息技术的发展，企业级应用***的数据存储量呈***式增长，数据库的发展也从传统的关系型数据库，逐步发展为“NoSql”型数据库以支持海量数据的查询存储。“NoSql”即泛指非关系型数据库，包括键值存储的数据库、列式数据库、文档型数据库、图形数据库。在大数据领域常用的NoSql数据库有HBase、Mongodb、Redis、Membase、Elasticsearch等。
目前应用开发基础架构通常都包含多种数据库，既使用传统关系型数据库，同时也使用“NoSql”数据库。当用户查询的数据很大，且来自于多个不同类型的数据库时，如何像从传统关系型数据库一样，高效的返回二维表是当前异构数据库环境下遇到的问题。
现有的软件应用设计通常采用以下几种方式：
第一种，只使用关系型数据，或者只使用NoSql数据库，不能很好的发挥传统关系型数据库和NoSql各自的优点。
第二种，同时使用关系型数据库和NoSql数据库，但在同时从异构数据中获取数据时，都是事先将传统关系型数据库数据先导入到NoSql数据库，再从NoSql数据库中查询，或者返过来。由于有些相同的数据既在传统关系型数据库上存了一份，也在NoSql数据库上存了一份，造成了数据不必要的冗余，增加了存储成本和人工成本，而且效率低，需要第三方中间件或者手动转储。
第三种，编写接口通过多线程并行查询不同关系型数据库，获取数据。由于这种并行查询都是基于传统关系型数据库，也即跨关系数据库查询，对于海量数据，如果从上TB级数据中查询数据，使用关系型数据库查询速度很慢，不适用于实时查询要求高的***，如实时监控***。
发明内容
本发明提供了一种异构数据存储查询方法和***，以解决现有的海量异构数据查询效率低的问题。
根据本发明的一个方面，本发明提供了一种异构数据存储查询方法，包括：
将异构数据分解为字典数据和原始采集数据，将所述字典数据存储到若干关系型数据库中，将所述原始采集数据存储到若干NoSql数据库中；
查询数据时，并行从每一个所述关系型数据库和每一个所述NoSql数据库中分别获取所述字典数据和所述原始采集数据；
将并行查询结果进行汇聚合并，将所有的关系型数据库和NoSql数据库返回的多维结果集转换为二维表结构的二维结果集，作为查询结果输出。
根据本发明的另一个方面，本发明提供了一种异构数据存储查询***，包括数据分解单元、数据查询单元、查询结果输出单元、若干关系型数据库和若干NoSql数据库；
所述数据分解单元，用于将异构数据分解为字典数据和原始采集数据，并将所述字典数据存储到所述关系型数据库中，将所述原始采集数据存储到所述NoSql数据库中；
所述数据查询单元，用于并行从每一个所述关系型数据库和每一个所述NoSql数据库中分别获取所述字典数据和所述原始采集数据；
所述查询结果输出单元，用于将并行查询结果进行汇聚合并，将所有的关系型数据库和NoSql数据库返回的多维结果集转换为二维表结构的二维结果集，作为查询结果输出。
本发明的有益效果是：本发明实施例将异构数据剖析分解为字典数据和原始采集数据，将字典数据存储到关系型数据库中，将原始采集数据存储到NoSql数据库中，使得传统关系型数据库和NoSql数据库能更好的发挥各自的优点和特性，解决了海量异构数据查询效率较低的问题。在查询数据时，并行地从关系型数据库和NoSql数据库中分别获取字典数据和原始采集数据，相比串行查询更高效、快捷。最后将查询结果转换为二维表结构的二维结果集，以便页面展示，使查询结果方便易读。
附图说明
图1是本发明一个实施例提供的一种异构数据存储查询方法的流程图；
图2是本发明一个实施例提供的一种异构数据存储查询***的功能框图。
具体实施方式
本发明的设计构思是：现有的海量异构数据查询效率较低，针对这种情况，本发明首先规划数据的存储方式，分析业务数据，剖析分解为字典数据和原始采集数据，将字典数据存储到关系型数据库中，将原始采集数据存储到NoSql数据库中，然后并行地从关系型数据库和NoSql数据库中分别获取字典数据和原始采集数据，最后将查询结果转换为二维表结构的二维结果集，使得传统关系型数据库和NoSql数据库能更好的发挥各自的优点和特性，解决了海量异构数据查询效率较低的问题。
实施例一
图1是本发明一个实施例提供的一种异构数据存储查询方法的流程图,如图1所示，本实施例提供的异构数据存储查询方法包括：
步骤S110：将异构数据分解为字典数据和原始采集数据，将字典数据存储到若干关系型数据库中，将原始采集数据存储到若干NoSql数据库中。
首先，在架构上规划数据的存储方式，分析业务数据，剖析分解为字典数据，即比较固化的数据，和原始采集数据，即用于统计分析的数据。在数据入库时，引入分类存储的思路，将字典数据存储到传统关系型数据库中，如Mysql，将原始采集数据存储到NoSql数据库中，例如检索引擎Elasticsearch，由于Elasticsearch是通过索引检索的方式，在查询数据时，比传统关系型数据库查询速度快，适合从海量数据中检索查询，从而解决了关系型数据库在TB级数据下查询慢的问题。
步骤S120：查询数据时，并行从每一个关系型数据库和每一个NoSql数据库中分别获取字典数据和原始采集数据。
本实施例设置了一个用于查询数据的基础类，利用该基础类为每一个关系型数据库和每一个NoSql数据库分配一个查询线程，以多线程的方式并行从每一个关系型数据库中获取字典数据并从每一个NoSql数据库中获取原始采集数据，对于异构数据采用多线程并行的方式，相比串行查询更高效、快捷。
步骤S130：将并行查询结果进行汇聚合并，将所有的关系型数据库和NoSql数据库返回的多维结果集转换为二维表结构的二维结果集，作为查询结果输出。
以在报表中的应用场景为例，传统关系型数据库使用Mysql，同时NoSql数据库使用Elasticsearch。数据存储采用分类存储的思路，即字典数据存入Mysql，原始采集数据存入Elasticsearch。在进行异构数据并行查询时，首先确定各个线程单独访问的数据源和查询方式，报表XML中配置基础类的类名，同时配置查询Mysql的数据源名称和查询Elasticsearch的数据源名称，以及各自查询的sql语句，Elasticsearch需要使用类sql，下面为一种具体的配置方法：
基础类BaseJointTable以多线程并行方式同时查询Mysql和Elasticsearch，满足了查询的实时性能要求。当新增异构数据库时，可以修改基础类，便于扩展。
当每个线程都返回结果集后，可以根据需要将各自的结果集进行汇聚合并，如果有排序、分页、行列转置等需求，则可以进行数据再处理：判断多维结果集是否需要行列转置，当需要行列转置时，对多维结果集进行行列转置；判断多维结果集是否需要排序，当需要排序时，对多维结果集进行排序；判断多维结果集是否需要分页，当需要分页时，对多维结果集进行分页，最终生成满足展示要求的二维结果集，以便页面展示，使查询结果方便易读。
本实施例对于异构数据库查询环境，既能很好地利用传统关系型数据库成熟、通用、使用成本低、兼容老旧应用***架构的特点，又能很好的适应于当前阶段海量数据存储需要使用NoSql数据库的问题，结合了异构数据库各自优点，同时相对于转储思路的实现，提供了一种可行的、更高效、可复用、可扩展的实现方式，大大提升了查询性能，满足了实时查询的性能要求。同时，还能很方便的扩展支持的数据库类型，如果要支持更多的异构数据库，只需要复用或者修改原有基础类，增加新的异构数据库查询方式即可。
实施例二
图2是本发明一个实施例提供的一种异构数据存储查询***的功能框图。如图2所示，本实施例提供的异构数据存储查询***包括数据分解单元210、数据查询单元240、查询结果输出单元250、若干关系型数据库220和若干NoSql数据库230。
数据分解单元210用于将异构数据分解为字典数据和原始采集数据，并将字典数据存储到关系型数据库220中，将原始采集数据存储到NoSql数据库230中，既能很好地利用传统关系型数据库成熟、通用、使用成本低、兼容老旧应用***架构的特点，又能很好的适应于当前阶段海量数据存储需要使用NoSql数据库的问题。关系型数据库可选用MySql，NoSql数据库可选用Elasticsearch。数据查询单元240并行从每一个关系型数据库220和每一个NoSql数据库230中分别获取字典数据和原始采集数据，相比串行获取更高效、快捷。查询结果输出单元250将并行查询结果进行汇聚合并，将所有的关系型数据库220和NoSql数据库230返回的多维结果集转换为二维表结构的二维结果集，作为查询结果输出，以便页面展示，使查询结果方便易读。
在优选实施例中，数据查询单元240具体用于：设置一个用于查询数据的基础类，利用该基础类为每一个关系型数据库220和每一个NoSql数据库230分配一个查询线程，以多线程的方式并行从每一个关系型数据库220中获取字典数据和从每一个NoSql数据库230中获取原始采集数据。进一步优选地，数据查询单元240具体通过以下步骤进行数据查询：在报表XML中配置基础类的类名，配置查询关系型数据库220和NoSql数据库230的数据源名称，配置查询关系型数据库220和NoSql数据库230的sql语句。
在另一个优选实施例中，查询结果输出单元250具体用于判断多维结果集是否需要行列转置，当需要行列转置时，对多维结果集进行行列转置；以及判断多维结果集是否需要排序，当需要排序时，对多维结果集进行排序；以及判断多维结果集是否需要分页，当需要分页时，对多维结果集进行分页，使多维结果集转换为二维表结构的二维结果集，以便页面展示，使查询结果方便易读。
以上所述，仅为本发明的具体实施方式，在本发明的上述指导下，本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白，上述的具体描述只是更好的解释本发明的目的，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种异构数据存储查询方法，其特征在于，所述方法包括：
将异构数据分解为字典数据和原始采集数据，将所述字典数据存储到若干关系型数据库中，将所述原始采集数据存储到若干NoSql数据库中；
查询数据时，并行从每一个所述关系型数据库和每一个所述NoSql数据库中分别获取所述字典数据和所述原始采集数据；
将并行查询结果进行汇聚合并，将所有的关系型数据库和NoSql数据库返回的多维结果集转换为二维表结构的二维结果集，作为查询结果输出。
2.如权利要求1所述的异构数据存储查询方法，其特征在于，所述并行从每一个所述关系型数据库和每一个所述NoSql数据库中分别获取所述字典数据和所述原始采集数据，具体包括：
设置一个用于查询数据的基础类；
利用所述基础类为每一个关系型数据库和每一个NoSql数据库分配一个查询线程；
利用所述基础类以多线程的方式并行从每一个关系型数据库中获取字典数据和从每一个NoSql数据库中获取原始采集数据。
3.如权利要求2所述的异构数据存储查询方法，其特征在于，所述设置一个用于查询数据的基础类，具体包括：
在报表XML中配置所述基础类的类名；
配置查询所述关系型数据库和所述NoSql数据库的数据源名称；
配置查询所述关系型数据库和所述NoSql数据库的sql语句。
4.如权利要求1所述的异构数据存储查询方法，其特征在于，所述将所有的关系型数据库和NoSql数据库返回的多维结果集转换为二维表结构的二维结果集包括：
判断多维结果集是否需要行列转置，当需要行列转置时，对多维结果集进行行列转置；
和/或，
判断多维结果集是否需要排序，当需要排序时，对多维结果集进行排序；
和/或，
判断多维结果集是否需要分页，当需要分页时，对多维结果集进行分页。
5.如权利要求1所述的异构数据存储查询方法，其特征在于，所述关系型数据库为Mysql，所述NoSql数据库为Elasticsearch。
6.一种异构数据存储查询***，其特征在于，所述***包括：数据分解单元、数据查询单元、查询结果输出单元、若干关系型数据库和若干NoSql数据库；
所述数据分解单元，用于将异构数据分解为字典数据和原始采集数据，并将所述字典数据存储到所述关系型数据库中，将所述原始采集数据存储到所述NoSql数据库中；
所述数据查询单元，用于并行从每一个所述关系型数据库和每一个所述NoSql数据库中分别获取所述字典数据和所述原始采集数据；
所述查询结果输出单元，用于将并行查询结果进行汇聚合并，将所有的关系型数据库和NoSql数据库返回的多维结果集转换为二维表结构的二维结果集，作为查询结果输出。
7.如权利要求6所述的异构数据存储查询***，其特征在于，所述数据查询单元具体用于：设置一个用于查询数据的基础类，利用所述基础类为每一个关系型数据库和每一个NoSql数据库分配一个查询线程，利用所述基础类以多线程的方式并行从每一个关系型数据库中获取字典数据和从每一个NoSql数据库中获取原始采集数据。
8.如权利要求7所述的异构数据存储查询***，其特征在于，所述数据查询单元具体通过以下步骤设置用于查询数据的基础类：在报表XML中配置所述基础类的类名；配置查询所述关系型数据库和所述NoSql数据库的数据源名称；配置查询所述关系型数据库和所述NoSql数据库的sql语句。
9.如权利要求6所述的异构数据存储查询***，其特征在于，所述查询结果输出单元具体用于：
判断多维结果集是否需要行列转置，当需要行列转置时，对多维结果集进行行列转置；
和/或，
判断多维结果集是否需要排序，当需要排序时，对多维结果集进行排序；
和/或，
判断多维结果集是否需要分页，当需要分页时，对多维结果集进行分页。
10.如权利要求6所述的异构数据存储查询***，其特征在于，所述关系型数据库为Mysql，所述NoSql数据库为Elasticsearch。
CN201611205958.XA 2016-12-23 2016-12-23 一种异构数据存储查询方法和*** Pending CN108241627A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611205958.XA CN108241627A (zh) 2016-12-23 2016-12-23 一种异构数据存储查询方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611205958.XA CN108241627A (zh) 2016-12-23 2016-12-23 一种异构数据存储查询方法和***

Publications (1)

Publication Number Publication Date
CN108241627A true CN108241627A (zh) 2018-07-03

Family

ID=62704048

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611205958.XA Pending CN108241627A (zh) 2016-12-23 2016-12-23 一种异构数据存储查询方法和***

Country Status (1)

Country Link
CN (1) CN108241627A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109656958A (zh) * 2018-12-18 2019-04-19 北京小米移动软件有限公司 数据查询方法以及***
CN110597927A (zh) * 2019-10-14 2019-12-20 上海依图网络科技有限公司 基于异构数据库的存储查询方法和装置
CN110895549A (zh) * 2019-09-04 2020-03-20 成都四方伟业软件股份有限公司 一种量化数据检索方法及***
CN110909022A (zh) * 2018-09-14 2020-03-24 北京京东尚科信息技术有限公司 一种数据查询方法和装置
CN110968582A (zh) * 2019-11-01 2020-04-07 苏宁云计算有限公司 一种人群生成方法及装置
CN111143427A (zh) * 2019-11-25 2020-05-12 中国科学院计算技术研究所 基于在网计算的分布式信息检索方法、***与装置
CN111159106A (zh) * 2019-12-30 2020-05-15 亚信科技（中国）有限公司 一种数据查询方法及装置
CN111159218A (zh) * 2019-12-31 2020-05-15 中科曙光国际信息产业有限公司 数据处理方法、装置及可读存储介质
CN111414363A (zh) * 2020-03-13 2020-07-14 上海银赛计算机科技有限公司 适用于MySQL中客户数据的并行异构方法、***、介质及设备
CN111897824A (zh) * 2020-03-25 2020-11-06 上海云励科技有限公司 数据操作方法、装置、设备和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103425780A (zh) * 2013-08-19 2013-12-04 曙光信息产业股份有限公司 一种数据的查询方法和装置
KR101472257B1 (ko) * 2014-07-22 2014-12-11 (주)카디날정보기술 예측 논리적 데이터 지역성을 이용한 병렬질의 처리 방법 및 장치
CN104391899A (zh) * 2014-11-07 2015-03-04 中国建设银行股份有限公司 一种集中清算***的数据管理方法及***
CN104504137A (zh) * 2014-12-31 2015-04-08 深圳市科漫达智能管理科技有限公司 数据存储方法及***
CN105279281A (zh) * 2015-11-17 2016-01-27 天泽信息产业股份有限公司 一种物联网数据存取方法
CN105512939A (zh) * 2015-12-04 2016-04-20 中国建设银行股份有限公司 外汇业务相关的数据存储、查询方法及申报方法和***
CN105868411A (zh) * 2016-04-27 2016-08-17 国网上海市电力公司 一种非关系型与关系型数据库一体化数据查询方法与***
CN106126604A (zh) * 2016-06-20 2016-11-16 华南理工大学 一种基于分布式数据仓库的社保数据联机分析处理***

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103425780A (zh) * 2013-08-19 2013-12-04 曙光信息产业股份有限公司 一种数据的查询方法和装置
KR101472257B1 (ko) * 2014-07-22 2014-12-11 (주)카디날정보기술 예측 논리적 데이터 지역성을 이용한 병렬질의 처리 방법 및 장치
CN104391899A (zh) * 2014-11-07 2015-03-04 中国建设银行股份有限公司 一种集中清算***的数据管理方法及***
CN104504137A (zh) * 2014-12-31 2015-04-08 深圳市科漫达智能管理科技有限公司 数据存储方法及***
CN105279281A (zh) * 2015-11-17 2016-01-27 天泽信息产业股份有限公司 一种物联网数据存取方法
CN105512939A (zh) * 2015-12-04 2016-04-20 中国建设银行股份有限公司 外汇业务相关的数据存储、查询方法及申报方法和***
CN105868411A (zh) * 2016-04-27 2016-08-17 国网上海市电力公司 一种非关系型与关系型数据库一体化数据查询方法与***
CN106126604A (zh) * 2016-06-20 2016-11-16 华南理工大学 一种基于分布式数据仓库的社保数据联机分析处理***

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110909022A (zh) * 2018-09-14 2020-03-24 北京京东尚科信息技术有限公司 一种数据查询方法和装置
CN109656958A (zh) * 2018-12-18 2019-04-19 北京小米移动软件有限公司 数据查询方法以及***
CN110895549A (zh) * 2019-09-04 2020-03-20 成都四方伟业软件股份有限公司 一种量化数据检索方法及***
CN110895549B (zh) * 2019-09-04 2022-12-06 成都四方伟业软件股份有限公司 一种量化数据检索方法及***
CN110597927B (zh) * 2019-10-14 2022-08-16 上海依图网络科技有限公司 基于异构数据库的存储查询方法和装置
CN110597927A (zh) * 2019-10-14 2019-12-20 上海依图网络科技有限公司 基于异构数据库的存储查询方法和装置
CN110968582A (zh) * 2019-11-01 2020-04-07 苏宁云计算有限公司 一种人群生成方法及装置
CN110968582B (zh) * 2019-11-01 2022-12-30 苏宁云计算有限公司 一种人群生成方法及装置
WO2021103207A1 (zh) * 2019-11-25 2021-06-03 中国科学院计算技术研究所 基于在网计算的分布式信息检索方法、***与装置
CN111143427A (zh) * 2019-11-25 2020-05-12 中国科学院计算技术研究所 基于在网计算的分布式信息检索方法、***与装置
CN111143427B (zh) * 2019-11-25 2023-09-12 中国科学院计算技术研究所 基于在网计算的分布式信息检索方法、***与装置
CN111159106A (zh) * 2019-12-30 2020-05-15 亚信科技（中国）有限公司 一种数据查询方法及装置
CN111159106B (zh) * 2019-12-30 2023-04-07 亚信科技（中国）有限公司 一种数据查询方法及装置
CN111159218A (zh) * 2019-12-31 2020-05-15 中科曙光国际信息产业有限公司 数据处理方法、装置及可读存储介质
CN111159218B (zh) * 2019-12-31 2023-10-31 中科曙光国际信息产业有限公司 数据处理方法、装置及可读存储介质
CN111414363A (zh) * 2020-03-13 2020-07-14 上海银赛计算机科技有限公司 适用于MySQL中客户数据的并行异构方法、***、介质及设备
CN111414363B (zh) * 2020-03-13 2023-04-14 上海银赛计算机科技有限公司 适用于MySQL中客户数据的并行异构方法、***、介质及设备
CN111897824A (zh) * 2020-03-25 2020-11-06 上海云励科技有限公司 数据操作方法、装置、设备和存储介质

Similar Documents

Publication Publication Date Title
CN108241627A (zh) 一种异构数据存储查询方法和***
US10691646B2 (en) Split elimination in mapreduce systems
US7689553B2 (en) Execution cost reduction of sampled queries in a database
EP3602351B1 (en) Apparatus and method for distributed query processing utilizing dynamically generated in-memory term maps
US10789231B2 (en) Spatial indexing for distributed storage using local indexes
CN108733681B (zh) 信息处理方法及装置
JP3581831B2 (ja) 表形式データの検索・集計・ソート方法及び装置
CN106227894B (zh) 一种数据分页查询方法和装置
CN106547918B (zh) 一种统计数据的整合方法及***
CN106326429A (zh) 一种基于solr的Hbase秒级查询方案
CN111506621B (zh) 一种数据统计方法及装置
CN107491487A (zh) 一种全文数据库架构及位图索引创建、数据查询方法、服务器及介质
CN102799634A (zh) 数据存储方法及装置
US20100138456A1 (en) System, method, and computer-readable medium for a locality-sensitive non-unique secondary index
CN105260464B (zh) 数据存储结构的转换方法及装置
CN106095951B (zh) 基于负载均衡和查询日志的数据空间多维索引方法
Haynes et al. High performance analysis of big spatial data
CN109739882B (zh) 一种基于Presto和Elasticsearch的大数据查询优化方法
CN108140022B (zh) 数据查询方法和数据库***
CN113918605A (zh) 数据查询方法、装置、设备以及计算机存储介质
CN113779349A (zh) 数据检索***、装置、电子设备和可读存储介质
CN114064707A (zh) 一种用于数据虚拟化服务器的数据查询方法、装置及存储介质
CN101916254A (zh) 表单统计方法和装置
Ray et al. Parallel in-memory trajectory-based spatiotemporal topological join
US9378229B1 (en) Index selection based on a compressed workload

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room 818, 8 / F, 34 Haidian Street, Haidian District, Beijing 100080

Applicant after: BEIJING ULTRAPOWER SOFTWARE Co.,Ltd.

Address before: 100089 Beijing city Haidian District wanquanzhuang Road No. 28 Wanliu new building 6 storey block A Room 601

Applicant before: BEIJING ULTRAPOWER SOFTWARE Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180703