CN107229672A - 一种针对SolrCloud的大数据SQL查询方法及*** - Google Patents
一种针对SolrCloud的大数据SQL查询方法及*** Download PDFInfo
- Publication number
- CN107229672A CN107229672A CN201710261610.0A CN201710261610A CN107229672A CN 107229672 A CN107229672 A CN 107229672A CN 201710261610 A CN201710261610 A CN 201710261610A CN 107229672 A CN107229672 A CN 107229672A
- Authority
- CN
- China
- Prior art keywords
- query
- solr
- sql
- solrcloud
- page
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000013507 mapping Methods 0.000 claims abstract description 11
- 238000005457 optimization Methods 0.000 claims description 28
- 238000013519 translation Methods 0.000 claims description 18
- 238000004458 analytical method Methods 0.000 claims description 15
- 238000001914 filtration Methods 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 claims description 5
- 230000002452 interceptive effect Effects 0.000 description 6
- 239000008186 active pharmaceutical agent Substances 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000003139 buffering effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 229910021532 Calcite Inorganic materials 0.000 description 1
- OYPRJOBELJOOCE-UHFFFAOYSA-N Calcium Chemical compound [Ca] OYPRJOBELJOOCE-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 229910052791 calcium Inorganic materials 0.000 description 1
- 239000011575 calcium Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2423—Interactive query statement specification based on a database schema
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种针对SolrCloud的大数据SQL查询方法及***。本方法为：1)将Solr中的文档集合映射成SQL表格，将Solr中的文档和字段分别对应映射成SQL表格的行和列；2)对收到的SQL查询语句进行解析，将其中的SQL关系查询条件解析RexNode对象；3)针对RexNode对象的具体结构逐层进行翻译，得到对应的Solr查询条件；将该SQL查询语句中的NOT条件转换对应的Solr查询条件；4)将步骤3)得到的Solr查询条件分解成针对SolrCloud集群的逐页查询，并发送给SolrCloud服务器进行查询。本发明改善了现有数据库***无法满足全文搜索的现状。
Description
技术领域
本发明涉及大数据、数据库技术领域，提出一种针对SolrCloud的大数据SQL查询方法及***。
背景技术
随着网络的发展和普及，应用生产和需要处理的数据量越来越大。数据的***式增长，使得现在数据库***的工作负载日益增大，不断增长的数据量要求越来越多的应用程序能够扩展到更大的集群里去计算，因此大数据分布式计算是处理海量数据的必由之路。Solr作为高性能的搜索服务器，能够提供快速、强大的全文检索功能。SolrCloud是基于ZooKeeper和Solr的分布式解决方案，为Solr添加分布式功能，用于建立高可用、高伸缩、自动容错、分布式索引、分布式查询的Solr服务器集群。
Solr提供了针对大规模文档数据进行检索的查询语言，查询功能非常丰富。包括匹配单一字符、匹配0或多个字符、基于编辑距离的模糊查询、邻近查询(查找相隔一定距离的单词)、范围查询，等等。同时，Solr查询语法还支持多个查询条件的组合，如AND、OR、NOT等。Solr查询语法也提供了查询的字段筛选、分页等特性。
然而，一方面，数据库领域的开发者还习惯于使用SQL语言来操纵数据库。另一方面，由于大数据***的多样性，一些信息***的构建越来越希望与底层具体的存储管理***(如：MySQL集群、MongoDB、SolrCloud等)解耦。因此需要一种针对SolrCloud的SQL查询引擎。
目前，已存在一些基于Hive和SparkSQL的SolrCloud查询引擎，如：hive-solr(https://github.com/qindongliang/hive-solr)就是一种基于Hive针对Solr提供HiveQL查询的插件，spark-solr(https://github.com/lucidworks/spark-solr)则是一种基于SparkSQL的Solr查询插件，它不仅可以将Solr的数据源映射成Spark框架中的RDD(弹性分布式数据集)，也可以将其注册成为一张SparkSQL的表格，并通过SQL语句进行数据写入和查询。以上这些方案存在着突出的弊端：(1)它们太依赖于大数据计算框架，如：Hive和SparkSQL，这会产生对复杂环境的依赖性，如：最终会依赖于Zookeeper、Hadoop等构成的庞大的软件环境；(2)Hive依赖于Hadoop的MapReduce计算框架，SparkSQL依赖于Spark计算框架，在Hive和SparkSQL中，SQL的执行往往会变转换成一连串符合通用规范(如：Map-Shuffle-Reduce)的计算任务完成，执行过程中无论是框架的启动调度还是算法的适配转换，都会带来严重的延时。因此，无论是基于Hive还是SparkSQL的方案，更适合于批量SQL任务的执行，而非在线交互式SQL查询。
此外，在SolrCloud的高版本中，也在服务器端自带了一个负责提供SQL接口服务的模块。但是，对于一些基于SolrCloud 4.0、5.0版本的信息***，选择该版本就意味着需要针对生产环境进行改造，包括产品版本升级、程序改造以及数据迁移，这都带来潜在的风险和较大的工作量。
基于以上背景，本发明提出一种针对SolrCloud的大数据交互式SQL查询***。
发明内容
本发明的目的在于提供一种针对SolrCloud的大数据SQL查询方法及***，该***针对SolrCloud在客户端实现了交互式SQL查询的能力，同时改善了现有数据库***无法满足全文搜索的现状。
针对上述目的，本发明所采用的技术方案为：
一种针对SolrCloud的大数据交互式SQL查询***，主要由模块1和模块2组成(与图1对应)：
模块1(SQL分析与执行引擎)：该模块实现SQL语句的解析，制定SQL执行计划，并调用模块2完成SQL命令的执行，向用户程序返回SQL查询结果。用户可以多次提交SQL语句并得到查询结果，该过程即为交互式查询。
模块2(Solr适配器)：该模块负责执行具体的SQL执行任务，主要工作包括Solr查询翻译、NOT操作优化、Solr查询与优化、表模式映射、配置解析与SolrCloud连接。
模块2包括5个子模块：
模块2.1(Solr查询翻译模块)：将SQL的关系查询条件翻译成Solr的查询条件；
模块2.2(NOT操作优化模块)：将查询条件中的NOT条件转换为Solr中对应的查询条件，如：将NOT(a＝1AND b＝2)转换成a！＝1OR b！＝2；
模块2.3(Solr查询与优化模块)：执行Solr查询，返回查询结果。为了避免大数据量带来的客户端等待问题，该模块设计了逐页缓冲机制；
模块2.4(表模式映射模块)：该模块负责将Solr中的文档集合(Collection)映射成SQL表格，将Solr中的文档(Document)和字段(field)，映射成SQL表格的行和列；
模块2.5(配置解析与SolrCloud连接模块)：该模块负责解析传入的配置参数，包括Solr的服务器位置、Solr的文档集合名称、SQL表格的列名，以及对应的Solr字段名。同时通过调用SolrCloud的客户端API，建立与服务器的连接。
进一步地，模块1基于开源项目Apache Calcite(http://calcite.apache.org)完成SQL语句解析和执行计划，Apache Calcite是一个分布式SQL查询引擎的框架，不依赖于任何大数据计算框架，因此具有较好的可移植性。
进一步地，模块1的启动依赖于某个配置文件，该配置文件必须遵循ApacheCalcite中Schema定义的JSON格式。
进一步地，模块2.1会接收到模块1传递过来的对应于SQL查询条件的RexNode对象，然后针对RexNode对象的具体结构逐层进行翻译，如：针对“a＝1AND b＝2”，会先将a＝1和b＝2这两个二元操作分别翻译成a:1和b:2，然后再执行AND操作的翻译。该模块支持SQL的各类查询条件，包括与、或、非、大于、小于、非空、为空、等于、like、不等于、大于等于、小于等于。翻译过程如具体实施例2所示。
进一步地，模块2.1会智能的将SQL查询条件分解成Solr可接受的部分，以及不可接受的部分。如：针对name like‘b％’and length(name)>20这样的表达式，会分解成namelike‘b％’和length(name)>20两部分。模块1会针对模块2的查询结果做二次过滤，因此length(name)>20会被再次作为条件针对查询结果过滤一遍。
进一步地，模块2.2的NOT操作优化过程如具体实施例3所示。
进一步地，模块2.3设计了一个逐页缓冲的机制，通过首次Solr查询得到记录总数目M，并根据M和分页大小N，计算出页数P，从而将总查询分解成P个连续的子查询，每个查询具有相同的查询条件，但具有不同的偏移位置。只有当用户程序请求获取到第x页的时候，才会真正向Solr提交第x页的查询请求。该逐页缓冲机制避免了用户程序的长时间等待和网络资源消耗。
进一步地，模块2.4仅在第一次针对某表进行操作的时候才会执行该表的模式映射。
进一步地，模块2.5会接收到模块1接收到的配置信息，仅在第一次针对该表进行操作的时候才会解析。
进一步地，模块2.5中SolrCloud连接的建立与维护，除了支持SolrCloud集群，也支持单节点的Solr服务器。
本发明的有益效果在于：
本发明提供了一种针对SolrCloud的大数据交互式SQL查询***，与传统的采用API或者Solr查询语法进行查询的方法相比，该***支持采用标准的SQL语言对SolrCloud进行交互式查询，增强了程序开发的通用性。同时，本***将Solr的模糊查询、邻近查询的能力移植到SQL语句中，允许采用like操作符以及函数实现针对字段的非精确检索。
本发明***的优点具体为：
(1)提供了一种非API的方式实现对SolrCloud***的操作。目前基于SolrCloud的应用，主要通过C++/Java等API的方式实现对SolrCloud的读、写操作，这种方式对开发人员要求较高，且很容易受到API客户端版本的影响。采用本发明方法，则可以采用标准的SQL语言实现对SolrCloud文档数据的操作，开发人员甚至不需要编写程序，通过常用的SQL语言，即可完成需求。
(2)没有采用诸如Hadoop、Spark的大数据计算框架，因此该***具有良好的可移植性，同时由于不需要大数据计算框架的加载准备时间，该***具有较好的性能。
(3)对SolrCloud的版本没有要求，而且是一种客户端的程序方案，因此部署极其方便。SolrCloud在6.0版本之后也提供了内置的SQL引擎，一些基于SolrCloud 4.0、5.0版本的信息***，采用本发明就可以节省掉版本升级、程序改造以及数据迁移带来的工作量。
附图说明
图1为本发明***的内部结构示意图；
图2为本发明中SQL查询的执行流程图。
图3为本发明中Solr条件描述类的UML模型图。
具体实施方式
为使本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。
1、SQL查询的执行流程说明
在本发明***中，一条SQL查询的执行流程如图2所示。其中：
步骤1：用户程序向本***提交一条SQL查询语句S；
步骤2：本***中的Calcite查询引擎解析查询语句，并将其中的WHERE条件解析成RexNode对象RN，跳转至步骤3。如果不存在WHERE条件，则创建一个搜索所有记录的Solr查询(记为SF2)，并跳转至步骤6；
步骤3：Calcite查询引擎将对象RN传递至Solr适配器(模块2)；
步骤4：Solr适配器查询翻译模块将RN翻译成Solr查询SF1；
步骤5：NOT操作优化模块将Solr查询SF1中的NOT条件进行转换，得到SF2；
步骤6：Solr查询与优化模块将SF2分解成针对SolrCloud集群的逐页查询，连接SolrCloud服务器，获得查询结果R1；
步骤7：Calcite查询引擎针对R1采用原始过滤条件RN(即原始过滤条件的RexNode对象)进行二次过滤，得到R2，该步骤可以处理没有经过Solr适配器过滤的结果；
步骤8：Calcite查询引擎向用户程序返回SQL查询结果R2。
2、Solr查询翻译方法说明
步骤1：接收到RexNode对象，创建三元组T(kind,left,right)，其中：kind为该RexNode对应的查询条件的类型(与、或、非、大于、小于，等)，left为左操作数，right为右操作数；
步骤2：针对三元组T进行匹配，共区分20种情况，如下：
本发明定义了一系列的类来描述每一种Solr查询条件，并根据上表中的不同情况生成对应的类对象。如：根据第19种情况，会构建出NotSolrFilter对象。
类似的类包括AndSolrFilter、NotSolrFilter、OrSolrFilter、GtSolrFilter、NotNullSolrFilter、IsNullSolrFilter、EqualsSolrFilter、LikeSolrFilter、NotEqualsSolrFilter、GeSolrFilter、LeSolrFilter、LtSolrFilter等，另外，不可转换的条件被定义为UnrecognizedSolrFilter。这些类实现了一个相同的接口SolrFilter，UML类图如图3所示。
SolrFilter接口定义了一个方法：toSolrQueryString()，该方法返回当前Solr查询条件对应的查询串，如EqualsSolrFilter类的定义如下：
3、NOT操作优化设计说明
NOT操作优化的原理在于：替换形如Not(Filter)的操作，避免转换后的表达式中出现Not操作符。优化规则如下：
(1)如果遇到Not(x>y)的条件，则替换成x≤y；
(2)如果遇到Not(x≥y)的条件，则替换成x<y；
(3)如果遇到Not(x<y)的条件，则替换成x≥y；
(4)如果遇到Not(x≤y)的条件，则替换成x>y；
(5)如果遇到Not(x＝＝y)的条件，则替换成x！＝y；
(6)如果遇到Not(x！＝y)的条件，则替换成x＝＝y；
(7)如果遇到Not(x is null)的条件，则替换成x is not null；
(8)如果遇到Not(x is not null)的条件，则替换成x is null；
(9)如果遇到Not(Not(xxx))的条件，则替换成xxx，且继续对其中的xxx条件进行NOT操作优化；
(10)如果遇到And(xxx)的条件，继续对其中的xxx条件进行NOT操作优化；
(11)如果遇到Or(xxx)的条件，继续对其中的xxx条件进行NOT操作优化；
(12)如果遇到Not(And(xxx,yyy))的条件，则替换成(Not x)Or(Not y)，并且继续对其中的xxx,yyy条件进行NOT操作优化；
(13)如果遇到Not(Or(xxx,yyy))的条件，则替换成(Not x)And(Not y)，并且继续对其中的xxx,yyy条件进行NOT操作优化；
(14)其他情况，则不进行NOT操作优化；
以上规则如下表所示：
4、程序类设计说明
本发明***采用Scala语言开发，主要包括如下类：
●SolrTable：Apache Calcite提供的AbstractTable的子类，同时实现了ApacheCalcite提供的ScannableTable和FilterableTable接口，SolrTable代表对应于Solr文档集合的SQL表，主要实现了scan()等方法，用以获取符合条件的记录；
●SolrTableFactory：Apache Calcite提供的TableFactory的子类，用以根据指定参数，创建SolrTable对象；
●SolrQueryResultsIterator：针对Solr查询结果中的记录的一个迭代器；
●SolrQueryResults：实现了对Solr查询结果的封装，它包含了一个SolrQueryResultsIterator对象；
●SqlFilter2SolrFilterTranslator：核心类，实现SQL查询到Solr查询的翻译；
●SolrFilter：代表转换后的Solr查询条件，本发明同时定义了SolrFilter的各个子类，包括AndSolrFilter、NotSolrFilter、OrSolrFilter、GtSolrFilter、NotNullSolrFilter、IsNullSolrFilter、EqualsSolrFilter、LikeSolrFilter、NotEqualsSolrFilter、GeSolrFilter、LeSolrFilter、LtSolrFilter等，另外，不可转换的条件被定义为UnrecognizedSolrFilter。
●SolrTableConf：一个工具类，主要提供文本型、整形等参数解析等方法；
5、本发明***的使用示例
如下针对本发明***的使用给出示例代码：
以上程序是一个正常的JDBC客户端程序，与其他程序的区别在于JDBC URL的格式如"jdbc:calcite:model＝src/java/test/model.json"，其中指定采用Apache Calcite引擎的驱动，并采用model.json作为配置文件，model.json内容如下：
其中定义了一个名为solr的SQL数据库，在该库下面定义了一个名为docs的SQL数据表，该表由org.apache.calcite.adapter.solr.SolrTableFactory采用如下属性进行创建：
●solrServerURL：Solr服务器地址，如：http://bluejoe1:8983/solr/collection1
●solrZkHosts:SolrCloud使用Zookeeper地址，如：bluejoe1:9983
●solrCollection：Solr文档集合的名称，如：collection1
●columns:由逗号分隔的列信息,如：id integer,name char,age integer
●columnMapping:由逗号分隔的列映射信息，如：name->name_s,age->age_i表示name列在Solr文档中存为name_s字段，age列在Solr文档中存为age_s字段，
●pageSize:分页时用到的每一页的记录数目，如：50
当用户指定了solrZkHosts参数，***将连接对应的SolrCloud集群；当用户指定了solrServerURL参数，***将连接对应的单个节点。这两个参数只能同时选择一个。
以上实施仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求书所述为准。
Claims (10)
1.一种针对SolrCloud的大数据SQL查询方法，其步骤为：
1)表模式映射模块将Solr中的文档集合映射成SQL表格，将Solr中的文档和字段分别对应映射成SQL表格的行和列；
2)SQL分析与执行引擎对收到的SQL查询语句进行解析，将其中的SQL关系查询条件解析RexNode对象；
3)Solr查询翻译模块针对RexNode对象的具体结构逐层进行翻译，得到对应的Solr查询条件；NOT操作优化模块将该SQL查询语句中的NOT条件转换对应的Solr查询条件；
4)Solr查询与优化模块将步骤3)得到的Solr查询条件分解成针对SolrCloud集群的逐页查询，并发送给SolrCloud服务器进行查询；
5)Solr查询与优化模块将SolrCloud服务器的查询结果作为该SQL查询语句的查询结果。
2.如权利要求1所述的方法，其特征在于，所述步骤5)中，Solr查询与优化模块将SolrCloud服务器的查询结果发送给SQL分析与执行引擎，SQL分析与执行引擎针采用该RexNode对象对该查询结果进行过滤，将得到的过滤结果作为该SQL查询语句的查询结果。
3.如权利要求1或2所述的方法，其特征在于，所述步骤4)中，Solr查询与优化模块将逐页查询经配置解析与SolrCloud连接模块发送给SolrCloud服务器进行查询；其中，配置解析与SolrCloud连接模块负责解析传入的配置参数，包括SolrCloud的服务器位置、Solr中的文档集合名称、SQL表格的列名以及对应的Solr字段名，并与SolrCloud服务器建立连接。
4.如权利要求1或2所述的方法，其特征在于，所述Solr查询与优化模块中设置一逐页缓冲机制，根据首次Solr查询得到记录总数目M和分页大小N，计算出页数P，将总查询分解成P个连续的子查询，每个查询具有相同的查询条件，但具有不同的偏移位置；只有当请求获取到第x页的时候，向SolrCloud集群提交第x页的查询请求。
5.如权利要求1或2所述的方法，其特征在于，所述Solr查询翻译模块针对RexNode对象的具体结构逐层进行翻译的方法为：
51)建立一三元组的翻译结果表；根据Solr查询条件创建多个类，每一类对应具有相同翻译结果一个或多个三元组；各所述类具有一相同的接口SolrFilter，用于返回当前Solr查询条件对应的查询串；
52)根据接收到的RexNode对象，创建三元组T(kind,left,right)；其中：kind为该RexNode对象对应的查询条件的类型，left为左操作数，right为右操作数；
52)根据该三元组T从所述类中查找匹配的Solr查询条件。
6.一种针对SolrCloud的大数据SQL查询***，其特征在于，SQL分析与执行引擎、包括表模式映射模块、Solr查询翻译模块和Solr查询与优化模块；其中，
SQL分析与执行引擎，用于对收到的SQL查询语句进行解析，将其中的SQL关系查询条件解析RexNode对象；
表模式映射模块，用于将Solr中的文档集合映射成SQL表格，将Solr中的文档和字段分别对应映射成SQL表格的行和列；
Solr查询翻译模块，用于针对RexNode对象的具体结构逐层进行翻译，得到对应的Solr查询条件；NOT操作优化模块将该SQL查询语句中的NOT条件转换对应的Solr查询条件；
Solr查询与优化模块，用于将得到的Solr查询条件分解成针对SolrCloud集群的逐页查询，并发送给SolrCloud服务器进行查询，将SolrCloud服务器的查询结果作为该SQL查询语句的查询结果。
7.权利要求6所述的***，其特征在于，还包括一SQL分析与执行引擎；Solr查询与优化模块将SolrCloud服务器的查询结果发送给SQL分析与执行引擎，SQL分析与执行引擎针采用该RexNode对象对该查询结果进行过滤，将得到的过滤结果作为该SQL查询语句的查询结果。
8.权利要求6或7所述的***，其特征在于，所述Solr查询与优化模块将逐页查询经配置解析与SolrCloud连接模块发送给SolrCloud服务器进行查询；其中，配置解析与SolrCloud连接模块负责解析传入的配置参数，包括SolrCloud的服务器位置、Solr中的文档集合名称、SQL表格的列名以及对应的Solr字段名，并与SolrCloud服务器建立连接。
9.权利要求6或7所述的***，其特征在于，所述Solr查询与优化模块中设置一逐页缓冲机制，根据首次Solr查询得到记录总数目M和分页大小N，计算出页数P，将总查询分解成P个连续的子查询，每个查询具有相同的查询条件，但具有不同的偏移位置；只有当请求获取到第x页的时候，向SolrCloud集群提交第x页的查询请求。
10.权利要求6或7所述的***，其特征在于，所述Solr查询翻译模块中设置一三元组翻译结果表；根据Solr查询条件创建多个类，每一类对应具有相同翻译结果一个或多个三元组；各所述类具有一相同的接口SolrFilter，用于返回当前Solr查询条件对应的查询串；所述Solr查询翻译模块根据接收到的RexNode对象，创建三元组T(kind,left,right)；其中：kind为该RexNode对象对应的查询条件的类型，left为左操作数，right为右操作数；所述Solr查询翻译模块根据该三元组T从所述类中查找匹配的Solr查询条件。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710261610.0A CN107229672A (zh) | 2017-04-20 | 2017-04-20 | 一种针对SolrCloud的大数据SQL查询方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710261610.0A CN107229672A (zh) | 2017-04-20 | 2017-04-20 | 一种针对SolrCloud的大数据SQL查询方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107229672A true CN107229672A (zh) | 2017-10-03 |
Family
ID=59933128
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710261610.0A Pending CN107229672A (zh) | 2017-04-20 | 2017-04-20 | 一种针对SolrCloud的大数据SQL查询方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107229672A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109241085A (zh) * | 2018-09-20 | 2019-01-18 | 潘丽华 | 一种针对SolrCloud的大数据SQL查询方法 |
| CN110109892A (zh) * | 2018-01-25 | 2019-08-09 | 杭州海康威视数字技术股份有限公司 | 一种数据迁移方法、装置及电子设备 |
| CN110232106A (zh) * | 2019-04-26 | 2019-09-13 | 安徽四创电子股份有限公司 | 一种基于MongoDB和Solr的海量数据存储及快速检索方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102426612A (zh) * | 2012-01-13 | 2012-04-25 | 广州从兴电子开发有限公司 | 条件对象查询方法及*** |
| CN103544211A (zh) * | 2013-09-04 | 2014-01-29 | 广东全通教育股份有限公司 | 一种将对象转化为sql语句的通用查询***及方法 |
| CN105224633A (zh) * | 2015-09-24 | 2016-01-06 | 北京锐安科技有限公司 | 基于SQL语言的solr查询方法及装置 |
-
2017
- 2017-04-20 CN CN201710261610.0A patent/CN107229672A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102426612A (zh) * | 2012-01-13 | 2012-04-25 | 广州从兴电子开发有限公司 | 条件对象查询方法及*** |
| CN103544211A (zh) * | 2013-09-04 | 2014-01-29 | 广东全通教育股份有限公司 | 一种将对象转化为sql语句的通用查询***及方法 |
| CN105224633A (zh) * | 2015-09-24 | 2016-01-06 | 北京锐安科技有限公司 | 基于SQL语言的solr查询方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| GREENWOLF: "solr-sql是针对solrcloud封装的sql编程接口", 《HTTPS://JAVA.CTOLIB.COM/SOLR-SQL.HTML》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110109892A (zh) * | 2018-01-25 | 2019-08-09 | 杭州海康威视数字技术股份有限公司 | 一种数据迁移方法、装置及电子设备 |
| CN110109892B (zh) * | 2018-01-25 | 2021-09-10 | 杭州海康威视数字技术股份有限公司 | 一种数据迁移方法、装置及电子设备 |
| CN109241085A (zh) * | 2018-09-20 | 2019-01-18 | 潘丽华 | 一种针对SolrCloud的大数据SQL查询方法 |
| CN109241085B (zh) * | 2018-09-20 | 2022-06-21 | 郴州职业技术学院 | 一种针对SolrCloud的大数据SQL查询方法 |
| CN110232106A (zh) * | 2019-04-26 | 2019-09-13 | 安徽四创电子股份有限公司 | 一种基于MongoDB和Solr的海量数据存储及快速检索方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106934062B (zh) | 一种查询elasticsearch的实现方法及*** | |
| US9430494B2 (en) | Spatial data cartridge for event processing systems | |
| US7539669B2 (en) | Methods and systems for providing guided navigation | |
| CN105989150B (zh) | 一种基于大数据环境的数据查询方法及装置 | |
| CN109426725B (zh) | 数据脱敏方法、设备及计算机可读存储介质 | |
| US8838527B2 (en) | Virtual environment spanning desktop and cloud | |
| US10210203B2 (en) | Query translation for searching complex structures of objects | |
| US6691122B1 (en) | Methods, systems, and computer program products for compiling information into information categories using an expert system | |
| US9824128B1 (en) | System for performing single query searches of heterogeneous and dispersed databases | |
| WO2004012057A3 (en) | Method and system of unifying data | |
| JP2007249785A (ja) | コンパイルプログラム、仮想データベースリモートアクセス用プログラムの製造方法、及び仮想データベースのリモートアクセス方法 | |
| US20060200452A1 (en) | Method for translating syntax of patent information search | |
| CN109947770A (zh) | 一种数据库查询方法、终端设备及存储介质 | |
| CN107229672A (zh) | 一种针对SolrCloud的大数据SQL查询方法及*** | |
| CN1689298A (zh) | 用于自主计算的合成服务 | |
| US9373093B2 (en) | Gateway service manager for business object applications | |
| CN114065765A (zh) | 结合ai和rpa的武器装备文本处理方法、装置及电子设备 | |
| CN113297251A (zh) | 多源数据检索方法、装置、设备及存储介质 | |
| EP3014472B1 (en) | Generating a logical representation from a physical flow | |
| Zou et al. | From a stream of relational queries to distributed stream processing | |
| US10140335B2 (en) | Calculation scenarios with extended semantic nodes | |
| WO2023033847A1 (en) | System and method of fetching data from an external program | |
| Marathe et al. | Integrating the Orca Optimizer into MySQL. | |
| CN105183736A (zh) | 网络设备配置及状态信息的整合搜索***及方法 | |
| Telang et al. | Information integration across heterogeneous sources: Where do we stand and how to proceed? |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20180910 Address after: 510000 903-907 room of 901 room 901, 105 Whampoa Road, Whampoa, Guangdong Applicant after: Zhongke wisdom water transportation technology innovation (Guangzhou) Co.,Ltd. Address before: 100190 South four street, Zhongguancun, Haidian District, Beijing, 4 Applicant before: Computer Network Information Center, Chinese Academy of Sciences |
|
| TA01 | Transfer of patent application right | ||
| CB02 | Change of applicant information |
Address after: 510000 903-907 room of 901 room 901, 105 Whampoa Road, Whampoa, Guangdong Applicant after: Zhongke Intelligent Transportation Technology (Guangzhou) Co.,Ltd. Address before: 510000 903-907 room of 901 room 901, 105 Whampoa Road, Whampoa, Guangdong Applicant before: Zhongke wisdom water transportation technology innovation (Guangzhou) Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200422 Address after: 100190 No. four, 4 South Street, Haidian District, Beijing, Zhongguancun Applicant after: Computer Network Information Center, Chinese Academy of Sciences Address before: 510000 903-907 room of 901 room 901, 105 Whampoa Road, Whampoa, Guangdong Applicant before: Zhongke Intelligent Transportation Technology (Guangzhou) Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20171003 |
|
| WD01 | Invention patent application deemed withdrawn after publication |