CN108573063A - 一种数据查询方法及*** - Google Patents

Abstract

本发明公开了一种数据查询方法及***，该方法包括：将获取的原始数据信息按照预设数据处理格式进行处理，生成所述原始数据对应的数据表；根据查询字段信息创建所述数据表的索引，将所述索引存储到预先构建的Solr集群中；接收查询请求，获取所述Solr集群的负载信息，根据所述查询请求对应的查询字段调用对应的Solr集群获得与所述查询字段对应的内存索引，解析所述查询字段对应的内存索引，得到查询数据。通过本发明实现了满足用户增长时的高并发访问需求的目的。

Description

一种数据查询方法及***

技术领域

本发明涉及数据处理技术领域，特别是涉及一种数据查询方法及***。

背景技术

最近几年，伴随着大数据的发展，各行业业务***的不断壮大，每个行业的客户数量也快速增长。例如，很多银行个人正式客户已达百万，账户更是多达千万，客户经理希望在这些大量数据中，通过复杂的个性化查询条件快速定位目标客户和账户，并能通过数据处理工具进行相应的数据加工。

通常客户经理只能通过特定的方式维护、提取数据，或者通过CRM(CustomerRelationship Management，客户关系管理)***进行简单查询来满足需求。但是，CRM***基于传统的关系数据库实现信息检索，当用户输入三个查询条件查询账户信息时，***都至少需要一分钟才会响应，体验效果较差，除了时效较差外还容易产生客户信息泄漏的风险。虽然，现有的银行***也采用了其他预处理的方式来满足用户的查询需求，但是面对用户提交的复杂查询条件，均不能很好地满足业务需求。

发明内容

针对于上述问题，本发明提供一种数据查询方法及***，实现了满足用户增长时的高并发访问需求的目的。

为了实现上述目的，根据本发明的第一方面，提供了一种数据查询方法，该方法包括：

将获取的原始数据信息按照预设数据处理格式进行处理，生成所述原始数据对应的数据表；

根据查询字段信息创建所述数据表的索引，将所述索引存储到预先构建的Solr集群中，其中，所述Solr集群构建在查询服务器的内存和磁盘中，所述索引包括内存索引和磁盘索引；

接收查询请求，获取所述Solr集群的负载信息，根据所述查询请求对应的查询字段调用对应的Solr集群获得与所述查询字段对应的内存索引，解析所述查询字段对应的内存索引，得到查询数据。

优选地，该方法还包括：

将所述内存索引的内容同步备份至所述磁盘索引。

优选地，当所述内存索引的内容丢失时或者所述Solr集群重启时，将所述磁盘索引的内容复制到所述内存索引。

优选地，当得到查询数据之后，该方法还包括：

将所述查询数据进行压缩处理；

设置所述查询数据的传输规则，将所述查询数据传输至满足所述传输规则的数据获取请求端。

优选地，该方法还包括：

对所述查询数据进行脱敏处理，将脱敏处理后的查询数据进行传输。

根据本发明的第二方面，提供了一种数据查询***，该***包括：

处理模块，用于将获取的原始数据信息按照预设数据处理格式进行处理，生成所述原始数据对应的数据表；

创建模块，用于根据查询字段信息创建所述数据表的索引，将所述索引存储到预先构建的Solr集群中，其中，所述Solr集群构建在查询服务器的内存和磁盘中，所述索引包括内存索引和磁盘索引；

查询模块，用于接收查询请求，获取所述Solr集群的负载信息，根据所述查询请求对应的查询字段调用对应的Solr集群获得与所述查询字段对应的内存索引，解析所述查询字段对应的内存索引，得到查询数据。

优选地，该***还包括：

备份模块，用于将所述内存索引的内容同步备份至所述磁盘索引。

优选地，当所述内存索引的内容丢失时或者所述Solr集群重启时，所述备份模块还用于将所述磁盘索引的内容复制到所述内存索引。

优选地，当得到查询数据之后，该***还包括：

压缩模块，用于将所述查询数据进行压缩处理；

设置模块，用于设置所述查询数据的传输规则，将所述查询数据传输至满足所述传输规则的数据获取请求端。

优选地，该***还包括：

脱敏模块，用于对所述查询数据进行脱敏处理，将脱敏处理后的查询数据进行传输。

相较于现有技术，本发明通过将原始数据按照查询字段进行处理，生成对应的数据表，即该数据表中包含了全部的查询字段；然后根据该数据表创建索引，该索引包括了内存索引和磁盘索引，其中，磁盘索引为内存索引的备份，当内存索引丢失时，可通过磁盘索引进行恢复，保证了索引数据的持久有效；同时将索引存储要预先构建的Solr集群中，当接收到查询请求后，可以根据查询请求中的查询字段访问对应的内存索引，该字段可以为多条件自由组合字段，由于将内存索引存储至Solr集群中，而Solr集群能够支持高并发访问请求，索引文件又置于内存中，因此提供了高性能、低延迟的查询请求，实现了满足数据用户增长时的高并发访问需求的目的。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例一提供的一种数据查询方法的流程示意图；

图2为本发明实施例二提供Solr集群的逻辑架构图；

图3为本发明实施例三提供的一种数据查询***的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有设定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。

实施例一

参见图1为本发明实施例一提供的一种数据查询方法，该方法包括以下步骤：

S11、将获取的原始数据信息按照预设数据处理格式进行处理，生成所述原始数据对应的数据表；

具体的，由于用户数据越来越多也就是当用户处于增长时，用户对数据的访问需求也将越来越高，而对数据获取过程中使用的查询条件也会随增多，查询字段也会变得丰富并且查询字段将会自由组合。在海量的数据中为了数据查询方便，首先需要对数据进行处理，将未加工处理的结构化的数据称为原始数据，然后对原始数据进行加工处理，即将原始数据按照业务逻辑、查询字段等按需设计的字段进行加工处理，生成数据表。例如，在数据仓库中将客户信息表和账户信息表按照账户粒度合成一张包含全部查询字段的大宽表。

S12、根据查询字段信息创建所述数据表的索引，将所述索引存储到预先构建的Solr集群中，其中，所述Solr集群构建在查询服务器的内存和磁盘中，所述索引包括内存索引和磁盘索引；

在该步骤中主要实现批量和实时索引的创建，也就是对步骤S11中的数据表中的查询字段和该查询字段对应的内容创建索引。索引的创建方法可以通过JDBC(JavaDataBase Connectivity，java数据库连接)连接数据源进行批量索引的创建，也可通过Morphlines实现实时索引创建，其中，Morphline是指一种通过配置文件的方式实现的数据转换过程，支持从不同的数据来源读取并处理数据，并加载到不同的Hadoop组件中。Morphlines是对上述过程具体实现的一个Java类库，提供了实时和批量两种方式，实时的基于Apache Flume，批量的基于MapReduce。

将索引存储到预先构建的Solr集群中，是由于Solr集群具有高并发和多查询条件的响应速度快。

S13、接收查询请求，获取所述Solr集群的负载信息，根据所述查询请求对应的查询字段调用对应的Solr集群获得与所述查询字段对应的内存索引，解析所述查询字段对应的内存索引，得到查询数据。

需要说明的是，在创建的Solr集群中需要采用负载均衡，即获得每个Solr集群的负载信息状况，然后将查询请求均匀的分发到Solr集群对应的SolrServer上，可以根据实际情况选择负载均衡的实现方式，例如基于硬件的F5设备，或者是基于软件的HAProxy。并且将查询请求中的查询字段对应调用的是内存索引，使得查询性能大幅度提高。由于该内存索引为查询字段和该查询字段对应的查询内容，索引可以通过调用该内存索引得到查询数据。

通过本发明实施例一公开的技术方案，将原始数据按照查询字段进行处理，生成对应的数据表，即该数据表中包含了全部的查询字段；然后根据该数据表创建索引，该索引包括了内存索引和磁盘索引，其中，磁盘索引为内存索引的备份，当内存索引丢失时，可通过磁盘索引进行恢复，保证了索引数据的持久有效；同时将索引存储要预先构建的Solr集群中，当接收到查询请求后，可以根据查询请求中的查询字段访问对应的内存索引，该字段可以为多条件自由组合字段，由于将内存索引存储至Solr集群中，而Solr集群能够支持高并发访问请求，索引文件又置于内存中，因此提供了高性能、低延迟的查询请求，实现了满足数据用户增长时的高并发访问需求的目的。

实施例二

参照本发明实施例一和图1中所描述的S11到S13步骤的具体过程，并参见图2，图2为Solr集群的逻辑架构图，该Solr集群的创建过程是基于Java语言实现的，可以为：

Zookeeper配置：ZK新建目录/solr用于Solr集群的协调和配置管理。

Solr安装：下载Solr安装文件，配置以下几个参数：SOLR_JAVA_HOME、SOLR_HEAP、ZK_HOST、SOLR_HOME和SOLR_PORT，完成配置后，启动Solr，在剩余节点重复上述的操作。

创建Instance配置文件：通过solrctl命令行工具，生成配置文件，并以此为基础完成配置文件的修改，核心是schema.xml文件，并上传至Zookeeper。

基于Instance新建Collection：Collection是Solr对外服务的数据集单位，一般一个对外应用对应一个Collection。

服务验证：打开浏览器，访问http://{solr_server}:port/solr，检查collection是否正确，shard数是否正确，leader和slave是否正确。

参见图2每个Solr集群中的Solr Server均能对外提供HTTP查询服务，为了充分利用Solr集群的性能，提升高并发支持能力，减少单节点的负载，还需要在HTTP服务层之上引入负载均衡技术。负载均衡可以将应用端的请求按照负载均衡策略，均匀的分发至后端的Solr Server上，可以根据实际情况选择负载均衡的实现方式，例如基于硬件的F5设备，或者是基于软件的HAProxy。其中的，负载均衡策略具体可以理解为，后台有多台节点组成一个集群对外提供服务，为提高应用的可靠性和吞吐性能，在集群之上需要有个负载均衡分发器，对外提供应用的统一入口，对内将应用提交的服务请求按照某种均衡策略分发至集群内的各节点。

在实施例公开的数据查询方法的基础上，本实施例二还可以包括：

将所述内存索引的内容同步备份至所述磁盘索引。

对应的，当所述内存索引的内容丢失时或者所述Solr集群重启时，将所述磁盘索引的内容复制到所述内存索引。

相应的，当得到查询数据之后，该方法还包括：

将所述查询数据进行压缩处理；

设置所述查询数据的传输规则，将所述查询数据传输至满足所述传输规则的数据获取请求端。

具体的，该方法还包括：

对所述查询数据进行脱敏处理，将脱敏处理后的查询数据进行传输。

在实施例二的基础上，在将本发明提供的数据查询方法应用到对应的查询服务器上，对应的前端应用服务器也就是接受用户的查询请求，提供客户端访问的入口，需要解决的问题是大数据量数据网络传输问题。前端应用服务器是提供查询界面、显示查询结果的服务器，查询服务通过负载均衡入口后分发至后台的Solr集群来提供。大数据量传输可能会影响查询服务器之间和客户端服务器的网络环境。为了减轻网络传输压力，减少对公网其他***的影响，在本发明中采用了如下的处理方式：

为了减轻服务器之间的网络压力，采用压缩文本对查询数据进行传输，例如，一个excel中若包含50个字段，5万条数据，大小约为21M，压缩后只有3M，压缩比达到7：1。为减轻服务器间网络压力和提高传输效率，采用压缩了excel后传输。

将复杂查询服务作为独立的Sever部署在was上，通过网络IP和端口限流的方案，避免客户端到服务器之间的网络带宽占用过大。

通过设置查询数据的传输规则，只有满足该规则的才能允许对查询数据的访问、移动和传输等操作。也就是，将查询产生的数据通过excel自行加工处理，若随意允许用户下载进行操作，不利于数据的统一管理且有数据泄漏的风险。采用office控件在线打开excel文件，通过前端技术手段，允许在excel内部进行复制粘贴，允许从excel外面复制到excel内部，不允许从excel内部复制到外面，并对敏感信息进行脱敏处理。这样既满足了用户需求，又有效控制了数据泄漏风险。

同样，在本发明的一些实施例中将查询数据进行显示时，为了提高快速的显示效率，采用了CSV接口方案，CSV(Comma-Separated Values，逗号分隔值，有时也称为字符分隔值，因为分隔字符也可以不是逗号)，其文件以纯文本形式存储表格数据(数字和文本)。这是由于采用CSV的接口方案优于Office控件自带方法和采用poi jar包。举例说明，Office控件自带方法，1分钟只能写入200条，5万条数据前端写入完至少需要4个小时；采用poijar包，1分钟能写入1万条，5万条数据至少需要5分钟才能在前端展现给用户；而采用csv的接口，5万条数据能在10秒之内完成从请求到最终呈现。

客户端的查询请求，也就是查询字段通常会超过上百个，在查询界面上进行合理展示时，需要采用合理的布局模式。以银行客户产品查询为例，个人条线有超过50种产品，超过200个字段作为查询条件，需要在界面上做良好的布局。采用了如下的方式：

先将查询条件分类，例如个人产品分为存款、贷款、电子渠道、直销银行、中间业务和***五大类，点击每个产品可选择具体查询条件，并通过“与”和“或”将每个条件进行拼接。然后在客户端进行显示。

因此，通过本发明提供的数据查询方法，通过构建Solr集群，并引入索引同步机制，在集群中实现索引数据的实时同步，同时借助负载均衡技术，对外提供统一的服务入口，支持横向扩展，满足用户增长时的高并发需求。通过将索引文件置于内存中，借助内存索引技术，来提供高性能、低延迟的查询请求。内存索引技术的使用，确实使查询性能大幅提高，但也引入了数据丢失的风险，因为一旦服务器掉电或重启，保存在内存中的索引数据就需要重新加载，因此还需要一份基于磁盘的索引拷贝，已防止意外情况下假如内存数据丢失，还能继续提供服务，保证业务的连续性，我们在逻辑上新建了一个Solr Server，这个server与原先的Solr Server在物理上部署于同一台服务器，不同的是新建的Solr Server用的是磁盘索引技术，然后再通过索引同步机制，来保证内存索引与磁盘索引之间的一致性。也就是，指在创建或新增索引内容时，为提高性能，先写入内存索引，再利用索引同步技术将内存索引内容同步至磁盘索引，确保索引数据的持久有效。

本发明中的服务器配置优选如下：

CPU：[email protected](12-Core以上)

内存：128GB

磁盘：***盘600GRAID 1+数据盘按需配置(推荐1TB以上)

网络：千兆或万兆

根据本发明实施例二公开的技术方案，将原始数据按照查询字段进行处理，生成了包含全部的查询字段的数据表；然后根据该数据表创建索引，该索引包括了内存索引和磁盘索引，其中，磁盘索引为内存索引的备份，当内存索引丢失时，可通过磁盘索引进行恢复，保证了索引数据的持久有效；同时将索引存储要预先构建的Solr集群中，当接收到查询请求后，可以利用负载均衡策略和内存索引技术进行多条件的自由组合的查询，由于Solr集群能够实现高并发服务，而内存索引提高了查询响应速度，实现了满足数据用户增长时的高并发访问需求的目的。

实施例三

与本发明实施例一和实施例二所公开的数据查询方法相对应，本发明的实施例三还提供了一种数据查询***，参见图3，该***可以包括：

处理模块1，用于将获取的原始数据信息按照预设数据处理格式进行处理，生成所述原始数据对应的数据表；

创建模块2，用于根据查询字段信息创建所述数据表的索引，将所述索引存储到预先构建的Solr集群中，其中，所述Solr集群构建在查询服务器的内存和磁盘中，所述索引包括内存索引和磁盘索引；

查询模块3，用于接收查询请求，获取所述Solr集群的负载信息，根据所述查询请求对应的查询字段调用对应的Solr集群获得与所述查询字段对应的内存索引，解析所述查询字段对应的内存索引，得到查询数据。

具体的，该***还包括：

备份模块，用于将所述内存索引的内容同步备份至所述磁盘索引。

对应的，当所述内存索引的内容丢失时或者所述Solr集群重启时，所述备份模块还用于将所述磁盘索引的内容复制到所述内存索引。

相应的，当得到查询数据之后，该***还包括：

压缩模块，用于将所述查询数据进行压缩处理；

设置模块，用于设置所述查询数据的传输规则，将所述查询数据传输至满足所述传输规则的数据获取请求端。

具体的，该***还包括：

脱敏模块，用于对所述查询数据进行脱敏处理，将脱敏处理后的查询数据进行传输。

在本发明的实施例三中，将原始数据按照查询字段进行处理，生成对应的数据表，即该数据表中包含了全部的查询字段；然后根据该数据表创建索引，该索引包括了内存索引和磁盘索引，其中，磁盘索引为内存索引的备份，当内存索引丢失时，可通过磁盘索引进行恢复，保证了索引数据的持久有效；同时将索引存储要预先构建的Solr集群中，当接收到查询请求后，可以根据查询请求中的查询字段访问对应的内存索引，该字段可以为多条件自由组合字段，由于将内存索引存储至Solr集群中，而Solr集群能够支持高并发访问请求，索引文件又置于内存中，因此提供了高性能、低延迟的查询请求，实现了满足数据用户增长时的高并发访问需求的目的。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据查询方法，其特征在于，该方法包括：

将获取的原始数据信息按照预设数据处理格式进行处理，生成所述原始数据对应的数据表；

根据查询字段信息创建所述数据表的索引，将所述索引存储到预先构建的Solr集群中，其中，所述Solr集群构建在查询服务器的内存和磁盘中，所述索引包括内存索引和磁盘索引；

接收查询请求，获取所述Solr集群的负载信息，根据所述查询请求对应的查询字段调用对应的Solr集群获得与所述查询字段对应的内存索引，解析所述查询字段对应的内存索引，得到查询数据。

2.根据权利要求1所述的方法，其特征在于，该方法还包括：

将所述内存索引的内容同步备份至所述磁盘索引。

3.根据权利要求2所述的方法，其特征在于，当所述内存索引的内容丢失时或者所述Solr集群重启时，将所述磁盘索引的内容复制到所述内存索引。

4.根据权利要求1所述的方法，其特征在于，当得到查询数据之后，该方法还包括：

将所述查询数据进行压缩处理；

设置所述查询数据的传输规则，将所述查询数据传输至满足所述传输规则的数据获取请求端。

5.根据权利要求4所述的方法，其特征在于，该方法还包括：

对所述查询数据进行脱敏处理，将脱敏处理后的查询数据进行传输。

6.一种数据查询***，其特征在于，该***包括：

处理模块，用于将获取的原始数据信息按照预设数据处理格式进行处理，生成所述原始数据对应的数据表；

创建模块，用于根据查询字段信息创建所述数据表的索引，将所述索引存储到预先构建的Solr集群中，其中，所述Solr集群构建在查询服务器的内存和磁盘中，所述索引包括内存索引和磁盘索引；

查询模块，用于接收查询请求，获取所述Solr集群的负载信息，根据所述查询请求对应的查询字段调用对应的Solr集群获得与所述查询字段对应的内存索引，解析所述查询字段对应的内存索引，得到查询数据。

7.根据权利要求6所述的***，其特征在于，该***还包括：

备份模块，用于将所述内存索引的内容同步备份至所述磁盘索引。

8.根据权利要求7所述的***，其特征在于，当所述内存索引的内容丢失时或者所述Solr集群重启时，所述备份模块还用于将所述磁盘索引的内容复制到所述内存索引。

9.根据权利要求6所述的***，其特征在于，当得到查询数据之后，该***还包括：

压缩模块，用于将所述查询数据进行压缩处理；

设置模块，用于设置所述查询数据的传输规则，将所述查询数据传输至满足所述传输规则的数据获取请求端。

10.根据权利要求9所述的***，其特征在于，该***还包括：

脱敏模块，用于对所述查询数据进行脱敏处理，将脱敏处理后的查询数据进行传输。