CN108255955A - 一种数据处理方法及装置 - Google Patents

一种数据处理方法及装置 Download PDF

Info

Publication number
CN108255955A
CN108255955A CN201711387932.6A CN201711387932A CN108255955A CN 108255955 A CN108255955 A CN 108255955A CN 201711387932 A CN201711387932 A CN 201711387932A CN 108255955 A CN108255955 A CN 108255955A
Authority
CN
China
Prior art keywords
data
database
inquiry request
layer
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711387932.6A
Other languages
English (en)
Other versions
CN108255955B (zh
Inventor
龚红祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
New H3C Big Data Technologies Co Ltd
Original Assignee
New H3C Big Data Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by New H3C Big Data Technologies Co Ltd filed Critical New H3C Big Data Technologies Co Ltd
Priority to CN201711387932.6A priority Critical patent/CN108255955B/zh
Publication of CN108255955A publication Critical patent/CN108255955A/zh
Application granted granted Critical
Publication of CN108255955B publication Critical patent/CN108255955B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/256Integrating or interfacing systems involving database management systems in federated or virtual databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种数据处理方法及装置,所述方法包括:分别建立搜索引擎与多个数据库的JDBC连接;创建对应所述多个数据库的关联视图,所述关联视图中包括对应所述多个数据库的描述信息;当接收到针对所述关联视图的查询请求时,通过与所述多个数据库的JDBC连接分别从所述多个数据库中获取与所述查询请求关联的数据,并输出包括所获取到的数据的查询结果。应用本发明可以实现搜索引擎的异构查询。

Description

一种数据处理方法及装置
技术领域
本发明涉及大数据处理技术领域,尤其涉及一种数据处理方法及装置。
背景技术
ElasticSearch(简称ES)是一个分布式、面向列的搜索引擎,提供了一个分布式多用户能力的全文搜索引擎,是当前流行的企业级搜索引擎。
然而实践发现,目前的ES实现中,不存在异构查询的相关技术。
发明内容
本发明提供一种数据处理方法及装置,以解决现有ES实现中不存在异构查询的相关技术的问题。
根据本发明实施例的第一方面,提供一种数据处理方法,包括:
分别建立搜索引擎与多个数据库的java数据库连接JDBC连接;
创建对应所述多个数据库的关联视图,所述关联视图中包括对应所述多个数据库的描述信息;
当接收到针对所述关联视图的查询请求时,通过与所述多个数据库的JDBC连接分别从所述多个数据库中获取与所述查询请求关联的数据,并输出包括所获取到的数据的查询结果。
根据本发明实施例的第二方面,提供一种数据处理装置,包括前端视图层、RESTAPI、业务实现层以及数据接入层:其中:
所述数据接入层,用于分别建立搜索引擎与多个数据库的java数据库连接JDBC连接;
所述前端视图层,用于创建对应所述多个数据库的关联视图,所述关联视图中包括对应所述多个数据库的描述信息;
所述前端视图层,还用于当接收到针对所述关联视图的查询请求时,通过所述REST API将所述查询请求传递给所述业务实现层;
所述业务实现层,用于将所述查询请求传递给所述数据接入层;
所述数据接入层,还用于通过与所述多个数据库的JDBC连接分别从所述多个数据库中获取与所述查询请求关联的数据,并将获取到的数据合并传输至所述业务实现层;
所述业务实现层,用于当接收到数据接入层传输的数据时,按照预设数据模型进行组装,并通过REST API将组装后的数据传输至所述前端视图层;
所述前端视图层,用于展示组装后的数据。
应用本发明实施例,通过分别建立搜索引擎与多个数据库的JDBC连接,并创建对应该多个数据库的关联视图,当接收到针对关联视图的查询请求时,通过与该多个数据库的JDBC连接分别从多个数据库中获取与查询请求关联的数据,并输出包括所获取到的数据的查询结果,实现了搜索引擎的异构查询。
附图说明
图1是本发明实施例提供的一种数据处理装置的结构示意图;
图2A是本发明实施例提供的一种异构数据库中的数据格式示意图;
图2B是本发明实施例提供的一种合并后的数据格式示意图;
图3是本发明实施例提供的一种数据处理装置的结构示意图;
图4是本发明实施例提供的一种数据处理装置的硬件结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明实施例中的技术方案,并使本发明实施例的上述目的、特征和优点能够更加明显易懂,下面结合附图对本发明实施例中技术方案作进一步详细的说明。
请参见图1,为本发明实施例提供的一种数据处理方法的流程示意图,其中,该数据处理方法可以应用于搜索引擎,如ES,如图1所示,该数据处理方法可以包括以下步骤:
步骤101、分别建立搜索引擎与多个数据库的JDBC连接。
本发明实施例中,为了实现搜索引擎的异构查询,可以对搜索引擎进行功能扩展,使其能够与其它数据库建立JDBC连接,并建立对应的视图。
相应地,当搜索引擎接收到与多个数据库进行关联的配置指令时,搜索引擎可以分别建立自身与多个数据库的JDBC(Java DataBase Connectivity,java数据库连接)连接。
可选地,在本发明实施例中,与搜索引擎建立JDBC连接的多个数据库可以为异构数据库。
步骤102、创建对应该多个数据库的关联视图。
本发明实施例中,搜索引擎分别建立自身与多个数据库的JDBC连接之后,还可以创建对应该多个数据库的关联视图,并在该关联视图中添加对应该多个数据库的描述信息,如,在关联视图中添加分别与各数据库对应的主题,以便用户能够根据该描述信息确定该视图对应的数据库中的数据类型。
步骤103、当接收到针对该关联视图的查询请求时,通过与该多个数据库的JDBC连接分别从该多个数据库中获取与查询请求关联的数据,并输出包括所获取到的数据的查询结果。
本发明实施例中,搜索引擎创建关联视图之后,用户可以通过选择视图,并输入查询请求的方式,从关联视图对应的多个数据库中查询相关联的数据。
例如,用户可以根据关联视图中包括的数据库的描述信息确定所需数据对应的关联视图,并选择该关联视图,输入查询请求,以获取对应的数据。
相应地,当搜索引擎接收到针对关联视图的查询请求时,可以查询该关联视图对应的JDBC连接,并通过查询到的JDBC连接分别从对应的数据库中获取与查询请求关联的数据。
搜索引擎获取到与查询请求关联的数据之后,可以输出包括所获取到的数据的查询结果,例如,搜索引擎可以将所获取到的数据展示在指定Web页面中。
需要说明的是,在本发明实施例中,搜索引擎创建多个数据库对应的关联视图之后,需要记录关联视图与该多个数据库对应的JDBC连接的对应关系,进而,当搜索引擎接收到针对关联视图的查询请求时,搜索引擎可以根据自身记录的关联视图与JDBC连接的对应关系,确定用户选择的关联视图对应的JDBC连接,并通过所确定的JDBC连接从对应的数据库中获取与查询请求关联的数据。
可见,在图1所示方法流程中,搜索引擎通过建立自身与多个数据库分别建立JDBC连接,并创建对应的多个数据库的关联视图,从而,用户可以直接通过该关联视图触发搜索引擎从多个数据库中获取关联数据,实现了搜索引擎的异构查询。此外,由于搜索引擎可以直接从多个关联数据库中读取关联数据,与将关联数据库中的数据同步至本地数据库,然后从本地数据库中读取数据的实现相比,提高了关联数据查询的时效性。
在本发明其中一个实施例中,用户进行数据查询时,输入的查询请求中还可以携带查询条件,以查询满足查询条件的数据。其中,该查询条件包括指定字段以及指定字段的值。
相应地,搜索引擎接收到针对关联视图的查询请求时,可以根据该查询请求中携带的查询条件对该关联视图对应的数据库中的数据进行筛选,并输出包括筛选后的数据的查询结果。
具体地,在本发明实施例中,当搜索引擎接收到针对关联视图的查询请求时:
搜索引擎可以根据所述查询请求中携带的查询条件在所述多个数据库中查询匹配的数据;
查询到与所述查询条件匹配的数据时,
确定是否存在待查询数据库,所述待查询数据库为所述关联视图对应的除已查询到的数据所属数据库之外的剩余数据库;
若存在待查询数据库,则根据与所述查询条件匹配的数据中除所述查询条件中包含的字段之外的剩余字段生成查询请求;根据所生成的查询请求在待查询数据库中查询匹配的数据;若查询到匹配的数据,则返回所述确定是否存在待查询数据库的步骤;若未查询到匹配的数据,则将已查询到的数据输出;
若不存在待查询数据库,则将已查询到的数据输出。
举例来说,假设视图A对应数据库1、数据库2和数据库3,ES接收到针对视图A的查询请求,且查询请求中携带有查询条件“字段1的值为a1”,进而,搜索引擎可以通过与数据库1、数据库2和数据库3的JDBC连接,从数据库1、数据库2和数据库3中搜索满足“字段1的值为a1”的数据,假设在数据库1中搜索到满足“字段1的值为a1”的数据,且该数据中还包括“字段2的值为b2”,则搜索引擎可以根据“字段2的值为b2”生成对应的查询请求(该查询请求包括的查询条件为“字段2的值为b2”),并根据所生成的查询请求在待查询数据库(由于已经从数据库1中查询到匹配的数据,因此,待查询数据库为数据库2和数据库3)中搜索匹配的数据,假设在数据库2中搜索到匹配的数据,且该数据中还包括“字段3的值为c3”以及“字段4的值为d4”,则搜索引擎还可以分别根据“字段3的值为c3”以及“字段4的值为d4”生成对应的查询请求(其中一个查询请求包括的查询条件为“字段3的值为c3”,另一个查询请求包括的查询条件为“字段4的值为d4”,当然也可以一个查询请求中携带上述两个查询条件),并根据所生成的查询请求在待查询数据库(由于已经从数据库1、数据库2中查询到匹配的数据,因此,待查询数据库为数据库3)中搜索匹配的数据,假设搜索到匹配的数据,且该数据中还包括“字段5的值为e5”以及“字段6的值为f6”,由于本次查询之后,不存在待查询数据库,则搜索引擎可以输出查询结果,包括:
“字段1:a1
字段2:b2
字段3:c3
字段4:d4
字段5:e5
字段6:f6”
假设上述在数据库3中未搜索到匹配的数据,则搜索引擎可以输出查询结果,包括:
“字段1:a1
字段2:b2
字段3:c3
字段4:d4”
此外,在本发明实施例中,用户进行数据查询时还可以专门查询满足条件的数据中的部分字段。
例如,仍以上述示例为例,用户也可以专门在视图A对应的数据库1、数据库2和数据库3中查询满足条件“字段1的值为a1”的数据中的字段2和字段5,则搜索引擎接收到查询请求时,可以先按照上一示例中所描述的方式分别在数据库1、数据2和数据库3中查询匹配的数据,假设搜索引擎查询到的为:
“字段1:a1
字段2:b2
字段3:c3
字段4:d4
字段5:e5
字段6:f6”
然后,搜索引擎可以从查询到的数据筛选出所需字段,并进行输出。
在该实施例中,搜索引擎输出的查询结果可以包括:
“字段2:b2
字段5:d5”
其中,为了体现查询结果与搜索条件的关联,搜索引擎输出的查询结果中还可以包括查询条件中包括的字段的值,即搜索引擎输出的查询结果可以为:
“字段1:a1
字段2:b2
字段5:d5”
此外,当搜索引擎接收到的查询请求中未指定需要输出的字段,且未携带查询条件时,搜索引擎需要输出所选择的视图对应的多个数据库中的所有数据,其具体实现在此不做赘述。
在本发明其中一个实施例中,上述接收到针对关联视图的查询请求之前,还可以包括:
当检测到针对关联视图的选择指令时,通过与该关联视图对应的多个数据库的JDBC连接分别从该多个数据库中加载预设数量的数据至内存;
相应地,上述步骤103中,当接收到针对关联视图的查询请求时,通过与多个数据库的JDBC连接分别从该多个数据库中获取与查询请求关联的数据,可以包括:
当接收到针对关联视图的查询请求时,从内存中获取与查询请求关联的数据。
在该实施例中,用户可以根据关联视图的描述信息以及数据访问需求选择关联视图进行数据获取。
当搜索引擎检测到针对任一关联视图的选择指令时,搜索引擎可以查询该关联视图对应的JDBC连接,并通过该关联视图对应的JDBC连接分别从对应的数据库中获取预设数量(可以根据实际场景设定,如1000条)的数据,加载至内存,如加载至DataSet(内存中的数据库)。
可选地,ES通过异步加载的方式从数据库中加载数据至DataSet。
在该实施例中,用户选择关联视图之后,可以实际需求输入查询请求,以获取所需数据。
搜索引擎接收到针对关联视图的查询请求时,可以从内存中获取与查询请求关联的数据,例如,从DataSet获取与查询请求关联的数据。
需要说明的是,当搜索引擎通过异步加载的方式从数据库中加载数据到DataSet中时,搜索引擎接收到针对关联视图的查询请求时,查询请求关联的数据可能还未被加载至DataSet,因此,当搜索引擎在DataSet中未获取到与查询请求关联的数据时,搜索引擎可以通过JDBC连接从数据库中获取与查询请求关联的数据。
在本发明其中一个实施例中,搜索引擎接收到查询请求,且需要从数据库中获取数据时,可以将查询请求转化为SQL(Structured Query Language,结构查询语句)语句,并通过该SQL语句从数据库中获取对应的数据。
为了实现上述目的,搜索引擎创建对应多个数据库的关联视图时,还需要生成多个数据库间的数据关联查询语句(SQL语句)。
相应地,当搜索引擎接收到针对关联视图的查询请求时,搜索引擎可以根据所生成的多个数据库间的数据关联查询语句将该查询请求转化为对应的SQL语句,并在关联视图对应的多个数据库中分别查询匹配的数据,其具体实现将在下文中结合具体实例进行说明。
为了使本领域技术人员更好地理解本发明实施例提供的技术方案,下面结合具体实例对本发明实施例提供的技术方案进行说明。
在该实施例中,假设ES中存放有日志数据(即本地数据库中存放日志数据),数据库1为PostgreSQL(一种对象-关系数据库管理***)数据库,存放有资产表数据,数据库2为MYSQL(一种关系型数据库管理***)数据库,存放有用户表数据。其中,日志、资产表以及用户表数据的格式可以如图2A所示。
在该实施例中,数据处理流程实现如下:
1、分别建立ES与数据库1的JDBC连接(本文中称为JDBC连接1)以及建立ES与数据库2的JDBC连接(本文中称为JDBC连接2),并将JDBC连接1和JDBC连接2添加到连接池中;
其中,建立ES与数据库的JDBC连接时,需要配置包括连接名、主机名、端口号、用户名、连接类型等信息,其具体实现在此不做赘述;
2、创建对应本地数据库、数据库1以及数据库2的关联视图(假设为视图A),并生成数据源间的数据关联查询语句(SQL语句);
其中,由于日志数据与资产表数据中均包括IP字段,而资产表数据和用户表数据中均包括UserID(用户标识)字段,因此,在生成数据关联查询语句时,可以通过left join(左连接)的方式实现连接查询。
例如,通过LEFT JOIN Asset(资产表)ON Log(日志).IP=Log.IP将资产表与日志通过IP字段关联;
通过LEFT JOIN User(用户表)ON Asset.UserID=User.UserID将用户表与资产表通过用户标识字段关联;
进而,搜索引擎可以通过SQL语句“SELECT(选择)Data(数据),IP,sepc_1_pc09kdm(问题描述),AssetName(资产名),UserName(用户名),Location(位置),UserID FROM log”从本地数据库、数据库1和数据库2中获取到相互关联的“Data,IP,sepc_1_pc09 kdm,AssetName,UserName,Location,UserID”等数据;
3、当检测到针对视图A的选择指令时,将视图A关联的本地数据库、数据库1和数据库2的数据加载到DataSet;
其中,以图2A所示的数据为例,其加载到DataSet中的数据格式可以如图2B所示;
4、当接收到针对视图A的查询请求时,从DataSet中获取与查询请求关联的数据;
其中,搜索引擎接收到查询请求时,可以将查询请求转化为对应的数据关联查询语句,并根据该数据关联查询语句从DataSet获取关联数据。
例如,假设用户输入的查询请求中携带的查询条件为“UserName为张三”,则ES可以通过SQL语句(SELECT*FROM A Where UserName=‘张三’)从DataSet中获取与“UserName为张三”匹配的数据,即图2B所示的数据;其中,“SELECT*”表示需要获取与“UserName为张三”匹配的数据中的所有字段的值。
通过以上描述可以看出,在本发明实施例提供的技术方案中,通过分别建立搜索引擎与多个数据库的JDBC连接,并创建对应该多个数据库的关联视图,当接收到针对关联视图的查询请求时,通过与该多个数据库的JDBC连接分别从多个数据库中获取与查询请求关联的数据,并输出包括所获取到的数据的查询结果,实现了搜索引擎的异构查询。
以上对本发明提供的方法进行了描述。下面对本发明提供的装置进行描述:
请参见图3,为本发明实施例提供的一种数据处理装置的结构示意图,其中,该数据处理装置可以应用于上述方法实施例中的搜索引擎,如图3所示,该数据处理装置可以包括:前端视图层310、REST(Representational State Transfer,表述性状态转移)API(Application Programming Interface,应用程序编程接口)320、业务实现层330以及数据接入层340;其中:
所述数据接入层340,用于分别建立搜索引擎与多个数据库的JDBC连接;
所述前端视图层310,用于创建对应所述多个数据库的关联视图,所述关联视图中包括对应所述多个数据库的描述信息;
所述前端视图层310,还用于当接收到针对所述关联视图的查询请求时,通过所述REST API 320将所述查询请求传递给所述业务实现层330;
所述业务实现层330,用于将所述查询请求传递给所述数据接入层340;
所述数据接入层340,还用于通过与所述多个数据库的JDBC连接分别从所述多个数据库中获取与所述查询请求关联的数据,并将获取到的数据合并传输至所述业务实现层330;
所述业务实现层330,用于当接收到数据接入层340传输的数据时,按照预设数据模型进行组装,并通过REST API 320将组装后的数据传输至所述前端视图层310;
所述前端视图层310,用于展示组装后的数据。
在可选实施例中,所述查询请求中包括查询条件;所述查询条件包括指定字段以及所述指定字段的值;
相应地,所述数据接入层340,具体用于根据所述查询请求中携带的查询条件在所述多个数据库中查询匹配的数据;
查询到与所述查询条件匹配的数据时,
确定是否存在待查询数据库,所述待查询数据库为所述关联视图对应的除已查询到的数据所属数据库之外的剩余数据库;
若存在待查询数据库,则根据与所述查询条件匹配的数据中除所述查询条件中包含的字段之外的剩余字段生成查询请求;根据所生成的查询请求在待查询数据库中查询匹配的数据;若查询到匹配的数据,则返回所述确定是否存在待查询数据库的步骤;若未查询到匹配的数据,则将已查询到的数据传输至所述业务实现层330;
若不存在待查询数据库,则将已查询到的数据传输至所述业务实现层330。
在可选实施例中,所述前端视图层310,还用于将针对关联视图的选择指令通过所述REST API 320传递给所述业务实现层;
所述业务实现层330,还用于将所述针对关联视图的选择指令传递给所述数据接入层340;
所述数据接入层340,还用于通过与所述多个数据库的JDBC连接分别从所述多个数据库中获取预设数量的数据,并加载至内存;
所述数据接入层340,具体用于当接收到查询请求时,从内存中获取与所述查询请求关联的数据,并传输至所述业务实现层330。
在可选实施例中,所述业务实现层330,还用于生成对应所述关联视图的数据关联查询语句;其中,所述数据关联查询语句为结构查询语句SQL语句;
所述业务实现层330,还用于当接收到查询请求时,将所述查询请求转化为对应的数据关联查询语句,并传递给所述数据接入层340;
所述数据接入层340,具体用于根据所述数据关联查询语句通过与所述多个数据库的JDBC连接分别从所述多个数据库中获取与所述查询请求关联的数据。
在可选实施例中,所述多个数据库为异构数据库。
在本发明实施例中,为了实现搜索引擎的访问,需要先在搜索引擎上搭建一个Web容器,然后构建一个Nodejs(一种Javascript运行环境)开发的Web应用程序,该Web应用程序通过JDBC的方式与搜索引擎进行交互,查看前端视图层展示的关联视图,并进行视图选择以及数据查询。
具体地,搜索引擎可以通过数据接入层建立自身与多个数据库的JDBC连接,并通过前端视图层创建对应该多个数据库的关联视图。
用户可以通过Web应用程序查看搜索引擎的前端视图层展示的关联视图,并进行视图选择以及数据查询。
当搜索引擎的前端视图层接收到针对关联视图的查询请求时,通过调用REST API将该查询请求传递给业务实现层。
搜索引擎的业务实现层接收到该查询请求时,可以将该查询请求转发为对应的数据关联查询语句,并将该数据关联查询语句传递给数据接入层。
搜索引擎的数据接入层接收到数据关联查询语句时,根据其中携带的查询条件,通过与多个数据库的JDBC连接分别从多个数据库中查询匹配的数据,并当查询到与该查询条件匹配的数据时,根据与查询条件匹配的数据中的其它字段的值在用户选择的关联视图对应的其它数据块中查询匹配的数据,并将查询到的数据合并输出至业务实现层。
搜索引擎的业务实现层接收到数据接入层输出的数据时,按照预设数据模型进行组装,并通过REST API将组装后的数据传输至前端视图层,由前端视图层展示给用户。
图4为本公开示例提供的一种数据处理装置的硬件结构示意图。该数据处理装置可包括处理器401、存储有机器可执行指令的机器可读存储介质402。处理器401与机器可读存储介质402可经由***总线403通信。并且,通过读取并执行机器可读存储介质402中与数据处理逻辑对应的机器可执行指令,处理器401可执行上文描述的数据处理方法。
本文中提到的机器可读存储介质402可以是任何电子、磁性、光学或其它物理存储装置,可以包含或存储信息,如可执行指令、数据,等等。例如,机器可读存储介质可以是:RAM(Radom Access Memory,随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等),或者类似的存储介质,或者它们的组合。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
由上述实施例可见,通过分别建立搜索引擎与多个数据库的JDBC连接,并创建对应该多个数据库的关联视图,当接收到针对关联视图的查询请求时,通过与该多个数据库的JDBC连接分别从多个数据库中获取与查询请求关联的数据,并输出包括所获取到的数据的查询结果,实现了搜索引擎的异构查询。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种数据处理方法,其特征在于,包括:
分别建立搜索引擎与多个数据库的java数据库连接JDBC连接;
创建对应所述多个数据库的关联视图,所述关联视图中包括对应所述多个数据库的描述信息;
当接收到针对所述关联视图的查询请求时,通过与所述多个数据库的JDBC连接分别从所述多个数据库中获取与所述查询请求关联的数据,并输出包括所获取到的数据的查询结果。
2.根据权利要求1所述的方法,其特征在于,所述查询请求中携带有查询条件;所述查询条件包括指定字段以及所述指定字段的值;
所述通过与所述多个数据库的JDBC连接分别从所述多个数据库中获取与所述查询请求关联的数据,并输出包括所获取到的数据的查询结果,包括:
根据所述查询请求中携带的查询条件在所述多个数据库中查询匹配的数据;
查询到与所述查询条件匹配的数据时,
确定是否存在待查询数据库,所述待查询数据库为所述关联视图对应的除已查询到的数据所属数据库之外的剩余数据库;
若存在待查询数据库,则根据与所述查询条件匹配的数据中除所述查询条件中包含的字段之外的剩余字段生成查询请求;根据所生成的查询请求在待查询数据库中查询匹配的数据;若查询到匹配的数据,则返回所述确定是否存在待查询数据库的步骤;若未查询到匹配的数据,则将已查询到的数据输出;
若不存在待查询数据库,则将已查询到的数据输出。
3.根据权利要求1或2所述的方法,其特征在于,所述接收到针对所述关联视图的查询请求之前,还包括:
当检测到针对所述关联视图的选择指令时,通过与所述多个数据库的JDBC连接分别从所述多个数据库中加载预设数量的数据至内存;
所述当接收到针对所述关联视图的查询请求时,通过与所述多个数据库的JDBC连接分别从所述多个数据库中获取与所述查询请求关联的数据,包括:
当接收到针对所述关联视图的查询请求时,从内存中获取与所述查询请求关联的数据。
4.根据权利要求1或2所述的方法,其特征在于,所述针对接收到所述关联视图的查询请求之前,还包括:
生成对应所述关联视图的数据关联查询语句;其中,所述数据关联查询语句为结构查询语句SQL语句;
所述当接收到针对所述关联视图的查询请求时,通过与所述多个数据库的JDBC连接分别从所述多个数据库中获取与所述查询请求关联的数据,包括:
当接收到针对所述关联视图的查询请求时,将所述查询请求转化为对应的数据关联查询语句,并根据该数据关联查询语句通过与所述多个数据库的JDBC连接分别从所述多个数据库中获取与所述查询请求关联的数据。
5.根据权利要求1或2所述的方法,其特征在于,所述多个数据库为异构数据库。
6.一种数据处理装置,其特征在于,包括前端视图层、表述性状态转移REST应用程序编程接口API、业务实现层以及数据接入层:其中:
所述数据接入层,用于分别建立搜索引擎与多个数据库的java数据库连接JDBC连接;
所述前端视图层,用于创建对应所述多个数据库的关联视图,所述关联视图中包括对应所述多个数据库的描述信息;
所述前端视图层,还用于当接收到针对所述关联视图的查询请求时,通过所述RESTAPI将所述查询请求传递给所述业务实现层;
所述业务实现层,用于将所述查询请求传递给所述数据接入层;
所述数据接入层,还用于通过与所述多个数据库的JDBC连接分别从所述多个数据库中获取与所述查询请求关联的数据,并将获取到的数据合并传输至所述业务实现层;
所述业务实现层,用于当接收到数据接入层传输的数据时,按照预设数据模型进行组装,并通过REST API将组装后的数据传输至所述前端视图层;
所述前端视图层,用于展示组装后的数据。
7.根据权利要求6所述的装置,其特征在于,所述查询请求中包括查询条件;所述查询条件包括指定字段以及所述指定字段的值;
所述数据接入层,具体用于根据所述查询请求中携带的查询条件在所述多个数据库中查询匹配的数据;
查询到与所述查询条件匹配的数据时,
确定是否存在待查询数据库,所述待查询数据库为所述关联视图对应的除已查询到的数据所属数据库之外的剩余数据库;
若存在待查询数据库,则根据与所述查询条件匹配的数据中除所述查询条件中包含的字段之外的剩余字段生成查询请求;根据所生成的查询请求在待查询数据库中查询匹配的数据;若查询到匹配的数据,则返回所述确定是否存在待查询数据库的步骤;若未查询到匹配的数据,则将已查询到的数据传输至所述业务实现层;
若不存在待查询数据库,则将已查询到的数据传输至所述业务实现层。
8.根据权利要求6或7所述的装置,其特征在于,
所述前端视图层,还用于将针对关联视图的选择指令通过所述REST API传递给所述业务实现层;
所述业务实现层,还用于将所述针对关联视图的选择指令传递给所述数据接入层;
所述数据接入层,还用于通过与所述多个数据库的JDBC连接分别从所述多个数据库中获取预设数量的数据,并加载至内存;
所述数据接入层,具体用于当接收到查询请求时,从内存中获取与所述查询请求关联的数据,并传输至所述业务实现层。
9.根据权利要求6或7所述的装置,其特征在于,
所述业务实现层,还用于生成对应所述关联视图的数据关联查询语句;其中,所述数据关联查询语句为结构查询语句SQL语句;
所述业务实现层,还用于当接收到查询请求时,将所述查询请求转化为对应的数据关联查询语句,并传递给所述数据接入层;
所述数据接入层,具体用于根据所述数据关联查询语句通过与所述多个数据库的JDBC连接分别从所述多个数据库中获取与所述查询请求关联的数据。
10.根据权利要求6或7所述的装置,其特征在于,所述多个数据库为异构数据库。
CN201711387932.6A 2017-12-20 2017-12-20 一种数据处理方法及装置 Active CN108255955B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711387932.6A CN108255955B (zh) 2017-12-20 2017-12-20 一种数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711387932.6A CN108255955B (zh) 2017-12-20 2017-12-20 一种数据处理方法及装置

Publications (2)

Publication Number Publication Date
CN108255955A true CN108255955A (zh) 2018-07-06
CN108255955B CN108255955B (zh) 2020-01-03

Family

ID=62722716

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711387932.6A Active CN108255955B (zh) 2017-12-20 2017-12-20 一种数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN108255955B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110674163A (zh) * 2019-08-26 2020-01-10 天津浪淘科技股份有限公司 一种基于bs构架的异构数据查询***及其方法
CN112988758A (zh) * 2021-04-26 2021-06-18 北京芯愿景软件技术股份有限公司 目标对象定位方法、装置、电子设备和存储介质
CN113722600A (zh) * 2021-09-06 2021-11-30 阿波罗智联(北京)科技有限公司 应用于大数据的数据查询方法、装置、设备及产品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080016047A1 (en) * 2006-07-12 2008-01-17 Dettinger Richard D System and method for creating and populating dynamic, just in time, database tables
CN103942234A (zh) * 2013-01-21 2014-07-23 中国电信股份有限公司 对多个异构数据库操作的方法、中间件装置及***
CN104008135A (zh) * 2014-05-07 2014-08-27 南京邮电大学 一种多源异构数据库融合***及其数据查询方法
CN105868411A (zh) * 2016-04-27 2016-08-17 国网上海市电力公司 一种非关系型与关系型数据库一体化数据查询方法与***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080016047A1 (en) * 2006-07-12 2008-01-17 Dettinger Richard D System and method for creating and populating dynamic, just in time, database tables
CN103942234A (zh) * 2013-01-21 2014-07-23 中国电信股份有限公司 对多个异构数据库操作的方法、中间件装置及***
CN104008135A (zh) * 2014-05-07 2014-08-27 南京邮电大学 一种多源异构数据库融合***及其数据查询方法
CN105868411A (zh) * 2016-04-27 2016-08-17 国网上海市电力公司 一种非关系型与关系型数据库一体化数据查询方法与***

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110674163A (zh) * 2019-08-26 2020-01-10 天津浪淘科技股份有限公司 一种基于bs构架的异构数据查询***及其方法
CN112988758A (zh) * 2021-04-26 2021-06-18 北京芯愿景软件技术股份有限公司 目标对象定位方法、装置、电子设备和存储介质
CN112988758B (zh) * 2021-04-26 2021-08-10 北京芯愿景软件技术股份有限公司 目标对象定位方法、装置、电子设备和存储介质
CN113722600A (zh) * 2021-09-06 2021-11-30 阿波罗智联(北京)科技有限公司 应用于大数据的数据查询方法、装置、设备及产品
CN113722600B (zh) * 2021-09-06 2024-04-26 阿波罗智联(北京)科技有限公司 应用于大数据的数据查询方法、装置、设备及产品

Also Published As

Publication number Publication date
CN108255955B (zh) 2020-01-03

Similar Documents

Publication Publication Date Title
CN109145205B (zh) 一种基于区块链的跨链数据操作方法和装置
CN109167811B (zh) 一种基于区块链的跨链数据访问方法和装置
CN105224466B (zh) 一种基于Docker的集成测试方法及***
CN106649630A (zh) 数据查询方法及装置
CN101223522B (zh) 调用表值函数的查询的有效评估***和方法
CN103988200B (zh) 用于web应用的轻量化框架
CN109669709A (zh) 一种区块链升级的数据迁移方法及数据迁移***
CN108255955A (zh) 一种数据处理方法及装置
US9547541B2 (en) Interfacing between a caller application and a service module
US8812492B2 (en) Automatic and dynamic design of cache groups
CN106572054A (zh) 分布式***中分布式锁服务实现方法以及装置
CN104050225B (zh) 数据库模式映射中的视图变量
CN107277086A (zh) 业务处理***、业务处理方法以及业务更新方法
CN104239508B (zh) 数据查询方法和装置
CN109257352A (zh) 数据包解析方法、装置、电子设备和存储介质
CN102385617B (zh) 动态域查询及查询转换
CN107766393A (zh) 基于数据库的信息处理方法、客户端及服务器
US8539001B1 (en) Determining the value of an association between ontologies
CN110019234A (zh) 用于分片存储数据的方法和***
CN104462488A (zh) 数据库的高可用解决方法和装置
CN104050264A (zh) 一种生成sql语句的方法和装置
US20080082516A1 (en) System for and method of searching distributed data base, and information management device
Helland Identity by any other name
CN110134867A (zh) 企业信息查询方法及相关产品
CN106940715B (zh) 一种基于索引表的查询的方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant