CN110134728B - 一种基于全文搜索提供地图空间数据的方法及*** - Google Patents
一种基于全文搜索提供地图空间数据的方法及*** Download PDFInfo
- Publication number
- CN110134728B CN110134728B CN201910384467.3A CN201910384467A CN110134728B CN 110134728 B CN110134728 B CN 110134728B CN 201910384467 A CN201910384467 A CN 201910384467A CN 110134728 B CN110134728 B CN 110134728B
- Authority
- CN
- China
- Prior art keywords
- data
- interface
- text search
- full
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000008676 import Effects 0.000 claims abstract description 33
- 238000013507 mapping Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 abstract description 6
- 238000012545 processing Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2457—Query processing with adaptation to user needs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Computational Linguistics (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了一种基于全文搜索提供地图空间数据的方法及***，属于数据搜索领域，本发明要解决的技术问题为信息化建设过程中，如何在多数据源异构数据的情况下快速高效的查询数据，技术方案为：该方法是基于全文搜索服务器solr为移动端app和pc端提供可定制参数的显示企业位置的restful接口及webservice接口或者高速服务接口；步骤如下：S1、构建导入模板；S2、配置全文搜索服务器solr导入任务；S3、用户自定义查询参数；S4、用户根据需要选择生成restful接口及webservice接口或者高速服务接口。该***包括数据导入模块、全文搜索服务器solr、自定义参数模块以及接口生成模块，数据导入模块传输数据到全文搜索服务器solr，全文搜索服务器solr和自定义参数模块分别传输数据接口生成模块。
Description
技术领域
本发明涉及数据搜索领域，具体地说是一种基于全文搜索提供地图空间数据的方法及***。
背景技术
在地图上就近显示企业位置传统研发方法通过***后台算法，每条数据和当前经纬度对比，根据对比结果升序或者降序返回对比结果。数据量小的情况下查询效率还可以，随着数据量的增多，查询效率越来越慢，数据量达到百万级别相应时间大约是七八秒钟，严重影响客户体验。故信息化建设过程中，如何在多数据源异构数据的情况下快速高效的查询数据是目前现有技术中存在的技术问题。
专利号为CN105468720A的专利文献公开了集成分布式数据处理***的方法、相应***及其数据处理方法。所述集成方法包括：搭建分布式***基础架构Hadoop集群；在所述Hadoop集群上建立分布式数据库Hbase、全文搜索服务器Solr以及分布式实时计算***Storm，获得分布式数据处理***的总架构；在所述总架构的数据访问层上，设置第一配置文件和第二配置文件，以提供统一的数据访问接口，集成分布式数据处理***。但是该技术方案信息化建设过程中，在多数据源异构数据的情况下不能快速高效的完成数据查询。
专利号为CN106708996A的专利文献公开了一种用于对关系数据库进行全文搜索的方法及***。该方法包括：将关系数据库的数据导入到非关系型数据库与索引服务器中；封装所述关系数据库的所述数据，生成索引请求；以及将所述索引请求按照预定Mapping存储结构索引到所述索引服务器中，所述预定Mapping存储结构包括：分词域、不分词域以及info域。但是该技术方案信息化建设过程中，在多数据源异构数据的情况下不能快速高效的完成数据查询。
发明内容
本发明的技术任务是提供一种基于全文搜索提供地图空间数据的方法及***，来解决信息化建设过程中，如何在多数据源异构数据的情况下快速高效的查询数据的问题。
本发明的技术任务是按以下方式实现的，一种基于全文搜索提供地图空间数据的方法，该方法是基于全文搜索服务器solr为移动端app和pc端提供可定制参数的显示企业位置的restful接口及webservice接口或者高速服务接口；具体步骤如下：
S1、构建导入模板：用户自定义多数据源异构数据导入模板，将数据导入到全文搜索服务器solr中；
S2、配置全文搜索服务器solr导入任务；
S3、用户自定义查询参数；
S4、用户根据需要选择生成restful接口及webservice接口或者高速服务接口。
作为优选，所述步骤S1中构建导入模板的具体步骤如下：
S101、配置源数据库信息：对多数据源进行整合，将整合的数据配置到一个档案中；
S102、定制导入的字段：将导入的字段和全文搜索服务器solr变量进行映射和对应。
作为优选，所述步骤S2中配置全文搜索服务器solr导入任务时根据需要定时导入或手动导入任务，实时监控导入任务的情况并提供报错日志查询。
更优地，所述步骤S3中用户自定义查询参数具体是基于档案，用户根据需要定义参数信息且设置各个参数信息之间级联关系，若参数信息与经纬度相关，则采用的参数类型为location；其中，参数信息包括参数个数、参数类型、参数名称以及参数是否必填。
更优地，所述步骤S4中restful接口及webservice接口或者高速服务接口分别基于solr的geodist()方法和spatial函数生成，为用户提供空间搜索接口。
更优地，所述源数据包括关系型数据库和非关系型数据库。
更优地，所述关系型数据库包括Oracle、Mysql和DB2；非关系型数据库采用MongoDB。
一种基于全文搜索提供地图空间数据的***，该***包括数据导入模块、全文搜索服务器solr、自定义参数模块以及接口生成模块，数据导入模块传输数据到全文搜索服务器solr，全文搜索服务器solr和自定义参数模块分别传输数据接口生成模块。
作为优选，所述数据导入模块用于根据用户自定义的多数据源异构数据导入模板将数据导入到全文搜索服务器solr中；
全文搜索服务器solr用于接收并存储数据导入模块导入的数据；
自定义参数模块用于根据用户需要定义参数个数、参数类型、参数名称、参数是否必填的信息且参数之间设置级联关系；
接口生成模块用于根据用户需要选择生成restful接口及webservice接口或者高速服务接口，restful接口及webservice接口或者高速服务接口分别基于solr的geodist()方法和spatial函数生成，为用户提供空间搜索接口。
更优地，所述源数据包括关系型数据库和非关系型数据库。
本发明的基于全文搜索提供地图空间数据的方法及***具有以下优点：
(一)、本发明主要应用于地图上根据当前经纬度快速高效查询企业数据，在信息化建设过程中，在多数据源异构数据的情况下快速高效的查询数据；
(二)、本发明极大的提高了查询效率，千万级的数据查询时间在毫秒级别；
(三)、本发明减轻了数据库和服务器的负载压力，节省了设备费用；本发明已经在沈阳食药监移动app应用中得到了应用；
(四)、本发明根据用户定制接口，快速高效的返回地图空间信息，比如根据当前经纬度信息就近显示数据等；同时本发明还可以外延扩充功能，不仅仅是返回地图空间信息，任何受限于数据库和程序性能的查询都可以使用本发明的技术方案。
附图说明
下面结合附图对本发明进一步说明。
附图1为基于全文搜索提供地图空间数据的方法流程框图；
附图2为基于全文搜索提供地图空间数据的***的结构框图。
具体实施方式
参照说明书附图和具体实施例对本发明的一种基于全文搜索提供地图空间数据的方法及***作以下详细地说明。
实施例1：
如附图1所示，本发明的基于全文搜索提供地图空间数据的方法,该方法是基于全文搜索服务器solr为移动端app和pc端提供可定制参数的显示企业位置的restful接口及webservice接口或者高速服务接口；具体步骤如下：
S1、构建导入模板：用户自定义多数据源异构数据导入模板，将数据导入到全文搜索服务器solr中，具体步骤如下：其中，源数据包括关系型数据库和非关系型数据库；关系型数据库包括Oracle、Mysql和DB2；非关系型数据库采用MongoDB；
S101、配置源数据库信息：对多数据源进行整合，将整合的数据配置到一个档案中；
S102、定制导入的字段：将导入的字段和全文搜索服务器solr变量进行映射和对应。
S2、配置全文搜索服务器solr导入任务：根据需要定时导入或手动导入任务，实时监控导入任务的情况并提供报错日志查询；
S3、用户自定义查询参数：基于档案，用户根据需要定义参数信息且设置各个参数信息之间级联关系，若参数信息与经纬度相关，则采用的参数类型为location；其中，参数信息包括参数个数、参数类型、参数名称以及参数是否必填；
S4、用户根据需要选择生成restful接口及webservice接口或者高速服务接口；restful接口及webservice接口或者高速服务接口分别基于solr的geodist()方法和spatial函数生成，为用户提供空间搜索接口。
实施例2：
如附图2所示，本发明的基于全文搜索提供地图空间数据的***，该***包括数据导入模块、全文搜索服务器solr、自定义参数模块以及接口生成模块，数据导入模块传输数据到全文搜索服务器solr，全文搜索服务器solr和自定义参数模块分别传输数据接口生成模块；
其中，数据导入模块用于根据用户自定义的多数据源异构数据导入模板将数据导入到全文搜索服务器solr中；源数据包括关系型数据库和非关系型数据库，关系型数据库包括Oracle、Mysql和DB2，非关系型数据库采用MongoDB；
全文搜索服务器solr用于接收并存储数据导入模块导入的数据；
自定义参数模块用于根据用户需要定义参数个数、参数类型、参数名称、参数是否必填的信息且参数之间设置级联关系；
接口生成模块用于根据用户需要选择生成restful接口及webservice接口或者高速服务接口，restful接口及webservice接口或者高速服务接口分别基于solr的geodist()方法和spatial函数生成，为用户提供空间搜索接口。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (6)
1.一种基于全文搜索提供地图空间数据的方法，其特征在于，该方法是基于全文搜索服务器solr为移动端app和pc端提供可定制参数的显示企业位置的restful接口及webservice接口或者高速服务接口；具体步骤如下：
S1、构建导入模板：用户自定义多数据源异构数据导入模板，将数据导入到全文搜索服务器solr中；
S2、配置全文搜索服务器solr导入任务；
S3、用户自定义查询参数：基于档案，用户根据需要定义参数信息且设置各个参数信息之间级联关系，若参数信息与经纬度相关，则采用的参数类型为location；其中，参数信息包括参数个数、参数类型、参数名称以及参数是否必填；
S4、用户根据需要选择生成restful接口及webservice接口或者高速服务接口；其中，restful接口及webservice接口或者高速服务接口分别基于solr的geodist()方法和spatial函数生成，为用户提供空间搜索接口。
2.根据权利要求1所述的基于全文搜索提供地图空间数据的方法，其特征在于，所述步骤S1中构建导入模板的具体步骤如下：
S101、配置源数据库信息：对多数据源进行整合，将整合的数据配置到一个档案中；
S102、定制导入的字段：将导入的字段和全文搜索服务器solr变量进行映射和对应。
3.根据权利要求1或2所述的基于全文搜索提供地图空间数据的方法，其特征在于，所述步骤S2中配置全文搜索服务器solr导入任务时根据需要定时导入或手动导入任务，实时监控导入任务的情况并提供报错日志查询。
4.根据权利要求3所述的基于全文搜索提供地图空间数据的方法，其特征在于，源数据库包括关系型数据库和非关系型数据库。
5.根据权利要求4所述的基于全文搜索提供地图空间数据的方法，其特征在于，所述关系型数据库包括Oracle、Mysql和DB2；非关系型数据库采用MongoDB。
6.一种基于全文搜索提供地图空间数据的***，其特征在于，该***包括数据导入模块、全文搜索服务器solr、自定义参数模块以及接口生成模块，数据导入模块传输数据到全文搜索服务器solr，全文搜索服务器solr和自定义参数模块分别传输数据接口生成模块；
其中，数据导入模块用于根据用户自定义的多数据源异构数据导入模板将数据导入到全文搜索服务器solr中；
全文搜索服务器solr用于接收并存储数据导入模块导入的数据；
自定义参数模块用于根据用户需要定义参数个数、参数类型、参数名称、参数是否必填的信息且参数之间设置级联关系；
接口生成模块用于根据用户需要选择生成restful接口及webservice接口或者高速服务接口，restful接口及webservice接口或者高速服务接口分别基于solr的geodist()方法和spatial函数生成，为用户提供空间搜索接口。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910384467.3A CN110134728B (zh) | 2019-05-09 | 2019-05-09 | 一种基于全文搜索提供地图空间数据的方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910384467.3A CN110134728B (zh) | 2019-05-09 | 2019-05-09 | 一种基于全文搜索提供地图空间数据的方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110134728A CN110134728A (zh) | 2019-08-16 |
| CN110134728B true CN110134728B (zh) | 2023-02-14 |
Family
ID=67576835
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910384467.3A Active CN110134728B (zh) | 2019-05-09 | 2019-05-09 | 一种基于全文搜索提供地图空间数据的方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110134728B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110879857B (zh) * | 2019-11-27 | 2023-11-07 | 苏交科集团股份有限公司 | 一种隧道运维数据分析方法和*** |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106713332A (zh) * | 2016-12-30 | 2017-05-24 | 山石网科通信技术有限公司 | 网络数据的处理方法、装置和*** |
| CN106708996A (zh) * | 2016-12-19 | 2017-05-24 | 北京天广汇通科技有限公司 | 用于对关系数据库进行全文搜索的方法及*** |
| WO2018176139A1 (en) * | 2017-03-28 | 2018-10-04 | Open Text Sa Ulc | Integration services systems, methods and computer program products for ecm-independent etl tools |
-
2019
- 2019-05-09 CN CN201910384467.3A patent/CN110134728B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106708996A (zh) * | 2016-12-19 | 2017-05-24 | 北京天广汇通科技有限公司 | 用于对关系数据库进行全文搜索的方法及*** |
| CN106713332A (zh) * | 2016-12-30 | 2017-05-24 | 山石网科通信技术有限公司 | 网络数据的处理方法、装置和*** |
| WO2018176139A1 (en) * | 2017-03-28 | 2018-10-04 | Open Text Sa Ulc | Integration services systems, methods and computer program products for ecm-independent etl tools |
Non-Patent Citations (1)
| Title |
|---|
| Solr在乐龄易购网站中的应用;蔡宇晶等;《铁路计算机应用》;20161025(第10期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110134728A (zh) | 2019-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11249969B2 (en) | Data storage method and apparatus, and storage medium | |
| US7392247B2 (en) | Method and apparatus for fusing context data | |
| EP3479337A1 (en) | Vehicle data aggregation and analysis platform providing dealership service provider dashboard | |
| CN107229718B (zh) | 处理报表数据的方法和装置 | |
| CN104123374A (zh) | 分布式数据库中聚合查询的方法及装置 | |
| US11422881B2 (en) | System and method for automatic root cause analysis and automatic generation of key metrics in a multidimensional database environment | |
| CN113515545A (zh) | 数据查询方法、装置、***、电子设备以及存储介质 | |
| CN111949831A (zh) | 一种图形数据库建立方法和装置、可读存储介质 | |
| CN110706125A (zh) | 水利大数据分析信息服务***和平台服务*** | |
| CN115344207A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN110134728B (zh) | 一种基于全文搜索提供地图空间数据的方法及*** | |
| CN116680315A (zh) | 数据离线处理方法、装置、电子设备及存储介质 | |
| CN112650777A (zh) | 数据仓库的制作方法、装置、终端设备及计算机存储介质 | |
| CN105183582A (zh) | 数据备份方法及装置 | |
| US10182307B2 (en) | System for providing location-based social networking services to users of mobile devices | |
| CN112506887A (zh) | 车辆终端can总线数据处理方法及装置 | |
| CN106937240B (zh) | 一种获取资源的方法和装置 | |
| Antunes et al. | Semantic-based publish/subscribe for M2M | |
| WO2023049403A1 (en) | Dynamically and selectively updated spreadsheets based on knowledge monitoring and natural language processing | |
| CN115017185A (zh) | 一种数据处理方法、装置及存储介质 | |
| US20190098442A1 (en) | Method of operating a device, the device shown carrying out the method, and a system including the deice and a server in a system providing location-based social networking services to users of mobile devices | |
| CN112749236A (zh) | 数据仓库的数据维护方法 | |
| CN111797166A (zh) | 准实时简历数据同步方法和装置、电子设备及介质 | |
| US20220075764A1 (en) | Comparison of database data | |
| CN117827817A (zh) | 资源信息的数据处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |