CN111695001A - 一种大数据场景下的混合数据管理*** - Google Patents

一种大数据场景下的混合数据管理*** Download PDF

Info

Publication number
CN111695001A
CN111695001A CN202010555434.3A CN202010555434A CN111695001A CN 111695001 A CN111695001 A CN 111695001A CN 202010555434 A CN202010555434 A CN 202010555434A CN 111695001 A CN111695001 A CN 111695001A
Authority
CN
China
Prior art keywords
data
mixed
engine
big data
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010555434.3A
Other languages
English (en)
Other versions
CN111695001B (zh
Inventor
杨紫胜
陈思恩
廖雅哲
吴炎泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tech Valley Xiamen Information Technology Co ltd
Original Assignee
Tech Valley Xiamen Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tech Valley Xiamen Information Technology Co ltd filed Critical Tech Valley Xiamen Information Technology Co ltd
Priority to CN202010555434.3A priority Critical patent/CN111695001B/zh
Publication of CN111695001A publication Critical patent/CN111695001A/zh
Application granted granted Critical
Publication of CN111695001B publication Critical patent/CN111695001B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/90335—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种大数据场景下的混合数据管理***，包括：数据层，其包括大数据平台、混合数据***及接口网关，所述大数据平台通过接口网关与混合数据***进行数据交互，所述大数据平台具有一内置检索引擎，所述内置检索引擎用于实现对文本的检索，所述大数据平台包括Hbase数据库、Hive数据库及HDFS文件***，所述混合数据***包括关系型数据库、FTP文件***、NFS网络文件***及数据仓库；索引层，其具有一混合数据引擎，所述混合数据引擎作为外置的全文检索引擎，用于实现数据的索引；服务层，其用于执行数据的查询、检索。

Description

一种大数据场景下的混合数据管理***
技术领域
本发明涉及数据处理技术领域，特别涉及一种大数据场景下的混合数据管理***。
背景技术
大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
对于商用数据而言，往往是多种类型并存的混合数据，其具有信息量大、类型多样以及处理复杂(不容易实现统一管理和检索)的特点，利用传统的商用大数据平台难以实现高效的查询检索。
发明内容
为解决上述问题，本发明提供了一种大数据场景下的混合数据管理***。
本发明采用以下技术方案：
一种大数据场景下的混合数据管理***，包括：
数据层，其包括大数据平台、混合数据***及接口网关，所述大数据平台通过接口网关与混合数据***进行数据交互，所述大数据平台具有一内置检索引擎，所述内置检索引擎用于实现对文本的检索，所述大数据平台包括Hbase数据库、Hive数据库及HDFS文件***，所述混合数据***包括关系型数据库、FTP文件***、NFS网络文件***及数据仓库；
索引层，其具有一混合数据引擎，所述混合数据引擎作为外置的全文检索引擎，用于实现数据的索引；
服务层，其用于执行数据的查询、检索。
优选地，所述混合数据引擎包括结构化数据存储引擎、非结构化数据存储引擎以及索引单元。
优选地，所述索引单元包括Hash索引模块、B+索引模块、层次索引模块、高维索引模块和倒排索引模块。
优选地，所述接口网关基于彼此独立的内置检索引擎和混合数据引擎，利用一触发器实现数据在大数据平台和混合数据***的同步。
优选地，所述服务层包括查询执行模块、全文检索模块、权限控制模块及智能分析模块。
采用上述技术方案后，本发明与背景技术相比，具有如下优点：
本发明设置有内置检索引擎和混合数据引擎，并通过接口网关实现大数据平台和混合数据***之间的数据同步，进而实现数据的高效查询检索。
附图说明
图1为本发明的***框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例
本发明公开了一种大数据场景下的混合数据管理***，包括数据层、索引层及服务层，其中：
数据层包括大数据平台、混合数据***及接口网关，大数据平台通过接口网关与混合数据***进行数据交互，大数据平台具有一内置检索引擎，内置检索引擎用于实现对文本的检索，大数据平台包括Hbase数据库、Hive数据库及HDFS文件***，混合数据***包括关系型数据库、FTP文件***、NFS网络文件***及数据仓库。混合数据引擎包括结构化数据存储引擎、非结构化数据存储引擎以及索引单元。索引单元包括Hash索引模块、B+索引模块、层次索引模块、高维索引模块和倒排索引模块。
索引层具有一混合数据引擎，混合数据引擎作为外置的全文检索引擎，用于实现数据的索引。接口网关基于彼此独立的内置检索引擎和混合数据引擎，利用一触发器实现数据在大数据平台和混合数据***的同步。
服务层用于执行数据的查询、检索，其包括查询执行模块、全文检索模块、权限控制模块及智能分析模块。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (5)

1.一种大数据场景下的混合数据管理***，其特征在于，包括：
数据层，其包括大数据平台、混合数据***及接口网关，所述大数据平台通过接口网关与混合数据***进行数据交互，所述大数据平台具有一内置检索引擎，所述内置检索引擎用于实现对文本的检索，所述大数据平台包括Hbase数据库、Hive数据库及HDFS文件***，所述混合数据***包括关系型数据库、FTP文件***、NFS网络文件***及数据仓库；
索引层，其具有一混合数据引擎，所述混合数据引擎作为外置的全文检索引擎，用于实现数据的索引；
服务层，其用于执行数据的查询、检索。
2.如权利要求1所述的一种大数据场景下的混合数据管理***，其特征在于：所述混合数据引擎包括结构化数据存储引擎、非结构化数据存储引擎以及索引单元。
3.如权利要求2所述的一种大数据场景下的混合数据管理***，其特征在于：所述索引单元包括Hash索引模块、B+索引模块、层次索引模块、高维索引模块和倒排索引模块。
4.如权利要求3所述的一种大数据场景下的混合数据管理***，其特征在于：所述接口网关基于彼此独立的内置检索引擎和混合数据引擎，利用一触发器实现数据在大数据平台和混合数据***的同步。
5.如权利要求4所述的一种大数据场景下的混合数据管理***，其特征在于：所述服务层包括查询执行模块、全文检索模块、权限控制模块及智能分析模块。
CN202010555434.3A 2020-06-17 2020-06-17 一种大数据场景下的混合数据管理*** Active CN111695001B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010555434.3A CN111695001B (zh) 2020-06-17 2020-06-17 一种大数据场景下的混合数据管理***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010555434.3A CN111695001B (zh) 2020-06-17 2020-06-17 一种大数据场景下的混合数据管理***

Publications (2)

Publication Number Publication Date
CN111695001A true CN111695001A (zh) 2020-09-22
CN111695001B CN111695001B (zh) 2023-05-30

Family

ID=72481862

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010555434.3A Active CN111695001B (zh) 2020-06-17 2020-06-17 一种大数据场景下的混合数据管理***

Country Status (1)

Country Link
CN (1) CN111695001B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112965987A (zh) * 2021-03-31 2021-06-15 华申数科(北京)信息科技有限责任公司 一种数字新治理业务的带权限高效模糊检索的方法及应用

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5870739A (en) * 1996-09-20 1999-02-09 Novell, Inc. Hybrid query apparatus and method
CN1987853A (zh) * 2005-12-23 2007-06-27 北大方正集团有限公司 关系型数据库与全文检索相结合的检索方法
CN101477568A (zh) * 2009-02-12 2009-07-08 清华大学 一种结构化数据和非结构化数据综合检索的方法
CN105069101A (zh) * 2015-08-07 2015-11-18 桂林电子科技大学 分布式索引构建及检索方法
CN105335479A (zh) * 2015-10-12 2016-02-17 国家计算机网络与信息安全管理中心 一种基于sql的文本数据统计实现方法
CN108959538A (zh) * 2018-06-29 2018-12-07 新华三大数据技术有限公司 全文检索***及方法
CN109902150A (zh) * 2019-02-25 2019-06-18 南京庚商网络信息技术有限公司 非结构化数字资源全文检索方法及***
KR102067032B1 (ko) * 2019-08-28 2020-01-15 주식회사 엣지온 하이브리드 빅데이터 시스템 기반 데이터 처리 방법 및 시스템

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5870739A (en) * 1996-09-20 1999-02-09 Novell, Inc. Hybrid query apparatus and method
CN1987853A (zh) * 2005-12-23 2007-06-27 北大方正集团有限公司 关系型数据库与全文检索相结合的检索方法
CN101477568A (zh) * 2009-02-12 2009-07-08 清华大学 一种结构化数据和非结构化数据综合检索的方法
CN105069101A (zh) * 2015-08-07 2015-11-18 桂林电子科技大学 分布式索引构建及检索方法
CN105335479A (zh) * 2015-10-12 2016-02-17 国家计算机网络与信息安全管理中心 一种基于sql的文本数据统计实现方法
CN108959538A (zh) * 2018-06-29 2018-12-07 新华三大数据技术有限公司 全文检索***及方法
CN109902150A (zh) * 2019-02-25 2019-06-18 南京庚商网络信息技术有限公司 非结构化数字资源全文检索方法及***
KR102067032B1 (ko) * 2019-08-28 2020-01-15 주식회사 엣지온 하이브리드 빅데이터 시스템 기반 데이터 처리 방법 및 시스템

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
毛楚祥，郑益: "混合数据管理引擎", 《情报资料工作》 *
毛楚祥，郑益: "混合数据管理引擎", 《情报资料工作》, 28 February 2011 (2011-02-28), pages 65 - 67 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112965987A (zh) * 2021-03-31 2021-06-15 华申数科(北京)信息科技有限责任公司 一种数字新治理业务的带权限高效模糊检索的方法及应用

Also Published As

Publication number Publication date
CN111695001B (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
Qin et al. When things matter: A survey on data-centric internet of things
CN105045820B (zh) 一种处理海量级数据的视频图像信息的方法及数据库***
CN105554070A (zh) 一种基于警务大数据中心服务建设的方法
Han et al. Hgrid: A data model for large geospatial data sets in hbase
Ma et al. KSQ: Top-k similarity query on uncertain trajectories
CN104239377A (zh) 跨平台的数据检索方法及装置
CN104391908B (zh) 一种图上基于局部敏感哈希的多关键字索引方法
Li et al. Efficient subspace skyline query based on user preference using MapReduce
CN116166191A (zh) 湖仓一体***
CN111695001B (zh) 一种大数据场景下的混合数据管理***
CN109542828A (zh) 一种电力大数据实验平台
CN116383335A (zh) 一种面向多源异构电力数据集的集成方法及***
CN111737655A (zh) 一种云管理平台的用户权限管理方法、***及存储介质
Yu et al. A police big data analytics platform: framework and implications
Zhang et al. Storing and querying semi-structured spatio-temporal data in hbase
Hua et al. H-TDMS: a system for traffic Big Data management
Li et al. An effective spatio-temporal query framework for massive trajectory data in urban computing
Badarneh et al. A survey on indexing techniques for mobility in Internet of Things': Challenges, performances, and perspectives
Jang et al. k‐nearest reliable neighbor search in crowdsourced LBSs
Ayeelyan et al. DTNH Indexing Method: Past Present and Future Data Prediction for Spatio-Temporal Data.
CN104750709A (zh) 一种语义检索方法及***
Hashem et al. A review of modeling toolbox for BigData
CN111104416A (zh) 一种分布式电力数据管理***
Li Construction of the collection retrieval system of intelligent library based on cloud computing
Zhou et al. Effective approach for an extended p-skyline query

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant