CN109240599A - 一种大数据储存***集成 - Google Patents

一种大数据储存***集成 Download PDF

Info

Publication number
CN109240599A
CN109240599A CN201810769163.4A CN201810769163A CN109240599A CN 109240599 A CN109240599 A CN 109240599A CN 201810769163 A CN201810769163 A CN 201810769163A CN 109240599 A CN109240599 A CN 109240599A
Authority
CN
China
Prior art keywords
module
data
metadata
library
read
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810769163.4A
Other languages
English (en)
Inventor
陆琴
陶玲
曹义祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Xinerlian Information Technology Co Ltd
Original Assignee
Anhui Xinerlian Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Xinerlian Information Technology Co Ltd filed Critical Anhui Xinerlian Information Technology Co Ltd
Priority to CN201810769163.4A priority Critical patent/CN109240599A/zh
Publication of CN109240599A publication Critical patent/CN109240599A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种大数据储存***集成，包括用户登录单元、加密单元与服务器单元，用户登录单元包括有密码录入模块与账户录入模块，加密单元包括有密码验证模块、账户验证模块、错误记录模块、验证码模块与验证码检测单元，服务器单元包括有账户数据库模块、密码数据库模块、IP获取单元、服务器记录模块、验证码发送单元、账户锁定模块、后台统计模块与资源整合模块。本发明所述的一种大数据储存***集成，设有服务器记录模块、IP获取单元、账户锁定模块、后台统计模块与资源整合模块，能够对异常账号进行统计记录，由后台通过绑定账号对异常账号进行验证，并且具有锁定账号的功能，带来更好的使用前景。

Description

一种大数据储存***集成
技术领域
本发明涉及数据存储***领域，特别涉及一种大数据储存***集成。
背景技术
随着云计算、物联网、移动互联网等技术的发展，人类社会各个领域产生的数据量都急剧增长，随着各种新兴网络服务的出现，服务的内容已经从单一的文本格式转变为各种多媒体形式，如视频、图像、声音等；各种用户产生数据，如博客、微博、微信等新型社交媒体中的发展，都增加了用户网络行为数据；物联网传感器网络的广泛使用也自动产生了大量的数据。随着大数据应用的爆发性增长，它已经衍生出了自己独特的架构，而且也直接推动了存储、网络以及计算技术的发展。毕竟处理大数据这种特殊的需求是一个新的挑战。硬件的发展最终还是由软件需求推动的，如今，大数据已经成为了一种重要的基础资源，并形成了以数据为中心、以存储为中心的发展趋势，因此如何存储这些数量骤升的数据已经成为企业和学术界的研究热点，数据存储是大数据处理和利用过程中不可或缺的关键环节，现有的大数据存储***虽然可以满足大数据应用存储需求，但是其输入／输出（I/O）性能得不到优化，直接决定大数据存储效率变低，影响大数据应用整体性能。
发明内容
本发明的主要目的在于提供一种大数据储存***集成，可以有效解决背景技术中的问题。
为实现上述目的，本发明采取的技术方案为：
一种大数据储存***集成，包括数据中心库模块、数据传输模块与中心管理模块，所述数据中心库模块包括有图片分类模块、视频分类模块和在线备份模块，所述数据中心库模块通过所述数据传输模块传递过来的信息经过分类存储在所述图片分类模块、所述视频分类模块和所述在线备份模块内部，所述数据中心库模块与数据使用对象连接，所述数据使用对象可以将所述数据中心库模块内部数据进行读取或写入，所述数据使用对象包括有个人用户和企业用户，所述数据传输模块包括架构优化模块、元数据I/O优化模块和数据I/O优化模块，元数据和数据经过所述数据传输模块输入或者输出所述数据中心库模块，所述中心管理模块包括元数据管理模块、***管理模块、主题管理模块和数据展示模块，所述中心管理模块对所述数据中心库模块内部的数据信息进行管理和展示。
优选的，所述元数据I/O优化模块包括元数据搜索模块、元数据查找模块和元数据创建模块，三者分别对元数据的创建进行优化，提高元数据I/O优化模块的信息传递速率，对所述数据传输模块将元数据记录在数据库中心库模块的性能进行优化。
优选的，所述数据I/O优化模块包括文件级分条模块、带宽分配模块、缓存容量扩展模块和读写优化模块。
优选的，所述文件级分条模块、带宽分配模块、缓存容量扩展模块和读写优化模块在对数据库中心库模块的数据进行读写时，带宽分配模块分配空闲读写的带宽，文件级分条模块将数据进行分条，读写优化模块对读写进行优化，缓存不够时缓存容量扩展模块扩大数据I/O优化模块的暂存容量。
优选的，所述元数据管理模块主要负责对数据库中心库模块内部的元数据进行管理，且元数据I/O优化模块与元数据管理模块配合管理数据传输模块的传输速率。
优选的，所述个人用户与数据展示模块连接，所述企业用户分别与元数据管理模块、***管理模块和主题管理模块连接，个人用户只读数据库中心库模块的数据，企业用户可以读写数据库中心库模块的数据。
与现有技术相比，本发明具有如下有益效果：
本发明中，将数据传输模块分为架构优化模块、元数据I/O优化模块和数据I/O优化模块，构建出数据传输的整体框架，元数据和数据输入时进行优化，分别设置元数据搜索模块、元数据查找模块和元数据创建模块加快元数据的查找，减轻中心管理模块内部的元数据管理模块的压力，提高了中心管理模块的管理性能，而文件级分条模块、带宽分配模块、缓存容量扩展模块和读写优化模块整体对数据I/O优化模块进行优化，分别优化数据的写入速率、带宽占用比和扩展数据输入时的缓存容量间接提高数据输入速率，最后再将数据传输时的架构进行优化，保证数据传输时不丢失，增强提高数据传输的性能来提高大数据储存的整体性能。
附图说明
图1为本发明一种大数据储存***集成的整体结构示意图；
图2为本发明一种大数据储存***集成的中心管理模块结构图；
图3为本发明一种大数据储存***集成数据I/O优化模块结构图；
图中：1、数据中心库模块，2、数据传输模块，3、中心管理模块，4、数据使用对象，5、个人用户，6、企业用户，7、图片分类模块，8、视频分类模块，9、在线备份模块，10、架构优化模块，11、元数据I/O优化模块，12、数据I/O优化模块，13、元数据搜索模块，14元数据查找模块、，15、元数据创建模块，16、元数据管理模块，17、***管理模块，18、主题管理模块，19、数据展示模块，20、文件级分条模块，21、带宽分配模块，22、缓存容量扩展模块，23、读写优化模块。
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。
如图1-3所示，一种大数据储存***集成，包括数据中心库模块1、数据传输模块2与中心管理模块3，数据中心库模块1包括有图片分类模块7、视频分类模块8和在线备份模块9，数据中心库模块1通过数据传输模块2传递过来的信息经过分类存储在图片分类模块7、视频分类模块8和在线备份模块9内部，数据中心库模块1与数据使用对象4连接，数据使用对象4可以将数据中心库模块1内部数据进行读取或写入，数据使用对象4包括有个人用户5和企业用户6，数据传输模块2包括架构优化模块10、元数据I/O优化模块11和数据I/O优化模块12，元数据和数据经过数据传输模块2输入或者输出数据中心库模块1，中心管理模块3包括元数据管理模块16、***管理模块17、主题管理模块18和数据展示模块19，中心管理模块3对数据中心库模块1内部的数据信息进行管理和展示。
元数据I/O优化模块11包括元数据搜索模块13、元数据查找模块14和元数据创建模块15，三者分别对元数据的创建进行优化，提高元数据I/O优化模块11的信息传递速率，对数据传输模块2将元数据记录在数据库中心库模块1的性能进行优化，数据I/O优化模块12包括文件级分条模块20、带宽分配模块21、缓存容量扩展模块22和读写优化模块23，文件级分条模块20、带宽分配模块21、缓存容量扩展模块22和读写优化模块23在对数据库中心库模块1的数据进行读写时，带宽分配模块21分配空闲读写的带宽，文件级分条模块20将数据进行分条，读写优化模块23对读写进行优化，缓存不够时缓存容量扩展模块22扩大数据I/O优化模块12的暂存容量，元数据管理模块16主要负责对数据库中心库模块1内部的元数据进行管理，且元数据I/O优化模块11与元数据管理模块16配合管理数据传输模块2的传输速率，个人用户6与数据展示模块19连接，企业用户6分别与元数据管理模块16、***管理模块17和主题管理模块18连接，个人用户6只读数据库中心库模块1的数据，企业用户6可以读写数据库中心库模块1的数据。
需要说明的是，本发明为一种大数据储存***集成，在使用时，数据使用对象4可以通过数据传输模块2对数据中心库模块1内部的数据进行读写，其中企业用户6可以通过中心管理***3内部的元数据管理模块16、***管理模块17和主题管理模块18对数据中心库模块1内的数据进行读写操作，而个人用户5可以通过中心管理***3内的数据展示模块19读取数据中心库模块1内的数据，避免个人用户5私自修改数据中心库模块1的数据，而读写的数据经过中心管理模块3和在线备份模块9进行分类储存，图片投入图片分类模块7，视频投入视频分类模块8中，数据传输模块2通过架构优化模块10、元数据I/O优化模块11和数据I/O优化模块12进行优化，提高数据传输的效率，增强大数据储存的整体性能。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (6)

1.一种大数据储存***集成，包括数据中心库模块（1）、数据传输模块（2）与中心管理模块（3），其特征在于：所述数据中心库模块（1）包括有图片分类模块（7）、视频分类模块（8）和在线备份模块（9），所述数据中心库模块（1）通过所述数据传输模块（2）传递过来的信息经过分类存储在所述图片分类模块（7）、所述视频分类模块（8）和所述在线备份模块（9）内部，所述数据中心库模块（1）与数据使用对象（4）连接，所述数据使用对象（4）可以将所述数据中心库模块（1）内部数据进行读取或写入，所述数据使用对象（4）包括有个人用户（5）和企业用户（6），所述数据传输模块（2）包括架构优化模块（10）、元数据I/O优化模块（11）和数据I/O优化模块（12），元数据和数据经过所述数据传输模块（2）输入或者输出所述数据中心库模块（1），所述中心管理模块（3）包括元数据管理模块（16）、***管理模块（17）、主题管理模块（18）和数据展示模块（19），所述中心管理模块（3）对所述数据中心库模块（1）内部的数据信息进行管理和展示。
2.根据权利要求1所述的一种大数据储存***集成，其特征在于：所述元数据I/O优化模块（11）包括元数据搜索模块（13）、元数据查找模块（14）和元数据创建模块（15），三者分别对元数据的创建进行优化，提高元数据I/O优化模块（11）的信息传递速率，对所述数据传输模块（2）将元数据记录在数据库中心库模块（1）的性能进行优化。
3.根据权利要求1所述的一种大数据储存***集成，其特征在于：所述数据I/O优化模块（12）包括文件级分条模块（20）、带宽分配模块（21）、缓存容量扩展模块（22）和读写优化模块（23）。
4.根据权利要求1或3所述的一种大数据储存***集成，其特征在于：所述文件级分条模块（20）、带宽分配模块（21）、缓存容量扩展模块（22）和读写优化模块（23）在对数据库中心库模块（1）的数据进行读写时，带宽分配模块（21）分配空闲读写的带宽，文件级分条模块（20）将数据进行分条，读写优化模块（23）对读写进行优化，缓存不够时缓存容量扩展模块（22）扩大数据I/O优化模块（12）的暂存容量。
5.根据权利要求1所述的一种大数据储存***集成，其特征在于：所述元数据管理模块（16）主要负责对数据库中心库模块（1）内部的元数据进行管理，且元数据I/O优化模块（11）与元数据管理模块（16）配合管理数据传输模块（2）的传输速率。
6.根据权利要求1所述的一种大数据储存***集成，其特征在于：所述个人用户（6）与数据展示模块（19）连接，所述企业用户（6）分别与元数据管理模块（16）、***管理模块（17）和主题管理模块（18）连接，个人用户（6）只读数据库中心库模块（1）的数据，企业用户（6）可以读写数据库中心库模块（1）的数据。
CN201810769163.4A 2018-07-13 2018-07-13 一种大数据储存***集成 Pending CN109240599A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810769163.4A CN109240599A (zh) 2018-07-13 2018-07-13 一种大数据储存***集成

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810769163.4A CN109240599A (zh) 2018-07-13 2018-07-13 一种大数据储存***集成

Publications (1)

Publication Number Publication Date
CN109240599A true CN109240599A (zh) 2019-01-18

Family

ID=65072614

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810769163.4A Pending CN109240599A (zh) 2018-07-13 2018-07-13 一种大数据储存***集成

Country Status (1)

Country Link
CN (1) CN109240599A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110069501A (zh) * 2019-04-23 2019-07-30 北京恒冠网络数据处理有限公司 一种大数据储存***
CN112053038A (zh) * 2020-08-18 2020-12-08 广东电网有限责任公司广州供电局 一种具有大数据集成展示功能的迁改***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102307236A (zh) * 2011-08-25 2012-01-04 浪潮电子信息产业股份有限公司 一种基于云存储架构的存储远程管理***
CN103677673A (zh) * 2013-12-23 2014-03-26 Tcl集团股份有限公司 一种文件分类批量上传的方法及***
US20150363115A1 (en) * 2014-06-12 2015-12-17 Lenovo Enterprise Solutions (Singapore) Pte. Ltd Parallel storage system testing
CN105302920A (zh) * 2015-11-23 2016-02-03 上海爱数信息技术股份有限公司 一种云存储数据的优化管理方法和***
CN107609166A (zh) * 2017-09-27 2018-01-19 合肥博力生产力促进中心有限公司 一种基于云管理平台的数据调度***
CN107797768A (zh) * 2017-10-11 2018-03-13 南京东方金信数据服务有限公司 一种处理大数据的方法及***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102307236A (zh) * 2011-08-25 2012-01-04 浪潮电子信息产业股份有限公司 一种基于云存储架构的存储远程管理***
CN103677673A (zh) * 2013-12-23 2014-03-26 Tcl集团股份有限公司 一种文件分类批量上传的方法及***
US20150363115A1 (en) * 2014-06-12 2015-12-17 Lenovo Enterprise Solutions (Singapore) Pte. Ltd Parallel storage system testing
CN105302920A (zh) * 2015-11-23 2016-02-03 上海爱数信息技术股份有限公司 一种云存储数据的优化管理方法和***
CN107609166A (zh) * 2017-09-27 2018-01-19 合肥博力生产力促进中心有限公司 一种基于云管理平台的数据调度***
CN107797768A (zh) * 2017-10-11 2018-03-13 南京东方金信数据服务有限公司 一种处理大数据的方法及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
肖利民等: ""大数据存储***I_O性能优化技术研究进展"", 《大数据》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110069501A (zh) * 2019-04-23 2019-07-30 北京恒冠网络数据处理有限公司 一种大数据储存***
CN112053038A (zh) * 2020-08-18 2020-12-08 广东电网有限责任公司广州供电局 一种具有大数据集成展示功能的迁改***

Similar Documents

Publication Publication Date Title
CN107465656B (zh) 一种基于云计算的安防监控大数据处理方法及***
CN106776780B (zh) 一种云环境中数据交换与共享方法及***
CN103312791B (zh) 物联网异构数据存储方法及***
CN106951552A (zh) 一种基于Hadoop的用户行为数据处理方法
CN107315776A (zh) 一种基于云计算的数据管理***
CN109947668A (zh) 存储数据的方法和装置
WO2014015488A1 (zh) 一种数据存储、数据查询的方法及装置
CN113220794A (zh) 用于同步异构数据库之间的查询结果的方法、服务器和计算机可读介质
CN105740337A (zh) 一种基于内容的发布订阅***中的事件快速匹配方法
CN104778229A (zh) 基于Hadoop的电信业务小文件存储***及方法
CN104142930A (zh) 通用δ数据装载
CN107832392A (zh) 一种元数据管理***
CN105354250A (zh) 一种面向云存储的数据存储方法及装置
CN104615785A (zh) 一种基于TYKY cNosql数据库的数据存储方法及装置
CN115859362A (zh) 基于区块链侧链的数据存储***、方法、设备及介质
CN106547911A (zh) 一种海量小文件的存取方法和***
CN107273368A (zh) 海量数据存储管理方法、装置及数据存储***
CN109240599A (zh) 一种大数据储存***集成
CN107273462A (zh) 一种构建HBase集群全文索引方法，数据读取方法以及数据写入方法
CN110377757A (zh) 一种实时知识图谱构建***
CN106875275A (zh) 商业健康保险在线自动对账***及方法
CN117171108A (zh) 一种虚拟模型映射方法和***
CN104346346A (zh) 业务发布方法和***、业务更新方法、客户端
Zhou et al. An Efficient Data Fingerprint Query Algorithm Based on Two-Leveled Bloom Filter.
CN115268797A (zh) 一种通过WebDav实现***与对象存储通信的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190118