CN106055655A - 一种实时数据的存储方法及装置、访问方法及*** - Google Patents
一种实时数据的存储方法及装置、访问方法及*** Download PDFInfo
- Publication number
- CN106055655A CN106055655A CN201610383524.2A CN201610383524A CN106055655A CN 106055655 A CN106055655 A CN 106055655A CN 201610383524 A CN201610383524 A CN 201610383524A CN 106055655 A CN106055655 A CN 106055655A
- Authority
- CN
- China
- Prior art keywords
- time data
- real time
- real
- data
- stored
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/957—Browsing optimisation, e.g. caching or content distillation
- G06F16/9574—Browsing optimisation, e.g. caching or content distillation of access to content, e.g. by caching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了一种实时数据的存储方法及装置、访问方法及***,该存储方法,包括获取实时数据;将实时数据分别保存在缓存服务器、分布式存储***中。该方法通过分离存储将从网络中获得的实时数据保存下来。另外,本发明还公开了一种实时数据的访问方法,其在访问实时数据时,首先从缓存服务器中获取实时数据,若缓存服务器中存在实时数据,则显示给用户,由于缓存服务器的访问速度较快,因此能够将实时数据快速的显示给用户。当缓存服务器中不存在实时数据时,则从分布式存储***中获取实时数据并显示给用户,由于分布式存储***采用的是永久性存储器,其数据不会丢失,保证了实时数据的稳定性。
Description
技术领域
本发明涉及数据的处理,尤其涉及一种实时数据的存储方法及装置、访问方法及***。
背景技术
目前,我国移动互联网广告已经越来越受到业内人士的关注,其发展正处于一个爆发的阶段,海量广告数据之间的交互越来越需要时效性和稳定性,实时数据对于需要快速响应的需求非常重要,但给客户需要访问某个网页、广告等,若是不能够快速将实时数据展示给客户,这样就会给客户造成一定的影响。
发明内容
为了克服现有技术的不足,本发明的目的之一在于提供一种实时数据的存储方法及装置,其能够解决现有技术中不能够及时的将实时数据进行保存。
本发明的目的之一采用以下技术方案实现:
本发明提供了一种实时数据的存储方法,包括以下步骤:
S1:获取实时数据;
S2:将所述实时数据复制成两份,一份存储于缓存服务器中,另一份存储于分布式存储***中。
优选地,所述步骤S2之前还包括步骤S21:按照实时数据的获取日期进行分类,将同一获取日期的实时数据保存在一个文件中。
优选地,所述文件的命名格式为“年-月-日”。
优选地,所述步骤S2中,将存储于分布式存储***的实时数据转换为数据库表并存储于数据库中。
优选地,所述实时数据包括应用程序接口从PC端网页、智能终端APP获取的数据以及从智能终端网页中获取的数据。
本发明还提供与所述实时数据的存储方法相对应的一种实时数据的存储装置,包括:
获取模块,用于获取实时数据;
存储模块,用于将所述实时数据复制成两份,一份存储于缓存服务器中,另一份存储于分布式存储***中。
优选地,所述文件的命名格式为“年-月-日”。
为了克服现有技术的不足,本发明的目的之二在于提供一种实时数据的访问方法及装置,其能够解决现有技术中不能够快速稳定地将实时数据展示给客户。
本发明的目的之二采用以下技术方案实现:
本发明提供了一种实时数据的访问方法,包括以下步骤:
S3:客户端获取用户所访问网页时所需要的实时数据,
S4:判断缓存服务器中是否存在所述实时数据,若存在,从缓存服务器中获取所需要的实时数据并显示给客户端;若不存在,则从分布式存储***中获取所需要的实时数据并显示给客户端。
本发明还提供了与所述实时数据的访问方法相对应的一种实时数据的访问***,包括:
获取数据模块,用于获取用户访问网页时所需要的实时数据;
判断显示模块,用于判断缓存服务器中是否存在所需要的实时数据,若存在,从缓存服务器中获取所需要的实时数据并显示给客户端;若不存在,则从分布式存储***中获取所需要的实时数据并显示给客户端。
相比现有技术,本发明的有益效果在于:本发明通过分离存储从网络上获取到的实时数据,然后当用户访问网页时,能够及时地从缓存服务器中获取实时数据并显示给用户,能够快速的将实时数据显示给用户,由于缓存服务器的访问速度较快,保证了实时数据显示的及时性;当缓存服务器中不存在用户访问网页所需要的实时数据时,从分布式存储***中获取实时数据,由于分布式存储***的数据不会丢失,保证了实时数据的稳定性。
附图说明
图1为本发明提供的一种实时数据的存储方法流程图;
图2为本发明提供的一种实时数据的存储装置模块图;
图3是本发明提供的一种实时数据的访问方法流程图;
图4是本发明提供的一种实时数据的访问***模块图。
具体实施方式
下面,结合附图以及具体实施方式,对本发明做进一步描述:
如图1所示,本发明提供了一种实时数据的存储方法,其能够将海量的实时数据收集起来,供用户访问需求的使用。其包括以下步骤:
S11:获取实时数据。
其中该实时数据是指通过应用程序从PC端的网页、手机的应用端(比如APP软件)获取到的数据;另外还包括从手机的网页端获取到的数据,将上述的数据都收集并保存起来。获取到的这些实时数据可以放入一个缓存队列中。
S12:将所述实时数据复制为两份,其中一份存储于缓存服务器中,第二份存储于分布式存储***中。其中所述缓存服务器其存储空间较小,会经常定时更新,也即是说保存子该缓存服务器中的数据有可能丢失,比如像内存一样。另外,由于该缓存服务器是采用缓存机制的存储器,因此其访问速度较快。所述分布式存储***所采用的存储器是永久性存储器,其存储的数据具有永久存储的,不需要向缓存一样会定时刷新,其存储的实时数据不会丢失。
另外在所述步骤S2之前还包括步骤S112:按照实时数据的获取日期进行分类,将同一获取日期的实时数据保存在同一个文件中,这样就将实时数据按照获取日期不同保存在不同的文件中。另外,文件的命名格式为“年-月-日”。
所述缓存服务器是一个缓存服务器,其存储空间较小、还会定时刷新。比如当存储空间满时,或者存储时间到了就会将该缓存服务器中的数据清空。
所述分布式存储***其存储数据不会丢失,将实时数据存储在分布式存储***时,可对实时数据文件进行压缩处理,减少占用空间;或者是将实时数据文件转换为数据库表的形式保存在数据库中。比如,将实时数据保存在分布式存储***时,会将实时数据通过Hadoop中的框架Hive将文件的数据映射为数据库表并存储于数据库中,该数据库可以是Mysql数据库。同时,还可利用Hadoop Map/Reduce框架对数据库中的数据进行数据的分析和挖掘,然后将处理的结果以表的形式保存在数据库中。这样将实时数据转换为数据库表能够方便存储。这里对数据转换为数据库表以及对数据进行处理都是使用Hadoop中的现有框架,本领域技术人员可以实现。
如图2所示,本发明还公开了与所述一种实时数据的存储方法相对应的一种实时数据的存储装置,其包括:
获取模块,用于获取实时数据;
存储模块,用于将所述实时数据复制成两份,一份存储于缓存服务器中,另一份存储于分布式存储***中。
优选地,包括所述存储模块之前还包括分类模块,用于按照实时数据的获取日期进行分类,将同一获取日期的实时数据保存在一个文件中。
优选地,所述文件的命名格式为“年-月-日”。
如图3所示,本发明还公开了一种实时数据的访问方法,其中该实时数据是指由上述实时数据的存储方法所得到的实时数据,其包括:
S21:获取用户访问网页所需要的实时数据。
其中,当客户访问网页时,客户端能够获取到相对应的用户,然后得知用户所要访问的实时数据。
S22:判断缓存服务器中是否存在所需要的实时数据,若存在,则执行S221;若不存在,则执行S222;
S221:从缓存服务器中获取所需要的实时数据并显示给客户端。
S222:从分布式存储***中获取所需要的实时数据并显示给客户端。
当客户访问网页时,首先在缓存服务器中获取实时数据,若缓存服务器中没有所需要的实时数据,则在从分布式存储***中获取实时数据。也即是说,当客户访问网页时,首先从缓存服务器中获取数据,因此缓存服务器的处理速度较快,可以快速的为用户提供所需要显示的实时数据。另外,由于缓存服务器的数据是定时更新的,当缓存服务器中没有所需要的数据时,就从分布式存储***中获取所需要的数据,因此保证了数据的稳定性。
如图4所示,本发明还提供了一种实时数据的访问***,包括:
获取数据模块,用于获取用户访问网页时所需要的实时数据;
判断显示模块,用于判断缓存服务器中是否存在所需要的实时数据,若存在,从缓存服务器中获取所需要的实时数据并显示给客户端;若不存在,从分布式存储***中获取所需要的实时数据并显示给客户端。
对本领域的技术人员来说,可根据以上描述的技术方案以及构思,做出其它各种相应的改变以及形变,而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。
Claims (10)
1.一种实时数据的存储方法,其特征在于,包括以下步骤:
S1:获取实时数据;
S2:将所述实时数据复制成两份,一份存储于缓存服务器中,另一份存储于分布式存储***中。
2.如权利要求1所述实时数据的存储方法,其特征在于,所述步骤S2之前还包括步骤S21:按照实时数据的获取日期进行分类,将同一获取日期的实时数据保存在一个文件中。
3.如权利要求1所述实时数据的存储方法,其特征在于,所述文件的命名格式为“年-月-日”。
4.如权利要求1所述实时数据的存储方法,其特征在于,所述步骤S2中,将存储于分布式存储***的实时数据转换为数据库表并存储于数据库中。
5.如权利要求1所述实时数据的存储方法,其特征在于,所述实时数据包括应用程序接口从PC端网页、智能终端APP获取的数据以及从智能终端网页中获取的数据。
6.一种实时数据的存储装置,其特征在于,包括:
获取模块,用于获取实时数据;
存储模块,用于将所述实时数据复制成两份,一份存储于缓存服务器中,另一份存储于分布式存储***中。
7.如权利要求6所述实时数据的存储装置,其特征在于,包括所述存储模块之前还包括分类模块,用于按照实时数据的获取日期进行分类,将同一获取日期的实时数据保存在一个文件中。
8.如权利要求7所述实时数据的存储装置,其特征在于,所述文件的命名格式为“年-月-日”。
9.一种实时数据的访问方法,其特征在于,包括以下步骤:
S3:客户端获取用户所访问网页时所需要的实时数据,
S4:判断缓存服务器中是否存在所述实时数据,若存在,从缓存服务器中获取所需要的实时数据并显示给客户端;若不存在,则从分布式存储***中获取所需要的实时数据并显示给客户端。
10.一种实时数据的访问***,其特征在于,包括:
获取数据模块,用于获取用户访问网页时所需要的实时数据;
判断显示模块,用于判断缓存服务器中是否存在所需要的实时数据,若存在,从缓存服务器中获取所需要的实时数据并显示给客户端;若不存在,则从分布式存储***中获取所需要的实时数据并显示给客户端。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610383524.2A CN106055655A (zh) | 2016-05-31 | 2016-05-31 | 一种实时数据的存储方法及装置、访问方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610383524.2A CN106055655A (zh) | 2016-05-31 | 2016-05-31 | 一种实时数据的存储方法及装置、访问方法及*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106055655A true CN106055655A (zh) | 2016-10-26 |
Family
ID=57172688
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610383524.2A Pending CN106055655A (zh) | 2016-05-31 | 2016-05-31 | 一种实时数据的存储方法及装置、访问方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106055655A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106951490A (zh) * | 2017-03-14 | 2017-07-14 | 清华大学 | 一种实时更正数据的存储与缓存读取方法 |
CN106961483A (zh) * | 2017-04-06 | 2017-07-18 | 邹霞 | 分布式实时数据服务器 |
CN109947729A (zh) * | 2017-07-17 | 2019-06-28 | 普天信息技术有限公司 | 一种实时数据分析方法及装置 |
WO2020151320A1 (zh) * | 2019-01-25 | 2020-07-30 | 平安科技(深圳)有限公司 | 数据存储方法、装置、计算机设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10154115A (ja) * | 1996-11-25 | 1998-06-09 | Nec Corp | キャッシュ付きlanコントローラを備えた情報処理装置 |
CN105138615A (zh) * | 2015-08-10 | 2015-12-09 | 北京思特奇信息技术股份有限公司 | 一种构建大数据分布式日志的方法和*** |
CN105549905A (zh) * | 2015-12-09 | 2016-05-04 | 上海理工大学 | 一种多虚拟机访问分布式对象存储***的方法 |
-
2016
- 2016-05-31 CN CN201610383524.2A patent/CN106055655A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10154115A (ja) * | 1996-11-25 | 1998-06-09 | Nec Corp | キャッシュ付きlanコントローラを備えた情報処理装置 |
CN105138615A (zh) * | 2015-08-10 | 2015-12-09 | 北京思特奇信息技术股份有限公司 | 一种构建大数据分布式日志的方法和*** |
CN105549905A (zh) * | 2015-12-09 | 2016-05-04 | 上海理工大学 | 一种多虚拟机访问分布式对象存储***的方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106951490A (zh) * | 2017-03-14 | 2017-07-14 | 清华大学 | 一种实时更正数据的存储与缓存读取方法 |
CN106961483A (zh) * | 2017-04-06 | 2017-07-18 | 邹霞 | 分布式实时数据服务器 |
CN109947729A (zh) * | 2017-07-17 | 2019-06-28 | 普天信息技术有限公司 | 一种实时数据分析方法及装置 |
WO2020151320A1 (zh) * | 2019-01-25 | 2020-07-30 | 平安科技(深圳)有限公司 | 数据存储方法、装置、计算机设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104866497B (zh) | 分布式文件***列式存储的元数据更新方法、装置、主机 | |
CN106055655A (zh) | 一种实时数据的存储方法及装置、访问方法及*** | |
CN105279224B (zh) | 信息推送方法及装置 | |
US10489448B2 (en) | Method and system for dynamically ranking images to be matched with content in response to a search query | |
CN101576918B (zh) | 具备负载均衡功能的数据缓存*** | |
CN103488704B (zh) | 一种数据存储方法及装置 | |
CN107463511A (zh) | 一种基于多级缓存的数据国际化实现方法及装置 | |
WO2016095733A1 (zh) | 网络数据的展示处理方法和装置 | |
CN102129435B (zh) | 数据存储业务控制方法及*** | |
CN103559227B (zh) | 显示网页的方法及浏览器 | |
CN107077691A (zh) | 用于确定数据库高速缓存命中的基于年龄的策略 | |
CN101668004A (zh) | 一种网页获取方法、装置及*** | |
CN107291901A (zh) | 主被动组合获取机票数据的方法、***、设备及存储介质 | |
CN106294379A (zh) | 一种页面的加载方法、装置和*** | |
CN103034518B (zh) | 加载浏览器控制工具的方法及浏览器 | |
CN103473732B (zh) | 基于并发控制和双缓存技术的移动gis切片地图展现方法 | |
CN107577436A (zh) | 一种数据存储方法及装置 | |
WO2017114164A1 (zh) | 一种图数据的处理方法和装置 | |
CN112417343B (zh) | 一种基于前端Angular框架缓存数据的方法 | |
US20190340303A1 (en) | Smart Updates From Historical Database Changes | |
CN108717457A (zh) | 一种电子商务平台大数据处理方法和*** | |
CN107613040A (zh) | 一种域名*** dns 服务器查询的方法和装置 | |
CN105830061A (zh) | 维护数据库***中用于联机分析处理的数据的方法和装置 | |
CN109376192A (zh) | 一种用户留存分析方法、装置、电子设备及存储介质 | |
CN108200127A (zh) | 数据发送方法、装置、服务器、终端及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20161026 |