CN111143417A - 数据处理方法、装置、***及Nginx服务器和介质 - Google Patents
数据处理方法、装置、***及Nginx服务器和介质 Download PDFInfo
- Publication number
- CN111143417A CN111143417A CN201911382325.XA CN201911382325A CN111143417A CN 111143417 A CN111143417 A CN 111143417A CN 201911382325 A CN201911382325 A CN 201911382325A CN 111143417 A CN111143417 A CN 111143417A
- Authority
- CN
- China
- Prior art keywords
- data
- accessed
- local cache
- mapping relation
- nginx server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 27
- 238000003860 storage Methods 0.000 claims abstract description 127
- 238000013507 mapping Methods 0.000 claims abstract description 67
- 238000000034 method Methods 0.000 claims abstract description 26
- 238000004891 communication Methods 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 13
- 230000014759 maintenance of location Effects 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24552—Database cache management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/256—Integrating or interfacing systems involving database management systems in federated or virtual databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本申请公开了一种数据处理方法、装置、***及一种Nginx服务器和介质，该方法应用于Nginx服务器，Nginx服务器通过预设接口从云端存储获取数据并缓存至本地缓存，包括：接收客户端发送的数据访问请求；调用预先建立的第一映射关系；所述映射关系为对象存储数据与本地缓存数据之间的映射关系；通过所述第一关系，判断本地缓存中是否存在所述数据访问请求的待访问数据；如果是，则通过对象存储格式将待访问数据返回至所述端。本申请中Nginx服务器能够将云端存储的数据读取并缓存至本地，对于后续客户端发送的数据访问请求，可直接从本地缓存获取数据返回，省去了从远端进行通信的数据延迟，使得在线视频播放具有更流畅的效果。
Description
技术领域
本申请涉及计算机技术领域，更具体地说，涉及一种数据处理方法、装置、***及一种Nginx服务器和一种计算机可读存储介质。
背景技术
云存储是指通过集群应用、网格技术或分布式文件***等功能，网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个***，保证数据的安全性，并节约存储空间。简单来说，云存储就是将储存资源放到云上供人存取的一种新兴方案。使用者可以在任何时间、任何地方，透过任何可连网的装置连接到云上方便地存取数据。
随着云技术的快速发展，越来越多的个人或者企业选择将数据放在云端。这样既能脱离对本地存储环境的依赖，也能作为很好的备份载体。但是由于云端的数据交互要通过Internet访问，这必然会带来比较大的数据延迟。在带来方便性的同时，如何解决Internet连接所带来的高延迟损耗也是需考虑的问题。
发明内容
本申请的目的在于提供一种数据处理方法、装置、***及一种Nginx服务器和一种计算机可读存储介质，省去了从远端进行通信的数据延迟，使得在线视频播放具有更流畅的效果。
为实现上述目的，本申请提供了一种数据处理方法，应用于Nginx服务器，所述Nginx服务器通过预设接口从云端存储获取数据并缓存至本地缓存，所述方法包括：
接收客户端发送的数据访问请求；
调用预先建立的第一映射关系；所述第一映射关系为对象存储数据与本地缓存数据之间的映射关系；
通过所述第一映射关系，判断所述本地缓存中是否存在所述数据访问请求对应的待访问数据；
如果是，则通过对象存储格式将所述待访问数据返回至所述客户端。
可选的，在所述通过所述第一映射关系，判断本地缓存中是否存在所述数据访问请求对应的待访问数据之后，还包括：
如果否，则调用预先建立的第二映射关系；所述第二映射关系为所述Nginx服务器的本地存储与云端存储之间的映射关系；
通过所述第二映射关系，确定所述数据访问请求对应的云端存储的数据读取地址；
通过访问所述数据读取地址，从所述云端存储中拉取对象存储格式的待访问数据，并将拉取的待访问数据返回所述客户端。
可选的，在所述从所述云端存储中拉取对象存储格式的待访问数据之后，还包括：
将拉取的待访问数据存储至本地缓存中。
可选的，还包括：
接收所述客户端发送的数据写入请求；
通过所述第二映射关系，确定所述数据写入请求对应的云端存储的数据写入地址；
将所述数据写入请求对应的待写入数据转发至所述数据写入地址，以写入对应的云端存储，并利用所述待写入数据对所述本地缓存进行更新。
可选的，所述通过访问所述数据读取地址，从所述云端存储中拉取对象存储格式的待访问数据，包括：
若所述数据访问请求对应的云端存储为多个，则同步访问对应的多个数据读取地址，以便从多个所述云端存储中拉取对象存储格式的待访问数据。
可选的，还包括：
按照预设周期从所述云端存储获取新增数据或修改数据；
根据所述新增数据或所述修改数据对所述本地缓存进行更新。
为实现上述目的，本申请提供了一种数据处理装置，应用于Nginx服务器，所述Nginx服务器通过预设接口从云端存储获取数据并缓存至本地缓存，所述装置包括：
接收模块，用于接收客户端发送的数据访问请求；
调用模块，用于调用预先建立的第一映射关系；所述第一映射关系为对象存储数据与本地缓存数据之间的映射关系；
判断模块，用于通过所述第一映射关系，判断所述本地缓存中是否存在所述数据访问请求对应的待访问数据；
反馈模块，用于如果所述本地缓存中存在对应的待访问数据，则通过对象存储格式将所述待访问数据返回至所述客户端。
为实现上述目的，本申请提供了一种Nginx服务器，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现前述公开的任一种数据处理方法的步骤。
为实现上述目的，本申请提供了一种数据处理***，包括：
如前述公开的Nginx服务器、客户端以及多个云端存储；所述Nginx服务器通过Restful API与云端存储进行数据通信。
为实现上述目的，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现前述公开的任一种数据处理方法的步骤。
通过以上方案可知，本申请提供的一种数据处理方法，应用于Nginx服务器，所述Nginx服务器通过预设接口从云端存储获取数据并缓存至本地缓存，所述方法包括：接收客户端发送的数据访问请求；调用预先建立的第一映射关系；所述第一映射关系为对象存储数据与本地缓存数据之间的映射关系；通过所述第一映射关系，判断所述本地缓存中是否存在所述数据访问请求对应的待访问数据；如果是，则通过对象存储格式将所述待访问数据返回至所述客户端。由上可知，本申请中Nginx服务器能够将云端存储的数据读取并缓存至本地，对于后续客户端发送的数据访问请求，就可以直接从本地缓存获取数据返回，省去了从远端进行通信的数据延迟，使得在线视频播放具有更流畅的效果。
本申请还公开了一种数据处理装置、***及一种Nginx服务器和一种计算机可读存储介质，同样能实现上述技术效果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例公开的一种数据处理方法的流程图；
图2为本申请实施例公开的另一种数据处理方法的流程图；
图3为本申请实施例公开的一种数据处理装置的结构图；
图4为本申请实施例公开的一种Nginx服务器的结构图；
图5为本申请实施例公开的另一种Nginx服务器的结构图；
图6为本申请实施例公开的一种数据处理***的结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在现有技术中，云存储实现将储存资源放到云上供人存取的一种新兴方案。使用者可以在任何时间、任何地方，透过任何可连网的装置连接到云上方便地存取数据。越来越多的个人或者企业选择将数据放在云端，既能脱离对本地存储环境的依赖，也能作为很好的备份载体。但是由于云端的数据交互要通过Internet访问，这必然会带来比较大的数据延迟。在带来方便性的同时，如何解决Internet连接所带来的高延迟损耗也是需考虑的问题。
因此，本申请实施例公开了一种数据处理方法，省去了从远端进行通信的数据延迟，使得在线视频播放具有更流畅的效果。
本申请实施例公开的一种数据处理方法应用于Nginx服务器，所述Nginx服务器通过预设接口从云端存储获取数据并缓存至本地缓存，参见图1所示，方法包括：
S101：接收客户端发送的数据访问请求；
本申请实施例中，利用Nginx服务器接收客户端发送的数据访问请求。在具体实施中，Nginx服务器可以向用户提供唯一的对象存储接口，并在服务器内部配置对象存储认证，即可利用对象存储接口接收用户通过客户端发起的数据访问请求，并基于对象存储认证确定当前用户的权限等信息，以便确定是否允许对当前用户的数据访问请求进行响应。
S102：调用预先建立的第一映射关系；所述第一映射关系为对象存储数据与本地缓存数据之间的映射关系；
需要说明的是，Nginx服务器是基于C语言开发的具有高并发的web服务器，其能够满足通过http的前端访问，还可通过反向代理与多个云端存储进行数据交互，能够较好的满足现有的业务需求。然而，Nginx服务器仅支持静态网页的本地缓存，而且不具备识别对象存储数据的能力。
为此，本申请实施例预先对Nginx服务器进行二次开发以使Nginx服务器支持restful的数据解析，具体可预先建立对象存储数据与本地缓存数据之间的映射关系，从而可在Nginx服务器内部实现对象存储访问到本地缓存数据访问的映射。具体地，本申请实施例第一映射关系可具体存储云端上对象存储数据的基本信息与本地缓存数据的基本信息之间的映射关系，例如，上述基本信息可包括但不限于数据内容、存储位置等。
S103：通过所述第一映射关系，判断所述本地缓存中是否存在所述数据访问请求对应的待访问数据；如果是，则进入步骤S104；
本步骤中，可首先对当前客户端发送的数据访问请求进行解析，以确定该数据访问请求所对应的待访问数据，并读取本地缓存的数据，通过上述第一映射关系在本地缓存中查找是否存在该待访问数据。
S104：通过对象存储格式将所述待访问数据返回至所述客户端。
可以理解的是，若在本地缓存中查找到当前数据访问请求对应的待访问数据，则可通过对象存储格式将待访问数据返回至对应的客户端，实现数据的访问。
作为一种可行的实施方式，本申请实施例还可主动对本地缓存进行更新，具体过程可以包括：Nginx服务器按照预设周期从云端存储获取新增数据或修改数据；根据新增数据或修改数据对本地缓存进行更新。例如，将云端存储的新增数据补充记录至本地缓存，或确定云端存储的修改数据对应的本地缓存中的待修改数据，进而对待修改数据进行修改，实现数据的更新。上述预设周期可以在实施过程中根据实际的业务需求进行设定，在此不进行具体限定。例如，若对数据的实时性需求较高，则将预设周期设置为较短的时间周期，如一小时、三小时等。在具体实施中，Nginx服务器还可以先为预设周期提供默认值，用户可在应用过程中对其进行实时调整。
通过以上方案可知，本申请提供的一种数据处理方法，应用于Nginx服务器，所述Nginx服务器通过预设接口从云端存储获取数据并缓存至本地缓存，所述方法包括：接收客户端发送的数据访问请求；调用预先建立的第一映射关系；所述第一映射关系为对象存储数据与本地缓存数据之间的映射关系；通过所述第一映射关系，判断所述本地缓存中是否存在所述数据访问请求对应的待访问数据；如果是，则通过对象存储格式将所述待访问数据返回至所述客户端。由上可知，本申请中Nginx服务器能够将云端存储的数据读取并缓存至本地，对于后续客户端发送的数据访问请求，就可以直接从本地缓存获取数据返回，省去了从远端进行通信的数据延迟，使得在线视频播放具有更流畅的效果。
本申请实施例公开了另一种数据处理方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。参见图2所示，具体的：
S201：接收客户端发送的数据访问请求；
S202：调用预先建立的第一映射关系；所述第一映射关系为对象存储数据与本地缓存数据之间的映射关系；
S203：通过所述第一映射关系，判断所述本地缓存中是否存在所述数据访问请求对应的待访问数据；如果是，则进入步骤S204；如果否，则进入步骤S205；
S204：通过对象存储格式将所述待访问数据返回至所述客户端；
S205：调用预先建立的第二映射关系；所述第二映射关系为所述Nginx服务器的本地存储与云端存储之间的映射关系；
S206：通过所述第二映射关系，确定所述数据访问请求对应的云端存储的数据读取地址；
本申请实施例中，若在本地缓存中未能查找到当前数据访问请求对应的待访问数据，则调用预先建立的第二映射关系。具体地，可预先为Nginx服务器添加原生反向代理的restfulAPI，以在Nginx服务器配置多个云端的对象存储配置。进而可建立Nginx服务器代理的云端存储与Nginx服务器本地存储之间的映射关系。在接收到客户端发起的数据访问请求，并在本地缓存中未能查找到当前数据访问请求对应的待访问数据之后，通过第二映射关系确定当前数据访问请求对应的云端存储上的数据读取地址，即待访问数据位于哪个云端存储对象中的哪个数据存储单元。
S207：通过访问所述数据读取地址，从所述云端存储中拉取对象存储格式的待访问数据，并将拉取的待访问数据返回所述客户端。
在确定数据读取地址之后，Nginx服务器可访问数据读取地址从云端存储中拉取对象存储格式的待访问数据，并将该待访问数据返回至客户端，以响应数据访问请求。
可以理解的是，本申请实施例在从云端存储中拉取对象存储格式的待访问数据之后，还可以进一步将拉取的待访问数据存储至本地缓存中，实现对本地缓存的被动更新。
在具体实施中，用户还可通过客户端进行数据写入。具体地，可以接收客户端发送的数据写入请求；通过上述第二映射关系，确定数据写入请求对应的云端存储的数据写入地址；将数据写入请求对应的待写入数据转发至数据写入地址，以写入对应的云端存储，并利用待写入数据对所述本地缓存进行更新。
作为一种优选的实施方式，若在本地缓存中未能查找到当前数据访问请求对应的待访问数据，需要去云端存储进行读取时，若调用预先建立的第二映射关系确定当前数据访问请求对应的云端存储为多个，则可同步访问对应的多个数据读取地址，以便从多个云端存储中拉取对象存储格式的待访问数据，提高数据读取效率。
下面对本申请实施例提供的一种数据处理装置进行介绍，下文描述的一种数据处理装置与上文描述的一种数据处理方法可以相互参照。
本申请实施例提供的一种数据处理装置应用于Nginx服务器，所述Nginx服务器通过预设接口从云端存储获取数据并缓存至本地缓存，参见图3所示，所述装置包括：
接收模块301，用于接收客户端发送的数据访问请求；
调用模块302，用于调用预先建立的第一映射关系；所述第一映射关系为对象存储数据与本地缓存数据之间的映射关系；
判断模块303，用于通过所述第一映射关系，判断所述本地缓存中是否存在所述数据访问请求对应的待访问数据；
反馈模块304，用于如果所述本地缓存中存在对应的待访问数据，则通过对象存储格式将所述待访问数据返回至所述客户端。
关于上述模块301至304的具体实施过程可参考前述实施例公开的相应内容，在此不再进行赘述。
本申请还提供了一种Nginx服务器，参见图4所示，本申请实施例提供的一种Nginx服务器包括：
存储器100，用于存储计算机程序；
处理器200，用于执行所述计算机程序时可以实现上述实施例所提供的数据处理方法的步骤。
具体的，存储器100包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机可读指令，该内存储器为非易失性存储介质中的操作***和计算机可读指令的运行提供环境。处理器200在一些实施例中可以是一中央处理器(CentralProcessing Unit，CPU)、控制器、微控制器、微处理器或其他数据处理芯片，为Nginx服务器提供计算和控制能力，执行所述存储器100中保存的计算机程序时，可以实现前述任一种实施例公开的数据处理方法的步骤。
在上述实施例的基础上，作为优选实施方式，参见图5所示，所述Nginx服务器还包括：
输入接口300，与处理器200相连，用于获取外部导入的计算机程序、参数和指令，经处理器200控制保存至存储器100中。该输入接口300可以与输入装置相连，接收用户手动输入的参数或指令。该输入装置可以是显示屏上覆盖的触摸层，也可以是终端外壳上设置的按键、轨迹球或触控板，也可以是键盘、触控板或鼠标等。
显示单元400，与处理器200相连，用于显示处理器200处理的数据以及用于显示可视化的用户界面。该显示单元400可以为LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。
网络端口500，与处理器200相连，用于与外部各终端设备进行通信连接。该通信连接所采用的通信技术可以为有线通信技术或无线通信技术，如移动高清链接技术(MHL)、通用串行总线(USB)、高清多媒体接口(HDMI)、无线保真技术(WiFi)、蓝牙通信技术、低功耗蓝牙通信技术、基于IEEE802.11s的通信技术等。
图5仅示出了具有组件100-500的Nginx服务器，本领域技术人员可以理解的是，图5示出的结构并不构成对Nginx服务器的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
本申请还提供了一种数据处理***，参见图6所示，本申请实施例提供的一种数据处理***包括：Nginx服务器、客户端以及多个云端存储；Nginx服务器通过Restful API与云端存储进行数据通信。
具体地，本申请实施例在Nginx服务器中进行二次开发以支持Restful API的数据解析，并将从云端读取回来的数据缓存在本地。对于后续客户端发送来的读取请求，即可直接从本地缓存获取数据返回，省去到远端进行通信的延迟。同时，添加对原生反向代理的Restful API扩展，可同时支持多个云端的对象存储配置。进一步地，利用Nginx服务器对用户提供唯一的对象存储接口，从而只需要通过Nginx服务器提供的统一对象存储认证就可以访问后端的多个云端存储数据，无需针对各个不同的云端进行单独不同的用户认证，用户可利用统一的认证信息如密钥等访问Nginx服务器。Nginx服务器内部实现从对象存储访问到本地缓存数据访问的映射，以及本地对象存储访问到云端对象存储访问的映射，并能通过主动或者被动的方式进行数据的更新。
具体地，如图6所示，本地客户端可以基于统一对象存储认证，通过Nginx服务地址同时访问三个不同的云端对象存储；当Nginx服务器接收到客户端发来的对象存储访问请求后，若该请求为读取请求，则可根据内部的映射关系查找到缓存在本地的存储数据，并通过对象存储的格式发给客户端，省去了去远端访问数据的漫长步骤。若该读取请求对应的数据没有在缓存中，则Nginx服务器需要通过代理的真正后台地址去云端存储拉取对象存储的数据，将数据返回给客户端并更新保存在本地缓存。为了能够保证缓存数据的一致性，Nginx服务器需要定期去云端存储进行数据同步，或者当Nginx服务器接收到客户端发来的写入请求之后，在将该写入请求对应的数据转发至云端存储的同时及时更新本地缓存数据。
本申请实施例提供的数据处理***基于Nginx服务器实现数据的加速代理，通过支持对象存储的访问，可以提高客户端数据读取的效率，并实现了云端存储数据的加速访问，对于在线视频播放会有更流畅的效果。同时，可以通过反向代理的方式将多个云端存储的数据隐藏在后台，用户无需关心后端存储的配置，可以一次性访问多个云端的数据，为用户提供了极大的便利性。
本申请还提供了一种计算机可读存储介质，该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。该存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现前述任一种实施例公开的数据处理方法的步骤。
本申请中Nginx服务器能够将云端存储的数据读取并缓存至本地，对于后续客户端发送的数据访问请求，就可以直接从本地缓存获取数据返回，省去了从远端进行通信的数据延迟，使得在线视频播放具有更流畅的效果。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的***而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (10)
1.一种数据处理方法，应用于Nginx服务器，其特征在于，所述Nginx服务器通过预设接口从云端存储获取数据并缓存至本地缓存，所述方法包括：
接收客户端发送的数据访问请求；
调用预先建立的第一映射关系；所述第一映射关系为对象存储数据与本地缓存数据之间的映射关系；
通过所述第一映射关系，判断所述本地缓存中是否存在所述数据访问请求对应的待访问数据；
如果是，则通过对象存储格式将所述待访问数据返回至所述客户端。
2.根据权利要求1所述的数据处理方法，其特征在于，在所述通过所述第一映射关系，判断本地缓存中是否存在所述数据访问请求对应的待访问数据之后，还包括：
如果否，则调用预先建立的第二映射关系；所述第二映射关系为所述Nginx服务器的本地存储与云端存储之间的映射关系；
通过所述第二映射关系，确定所述数据访问请求对应的云端存储的数据读取地址；
通过访问所述数据读取地址，从所述云端存储中拉取对象存储格式的待访问数据，并将拉取的待访问数据返回所述客户端。
3.根据权利要求2所述的数据处理方法，其特征在于，在所述从所述云端存储中拉取对象存储格式的待访问数据之后，还包括：
将拉取的待访问数据存储至本地缓存中。
4.根据权利要求2所述的数据处理方法，其特征在于，还包括：
接收所述客户端发送的数据写入请求；
通过所述第二映射关系，确定所述数据写入请求对应的云端存储的数据写入地址；
将所述数据写入请求对应的待写入数据转发至所述数据写入地址，以写入对应的云端存储，并利用所述待写入数据对所述本地缓存进行更新。
5.根据权利要求2所述的数据处理方法，其特征在于，所述通过访问所述数据读取地址，从所述云端存储中拉取对象存储格式的待访问数据，包括：
若所述数据访问请求对应的云端存储为多个，则同步访问对应的多个数据读取地址，以便从多个所述云端存储中拉取对象存储格式的待访问数据。
6.根据权利要求1至5任一项所述的数据处理方法，其特征在于，还包括：
按照预设周期从所述云端存储获取新增数据或修改数据；
根据所述新增数据或所述修改数据对所述本地缓存进行更新。
7.一种数据处理装置，应用于Nginx服务器，其特征在于，所述Nginx服务器通过预设接口从云端存储获取数据并缓存至本地缓存，所述装置包括：
接收模块，用于接收客户端发送的数据访问请求；
调用模块，用于调用预先建立的第一映射关系；所述第一映射关系为对象存储数据与本地缓存数据之间的映射关系；
判断模块，用于通过所述第一映射关系，判断所述本地缓存中是否存在所述数据访问请求对应的待访问数据；
反馈模块，用于如果所述本地缓存中存在对应的待访问数据，则通过对象存储格式将所述待访问数据返回至所述客户端。
8.一种Nginx服务器，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至6任一项所述数据处理方法的步骤。
9.一种数据处理***，其特征在于，包括：
如权利要求8所述的Nginx服务器、客户端以及多个云端存储；所述Nginx服务器通过Restful API与云端存储进行数据通信。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述数据处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911382325.XA CN111143417A (zh) | 2019-12-27 | 2019-12-27 | 数据处理方法、装置、***及Nginx服务器和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911382325.XA CN111143417A (zh) | 2019-12-27 | 2019-12-27 | 数据处理方法、装置、***及Nginx服务器和介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111143417A true CN111143417A (zh) | 2020-05-12 |
Family
ID=70521257
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911382325.XA Pending CN111143417A (zh) | 2019-12-27 | 2019-12-27 | 数据处理方法、装置、***及Nginx服务器和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111143417A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111694868A (zh) * | 2020-06-16 | 2020-09-22 | 北京同邦卓益科技有限公司 | 数据缓存方法、装置、电子设备及存储介质 |
| CN111885098A (zh) * | 2020-06-03 | 2020-11-03 | 中邮消费金融有限公司 | 对象存储集群的代理访问方法、***及计算机设备 |
| CN112887434A (zh) * | 2021-04-13 | 2021-06-01 | 上海哔哩哔哩科技有限公司 | 数据处理方法及装置 |
| CN113242285A (zh) * | 2021-04-30 | 2021-08-10 | 北京京东拓先科技有限公司 | 一种热点数据处理方法、装置和*** |
| CN114327302A (zh) * | 2022-03-11 | 2022-04-12 | 阿里云计算有限公司 | 处理对象存储访问的方法、装置及*** |
| CN115061952A (zh) * | 2022-08-19 | 2022-09-16 | 飞狐信息技术（天津）有限公司 | 一种数据缓存方法、装置、电子设备、及计算机存储介质 |
| CN115150422A (zh) * | 2021-03-31 | 2022-10-04 | 北京轻舟智航智能技术有限公司 | 数据处理装置和数据处理方法 |
| CN115525686A (zh) * | 2022-10-10 | 2022-12-27 | 中电金信软件有限公司 | 一种映射配置数据的缓存方法及装置 |
| CN116110607A (zh) * | 2023-04-13 | 2023-05-12 | 暨南大学 | 中药成分检测数据校对方法及*** |
| WO2023185454A1 (zh) * | 2022-03-28 | 2023-10-05 | 华为技术有限公司 | 一种数据访问方法及相关装置 |
| CN117724852A (zh) * | 2024-02-07 | 2024-03-19 | 微网优联科技(成都)有限公司 | 一种云电脑计算资源分配方法及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104349324A (zh) * | 2013-11-15 | 2015-02-11 | 上海触乐信息科技有限公司 | 移动终端号码智能防护***及方法 |
| CN104468807A (zh) * | 2014-12-12 | 2015-03-25 | 北京小渔无限信息技术有限公司 | 进行网页缓存的处理方法、云端装置、本地装置及*** |
| CN104753966A (zh) * | 2013-12-25 | 2015-07-01 | 明博教育科技有限公司 | 一种基于服务器和客户端缓存的资源文件查询方法及*** |
| CN105635196A (zh) * | 2014-10-27 | 2016-06-01 | 中国电信股份有限公司 | 一种获取文件数据的方法、***和应用服务器 |
| CN107194253A (zh) * | 2017-05-23 | 2017-09-22 | 维沃移动通信有限公司 | 一种应用程序处理方法、移动终端及云服务器 |
| CN107329963A (zh) * | 2016-04-29 | 2017-11-07 | 北京京东尚科信息技术有限公司 | 加速网页访问的方法和装置 |
| CN109120467A (zh) * | 2017-06-22 | 2019-01-01 | 中兴通讯股份有限公司 | 一种反向代理服务器监控方法、装置及反向代理服务器 |
-
2019
- 2019-12-27 CN CN201911382325.XA patent/CN111143417A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104349324A (zh) * | 2013-11-15 | 2015-02-11 | 上海触乐信息科技有限公司 | 移动终端号码智能防护***及方法 |
| CN104753966A (zh) * | 2013-12-25 | 2015-07-01 | 明博教育科技有限公司 | 一种基于服务器和客户端缓存的资源文件查询方法及*** |
| CN105635196A (zh) * | 2014-10-27 | 2016-06-01 | 中国电信股份有限公司 | 一种获取文件数据的方法、***和应用服务器 |
| CN104468807A (zh) * | 2014-12-12 | 2015-03-25 | 北京小渔无限信息技术有限公司 | 进行网页缓存的处理方法、云端装置、本地装置及*** |
| CN107329963A (zh) * | 2016-04-29 | 2017-11-07 | 北京京东尚科信息技术有限公司 | 加速网页访问的方法和装置 |
| CN107194253A (zh) * | 2017-05-23 | 2017-09-22 | 维沃移动通信有限公司 | 一种应用程序处理方法、移动终端及云服务器 |
| CN109120467A (zh) * | 2017-06-22 | 2019-01-01 | 中兴通讯股份有限公司 | 一种反向代理服务器监控方法、装置及反向代理服务器 |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111885098A (zh) * | 2020-06-03 | 2020-11-03 | 中邮消费金融有限公司 | 对象存储集群的代理访问方法、***及计算机设备 |
| CN111885098B (zh) * | 2020-06-03 | 2021-06-29 | 中邮消费金融有限公司 | 对象存储集群的代理访问方法、***及计算机设备 |
| CN111694868A (zh) * | 2020-06-16 | 2020-09-22 | 北京同邦卓益科技有限公司 | 数据缓存方法、装置、电子设备及存储介质 |
| CN115150422A (zh) * | 2021-03-31 | 2022-10-04 | 北京轻舟智航智能技术有限公司 | 数据处理装置和数据处理方法 |
| CN112887434B (zh) * | 2021-04-13 | 2023-05-23 | 上海哔哩哔哩科技有限公司 | 数据处理方法及装置 |
| CN112887434A (zh) * | 2021-04-13 | 2021-06-01 | 上海哔哩哔哩科技有限公司 | 数据处理方法及装置 |
| CN113242285A (zh) * | 2021-04-30 | 2021-08-10 | 北京京东拓先科技有限公司 | 一种热点数据处理方法、装置和*** |
| CN114327302A (zh) * | 2022-03-11 | 2022-04-12 | 阿里云计算有限公司 | 处理对象存储访问的方法、装置及*** |
| WO2023169269A1 (zh) * | 2022-03-11 | 2023-09-14 | 阿里云计算有限公司 | 处理对象存储访问的方法、装置及*** |
| WO2023185454A1 (zh) * | 2022-03-28 | 2023-10-05 | 华为技术有限公司 | 一种数据访问方法及相关装置 |
| CN115061952B (zh) * | 2022-08-19 | 2022-12-27 | 飞狐信息技术（天津）有限公司 | 一种数据缓存方法、装置、电子设备、及计算机存储介质 |
| CN115061952A (zh) * | 2022-08-19 | 2022-09-16 | 飞狐信息技术（天津）有限公司 | 一种数据缓存方法、装置、电子设备、及计算机存储介质 |
| CN115525686B (zh) * | 2022-10-10 | 2023-06-13 | 中电金信软件有限公司 | 一种映射配置数据的缓存方法及装置 |
| CN115525686A (zh) * | 2022-10-10 | 2022-12-27 | 中电金信软件有限公司 | 一种映射配置数据的缓存方法及装置 |
| CN116110607A (zh) * | 2023-04-13 | 2023-05-12 | 暨南大学 | 中药成分检测数据校对方法及*** |
| CN116110607B (zh) * | 2023-04-13 | 2023-06-09 | 暨南大学 | 中药成分检测数据校对方法及*** |
| CN117724852A (zh) * | 2024-02-07 | 2024-03-19 | 微网优联科技(成都)有限公司 | 一种云电脑计算资源分配方法及装置 |
| CN117724852B (zh) * | 2024-02-07 | 2024-05-07 | 微网优联科技(成都)有限公司 | 一种云电脑计算资源分配方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111143417A (zh) | 数据处理方法、装置、***及Nginx服务器和介质 | |
| US8645453B2 (en) | Method and system of processing cookies across domains | |
| US8438251B2 (en) | Methods and systems for implementing a virtual storage network | |
| CN113010818B (zh) | 访问限流方法、装置、电子设备及存储介质 | |
| CN101533410B (zh) | 面向移动终端的widget内容缓存方法 | |
| US20130227047A1 (en) | Methods for managing content stored in cloud-based storages | |
| KR20160069445A (ko) | 웹 어플리케이션 관리를 위한 사용자 장치 및 그 방법 | |
| JP2018518733A (ja) | ファイル操作方法及び装置 | |
| JP2016526230A (ja) | ウェブ・ページのロードを最適化するためのコンピュータ・プログラム製品、システム、および方法 | |
| TWI461943B (zh) | 實現多個視窗同時對網路頁面進行解析顯示之方法和裝置 | |
| CN104899274B (zh) | 一种内存数据库高效远程访问方法 | |
| US10402464B2 (en) | Methods and apparatuses for opening a webpage, invoking a client, and creating a light application | |
| CN106817388B (zh) | 虚拟机、宿主机获取数据的方法、装置及访问数据的*** | |
| CN103473326A (zh) | 一种提供搜索建议的方法和装置 | |
| WO2019041670A1 (zh) | 一种降低功能页面请求次数的方法、存储介质、设备及*** | |
| CN105138649A (zh) | 数据的搜索方法、装置及终端 | |
| CN110222046B (zh) | 列表数据的处理方法、装置、服务器和存储介质 | |
| US11146860B2 (en) | Service processing method, device, and intelligent terminal for obtaining and displaying data based on texture data corresponding to a target service | |
| CN105187562A (zh) | 操作远程文件的***及方法 | |
| US9787755B2 (en) | Method and device for browsing network data, and storage medium | |
| CN108173898A (zh) | 用于资源访问服务的方法、装置及终端设备 | |
| CN103685472A (zh) | 用于提供移动设备所对应的资源信息的方法与设备 | |
| US11288336B2 (en) | Systems and methods for providing content items in situations involving suboptimal network conditions | |
| KR101498920B1 (ko) | 오프라인 실행을 위한 웹 페이지 사전 캐싱 시스템 및 방법 | |
| CN105426489A (zh) | 基于内存计算的分布式可扩展数据搜索*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |