CN113779326A - 数据处理方法、设备、***以及存储介质 - Google Patents

数据处理方法、设备、***以及存储介质 Download PDF

Info

Publication number
CN113779326A
CN113779326A CN202110363237.6A CN202110363237A CN113779326A CN 113779326 A CN113779326 A CN 113779326A CN 202110363237 A CN202110363237 A CN 202110363237A CN 113779326 A CN113779326 A CN 113779326A
Authority
CN
China
Prior art keywords
server
basic data
data
intermediate server
memory space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110363237.6A
Other languages
English (en)
Inventor
宋振亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Tuoxian Technology Co Ltd
Original Assignee
Beijing Jingdong Tuoxian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Tuoxian Technology Co Ltd filed Critical Beijing Jingdong Tuoxian Technology Co Ltd
Priority to CN202110363237.6A priority Critical patent/CN113779326A/zh
Publication of CN113779326A publication Critical patent/CN113779326A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/903Querying
    • G06F16/90335Query processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/903Querying
    • G06F16/9032Query formulation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供一种数据处理方法、设备、***以及存储介质,方法包括接收用户服务器发送的查询操作请求,其中,查询操作请求用于查询基础数据;根据查询操作请求从中间服务器的内存空间中读取基础数据,并向用户服务器发送基础数据;其中,基础数据永久性存储在数据库服务器中,且基础数据缓存在中间服务器的内存空间中,中间服务器的内存空间大小是根据基础数据的数据量确定的。本方案使用物理内存空间缓存基础数据,保证了查询的性能,基于基础数据的数据量确定内存空间大小,实现轻量化部署中间服务器。

Description

数据处理方法、设备、***以及存储介质
技术领域
本申请涉及计算机***技术,尤其涉及一种数据处理方法、设备、***以及存储介质。
背景技术
在进行软件***开发过程中,通常会涉及到基础数据的增加、删除、修改等操作。其中,基础数据是指软件***中底层数据,是其他数据的基础。
通常情况下,相较于其他数据,基础数据的整体数量较少。由于其他数据需要以该基础数据为基础,基础数据被频繁查询,但基础数据不会被频繁更新,且一旦更新要保证数据一致性。
然而,现有技术中还没有适用于基础数据的增删改操作的数据处理方案。
发明内容
本申请提供一种数据处理方法、设备、***以及存储介质,旨在提供一种针对基础数据的数据处理方案。
第一方面,本申请提供一种数据处理方法,方法应用于中间服务器,方法包括:
接收用户服务器发送的查询操作请求,其中,查询操作请求用于查询基础数据;
根据查询操作请求从中间服务器的内存空间中读取基础数据,并向用户服务器发送基础数据;
其中,基础数据永久性存储在数据库服务器中,且基础数据缓存在中间服务器的内存空间中,中间服务器的内存空间大小是根据基础数据的数据量确定的。
可选地,在根据查询操作请求从中间服务器的内存空间中读取基础数据之前,方法还包括:
获取用于操作基础数据的缓存操作指令;
根据缓存操作指令对中间服务器的内存空间中的基础数据进行操作。
在上述技术方案中,基础数据有更新或者新增时,获取基础数据的缓存操作指令,以根据缓存操作指令将基础数据加载至内存空间内,以保证数据库服务器和中间服务器内基础数据的一致性。
可选地,获取用于操作基础数据的缓存操作指令,具体包括:
接收用户服务器发送缓存操作指令。
可选地,方法还包括:
当操作基础数据出现操作失败时,向用户服务器发送操作失败消息,以使用户服务器向消息服务器发送缓存操作消息。
可选地,方法还包括:
根据缓存操作消息对中间服务器的内存空间中的基础数据进行操作。
在上述技术方案中,由用户服务器向中间服务器发送缓存操作指令,以使中间服务器根据缓存操作指令在内存空间内缓存基础数据,若本次缓存数据失败,再由用户服务器向中间服务器发布缓存操作消息,中间服务器通过轮询消息服务器内消息,在接收到缓存操作消息时,再次向内存空间内缓存数据,双重数据缓存保证,提高数据一致性。
可选地,获取用于操作基础数据的缓存操作指令,具体包括:
当中间服务器上电时,生成缓存操作指令;
相应地,根据缓存操作指令对中间服务器的内存空间中的基础数据进行操作,具体包括:
根据缓存操作指令从数据库服务器中读取全部的基础数据;
将基础数据缓存在内存空间内。
第二方面,本申请提供一种数据处理方法,方法应用于用户服务器,方法包括:
向中间服务器发送查询操作请求,其中,查询操作请求用于查询基础数据,以使中间服务器根据查询操作请求从中间服务器的内存空间中读取基础数据,基础数据永久性存储在数据库服务器中,且基础数据缓存在中间服务器的内存空间中,中间服务器的内存空间大小是根据基础数据库确定的;
接收中间服务器发送基础数据。
可选地,方法还包括:
向中间服务器发送缓存操作指令,以使中间服务器根据缓存操作指令对内存空间中的基础数据进行操作。
可选地,方法还包括:
若接收到中间服务器发送操作失败消息时,向消息服务器发送缓存操作消息,以使中间服务器对的内存空间中的基础数据进行操作。
可选地,方法还包括:
向数据库服务器发送数据库操作指令,其中,数据库操作指令包括待操作的基础数据,以使数据库服务器对基础数据进行操作。
第三方面,本申请提供一种中间服务器,包括:
存储器;用于存储处理器可执行指令的存储器;
其中,处理器被配置为如第一方面及可选方案所涉及的数据处理方法。
第四方面,本申请提供一种用户服务器,包括:存储器,处理器;
存储器;用于存储处理器可执行指令的存储器;
其中,处理器被配置为如第二方面及可选方案所涉及的数据处理方法。
第五方面,本申请提供一种服务***,包括:第三方面所涉及的中间服务器、第四方面所涉及的用户服务器、数据库服务器以及消息服务器。
第六方面,本申请提供一种计算机可读存储介质,其特征在于,计算机可读存储介质中存储有计算机执行指令,计算机执行指令被处理器执行时用于实现如第一方面及可选方案和第二方面及可选方案所涉及的数据处理方法。
第七方面,本申请提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现第一方面及可选方案和第二方面及可选方案所涉及的数据处理方法。
本申请提供一种数据处理方法、设备、***以及存储介质,接收用户服务器发送的查询操作请求,根据查询操作请求从中间服务器的内存空间中读取基础数据,并向用户服务器发送基础数据。使用物理内存空间缓存基础数据,保证了查询的性能,减少了查询数据库的磁盘IO阻塞。中间服务器的内存空间大小是根据基础数据的数据量确定的,可以实现轻量化部署中间服务器。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1为本申请一实施例提供的服务***的结构示意图;
图2为本申请一实施例提供的数据处理方法的流程示意图;
图3为本申请另一实施例提供的数据处理方法的流程示意图;
图4为本申请另一实施例提供的数据处理方法的流程示意图;
图5为本申请另一实施例提供的数据处理装置的结构示意图;
图6为本申请另一实施例提供的数据处理装置的结构示意图;
图7为本申请另一实施例提供的中间服务器的结构示意图。
通过上述附图,已示出本申请明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围,而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在进行软件***开发过程中,通常会涉及到基础数据的增加、删除、修改等操作。其中,基础数据是指软件***中底层数据,是其他数据的基础。例如:在仓库管理***中,每个货物的名称、货物的供应商名称等属于基础数据,仓库管理***中其他数据以该基础数据为基础,例如:货物的出库频次、货物的库存数量等都需要基于货物的名称。又例如:企业办公***中,员工的姓名、性别、年龄等均属于基础数据,员工的考勤记录、办公用品申请记录等需要依据员工的姓名,不属于基础数据。
需要说明的是,此处所列举的基础数据目的在于解释说明基础数据,可以根据不同使用场景变更基础数据。
通常情况下,基础数据具备如下特点:第一,相较于其他数据,基础数据的整体数量较少。第二,由于其他数据需要以该基础数据为基础,基础数据被频繁查询,但不会被频繁更新,且一旦更新要保证数据一致性。
基于上述技术数据的特征分析,在开发软件***时必须考虑到如下几个方面:第一,必须考虑查询操作的响应性能。第二,必须考虑数据的一致性,也就是数据在修改或者新增时,要在部署有该软件***的所有设备上更新数据。
本申请提供一种数据处理方法、设备、***以及存储介质,旨在提供一种适用于基础数据的数据处理方案。本申请的技术构思是:轻量级部署中间服务器,也就是根据基础数据的数据量确定中间服务器的内存空间大小,直接将实时有效的基础数据缓存在中间服务器的物理内存空间中,可以实时响应查询数据请求,提升数据查询的查询性能,保证数据的高可用性。此外,在更新数据库服务器内基础数据时,部署用户服务器发起数据缓存指令,控制中间服务器将基础数据缓存在内存空间内,在中间服务器缓存数据失败后,用户服务器在向消息服务器发布缓存操作消息,中间服务器轮询消息服务器内消息,在接收到缓存操作消息后再次缓存数据,双重控制,可以保证数据一致性。
如图1所示,本申请一实施例提供一种数据处理***100,数据处理***100包括数据库服务器101、中间服务器102、用户服务器103、用户客户端104以及消息服务器105。
其中,中间服务器102和数据库服务器101之间通信连接,中间服务器102和用户服务器103之间通信连接,用户服务器103和数据库服务器101之间通信连接。
用户服务器103和用户客户端104之间通信连接。消息服务器105和中间服务器102之间通信连接,消息服务器105和用户服务器103之间也通信连接。
数据库服务器101用于永久性保存数据,在中间服务器102上电时,从数据库服务器101读取数据,并将所读取的数据保存在内存空间中。用户服务器103用于接收用户客户端104的数据操作请求。
消息服务器105起到监听和通知作用。在中间服务器缓存更新后的基础数据失败时,消息服务器105用于接收用户服务器103发布的消息,中间服务器102轮询消息服务器105内消息,并根缓存数据信息从数据库服务器中读取新增的基础数据。
数据处理***100中各个服务器以及用户客户端之间的数据交互过程在下面方法实施例中详细说明,此处不再赘述。
此处需要说明的是,为保证实现设备的水平扩容和平滑缩容,上述各个服务器采用服务器集群,也就是数据库服务器101、中间服务器102、用户服务器103以及消息服务器105采用服务器集群,若某个服务器节点宕机,集群内其他服务器也可以继续提供服务,以保证服务的整体可用性。
如图2,本申请提供一种数据处理方法,该方法应用于上述数据处理***,数据处理方法具体包括如下步骤:
S201、中间服务器接收用户服务器发送的查询操作请求。
其中,查询操作请求用于查询基础数据,基础数据是指软件***中底层数据,其他数据需要以基础数据的基础。
用户通过用户客户端发起基础数据的查询操作请求。用户服务器在接收到查询操作请求后,可以直接将查询操作请求转发至中间服务器,也可以将查询操作请求按照中间服务器和用户服务器之间的通信方式编码后,再发送至中间服务器。
S202、中间服务器根据查询操作请求从中间服务器的内存空间中读取基础数据。
其中,基础数据永久性存储在数据库服务器中,在中间服务器上电后,中间服务器会从数据库服务器中读取基础数据,并将基础数据存储在中间服务器的内存空间内,内存空间是指易失性存储器的存储空间。
由于基础数据的数据量比较小,所占用的中间服务器的内存空间也比较小,也就是普通资源配置的中间服务器即可满足基础数据的存储。中间服务器的内存空间大小可以根据基础数据的数据量确定。又基础数据作为其他数据的基础,被频繁的调用,需要实现快速响应。将基础数据存储在内存空间中,在接收到查询操作请求时,可以快速响应该请求。
中间服务器在接收到查询操作请求后,从查询操作请求中解析出待查询的基础数据,并从内存空间中读取出相应的基础数据。
S203、中间服务器向用户服务器发送基础数据。
其中,中间服务器从内存空间中获取到基础数据后,向用户服务器发送基础数据。
下面将本方案与部署Redis服务器集群方式作比较。其中,部署Redis服务器集群是指,由Redis服务器集群将基础数据缓存,由Redis服务器集群向用户提供基础数据,从而提高数据查询性能。
部署Redis服务器集群存在如下问题,第一,Redis服务器集群对服务器性能要求较高。第二,较低版本的Redis仅支持单线程查询,而通常情况下,由于基础数据的数量较小,Redis服务器集群也会缓存其他数据,避免出现由于仅缓存基础数据而出现Redis服务器集群资源严重浪费情况。也就是Redis中存在基础数据和其他数据竞争线程情况。第三,在Redis进行数据查询时,根据关键字进行一致性哈希计算,根据哈希计算结果定位到某个哈希槽位,又Redis缓存的数据散列且不均衡,因此,可能需要进行多次的哈希计算才能定位到基础数据,无法实现快速响应查询请求。第四,Redis是使用关键字和键值的结构存储数据,不适合关系型结构的存储方式。
本申请中部署中间服务器,中间服务器的内存空间根据基础数据的数据量配置,中间服务器性能要求显著降低。而本申请中间服务器的内存空间仅缓存基础数据,不存在基础数据和其他数据竞争线程的问题。
下面将本申请与部署ES服务器集群相比较。其中,使用ES服务器集群将基础数据存储到索引库中,调用方直接查询ES服务器集群的索引库,若ES服务器集群中没有查到数据,则直接访问数据库服务器。然而,在调用方查询基础数据时,还要考虑索引库的查询深分页问题,若不解决深分页问题,默认超过一万条数据后,性能将发生断崖式下跌。
在上述技术方案中,根据基础数据的数据量确定中间服务器的内存空间,并将基础数据缓存在内存空间内,在接收到用户服务器发起的查询操作请求时,直接从中间服务器的内存空间内读取基础数据,并向用户服务器返回基础数据。由于使用内存空间缓存基础数据,可以实现快速响应查询操作请求,以适应基础数据高并发地被查询的特点。且基础数据的数据量比较小,对中间服务器的内存空间大小要求不高,不额外增加***成本。
如图3所示,本申请另一实施例提供一种数据处理方法,该数据处理方法应用于上述数据处理***,该方法具体包括如下步骤:
S301、用户服务器向数据库服务器发送数据库操作指令。
其中,在用户通过用户客户端对数据库内基础数据进行操作时,用户客户端向用户服务器发送修改操作请求、删除操作请求或者新增操作请求。修改操作请求包括修改前基础数据和修改后的基础数据。新增操作请求包括新增的基础数据。删除操作请求包括待删除的基础数据。
用户服务器在接收到修改操作请求、删除操作请求或者新增操作请求后生成操作指令,其中,操作指令包括待操作的基础数据,以使数据服务器根将操作指令对存储空间内数据进行操作。
S302、数据库服务器根据数据库操作指令对基础数据进行操作。
其中,若数据库指令用于修改基础数据时,待操作的基础数据包括修改前的基础数据的标识信息和修改后的基础数据。数据库服务器通过覆盖修改前的基础数据的方式将修改后的基础数据永久性存储在存储空间内。
若数据库指令用于新增基础数据,待操作的基础数据包括新增的基础数据。数据库服务器将新增的基础数据永久性存储在存储空间内。
若数据库指令用于删除基础数据,待操作的基础数据包括待删除的基础数据,数据库服务器将待删除的基础数据从存储空间内删除。
S303、中间服务器获取用于操作基础数据的缓存操作指令。
其中,缓存操作指令又可以是在两种情况下触发的。一种是中间服务器上电时自身触发生成的缓存操作指令。另一种是由用户服务器生成的,用户服务器在接收到修改操作请求、删除操作请求或者新增操作请求时,均会生成缓存操作指令。
S304、根据缓存操作指令对中间服务器的内存空间中的基础数据进行操作。
其中,若缓存操作指令是在中间服务器上电时生成的,中间服务器在接收到缓存操作指令后,从数据服务器中读取所有基础数据,并将基础数据缓存在内存空间内。
若基础数据的缓存操作指令是用户服务器生成的,中间服务器根据具体的缓存操作类型对内存空间的数据进行操作。
若缓存操作指令用于在内存空间内新增基础数据,从缓存操作指令中提取新增的基础数据的标识信息,并根据标识信息从数据库服务器中读取基础数据,将该新增的基础数据缓存在内存空间内。
若缓存操作指令用于在内存空间内删除无效基础数据,从缓存操作指令中提取待删除的基础数据的标识信息,并根据标识信息从内存空间内删除该基础数据。
若缓存操作指令用于在内存空间内修改基础数据,从缓存操作指令中提取修改后的基础数据和待删除的基础数据的标识信息,并根据标识信息从内存空间中删除该基础数据,并将该修改后的基础数据缓存在内存空间内。
S305、中间服务器接收用户服务器发送的查询操作请求。
S306、中间服务器根据查询操作请求从中间服务器的内存空间中读取基础数据。
S307、中间服务器向用户服务器发送基础数据。
其中,S305至S307已经在上述实施例中详细说明,此处不再赘述。
下面将本方案与部署Redis服务器集群方式作比较。Redis服务器集群是通过自身的淘汰缓存关键字的策略,被动的解决数据库服务器与Redis服务器集群内缓存的数据一致性问题。由于采用被动方式,很容易引起缓存击穿或者缓存雪崩等问题,导致基础数据查询瘫痪。而本申请中,在用户服务器向数据库服务器发送数据库操作指令后,也生成缓存操作指令,以实现数据库服务器内数据和中间服务器内数据高度一致。
在上述实施例中,在用户通过用户客户端更新数据库服务器内基础数据时,由用户服务器向中间服务器发送缓存操作指令,以使中间服务器及时将基础数据缓存至内存,保证中间服务器和数据库服务器内数据一致性。
如图4所示,本申请另一实施例提供一种数据处理方法,该数据处理方法应用于上述数据处理***,该方法具体包括如下步骤:
S401、用户服务器向数据库服务器发送数据库操作指令。
S402、数据库服务器根据数据库操作指令对存储空间内的基础数据进行操作。
其中,S401和S402已经在上述实施例中详细说明,此处不再赘述。
S403、中间服务器获取用于操作基础数据的缓存操作指令。
其中,用户服务器在接收到客户端发送的修改操作请求、删除操作请求或者新增操作请求,根据修改操作请求、删除操作请求或者新增操作请求生成缓存操作指令。用户服务器通过远程调用接口(Remote Procedure Call,简称:RPC)向中间服务器发送缓存操作指令。
S404、根据缓存操作指令对中间服务器的内存空间中的基础数据进行操作。
S405、若操作基础数据出现操作失败时,中间服务器向用户服务器发送操作失败消息。
其中,在中间服务器根据缓存操作指令对基础数据进行操作后,向用户服务器返回数据存储结果。若操作成功后,返回操作成功消息。若操作失败后,返回操作失败消息。
S406、若接收到中间服务器发送操作失败消息时,用户服务器向消息服务器发送缓存操作消息。
其中,用户服务器接收到操作失败消息时,表示中间服务器没有成功对基础数据进行操作,例如:新增基础数据、删除基础数据或者修改基础数据,用户服务器生成缓存操作消息,并向消息服务器发布缓存操作消息。
S407、中间服务器从消息服务器处接收缓存操作消息。
其中,中间服务器从消息服务器中轮询读取消息,以确定是否接收到缓存操作消息。
S408、中间服务器根据缓存操作消息对内存空间内基础数据进行处理。
在上述技术方案中,在需要对数据库服务器内基础数据进行操作时,先由用户服务器向中间服务器发起缓存操作指令,中间服务器根据缓存操作指令对内存空间内基础数据进行缓存,若中间服务器无法成功响应缓存操作指令,由用户服务器向消息服务器发布缓存操作消息,中间服务器从消息服务器处轮询到缓存操作消息,继续将对内存空间内基础数据进行操作,以确保基础数据一致性。
如图5所示,本申请另一实施例提供一种数据处理装置,该装置500包括:
第一接收模块501,用于接收用户服务器发送的查询操作请求,其中,查询操作请求用于查询基础数据;
处理模块502,用于根据查询操作请求从中间服务器的内存空间中读取基础数据,并向用户服务器发送基础数据;
其中,基础数据永久性存储在数据库服务器中,且基础数据缓存在中间服务器的内存空间中,中间服务器的内存空间大小是根据基础数据的数据量确定的。
可选地,处理模块502还用于:
获取用于操作基础数据的缓存操作指令;
根据缓存操作指令对中间服务器的内存空间中的基础数据进行操作。
可选地,处理模块502具体用于:
接收用户服务器发送缓存操作指令。
可选地,处理模块502还用于:
当操作基础数据出现操作失败时,向用户服务器发送操作失败消息,以使用户服务器向消息服务器发送缓存操作消息。
可选地,处理模块502还用于:
根据缓存操作消息对中间服务器的内存空间中的基础数据进行操作。
可选地,处理模块502具体用于:
当中间服务器上电时,生成缓存操作指令;
根据缓存操作指令从数据库服务器中读取全部的基础数据;
将基础数据缓存在内存空间内。
如图6所示,本申请另一实施例提供一种数据处理装置600,该装置600包括:
第二发送模块601,用于向中间服务器发送查询操作请求,其中,查询操作请求用于查询基础数据,以使中间服务器根据查询操作请求从中间服务器的内存空间中读取基础数据,基础数据永久性存储在数据库服务器中,且基础数据缓存在中间服务器的内存空间中,中间服务器的内存空间大小是根据基础数据库确定的;
第二接收模块602,用于接收中间服务器发送基础数据。
可选地,第二发送模块601还用于:
向中间服务器发送缓存操作指令,以使中间服务器根据缓存操作指令对内存空间中的基础数据进行操作。
可选地,第二发送模块601还用于:
若接收到中间服务器发送操作失败消息时,向消息服务器发送缓存操作消息,以使中间服务器对的内存空间中的基础数据进行操作。
可选地,第二发送模块601还用于:
向数据库服务器发送数据库操作指令,其中,数据库操作指令包括待操作的基础数据,以使数据库服务器对基础数据进行操作。
如图7所示,本申请另一实施例提供的服务器700,该服务器为中间服务器或者用户服务器,服务器700包括:发送器701、接收器702、存储器703、及处理器704。
其中,发送器701用于发送指令和数据,接收器702用于接收指令和数据,存储器703用于存储计算机执行指令,处理器704,用于执行存储器存储的计算机执行指令,以实现上述实施例中数据处理方法所执行的各个步骤。具体可以参见前述数据处理方法实施例中的相关描述。
可选地,上述存储器703既可以是独立的,也可以跟处理器704集成在一起。当存储器703独立设置时,该处理设备还包括总线,用于连接存储器703和处理器704。
本申请实施例还提供一种计算机可读存储介质,计算机可读存储介质中存储有计算机执行指令,当处理器执行计算机执行指令时,实现如上处理设备所执行的数据处理方法。
本申请实施例还提供一种计算机程序产品,包括指令,指令被处理器执行时实现如上处理设备所执行的数据处理方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求书指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。

Claims (15)

1.一种数据处理方法,其特征在于,所述方法应用于中间服务器,所述方法包括:
接收用户服务器发送的查询操作请求,其中,所述查询操作请求用于查询基础数据;
根据所述查询操作请求从所述中间服务器的内存空间中读取所述基础数据,并向所述用户服务器发送所述基础数据;
其中,基础数据永久性存储在数据库服务器中,且所述基础数据缓存在所述中间服务器的内存空间中,所述中间服务器的内存空间大小是根据所述基础数据的数据量确定的。
2.根据权利要求1所述的方法,其特征在于,在根据所述查询操作请求从所述中间服务器的内存空间中读取所述基础数据之前,所述方法还包括:
获取用于操作所述基础数据的缓存操作指令;
根据所述缓存操作指令对所述中间服务器的内存空间中的所述基础数据进行操作。
3.根据权利要求2所述的方法,其特征在于,获取用于操作所述基础数据的缓存操作指令,具体包括:
接收所述用户服务器发送所述缓存操作指令。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
当操作所述基础数据出现操作失败时,向所述用户服务器发送操作失败消息,以使所述用户服务器向消息服务器发送缓存操作消息。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
根据所述缓存操作消息对所述中间服务器的内存空间中的所述基础数据进行操作。
6.根据权利要求2所述的方法,其特征在于,获取用于操作所述基础数据的缓存操作指令,具体包括:
当所述中间服务器上电时,生成所述缓存操作指令;
相应地,根据所述缓存操作指令对所述中间服务器的内存空间中的所述基础数据进行操作,具体包括:
根据所述缓存操作指令从数据库服务器中读取全部的基础数据;
将所述基础数据缓存在所述内存空间内。
7.一种数据处理方法,其特征在于,所述方法应用于用户服务器,所述方法包括:
向中间服务器发送查询操作请求,其中,所述查询操作请求用于查询基础数据,以使所述中间服务器根据所述查询操作请求从所述中间服务器的内存空间中读取所述基础数据,所述基础数据永久性存储在数据库服务器中,且所述基础数据缓存在所述中间服务器的内存空间中,所述中间服务器的内存空间大小是根据所述基础数据库确定的;
接收所述中间服务器发送所述基础数据。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
向所述中间服务器发送缓存操作指令,以使所述中间服务器根据所述缓存操作指令对所述内存空间中的所述基础数据进行操作。
9.根据权利要求8所述的方法,其特征在于,所述方法还包括:
若接收到所述中间服务器发送操作失败消息时,向消息服务器发送缓存操作消息,以使所述中间服务器对所述的内存空间中的所述基础数据进行操作。
10.根据权利要求7所述的方法,其特征在于,所述方法还包括:
向数据库服务器发送数据库操作指令,其中,所述数据库操作指令包括待操作的基础数据,以使所述数据库服务器对所述基础数据进行操作。
11.一种中间服务器,其特征在于,包括:存储器,处理器;
存储器;用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为如权利要求1至6中任意一项所述的数据处理方法。
12.一种用户服务器,其特征在于,包括:存储器,处理器;
存储器;用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为如权利要求7至10中任意一项所述的数据处理方法。
13.一种数据处理***,其特征在于,包括:如权利要求12的中间服务器、如权利要求12的用户服务器、数据库服务器以及消息服务器。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如权利要求1至6中任意一项以及如权利要求7至10中任意一项所述的数据处理方法。
15.一种计算机程序产品,其特征在于,包括计算机程序,该计算机程序被处理器执行时实现权利要求1至6中任意一项以及如权利要求7至10中任意一项的数据处理方法。
CN202110363237.6A 2021-04-02 2021-04-02 数据处理方法、设备、***以及存储介质 Pending CN113779326A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110363237.6A CN113779326A (zh) 2021-04-02 2021-04-02 数据处理方法、设备、***以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110363237.6A CN113779326A (zh) 2021-04-02 2021-04-02 数据处理方法、设备、***以及存储介质

Publications (1)

Publication Number Publication Date
CN113779326A true CN113779326A (zh) 2021-12-10

Family

ID=78835631

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110363237.6A Pending CN113779326A (zh) 2021-04-02 2021-04-02 数据处理方法、设备、***以及存储介质

Country Status (1)

Country Link
CN (1) CN113779326A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116248762A (zh) * 2022-12-02 2023-06-09 中山市可讯科技有限公司 一种基于不稳定请求的缓存***及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116248762A (zh) * 2022-12-02 2023-06-09 中山市可讯科技有限公司 一种基于不稳定请求的缓存***及方法

Similar Documents

Publication Publication Date Title
CN110324177B (zh) 一种微服务架构下的服务请求处理方法、***及介质
CN107943594B (zh) 数据获取方法和装置
CN101090401B (zh) 一种群集环境下的数据缓存方法及***
CN111464615B (zh) 请求处理方法、装置、服务器及存储介质
US8788458B2 (en) Data caching for mobile applications
CN102682037A (zh) 一种数据获取方法、***及装置
CN111309785B (zh) 基于Spring框架的数据库访问方法、装置、计算机设备和介质
CN111291079A (zh) 一种数据的查询方法和装置
CN104731516A (zh) 一种存取文件的方法、装置及分布式存储***
CN111221469B (zh) 同步缓存数据的方法、装置和***
CN109167840B (zh) 一种任务推送方法、节点自治服务器及边缘缓存服务器
CN110719187B (zh) 配置管理方法、***及计算机可读存储介质
CN102411598A (zh) 一种实现数据一致性的方法及其***
CN105335170A (zh) 分布式***及数据增量更新方法
CN105159845A (zh) 存储器读取方法
CN105095313A (zh) 一种数据访问方法和设备
CN110781149A (zh) 管理直播间信息的方法、装置、设备及存储介质
CN109254981B (zh) 一种分布式缓存***的数据管理方法和装置
CN111582824B (zh) 云资源同步方法、装置、设备及存储介质
US20160253361A1 (en) Incorporating external data into a database schema
CN114629883B (zh) 服务请求的处理方法、装置、电子设备及存储介质
CN113779326A (zh) 数据处理方法、设备、***以及存储介质
CN111125170A (zh) 一种微服务的跨服务数据获取方法、装置及微服务设备
US7565664B2 (en) Distributed object controlling method and its carrying out system
CN109165078B (zh) 一种虚拟分布式服务器及其访问方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination