CN109150929B - 高并发场景下的数据请求处理方法和装置 - Google Patents

高并发场景下的数据请求处理方法和装置 Download PDF

Info

Publication number
CN109150929B
CN109150929B CN201710451364.5A CN201710451364A CN109150929B CN 109150929 B CN109150929 B CN 109150929B CN 201710451364 A CN201710451364 A CN 201710451364A CN 109150929 B CN109150929 B CN 109150929B
Authority
CN
China
Prior art keywords
data
virtual machine
memory database
high concurrency
cache
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710451364.5A
Other languages
English (en)
Other versions
CN109150929A (zh
Inventor
李乾龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201710451364.5A priority Critical patent/CN109150929B/zh
Publication of CN109150929A publication Critical patent/CN109150929A/zh
Application granted granted Critical
Publication of CN109150929B publication Critical patent/CN109150929B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1095Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45504Abstract machines for programme code execution, e.g. Java virtual machine [JVM], interpreters, emulators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • G06F2009/45583Memory management, e.g. access or allocation

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种高并发场景下的数据请求处理方法和装置,涉及计算机技术领域。其中,本发明实施例的方法包括:定时地将高并发数据同步至第一虚拟机缓存;根据数据请求从所述第一虚拟机缓存获取数据;如果所述第一虚拟机缓存不存在与所述数据请求对应的数据,则从第一内存数据库获取与所述数据请求对应的数据。通过以上方法,能够在高并发数据请求场景下缩短接口响应时间、减小数据库压力,同时减少高并发数据请求对正常业务请求的影响。

Description

高并发场景下的数据请求处理方法和装置
技术领域
本发明涉及计算机技术领域,尤其涉及一种高并发场景下的数据请求处理方法和装置。
背景技术
随着互联网数据的***式增长,越来越多的应用服务器会面临高并发数据请求的场景。比如,网上论坛在某些热点新闻事件发生后,可能会遇到发帖量和回帖量短时间激增的情况;比如,微博、知乎等门户网站的热门话题、热门新闻的访问量可能会出现短时间激增的情况;比如,电子商务网站在有节日促销活动、秒杀活动时可能遇到访问量激增的情况;又比如,证劵、银行等网上交易平台可能会发生短时间交易量激增的情况。
在现有技术中,为了减小高并发数据请求对MySQL数据库的压力,越来越多的应用服务商采用了NoSQL数据库技术。在实现本发明过程中,发明人发现现有技术中至少存在如下问题:由于正常数据和高并发数据很可能分到同一NoSQL数据库分片上,因此,在高并发场景下,通过同一地方去取高并发数据和正常数据,不仅会导致接口响应时间过长、数据库压力增大,而且会对正常业务请求造成影响。
发明内容
有鉴于此,本发明实施例提供一种高并发场景下的数据请求处理方法和装置,以在高并发数据请求场景下缩短接口响应时间、减小数据库压力,同时减少高并发数据请求对正常业务请求的影响。
为实现上述目的,根据本发明实施例的一个方面,提供了一种高并发场景下的数据请求处理方法。
本发明实施例的高并发场景下的数据请求处理方法包括:定时地将高并发数据同步至第一虚拟机缓存;根据数据请求从所述第一虚拟机缓存获取数据;如果所述第一虚拟机缓存不存在与所述数据请求对应的数据,则从第一内存数据库获取与所述数据请求对应的数据。
可选地,在所述定时地将高并发数据同步至第一虚拟机缓存之前,所述方法还包括:定时地准备高并发数据。
可选地,所述定时地准备高并发数据包括:定时地从关系型数据库获取高并发数据,并将获取的高并发数据以键值对形式存储至第二内存数据库;所述定时地将高并发数据同步至第一虚拟机缓存包括:通过接口调用方式将所述第二内存数据库中的高并发数据同步至第一虚拟机缓存。
可选地,所述定时地准备高并发数据包括:定时地从关系型数据库获取高并发数据,并将获取的高并发数据以键值对形式存储至第二虚拟机缓存;所述定时地将高并发数据同步至第一虚拟机缓存包括:通过接口调用方式将所述第二虚拟机缓存中的高并发数据同步至第一虚拟机缓存。
可选地,所述第一虚拟机缓存包括:JVM缓存。
可选地,所述第一内存数据库包括:Redis内存数据库。
为实现上述目的,根据本发明实施例的另一方面,提供了一种高并发场景下的数据请求处理装置。
本发明实施例的高并发场景下的数据请求处理装置包括:定时同步模块,用于定时地将高并发数据同步至第一虚拟机缓存;获取模块,用于根据数据请求从所述第一虚拟机缓存获取数据;如果所述第一虚拟机缓存不存在与所述数据请求对应的数据,则从第一内存数据库获取与所述数据请求对应的数据。
可选地,所述装置还包括:数据准备模块,用于定时地准备高并发数据。
可选地,所述数据准备模块定时地准备高并发数据包括:定时地从关系型数据库获取高并发数据,并将获取的高并发数据以键值对形式存储至第二内存数据库;所述定时同步模块将高并发数据同步至第一虚拟机缓存包括:通过接口调用方式将所述第二内存数据库中的高并发数据同步至所述第一虚拟机缓存。
可选地,所述数据准备模块定时地准备高并发数据包括:定时地从关系型数据库获取高并发数据,并将获取的高并发数据以键值对形式存储至第二虚拟机缓存;所述定时同步模块将高并发数据同步至第一虚拟机缓存包括:通过接口调用方式将所述第二虚拟机缓存中的高并发数据同步至所述第一虚拟机缓存。
可选地,所述第一虚拟机缓存包括:JVM缓存。
可选地,所述第一内存数据库包括:Redis内存数据库。
为实现上述目的,根据本发明实施例的再一个方面,提供了一种服务器。
本发明实施例的服务器,包括:一个或多个处理器;以及,存储装置,用于存储一个或多个程序;当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明实施例的高并发场景下的数据请求处理方法。
为实现上述目的,根据本发明实施例的又一个方面,提供了一种计算机可读介质。
本发明实施例的计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现本发明实施例的高并发场景下的数据请求处理方法。
上述发明中的一个实施例具有如下优点或有益效果:在本发明实施例中,通过定时地将高并发数据同步至第一虚拟机缓存,并且,在接收到数据请求时,先从第一虚拟机缓存获取数据,在获取不到数据时再从第一内存数据库获取数据。这样一来,在接收到高并发数据请求时,能够直接通过第一虚拟机缓存获取所需数据,不仅缩短了接口响应时间、减小了数据库压力,而且能够减少高并发数据请求对正常业务请求的影响。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明,不构成对本发明的不当限定。其中:
图1是根据本发明实施例的高并发场景下的数据请求处理方法的主要步骤示意图;
图2是根据具体实施例一的高并发场景下的数据请求处理方法的流程示意图;
图3是根据本发明实施例的高并发场景下的数据请求处理装置的主要模块示意图;
图4是本发明实施例可以应用于其中的示例性***架构图;
图5是适于用来实现本发明实施例的服务器的计算机***的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明,其中包括本发明实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本发明的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
需要指出的是,在不冲突的情况下,本发明中的实施例以及实施例中的特征可以相互组合。
图1是根据本发明实施例的高并发场景下的数据请求处理方法的主要步骤示意图。如图1所示,本发明实施例的高并发场景下的数据请求处理方法主要包括以下步骤:
步骤S101、定时地将高并发数据同步至第一虚拟机缓存。
在本发明实施例中,预先将数据分为高并发数据和正常数据,并将高并发数据定时同步至第一虚拟机缓存。也就是说,第一虚拟机缓存只存储高并发数据,而不存储正常数据。其中,高并发数据是指某一时刻访问量比较大的数据,正常数据是指访问量一般的数据。例如,可将微博、知乎等门户网站的热门话题、热门新闻作为高并发数据,而将一般话题、一般新闻作为正常数据;例如,可将电子商务网站上参与节日促销活动、秒杀活动的商品及商家数据作为高并发数据,而将没有参与促销、秒杀活动的商品及商家数据作为正常数据。
其中,第一虚拟机缓存是指用于处理数据请求(高并发数据请求或正常数据请求)的某一功能模块所在的服务器上的本地虚拟机缓存。第一虚拟机缓存可优先选用JVM(Java虚拟机)缓存。JVM是一种能够运行Java字节码的虚拟机,一般以堆栈结构机器来实现。例如,对于部署某一Java功能模块的300台服务器来说,第一虚拟机缓存是指这300台服务器上的JVM缓存,可每隔5分钟将高并发数据同步至这300台服务器上的JVM缓存中。
步骤S102、根据数据请求从所述第一虚拟机缓存获取数据。如果所述第一虚拟机缓存存在与所述数据请求对应的数据,则进入步骤S103;否则,进入步骤S104。
步骤S103、将第一虚拟机缓存中的与所述数据请求对应的数据取出。
步骤S104、从第一内存数据库获取与所述数据请求对应的数据。
在本发明实施例中,第一内存数据库存储有正常数据和高并发数据。具体实施时,第一内存数据库可优先选用Redis内存数据库。例如,在部署某一Java功能模块的300台服务器之外,可在另外的16台服务器单独部署第一内存数据库。可理解的是,以上服务器的个数、部署方案只是示例性的。在不影响本发明实施的情况下,本领域技术人员可以对服务器的个数、部署方案进行改动。比如,部署某一Java功能模块的服务器为200台,部署第一内存数据库的服务器为10台。又比如,部署某一Java功能模块的服务器为200台,并且在这200台服务器中的20台上部署第一内存数据库。
进一步,在一个优选实施例中,除了以上步骤之外,该数据请求处理方法还包括以下步骤:基于数据准备模块定时地准备高并发数据;并且,定时地将准备的高并发数据同步至所述第一虚拟机缓存。
在一优选实施方式中,以上准备高并发数据的步骤包括:基于数据准备模块,定时地从关系型数据库中获取高并发数据,并将获取的高并发数据以键值对形式存在第二内存数据库中。例如,在部署某一Java功能模块的300台服务器之外,在另外的10台服务器上部署了数据准备模块,用于获取高并发数据;又在另外的一台服务器上部署了第二内存数据库,用于将获取的高并发数据进行存储。并且,可通过接口调用方式定时地将所述第二内存数据库中的高并发数据同步至第一虚拟机缓存中。具体实施时,第二内存数据库可优先选用Redis内存数据库。
在另一优选实施方式中,以上准备高并发数据的步骤包括:基于数据准备模块,定时地从关系型数据库中获取高并发数据,并将获取的高并发数据以键值对形式存在第二虚拟机缓存中,即数据准备模块所在服务器上的虚拟机缓存。例如,在部署某一Java功能模块的300台服务器之外,在另外的10台服务器上部署了数据准备模块,用于获取高并发数据,并且将获取的高并发数据存储在这10台服务器(即部署数据准备模块的服务器)上的虚拟机缓存中,即第二虚拟机缓存中。并且,可通过接口调用方式定时地将第二虚拟机缓存中的高并发数据同步至第一虚拟机缓存中。
根据本发明实施例,通过定时地将高并发数据同步至第一虚拟机缓存,并且,在接收到数据请求时,先从第一虚拟机缓存(即本地虚拟机缓存)获取数据,在获取不到数据时再从第一内存数据库获取数据。这样一来,在接收到高并发数据请求时,能够直接通过本地虚拟机缓存获取所需数据,不仅缩短了接口响应时间、减小了数据库压力,而且能够减少高并发数据请求对正常业务请求的影响。进一步,通过设置数据准备模块,并用较少的服务器来单独运行,能够减少数据获取时的相关接口以及数据库的压力;并且,即便数据获取时的相关接口存在异常,也不会影响原有Java功能模块的运行。
下面将结合具体实施例一、二详细介绍本发明技术方案的实施过程。
图2是根据具体实施例一的高并发场景下的数据请求处理方法的流程示意图。在具体实施例一中,是以电子商务网站上的运费计算应用为例来介绍本发明技术方案的具体实施过程。在该实施例中,将参与秒杀活动的商家运费计算规则作为高并发数据,将不参与秒杀活动的商家运费计算规则作为正常数据,并以计算中心作为处理数据请求的功能模块的示例。如图2所示,具体实施例一中的高并发场景下的数据请求处理方法主要包括以下流程:
步骤一、计算中心定时将数据准备模块准备的高并发数据同步至本地JVM缓存。
在该实施例中,“本地JVM缓存”为图1所示“第一虚拟机缓存”的一种具体示例。本地JVM缓存只存有高并发数据,而不存正常数据。例如,计算中心可以每隔10分钟,以接口调用的方式将数据准备模块准备的高并发数据同步至本地JVM缓存中。
步骤二、计算中心接收结算页的结算请求。
在该实施例中,结算请求为图1所示“数据请求”的具体示例。结算请求可以包括:商家标识、商品标识、配送地址、订单金额等信息。例如,某一结算请求包括如下信息:商家标识为A厂家,商品标识为干果,配送地址是西藏,订单金额是69元,商品重量是1.5kg。例如:某一结算请求包括如下信息:商家标识为B厂家,商品标识为服装,配送地址是广州,订单金额是399元。
步骤三、计算中心根据结算请求从本地JVM缓存中获取商家运费计算规则。如果本地JVM缓存存在与结算请求对应的运费计算规则,则从本地JVM缓存中取出商家运费计算规则,并直接进入步骤五;否则,进入步骤四。
在步骤三中,计算中心可根据商家标识,和/或,商品标识,查找与之绑定的运费计算规则。例如,商家标识为A厂家,商品标识为干果,与商家标识、商品标识绑定的运费计算规则为:订单金额满99元,全国包邮;订单金额不满99元,且商品重量在1kg以内,全国包邮;订单金额不满99元,且商品重量大于1kg,运费10元。又例如,商家标识为B厂家,与商家标识之绑定的运费计算规则为:订单金额满199元,全国包邮;订单金额小于199元,运费5元。
步骤四、计算中心从第一Redis内存数据库获取与结算请求对应的运费计算规则。
在该实施例中,第一Redis内存数据库为图1所示“第一内存数据库”的具体示例。第一Redis内存数据库既存有高并发数据,又存有正常数据。如果从第一Redis内存数据库获取数据成功,则进入步骤五。
步骤五、计算中心根据与结算请求对应的运费计算规则计算运费,并将运费计算结果返回至结算页。
进一步,除了步骤一至步骤五之外,具体实施例一中的数据请求处理方法还包括:在独立于计算中心之外的服务器上部署数据准备模块,并通过数据准备模块准备高并发数据,具体如下:数据准备模块定时地通过接口调用的方式获取本期和上一期秒杀活动的商品标识,然后,获取参与本期和上一期秒杀活动的商家标识;再根据商家标识、商品标识从关系型数据库中获取参与秒杀活动的商家运费计算规则;接下来,将获取的商家运费计算规则以键值对的方式存入第二Redis内存数据库中。另外,数据准备模块还可通过手动添加的方式将一些参与秒杀活动的商家运费计算规则存入第二Redis内存数据库。例如,中午12点、14点、16点都有秒杀活动,在当前时间为13:00时,数据准备模块会准备好12点和14点两场秒杀活动对应的商家运费计算规则;在当前时间为15点时,数据准备模块会准备好14点和16点两场秒杀活动对应的商家运费计算规则。
在具体实施例一中,通过先从本地JVM缓存中取商家运费计算规则,如果没有取到数据,再从第一Redis内存数据库中取商家运费计算规则,减少了网络消耗,缩短了接口的响应时间。进一步,通过设置单独的数据准备模块来准备高并发数据,能够减少对相关接口的请求,而且通过从不同地方取高并发数据和正常数据,减少了对正常业务请求的影响。
具体实施例二:以新闻媒体网页服务器上的热门新闻访问应用为例来介绍本发明技术方案的具体实施过程。并且,在该具体实施例中,将预计访问量较大的热门新闻作为高并发数据,将预计访问量较小的一般新闻作为正常数据。具体实施例二中的数据请求处理方法主要包括以下流程:
步骤一、新闻媒体网页服务器定时地将高并发数据同步至本地JVM缓存中。
在该实施例中,“本地JVM缓存”为图1所示“第一虚拟机缓存”的一种具体示例。本地JVM缓存只存有热门新闻,而不存一般新闻。例如,新闻媒体网页服务器可以每隔5分钟,以接口调用的方式将数据准备模块准备的热门新闻同步至本地JVM缓存中。
步骤二、新闻媒体网页服务器接收用户的新闻浏览请求。在该实施例中,新闻浏览请求为图1所示“数据请求”的具体示例。
步骤三、新闻媒体网页服务器根据新闻浏览请求从本地JVM缓存中获取新闻。如果本地JVM缓存存在与新闻浏览请求对应的新闻,则从本地JVM缓存中取出新闻,并直接进入步骤五;如果本地JVM缓存不存在与新闻浏览请求对应的新闻,进入步骤四。
步骤四、新闻媒体网页服务器从第一Redis内存数据库获取与新闻浏览请求对应的新闻。
在该实施例中,第一Redis内存数据库为图1所示“第一内存数据库”的具体示例。第一Redis内存数据库既存有高并发数据,又存有正常数据。如果从第一Redis内存数据库获取数据成功,则进入步骤五。
步骤五、新闻媒体网页服务器将与新闻浏览请求对应的新闻返回至用户。
进一步,具体实施例二中的数据请求处理方法还包括:在独立于新闻媒体网页服务器之外的服务器上部署数据准备模块,并通过数据准备模块准备高并发数据,具体如下:数据准备模块定时地获取热门新闻,并将获取的热门新闻以键值对的方式存入第二Redis内存数据库中。例如,数据准备模块可以每隔5分钟获取一次热门新闻,并将获取的热门新闻存入第二Redis内存数据库。并且,新闻媒体网页服务器可以每隔5分钟将第二Redis内存数据库中的热门新闻同步至本地JVM缓存中。
在具体实施例二中,通过先从本地JVM缓存中取新闻,如果没有取到新闻,再从第一Redis内存数据库中取新闻,减少了网络消耗,缩短了接口的响应时间。进一步,通过设置单独的数据准备模块来准备热门新闻,能够减少对相关接口的请求,而且通过从不同地方取高并发数据和正常数据,减少了对正常业务请求的影响。
图3是根据本发明实施例的高并发场景下的数据请求处理装置的主要模块示意图。如图3所示,高并发场景下的数据请求处理装置300主要包括:定时同步模块301、获取模块302。
定时同步模块301,用于定时地将高并发数据同步至第一虚拟机缓存。其中,第一虚拟机缓存可优先选用JVM(Java虚拟机)缓存。例如,对于部署某一Java功能模块的300台服务器来说,定时同步模块301可每隔5分钟将高并发数据同步至这300台服务器上的JVM缓存中。
需要指出的是,在本发明实施例中,预先将数据划分为高并发数据和正常数据。其中,高并发数据是指某一时刻访问量比较大的数据,正常数据是指访问量一般的数据。例如,可将电子商务网站上参与节日促销活动、秒杀活动的商品及商家数据作为高并发数据,而将没有参与促销、秒杀活动的商品及商家数据作为正常数据。可理解的是,在不影响本发明实施的情况下,本领域技术人员课根据具体应用场景灵活进行高并发数据与正常数据的划分。例如,可将微博上的热门话题作为高并发数据,而将一般话题作为正常数据。
获取模块302,用于根据数据请求从所述第一虚拟机缓存获取数据。如果第一虚拟机缓存存在与所述数据请求对应的数据,则获取模块302从第一虚拟机缓存取数据;否则,获取模块302从第一内存数据库获取与所述数据请求对应的数据。
需要指出的是,在本发明实施例中,第一内存数据库存储有正常数据和高并发数据。其中,第一内存数据库可优先选用Redis内存数据库。在一个具体的部署方案中,在300台服务器上部署了某一Java功能模块(比如运费计算模块),并在另外的16台服务器上部署了第一内存数据库。可理解的是,以上服务器的个数、部署方案只是示例性的。
进一步,本发明实施例的数据请求处理装置还包括:数据准备模块。数据准备模块,用于定时地准备高并发数据。并且,定时同步模块301,用于定时地将数据准备模块准备的高并发数据同步至第一虚拟机缓存。
具体来说,在一实施方式中,数据准备模块定时地从关系型数据库获取高并发数据,并将获取的高并发数据以键值对形式存储至第二内存数据库。并且,定时同步模块301通过接口调用方式将第二内存数据库中的高并发数据同步至所述第一虚拟机缓存。在一个具体的部署方案中,在300台服务器上部署了某一Java功能模块,在另外的10台服务器上单独部署了数据准备模块,又在另外的一台服务器上部署了第二内存数据库。具体实施时,第二内存数据库也可优先选用Redis内存数据库。可理解的是,以上服务器的个数、部署方案只是示例性的。
在另一实施方式中,数据准备模块定时地从关系型数据库获取高并发数据,并将获取的高并发数据以键值对形式存储至第二虚拟机缓存。并且,定时同步模块301通过接口调用方式将第二虚拟机缓存中的高并发数据同步至所述第一虚拟机缓存。其中,第二虚拟机缓存是指数据准备模块所在服务器上的虚拟机缓存。例如,在一个具体的部署方案中,在300台服务器上部署了某一Java功能模块(比如图2所示的计算中心),在另外的10台服务器上单独部署了数据准备模块,那么,第一虚拟机缓存是指以上部署所述某一Java功能模块的300台服务器上的虚拟机缓存,第二虚拟机缓存是指以上部署数据准备模块的10台服务器上的虚拟机缓存。可理解的是,以上服务器的个数、部署方案只是示例性的。
根据本发明实施例,通过定时同步模块将高并发数据同步至第一虚拟机缓存,并且,通过获取模块先从第一虚拟机缓存获取数据,在获取不到数据时再从第一内存数据库获取数据。这样一来,在接收到高并发数据请求时,能够直接通过本地虚拟机缓存获取所需数据,不仅缩短了接口响应时间、减小了数据库压力,而且能够减少高并发数据请求对正常业务请求的影响。进一步,通过设置单独的数据准备模块,能够进一步减小高并发数据获取、准备时对数据库的压力。
图4示出了可以应用本发明实施例的高并发场景下的数据请求处理方法或高并发场景下的数据请求处理装置的示例性***架构400。
如图4所示,***架构400可以包括终端设备401、402、403,网络404和服务器405。网络404用以在终端设备401、402、403和服务器405之间提供通信链路的介质。网络404可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备401、402、403通过网络404与服务器405交互,以接收或发送消息等。终端设备401、402、403上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备401、402、403可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器405可以是提供各种服务的服务器,例如对用户利用终端设备401、402、403所浏览的购物类网站提供支持的后台管理服务器。后台管理服务器可以根据接收到的结算页请求获进行运费计算,并将运费计算结果反馈给终端设备。
需要说明的是,本发明实施例所提供的高并发场景下的数据请求处理方法一般由服务器405执行,相应地,高并发场景下的数据请求处理装置一般设置于服务器405中。
应该理解,图4中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
下面参考图5,其示出了适于用来实现本发明实施例的服务器的计算机***500的结构示意图。图5示出的服务器仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示,计算机***500包括中央处理单元(CPU)501,其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中,还存储有***500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
以下部件连接至I/O接口505:包括键盘、鼠标等的输入部分506;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507;包括硬盘等的存储部分508;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器510上,以便于从其上读出的计算机程序根据需要被安装入存储部分508。
特别地,根据本发明公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分509从网络上被下载和安装,和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时,执行本发明的***中限定的上述功能。
需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本发明各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中,例如,可以描述为:一种处理器包括定时同步单元、获取模块。其中,这些模块的名称在某种情况下并不构成对该模块本身的限定,例如,定时同步模块还可以被描述为“定时将高并发数据同步至第一虚拟缓存的模块”。
作为另一方面,本发明还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备执行以下流程:定时地将高并发数据同步至第一虚拟机缓存;根据数据请求从所述第一虚拟机缓存获取数据;如果所述第一虚拟机缓存不存在与所述数据请求对应的数据,则从第一内存数据库获取与所述数据请求对应的数据。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。

Claims (8)

1.一种高并发场景下的数据请求处理方法,其特征在于,所述方法包括:
定时地从关系型数据库获取高并发数据,并将获取的高并发数据以键值对形式存储至第二内存数据库或第二虚拟机缓存;
定时通过接口调用方式将所述第二内存数据库或所述第二虚拟机缓存中的高并发数据同步至第一虚拟机缓存;其中,所述第一虚拟机缓存不存储非高并发数据;
根据数据请求从所述第一虚拟机缓存获取数据;如果所述第一虚拟机缓存不存在与所述数据请求对应的数据,则从第一内存数据库获取与所述数据请求对应的数据;其中,所述第一内存数据库既存有高并发数据,又存有非高并发数据。
2.根据权利要求1所述的方法,其特征在于,所述第一虚拟机缓存包括:JVM缓存。
3.根据权利要求1所述的方法,其特征在于,所述第一内存数据库包括:Redis内存数据库。
4.一种高并发场景下的数据请求处理装置,其特征在于,所述装置包括:
数据准备模块,用于定时地从关系型数据库获取高并发数据,并将获取的高并发数据以键值对形式存储至第二内存数据库或第二虚拟机缓存;
定时同步模块,用于定时通过接口调用方式将所述第二内存数据库或第二虚拟机缓存中的高并发数据同步至第一虚拟机缓存;其中,所述第一虚拟机缓存不存储非高并发数据;
获取模块,用于根据数据请求从所述第一虚拟机缓存获取数据;如果所述第一虚拟机缓存不存在与所述数据请求对应的数据,则从第一内存数据库获取与所述数据请求对应的数据;其中,所述第一内存数据库既存有高并发数据,又存有非高并发数据。
5.根据权利要求4所述的装置,其特征在于,所述第一虚拟机缓存包括:JVM缓存。
6.根据权利要求4所述的装置,其特征在于,所述第一内存数据库包括:Redis内存数据库。
7.一种服务器,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1至3中任一所述的方法。
8.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1至3中任一所述的方法。
CN201710451364.5A 2017-06-15 2017-06-15 高并发场景下的数据请求处理方法和装置 Active CN109150929B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710451364.5A CN109150929B (zh) 2017-06-15 2017-06-15 高并发场景下的数据请求处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710451364.5A CN109150929B (zh) 2017-06-15 2017-06-15 高并发场景下的数据请求处理方法和装置

Publications (2)

Publication Number Publication Date
CN109150929A CN109150929A (zh) 2019-01-04
CN109150929B true CN109150929B (zh) 2021-11-12

Family

ID=64829774

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710451364.5A Active CN109150929B (zh) 2017-06-15 2017-06-15 高并发场景下的数据请求处理方法和装置

Country Status (1)

Country Link
CN (1) CN109150929B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110032571B (zh) * 2019-04-18 2023-04-18 腾讯科技(深圳)有限公司 业务流程处理方法、装置、存储介质及计算设备
CN111522836B (zh) * 2020-04-22 2023-10-10 杭州海康威视***技术有限公司 一种数据查询方法、装置、电子设备及存储介质
CN111522850A (zh) * 2020-04-23 2020-08-11 京东数字科技控股有限公司 一种数据对象的存储和查询方法、装置、设备和存储介质
CN112015745B (zh) * 2020-08-19 2024-05-17 北京达佳互联信息技术有限公司 一种数据管理方法及装置
CN112667680A (zh) * 2020-12-17 2021-04-16 平安消费金融有限公司 查询数据的方法、装置和计算机设备
CN112925851B (zh) * 2021-02-26 2023-06-13 杭州网易再顾科技有限公司 一种单号处理方法、装置、电子设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102790784A (zh) * 2011-05-18 2012-11-21 阿里巴巴集团控股有限公司 分布式缓存方法及***、缓存解析方法及解析***
CN104750715A (zh) * 2013-12-27 2015-07-01 ***通信集团公司 缓存***中数据淘汰方法、装置、***及相关服务器设备
CN104866531A (zh) * 2015-04-27 2015-08-26 交通银行股份有限公司 快速访问银行客户信息数据的方法及***

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100262687A1 (en) * 2009-04-10 2010-10-14 International Business Machines Corporation Dynamic data partitioning for hot spot active data and other data
CN102945251A (zh) * 2012-10-12 2013-02-27 浪潮电子信息产业股份有限公司 一种利用内存数据库技术优化磁盘数据库性能的方法
CN103246696A (zh) * 2013-03-21 2013-08-14 宁波公众信息产业有限公司 高并发数据库的访问方法及应用于多服务器***的方法
CN103268321B (zh) * 2013-04-19 2016-04-27 中国建设银行股份有限公司 高并发交易数据处理方法和装置
CN104598563B (zh) * 2015-01-08 2018-09-04 北京京东尚科信息技术有限公司 高并发数据存储方法及装置
CN106790422A (zh) * 2016-12-02 2017-05-31 北京锐安科技有限公司 一种用于web应用的数据缓存集群和数据检索方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102790784A (zh) * 2011-05-18 2012-11-21 阿里巴巴集团控股有限公司 分布式缓存方法及***、缓存解析方法及解析***
CN104750715A (zh) * 2013-12-27 2015-07-01 ***通信集团公司 缓存***中数据淘汰方法、装置、***及相关服务器设备
CN104866531A (zh) * 2015-04-27 2015-08-26 交通银行股份有限公司 快速访问银行客户信息数据的方法及***

Also Published As

Publication number Publication date
CN109150929A (zh) 2019-01-04

Similar Documents

Publication Publication Date Title
CN109150929B (zh) 高并发场景下的数据请求处理方法和装置
CN108846753B (zh) 用于处理数据的方法和装置
CN109683998A (zh) 国际化实现方法、装置和***
CN110262807B (zh) 集群创建进度日志采集***、方法和装置
CN107203629B (zh) 页面呈现方法、***和装置
US11521169B2 (en) Method and apparatus for producing order
CN110427304A (zh) 用于银行***的运维方法、装置、电子设备以及介质
CN109961331A (zh) 页面处理方法及其***、计算机***和可读存储介质
CN109981719A (zh) 信息处理方法及其***、计算机***和计算机可读介质
CN110795443A (zh) 数据同步的方法、装置、设备和计算机可读介质
CN111444077A (zh) 一种生成流程节点测试数据的方法和装置
CN109992406A (zh) 图片请求方法、响应图片请求的方法及客户端
CN112948498A (zh) 一种分布式***全局标识的生成方法和装置
CN109936605A (zh) 一种加载接口数据的方法和装置
CN111258988B (zh) 资产管理方法、装置、电子设备以及介质
CN113452733A (zh) 文件下载方法和装置
CN110223179A (zh) 资金的数据处理方法、装置、***、介质
CN110020373A (zh) 静态页面存储、浏览的方法和装置
CN113378346A (zh) 模型仿真的方法和装置
CN110347654A (zh) 一种上线集群特性的方法和装置
CN110019525A (zh) 一种数据库扩容的方法和装置
CN112836201A (zh) 多平台信息互通的方法、装置、设备和计算机可读介质
CN113486116A (zh) 一种数据同步方法、装置、电子设备及计算机可读介质
CN113077220A (zh) 用户请求的处理方法和装置
CN113450170A (zh) 一种信息显示方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant