CN111371704B - 一种数据缓存方法、装置、终端设备和存储介质 - Google Patents

一种数据缓存方法、装置、终端设备和存储介质 Download PDF

Info

Publication number
CN111371704B
CN111371704B CN202010081796.3A CN202010081796A CN111371704B CN 111371704 B CN111371704 B CN 111371704B CN 202010081796 A CN202010081796 A CN 202010081796A CN 111371704 B CN111371704 B CN 111371704B
Authority
CN
China
Prior art keywords
data packet
buffer area
size
buffer
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010081796.3A
Other languages
English (en)
Other versions
CN111371704A (zh
Inventor
谢文龙
李云鹏
吕亚亚
杨春晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Visionvera Information Technology Co Ltd
Original Assignee
Visionvera Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Visionvera Information Technology Co Ltd filed Critical Visionvera Information Technology Co Ltd
Priority to CN202010081796.3A priority Critical patent/CN111371704B/zh
Publication of CN111371704A publication Critical patent/CN111371704A/zh
Application granted granted Critical
Publication of CN111371704B publication Critical patent/CN111371704B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00Packet switching elements
    • H04L49/90Buffering arrangements
    • H04L49/9005Buffering arrangements using dynamic buffer space allocation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22Parsing or analysis of headers
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明实施例提供了一种数据缓存方法、装置、终端设备和存储介质,包括:通过预先建立的IOCP模型,获取目标终端发送的数据包;确定数据包的大小及与目标终端对应的虚拟容器中的可用缓存区大小;若数据包的大小大于可用缓存区大小,则调用动态缓存区对可用缓存区进行扩容,获得扩展缓存区;将该数据包存入该扩展缓存区,通过本发明实施例,在采用IOCP模型处理大并发数据的情况下,可以实时动态扩展每个终端对应的虚拟容器中的缓存区,最大限度地提高IOCP网络通信能力。

Description

一种数据缓存方法、装置、终端设备和存储介质
技术领域
本发明涉及计算机技术领域,特别是涉及一种数据缓存方法、装置、终端设备和存储介质。
背景技术
随着网络科技的快速发展,视频会议、视频教学等双向通信在用户的生活、工作、学习等方面广泛普及。
IOCP框架模式支持大并发数据,每一路网络通信连接都需要消耗一定的内存空间来承载从I/O层获取的网络数据,单路资源相对渺小,当并发量达到一定值后,所需的内存空间庞大到服务器无法承载,这样限制了整个IOCP框架的大并发数量和服务设备性能。
通常,在进行业务处理时,建立好的每一路网络通信连接并不是实时地进行业务处理,只会占用一小部分的内存资源,而大部分的网络通信连接所申请的内存资源都处于休眠、停滞状态,并没有真正被利用起来。
发明内容
鉴于上述问题,提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种数据缓存方法、装置、终端设备和存储介质。
第一个方面,本发明实施例提供一种数据缓存方法,应用于服务器,所述方法包括:
通过预先建立的IOCP模型,获取目标终端发送的数据包;
确定所述数据包的大小、及与所述目标终端对应的虚拟容器中的可用缓存区大小;
若所述数据包的大小大于所述可用缓存区大小,则调用动态缓存区对可用缓存区进行扩容,获得扩展缓存区;
将所述数据包存入所述扩展缓存区。
可选地,在所述通过预先建立的IOCP模型,获取目标终端发送的数据包之前,所述方法还包括:
预先创建多个虚拟容器;
当IOCP模型中的监控线程检测到目标终端发送数据包时,将所述虚拟容器与所述目标终端进行关联,形成所述目标终端与所述虚拟容器的网络通道,以使所述目标终端与服务器进行数据传输。
可选地,所述若所述数据包的大小大于所述可用缓存区大小,则调用动态缓存区对所述可用缓存区进行扩容,获得扩展缓存区,包括:
根据所述数据包的大小与所述可用的缓存区大小的差值,确定需要扩容的缓存区大小;
根据所述需要扩容的缓存区大小,调用所述动态缓存区对所述可用缓存区进行扩容,获得所述扩展缓存区,其中,所述动态缓存区包括除了为各个终端对应的虚拟容器预先申请的预设缓存区之外的缓存区和/或其他终端对应的虚拟容器的预设缓存区。
可选地,所述可用缓存区是根据写入到所述扩展缓存区中的数据包占用的缓存区和已经从所述扩展缓存区中读取数据包后的释放的缓存区确定的。
可选地,所述将所述数据包存入所述扩展缓存区,包括:
对所述终端发送的数据包进行解析后,将解析后的数据写入到所述扩展缓存区,其中,所述解析后的数据中至少包括所述数据包的字节长度,所述数据包的字节长度占用预设字节长度的扩展缓存区。
可选地,在将所述数据包存入所述扩展缓存区之后,所述方法还包括:
从所述扩展缓存区内读取数据包;
将读取的所述数据包所占用的扩展缓存区进行释放;
具体地,所述从所述扩展缓存区内读取数据包包括:
若所述扩展缓存区内剩余的字节长度大于所述预设字节长度,则从所述扩展缓存区中读取所述数据包。
第二个方面,本发明实施例提供一种数据缓存装置,应用于服务器,所述装置包括:
获取模块,用于通过预先建立的IOCP模型,获取目标终端发送的数据包;
确定模块,用于确定所述数据包的大小、及与所述目标终端对应的虚拟容器中的可用缓存区大小;
扩容模块,用于若所述数据包的大小大于所述可用的缓存区大小,则调用动态缓存区对可用缓存区进行扩容,获得扩展缓存区;
写入模块,用于将所述数据包存入所述扩展缓存区。
可选地,在所述获取模块之前,所述装置还包括关联模块,所述关联模块用于:
预先创建多个虚拟容器;
当IOCP模型中的监控线程检测到目标终端发送数据包时,将所述虚拟容器与所述目标终端进行关联,形成所述目标终端与所述虚拟容器的网络通道,以使所述目标终端与服务器进行数据传输。
可选地,所述扩容模块,具体用于:
根据所述数据包的大小与所述可用的缓存区大小的差值,确定需要扩容的缓存区大小;
根据所述需要扩容的缓存区大小,调用所述动态缓存区对所述可用缓存区进行扩容,获得所述扩展缓存区,其中,所述动态缓存区包括除了为各个终端对应的虚拟容器预先申请的预设缓存区之外的缓存区和/或其他终端对应的虚拟容器的预设缓存区。
可选地,所述可用缓存区是根据写入到所述扩展缓存区中的数据包占用的缓存区和已经从所述扩展缓存区中读取数据包后的释放的缓存区确定的。
可选地,所述写入模块,具体用于:
对所述终端发送的数据包进行解析后,将解析后的数据写入到所述扩展缓存区,其中,所述解析后的数据中至少包括所述数据包的字节长度,所述数据包的字节长度占用预设字节长度的扩展缓存区。
可选地,在所述写入模块之后,所述装置还包括读取模块,所述读取模块用于:
从所述扩展缓存区内读取数据包;
将读取的所述数据包所占用的扩展缓存区进行释放;
所述读取模块,具体用于:
若所述扩展缓存区内剩余的字节长度大于所述预设字节长度,则从所述扩展缓存区中读取所述数据包。
第三个方面,本发明实施例提供一种终端设备,包括:至少一个处理器和存储器;
所述存储器存储计算机程序;所述至少一个处理器执行所述存储器存储的计算机程序,以实现第一个方面提供的数据缓存方法。
第四个方面,本发明实施例提供一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,所述计算机程序被执行时实现第一个方面提供的数据缓存方法。
本发明实施例提供的技术方案,应用于服务器,包括:通过预先建立的IOCP模型,获取目标终端发送的数据包;确定该数据包的大小、及与目标终端对应的虚拟容器中的可用缓存区大小;若数据包的大小大于可用的缓存区大小,则调用动态缓存区对可用缓存区进行扩容,获得扩展缓存区;将该数据包存入该扩展缓存区,通过本发明实施例,在采用IOCP模型处理大并发数据的情况下,可以实时动态扩展每个终端对应的虚拟容器中的缓存区,最大限度地提高IOCP网络通信能力。
附图说明
图1是本发明的一种数据缓存方法实施例的步骤流程图;
图2是本发明的另一种数据缓存方法实施例的步骤流程图;
图3是本发明的再一种数据缓存方法实施例的步骤流程图;
图4是本发明的又一种数据缓存方法实施例的步骤流程图;
图5是本发明的再一种数据缓存方法实施例的步骤流程图;
图6是本发明的另一种数据缓存方法实施例的步骤流程图;
图7是本发明的一种数据缓存装置实施例的结构框图;
图8是本发明的一种终端设备的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
名词解释如下:
IOCP:I/O Completion Port,常称I/O完成端口。IOCP模型属于一种通讯模型,适用于能控制并发执行的高负载服务器的一个技术。通俗一点说,就是用于高效处理很多很多的客户端进行数据交换的一个模型。或者可以说,就是能异步I/O操作的模型;IOCP(即完成端口)中”完成”指会在网络I/O操作“完成”之后才会通知***,来自于网络上的数据已经接收完毕了。这可以使得应用程序在I/O传输期间可以做其他事情。IOCP网络通信模式是目前最为广泛应用的支持大并发、高负载的网络通信底层框架。
参照图1,示出了本发明的一种数据缓存方法实施例的步骤流程图,该方法可以应用于服务器中,具体可以包括如下步骤:
S101、通过预先建立的IOCP模型,获取目标终端发送的数据包;
具体地,在服务器侧,预先建立IOCP模型,即可以同时通过多个异步I/O接收多个互联网终端各自发送的数据包,即服务器通过IOCP模型接收来自每个通道的I/O层网络数据。
在建立IOCP模型时,建立多个网络通道,具体为,在服务器侧预先建立多个虚拟容器,且每个虚拟容器对应的预先申请的缓存空间即预设缓存区,当建立的IOCP模型的监测线程监测到终端发送的数据包,则将终端与预先建立的虚拟容器相关联,形成终端和服务器之间进行数据传输的网络通道,其中,该虚拟容器用于存储终端发送的数据包,该数据包包括终端的终结点信息和数据包的内容等。
S102、确定所述数据包的大小、及与所述目标终端对应的虚拟容器中的可用缓存区大小;
具体地,服务器在接收到目标终端发送的数据包后,计算该数据包的大小,并计算此时该目标终端对应的虚拟容器中实际可用的缓存区大小。
S103、若所述数据包的大小大于所述可用缓存区大小,则调用动态缓存区对可用缓存区进行扩容,获得扩展缓存区;
可用缓存区是根据被存入的数据包占用的缓存区和已经从所述预设缓存区中读取数据包后的释放的缓存区确定的。
具体地,若第一次将数据包写入到虚拟容器中时,则虚拟容器中的可用缓存区即为预设缓存区;
在后续将数据包写入到虚拟容器中时,则可用缓存区根据写入到扩展缓存区中的数据包占用的缓存区和已经从扩展缓存区中读取数据包后的释放的缓存区确定的。
服务器对要缓存的数据包的大小和实际可用的缓存区大小进行判断,若要缓存的数据包的大小小于实际可用的缓存区大小,则直接将该数据包存入与目标终端对应的虚拟容器中的实际可用的缓存区中;
若要缓存的数据包大小大于实际可用的缓存区大小,则调用动态缓存区对该实际可用的缓存区进行扩容,获得扩展缓存区,其中,动态缓存区可以为除了为每个虚拟容器预先申请的缓存区之外的内存区,也可以为其他未被占用的虚拟容器对应的预设缓存区。
S104、将所述数据包存入所述扩展缓存区。
示例性地,服务器预先建立3个网络通道,即预先建立3个虚拟容器,通过预先建立的IOCP模型接收终端A、终端B和终端C发送的数据包,并将终端A和虚拟容器A相关联、终端B和虚拟容器B相关联,终端C和虚拟容器C相关联;
服务器接收终端A发送的数据包M和数据包N,要将数据包M存入虚拟容器A中,先计算数据包M的大小和此时虚拟容器中可用的缓存区的大小(由于预设的缓存区中还未存放数据,此时,可用的缓存区即为预设缓存区),若数据包M的大小小于可用的缓存区的大小,则将数据包M直接保存在该虚拟容器A对应的可用的存储区中;
在将数据包N继续存入虚拟容器A中,计算数据包N的大小和实际可用的缓存区的大小,此时,实际可用的缓存区为预设缓存区减去被数据包M占用的空间,若数据包N的大小大于可用的缓存区大小,则调用动态缓存区对实际可用的缓存区进行扩容,其中,动态缓存区可以为终端对应的虚拟容器对应的预先申请的缓存区,或者为除了为终端对应的虚拟容器预先申请的缓存区之外的缓存空间;
具体地,在终端A和服务器进行数据通信的过程中,只占用了虚拟容器A对应的预设缓存区,此时,预先为终端B和终端C申请的预设缓存区处于休眠或停滞状态,当将终端A的数据包N进行保存时,计算数据包N的大小和可用的缓存区大小,若数据包N的大小大于可用的缓存区大小,则调动动态缓存区对可用缓存区进行扩容,具体为,调用为其他终端申请的预设缓存区对可用缓存区进行扩容,或者调用除了为终端申请的预设缓存区之外的内存空间对可用缓存区进行扩容,获得扩展缓存区;将数据包N存入虚拟容器A中的扩展缓存区中。
本发明实施例提供的数据缓存方法,通过预先建立的IOCP模型,获取目标终端发送的数据包;确定该数据包的大小和与目标终端对应的虚拟容器中的可用缓存区大小;若数据包的大小大于可用的缓存区大小,则调用动态缓存区对可用缓存区进行扩容,获得扩展缓存区;将该数据包存入预先建立的与目标终端对应的虚拟容器中的扩展缓存区,通过本发明实施例,在采用IOCP模型处理大并发数据的情况下,可以实时动态扩展每个终端对应的虚拟容器中预设内存,最大限度地提高IOCP网络通信能力。
本发明又一实施例对上述实施例提供的方法做进一步补充说明。
如图2所示,示出了本发明的另一种数据缓存方法实施例的步骤流程图,所述方法还包括:
S201、预先创建多个虚拟容器;
具体地,服务器基于IOCP模型建立多个虚拟容器,用于存放各个终端的信息和发送的数据包。
S202、当IOCP模型中的监控线程检测到目标终端发送数据包时,将所述虚拟容器与所述目标终端进行关联,形成所述目标终端与所述虚拟容器的网络通道,以使所述目标终端与服务器进行数据传输;
具体地,服务器和终端建立socket(套接字)连接,终端通过socket向服务器发送数据包,其中,套接字可以包括在所述互联网通信协议中,可以理解为是应用层协议与传输层协议之间进行交互的接口,其可以用于区分不同应用程序进程间的网络通信和连接。
当服务器上预先建立的IOCP模型的监测线程监测到终端发送的数据包时,为终端分配虚拟容器,建立数据传输的网络通道,终端通过IOCP模型和终端对应的虚拟容器,与服务器进行数据传输。
如图3所示,示出了本发明的再一种数据缓存方法实施例的步骤流程图,步骤S103,具体包括:
S1031、根据所述数据包的大小与所述可用缓存区大小的差值,确定需要扩容的缓存区大小;
S1032、根据所述需要扩容的缓存区大小,调用所述动态缓存区对所述可用缓存区进行扩容,获得所述扩展缓存区,其中,所述动态缓存区包括除了为各个终端对应的虚拟容器预先申请的预设缓存区之外的缓存区和/或其他终端对应的虚拟容器的预设缓存区。
具体地,服务器根据要缓存的数据包的大小和可用缓存区大小的差值,计算待扩容的缓存区大小;
作为一种可实施的方式,根据待扩容的缓存区大小,调用预先为各个终端的虚拟容器申请的预设缓存区之外的缓存区对目标终端对应的可用缓存区进行扩容,获得扩展缓存区;
作为另一种可实施的方式,根据待扩容的缓存区大小,调用其他终端对应的预设缓存区对目标终端对应的可用缓存区进行扩容,获得扩展缓存区;
作为又一种可实施的方式,根据待扩容的缓存区大小,同时调用其他终端对应的预设缓存区和除了预先为终端的虚拟容器申请的预设缓存区为目标终端对应的可用缓存区进行扩容,获得扩展缓存区;
如图4所示,示出了本发明的又一种数据缓存方法实施例的步骤流程图,所述数据缓存方法包括:
S401、通过预先建立的IOCP模型,获取目标终端发送的数据包。
S402、确定所述数据包的大小、及与所述目标终端对应的虚拟容器中的可用缓存区大小;
S403、若所述数据包的大小大于所述可用的缓存区大小,则调用动态缓存区对可用缓存区进行扩容,获得扩展缓存区;
由于步骤S401至步骤S403,与图1所示实施例中的步骤S101至步骤S103相同,在图1中已经对步骤S101至步骤S103进行了详细描述,因此,在此不再对步骤S401至步骤S403进行赘述。
S404、对所述终端发送的数据包进行解析后,将解析后的数据写入到所述扩展缓存区,其中,所述解析后的数据中至少包括所述数据包的字节长度,所述数据包的字节长度占用预设字节长度的扩展缓存区;
具体地,服务器要将从IOCP模型中获取的数据包存入到与目标终端对应的虚拟容器中的扩展缓存区中,对数据包进行解析后,获得解析后的数据,其中,解析后的数据通过数据包的字节长度和数据包内容的方式写入到扩展缓存区中,具体地,数据包的字节长度占用预设字节长度的扩展缓存区,例如,数据包的字节长度占用4个字节长度的扩展缓存区,数据包内容可按照实际的字节长度放置在数据包的字节长度之后。
如图5所示,示出了本发明的再一种数据缓存方法实施例的步骤流程图,所述数据缓存方法包括:
S501、通过预先建立的IOCP模型,获取目标终端发送的数据包。
S502、确定所述数据包的大小、及与所述目标终端对应的虚拟容器中的可用缓存区大小;
S503、若所述数据包的大小大于所述可用缓存区大小,则调用动态缓存区对可用缓存区进行扩容,获得扩展缓存区;
S504、对所述终端发送的数据包进行解析后,将解析后的数据写入到所述扩展缓存区,其中,所述解析后的数据中至少包括所述数据包的字节长度,所述数据包的字节长度占用预设字节长度的扩展缓存区;
由于步骤S501至步骤S504,与图4所示实施例中的步骤S401至步骤S404相同,在图4中已经对步骤S401至步骤S404进行了详细描述,因此,在此不再对步骤S501至步骤S504进行赘述。
S505、从所述扩展缓存区内读取数据包;
将读取的所述数据包所占用的扩展缓存区进行释放。
具体地,作为一种可执行的方式,若扩展缓存区内剩余的字节长度大于预设字节长度,则从所述扩展缓存区中读取所述数据包;
作为另一种可执行的方式,若扩展缓存区内剩余的字节长度小于预设字节长度,则从预先建立的IOCP模型中读取新的数据包。
如图6所示,示出了本发明的另一种数据缓存方法实施例的步骤流程图,所述数据缓存方法包括:
S601、生成一定所需数量的网络通道,即在服务器上预先创建多个虚拟容器,这些网络通道用于终端和虚拟容器之间进行数据传输;
当通过IOCP模型中的监控线程检测到有终端向服务器发送数据包时,则将预先建立的虚拟容器和终端进行关联,直接采用预先建立的网络通道,这样可以避免当接收到终端发送的数据包时再生产网络通道需要花费的时间,同时,在每个虚拟容器中预先申请相对小的内存空间buffer;
S602、选取空闲网络通道A,服务器通过IOCP模型接收终端发送的数据包;
S603、根据要缓存的数据包的大小和有效的缓存区即tbuffer大小进行比较,其中,有效的缓存区大小根据已经占用的缓存区和已经从缓存区中读取后的缓存区来确定;
若所述接收到的数据包的大小Buffer小于有效的缓存区大小tbuffer,则说明缓存区充足,则将接收到的数据包保存到缓存区buffer内。
S604、若所述接收到的数据包Buffer的大小大于有效的缓存区大小tbuffer,则计算实际需要扩充的内存空间Buffer-tbuffer,并在现有的可用的缓存区基础上申请新的内存空间,获得扩展缓存区,再将接收到数据包写入到扩展缓存区;
S605、赋值更新扩展缓存区buffer中有效数据长度lenth;
S606、对扩展缓存区buffer中写入的数据包进行读取;
S607、具体地,对接收到的数据包进行解析后,以数据包长度和数据包内容的方式写入到扩展缓存区中,其中,数据包长度占用4个字节,数据包内容按照实际长度进行写入;
S608、若扩展缓存区中的可用缓存区tbuffer中读取数据时,若剩余的有效字节长度大于4个字节,则可以继续读取数据包;
S609、若剩余的有效字节长度小于4个字节,则需要从IOCP模型中获取新数据包,重新执行步骤S603。
本发明实施例提供的数据缓存方法,通过预先建立的IOCP模型,获取目标终端发送的数据包;确定该数据包的大小和预设缓存区中可用缓存区大小;若数据包的大小大于可用的缓存区大小,则调用动态缓存区对可用缓存区进行扩容,获得扩展缓存区;将该数据包存入预先建立的与终端对应的虚拟容器中的扩展缓存区,通过本发明实施例,在采用IOCP模型处理大并发数据的情况下,可以实时动态扩展每个终端对应的虚拟容器中预设内存,最大限度地提高IOCP网络通信能力。
本发明另一实施例提供一种数据缓存装置,用于执行上述实施例提供的数据缓存方法。
参照图7,示出了本发明的一种数据缓存装置实施例的结构框图,应用于服务器,所述装置包括:获取模块701、确定模块702、扩容模块703和写入模块704,其中:
获取模块701用于通过预先建立的IOCP模型,获取目标终端发送的数据包;
确定模块702用于确定所述数据包的大小、及与所述目标终端对应的虚拟容器中的可用缓存区大小;
扩容模块703用于若所述数据包的大小大于所述可用的缓存区大小,则调用动态缓存区对可用缓存区进行扩容,获得扩展缓存区;
写入模块704用于将所述数据包存入所述扩展缓存区。
本发明实施例提供的数据缓存装置,通过通过预先建立的IOCP模型,获取目标终端发送的数据包;确定该数据包的大小和预设缓存区中可用缓存区大小;若数据包的大小大于可用的缓存区大小,则调用动态缓存区对可用缓存区进行扩容,获得扩展缓存区;将该数据包存入预先建立的与终端对应的虚拟容器中的扩展缓存区,通过本发明实施例,在采用IOCP模型处理大并发数据的情况下,可以实时动态扩展每个终端对应的虚拟容器中预设内存,最大限度地提高IOCP网络通信能力。
本发明又一实施例对上述实施例提供的装置做进一步补充说明。
可选地,在所述获取模块之前,所述装置还包括关联模块,所述关联模块用于:
预先创建多个虚拟容器;
当IOCP模型中的监控线程检测到目标终端发送数据包时,将所述虚拟容器与所述目标终端进行关联,形成所述目标终端与所述虚拟容器的网络通道,以使所述目标终端与服务器进行数据传输。
可选地,所述扩容模块703具体用于:
根据所述数据包的大小与所述可用的缓存区大小的差值,确定需要扩容的缓存区大小;
根据所述需要扩容的缓存区大小,调用所述动态缓存区对所述可用缓存区进行扩容,获得所述扩展缓存区,其中,所述动态缓存区包括除了为各个终端对应的虚拟容器预先申请的预设缓存区之外的缓存区和/或其他终端对应的虚拟容器的预设缓存区。
可选地,所述可用缓存区是根据写入到所述扩展缓存区中的数据包占用的缓存区和已经从所述扩展缓存区中读取数据包后的释放的缓存区确定的。
可选地,所述写入模块704具体用于:
对所述终端发送的数据包进行解析后,将解析后的数据写入到所述扩展缓存区,其中,所述解析后的数据中至少包括所述数据包的字节长度,所述数据包的字节长度占用预设字节长度的扩展缓存区。
可选地,在所述写入模块之后,所述装置还包括读取模块,所述读取模块用于:
从所述扩展缓存区内读取数据包;
将读取的所述数据包所占用的扩展缓存区进行释放;
所述读取模块,具体用于:
若所述扩展缓存区内剩余的字节长度大于所述预设字节长度,则从所述扩展缓存区中读取所述数据包。
需要说明的是,本实施例中各可实施的方式可以单独实施,也可以在不冲突的情况下以任意组合方式结合实施本申请不做限定。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本发明实施例提供的数据缓存装置,通过预先建立的IOCP模型,获取目标终端发送的数据包;确定该数据包的大小和预设缓存区中可用缓存区大小;若数据包的大小大于可用的缓存区大小,则调用动态缓存区对可用缓存区进行扩容,获得扩展缓存区;将该数据包存入预先建立的与终端对应的虚拟容器中的扩展缓存区,通过本发明实施例,在采用IOCP模型处理大并发数据的情况下,可以实时动态扩展每个终端对应的虚拟容器中预设内存,最大限度地提高IOCP网络通信能力。
本发明再一实施例提供一种终端设备,用于执行上述实施例提供的数据缓存方法。
图8是本发明的一种终端设备的结构示意图,如图8所示,该电子设备包括:至少一个处理器801和存储器802;
所述存储器存储计算机程序;所述至少一个处理器执行所述存储器存储的计算机程序,以实现上述实施例提供的数据缓存方法。
本实施例提供的终端设备,通过预先建立的IOCP模型,获取目标终端发送的数据包;确定该数据包的大小和与目标终端对应的虚拟容器中的可用缓存区大小;若数据包的大小大于可用的缓存区大小,则调用动态缓存区对可用缓存区进行扩容,获得扩展缓存区;将该数据包存入预先建立的与终端对应的虚拟容器中的扩展缓存区,通过本发明实施例,在采用IOCP模型处理大并发数据的情况下,可以实时动态扩展每个终端对应的虚拟容器中预设内存,最大限度地提高IOCP网络通信能力。
本申请又一实施例提供一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,所述计算机程序被执行时实现上述任一实施例提供的数据缓存方法。
根据本实施例的计算机可读存储介质,通过预先建立的IOCP模型,获取目标终端发送的数据包;确定该数据包的大小和与所述目标终端对应的虚拟容器中的可用缓存区大小;若数据包的大小大于可用的缓存区大小,则调用动态缓存区对可用缓存区进行扩容,获得扩展缓存区;将该数据包存入预先建立的与终端对应的虚拟容器中的扩展缓存区,通过本发明实施例,在采用IOCP模型处理大并发数据的情况下,可以实时动态扩展每个终端对应的虚拟容器中预设内存,最大限度地提高IOCP网络通信能力。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种数据缓存方法和一种数据缓存装置,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种数据缓存方法,其特征在于,应用于服务器,所述方法包括:
通过预先建立的IOCP模型,获取目标终端发送的数据包;
确定所述数据包的大小、及与所述目标终端对应的虚拟容器中的可用缓存区大小;
若所述数据包的大小大于所述可用缓存区大小,则调用动态缓存区对可用缓存区进行扩容,获得扩展缓存区;
将所述数据包存入所述扩展缓存区。
2.根据权利要求1所述的方法,其特征在于,在所述通过预先建立的IOCP模型,获取目标终端发送的数据包之前,所述方法还包括:
预先创建多个虚拟容器;
当IOCP模型中的监控线程检测到目标终端发送数据包时,将所述虚拟容器与所述目标终端进行关联,形成所述目标终端与所述虚拟容器之间的网络通道,以使所述目标终端与服务器进行数据传输。
3.根据权利要求1所述的方法,其特征在于,所述若所述数据包的大小大于所述可用缓存区大小,则调用动态缓存区对所述可用缓存区进行扩容,获得扩展缓存区,包括:
根据所述数据包的大小与所述可用的缓存区大小的差值,确定需要扩容的缓存区大小;
根据所述需要扩容的缓存区大小,调用所述动态缓存区对所述可用缓存区进行扩容,获得所述扩展缓存区,其中,所述动态缓存区包括除了为各个终端对应的虚拟容器预先申请的预设缓存区之外的缓存区和/或其他终端对应的虚拟容器的预设缓存区。
4.根据权利要求1所述的方法,其特征在于,所述可用缓存区是根据写入到所述扩展缓存区中的数据包占用的缓存区和已经从所述扩展缓存区中读取数据包后的释放的缓存区确定的。
5.根据权利要求1所述的方法,其特征在于,所述将所述数据包存入所述扩展缓存区,包括:
对所述终端发送的数据包进行解析后,将解析后的数据写入到所述扩展缓存区,其中,所述解析后的数据中至少包括所述数据包的字节长度,所述数据包的字节长度占用预设字节长度的扩展缓存区。
6.根据权利要求5所述的方法,其特征在于,在将所述数据包存入所述扩展缓存区之后,所述方法还包括:
从所述扩展缓存区内读取数据包;
将读取的所述数据包所占用的扩展缓存区进行释放;
具体地,所述从所述扩展缓存区内读取数据包,具体包括:
若所述扩展缓存区内剩余的字节长度大于所述预设字节长度,则从所述扩展缓存区中读取所述数据包。
7.一种数据缓存装置,其特征在于,应用于服务器,所述装置包括:
获取模块,用于通过预先建立的IOCP模型,获取目标终端发送的数据包;
确定模块,用于确定所述数据包的大小、及与所述目标终端对应的虚拟容器中的可用缓存区大小;
扩容模块,用于若所述数据包的大小大于所述可用缓存区大小,则调用动态缓存区对可用缓存区进行扩容,获得扩展缓存区;
写入模块,用于将所述数据包存入所述扩展缓存区。
8.根据权利要求7所述的装置,其特征在于,在所述获取模块之前,所述装置还包括关联模块,所述关联模块用于:
预先创建多个虚拟容器;
当IOCP模型中的监控线程检测到目标终端发送数据包时,将所述虚拟容器与所述目标终端进行关联,形成所述目标终端与所述虚拟容器的网络通道,以使所述目标终端与服务器进行数据传输。
9.一种终端设备,其特征在于,包括:至少一个处理器和存储器;
所述存储器存储计算机程序;所述至少一个处理器执行所述存储器存储的计算机程序,以实现权利要求1-6中任一项所述的数据缓存方法。
10.一种计算机可读存储介质,其特征在于,该计算机可读存储介质中存储有计算机程序,所述计算机程序被执行时实现权利要求1-6中任一项所述的数据缓存方法。
CN202010081796.3A 2020-02-06 2020-02-06 一种数据缓存方法、装置、终端设备和存储介质 Active CN111371704B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010081796.3A CN111371704B (zh) 2020-02-06 2020-02-06 一种数据缓存方法、装置、终端设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010081796.3A CN111371704B (zh) 2020-02-06 2020-02-06 一种数据缓存方法、装置、终端设备和存储介质

Publications (2)

Publication Number Publication Date
CN111371704A CN111371704A (zh) 2020-07-03
CN111371704B true CN111371704B (zh) 2024-03-15

Family

ID=71209998

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010081796.3A Active CN111371704B (zh) 2020-02-06 2020-02-06 一种数据缓存方法、装置、终端设备和存储介质

Country Status (1)

Country Link
CN (1) CN111371704B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112737977B (zh) * 2020-12-28 2022-05-20 苏州浪潮智能科技有限公司 一种数据包处理方法以及装置
CN112887319B (zh) * 2021-02-01 2022-07-01 上海帆一尚行科技有限公司 一种基于下行流量的网络状态监控方法、装置和电子设备
CN112905697B (zh) * 2021-02-10 2024-04-16 北京锐服信科技有限公司 一种高速网络数据包捕获方法及***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5920732A (en) * 1996-07-01 1999-07-06 Apple Computer, Inc. System for preallocating additional larger buffer sizes in accordance with packet sizes of discarded packets that can't be stored in existing preallocated buffer sizes
KR20040058032A (ko) * 2002-12-26 2004-07-03 한국과학기술정보연구원 파일전송 관리 시스템 및 방법과 그 프로그램을 기록한기록매체
CN1677946A (zh) * 2004-04-02 2005-10-05 华为技术有限公司 一种缓存分配方法及装置
CN107689923A (zh) * 2016-08-04 2018-02-13 华为技术有限公司 报文处理方法及路由器
CN108834086A (zh) * 2018-06-25 2018-11-16 平安科技(深圳)有限公司 短信发送的方法、装置、计算机设备和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9961023B2 (en) * 2014-05-13 2018-05-01 Red Hat Israel, Ltd. Adjusting buffer size for network interface controller

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5920732A (en) * 1996-07-01 1999-07-06 Apple Computer, Inc. System for preallocating additional larger buffer sizes in accordance with packet sizes of discarded packets that can't be stored in existing preallocated buffer sizes
KR20040058032A (ko) * 2002-12-26 2004-07-03 한국과학기술정보연구원 파일전송 관리 시스템 및 방법과 그 프로그램을 기록한기록매체
CN1677946A (zh) * 2004-04-02 2005-10-05 华为技术有限公司 一种缓存分配方法及装置
CN107689923A (zh) * 2016-08-04 2018-02-13 华为技术有限公司 报文处理方法及路由器
CN108834086A (zh) * 2018-06-25 2018-11-16 平安科技(深圳)有限公司 短信发送的方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN111371704A (zh) 2020-07-03

Similar Documents

Publication Publication Date Title
CN111371704B (zh) 一种数据缓存方法、装置、终端设备和存储介质
US11146502B2 (en) Method and apparatus for allocating resource
KR102376713B1 (ko) 복합 파티션 함수 제공 기법
US10831612B2 (en) Primary node-standby node data transmission method, control node, and database system
CN105245912A (zh) 一种缓存视频数据及读取视频数据的方法及装置
CN104202375A (zh) 同步数据的方法及***
CN105631035B (zh) 数据存储方法和装置
WO2011134875A1 (en) Data center operation
CN104756080A (zh) 扩展主机设备的功能
CN110020305B (zh) 网页加载方法、装置、计算机设备和存储介质
CN110708377A (zh) 一种数据传输方法、装置和存储介质
CN113806300B (zh) 数据存储方法、***、装置、设备及存储介质
CN114564457B (zh) 一种针对数据库文件的存储空间优化方法及***
WO2014194704A1 (en) A grouping processing method and system
CN104657435A (zh) 一种应用数据的存储管理方法和网络管理***
EP4057160A1 (en) Data reading and writing method and device for database
CN109564502A (zh) 应用于存储设备中的访问请求的处理方法和装置
CN110633046A (zh) 一种分布式***的存储方法、装置、存储设备及存储介质
CN110727738A (zh) 基于数据分片的全局路由***、电子设备及存储介质
CN107544298A (zh) 一种摄像头调用方法和装置
CN111225003B (zh) 一种nfs节点配置方法和装置
CN112363980B (zh) 一种分布式***的数据处理方法及装置
CN112069152B (zh) 一种数据库集群升级方法、装置、设备以及存储介质
CN111796935B (zh) 调用日志信息的消费实例分配方法及***
CN110891033B (zh) 网络资源处理方法、装置、网关、控制器及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant