CN116418893A - 一种数据管理的方法及相应装置 - Google Patents
一种数据管理的方法及相应装置 Download PDFInfo
- Publication number
- CN116418893A CN116418893A CN202111679430.7A CN202111679430A CN116418893A CN 116418893 A CN116418893 A CN 116418893A CN 202111679430 A CN202111679430 A CN 202111679430A CN 116418893 A CN116418893 A CN 116418893A
- Authority
- CN
- China
- Prior art keywords
- target data
- data
- service
- target
- response
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 115
- 238000013523 data management Methods 0.000 title claims abstract description 43
- 230000004044 response Effects 0.000 claims abstract description 155
- 238000004458 analytical method Methods 0.000 claims abstract description 25
- 230000009467 reduction Effects 0.000 claims description 59
- 238000012545 processing Methods 0.000 claims description 38
- 230000008602 contraction Effects 0.000 claims description 26
- 238000007726 management method Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 230000001105 regulatory effect Effects 0.000 claims 1
- 239000000758 substrate Substances 0.000 claims 1
- 230000008569 process Effects 0.000 description 47
- 238000010586 diagram Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 238000013500 data storage Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000008034 disappearance Effects 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000002085 persistent effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000013403 standard screening design Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/9035—Filtering based on additional data, e.g. user or group profiles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
- H04L67/61—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources taking into account QoS or priority requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/22—Parsing or analysis of headers
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请公开了一种数据管理的方法，应用于网络设备，网络设备为交换设备或者安装于交换设备或数据节点中的网络接口装置，如：网卡、加速卡等。该方法包括：网络设备通过获取的数据管理规则中的报文解析规则对业务报文进行解析，以确定业务报文关联的目标数据，进而统计与目标数据相关的业务请求，当与目标数据相关的业务请求的统计结果满足响应条件时，则网络设备根据响应策略对网络设备接收到的业务报文和/或对目标数据(热点数据)作出相应操作。该方案由网络设备来管理热点数据，不会与目标数据相关业务产生资源冲突，而且，可以减少造成热点数据被过载访问导致业务设备压力过大的机率。
Description
技术领域
本申请涉及通信技术和数据存储技术领域，具体涉及一种数据管理的方法及相应装置。
背景技术
随着数据量的海量增加，对集中式存储、分布式存储、分布式数据库、集中式数据库等服务***来说，一些数据的识别和快速访问一直都是业务性能的关键指标，如：对热点数据的识别和快速访问直接影响用户的业务体验。在文件存储和数据库存储的处理过程中，还可以根据数据的被访问频度进行分级存储，从而在保证性能的基础上降低存储的成本。
在分级存储的场景中，一些常用数据会被存放在缓存里，有利于这些常用数据被快速访问。但是，如果突然有大量用户需要访问同一个数据，就会导致流量过于集中，使得网络带宽、物理存储空间、数据库连接等很多物理资源无法支撑。当前无法快速识别这些访问过于集中的数据，影响了业务运行。
发明内容
本申请提供一种数据管理的方法，用于快速识别网络中的目标数据并作出相应操作。本申请实施例还提供了相应的装置、计算机可读存储介质及计算机程序产品等。
本申请第一方面提供一种数据管理的方法，该方法应用于网络设备，网络设备为交换设备或者安装于交换设备或数据节点中的网络接口装置，该方法包括：网络设备获取数据管理规则，数据管理规则包括报文解析规则、响应条件和响应策略；网络设备根据报文解析规则对来自客户端的业务报文进行解析，以确定业务报文关联的目标数据，目标数据是应用层数据；网络设备统计与目标数据相关的业务请求，业务请求从业务报文中得到；当与目标数据相关的业务请求的统计结果满足响应条件时，则网络设备根据响应策略对网络设备接收到的业务报文和/或对目标数据作出相应操作。
本申请中，网络设备所位于的数据***可以为分布式***或集中式***，该分布式***可以包括分布式数据库服务***，集中式***可以包括集中式数据库服务***，以及其他涉及到底层存储的***。
本申请中，交换设备可以是交换机、路由器或网关设备等在网络中用于实现数据转发的设备，如：存储区网络(storage area network，SAN)交换机、以太网交换机，光纤交换机或其它物理交换设备，也可以为虚拟交换机。数据节点可以是物理机，也可以是虚拟机(virtual machine，VM)或者其他形式的用于数据存储的资源。网络接口装置可以是网卡、加速卡、数据处理单元(data processing unit，DPU)或者网络接口，如：交换机接口。客户端可以是终端设备或者安装于终端设备上的应用。
本申请中，数据管理规则可以是预先配置在网络设备上的，也可以是从规则管理装置或与目标数据相关的业务服务器接收的。
本申请中，业务报文指的是与业务相关的数据的报文。业务报文在网络中传输可以使用传输控制协议/网际协议(Transmission Control Protocol/Internet Protocol，TCP/IP)，也可以使用远程直接内存访问(remote direct memory access，RDMA)协议，或者其他通信协议。
本申请中，业务报文关联的目标数据可以是从业务报文中直接解析出的，也可以是根据从业务报文中解析出的标识(如：目标数据的索引信息或地址信息)可以查找到的。
本申请中，与目标数据相关的业务请求指的是对该目标数据进行读操作或写操作的请求等，该业务请求的类型可以从业务报文中解析出。
本申请中，报文解析规则指的是对业务报文进行解析的规则，可以是：第一步需要解析的内容，第二步需要解析的内容等，该报文解析的规则中可以指定需要解析的字段。
本申请中，响应条件指的是触发响应策略生效需满足的条件。
本申请中，响应策略指的是针对业务报文或目标数据作出的服务质量(qualityof service，Qos)调整策略或资源调整策略。
需要说明的是，本申请实施例中的服务质量指的是网络服务质量。
由上述第一方面可知，网络设备可以对目标数据进行识别和处理，不会占用用于提供目标数据相关业务的业务服务器的资源，不会与目标数据相关业务产生资源冲突，而且，通过网络设备可以在目标数据相关的业务请求还网络中传输时就提前识别到然后作出相应操作，可以减少造成目标数据被过载访问导致业务服务器压力过大的机率。
在第一方面的一种可能的实现方式中，响应条件包括统计规则和响应关系；其中，统计规则包括统计时长，响应关系包括按照统计时长统计的业务请求的数量与目标阈值应满足的关系。与目标数据相关的业务请求的统计结果包括：与目标数据相关的业务请求在统计时长内的数量。
在第一方面的另一种可能的实现方式中，统计结果满足响应条件包括：按照响应关系的指示，与目标数据相关的业务请求在统计时长内的数量超过目标阈值，若数量超过目标阈值，且目标数据不是已存在的热点数据，则指示目标数据为新产生的热点数据；或者，统计结果满足响应条件包括：按照响应关系的指示，与目标数据相关的业务请求在统计时长内的数量低于目标阈值，若数量低于目标阈值，且目标数据是已存在的热点数据时，则指示目标数据的热点属性消失。
本申请中，统计时长指的是用于统计业务请求的时间长度，如：1分钟、2分钟、5分钟或者其他数值。响应关系指的是按照统计时长统计的业务请求的数量与目标阈值的关系(如：超过目标阈值或低于目标阈值，需要说明的是，一个响应关系中，只会有一种关系，要么大于目标阈值，要么小于目标阈值)。当以响应关系是大于目标阈值为例时，如：统计时长是1分钟，目标阈值是1万次，如果统计结果是统计到一分钟的与目标数据相关的业务请求的数量是1.2万次，而且该目标数据不是已存在的热点数据，则表示该目标数据是新产生的热点数据，那么该统计结果满足响应条件。当以响应关系是小于目标阈值为例时，如果统计结果是统计到一分钟的与目标数据相关的业务请求的数量是0.7万次，当目标数据是已存在的热点数据时，则表示该统计结果也满足响应条件。
本申请中，可以统计热点数据产生或热点数据消失的过程，如果统计到针对不是热点数据的目标数据在一分钟的业务请求超过目标阈值，则可以理解为是热点数据产生的过程，如果统计到已是热点数据的目标数据的在一分钟的业务请求低于目标阈值，则可以理解为是热点数据消失的过程。当然，针对热点数据产生和热点数据消失所使用的响应关系中的目标阈值可以不相同。
本申请中，热点数据指的是在一段时间活跃量超过一定阈值的数据，如：被访问、被点击、被浏览、被关注以及被下载等次数较多的数据，热点数据可以是热卖商品、热点新闻、热点的应用、热点的节目、节点的音乐等各种形式的数据。
本申请中，统计热点数据可以采用，如：最近最少使用(least recently used，LRU),最近最不常使用(least frequently used，LFU)，以及先入先出(first in firstout，FIFO)等多种算法。
该种可能的实现方式中，网络设备可以对热点数据进行快速识别与处理，不会占用用于提供目标数据相关业务的业务服务器的资源，不会与目标数据相关业务产生资源冲突，而且，通过网络设备可以在热点数据还网络中传输时就提前识别到然后作出相应操作，可以减少造成热点数据被过载访问导致业务服务器压力过大的机率。
在第一方面的一种可能的实现方式中，响应条件包括多组统计规则和响应关系，不同统计规则中的统计时长不同，不同的统计规则对应的响应关系中的目标阈值不相同；不同的统计规则对应的响应策略中的不同调整策略。
本申请中，统计规则中包括的统计时长和响应关系中的目标阈值通常是对应的。如：统计时长是1分钟，目标阈值是10000次，统计时长是2分钟，目标阈值是20000次，统计时长是5分钟，目标阈值是50000次。当然，此处只是举例，实际上，不同统计规则中的统计时长与对应的响应关系中的目标阈值之间的关系不一定是成比例变化的。虽然，此处只介绍了统计规则中包括统计时长，实际上，统计规则中还可以包括其他参量，如：统计对象的标识，该统计对象的标识例如可以是目标数据对应业务对外的业务地址，例如：可以是目标数据所在设备的地址、也可以是VM的虚拟接口地址，或者可以表示该业务地址的其他信息，该其他信息例如可以是redis的键值(key)，或者是视频的url地址，文件的索引等。当针对不同设备上的数据采用不同的响应条件时，统计规则中可以设置统计对象的标识，如果：针对所有数据都采用同一套响应条件，则也可以不设置统计对象的标识。
该种可能的实现方式中，通过在响应条件中配置多组统计规则和响应关系，可以有效的启用不同的调整策略，这样，可以使调整的用于处理目标数据的资源与当前客户端对目标数据的访问量更匹配，可以避免因为资源不足导致业务过载或宕机的问题，还可以提高资源的利用率。
在第一方面的一种可能的实现方式中，响应策略包括：针对目标优先级的业务报文的服务质量调整策略，以及对目标数据做资源扩容或资源缩容的调整策略；其中，目标优先级包含于响应策略中。
在第一方面的一种可能的实现方式中，上述步骤：网络设备根据响应策略对网络设备接收到的业务报文和/或对目标数据作出相应操作，包括：当目标数据为新产生的热点数据时，网络设备按照服务质量调整策略调低目标优先级的业务报文的服务质量，和/或，按照资源扩容的调整策略对目标数据作出资源扩容的操作；当目标数据的热点属性消失时，网络设备按照服务质量调整策略调高目标业务优先级的业务报文的服务质量，和/或，按照资源缩容的调整策略对目标数据作出资源缩容的操作。
本申请中，网络设备可以接收到不同优先级的业务报文，当产生热点数据时，为了避免热点数据对高优先级的业务造成冲击，可以优先处理高优先级的业务报文，为了对保障高优先级的业务报文的处理，可以按照响应策略中指定的目标优先级，调低目标优先级的业务报文的服务质量(如：降低目标优先级的业务报文的带宽、时延或丢包率等)。和/或，为热点数据做资源扩容，也就是增加热点数据的资源，这样，可以缓解热点数据对高优先级业务的冲击。
本申请中，针对热点数据的扩容或缩容的资源包括网络资源、计算资源以及存储资源等。
本申请中，当热点数据消失时，热点数据消失表示之前该热点数据所占用的资源会被空出，这时，可以提高目标优先级的业务报文的服务质量，有利于对这些目标优先级的业务报文进行较好的处理。和/或，为热点数据做资源缩容，也就是减少热点数据的资源，这样可以提高资源的利用率。
在第一方面的一种可能的实现方式中，上述步骤：网络设备根据报文解析规则对来自客户端的业务报文进行解析，以确定业务报文关联的目标数据，包括：网络设备根据报文解析规则解析业务报文的五元组，以确定业务报文的业务类型；网络设备根据报文解析规则解析指示字段，以确定业务类型的目标数据或目标数据的索引信息，索引信息用于确定目标数据。
本申请中，五元组中包括目的地址，可以通过该目的地址确定该业务报文的业务类型，如：该目的地址可以是游戏服务器的IP地址，视频服务器的IP地址，音乐服务器的IP地址，以及电商服务器的IP地址等。业务报文中的指示字段可以位于报文头中，也可以位于报文载荷中，该指示字段可以是某个目标数据的索引信息，该索引信息可以是目标数据的具体地址，或者目标数据的名称或标识等。
在第一方面的一种可能的实现方式中，当响应策略指示由用于管理数据节点的控制节点执行资源扩容或资源缩容的调整策略时；上述步骤：按照资源扩容的调整策略对目标数据作出资源扩容的操作，包括：网络设备向控制节点发送扩容通知，扩容通知用于指示控制节点为目标数据进行资源扩容；或者，上述步骤：按照资源缩容的调整策略对目标数据作出资源缩容的操作，包括：网络设备向控制节点发送缩容通知，缩容通知用于指示控制节点为目标数据进行资源缩容。
该种可能的实现方式中，控制节点指的是对网络设备所在的***中的资源进行全局管理的设备，控制节点可以根据接收到的扩容通知对目标数据进行资源扩容，可以根据接收到的缩容通知对目标数据进行资源缩容，因为控制节点统筹整个***的资源，可以为该目标数据做出较优的资源扩容或资源缩容。
在第一方面的一种可能的实现方式中，数据节点还包括第一控制装置；当响应策略指示由第一控制装置执行资源扩容或资源缩容的调整策略时；上述步骤：按照资源扩容的调整策略对目标数据作出资源扩容的操作，包括：网络设备向第一控制装置发送扩容通知，扩容通知用于指示第一控制装置为目标数据进行资源扩容；或者，上述步骤：按照资源缩容的调整策略对目标数据作出资源缩容的操作，包括：网络设备向第一控制装置发送缩容通知，缩容通知用于指示第一控制装置为目标数据进行资源缩容。
该种可能的实现方式中，由数据节点中的第一控制装置来完成对目标数据的资源扩容或资源缩容的过程。
在第一方面的一种可能的实现方式中，网络设备为安装于交换设备上的网络接口装置；交换设备还包括第二控制装置，当响应策略指示由控制装置执行资源扩容或资源缩容的调整策略时；上述步骤：按照资源扩容的调整策略对目标数据作出资源扩容的操作，包括：网络接口装置向第二控制装置发送扩容通知，扩容通知用于指示第二控制装置为目标数据进行资源扩容；或者，上述步骤：按照资源缩容的调整策略对目标数据作出资源缩容的操作，包括：网络接口装置向第二控制装置发送缩容通知，缩容通知用于指示第二控制装置为目标数据进行资源缩容。
该种可能的实现方式中，由交换设备上的第二控制装置来完成对目标数据的资源扩容或资源缩容的过程，可以不用再为***中配置控制节点，简化了网络结构。
在第一方面的一种可能的实现方式中，上述步骤：网络设备获取数据管理规则，包括：网络设备从业务服务器或规则管理装置获取数据管理规则，业务服务器是与目标数据相关的服务器。
本申请第二方面提供一种网络设备，该网络设备具有实现上述第一方面或第一方面任意一种可能实现方式的方法的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块，例如：获取单元、第一处理单元、第二处理单元和操作单元，其中，第一处理单元和第二处理单元也可以通过一个处理单元来实现。
本申请第三方面提供一种网络设备，该网络设备包括至少一个处理器、存储器、输入/输出(input/output，I/O)接口以及存储在存储器中并可在处理器上运行的计算机执行指令，当网络设备执行指令被处理器执行时，处理器执行如上述第一方面或第一方面任意一种可能的实现方式的方法。
本申请第四方面提供一种存储一个或多个计算机执行指令的计算机可读存储介质，当计算机执行指令被处理器执行时，一个或多个处理器执行如上述第一方面或第一方面任意一种可能的实现方式的方法。
本申请第五方面提供一种存储一个或多个计算机执行指令的计算机程序产品，当计算机执行指令被一个或多个处理器执行时，一个或多个处理器执行如上述第一方面或第一方面任意一种可能的实现方式的方法。
本申请第六方面提供了一种网卡，该网卡包括输入接口、输出接口以及至少一个处理器，输入接口用于接收业务报文，至少一个处理器用于支持网卡实现上述第一方面或第一方面任意一种可能的实现方式中所涉及的功能，输出接口用于发送扩容通知或缩容通知。在一种可能的设计中，网卡还可以包括存储器，存储器，用于网络设备必要的程序指令和数据。
附图说明
图1是本申请实施例提供的分布式***的一结构示意图；
图2是本申请实施例提供的集中式***的一结构示意图；
图3是本申请实施例提供的数据管理的方法的一实施例示意图；
图4是本申请实施例提供的数据管理的方法的另一实施例示意图；
图5是本申请实施例提供的业务报文的一结构示意图；
图6是本申请实施例提供的数据管理的方法的另一实施例示意图；
图7是本申请实施例提供的数据管理的方法的另一实施例示意图；
图8是本申请实施例提供的数据管理的方法的另一实施例示意图；
图9是本申请实施例提供的数据管理的方法的另一实施例示意图；
图10是本申请实施例提供的业务报文的另一结构示意图；
图11是本申请实施例提供的网络设备的一结构示意图；
图12是本申请实施例提供的网络设备的另一结构示意图。
具体实施方式
下面结合附图，对本申请的实施例进行描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。本领域普通技术人员可知，随着技术发展和新场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例提供一种数据管理的方法，用于快速识别网络中的目标数据并作出相应操作。本申请实施例还提供了相应的装置、计算机可读存储介质及计算机程序产品等。以下分别进行详细说明。
本申请实施例提供的方法可以在网络设备上实现，该网络设备所位于的数据***可以为分布式***或集中式***，该分布式***可以包括分布式数据库服务***，集中式***可以包括集中式数据库服务***，以及其他涉及到底层存储的***。
图1为本申请实施例提供的分布式***的一场景示意图。
如图1所示，本申请实施例提供的分布式***的场景中，客户端可以通过网络访问分布式***，该分布式***中包括服务入口节点、交换设备、控制节点和多个数据节点。其中，服务入口节点与交换设备通信连接，交换设备与控制节点以及每个数据节点通信连接。需要说明的是，该分布式***中也可以不包括控制节点，该控制节点的功能由交换设备来实现。
服务入口节点相当于连接客户端的网络与分布式***的接口，一个服务入口节点下面可以连接多个交换设备(图1中只示出了一个交换设备)，服务入口节点用于接收来自客户端的业务报文，并将业务报文传递给交换设备，由交换设备分发到不同的数据节点。服务入口节点可以实现各交换设备的负载均衡。数据节点可以通过交换设备与控制节点通信，控制节点也可以通过交换设备向每个数据节点发送消息。
业务报文指的是与业务相关的数据的报文。业务报文在网络中传输可以使用传输控制协议/网际协议(Transmission Control Protocol/Internet Protocol，TCP/IP)，也可以使用远程直接内存访问(remote direct memory access，RDMA)协议，或者其他通信协议。
交换设备可以是交换机、路由器或网关设备等在网络中用于实现数据转发的设备，如：存储区网络(storage area network，SAN)交换机、以太网交换机，光纤交换机或其它物理交换设备，也可以为虚拟设备，如：虚拟交换机。
数据节点可以是物理机，也可以是虚拟机(virtual machine，VM)或者其他形式的用于数据存储的资源，如：数据存储器(data storage)或非易失性存储器，该数据存储器包括但不限于固态硬盘(solid state drives,SSD)、磁盘阵列或其他类型的非瞬态计算机可读介质，还可以包括传统的动态随机存取存储器(dynamic random access memory，DRAM)和新的持久化内存(persistent memory，PMem)。非易失性存储器包括半导体存储器设备，例如可擦可编程只读存储器(erasable programmable read only memory，EPROM)，电可擦只读存储器(electrically erasable programmable read only memory，EEPROM)和闪存(flash memory)；磁盘，例如内部硬盘(internal hard disk)或可移动磁盘(removabledisk)，磁光盘(magneto optical disk)，以及CD ROM和DVD-ROM。
控制节点可以是物理机或虚拟机，用于管理分布式***中的全局资源，包括计算资源、存储资源和网络资源等。
客户端可以是终端设备或者安装于终端设备上的应用。终端设备(也可以称为用户设备(user equipment，UE))是一种具有无线收发功能的设备，可以部署在陆地上，包括室内或室外、手持或车载；也可以部署在水面上(如轮船等)；还可以部署在空中(例如飞机、气球和卫星上等)。终端可以是手机(mobile phone)、平板电脑(pad)、带无线收发功能的电脑、虚拟现实(virtual reality，VR)终端、增强现实(augmented reality，AR)终端、工业控制(industrial control)中的无线终端、无人驾驶(self driving)中的无线终端、自动驾驶装置、远程医疗(remote medical)中的无线终端、智能电网(smart grid)中的无线终端、运输安全(transportation safety)中的无线终端、智慧城市(smart city)中的无线终端、智慧家庭(smart home)中的无线终端等。
图2为本申请实施例提供的集中式***的一场景示意图。
如图2所示，本申请实施例提供的集中式***的场景中，客户端可以通过网络访问集中式***，该集中式***中包括多个集中式服务，其中，每个集中式服务包括一个服务入口节点与一个数据节点，数据节点对集中式服务内计算资源、存储资源和网络资源等进行管理。
服务入口节点相当于连接客户端的网络与集中式***的接口，服务入口节点用于接收来自客户端的业务报文，并将业务报文传递给对应的数据节点。
以上，介绍了分布式***和集中式***的结构，本申请实施例提供的数据管理的方法可以应用于例如上述图1所示的分布式***和图2所示的集中式***中。下面结合附图介绍本申请实施例提供的数据管理的方法。该数据管理的方法的应用于网络设备，该网络设备可以为上述分布式***或集中式***中的交换设备或者安装于交换设备或数据节点中的网络接口装置。
其中，网络接口装置可以是网卡、加速卡、数据处理单元(data processing unit，DPU)或者网络接口，如：交换机接口。
如图3所示，本申请实施例提供的数据管理的方法的一实施例包括：
101.网络设备获取数据管理规则，数据管理规则包括报文解析规则、响应条件和响应策略。
数据管理规则可以是预先配置在网络设备上的，也可以是从规则管理装置或与目标数据相关的业务服务器接收的，业务服务器是与目标数据相关的服务器。
报文解析规则指的是对业务报文进行解析的规则，可以是：第一步需要解析的内容，第二步需要解析的内容等，该报文解析的规则中可以指定需要解析的字段。
响应条件指的是触发响应策略生效需满足的条件。
响应策略指的是针对业务报文或目标数据作出的服务质量(quality ofservice，Qos)调整策略或资源调整策略。
需要说明的是，本申请实施例中的服务质量指的是网络服务质量。
102.网络设备根据报文解析规则对来自客户端的业务报文进行解析，以确定业务报文关联的目标数据，目标数据是应用层数据。
业务报文关联的目标数据可以是从业务报文中直接解析出的，也可以是根据从业务报文中解析出的标识(如：目标数据的索引信息或地址信息)可以查找到的。
该步骤102可以包括：网络设备根据报文解析规则解析业务报文的五元组，以确定业务报文的业务类型；网络设备根据报文解析规则解析指示字段，以确定业务类型的目标数据或目标数据的索引信息，索引信息用于确定目标数据。
五元组中包括目的地址，可以通过该目的地址确定该业务报文的业务类型，如：该目的地址可以是游戏服务器的IP地址，视频服务器的IP地址，音乐服务器的IP地址，以及电商服务器的IP地址等。业务报文中的指示字段可以位于报文头中，也可以位于报文载荷中，该指示字段可以是某个目标数据的索引信息，该索引信息可以是目标数据的具体地址，或者目标数据的名称或标识等。
103.网络设备统计与目标数据相关的业务请求，该业务请求从业务报文中得到。
与目标数据相关的业务请求指的是对该目标数据进行读操作或写操作的请求等，该业务请求的类型可以从业务报文中解析出。
104.当与目标数据相关的业务请求的统计结果满足响应条件时，则网络设备根据响应策略对网络设备接收到的业务报文和/或对目标数据作出相应操作。
本申请实施例中，网络设备可以对目标数据进行识别和处理，不会占用用于提供目标数据相关业务的业务服务器的资源，不会与目标数据相关业务产生资源冲突，而且，通过网络设备可以在目标数据相关的业务请求还网络中传输时就提前识别到然后作出相应操作，可以减少造成目标数据被过载访问导致业务服务器压力过大的机率。
可选地，本申请实施例中，响应条件包括统计规则和响应关系；其中，统计规则包括统计时长，响应关系包括按照统计时长统计的业务请求的数量与目标阈值应满足的关系。
与目标数据相关的业务请求的统计结果包括：与目标数据相关的业务请求在统计时长内的数量。
统计结果满足响应条件包括：按照响应关系的指示，与目标数据相关的业务请求在统计时长内的数量超过目标阈值，若数量超过目标阈值，且目标数据不是已存在的热点数据，则指示目标数据为新产生的热点数据；或者，统计结果满足响应条件包括：按照响应关系的指示，与目标数据相关的业务请求在统计时长内的数量低于目标阈值，若数量低于目标阈值，且目标数据是已存在的热点数据时，则指示目标数据的热点属性消失。
其中，统计时长指的是用于统计业务请求的时间长度，如：1分钟、2分钟、5分钟或者其他数值。
响应关系指的是按照统计时长统计的业务请求的数量与目标阈值的关系(如：超过目标阈值或低于目标阈值，需要说明的是，一个响应关系中，只会有一种关系，要么大于目标阈值，要么小于目标阈值)。当以响应关系是以大于目标阈值为例时，如：统计时长是1分钟，目标阈值是1万次，如果统计结果是统计到一分钟的与目标数据相关的业务请求的数量是1.2万次，而且该目标数据不是已存在的热点数据，则表示该目标数据是新产生的热点数据，那么该统计结果满足响应条件。当以响应关系是以小于目标阈值为例时，如果统计结果是统计到一分钟的与目标数据相关的业务请求的数量是0.7万次，当目标数据是已存在的热点数据时，则表示该统计结果也满足响应条件。
网络设备上可以维护热点数据的记录表，在该记录表中标记已成为热点数据的数据信息。
本申请实施例中，结合上述示例关于统计规则、响应关系、统计结果，以及统计结果是否满足响应条件之间的关系可以参阅下表1进行理解。
表1：
由上述表1可以看出，虽然统计时长相同，但响应关系可以不相同，而且，是否满足响应条件，需要考虑该目标数据是否是已存在的热点数据。统计规则中可以标记出是针对已存在的热点数据使用的规则，或者，针对不是已存在的热点数据使用的规则。而且表1中只是示例性的说明，实际上，在热点数据消失的场景中，统计时长可以设置的比热点数据产生的场景大一些，如：热点数据产生的场景的统计时长设置的是1分钟，热点数据消失的场景的统计时长设置的是3分钟或5分钟，当然，具体数值本申请实施例中不做限制。另外，针对热点数据消失的场景还可以设置检测周期，连续几个周期检测到该热点数据的业务请求一直在下降才对该数据做资源缩容处理或者其他服务质量方面的调整。
本申请实施例中，可以统计热点数据产生或热点数据消失的过程，如果统计到针对不是热点数据的目标数据在一分钟的业务请求超过目标阈值，则可以理解为是热点数据产生的过程，如果统计到已是热点数据的目标数据的在一分钟的业务请求低于目标阈值，则可以理解为是热点数据消失的过程。当然，针对热点数据产生和热点数据消失所使用的响应关系中的目标阈值可以不相同。
本申请实施例中，热点数据指的是在一段时间活跃量超过一定阈值的数据，如：被访问、被点击、被浏览、被关注以及被下载等次数较多的数据，热点数据可以是热卖商品、热点新闻、热点的应用、热点的节目、节点的音乐等各种形式的数据。统计热点数据可以采用，如：最近最少使用(least recently used，LRU),最近最不常使用(least frequentlyused，LFU)，以及先入先出(first in first out，FIFO)等多种算法。
可选地，本申请实施例中，响应条件包括多组统计规则和响应关系，不同统计规则中的统计时长不同，不同的统计规则对应的响应关系中的目标阈值不相同；不同的统计规则对应的响应策略中的不同调整策略。
本申请实施例中，统计规则中包括的统计时长和响应关系中的目标阈值通常是对应的。如：统计时长是1分钟，目标阈值是10000次，统计时长是2分钟，目标阈值是20000次，统计时长是5分钟，目标阈值是50000次。当然，此处只是举例，实际上，不同统计规则中的统计时长与对应的响应关系中的目标阈值之间的关系不一定是成比例变化的。虽然，此处只介绍了统计规则中包括统计时长，实际上，统计规则中还可以包括其他参量，如：统计对象的标识，该统计对象的标识例如可以是目标数据对应业务对外的业务地址，例如：可以是目标数据所在设备的地址、也可以是VM的虚拟接口地址，或者可以表示该业务地址的其他信息，该其他信息例如可以是redis的键值(key)，或者是视频的url地址，文件的索引等。当针对不同设备上的数据采用不同的响应条件时，统计规则中可以设置统计对象的标识，如果：针对所有数据都采用同一套响应条件，则也可以不设置统计对象的标识。
本申请实施例，通过在响应条件中配置多组统计规则和响应关系，可以有效的启用不同的调整策略，这样，可以使调整的用于处理目标数据的资源与当前客户端对目标数据的访问量更匹配，提高了资源的利用率。
可选地，本申请实施例中，响应策略包括：针对目标优先级的业务报文的服务质量调整策略，以及对目标数据做资源扩容或资源缩容的调整策略；其中，目标优先级包含于响应策略中。
结合该响应策略，上述步骤104可以包括两种情况，一种是热点数据产生时的处理过程，一种是热点数据消失时的处理过程，下面分别进行介绍。
1.热点数据产生。
当目标数据为新产生的热点数据时，网络设备按照服务质量调整策略调低目标优先级的业务报文的服务质量，和/或，按照资源扩容的调整策略对目标数据作出资源扩容的操作；
本申请实施例中，网络设备可以接收到不同优先级的业务报文，当产生热点数据时，为了避免热点数据对高优先级的业务造成冲击，可以优先处理高优先级的业务报文，为了对保障高优先级的业务报文的处理，可以按照响应策略中指定的目标优先级，调低目标优先级的业务报文的服务质量(如：降低目标优先级的业务报文的带宽、时延或丢包率等)。和/或，为热点数据做资源扩容，也就是增加热点数据的资源，这样，可以缓解热点数据对高优先级业务的冲击。
本申请实施例中，针对热点数据的扩容或缩容的资源包括网络资源、计算资源以及存储资源等。
2.热点数据消失。
当目标数据的热点属性消失时，网络设备按照服务质量调整策略调高目标业务优先级的业务报文的服务质量，和/或，按照资源缩容的调整策略对目标数据作出资源缩容的操作。
本申请实施例中，当热点数据消失时，热点数据消失表示之前该热点数据所占用的资源会被空出，这时，可以提高目标优先级的业务报文的服务质量，有利于对这些目标优先级的业务报文进行较好的处理。和/或，为热点数据做资源缩容，也就是减少热点数据的资源，这样可以提高资源的利用率。
以上，当响应条件中包括多组统计规则和响应关系时，不同组的统计规则可以对应不同的响应策略中的调整策略，该对应关系可以参考如下表2中的示例进行理解。
表2：
由表2的示例可见，不同统计时长统计到的业务请求的数量超过对应的目标阈值时，所执行的响应策略不同。当然，此处表1中的内容只是举例，只是提供一种不同统计规则对应不同响应策略的思想，其他可以在本思想之内的实现方式都可以理解为是本申请的方案。
需要说明的是，上述表2中，执行资源扩容或资源缩容时，不同的统计规则还可以按照不同规格进行资源扩容或资源缩容，如：统计时长是2分钟，执行资源扩容时，可以增加1个数据节点用于处理热点数据，统计时长是5分钟，执行资源扩容时，可以增加2个数据节点用于处理热点数据，当然，此处只是提供一种思想，具体资源扩容或资源缩容的规格本申请中不做限定。
另外，本申请实施例中，在不同的场景中，对目标数据的管理过程略有不同，下面分别对各场景中的目标数据的管理过程进行介绍。
在上述图1所示的分布式***的场景下，网络设备可以为交换设备或安装于交换设备或数据节点上的网络接口装置，图4中以网络设备是安装于数据节点上网卡为例进行介绍，如图4所示，本申请实施例提供的数据管理的方法的另一实施例包括：
201.网卡接收到接收来自客户端的业务报文。
该网卡已经预先获取了前面描述的数据管理规则，如图4中所示的，从规则管理装置预先获取了数据管理规则。
202.网卡根据报文解析规则对来自客户端的业务报文进行解析，以确定业务报文关联的目标数据。
该报文解析过程可以参阅图5进行理解，如图5所示，业务报文包括报文头(EthHeader、IP Header和TCP Header)，以及报文载荷(RESP payload)部分，可以先根据报文解析规则解析报文头，根据IP地址确定该业务报文所请求的数据的目的地址，然后再解析报文载荷部分，可以确定该报文载荷部分包括对目标数据的读请求，以及目标数据的索引信息，根据该索引信息，可以从该IP地址的服务器获取到该目标数据。
203.网卡根据统计规则中的统计时长统计与目标数据相关的业务请求。
当目标数据在热点数据记录表中没有记录时，表示该目标数据不是热点数据，则可以选择不是热点数据的响应条件，或者不是热点数据的统计规则以及对应的响应关系。然后统计该目标数据相关的业务请求在统计时长的数量，当该数量大于目标阈值，则表示该目标数据是新产生的热点数据。
当目标数据在热点数据记录表中已有记录时，表示该目标数据是热点数据，则可以选择是热点数据的响应条件，或者是热点数据的统计规则以及对应的响应关系。然后统计该目标数据相关的业务请求在统计时长的数量，当该数据小于目标阈值，则表示该目标数据的热点属性已消失。
204.当与目标数据相关的业务请求的统计结果满足响应条件时，网卡调低目标优先级的业务报文的服务质量，或者，网卡调高目标优先级的业务报文的服务质量。
针对新产生的热点数据，网卡可以调低目标优先级的业务报文的服务质量。针对热点属性已消失的目标数据，网卡可以调高目标优先级的业务报文的服务质量。
205.网卡通过交换设备向控制节点发送扩容通知或缩容通知。
扩容通知用于指示控制节点为目标数据进行资源扩容。
缩容通知用于指示控制节点为目标数据进行资源缩容。
如果是热点数据产生的场景，网卡发送的是扩容通知，如果是热点数据消失的场景，网卡发送的是缩容通知。
206.控制节点根据扩容通知为目标数据进行资源扩容，或者，控制节点根据缩容通知为目标数据进行资源缩容。
该资源扩容的过程可以是控制节点向某个数据节点发通知，指示该数据节点也作为处理目标数据的节点。
该资源缩容的过程可以是控制节点向某个数据节点发通知，指示该数据节点不再作为处理目标数据的节点。
因为控制节点统筹整个网络的资源，可以为该目标数据做出较优的资源扩容或资源缩容。
以上结合图4描述了数据节点上的网卡作为网络设备来实现上述热点数据的管理的过程，当网络设备是交换设备上的网络接口装置时，上述过程可以参阅图6进行理解。
下面结合图6介绍在分布式***的场景中，网络设备是交换设备上的网络接口，如交换机接口时的热点数据的管理过程。
如图6所示，本申请实施例提供的数据管理的方法的另一实施例包括：
301.交换设备上的网络接口接收到来自客户端的业务报文。
302.网络接口根据报文解析规则对来自客户端的业务报文进行解析，以确定业务报文关联的目标数据。
303.网络接口根据统计规则中的统计时长统计与目标数据相关的业务请求。
304.当与目标数据相关的业务请求的统计结果满足响应条件时，网络接口调低目标优先级的业务报文的服务质量，或者，网络接口调高目标优先级的业务报文的服务质量。
305.网络接口向控制节点发送扩容通知或缩容通知。
306.控制节点根据扩容通知为目标数据进行资源扩容，或者，控制节点根据缩容通知为目标数据进行资源缩容。
以上图6中网络接口所执行的步骤中的相关内容可以参阅图4中步骤201至步骤206中相关的解释进行理解，此处不再重复介绍。
以上结合图6描述了交换设备上的网络接口作为网络设备来实现上述热点数据的管理的过程，当网络设备是交换设备时，过程与上述图6的过程相同，可以参阅图6的过程进行理解。
以上图6介绍的方案，是当网络设备是交换设备的网络接口时，通过控制节点来实现资源扩容或资源缩容的过程。可选地，交换设备上也可以安装有一个控制装置，可以通过该控制装置来实现资源扩容或资源缩容的过程，该场景的过程可以参阅图7进行理解。
如图7所示，该场景的步骤401至步骤404可以参阅图6部分的步骤301至步骤304进行理解，与图6不同的是步骤405和步骤406。
405.网络接口向控制装置发送扩容通知或缩容通知。
406.控制装置根据扩容通知为目标数据进行资源扩容，或者，控制装置根据缩容通知为目标数据进行资源缩容。
该分布式场景中的控制装置也可以称为第二控制装置。
步骤406的具体实现过程可以参阅前面的步骤206中的相应描述进行理解。
以上介绍了在分布式***中网络设备是数据节点上的网卡、交换设备上的网络接口以及交换设备时，对热点数据的管理过程，下面结合附图介绍在集中式***的场景中，对热点数据的管理过程。
如图8所示，在集中式***的场景中，网络设备为安装于数据节点上的网络接口装置，数据节点还包括控制装置。
如图8所示，本申请实施例提供的数据管理的方法的另一实施例包括：
该实施例中步骤501至步骤504可以参阅图4中步骤201至步骤204进行理解，不同的是步骤505和步骤506。
505.网卡向控制装置发送扩容通知或缩容通知。
506.控制装置根据扩容通知为目标数据进行资源扩容，或者，控制装置根据缩容通知为目标数据进行资源缩容。
该集中式场景中的控制装置也可以称为第一控制装置。
该集中式***中，每个数据节点的资源量通常非常大，可以通过调节该数据节点上空闲的资源或者业务的资源为该热点数据服务，或者，回收因热点数据消失而产生的空闲资源。
本申请实施例提供的方案也可以应用在Redis业务场景，在Redis业务场景中的应用过程可以参阅图9进行理解，如图9所示，在Redis业务场景中，Redis集群包括服务入口节点，业务代理节点(可以选择其中一个作为控制节点)和Redis数据节点。其中，服务入口节点主要负责业务的分发处理，业务代理节点主要负责业务链接的管理和数据缓存，Redis数据节点主要提供数据读写服务。
在该Redis集群中，以视频场景为例，视频A的数据、视频B的数据和视频C的数据分别分布于三个Redis数据节点中，每个Redis数据节点都由网卡来执行数据识别与统计的过程，具体过程包括：
601.视频A的Redis数据节点中的网卡接收到业务报文。
602.网卡先按照报文解析规则，对业务报文进行解析。
该业务报文的格式可以参阅图10进行理解，该网卡先对报文头进行解析后，确定该视频A所在的服务器的IP地址，然后对报文载荷进行解析，确定出视频A的索引信息，根据该索引信息可以查找到相应的视频A中的具体内容。
603.网卡根据响应条件中的统计规则统计与视频A相关的业务请求。
604.当视频A为新产生的热点数据时，则网卡调低响应策略中指定的业务优先级的业务报文的服务质量。
605.网卡向作为控制节点的业务代理节点发送扩容通知。
606.控制节点向另一个空闲的Redis数据节点发送通知，指示该Redis数据节点为视频A提供数据处理服务。
需要说明的是，上述图4到图9中都涉及到了对目标数据进行扩容或缩容的过程，执行扩容或缩容的装置可以是控制节点，也可以是第一控制装置或第二控制装置，关于由哪个装置来执行扩容或缩容可以过程可以在响应策略中指示，网络设备可以向响应策略中指示出的用于执行扩容或缩容的装置发送扩容通知或缩容通知，然后由该装置来完成扩容或缩容过程。
以上提供了集中式、分布式的存储或数据库服务，改变了传统的在主控业务流程中进行热点统计的方法，将热点的统计和识别下发到网络设备进行操作，对于除存储或数据库之外的其它基础服务，如果需要进行一定特征的数据识别和统计的场景都可以应用本申请的技术来进行代替，在降低业务计算资源冲突的前提下能够充分的利用网络资源进行数据的统计识别，在人工智能AI模型训练的过程中也可以通过本方案对模型数据进行识别和统计。
以上结合不同的场景，介绍了本申请实施例提供的数据管理的方法，下面结合附图介绍本申请实施例提供的网络设备。
如图11所示，本申请实施例提供的网络设备70，该网络设备70可以为交换设备或者安装于交换设备或数据节点中的网络接口装置，该网络设备70的一实施例包括：
获取单元701，用于获取数据管理规则，数据管理规则包括报文解析规则、响应条件和响应策略。该获取单元701可以执行上述方法实施例中的步骤101。
第一处理单元702，用于根据获取单元701获取的报文解析规则对来自客户端的业务报文进行解析，以确定业务报文关联的目标数据，目标数据是应用层数据。该第一处理单元702可以执行上述方法实施例中的步骤102、202、302、402和502。
第二处理单元703，用于统计与第一处理单元702解析出的目标数据相关的业务请求，业务请求从业务报文中得到。该第二处理单元703可以执行上述方法实施例中的步骤103、203、303、403和503。
操作单元704，用于当第二处理单元703统计的与目标数据相关的业务请求的统计结果满足响应条件时，则根据响应策略对网络设备接收到的业务报文和/或对目标数据作出相应操作。该操作单元704可以执行上述方法实施例中的步骤104、105、204、205、304、305、404、405、504和505。
本申请实施例中，网络设备可以对目标数据进行识别和处理，不会占用用于提供目标数据相关业务的业务服务器的资源，不会与目标数据相关业务产生资源冲突，而且，通过网络设备可以在目标数据相关的业务请求还网络中传输时就提前识别到然后作出相应操作，可以减少造成目标数据被过载访问导致业务服务器压力过大的机率。
可选地，响应条件包括统计规则和响应关系；其中，统计规则包括统计时长，响应关系包括按照统计时长统计的业务请求的数量与目标阈值应满足的关系。
与目标数据相关的业务请求的统计结果包括：与目标数据相关的业务请求在统计时长内的数量。
可选地，统计结果满足响应条件包括：按照响应关系的指示，与目标数据相关的业务请求在统计时长内的数量超过目标阈值，若数量超过目标阈值，且目标数据不是已存在的热点数据，则指示目标数据为新产生的热点数据；或者，统计结果满足响应条件包括：按照响应关系的指示，与目标数据相关的业务请求在统计时长内的数量低于目标阈值，若数量低于目标阈值，且目标数据是已存在的热点数据时，则指示目标数据的热点属性消失。
可选地，响应条件包括多组统计规则和响应关系，不同统计规则中的统计时长不同，不同的统计规则对应的响应关系中的目标阈值不相同。
不同的统计规则对应的响应策略中的不同调整策略。
可选地，响应策略包括：针对目标优先级的业务报文的服务质量调整策略，以及对目标数据做资源扩容或资源缩容的调整策略；其中，目标优先级包含于响应策略中。
可选地，操作单元704用于：
当目标数据为新产生的热点数据时，按照服务质量调整策略调低目标优先级的业务报文的服务质量，和/或，按照资源扩容的调整策略对目标数据作出资源扩容的操作。
当目标数据的热点属性消失时，按照服务质量调整策略调高目标业务优先级的业务报文的服务质量，和/或，按照资源缩容的调整策略对目标数据作出资源缩容的操作。
可选地，第一处理单元702用于：根据报文解析规则解析业务报文的五元组，以确定业务报文的业务类型；根据报文解析规则解析指示字段，以确定业务类型的目标数据或目标数据的索引信息，索引信息用于确定目标数据。
可选地，操作单元704，用于当响应策略指示由用于管理数据节点的控制节点执行资源扩容或资源缩容的调整策略时，向控制节点发送扩容通知，扩容通知用于指示控制节点为目标数据进行资源扩容；或者，向控制节点发送缩容通知，缩容通知用于指示控制节点为目标数据进行资源缩容。
可选地，操作单元704，用于数据节点还包括第一控制装置；当响应策略指示由第一控制装置执行资源扩容或资源缩容的调整策略时；向第一控制装置发送扩容通知，扩容通知用于指示第一控制装置为目标数据进行资源扩容；或者，向第一控制装置发送缩容通知，缩容通知用于指示第一控制装置为目标数据进行资源缩容。
可选地，操作单元704，用于网络设备为安装于交换设备上的网络接口装置；交换设备还包括第二控制装置，当响应策略指示由第二控制装置执行资源扩容或资源缩容的调整策略时，向第二控制装置发送扩容通知，扩容通知用于指示第二控制装置为目标数据进行资源扩容；或者，向第二控制装置发送缩容通知，缩容通知用于指示第二控制装置为目标数据进行资源缩容。
可选地，获取单元701，用于从业务服务器或规则管理装置获取数据管理规则，业务服务器是与目标数据相关的服务器。
以上，本申请实施例提供的网络设备可以参阅前述方法实施例部分的相应内容进行理解，此处不再重复赘述。
图12所示，为本申请的实施例提供的上述实施例中所涉及的网络设备80的一种可能的逻辑结构示意图。网络设备80包括：处理器801、通信接口802、存储器803以及总线804。处理器801、通信接口802以及存储器803通过总线804相互连接。
通信接口802用于支持网络设备80进行通信，该通信接口802可以是网卡或者网络接口。如执行图3至图10中的步骤101、201、301、401和501。
在本申请的实施例中，处理器801用于对网络设备80的动作进行控制管理，例如，处理器801用于执行图3至图10中的步骤102至106,202至206,302至306,402至406,502至506和/或用于本文所描述的技术的其他过程。
存储器803，用于存储网络设备80的程序代码和数据。
其中，处理器801可以是中央处理器单元，通用处理器，数字信号处理器，专用集成电路，现场可编程门阵列或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，数字信号处理器和微处理器的组合等等。总线804可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图12中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
在本申请的另一实施例中，还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当设备的至少一个处理器执行该计算机执行指令时，设备执行上述图3至图10部分实施例所描述的方法。
在本申请的另一实施例中，还提供一种计算机程序产品，该计算机程序产品包括计算机执行指令，该计算机执行指令存储在计算机可读存储介质中；设备的至少一个处理器可以从计算机可读存储介质读取该计算机执行指令，至少一个处理器执行该计算机执行指令使得设备执行上述图3至图10部分实施例所描述的方法。
在本申请的另一实施例中，还提供一种网卡，该网卡包括输入接口、输出接口以及至少一个处理器，输入接口用于接收业务报文，至少一个处理器用于支持网络设备实现上述图3至图7部分实施例所描述的方法，输出接口用于针对统计出所述业务报文为热点数据时发送扩容通知或缩容通知。在一种可能的设计中，网卡还可以包括存储器，存储器，用于网络设备必要的程序指令和数据。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请实施例的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请实施例所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请实施例各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请实施例各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (26)
1.一种数据管理的方法，其特征在于，所述方法应用于网络设备，所述网络设备为交换设备或者安装于所述交换设备或数据节点中的网络接口装置，所述方法包括：
所述网络设备获取数据管理规则，所述数据管理规则包括报文解析规则、响应条件和响应策略；
所述网络设备根据所述报文解析规则对来自客户端的业务报文进行解析，以确定所述业务报文关联的目标数据，所述目标数据是应用层数据；
所述网络设备统计与所述目标数据相关的业务请求，所述业务请求从所述业务报文中得到；
当与所述目标数据相关的业务请求的统计结果满足响应条件时，则所述网络设备根据所述响应策略对所述网络设备接收到的业务报文和/或对所述目标数据作出相应操作。
2.根据权利要求1所述的方法，其特征在于，所述响应条件包括统计规则和响应关系；其中，所述统计规则包括统计时长，所述响应关系包括按照所述统计时长统计的业务请求的数量与目标阈值应满足的关系；
所述与所述目标数据相关的业务请求的统计结果包括：与所述目标数据相关的业务请求在所述统计时长内的数量。
3.根据权利要求2所述的方法，其特征在于，
所述统计结果满足响应条件包括：按照所述响应关系的指示，所述与所述目标数据相关的业务请求在所述统计时长内的数量超过所述目标阈值，若所述数量超过所述目标阈值，且所述目标数据不是已存在的热点数据，则指示所述目标数据为新产生的热点数据；或者，
所述统计结果满足响应条件包括：按照所述响应关系的指示，所述与所述目标数据相关的业务请求在所述统计时长内的数量低于所述目标阈值，若所述数量低于所述目标阈值，且所述目标数据是已存在的热点数据时，则指示所述目标数据的热点属性消失。
4.根据权利要求2或3所述的方法，其特征在于，所述响应条件包括多组统计规则和响应关系，不同统计规则中的统计时长不同，不同的统计规则对应的响应关系中的目标阈值不相同；
不同的统计规则对应的所述响应策略中的不同调整策略。
5.根据权利要求2-4任一项所述的方法，其特征在于，所述响应策略包括：针对目标优先级的业务报文的服务质量调整策略，以及对所述目标数据做资源扩容或资源缩容的调整策略；其中，所述目标优先级包含于所述响应策略中。
6.根据权利要求5所述的方法，其特征在于，所述网络设备根据所述响应策略对所述网络设备接收到的业务报文和/或对所述目标数据作出相应操作，包括：
当所述目标数据为新产生的热点数据时，所述网络设备按照所述服务质量调整策略调低所述目标优先级的业务报文的服务质量，和/或，按照所述资源扩容的调整策略对所述目标数据作出资源扩容的操作；
当所述目标数据的热点属性消失时，所述网络设备按照所述服务质量调整策略调高所述目标业务优先级的业务报文的服务质量，和/或，按照所述资源缩容的调整策略对所述目标数据作出资源缩容的操作。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述网络设备根据所述报文解析规则对来自客户端的业务报文进行解析，以确定所述业务报文关联的目标数据，包括：
所述网络设备根据所述报文解析规则解析所述业务报文的五元组，以确定所述业务报文的业务类型；
所述网络设备根据所述报文解析规则解析指示字段，以确定所述业务类型的目标数据或所述目标数据的索引信息，所述索引信息用于确定所述目标数据。
8.根据权利要求6所述的方法，其特征在于，当所述响应策略指示由用于管理所述数据节点的控制节点执行所述资源扩容或资源缩容的调整策略时；
所述按照所述资源扩容的调整策略对所述目标数据作出资源扩容的操作，包括：
所述网络设备向所述控制节点发送扩容通知，所述扩容通知用于指示所述控制节点为所述目标数据进行资源扩容；
或者，
所述按照所述资源缩容的调整策略对所述目标数据作出资源缩容的操作，包括：
所述网络设备向所述控制节点发送缩容通知，所述缩容通知用于指示所述控制节点为所述目标数据进行资源缩容。
9.根据权利要求6所述的方法，其特征在于，所述数据节点还包括第一控制装置；当所述响应策略指示由所述第一控制装置执行所述资源扩容或资源缩容的调整策略时；
所述按照所述资源扩容的调整策略对所述目标数据作出资源扩容的操作，包括：
所述网络设备向所述第一控制装置发送扩容通知，所述扩容通知用于指示所述第一控制装置为所述目标数据进行资源扩容；
或者，
所述按照所述资源缩容的调整策略对所述目标数据作出资源缩容的操作，包括：
所述网络设备向所述第一控制装置发送缩容通知，所述缩容通知用于指示所述第一控制装置为所述目标数据进行资源缩容。
10.根据权利要求6所述的方法，其特征在于，所述网络设备为安装于所述交换设备上的网络接口装置；所述交换设备还包括第二控制装置，当所述响应策略指示由所述控制装置执行所述资源扩容或资源缩容的调整策略时；
所述按照所述资源扩容的调整策略对所述目标数据作出资源扩容的操作，包括：
所述网络接口装置向所述第二控制装置发送扩容通知，所述扩容通知用于指示所述第二控制装置为所述目标数据进行资源扩容；
或者，
所述按照所述资源缩容的调整策略对所述目标数据作出资源缩容的操作，包括：
所述网络接口装置向所述第二控制装置发送缩容通知，所述缩容通知用于指示所述第二控制装置为所述目标数据进行资源缩容。
11.根据权利要求1-10任一项所述的方法，其特征在于，所述网络设备获取数据管理规则，包括：
所述网络设备从业务服务器或规则管理装置获取所述数据管理规则，所述业务服务器是与所述目标数据相关的服务器。
12.一种网络设备，其特征在于，所述网络设备为交换设备或者安装于所述交换设备或数据节点中的网络接口装置，所述网络设备包括：
获取单元，用于获取数据管理规则，所述数据管理规则包括报文解析规则、响应条件和响应策略；
第一处理单元，用于根据所述获取单元获取的报文解析规则对来自客户端的业务报文进行解析，以确定所述业务报文关联的目标数据，所述目标数据是应用层数据；
第二处理单元，用于统计与所述第一处理单元解析出的目标数据相关的业务请求，所述业务请求从所述业务报文中得到；
操作单元，用于当所述第二处理单元统计的与所述目标数据相关的业务请求的统计结果满足响应条件时，则根据所述响应策略对所述网络设备接收到的业务报文和/或对所述目标数据作出相应操作。
13.根据权利要求12所述的网络设备，其特征在于，所述响应条件包括统计规则和响应关系；其中，所述统计规则包括统计时长，所述响应关系包括按照所述统计时长统计的业务请求的数量与目标阈值应满足的关系；
所述与所述目标数据相关的业务请求的统计结果包括：与所述目标数据相关的业务请求在所述统计时长内的数量。
14.根据权利要求13所述的网络设备，其特征在于，
所述统计结果满足响应条件包括：按照所述响应关系的指示，所述与所述目标数据相关的业务请求在所述统计时长内的数量超过所述目标阈值，若所述数量超过所述目标阈值，且所述目标数据不是已存在的热点数据，则指示所述目标数据为新产生的热点数据；或者，
所述统计结果满足响应条件包括：按照所述响应关系的指示，所述与所述目标数据相关的业务请求在所述统计时长内的数量低于所述目标阈值，若所述数量低于所述目标阈值，且所述目标数据是已存在的热点数据时，则指示所述目标数据的热点属性消失。
15.根据权利要求13或14所述的网络设备，其特征在于，所述响应条件包括多组统计规则和响应关系，不同统计规则中的统计时长不同，不同的统计规则对应的响应关系中的目标阈值不相同；
不同的统计规则对应的所述响应策略中的不同调整策略。
16.根据权利要求13-15任一项所述的网络设备，其特征在于，所述响应策略包括：针对目标优先级的业务报文的服务质量调整策略，以及对所述目标数据做资源扩容或资源缩容的调整策略；其中，所述目标优先级包含于所述响应策略中。
17.根据权利要求16所述的网络设备，其特征在于，
所述操作单元用于：
当所述目标数据为新产生的热点数据时，按照所述服务质量调整策略调低所述目标优先级的业务报文的服务质量，和/或，按照所述资源扩容的调整策略对所述目标数据作出资源扩容的操作；
当所述目标数据的热点属性消失时，按照所述服务质量调整策略调高所述目标业务优先级的业务报文的服务质量，和/或，按照所述资源缩容的调整策略对所述目标数据作出资源缩容的操作。
18.根据权利要求12-17任一项所述的网络设备，其特征在于，
所述第一处理单元用于：
根据所述报文解析规则解析所述业务报文的五元组，以确定所述业务报文的业务类型；
根据所述报文解析规则解析指示字段，以确定所述业务类型的目标数据或所述目标数据的索引信息，所述索引信息用于确定所述目标数据。
19.根据权利要求17所述的网络设备，其特征在于，所述操作单元，用于当所述响应策略指示由用于管理所述数据节点的控制节点执行所述资源扩容或资源缩容的调整策略时，向所述控制节点发送扩容通知，所述扩容通知用于指示所述控制节点为所述目标数据进行资源扩容；或者，向所述控制节点发送缩容通知，所述缩容通知用于指示所述控制节点为所述目标数据进行资源缩容。
20.根据权利要求17所述的网络设备，其特征在于，所述操作单元，用于所述数据节点还包括第一控制装置；当所述响应策略指示由所述第一控制装置执行所述资源扩容或资源缩容的调整策略时，向所述第一控制装置发送扩容通知，所述扩容通知用于指示所述第一控制装置为所述目标数据进行资源扩容；或者，向所述第一控制装置发送缩容通知，所述缩容通知用于指示所述第一控制装置为所述目标数据进行资源缩容。
21.根据权利要求17所述的网络设备，其特征在于，所述操作单元，用于所述网络设备为安装于所述交换设备上的网络接口装置；所述交换设备还包括第二控制装置，当所述响应策略指示由所述第二控制装置执行所述资源扩容或资源缩容的调整策略时，向所述第二控制装置发送扩容通知，所述扩容通知用于指示所述第二控制装置为所述目标数据进行资源扩容；或者，向所述第二控制装置发送缩容通知，所述缩容通知用于指示所述第二控制装置为所述目标数据进行资源缩容。
22.根据权利要求12-21任一项所述的网络设备，其特征在于，
所述获取单元，用于从业务服务器或规则管理装置获取所述数据管理规则，所述业务服务器是与所述目标数据相关的服务器。
23.一种网络设备，其特征在于，包括一个或多个处理器和存储有计算机程序的存储介质；
所述计算机程序被所述一个或多个处理器执行时实现如权利要求1-11任一项所述的方法。
24.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被一个或多个处理器执行时实现如权利要求1-11任一项所述的方法。
25.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序当被一个或多个处理器执行时用于实现如权利要求1-11任一项所述的方法。
26.一种数据***，其特征在于，所述数据***包括交换设备、数据节点、所述交换设备和所述数据节点上均安装有网络接口装置，所述交换设备、所述交换设备或所述数据节点上安装的网络接口装置用于实现如权利要求1-11任一项所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111679430.7A CN116418893A (zh) | 2021-12-31 | 2021-12-31 | 一种数据管理的方法及相应装置 |
| PCT/CN2022/141828 WO2023125380A1 (zh) | 2021-12-31 | 2022-12-26 | 一种数据管理的方法及相应装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111679430.7A CN116418893A (zh) | 2021-12-31 | 2021-12-31 | 一种数据管理的方法及相应装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116418893A true CN116418893A (zh) | 2023-07-11 |
Family
ID=86997930
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111679430.7A Pending CN116418893A (zh) | 2021-12-31 | 2021-12-31 | 一种数据管理的方法及相应装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN116418893A (zh) |
| WO (1) | WO2023125380A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117332881B (zh) * | 2023-11-27 | 2024-04-05 | 荣耀终端有限公司 | 分布式训练方法及电子设备 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110995866B (zh) * | 2019-12-20 | 2022-11-08 | 深圳市网心科技有限公司 | 节点调度方法、装置、调度服务器及存储介质 |
| WO2021189203A1 (zh) * | 2020-03-23 | 2021-09-30 | 华为技术有限公司 | 带宽均衡方法和装置 |
| CN113535606A (zh) * | 2020-04-14 | 2021-10-22 | 阿里巴巴集团控股有限公司 | 一种数据处理方法及装置 |
| CN113672652A (zh) * | 2021-09-06 | 2021-11-19 | 中国银行股份有限公司 | 一种数据访问方法、装置、设备及存储介质 |
-
2021
- 2021-12-31 CN CN202111679430.7A patent/CN116418893A/zh active Pending
-
2022
- 2022-12-26 WO PCT/CN2022/141828 patent/WO2023125380A1/zh unknown
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023125380A1 (zh) | 2023-07-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110290217B (zh) | 数据请求的处理方法及装置、存储介质及电子装置 | |
| CN110708256B (zh) | Cdn调度方法、装置、网络设备及存储介质 | |
| CN111787069A (zh) | 业务接入请求的处理方法、装置、设备及计算机存储介质 | |
| CN111432247B (zh) | 流量调度方法、装置、服务器及存储介质 | |
| CN106972985B (zh) | 加速dpi设备数据处理与转发的方法和dpi设备 | |
| CN110224943B (zh) | 基于url的流量服务限流方法、电子设备及计算机存储介质 | |
| CN110719273A (zh) | 回源节点的确定方法、服务器及计算机可读存储介质 | |
| CN111327606A (zh) | 资源管理方法、***及存储介质 | |
| CN108924203B (zh) | 数据副本自适应分布方法、分布式计算***及相关设备 | |
| CN105592134B (zh) | 一种负载分担的方法和装置 | |
| CN114640504B (zh) | Cc攻击防护方法、装置、设备和存储介质 | |
| WO2023125380A1 (zh) | 一种数据管理的方法及相应装置 | |
| CN112073327B (zh) | 一种抗拥塞的软件分流方法、装置及存储介质 | |
| CN110808967B (zh) | 挑战黑洞攻击的检测方法及相关装置 | |
| KR102172056B1 (ko) | Icn 라우터 및 콘텐츠 제공자 단말을 포함하는 토큰 기반 캐싱 시스템의 제어 방법, 장치 및 프로그램 | |
| CN107659511B (zh) | 一种过载控制方法、主机和存储介质以及程序产品 | |
| CN109656939A (zh) | 一种缓存更新方法、装置、设备和存储介质 | |
| CN111291367A (zh) | 访问控制方法及***、电子设备、存储介质 | |
| CN105939278B (zh) | 一种流量处理方法及装置 | |
| CN112312165A (zh) | 视频下发方法、装置及计算机可读存储介质 | |
| CN107995264B (zh) | 一种基于消息队列的cdn服务验证码分发方法和*** | |
| CN115913784B (zh) | 一种网络攻击防御***、方法、装置及电子设备 | |
| CN114584623B (zh) | 流量请求清理方法、装置、存储介质以及计算机设备 | |
| CN113472888B (zh) | 网页访问方法、装置、服务器设备及存储介质 | |
| CN112533004B (zh) | 一种节目信息发布方法、***、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |