CN109194539A - 数据管控方法、装置、计算机设备及存储介质 - Google Patents
数据管控方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN109194539A CN109194539A CN201810914607.9A CN201810914607A CN109194539A CN 109194539 A CN109194539 A CN 109194539A CN 201810914607 A CN201810914607 A CN 201810914607A CN 109194539 A CN109194539 A CN 109194539A
- Authority
- CN
- China
- Prior art keywords
- data
- access
- value
- flow
- flow parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0876—Network utilisation, e.g. volume of load or congestion level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/215—Flow control; Congestion control using token-bucket
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Environmental & Geological Engineering (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明涉及计算机技术领域，提供了一种数据管控方法、装置、计算机设备及存储介质，所述方法包括：通过获取目标接口访问请求中的待访问数据，根据令牌桶算法，计算目标接口允许访问的目标访问数据，并记录目标访问数据通过目标接口时的实际流量数据，将实际流量数据的每个流量参数的实际值与标准值进行比较，将实际值小于或等于标准值的流量参数及对应的实际值标记为安全流量数据，并计算安全流量数据中每个流量参数的预测值，且计算每个流量参数的实际值与预测值之间的差值，若该差值大于预设的目标阈值，则确定与该差值对应的安全流量数据为异常流量数据。实现对异常流量数据的检测准确性的提高。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种数据管控方法、装置、计算机设备及存储介质。
背景技术
由于网络接口的负载能力有限，为了保证接口上流量均衡，减少接口上的突发流量数据，为了提前预防非预期的请求对网络接口频繁调用，造成接口压力过大而拖垮网络***，尤其是大并发的流量数据访问时，容易造成网络接口的崩溃的情况，需要对网络接口进行监控，识别异常，及时预警，缓解接口压力。
而传统的异常检测方法有的是只能对总流量数据的大小进行简单识别，无法区分这些流量数据中哪部分是正常流量数据，哪部分是异常流量数据，或者是虽然可以识别出具体的异常流量数据，但是不能及时分析异常原因，尤其是当网络接口出现大规模流量数据时，对网络接口的流量数据检测是否存在异常的效率不高，不能快速识别异常流量数据，以及对异常流量数据的检测准确性不高，不利于对接口的维护和管理。
发明内容
本发明实施例提供一种数据管控方法、装置、计算机设备及存储介质，以解决对异常流量数据的检测准确性低的问题。
一种数据管控方法，包括：
接收接口访问请求，并获取所述接口访问请求中的待访问数据和访问的目标接口；
根据令牌桶算法，计算所述待访问数据的可补充令牌数量，并根据所述可补充令牌数量，计算所述目标接口允许所述待访问数据进行访问的目标访问数据；
监控所述目标访问数据，并记录所述目标访问数据通过所述目标接口时的实际流量数据，其中，所述实际流量数据包括流量参数和每个所述流量参数的实际值；
获取每个所述流量参数的预设的标准值，并将每个所述流量参数的实际值与标准值进行比较，将实际值小于或等于标准值的流量参数及对应的实际值标记为安全流量数据，将实际值大于标准值的流量参数及对应的实际值标记为第一异常流量数据；
针对所述安全流量数据，根据预设周期内的历史流量数据，计算所述安全流量数据中每个所述流量参数的预测值；
计算所述安全流量数据中每个所述流量参数的实际值与所述预测值之间的差值，若所述差值大于预设的目标阈值，则确定与所述差值对应的安全流量数据为第二异常流量数据；
根据所述第一异常流量数据和所述第二异常流量数据，发出预警提示。
一种数据管控装置，包括：
请求接收模块，用于接收接口访问请求，并获取所述接口访问请求中的待访问数据和访问的目标接口；
令牌计算模块，用于根据令牌桶算法，计算所述待访问数据的可补充令牌数量，并根据所述可补充令牌数量，计算所述目标接口允许所述待访问数据进行访问的目标访问数据；
数据记录模块，用于监控所述目标访问数据，并记录所述目标访问数据通过所述目标接口时的实际流量数据，其中，所述实际流量数据包括流量参数和每个所述流量参数的实际值；
异常标记模块，用于获取每个所述流量参数的预设的标准值，并将每个所述流量参数的实际值与标准值进行比较，将实际值小于或等于标准值的流量参数及对应的实际值标记为安全流量数据，将实际值大于标准值的流量参数及对应的实际值标记为第一异常流量数据；
数据计算模块，用于针对所述安全流量数据，根据预设周期内的历史流量数据，计算所述安全流量数据中每个所述流量参数的预测值；
异常确定模块，用于计算所述安全流量数据中每个所述流量参数的实际值与所述预测值之间的差值，若所述差值大于预设的目标阈值，则确定与所述差值对应的安全流量数据为第二异常流量数据；
预警提示模块，用于根据所述第一异常流量数据和所述第二异常流量数据，发出预警提示。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述数据处理方法的步骤。一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述数据管控方法的步骤。
上述数据管控方法、装置、计算机设备及存储介质，通过获取接口访问请求中的待访问数据，根据令牌桶算法，计算待访问数据的可补充令牌数量，这种通过实时计算可补充令牌数的方式，实现对待访问数据访问目标接口的访问限制，能够达到对接口流量数据的有效管控，保证访问目标接口的数据均衡，维护目标接口平衡，缓解目标接口压力，提高对目标接口的使用效率，并且在此基础上，通过监控目标访问数据，并记录目标访问数据通过目标接口时的实际流量数据，将实际流量数据中的每个流量参数的实际值与标准值进行比较，将实际值大于标准值的流量参数及对应的实际值标记为第一异常流量数据，将实际值小于或等于标准值的流量参数及对应的实际值记为安全流量数据，然后根据预设周期内的历史数据，计算安全流量数据的预测值，并根据安全流量数据的实际值和其对应的预测值进一步确定安全流量数据中存在的第二异常流量数据，这种通过对流量数据先进行简单的异常区分，再进一步地对安全流量数据进行异常检测，可以快速准确地识别出安全流量数据中的异常流量数据，从而提高对异常流量数据的检测准确性，且应用的检测方式较为简单，应用成本低廉，便于操作；同时，对异常流量数据发出预警提示，便于管理员根据预警提示，对目标接口采取相应流量管控措施，提高目标接口的可维护性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中数据管控方法的一应用环境示意图；
图2是本发明一实施例中数据管控方法的一流程图；
图3是本发明一实施例中数据管控方法中步骤S20的实现流程图；
图4是本发明一实施例中数据管控方法中步骤S204的实现流程图；
图5是本发明一实施例中数据管控方法中步骤S50的实现流程图；
图6是本发明一实施例中数据管控方法中步骤S70的实现流程图；
图7是本发明一实施例中数据管控装置的一示意图；
图8是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1示出了本发明实施例提供的应用环境，该应用环境包括服务端和客户端，其中，服务端和客户端之间通过网络进行连接，客户端用于接收接口访问请求，并且将接口访问请求发送到服务端，客户端具体可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备；服务端用于处理流量数据，服务端具体可以用独立的服务器或者多个服务器组成的服务器集群实现。本发明实施例提供的数据管控方法应用于服务端。
为了说明本发明所述的技术方案，下面将通过具体实施例进行说明。在对具体实施例进行说明之前，先对本发明实施例中使用到的不同类型数据的概念进行解释性说明如下：
待访问数据是指请求通过目标接口的数据。
目标访问数据是指实际允许通过目标接口的数据。
实际流量数据、安全流量数据、异常流量数据和历史流量数据均是指流量指标及其数据值，具体包括流量参数和流量参数值。
请参阅图2，图2示出本实施例提供的数据管控方法的实现流程。详述如下：
S10：接收接口访问请求，并获取该接口访问请求中的待访问数据和访问的目标接口。
在本实施例中，接收到的接口访问请求包括数据源IP地址、访问的接口号、访问接口使用的协议类型和待访问数据等，其中，待访问数据为实际请求通过目标接口的数据。
例如，数据源IP地址如“192.168.0.29”，接口号如“80接口”或“21接口”等，协议类型如“UDP协议”。
S20：根据令牌桶算法，计算待访问数据的可补充令牌数量，并根据可补充令牌数量，计算目标接口允许待访问数据进行访问的目标访问数据。
在本实施例中，令牌桶算法是指令牌桶会按恒定1/QPS时间间隔，往令牌桶里加入令牌，如果桶已经满了就不再加，若接收到访问请求时，请求中的每一个访问任务会消耗一个令牌。
QPS(Query Per Second)为“每秒查询率”，是一台服务器每秒能够响应的查询次数，是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准，用于对流量数据的分析。可补充令牌数量是指在接收到访问请求时，令牌桶可添加的最大令牌数量。目标访问数据是指目标接口实际允许通过的数据。
进一步地，本实施例在令牌桶原有的算法基础上，增加了通过计算时间差来实时计算令牌桶可补充的令牌数量的方法，可以实现对令牌添加速率的控制，从而实现对数据通过目标接口的速率的管控，同时，根据实时计算出的令牌桶可补充的令牌数量，快速计算出待访问数据被允许通过目标接口的数据，实现对访问目标接口的数据的限制。
S30：监控目标访问数据，并记录目标访问数据通过目标接口时的实际流量数据，其中，实际流量数据包括流量参数和每个流量参数的实际值。
在本实施例中，实际流量数据中的流量参数包括字节数、数据包数、可访问接口的次数和目标访问数据通过接口的速率等。
具体地，将目标访问数据通过目标接口的实际数据信息，实时记录在数据库的数据日志中，根据统计到的实际数据信息，可以计算每个流量参数的实际值，便于对流量数据的数据信息的获取和分析。
例如，统计目标访问数据一分钟通过目标接口的数据包数量，可以计算出流量参数为“数据包数”在一分钟内通过目标接口的速率，如统计到该流量参数“数据包数”一分钟通过目标接口的实际值为“120k”，那么可以用数据包数量“120k”除以时间“一分钟”，得到流量参数为“数据包数”在一分钟内通过目标接口的速率为2k/s。
S40：获取每个流量参数的预设的标准值，并将每个流量参数的实际值与标准值进行比较，将实际值小于或等于标准值的流量参数及对应的实际值标记为安全流量数据，将实际值大于标准值的流量参数及对应的实际值标记为第一异常流量数据。
具体地，从数据库中获取每个流量参数的预设的标准值，通过将每个流量参数的实际值与该流量参数的标准值进行比较，将实际值大于标准值的流量参数及对应的实际值标记为第一异常流量数据，实现快速识别出实际流量数据中的明显的异常流量数据。
例如，假设一通过“124接口”的实际流量数据中有流量参数为“数据包数”，其实际值为“400”，流量参数为“字节数”，其实际值为“20000”，获取到的数据库中“124接口”的流量参数“数据包数”的标准值“350”，流量参数“字节数”的标准值“21000”，将每个流量参数的实际值与该流量参数的标准值进行比较，得到“数据包数”的实际值大于其标准值，则将该流量参数“数据包数”及对应的实际值“400”标记为第一异常流量数据，得到“字节数”的实际值小于其标准值，则将流量参数“字节数”及对应的实际值“20000”标记为安全流量数据。
需要说明的是，流量参数的标准值可以根据实际应用需求进行设置的，此处不做限制。
S50：针对安全流量数据，根据预设周期内的历史流量数据，计算安全流量数据中每个流量参数的预测值。
在本实施例中，历史流量数据是记录在数据库的数据日志中的预设周期内的目标访问数据通过目标接口时的实际流量数据，历史流量数据包括历史流量参数和每个历史流量参数的实际值。
具体地，针对安全流量数据中的每个流量参数，可以将通过接口的历史流量数据的每个流量参数在预设周期内的的实际值，乘以预设的流量调节参数，并将得到的乘积作为预测当前该流量参数是否为正常流量数据的预测值，在后续步骤中，该预测值用于进一步检测安全流量数据中可能存在的异常流量数据，能够提高对异常流量数据的检测的准确性。
S60：计算安全流量数据中每个流量参数的实际值与预测值之间的差值，若该差值大于预设的目标阈值，则确定与该差值对应的安全流量数据为第二异常流量数据。
具体地，计算安全流量数据中每个流量参数的实际值与预测值之间的差值，并将该差值和预设的目标阈值进行比较，将大于该目标阈值的差值对应的流量参数和该流量参数的实际值，确定为第二异常流量数据，实现对安全流量数据中存在的异常流量数据的快速识别，保证了对异常流量数据的识别的准确性，有利于提高对异常流量数据的检测的准确性。
例如，有一流量参数“流量数据通过目标接口的速率”的实际值为“250kb/s”，通过计算得到预测值为“200kb/s”，计算该实际值与其对应的预测值之间的差值为“50”，获取到的预设的目标阈值为“30”，该差值大于预设的目标阈值，则将该流量参数“流量数据通过目标接口的速率”和其实际值“250kb/s”，确定为第二异常流量数据。
需要说明的是，预设的目标阈值可以根据实际应用需求进行设置的，此处不做限制。
S70：根据第一异常流量数据和第二异常流量数据，发出预警提示。
在本实施例中，发出的预警提示的方式可以包括但不限于邮件、短信或即时消息，还可以是其他方式，此处不做限制。
具体地，根据第一异常流量数据和第二异常流量数据，将被标记为第一异常流量数据和第二异常流量数据的流量参数、该流量参数的实际值和该流量参数对应的预设标准值包含在预警提示的内容中，并备注该实际值超过标准值的数量、该流量参数对应的数据源IP地址和接口号，以方便管理人员根据预警提示的内容，采取相应措施处理异常流量数据。
在本实施例中，通过对获取接口访问请求中的待访问数据，采用令牌桶算法，进行实时计算可补充令牌数的方式，实现对待访问数据访问目标接口的访问限制，能够达到对接口流量数据的有效管控，保证访问目标接口的数据均衡，维护目标接口平衡，缓解目标接口压力，提高对目标接口的使用效率，并且在此基础上，通过监控并记录目标访问数据通过目标接口时的实际流量数据，将实际流量数据中的每个流量参数的实际值与标准值进行比较，将实际值大于标准值的流量参数及对应的实际值标记为第一异常流量数据，将实际值小于或等于标准值的流量参数及对应的实际值标记为安全流量数据，实现快速识别出实际流量数据中的明显异常的数据，然后根据预设周期内的历史数据，计算安全流量数据的预测值，并根据安全流量数据的实际值和预测值进一步确定安全流量数据中存在的第二异常流量数据，这种通过对流量数据先进行简单的异常区分，再进一步地对安全流量数据进行异常检测，可以快速准确地识别出安全流量数据中的第二异常流量数据，从而提高对异常流量数据的检测准确性，且应用的检测方式较为简单，应用成本低廉，便于操作；同时，对异常流量数据发出预警提示，便于管理员根据预警提示，对目标接口采取相应流量管控措施，提高目标接口的可维护性。
在一实施例中，如图3所示，步骤S20中，即根据令牌桶算法，计算待访问数据的可补充令牌数量，并根据可补充令牌数量，计算目标接口允许待访问数据进行访问的目标访问数据具体包括如下步骤：
S201：获取待访问数据中包含的访问任务总数A，其中，A为正整数。
在本实施例中，为避免访问请求过多导致目标接口出现故障，需要进行限流，即进行访问请求数量控制。其中，目标接口的限流方式包括但不限于：计数算法、漏桶算法和令牌桶算法等。令牌桶算法是网络流量整形(TrafficShaping)和速率限制(Rate Limiting)中最常使用的一种算法。
优选地，本实施例采用令牌桶算法的改进算法，具体实现过程详见步骤S202至步骤S206的内容。
其中，令牌桶算法用来控制执行访问请求的数量，其原理为：每个访问请求消耗固定的令牌数量，令牌桶的容量，即容纳令牌数量上限是固定的，令牌桶可自行以恒定的速率源源不断地产生令牌。如果令牌不被消耗，或者被消耗的速度小于产生的速度，令牌就会不断地增多，直到把桶填满。后面再产生的令牌就会从桶中溢出。最后桶中可以保存的令牌数量永远不会超过令牌桶的容量。
具体地，根据令牌桶算法的有一个访问任务会消耗一个令牌的原则，通过获取待访问数据中包含的访问任务总数，有利于后续步骤对令牌桶的可补充的令牌数的计算。
S202：获取补充令牌的时间点和当前时间点，并计算当前时间点与补充令牌的时间点之间的时间间隔Δt。
具体地，服务器由于受到硬件配置、网络速度和技术瓶颈等的限制，其吞吐量具有上限，为保证目标接口的正常使用，需要对目标接口的每秒查询率(Query Per Second，QPS)进行限定，因此，在每次接收到用户发送的接口访问请求之后，需要获取当前时间点与补充令牌的时间点之间的时间间隔。可以通过实时计算时间间隔，从而实现后续步骤的实时计算令牌桶的可补充令牌数量。
其中，每秒查询率是指服务器在规定时间内所处理的访问请求数量。
其中，补充令牌的时间点为上一次补充令牌所对应的时间点。
例如，在一具体实施方式中，当前时间点为17:03:21，补充令牌的时间点为17:02:14，则对应的时间间隔为67秒。
S203：将时间间隔Δt与预设间隔阈值T进行比较，得到比较结果。
具体地，预设间隔阈值是预先设置的时间间隔的值，具体可以是按照固定的填充速率填满整个令牌桶所需要的时间，该填充速率具体可以根据目标接口的每秒查询率和服务器的吞吐量设置，可以理解的，不同的目标接口对应的填充速率可能不同。例如，预设间隔阈值可以设置为6秒，也可以根据实际情况进行设置，此处不作具体限制。
其中，比较结果为时间间隔Δt与预设间隔阈值T之间的大小结果，具体可以是时间间隔Δt大于或等于预设间隔阈值T，也可以是时间间隔Δt小于预设间隔阈值T。
需要说明的是，将时间间隔与预设间隔阈值T进行比较，是为了充分了解待访问数据对目标接口的使用的频率的快慢，用于判断是否需要对待访问流量数据进行流量数据限制。
S204：按照比较结果对应的预设填充方式，计算可补充令牌数量M。
具体地，根据步骤S203中得到的比较结果，根据该比较结果对应的预设的填充方式，计算可补充令牌数量。
其中，根据不同的比较结果，可以设置不同的填充方式，填充方式的不同对目标接口的使用效率有会影响，具体填充方式可以根据实际情形设置，此处不做具体限制。
例如，在一具体实施方式中，在比较结果为时间间隔Δt大于或等于预设间隔阈值T时，采用第一预设填充方式，将令牌桶填满，在比较结果为时间间隔Δt小于预设间隔阈值T时，计算时间间隔Δt与每秒查询率的乘积，将该乘积作为可补充令牌数量M。
需要说明的是，本实施例中的步骤S202至步骤S206是采用令牌桶算法的改进算法，将当前时间点与补充令牌的时间点的时间间隔，与预设间隔阈值进行比较，得出比较结果，进而根据该比较结果确定填充的数量，使得目标接口的资源被充分利用的同时，也避免了超出服务器处理能力的目标接口访问请求，导致接口瘫痪的问题，保证了接口高可用的特性。
S205：若M<A，则计算A与M的差值N，并从待访问数据中选取N个访问任务作为拒绝访问任务，终止拒绝访问任务对目标接口的访问，其中，N为正整数。
具体地，若可补充令牌数量M小于待访问数据中包括的访问任务总数A，则说明该目标接口当前状态无法处理掉待访问数据中的所有访问任务，此时，通过计算可补充令牌数量与待访问数据中包括的访问任务总数的差值，来获取不能完成的访问任务的数量N，并从待访问数据中选取N个访问请求作为拒绝访问任务，终止拒绝访问任务对目标接口的访问。
例如，假设访问任务总数为“80”，计算得到的可补充令牌数量为“60”，访问任务总数与可补充令牌数量之间的差值为“20”，则从访问任务的全部任务中选取“20”个访问任务，作为拒绝访问任务，并终止这“20”个拒绝访问任务对目标接口的访问。
需要说明的是，若可补充令牌数量大于或等于待访问数据中包括的访问任务总数，则说明该目标接口当前状态可以处理掉待访问数据中所有访问任务。
S206：从待访问数据中移除拒绝访问任务，并将移除拒绝访问任务后的待访问数据作为目标访问数据。
具体地，从待访问数据中移除待拒绝访问任务，并将移除拒绝访问任务后的待访问数据作为目标访问数据，使得更新后的目标访问数据为目标接口在预设间隔阈值内所能处理的最大访问数据的数量，提高了目标接口的使用效率。
例如，继续使用步骤S205的示例，访问任务总数为“80”移除“20”个拒绝访问任务，得到访问任务为“60”的待访问数据作为目标访问数据。
在本实施例中，通过计算获取到的当前时间点与补充令牌的时间点之间的时间间隔，这种实时计算时间间隔的方式，可以实现后续步骤的实时计算令牌桶的可补充令牌数量，同时，将时间间隔与预设间隔阈值进行比较，并按照比较结果对应的预设填充方式，计算可补充令牌数量，若可补充令牌数量小于获取到的访问任务总数，则通过计算可补充令牌数量与访问任务总数之间的差值，实现对待访问数据的更新，从而实现对流量数据访问目标接口的限制，有利于维护目标接口平衡，有利于后续对流量数据进行异常识别和分析。
在一实施例中，如图4所示，步骤S204中，即按照比较结果对应的预设填充方式，计算可补充令牌数量M具体包括如下步骤：
S2041：若比较结果为Δt≥T，则获取当前令牌数量E与预设的令牌上限F，按公式M＝F-E计算可补充令牌数量M。
具体地，管理目标接口的服务器按照固定的速率对令牌桶中的令牌进行填充，在当前时间点与补充令牌的时间点之间的时间间隔Δt大于或等于预设间隔阈值T时，服务器有充足的填充时间来填满令牌桶，可以理解为待访问数据对目标接口的使用的频率较低，不需要对待访问数据进行流量数据限制的情况，此时，可补充令牌数量M即为令牌桶令牌上限F与当前令牌数量E的差值。
其中，当前令牌数量是指填充之前令牌桶内剩余的令牌数量，预设的令牌上限即步骤S201中提及的令牌桶的容量。
例如，在一具体实施方式中，预设间隔阈值为10秒，预设的令牌上限为150个，在某次接收到用户发送的接口访问请求之后，需要对令牌桶的令牌进行补充，计算出当前时间与补充令牌的时间点的时间间隔为13秒，令牌桶内当前令牌数量为120个，容易理解地，由于两次补充令牌的时间间隔大于预设间隔阈值，因此，此次令牌补充会将令牌桶填满，此时可补充令牌数量为30个。
S2042：若比较结果为Δt＜T，则按照如下公式计算可补充令牌数量M：
具体地，在当前时间点与补充令牌的时间点之间的时间间隔小于预设间隔阈值时，无法确定是否会将令牌桶填满，需要对待访问数据进行流量数据的限制，减少待访问数据对目标接口的使用，此时，计算该时间间隔Δt内，管理目标接口的服务器在固定的速率时最多能够补充的令牌数量并计算此时令牌桶最多可以补充的令牌数量F-E，若则可补充数量为若大于或等于F-E，则最多只能将令牌桶填满，即可补充数量为F-E。
需要说明的是，在时间间隔小于预设间隔阈值时，通过计算最多能够补充的令牌数量和最多可以补充的令牌数量，并将这两者进行比较，取其中值较小的一个作为可补充令牌数量，既充分利用了管理目标接口的服务器的处理能力，又避免过多的接口访问请求造成的异常。
继续使用步骤S2041中的示例，在另一次接收到用户发送的接口访问请求之后，计算出当前时间与补充令牌的时间点的时间间隔为4秒，令牌桶内当前令牌数量为120个，根据上述描述容易计算出最多能够补充的令牌数量为60个，最多可以补充的令牌数量为30个，因而，本次可补充令牌数量为30个。
在本实施例中，对步骤S203中得到的两种不同的比较结果，采用令牌桶的改进算法来进行限流，使得目标接口的资源可以被充分利用，同时也避免短时高频的访问对目标接口造成异常，有利于维持目标接口高可用的特征。
在一实施例中，如图5所示，步骤S50中，预设周期包含H个子周期，每个子周期包含k个预设时间段，其中，H和k为正整数，即针对安全流量数据，根据预设周期内的历史流量数据，计算安全流量数据中每个流量参数的预测值具体包括如下步骤：
S501：按照如下公式计算安全流量数据中每个流量参数在每个预设时间段的阶段预测值：
S'(i,h)＝αT(i,h)+(1-α)S'(i,h-1)
S”(i,h)＝αS'(i,h)+(1-α)S”(i,h-1)
其中，i的取值范围为(0，k]，h为预设周期中的第h个子周期，h为正整数，h的取值范围为[1，H]，α为预设的预测敏感系数，T(i,h)为安全流量数据中的每个流量参数在第h个子周期的第i个预设时间段内的实际值，p(i,h+1)为安全流量数据中的每个流量参数在第h+1子个周期的第i个预设时间段内的阶段预测值。
在本实施例中，预设周期中包含H个子周期，每个子周期包含k个预设时间段，其中，H和k为正整数。
具体地，在第i个预设时间段内，根据历史数据中的每个流量参数在第1子周期的的实际值和预设的预测敏感系数α，计算出安全流量数据中的每个流量参数在第2个子周期的第i个预设时间段内的阶段预测值，同理，可以根据每个子周期的历史数据，进行下一子周期的预测值计算，直到根据历史数据中的每个流量参数在第H个子周期的的实际值T(i,H)，计算出安全流量数据中的每个流量参数在第H+1个子周期的阶段预测值P(i,H+1)，其中，在第1个周期中第i个时间段中S'(i,0)与S”(i,0)分别为：S'(i,0)＝S”(i,0)＝T(i,1)。
可以理解的是，根据预设周期内的历史数据，按照上述公式计算出安全流量数据中的每个流量参数在每个子周期的阶段预测值，可以准确计算出在第i个预设时间段内，每个子周期的安全流量数据中的每个流量参数的阶段预测值，可以反映出目标接口在每个子周期阶段最多可以处理的每个流量参数的数据的能力。
例如，假设历史数据中的一个流量参数“数据包数”在第1子周期的第1个预设时间段内的实际值T(1,1)为“100”，预设的预测敏感系数α为“0.2”，则按照上述公式计算得到的安全流量数据中的流量参数“数据包数”在第2子个周期的第1个预设时间段内的预测值P(1,2)为“100”。
需要说明的是，预设的预测敏感系数α可以是通过历史数据的变化幅度除以敏感因素的变化幅度得到的，敏感因素可以根据实际应用需求进行设置的，此处不做限制。
S502：按照如下公式计算每个流量参数在每个预设时间段的H个阶段预测值的平均值，并将该平均值作为周期预测值：
其中，P(i)为安全流量数据中的每个流量参数在第i个预设时间段的周期预测值。
具体地，在第i个预设时间段内，将每个子周期的安全流量数据中的每个流量参数的阶段预测值进行加和，并除以子周期的总个数，得到在该预设时间段的H个子周期的阶段预测值的平均值。
需要说明的是，通过计算安全流量数据中每个流量参数，在预设时间段的H个子周期的阶段预测值的周期预测值，可以统计和反映在预设周期内第i个预设时间段上，安全流量数据中的每个流量参数的阶段预测值的一般水平和数据集中趋势，便于后续对安全流量数据中的每个流量参数的预测值的进一步确定。
S503：根据周期预测值，按照如下公式计算安全流量数据中每个流量参数的k个周期预测值的平均值，并将该平均值确定为每个流量参数的预测值：
其中，P为安全流量数据中的每个流量参数的预测值。
具体地，对步骤S502中得到的每个预设时间段的周期预测值，进行加和，并除以预设时间段的总个数，得到安全流量数据中的每个流量参数在预设周期内的k个周期预测值的平均值，实现根据历史流量数据的情况准确计算出安全流量数据中每个流量参数的预测值，保证预测值的准确性和可比较性。
在本实施例中，能够根据不同目标接口的历史流量数据的情况准确计算出安全流量数据中每个流量参数的预测值，以使后续运用该预测值，进一步地识别出安全流量数据中存在的异常流量数据，提高对异常流量数据的检测的准确性。
在一实施例中，如图6所示，步骤S70中，接口访问请求包括数据源IP地址和访问的接口号，即根据第一异常流量数据和第二异常流量数据，发出预警提示具体包括如下步骤：
S701：根据接口访问请求，统计异常流量数据对应的目标数据源IP地址和目标接口号。
具体地，因为接收到接口访问请求中包括流量数据对应的数据源IP地址和接口号，所以可以对异常流量数据对应的目标数据源IP地址和目标接口号进行统计，实现通过该目标数据源IP地址和目标接口号快速找到异常流量数据对应的目标接口，有利于后续针对异常流量数据，向对应的目标接口发出有效的流量管控指示。
S702：向目标数据源IP地址和目标接口号对应的目标接口，发送访问阻断指令，阻断异常流量数据对目标接口的继续访问，并发出预警提示。
具体地，为了维护目标接口的稳定性，保证目标接口的使用平衡，可以向目标数据源IP地址和目标接口号对应的目标接口，发送访问阻断指令，该访问阻断指令用于阻断异常流量数据对目标接口的继续访问，同时，还可以发出预警提示，便于管理人员根据预警提示，对目标接口采取相应流量管控措施，实现对目标接口的维护和管理。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种数据管控装置，该数据管控装置与上述实施例中数据管控方法一一对应。如图7所示，该数据管控装置包括请求接收模块701、令牌计算模块702、数据记录模块703、异常标记模块704、数据计算模块705、异常确定模块706和预警提示模块707。各功能模块详细说明如下：
请求接收模块701，用于接收接口访问请求，并获取该接口访问请求中的待访问数据和访问的目标接口；
令牌计算模块702，用于根据令牌桶算法，计算待访问数据的可补充令牌数量，并根据可补充令牌数量，计算目标接口允许待访问数据进行访问的目标访问数据；
数据记录模块703，用于监控目标访问数据，并记录目标访问数据通过目标接口时的实际流量数据，其中，实际流量数据包括流量参数和每个流量参数的实际值；
异常标记模块704，用于获取每个流量参数的预设的标准值，并将每个流量参数的实际值与标准值进行比较，将实际值小于或等于标准值的流量参数及对应的实际值标记为安全流量数据，将实际值大于标准值的流量参数及对应的实际值标记为第一异常流量数据；
数据计算模块705，用于针对安全流量数据，根据预设周期内的历史流量数据，计算安全流量数据中每个流量参数的预测值；
异常确定模块706，用于计算安全流量数据中每个流量参数的实际值与预测值之间的差值，若该差值大于预设的目标阈值，则确定与该差值对应的安全流量数据为第二异常流量数据；
预警提示模块707，用于根据第一异常流量数据和第二异常流量数据，发出预警提示。
进一步地，令牌计算模块702包括：
任务获取单元7021，用于获取待访问数据中包含的访问任务总数A，其中，A为正整数；
时间获取单元7022，用于获取补充令牌的时间点和当前时间点，并计算当前时间点与补充令牌的时间点之间的时间间隔Δt；
时间比较单元7023，用于将时间间隔Δt与预设间隔阈值T进行比较，得到比较结果；
数量计算单元7024，用于按照比较结果对应的预设填充方式，计算可补充令牌数量M；
访问拒绝单元7025，用于若M<A，则计算A与M的差值N，并从待访问数据中选取N个访问任务作为拒绝访问任务，终止拒绝访问任务对目标接口的访问，其中，N为正整数；
任务移除单元7026，用于从待访问数据中移除拒绝访问任务，并将移除拒绝访问任务后的待访问数据作为目标访问数据。
进一步地，数量计算单元7024包括：
第一比较子单元70241，用于若比较结果为Δt≥T，则获取当前令牌数量E与预设的令牌上限F，按公式M＝F-E计算可补充令牌数量M；
第二比较子单元70242，用于若比较结果为Δt＜T，则按照如下公式计算可补充令牌数量M：
进一步地，数据计算模块705包括：
阶段计算单元7051，用于按照如下公式计算安全流量数据中每个流量参数在每个预设时间段的阶段预测值：
S'(i,h)＝αT(i,h)+(1-α)S'(i,h-1)
S”(i,h)＝αS'(i,h)+(1-α)S”(i,h-1)
其中，i的取值范围为(0，k]，h为预设周期中的第h个子周期，h为正整数，h的取值范围为[1，H]，α为预设的预测敏感系数，T(i,h)为安全流量数据中的每个流量参数在第h个子周期的第i个预设时间段内的实际值，p(i,h+1)为安全流量数据中的每个流量参数在第h+1子个周期的第i个预设时间段内的阶段预测值；
周期计算单元7052，用于按照如下公式计算每个流量参数在每个预设时间段的H个阶段预测值的平均值，并将该平均值作为周期预测值：
其中，P(i)为安全流量数据中的每个流量参数在第i个预设时间段的周期预测值；
均值计算单元7053，用于根据周期预测值，按照如下公式计算安全流量数据中每个流量参数的k个周期预测值的平均值，并将该平均值确定为每个流量参数的预测值：
其中，P为安全流量数据中的每个流量参数的预测值。
进一步地，预警提示模块707包括：
数据统计单元7071，用于根据接口访问请求，统计异常流量数据对应的目标数据源IP地址和目标接口号；
指令发送单元7072，用于向目标数据源IP地址和目标接口号对应的目标接口，发送访问阻断指令，阻断异常流量数据对目标接口的继续访问，并发出预警提示。
关于数据管控装置的具体限定可以参见上文中对于数据管控方法的限定，在此不再赘述。上述数据管控装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于保存流量数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据管控方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例数据管控方法的步骤，例如图2所示的步骤S10至步骤S70。或者，处理器执行计算机程序时实现上述实施例中数据管控装置的各模块/单元的功能，例如图7所示模块701至模块707的功能。为避免重复，这里不再赘述。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例中数据管控方法，或者，该计算机程序被处理器执行时实现上述装置实施例中数据管控装置中各模块/单元的功能。为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.一种数据管控方法，其特征在于，所述数据管控方法包括：
接收接口访问请求，并获取所述接口访问请求中的待访问数据和访问的目标接口；
根据令牌桶算法，计算所述待访问数据的可补充令牌数量，并根据所述可补充令牌数量，计算所述目标接口允许所述待访问数据进行访问的目标访问数据；
监控所述目标访问数据，并记录所述目标访问数据通过所述目标接口时的实际流量数据，其中，所述实际流量数据包括流量参数和每个所述流量参数的实际值；
获取每个所述流量参数的预设的标准值，并将每个所述流量参数的实际值与标准值进行比较，将实际值小于或等于标准值的流量参数及对应的实际值标记为安全流量数据，将实际值大于标准值的流量参数及对应的实际值标记为第一异常流量数据；
针对所述安全流量数据，根据预设周期内的历史流量数据，计算所述安全流量数据中每个所述流量参数的预测值；
计算所述安全流量数据中每个所述流量参数的实际值与所述预测值之间的差值，若所述差值大于预设的目标阈值，则确定与所述差值对应的安全流量数据为第二异常流量数据；
根据所述第一异常流量数据和所述第二异常流量数据，发出预警提示。
2.如权利要求1所述的数据管控方法，其特征在于，所述根据令牌桶算法，计算所述待访问数据的可补充令牌数量，并根据所述可补充令牌数量，计算所述目标接口允许所述待访问数据进行访问的目标访问数据包括：
获取所述待访问数据中包含的访问任务总数A，其中，A为正整数；
获取补充令牌的时间点和当前时间点，并计算所述当前时间点与所述补充令牌的时间点之间的时间间隔Δt；
将所述时间间隔Δt与预设间隔阈值T进行比较，得到比较结果；
按照所述比较结果对应的预设填充方式，计算可补充令牌数量M；
若M<A，则计算A与M的差值N，并从所述待访问数据中选取N个访问任务作为拒绝访问任务，终止所述拒绝访问任务对所述目标接口的访问，其中，N为正整数；
从所述待访问数据中移除所述拒绝访问任务，并将移除所述拒绝访问任务后的待访问数据作为所述目标访问数据。
3.如权利要求2所述的数据管控方法，其特征在于，所述按照所述比较结果对应的预设填充方式，计算可补充令牌数量M包括：
若比较结果为Δt≥T，则获取当前令牌数量E与预设的令牌上限F，按公式M＝F-E计算所述可补充令牌数量M；
若比较结果为Δt＜T，则按照如下公式计算所述可补充令牌数量M：
4.如权利要求1所述的数据管控方法，其特征在于，所述接口访问请求包括数据源IP地址和访问的接口号，所述根据所述第一异常流量数据和所述第二异常流量数据，发出预警提示包括：
根据所述接口访问请求，统计所述异常流量数据对应的目标数据源IP地址和目标接口号；
向所述目标数据源IP地址和所述目标接口号对应的目标接口，发送访问阻断指令，阻断所述异常流量数据对所述目标接口的继续访问，并发出预警提示。
5.如权利要求1所述的数据管控方法，其特征在于，所述预设周期包含H个子周期，每个所述子周期包含k个预设时间段，其中，H和k均为正整数，所述针对所述安全流量数据，根据预设周期内的历史流量数据，计算所述安全流量数据中每个所述流量参数的预测值包括：
按照如下公式计算所述安全流量数据中每个所述流量参数在每个所述预设时间段的阶段预测值：
S'(i,h)＝αT(i,h)+(1-α)S'(i,h-1)
S”(i,h)＝αS'(i,h)+(1-α)S”(i,h-1)
其中，i的取值范围为(0，k]，h为所述预设周期中的第h个子周期，h为正整数，h的取值范围为[1，H]，α为预设的预测敏感系数，T(i,h)为所述安全流量数据中的每个所述流量参数在第h个子周期的第i个预设时间段内的实际值，p(i,h+1)为所述安全流量数据中的每个所述流量参数在第h+1子个周期的第i个预设时间段内的阶段预测值；
按照如下公式计算每个所述流量参数在每个所述预设时间段的H个所述阶段预测值的平均值，并将所述平均值作为周期预测值：
其中，P(i)为所述安全流量数据中的每个流量参数在第i个预设时间段的周期预测值；
根据所述周期预测值，按照如下公式计算所述安全流量数据中每个所述流量参数的k个所述周期预测值的平均值，并将所述平均值确定为每个所述流量参数的预测值：
其中，P为所述安全流量数据中的每个所述流量参数的预测值。
6.一种数据管控装置，其特征在于，所述数据管控装置包括：
请求接收模块，用于接收接口访问请求，并获取所述接口访问请求中的待访问数据和访问的目标接口；
令牌计算模块，用于根据令牌桶算法，计算所述待访问数据的可补充令牌数量，并根据所述可补充令牌数量，计算所述目标接口允许所述待访问数据进行访问的目标访问数据；
数据记录模块，用于监控所述目标访问数据，并记录所述目标访问数据通过所述目标接口时的实际流量数据，其中，所述实际流量数据包括流量参数和每个所述流量参数的实际值；
异常标记模块，用于获取每个所述流量参数的预设的标准值，并将每个所述流量参数的实际值与标准值进行比较，将实际值小于或等于标准值的流量参数及对应的实际值标记为安全流量数据，将实际值大于标准值的流量参数及对应的实际值标记为第一异常流量数据；
数据计算模块，用于针对所述安全流量数据，根据预设周期内的历史流量数据，计算所述安全流量数据中每个所述流量参数的预测值；
异常确定模块，用于计算所述安全流量数据中每个所述流量参数的实际值与所述预测值之间的差值，若所述差值大于预设的目标阈值，则确定与所述差值对应的安全流量数据为第二异常流量数据；
预警提示模块，用于根据所述第一异常流量数据和所述第二异常流量数据，发出预警提示。
7.如权利要求6所述的数据管控装置，其特征在于，所述令牌计算模块包括：
任务获取单元，用于获取所述待访问数据中包含的访问任务总数A，其中，A为正整数；
时间获取单元，用于获取补充令牌的时间点和当前时间点，并计算所述当前时间点与所述补充令牌的时间点之间的时间间隔Δt；
时间比较单元，用于将所述时间间隔Δt与预设间隔阈值T进行比较，得到比较结果；
数量计算单元，用于按照所述比较结果对应的预设填充方式，计算可补充令牌数量M；
访问拒绝单元，用于若M<A，则计算A与M的差值N，并从所述待访问数据中选取N个访问任务作为拒绝访问任务，终止所述拒绝访问任务对所述目标接口的访问，其中，N为正整数；
任务移除单元，用于从所述待访问数据中移除所述拒绝访问任务，并将移除所述拒绝访问任务后的待访问数据作为所述目标访问数据。
8.如权利要求6所述的数据管控装置，其特征在于，所述预警提示模块包括：
数据统计单元，用于根据所述接口访问请求，统计所述异常流量数据对应的目标数据源IP地址和目标接口号；
指令发送单元，用于向所述目标数据源IP地址和所述目标接口号对应的目标接口，发送访问阻断指令，阻断所述异常流量数据对所述目标接口的继续访问，并发出预警提示。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述数据管控方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述数据管控方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810914607.9A CN109194539B (zh) | 2018-08-13 | 2018-08-13 | 数据管控方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810914607.9A CN109194539B (zh) | 2018-08-13 | 2018-08-13 | 数据管控方法、装置、计算机设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109194539A true CN109194539A (zh) | 2019-01-11 |
| CN109194539B CN109194539B (zh) | 2022-01-28 |
Family
ID=64921560
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810914607.9A Active CN109194539B (zh) | 2018-08-13 | 2018-08-13 | 数据管控方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109194539B (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110611623A (zh) * | 2019-08-30 | 2019-12-24 | 江苏苏宁物流有限公司 | 限流方法和装置 |
| CN111490940A (zh) * | 2020-03-17 | 2020-08-04 | 中移（杭州）信息技术有限公司 | 确定数据转发路径的方法、电子设备以及存储介质 |
| CN111581223A (zh) * | 2020-04-11 | 2020-08-25 | 北京城市网邻信息技术有限公司 | 一种数据更新方法、装置、终端设备及存储介质 |
| CN111726266A (zh) * | 2020-06-29 | 2020-09-29 | 深圳壹账通智能科技有限公司 | 热点数据分桶方法、***和计算机设备 |
| CN111817896A (zh) * | 2020-07-16 | 2020-10-23 | 中国民航信息网络股份有限公司 | 一种接口监控方法及装置 |
| CN112532643A (zh) * | 2020-12-07 | 2021-03-19 | 长春工程学院 | 基于深度学习的流量异常检测方法、***、终端及介质 |
| CN112820096A (zh) * | 2020-12-30 | 2021-05-18 | 中联重科股份有限公司 | 工程机械支腿遥控***、方法和工程机械 |
| CN113364878A (zh) * | 2021-06-17 | 2021-09-07 | 北京百度网讯科技有限公司 | 数据调度方法及其装置、电子设备以及存储介质 |
| CN113590705A (zh) * | 2020-04-30 | 2021-11-02 | 北京金山云网络技术有限公司 | 实时数据处理方法、装置以及电子设备 |
| CN113885794A (zh) * | 2021-09-10 | 2022-01-04 | 鸬鹚科技(深圳)有限公司 | 基于多云存储的数据访问方法、装置、计算机设备及介质 |
| CN113965519A (zh) * | 2021-09-06 | 2022-01-21 | 阿里巴巴（中国）有限公司 | 流量控制、集群资源保障方法、设备及存储介质 |
| CN114024904A (zh) * | 2021-10-28 | 2022-02-08 | 平安银行股份有限公司 | 访问控制方法、装置、设备及存储介质 |
| CN114640700A (zh) * | 2020-11-30 | 2022-06-17 | 腾讯科技（深圳）有限公司 | 一种调用频次控制方法及装置 |
Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040034684A1 (en) * | 2002-08-19 | 2004-02-19 | Macrosolve, Inc. | System and method for data management |
| US20050234956A1 (en) * | 2004-04-19 | 2005-10-20 | Sun Microsystems, Inc. | System and method for controlling the use of a method in an object-oriented computing environment |
| US20070201362A1 (en) * | 2006-02-16 | 2007-08-30 | Intelliserv, Inc. | Increasing Bandwidth in a Downhole Network |
| WO2010037261A1 (zh) * | 2008-09-26 | 2010-04-08 | 中联绿盟信息技术(北京)有限公司 | 网络异常流量分析设备和方法 |
| US20100290482A1 (en) * | 2009-05-14 | 2010-11-18 | International Business Machines Corporation | Method for reducing errors while transferring tokens to and from people |
| CN102130800A (zh) * | 2011-04-01 | 2011-07-20 | 苏州赛特斯网络科技有限公司 | 基于数据流行为分析的网络访问异常检测装置及方法 |
| US8681630B1 (en) * | 2010-09-21 | 2014-03-25 | Google Inc. | Configurable rate limiting using static token buckets, and applications thereof |
| US20140379506A1 (en) * | 2013-06-25 | 2014-12-25 | Amazon Technologies, Inc. | Token-based pricing policies for burst-mode operations |
| WO2015096692A1 (zh) * | 2013-12-23 | 2015-07-02 | 腾讯科技（深圳）有限公司 | 数据接收流量控制方法及其***、计算机存储介质 |
| CN105553740A (zh) * | 2015-12-25 | 2016-05-04 | 北京奇虎科技有限公司 | 数据接口监控方法和装置 |
| CN106982196A (zh) * | 2016-01-19 | 2017-07-25 | 阿里巴巴集团控股有限公司 | 一种异常访问检测方法及设备 |
| CN106982174A (zh) * | 2017-04-13 | 2017-07-25 | 携程旅游网络技术（上海）有限公司 | 线上流量管控方法及*** |
| CN107465630A (zh) * | 2017-08-30 | 2017-12-12 | 郑州云海信息技术有限公司 | 一种带宽流量监管方法及*** |
| CN107612842A (zh) * | 2017-09-07 | 2018-01-19 | 携程商旅信息服务（上海）有限公司 | 基于令牌管理的数据采集方法、***、设备及存储介质 |
| CN107733921A (zh) * | 2017-11-14 | 2018-02-23 | 深圳中兴网信科技有限公司 | 网络流量异常检测方法、装置、计算机设备和存储介质 |
| WO2018035770A1 (zh) * | 2016-08-24 | 2018-03-01 | 深圳天珑无线科技有限公司 | 网络异常的处理方法及*** |
| CN108377241A (zh) * | 2018-02-12 | 2018-08-07 | 平安普惠企业管理有限公司 | 基于访问频率的监测方法、装置、设备和计算机存储介质 |
| CN108377240A (zh) * | 2018-02-07 | 2018-08-07 | 平安科技（深圳）有限公司 | 异常接口检测方法、装置、计算机设备和存储介质 |
-
2018
- 2018-08-13 CN CN201810914607.9A patent/CN109194539B/zh active Active
Patent Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040034684A1 (en) * | 2002-08-19 | 2004-02-19 | Macrosolve, Inc. | System and method for data management |
| US20050234956A1 (en) * | 2004-04-19 | 2005-10-20 | Sun Microsystems, Inc. | System and method for controlling the use of a method in an object-oriented computing environment |
| US20070201362A1 (en) * | 2006-02-16 | 2007-08-30 | Intelliserv, Inc. | Increasing Bandwidth in a Downhole Network |
| WO2010037261A1 (zh) * | 2008-09-26 | 2010-04-08 | 中联绿盟信息技术(北京)有限公司 | 网络异常流量分析设备和方法 |
| US20100290482A1 (en) * | 2009-05-14 | 2010-11-18 | International Business Machines Corporation | Method for reducing errors while transferring tokens to and from people |
| US8681630B1 (en) * | 2010-09-21 | 2014-03-25 | Google Inc. | Configurable rate limiting using static token buckets, and applications thereof |
| CN102130800A (zh) * | 2011-04-01 | 2011-07-20 | 苏州赛特斯网络科技有限公司 | 基于数据流行为分析的网络访问异常检测装置及方法 |
| US20140379506A1 (en) * | 2013-06-25 | 2014-12-25 | Amazon Technologies, Inc. | Token-based pricing policies for burst-mode operations |
| WO2015096692A1 (zh) * | 2013-12-23 | 2015-07-02 | 腾讯科技（深圳）有限公司 | 数据接收流量控制方法及其***、计算机存储介质 |
| CN105553740A (zh) * | 2015-12-25 | 2016-05-04 | 北京奇虎科技有限公司 | 数据接口监控方法和装置 |
| CN106982196A (zh) * | 2016-01-19 | 2017-07-25 | 阿里巴巴集团控股有限公司 | 一种异常访问检测方法及设备 |
| WO2018035770A1 (zh) * | 2016-08-24 | 2018-03-01 | 深圳天珑无线科技有限公司 | 网络异常的处理方法及*** |
| CN106982174A (zh) * | 2017-04-13 | 2017-07-25 | 携程旅游网络技术（上海）有限公司 | 线上流量管控方法及*** |
| CN107465630A (zh) * | 2017-08-30 | 2017-12-12 | 郑州云海信息技术有限公司 | 一种带宽流量监管方法及*** |
| CN107612842A (zh) * | 2017-09-07 | 2018-01-19 | 携程商旅信息服务（上海）有限公司 | 基于令牌管理的数据采集方法、***、设备及存储介质 |
| CN107733921A (zh) * | 2017-11-14 | 2018-02-23 | 深圳中兴网信科技有限公司 | 网络流量异常检测方法、装置、计算机设备和存储介质 |
| CN108377240A (zh) * | 2018-02-07 | 2018-08-07 | 平安科技（深圳）有限公司 | 异常接口检测方法、装置、计算机设备和存储介质 |
| CN108377241A (zh) * | 2018-02-12 | 2018-08-07 | 平安普惠企业管理有限公司 | 基于访问频率的监测方法、装置、设备和计算机存储介质 |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110611623A (zh) * | 2019-08-30 | 2019-12-24 | 江苏苏宁物流有限公司 | 限流方法和装置 |
| CN111490940A (zh) * | 2020-03-17 | 2020-08-04 | 中移（杭州）信息技术有限公司 | 确定数据转发路径的方法、电子设备以及存储介质 |
| CN111490940B (zh) * | 2020-03-17 | 2022-12-27 | 中移（杭州）信息技术有限公司 | 确定数据转发路径的方法、电子设备以及存储介质 |
| CN111581223A (zh) * | 2020-04-11 | 2020-08-25 | 北京城市网邻信息技术有限公司 | 一种数据更新方法、装置、终端设备及存储介质 |
| CN111581223B (zh) * | 2020-04-11 | 2023-08-22 | 北京城市网邻信息技术有限公司 | 一种数据更新方法、装置、终端设备及存储介质 |
| CN113590705A (zh) * | 2020-04-30 | 2021-11-02 | 北京金山云网络技术有限公司 | 实时数据处理方法、装置以及电子设备 |
| CN111726266A (zh) * | 2020-06-29 | 2020-09-29 | 深圳壹账通智能科技有限公司 | 热点数据分桶方法、***和计算机设备 |
| CN111726266B (zh) * | 2020-06-29 | 2022-07-22 | 深圳壹账通智能科技有限公司 | 热点数据分桶方法、***和计算机设备 |
| CN111817896A (zh) * | 2020-07-16 | 2020-10-23 | 中国民航信息网络股份有限公司 | 一种接口监控方法及装置 |
| CN114640700A (zh) * | 2020-11-30 | 2022-06-17 | 腾讯科技（深圳）有限公司 | 一种调用频次控制方法及装置 |
| CN112532643B (zh) * | 2020-12-07 | 2024-02-20 | 长春工程学院 | 基于深度学习的流量异常检测方法、***、终端及介质 |
| CN112532643A (zh) * | 2020-12-07 | 2021-03-19 | 长春工程学院 | 基于深度学习的流量异常检测方法、***、终端及介质 |
| CN112820096A (zh) * | 2020-12-30 | 2021-05-18 | 中联重科股份有限公司 | 工程机械支腿遥控***、方法和工程机械 |
| CN113364878A (zh) * | 2021-06-17 | 2021-09-07 | 北京百度网讯科技有限公司 | 数据调度方法及其装置、电子设备以及存储介质 |
| CN113965519A (zh) * | 2021-09-06 | 2022-01-21 | 阿里巴巴（中国）有限公司 | 流量控制、集群资源保障方法、设备及存储介质 |
| CN113965519B (zh) * | 2021-09-06 | 2024-01-26 | 阿里巴巴（中国）有限公司 | 流量控制、集群资源保障方法、设备及存储介质 |
| CN113885794B (zh) * | 2021-09-10 | 2024-01-26 | 鸬鹚科技(深圳)有限公司 | 基于多云存储的数据访问方法、装置、计算机设备及介质 |
| CN113885794A (zh) * | 2021-09-10 | 2022-01-04 | 鸬鹚科技(深圳)有限公司 | 基于多云存储的数据访问方法、装置、计算机设备及介质 |
| CN114024904B (zh) * | 2021-10-28 | 2023-05-30 | 平安银行股份有限公司 | 访问控制方法、装置、设备及存储介质 |
| CN114024904A (zh) * | 2021-10-28 | 2022-02-08 | 平安银行股份有限公司 | 访问控制方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109194539B (zh) | 2022-01-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109194539A (zh) | 数据管控方法、装置、计算机设备及存储介质 | |
| CN109597685B (zh) | 任务分配方法、装置和服务器 | |
| US8234229B2 (en) | Method and apparatus for prediction of computer system performance based on types and numbers of active devices | |
| CN103580934B (zh) | 一种云业务监测方法和装置 | |
| CN109246026B (zh) | 流量管控方法、装置、设备及存储介质 | |
| CN105357061B (zh) | 一种基于大数据流处理技术的运维监控分析*** | |
| CN107302547A (zh) | 一种web业务异常检测方法及装置 | |
| US11799901B2 (en) | Predictive rate limiting system for cloud computing services | |
| CN107819696A (zh) | 一种交易流量控制方法和*** | |
| CN109787908A (zh) | 服务器限流方法、***、计算机设备及存储介质 | |
| US10230602B2 (en) | Endpoint web monitoring system and method for measuring popularity of a service or application on a web server | |
| CN108809760A (zh) | 数据采样***中采样周期的控制方法和装置 | |
| CN107707612B (zh) | 一种负载均衡集群的资源利用率的评估方法及装置 | |
| CN110445680A (zh) | 网络流量异常检测方法、装置及服务器 | |
| CN115269108A (zh) | 一种数据处理方法、装置及设备 | |
| CN106874319A (zh) | 点击量的分布式统计方法及装置 | |
| US10529912B2 (en) | Elastic system monitoring | |
| US20100211702A1 (en) | Data-processing system and data-processing method | |
| CN113885794B (zh) | 基于多云存储的数据访问方法、装置、计算机设备及介质 | |
| CN105183627A (zh) | 一种服务器性能预测的方法及*** | |
| CN117041305B (zh) | 基于物联网的气体流量计离线数据管理方法、设备及介质 | |
| CN109597724A (zh) | 服务稳定性测量方法、装置、计算机设备及存储介质 | |
| CN115701890B (zh) | 调整告警规则的方法及相关设备 | |
| US20210287112A1 (en) | Real-time server capacity optimization tool | |
| CN107870848A (zh) | Cpu性能冲突的检测方法、装置和*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |