CN114117272A - 一种分布式缓存热点数据探测方法及装置 - Google Patents
一种分布式缓存热点数据探测方法及装置 Download PDFInfo
- Publication number
- CN114117272A CN114117272A CN202111227987.7A CN202111227987A CN114117272A CN 114117272 A CN114117272 A CN 114117272A CN 202111227987 A CN202111227987 A CN 202111227987A CN 114117272 A CN114117272 A CN 114117272A
- Authority
- CN
- China
- Prior art keywords
- data
- worker
- cluster
- client
- hot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 claims abstract description 20
- 238000004590 computer program Methods 0.000 claims description 10
- 230000002265 prevention Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013021 overheating Methods 0.000 description 2
- 206010033799 Paralysis Diseases 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/957—Browsing optimisation, e.g. caching or content distillation
- G06F16/9574—Browsing optimisation, e.g. caching or content distillation of access to content, e.g. by caching
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Small-Scale Networks (AREA)
Abstract
本发明公开一种分布式缓存热点数据探测方法及装置，其中，该方法包括：集群配置中心配置worker的IP，集群配置中心配置各种热点检测匹配规则，手动添加热key；worker端启动后会连接到集群环境，并且定期上报自己的IP地址；client端通过集群链接后获取worker地址，client端进行TCP长链接保活,定期发送心跳数据到worker端；client端检测当前访问的热key是否是热点数据，将聚合后的数据发送到worker集群中的目标worker上；worker端接收到数据后自带的规则引擎判断数据是否符合热点数据规则，如果检测出是热点数据后将数据发送到client端的jvm中；client中的热点数据定时销毁，防止出现误判。该方法及装置实现了防止频繁访问集群缓存，最大程度保证集群缓存的稳定性和安全性。
Description
技术领域
本发明涉及集群缓存领域，尤其是一种分布式缓存热点数据探测方法及装置。
背景技术
现有的应用自服务门户网站中，大部分应用数据需要配置到集群缓存中，如果大量用户访问***出现热点key数据，或者是瞬间大量开启的爬虫，这些突发的无法预先感知的热key都是***潜在的巨大风险，热key对数据层的冲击显而易见，譬如数据存放在redis或者MySQL中，以redis为例，那个未知的热数据会按照hash规则被存在于某个redis分片上，但就是这短短的几秒的热key，就可能会瞬间造成其所在redis分片集群瘫痪。
发明内容
本发明提供一种分布式缓存热点数据探测方法及装置，根据worker端和client端两层架构，worker端主要是负责热点key数据的匹配计算。client端jar包集成到应用中，应用调用client检测客户端后将判断当前key是否是过热数据，如果检测到是worker端推送到应用中的热点数据后将对相应的热点key数据做相应的处置,防止频繁访问集群缓存，最大程度保证集群缓存的稳定性和安全性。
为实现上述目的，本发明采用下述技术方案：
在本发明一实施例中，提出了一种分布式缓存热点数据探测方法及装置，该方法包括：
S01、集群配置中心配置worker的IP，集群配置中心配置各种热点检测匹配规则，手动添加热key；
S02、worker端启动后会连接到集群环境，并且定期上报自己的IP地址；
S03、client端通过集群链接后获取worker地址，client端进行TCP长链接保活,定期发送心跳数据到worker端；
S04、client端检测当前访问的热key是否是热点数据，将聚合后的数据发送到worker集群中的目标worker上；
S05、worker端接收到数据后自带的规则引擎判断数据是否符合热点数据规则，如果检测出是热点数据后将数据发送到client端的jvm中；
S06、client中的热点数据定时销毁，防止出现误判。
进一步地，所述S02中的worker端是一个独立部署的Java程序。
进一步地，所述S02中worker端不上报IP地址，集群配置中心判断该worker宕机下线，从集群配置中心中将其剔除。
进一步地，所述S05中的规则引擎会配置时间范围内某个key值超过阈值，则符合热点规则数据。
在本发明一实施例中，还提出了一种分布式缓存热点数据探测装置，该装置包括：
配置模块、集群配置中心配置worker的IP，集群配置中心配置各种热点检测匹配规则，手动添加热key；
worker端上报模块、worker端启动后会连接到集群环境，并且定期上报自己的IP地址；
心跳数据发送模块、client端通过集群链接后获取worker地址，client端进行TCP长链接保活,定期发送心跳数据到worker端；
热key发送模块、client端检测当前访问的热key是否是热点数据，将聚合后的数据发送到worker集群中的目标worker上；
热点判断模块、worker端接收到数据后自带的规则引擎判断数据是否符合热点数据规则，如果检测出是热点数据后将数据发送到client端的jvm中；
销毁模块、client中的热点数据定时销毁，防止出现误判。
进一步地，所述worker端上报模块120中的worker端是一个独立部署的Java程序。
进一步地，所述worker端上报模块120中worker端不上报IP地址，集群配置中心判断该worker宕机下线，从集群配置中心中将其剔除。
进一步地，所述热点判断模块150中的规则引擎会配置时间范围内某个key值超过阈值，则符合热点规则数据。
在本发明一实施例中，还提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现前述分布式缓存热点数据探测方法及装置。
在本发明一实施例中，还提出了一种计算机可读存储介质，计算机可读存储介质存储有执行分布式缓存热点数据探测方法及装置的计算机程序。
有益效果：
1.自定义热点数据计算规则,实时匹配检测热点数据,规则可以实时生效。
2.worker端集群多节点部署，可以保证高可用性。
3.worker端实时检测，检测完毕后实时推送到应用的jvm进程中，防止集群缓存击穿，最大程度解决集群应用的安全性和稳定性。
附图说明
图1是本发明一实施例的分布式缓存热点数据探测方法流程示意图；
图2是本发明一实施例的分布式缓存热点数据探测装置结构示意图；
图3是本发明一实施例的计算机设备结构示意图。
具体实施方式
下面将参考若干示例性实施方式来描述本发明的原理和精神，应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
本领域技术人员知道，本发明的实施方式可以实现为一种***、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
根据本发明的实施方式，提出了一种分布式缓存热点数据探测方法及装置，根据worker端和client端两层架构，worker端主要是负责热点key数据的匹配计算。client端jar包集成到应用中，应用调用client检测客户端后将判断当前key是否是过热数据，如果检测到是worker端推送到应用中的热点数据后将对相应的热点key数据做相应的处置,防止频繁访问集群缓存，最大程度保证集群缓存的稳定性和安全性。
Worker端为服务端，Client端为客户端。
下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。
图1是本发明一实施例的分布式缓存热点数据探测方法流程示意图。如图1所示，该方法包括：
S01、集群配置中心配置worker的IP，集群配置中心配置各种热点检测匹配规则，手动添加热key；
热点检测规则可以有用户自由配置。
S02、worker端启动后会连接到集群环境，并且定期上报自己的IP地址。
S03、client端通过集群链接后获取worker地址，client端进行TCP长链接保活,定期发送心跳数据到worker端。
S04、client端检测当前访问的热key是否是热点数据，将聚合后的数据发送到worker集群中的目标worker上；
S05、worker端接收到数据后自带的规则引擎判断数据是否符合热点数据规则，如果检测出是热点数据后将数据发送到client端的jvm中，client端做相应的热点数据处置；
热点数据规则完全由用户自定义。
S06、client中的热点数据定时销毁，防止出现误判；
Client可以根据热点数据做不同的处理，完全由业务***自己定义处置方法。
进一步地，所述S02中的worker端是一个独立部署的Java程序。
进一步地，所述S02中worker端不上报IP地址，集群配置中心判断该worker宕机下线，从集群配置中心中将其剔除。
进一步地，所述S05中的规则引擎会配置时间范围内某个key值超过阈值，则符合热点规则数据。
需要说明的是，尽管在上述实施例及附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
为了对上述分布式缓存热点数据探测方法及装置进行更为清楚的解释，下面结合一个具体的实施例来进行说明，然而值得注意的是该实施例仅是为了更好地说明本发明，并不构成对本发明不当的限定。
具体实例：
实现热点数据检测，热点数据检测相关配置如下：
首先：将配置文件配置到集群配置中心，配置文件描述为检测热点数据key是abc开头的热点数据，interval为每个10秒计算过去duration＝60秒的窗口内数据，threshold＝2代表当前窗口内数据超过两个就认为是热点数据。
第二步：worker端监听集群配置中的配置文件，当出现配置文件新增或者是修改规则后监听到变更事件，拉取配置文件到worker后将自定义规则加载都worker端的jvm中，并根据配置文件生成相应的计算窗口。
Worker端的JVM主要是加载配置，计算热点数据。
第三步：client端检测当前访问的热key是以abc开头的数据，并进行简单的聚合发送到worker集群中的某一个worker上。
第四步：worker端接收到数据后根据规则引擎计算当前是否符合热点数据规则，如果检测出是热点数据后将数据发送到client端的jvm中，client端做相应的热点数据处置。
最后client应用端接收到热点数据后做出热点数据处置，将热点数据放置到本地jvm缓存中,当用户再次访问程序时都是通过jvm中的缓存获取数据，进一步的保证了分布式缓存中间件的安全性和稳定性，达到了对热点数据的检测和处置。
基于同一发明构思，本发明还提出一种分布式缓存热点数据探测装置。该装置的实施可以参见上述方法的实施，重复之处不再赘述。以下所使用的术语“模块”，可以是实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图2是本发明一实施例的分布式缓存热点数据探测装置结构示意图。如图2所示，该装置包括：
配置模块110、集群配置中心配置worker的IP，集群配置中心配置各种热点检测匹配规则，手动添加热key；
worker端上报模块120、worker端启动后会连接到集群环境，并且定期上报自己的IP地址；
心跳数据发送模块130、client端通过集群链接后获取worker地址，client端进行TCP长链接保活,定期发送心跳数据到worker端；
热key发送模块140、client端检测当前访问的热key是否是热点数据，将聚合后的数据发送到worker集群中的目标worker上；
热点判断模块150、worker端接收到数据后自带的规则引擎判断数据是否符合热点数据规则，如果检测出是热点数据后将数据发送到client端的jvm中；
销毁模块160、client中的热点数据定时销毁，防止出现误判。
worker端上报模块120中的worker端是一个独立部署的Java程序。
worker端上报模块120中worker端不上报IP地址，集群配置中心判断该worker宕机下线，从集群配置中心中将其剔除。
热点判断模块150中的规则引擎会配置时间范围内某个key值超过阈值，则符合热点规则数据。
应当注意，尽管在上文详细描述中提及了分布式缓存热点数据探测装置的若干模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之，上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。
基于前述发明构思，如图3所示，本发明还提出一种计算机设备200，包括存储器210、处理器220及存储在存储器210上并可在处理器220上运行的计算机程序230，处理器220执行计算机程序230时实现前述分布式缓存热点数据探测方法及装置。
基于前述发明构思，本发明还提出一种计算机可读存储介质，计算机可读存储介质存储有执行前述分布式缓存热点数据探测方法及装置的计算机程序。
本发明提出的分布式缓存热点数据探测方法及装置，提供一种快速寻址方法，实现对BB对预分配IPv6地址的/96地址段中任何一个具体IP地址的快速定位，提高对地址的处理效率，减少地址浪费。
虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包含的各种修改和等同布置。
对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (10)
1.一种分布式缓存热点数据探测方法，其特征在于，该方法包括：
S01、集群配置中心配置worker的IP，集群配置中心配置各种热点检测匹配规则，手动添加热key；
S02、worker端启动后会连接到集群环境，并且定期上报自己的IP地址；
S03、client端通过集群链接后获取worker地址，client端进行TCP长链接保活,定期发送心跳数据到worker端；
S04、client端检测当前访问的热key是否是热点数据，将聚合后的数据发送到worker集群中的目标worker上；
S05、worker端接收到数据后自带的规则引擎判断数据是否符合热点数据规则，如果检测出是热点数据后将数据发送到client端的jvm中；
S06、client中的热点数据定时销毁，防止出现误判。
2.根据权利要求1所述的分布式缓存热点数据探测方法，其特征在于，所述S02中的worker端是一个独立部署的Java程序。
3.根据权利要求1所述的分布式缓存热点数据探测方法，其特征在于，所述S02中worker端不上报IP地址，集群配置中心判断该worker宕机下线，从集群配置中心中将其剔除。
4.根据权利要求1所述的分布式缓存热点数据探测方法，其特征在于，所述S05中的规则引擎会配置时间范围内某个key值超过阈值，则符合热点规则数据。
5.一种分布式缓存热点数据探测装置，其特征在于，该装置包括：
配置模块、集群配置中心配置worker的IP，集群配置中心配置各种热点检测匹配规则，手动添加热key；
worker端上报模块、worker端启动后会连接到集群环境，并且定期上报自己的IP地址；
心跳数据发送模块、client端通过集群链接后获取worker地址，client端进行TCP长链接保活,定期发送心跳数据到worker端；
热key发送模块、client端检测当前访问的热key是否是热点数据，将聚合后的数据发送到worker集群中的目标worker上；
热点判断模块、worker端接收到数据后自带的规则引擎判断数据是否符合热点数据规则，如果检测出是热点数据后将数据发送到client端的jvm中；
销毁模块、client中的热点数据定时销毁，防止出现误判。
6.根据权利要求5所述的分布式缓存热点数据探测装置，其特征在于，所述worker端上报模块中的worker端是一个独立部署的Java程序。
7.根据权利要求5所述的分布式缓存热点数据探测装置，其特征在于，所述worker端上报模块中worker端不上报IP地址，集群配置中心判断该worker宕机下线，从集群配置中心中将其剔除。
8.根据权利要求5所述的分布式缓存热点数据探测装置，其特征在于，所述热点判断模块中的规则引擎会配置时间范围内某个key值超过阈值，则符合热点规则数据。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-4任一项所述方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1-4任一项所述方法的计算机程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111227987.7A CN114117272A (zh) | 2021-10-21 | 2021-10-21 | 一种分布式缓存热点数据探测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111227987.7A CN114117272A (zh) | 2021-10-21 | 2021-10-21 | 一种分布式缓存热点数据探测方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114117272A true CN114117272A (zh) | 2022-03-01 |
Family
ID=80376283
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111227987.7A Pending CN114117272A (zh) | 2021-10-21 | 2021-10-21 | 一种分布式缓存热点数据探测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114117272A (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112076464A (zh) * | 2020-09-04 | 2020-12-15 | 腾讯科技（深圳）有限公司 | 一种数据请求处理方法、装置、计算机设备及存储介质 |
| CN113138943A (zh) * | 2020-01-19 | 2021-07-20 | 北京京东振世信息技术有限公司 | 一种处理请求的方法和装置 |
-
2021
- 2021-10-21 CN CN202111227987.7A patent/CN114117272A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113138943A (zh) * | 2020-01-19 | 2021-07-20 | 北京京东振世信息技术有限公司 | 一种处理请求的方法和装置 |
| CN112076464A (zh) * | 2020-09-04 | 2020-12-15 | 腾讯科技（深圳）有限公司 | 一种数据请求处理方法、装置、计算机设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| MAYMATRIX: ""京东毫秒级热key探测框架设计与实践，已实战于618大促"", pages 1 - 8, Retrieved from the Internet <URL:https://blog.csdn.net/truelove12358/article/details/108521701?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522170988086016800188537576%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=170988086016800188537576&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~first_rank_ecpm_v1~rank_v31_ecpm-1-108521701-null-null.142^v99^pc_search_result_base3&utm_term=京东毫秒级热%20key%20探测框架设计与实践，已实战于%20618%20大促&spm=1018.2226.3001.4187> * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10032025B1 (en) | Behavior-based ransomware detection | |
| US11068588B2 (en) | Detecting irregularities on a device | |
| US10430586B1 (en) | Methods of identifying heap spray attacks using memory anomaly detection | |
| US8869272B2 (en) | System, method, and computer program product for preventing a modification to a domain name system setting | |
| JP5897132B2 (ja) | クラウド技術を用いたマルウェアの動的駆除 | |
| US20150271202A1 (en) | Method, device, and system for detecting link layer hijacking, user equipment, and analyzing server | |
| CN111737696A (zh) | 一种恶意文件检测的方法、***、设备及可读存储介质 | |
| US20070006304A1 (en) | Optimizing malware recovery | |
| US20170041336A1 (en) | Signature rule processing method, server, and intrusion prevention system | |
| CN112534432A (zh) | 不熟悉威胁场景的实时缓解 | |
| WO2015009296A1 (en) | Event management system | |
| EP3667532A1 (en) | Methods for detecting and mitigating malicious network activity based on dynamic application context and devices thereof | |
| CN111193633B (zh) | 异常网络连接的检测方法及装置 | |
| US9692783B2 (en) | Method and apparatus for reporting a virus | |
| US11372971B2 (en) | Threat control | |
| CN112788035A (zh) | 一种5g下upf终端的网络攻击告警方法和终端 | |
| CN113660215A (zh) | 基于Web应用防火墙的攻击行为检测方法以及装置 | |
| CN113923008B (zh) | 一种恶意网站拦截方法、装置、设备及存储介质 | |
| GB2508174A (en) | Identifying malicious applications by statistical analysis of currently running programs and network connections | |
| CN114117272A (zh) | 一种分布式缓存热点数据探测方法及装置 | |
| CN116723020A (zh) | 网络服务模拟方法、装置、电子设备及存储介质 | |
| CN110417615B (zh) | 校验开关控制方法、装置、设备及计算机可读存储介质 | |
| CN108900492B (zh) | 物联网病毒识别与自适应远程查杀方法及*** | |
| CN106325898A (zh) | 软件升级方法和*** | |
| Tupakula et al. | Dynamic state-based security architecture for detecting security attacks in virtual machines |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |