CN109828960B - 日志库扩容方法、***、计算机装置及可读存储介质 - Google Patents
日志库扩容方法、***、计算机装置及可读存储介质 Download PDFInfo
- Publication number
- CN109828960B CN109828960B CN201811537206.2A CN201811537206A CN109828960B CN 109828960 B CN109828960 B CN 109828960B CN 201811537206 A CN201811537206 A CN 201811537206A CN 109828960 B CN109828960 B CN 109828960B
- Authority
- CN
- China
- Prior art keywords
- log
- flow
- cluster
- preset
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 22
- 238000012544 monitoring process Methods 0.000 claims abstract description 12
- 238000004590 computer program Methods 0.000 claims description 22
- 230000007246 mechanism Effects 0.000 claims description 10
- 238000012300 Sequence Analysis Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000001360 synchronised effect Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 4
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明提供一种日志库扩容方法、***、计算机装置及计算机可读存储介质。所述日志库扩容方法包括：创建一Kubernetes集群；根据预设流量统计算法来获取所述ELK日志***的当前日志流量；判断所述获取得到的当前日志流量是否大于预设流量；及当所述获取得到的当前日志流量大于预设流量时，调用所述Kubernetes集群创建ES‑Data节点，并将创建的ES‑Data节点添加至所述ES集群中，以增加所述ES集群的吞吐能力。本发明基于云监测技术来实时监测日志***的日志流量，并根据所述日志流量大小来动态对日志***进行扩容，扩容服务稳定，可靠性高，提升用户使用体验。
Description
技术领域
本发明涉及日志数据处理领域，尤其涉及一种日志库扩容方法、***、计算机装置及计算机可读存储介质。
背景技术
目前企业的日志***大多数都是基于ELK(Elasticsearch、Logstash及Kibana的简称)开发的，现有ELK日志***在扩容时需要手动操作，在操作上存在很大的限制，操作不方便，扩容期间往往有很多的不可见因素可能会导致日志***扩容后出现一系列问题，一旦出现问题，若想要恢复至之前的状态，往往需要一定的时间，严重影响用户体验。
发明内容
鉴于上述，本发明提供一种日志库扩容方法、***、计算机装置及计算机可读存储介质，其可实现自动扩容，扩容服务稳定。
本申请一实施方式提供一种日志库扩容方法，所述方法包括：
创建一Kubernetes集群，其中所述Kubernetes集群独立于ELK日志***的ES集群；
根据预设流量统计算法来获取所述ELK日志***的当前日志流量；
判断所述获取得到的当前日志流量是否大于预设流量；及
当所述获取得到的当前日志流量大于预设流量时，调用所述Kubernetes集群创建ES-Data节点，并将创建的ES-Data节点添加至所述ES集群中，以增加所述ES集群的吞吐能力。
优选地，所述根据预设流量统计算法来获取所述ELK日志***的当前日志流量的步骤包括：
获取ELK日志***的日志数据，并将所述日志数据进行解析与转换成统一的日志格式；及
利用SQL语句提取以时间、IP地址为主字段的日志数据，并通过时间序列分析算法统计得到所述ELK日志***的当前日志流量。
优选地，所述当所述获取得到的当前日志流量大于预设流量时，调用所述Kubernetes集群创建ES-Data节点的步骤包括：
获取所述ES集群中的每一ES-Data节点所占用的物理资源，其中所述物理资源包括CPU资源、内存资源及I/O资源；及
当所述ES集群中存在一ES-Data节点所占用的物理资源超过预设资源时和/或当所述获取得到的当前日志流量大于所述预设流量时，调用所述Kubernetes集群创建ES-Data节点。
优选地，所述当所述获取得到的当前日志流量大于预设流量时，调用所述Kubernetes集群创建ES-Data节点的步骤包括：
当所述获取得到的当前日志流量大于所述预设流量时，计算所述当前日志流量与所述预设流量的差值流量；及
根据所述差值流量调用所述Kubernetes集群创建一个或多个ES-Data节点，其中所述创建的ES-Data节点的个数与所述差值流量的大小匹配。
优选地，所述将创建的ES-Data节点添加至所述ES集群中的步骤包括：
在所述ES集群中建立Zen发现机制，并通过所述Zen发现机制将所述Kubernetes集群创建的ES-Data节点添加至所述ES集群中。
优选地，所述将创建的ES-Data节点添加至所述ES集群中，以增加所述ES集群的吞吐能力的步骤之后还包括；
监测所述ELK日志***的当前日志流量是否小于所述预设流量；及
当所述ELK日志***的当前日志流量小于所述预设流量时，将所述Kubernetes集群创建的ES-Data节点上的数据同步至所述ES集群，并在完成数据同步后释放所述Kubernetes集群创建的ES-Data节点。
优选地，所述将创建的ES-Data节点添加至所述ES集群中，以增加所述ES集群的吞吐能力的步骤之后还包括：
监测所述ELK日志***的当前日志流量是否小于所述预设流量且持续时间是否大于一预设时间；及
当所述ELK日志***的当前日志流量小于所述预设流量且持续时间大于所述预设时间时，将所述Kubernetes集群创建的ES-Data节点上的数据同步至所述ES集群，并在完成数据同步后释放所述Kubernetes集群创建的ES-Data节点。
本申请一实施方式提供一种日志库扩容***，所述***包括：
创建模块，用于创建一Kubernetes集群，其中所述Kubernetes集群独立于ELK日志***的ES集群；
获取模块，用于根据预设流量统计算法来获取所述ELK日志***的当前日志流量；
判断模块，用于判断所述获取得到的当前日志流量是否大于预设流量；及
扩容模块，用于在所述获取得到的当前日志流量大于预设流量时，调用所述Kubernetes集群创建ES-Data节点，并将创建的ES-Data节点添加至所述ES集群中，以增加所述ES集群的吞吐能力。
本申请一实施方式提供一种计算机装置，所述计算机装置包括处理器及存储器，所述存储器上存储有若干计算机程序，所述处理器用于执行存储器中存储的计算机程序时实现如前面所述的日志库扩容方法的步骤。
本申请一实施方式提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前面所述的日志库扩容方法的步骤。
上述日志库扩容方法、***、计算机装置及计算机可读存储介质，通过创建独立于ES集群的Kubernetes集群，来实现根据当前日志流量的大小动态地扩容ES集群，一旦侦测到流量超过预设流量时，调用Kubernetes创建ES-Data节点，从而增大ES集群的吞吐能力，在流量恢复正常后，还可以将Kubernetes动态创建出的ES-Data节点上的数据同步至ES集群，并释放Kubernetes动态创建出的ES-Data节点，使得ELK日志***还可自动恢复至原来状态，扩容服务稳定，可靠性高，提升用户使用体验。
附图说明
为了更清楚地说明本发明实施方式的技术方案，下面将对实施方式描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中日志库扩容方法的步骤流程图。
图2是本发明另一实施例中日志库扩容方法的步骤流程图。
图3为本发明一实施例中日志库扩容***的功能模块图。
图4为本发明一实施例中计算机装置示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施方式及实施方式中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是旨在于限制本发明。
优选地，本发明的日志库扩容方法应用在一个或者多个计算机装置中。所述计算机装置是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific IntegratedCircuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机装置可以是桌上型计算机、笔记本电脑、平板电脑、服务器等计算设备。所述计算机装置可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
实施例一：
图1是本发明日志库扩容方法较佳实施例的步骤流程图。根据不同的需求，所述流程图中步骤的顺序可以改变，某些步骤可以省略。
参阅图1所示，所述日志库扩容方法具体包括以下步骤。
步骤S11、创建一Kubernetes集群，其中所述Kubernetes集群独立于ELK日志***的ES集群。
在一实施方式中，所述ELK日志***中包括有ES集群，Logstash框架及Kibana框架。所述Logstash框架可分布于ES集群的各个节点上，可用于搜集相关日志数据，并经过分析、过滤后发送给ES集群进行存储，再由Kibana框架将日志数据呈现给用户，比如提供多种API供用户查询、操作。
在一实施方式中，可以在ELK日志***中创建Kubernetes集群，创建Kubernetes集群的方式可以通过以下步骤实现：设定创建所述Kubernetes集群所使用的云虚拟机数量和规格，并完成所需云虚拟机的创建；获取云虚拟机的IP信息和ssh(Secure Shell、安全外壳协议)信息；使用ssh工具拷贝部署Kubernetes集群所需要的二进制文件到创建好的所述云虚拟机上，并设置Kubernetes集群参数；最后使用kubectl工具部署Kubernetes集群的所有组件。所述Kubernetes集群与所述ELK日志***中的ES集群相互解耦，即所述Kubernetes集群、所述ES集群相互独立。
步骤S12、根据预设流量统计算法来获取所述ELK日志***的当前日志流量。
在一实施方式中，根据预设流量统计算法来统计所述ELK日志***的当前日志流量的方式具体可以是：获取ELK日志***的日志数据，为了减小后续数据处理工作量，可以只获取当前时刻向前计一预设时间的日志数据，例如获取当前时刻前三分钟内的日志数据；再利用shell脚本、python脚本或Apache脚本将获取的日志数据进行解析与转换成统一的日志格式；最后利用SQL语句提取以时间、IP地址为主字段的日志数据，并通过时间序列分析算法统计得到所述ELK日志***的当前日志流量。
在一实施方式中，所述预设流量统计算法还可以是可以实时统计ELK日志***数据包收发信息的算法，通过实时统计所述ELK日志***的数据包收发信息，进而可以得到所述ELK日志***的当前日志流量大小。
步骤S13、判断所述获取得到的当前日志流量是否大于预设流量。
在一实施方式中，可以通过将步骤S12获取得到的当前日志流量与预设流量进行比较，来判断所述当前日志流量是否大于预设流量。所述预设流量可以参考所述ELK日志***的相关信息进行设定，例如运行所述ELK日志***设备所接入的带宽、运行所述ELK日志***设备的软硬件配置信息、所述ELK日志***自身的配置文件信息等。
步骤S14、当所述获取得到的当前日志流量大于预设流量时，调用所述Kubernetes集群创建ES-Data节点，并将创建的ES-Data节点添加至所述ES集群中，以增加所述ES集群的吞吐能力。
在一实施方式中，所述ES集群自身包括有多个节点，该些节点可以被划分为ES-Master节点、ES-Data节点及ES-Client节点。其中ES-Master节点主要是用于负责管理集群范畴的变更，例如创建或删除索引，添加节点到集群或从集群删除节点。ES-Data节点主要是用于存储索引数据的节点，对文档进行增删改查操作，聚合操作等。ES-Client节点主要是用于当ES-Master节点属性和ES-Data节点属性都被设置为false时，扮演一个负载均衡角色，将到来的请求路由到集群中的各个节点。
在一实施方式中，ES集群可以把一个完整的索引分成多个分片，并将该多个分片分布到不同的节点上，当所述Kubernetes集群创建的ES-Data节点添加至所述ES集群后，所述ES集群会对所述分片进行重新分配，进而可以实现配置新添加的ES-Data节点。
当所述获取得到的当前日志流量大于预设流量，调用所述Kubernetes集群创建ES-Data节点，并将创建的ES-Data节点添加至所述ES集群中，进而可以增加所述ES集群的吞吐能力。具体地，可以在所述ES集群中建立Zen发现机制，所述Zen发现机制可以实现当有一个新的ES节点加入并设置和所述ES集群相同的名称时，这个新节点即会被加入到ES集群中，进而可以通过所述Zen发现机制实现将所述Kubernetes集群创建的ES-Data节点添加至所述ES集群中。可以理解的，当所述获取得到的当前日志流量不大于所述预设流量时，无需调用所述Kubernetes集群创建ES-Data节点。
在一实施方式中，调用所述Kubernetes集群创建的ES-Data节点的数量与当前日志流量与所述预设流量的差值流量相关，当所述差值流量越大，创建的ES-Data节点的数量越多。当所述获取得到的当前日志流量大于所述预设流量时，还计算所述当前日志流量与所述预设流量的差值流量，并根据计算得到的差值流量来调用所述Kubernetes集群创建一个或多个ES-Data节点，其中所述创建的ES-Data节点的个数与所述差值流量的大小匹配。
在一实施方式中，步骤S12还可以获取所述ES集群中的每一ES-Data节点所占用的物理资源，进而在步骤S14中可以根据所述ES集群中的每一ES-Data节点所占用的物理资源是否超过预设资源来判断是否调用所述Kubernetes集群创建ES-Data节点。具体地，获取所述ES集群中的每一ES-Data节点所占用的物理资源，其中所述物理资源包括CPU资源、内存资源及I/O资源；当所述ES集群中存在一ES-Data节点所占用的物理资源超过预设资源时或当所述获取得到的当前日志流量大于所述预设流量时，调用所述Kubernetes集群创建ES-Data节点。
在一实施方式中，还可以只在所述ES集群中存在一ES-Data节点所占用的物理资源超过预设资源时且所述获取得到的当前日志流量大于所述预设流量时，调用所述Kubernetes集群创建ES-Data节点。
在一实施方式中，在步骤S12中，还可以通过预设流量统计算法来统计所述ELK日志***在一指定时间段的日志流量，例如半年内的日志流量，并根据获取的日志流量来建立一日志流量预测模型实现对所述ELK日志***的日志流量进行预测，预测出日志流量的走势，得出下个时间节点的日志流量预测值，步骤S13可以判断预测得到的日志流量是否大于预设阈值，以确定是否需要提前利用所述Kubernetes集群创建一ES-Data节点。在一实施方式中，所述日志流量预测模型可以采用卡尔曼滤波算法来建立。
请同时参阅图2，与图1示出的日志库扩容方法相比，图2示出的日志库扩容方法还包括步骤S15及步骤S16。
步骤S15，监测所述ELK日志***的当前日志流量是否小于所述预设流量；
步骤S16，当所述ELK日志***的当前日志流量小于所述预设流量时，将所述Kubernetes集群创建的ES-Data节点上的数据同步至所述ES集群，并在完成数据同步后释放所述Kubernetes集群创建的ES-Data节点。
在一实施方式中，当监测所述ELK日志***的当前日志流量小于所述预设流量时，表明所述ES集群的自身节点足够满足ELK日志***需求，无需借助额外的节点，此时可以将额外增加的ES-Data节点退出所述ES集群。同时在将额外增加的ES-Data节点退出所述ES集群前，需要将该ES-Data节点的数据信息同步至所述ES集群，避免发生数据丢失。当所述ELK日志***的当前日志流量小于所述预设流量时，将所述Kubernetes集群创建的ES-Data节点上的数据同步至所述ES集群，并在完成数据同步后释放所述Kubernetes集群创建的ES-Data节点，进而实现对ELK日志***进行动态扩容，当无需扩容时，ELK日志***还可自动恢复至原来状态。当再次监测到所述ELK日志***的当前日志流量大于所述预设流量时，可以再次调用所述Kubernetes集群创建ES-Data节点，以添加至所述ES集群。
在一实施方式中，为了避免重复释放/创建ES-Data节点，优选在监测到所述ELK日志***的日志流量小于所述预设流量并持续一预设时间后，再将额外创建的ES-Data节点的数据信息同步至所述ES集群，以释放该些额外创建的ES-Data节点。所述预设时间可以根据实际需求进行设定，例如，所述预设时间设定为3分钟。
上述日志库扩容方法通过创建独立于ES集群的Kubernetes集群，来实现根据当前日志流量的大小动态地扩容ES集群，一旦侦测到流量超过预设流量时，调用Kubernetes创建ES-Data节点，从而增大ES集群的吞吐能力，在流量恢复正常后，还可以将Kubernetes动态创建出的ES-Data节点上的数据同步至ES集群，并释放Kubernetes动态创建出的ES-Data节点，使得ELK日志***还可自动恢复至原来状态，扩容服务稳定，可靠性高，提升用户使用体验。
实施例二：
图3为本发明日志库扩容***较佳实施例的功能模块图。
参阅图3所示，所述日志库扩容***10可以包括创建模块101、获取模块102、判断模块103、扩容模块104、监测模块105及释放模块106。
所述创建模块101用于创建一Kubernetes集群，其中所述Kubernetes集群独立于ELK日志***的ES集群。
在一实施方式中，所述ELK日志***中包括有ES集群，Logstash框架及Kibana框架。所述Logstash框架可分布于ES集群的各个节点上，可用于搜集相关日志数据，并经过分析、过滤后发送给ES集群进行存储，再由Kibana框架将日志数据呈现给用户，比如提供多种API供用户查询、操作。
在一实施方式中，所述创建模块101可以在ELK日志***中创建Kubernetes集群，具体创建Kubernetes集群的方式可以通过以下步骤实现：设定创建所述Kubernetes集群所使用的云虚拟机数量和规格，并完成所需云虚拟机的创建；获取云虚拟机的IP信息和ssh(Secure Shell、安全外壳协议)信息；使用ssh工具拷贝部署Kubernetes集群所需要的二进制文件到创建好的所述云虚拟机上，并设置Kubernetes集群参数；最后使用kubectl工具部署Kubernetes集群的所有组件。所述Kubernetes集群与所述ELK日志***中的ES集群相互解耦，即所述Kubernetes集群、所述ES集群相互独立。
所述获取模块102用于根据预设流量统计算法来获取所述ELK日志***的当前日志流量。
在一实施方式中，所述获取模块102可以通过以下方式来得到所述ELK日志***的当前日志流量：获取ELK日志***的日志数据，为了减小后续数据处理工作量，可以只获取当前时刻向前计一预设时间的日志数据，例如获取当前时刻前三分钟内的日志数据；再利用shell脚本、python脚本或Apache脚本将获取的日志数据进行解析与转换成统一的日志格式；最后利用SQL语句提取以时间、IP地址为主字段的日志数据，并通过时间序列分析算法统计得到所述ELK日志***的当前日志流量。
在一实施方式中，所述预设流量统计算法还可以是可以实时统计ELK日志***数据包收发信息的算法，通过实时统计所述ELK日志***的数据包收发信息，进而可以得到所述ELK日志***的当前日志流量大小。
所述判断模块103用于判断所述获取得到的当前日志流量是否大于预设流量。
在一实施方式中，所述判断模块103可以通过将获取模块102获取得到的当前日志流量与预设流量进行比较，来判断所述当前日志流量是否大于预设流量。所述预设流量可以参考所述ELK日志***的相关信息进行设定，例如运行所述ELK日志***设备所接入的带宽、运行所述ELK日志***设备的软硬件配置信息、所述ELK日志***自身的配置文件信息等。
所述扩容模块104用于在所述获取得到的当前日志流量大于预设流量时，调用所述Kubernetes集群创建ES-Data节点，并将创建的ES-Data节点添加至所述ES集群中，以增加所述ES集群的吞吐能力。
在一实施方式中，所述ES集群自身包括有多个节点，该些节点可以被划分为ES-Master节点、ES-Data节点及ES-Client节点。其中ES-Master节点主要是用于负责管理集群范畴的变更，例如创建或删除索引，添加节点到集群或从集群删除节点。ES-Data节点主要是用于存储索引数据的节点，对文档进行增删改查操作，聚合操作等。ES-Client节点主要是用于当ES-Master节点属性和ES-Data节点属性都被设置为false时，扮演一个负载均衡角色，将到来的请求路由到集群中的各个节点。
在一实施方式中，ES集群可以把一个完整的索引分成多个分片，并将该多个分片分布到不同的节点上，当所述Kubernetes集群创建的ES-Data节点添加至所述ES集群后，所述ES集群会对所述分片进行重新分配，进而可以实现配置新添加的ES-Data节点。
当所述获取得到的当前日志流量大于预设流量，所述扩容模块104调用所述Kubernetes集群创建ES-Data节点，并将创建的ES-Data节点添加至所述ES集群中，进而可以增加所述ES集群的吞吐能力。所述扩容模块104可以在所述ES集群中建立Zen发现机制，所述Zen发现机制可以实现当有一个新的ES节点加入并设置和所述ES集群相同的名称时，这个新节点即会被加入到ES集群中，进而可以通过所述Zen发现机制实现将所述Kubernetes集群创建的ES-Data节点添加至所述ES集群中。可以理解的，当所述获取得到的当前日志流量不大于所述预设流量时，无需调用所述Kubernetes集群创建ES-Data节点。
在一实施方式中，所述扩容模块104调用所述Kubernetes集群创建的ES-Data节点的数量与当前日志流量与所述预设流量的差值流量相关，当所述差值流量越大，创建的ES-Data节点的数量越多。当所述获取得到的当前日志流量大于所述预设流量时，所述扩容模块104还计算所述当前日志流量与所述预设流量的差值流量，并根据计算得到的差值流量来调用所述Kubernetes集群创建一个或多个ES-Data节点，其中所述创建的ES-Data节点的个数与所述差值流量的大小匹配。
在一实施方式中，所述获取模块102还可以获取所述ES集群中的每一ES-Data节点所占用的物理资源，进而所述扩容模块104可以根据所述ES集群中的每一ES-Data节点所占用的物理资源是否超过预设资源来判断是否调用所述Kubernetes集群创建ES-Data节点。具体地，获取所述ES集群中的每一ES-Data节点所占用的物理资源，所述获取模块102其中所述物理资源包括CPU资源、内存资源及I/O资源；当所述ES集群中存在一ES-Data节点所占用的物理资源超过预设资源时或当所述获取得到的当前日志流量大于所述预设流量时，所述扩容模块104调用所述Kubernetes集群创建ES-Data节点。
在一实施方式中，所述扩容模块104还可以只在所述ES集群中存在一ES-Data节点所占用的物理资源超过预设资源时且所述获取得到的当前日志流量大于所述预设流量时，调用所述Kubernetes集群创建ES-Data节点。
在一实施方式中，所述获取模块102还可以通过预设流量统计算法来统计得到所述ELK日志***在一指定时间段的日志流量，例如半年内的日志流量，并根据获取的日志流量来建立一日志流量预测模型实现对所述ELK日志***的日志流量进行预测，预测出日志流量的走势，得出下个时间节点的日志流量预测值，所述判断模块103可以判断预测得到的日志流量是否大于预设阈值，所述扩容模块104可以根据判断模块103的判断结果来确定是否需要提前利用所述Kubernetes集群创建一ES-Data节点。在一实施方式中，所述日志流量预测模型可以采用卡尔曼滤波算法来建立。
所述监测模块105用于监测所述ELK日志***的当前日志流量是否小于所述预设流量。
所述释放模块106用于在所述ELK日志***的当前日志流量小于所述预设流量时，将所述Kubernetes集群创建的ES-Data节点上的数据同步至所述ES集群，并在完成数据同步后释放所述Kubernetes集群创建的ES-Data节点。
在一实施方式中，当所述监测模块105监测所述ELK日志***的当前日志流量小于所述预设流量时，表明所述ES集群的自身节点足够满足ELK日志***需求，无需借助额外的节点，此时所述释放模块106可以将额外增加的ES-Data节点退出所述ES集群。同时在将额外增加的ES-Data节点退出所述ES集群前，需要将该ES-Data节点的数据信息同步至所述ES集群，避免发生数据丢失。即当所述ELK日志***的当前日志流量小于所述预设流量时，所述释放模块106将所述Kubernetes集群创建的ES-Data节点上的数据同步至所述ES集群，并在完成数据同步后释放所述Kubernetes集群创建的ES-Data节点，进而实现对ELK日志***进行动态扩容，当无需扩容时，ELK日志***还可自动恢复至原来状态。当监测模块105再次监测到所述ELK日志***的当前日志流量大于所述预设流量时，所述扩容模块104可以再次调用所述Kubernetes集群创建ES-Data节点，以添加至所述ES集群。
在一实施方式中，为了避免重复释放/创建ES-Data节点，所述释放模块106优选在监测到所述ELK日志***的日志流量小于所述预设流量并持续一预设时间后，再将额外创建的ES-Data节点的数据信息同步至所述ES集群，以释放该些额外创建的ES-Data节点。所述预设时间可以根据实际需求进行设定，例如，所述预设时间设定为3分钟。
上述日志库扩容***通过创建独立于ES集群的Kubernetes集群，来实现根据当前日志流量的大小动态地扩容ES集群，一旦侦测到流量超过预设流量时，调用Kubernetes创建ES-Data节点，从而增大ES集群的吞吐能力，在流量恢复正常后，还可以将Kubernetes动态创建出的ES-Data节点上的数据同步至ES集群，并释放Kubernetes动态创建出的ES-Data节点，使得ELK日志***还可自动恢复至原来状态，扩容服务稳定，可靠性高，提升用户使用体验。
图4为本发明计算机装置较佳实施例的示意图。
所述计算机装置1包括存储器20、处理器30以及存储在所述存储器20中并可在所述处理器30上运行的计算机程序40，例如日志库扩容程序。所述处理器30执行所述计算机程序40时实现上述日志库扩容方法实施例中的步骤，例如图1所示的步骤S11～S14、图2所示的步骤S11～S16。或者，所述处理器30执行所述计算机程序40时实现上述日志库扩容***实施例中各模块的功能，例如图3中的模块101～106。
示例性的，所述计算机程序40可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器20中，并由所述处理器30执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，所述指令段用于描述所述计算机程序40在所述计算机装置1中的执行过程。例如，所述计算机程序40可以被分割成图3中的创建模块101、获取模块102、判断模块103、扩容模块104、监测模块105、释放模块106。各模块具体功能参见实施例二。
所述计算机装置1可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。本领域技术人员可以理解，所述示意图仅仅是计算机装置1的示例，并不构成对计算机装置1的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述计算机装置1还可以包括输入输出设备、网络接入设备、总线等。
所称处理器30可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者所述处理器30也可以是任何常规的处理器等，所述处理器30是所述计算机装置1的控制中心，利用各种接口和线路连接整个计算机装置1的各个部分。
所述存储器20可用于存储所述计算机程序40和/或模块/单元，所述处理器30通过运行或执行存储在所述存储器20内的计算机程序和/或模块/单元，以及调用存储在存储器20内的数据，实现所述计算机装置1的各种功能。所述存储器20可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据计算机装置1的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器20可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所述计算机装置1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，所述计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
在本发明所提供的几个实施例中，应该理解到，所揭露的计算机装置和方法，可以通过其它的方式实现。例如，以上所描述的计算机装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
另外，在本发明各个实施例中的各功能单元可以集成在相同处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在相同单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。计算机装置权利要求中陈述的多个单元或计算机装置也可以由同一个单元或计算机装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。
Claims (9)
1.一种日志库扩容方法，其特征在于，所述方法包括：
创建一Kubernetes集群，其中所述Kubernetes集群独立于ELK日志***的ES集群；
根据预设流量统计算法来获取所述ELK日志***的当前日志流量以及基于预设的日志流量预测模型预测在所述当前日志流量之后的下个时间节点的预测日志流量，所述预设的日志流量预测模型基于所述ELK日志***在指定时间段的日志流量数据训练得到；
判断所述当前日志流量与所述预测日志流量是否大于预设流量；及
当所述当前日志流量和/或所述预测日志流量大于预设流量时，调用所述Kubernetes集群创建ES-Data节点，并将创建的ES-Data节点添加至所述ES集群中，以增加所述ES集群的吞吐能力。
2.如权利要求1所述的日志库扩容方法，其特征在于，所述根据预设流量统计算法来获取所述ELK日志***的当前日志流量的步骤包括：
获取ELK日志***的日志数据，并将所述日志数据进行解析与转换成统一的日志格式；及
利用SQL语句提取以时间、IP地址为主字段的日志数据，并通过时间序列分析算法统计得到所述ELK日志***的当前日志流量。
3.如权利要求1所述的日志库扩容方法，其特征在于，所述当所述当前日志流量和/或所述预测日志流量大于预设流量时，调用所述Kubernetes集群创建ES-Data节点的步骤包括：
获取所述ES集群中的每一ES-Data节点所占用的物理资源，其中所述物理资源包括CPU资源、内存资源及I/O资源；及
当所述ES集群中存在一ES-Data节点所占用的物理资源超过预设资源时，和/或所述当前日志流量与所述预测日志流量中的至少一者大于所述预设流量时，调用所述Kubernetes集群创建所述ES-Data节点。
4.如权利要求1所述的日志库扩容方法，其特征在于，所述当所述当前日志流量和/或所述预测日志流量大于预设流量时，调用所述Kubernetes集群创建ES-Data节点的步骤包括：
当所述当前日志流量和/或所述预测日志流量大于所述预设流量时，计算所述当前日志流量与所述预测日志流量中的较大者与所述预设流量的差值流量；及
根据所述差值流量调用所述Kubernetes集群创建一个或多个ES-Data节点，其中所述创建的ES-Data节点的个数与所述差值流量的大小匹配。
5.如权利要求1至4任意一项所述的日志库扩容方法，其特征在于，所述将创建的ES-Data节点添加至所述ES集群中的步骤包括：
在所述ES集群中建立Zen发现机制，并通过所述Zen发现机制将所述Kubernetes集群创建的ES-Data节点添加至所述ES集群中。
6.如权利要求1或2所述的日志库扩容方法，其特征在于，所述将创建的ES-Data节点添加至所述ES集群中，以增加所述ES集群的吞吐能力的步骤之后还包括：
监测所述ELK日志***的当前日志流量是否小于所述预设流量且持续时间是否大于一预设时间；及
当所述ELK日志***的当前日志流量小于所述预设流量且持续时间大于所述预设时间时，将所述Kubernetes集群创建的ES-Data节点上的数据同步至所述ES集群，并在完成数据同步后释放所述Kubernetes集群创建的ES-Data节点。
7.一种日志库扩容***，其特征在于，所述***包括：
创建模块，用于创建一Kubernetes集群，其中所述Kubernetes集群独立于ELK日志***的ES集群；
获取模块，用于根据预设流量统计算法来获取所述ELK日志***的当前日志流量以及基于预设的日志流量预测模型预测在所述当前日志流量之后的下个时间节点的预测日志流量，所述预设的日志流量预测模型基于所述ELK日志***在指定时间段的日志流量数据训练得到；
判断模块，用于判断所述当前日志流量与所述预测日志流量是否大于预设流量；及
扩容模块，用于在所述当前日志流量和/或所述预测日志流量大于预设流量时，调用所述Kubernetes集群创建ES-Data节点，并将创建的ES-Data节点添加至所述ES集群中，以增加所述ES集群的吞吐能力。
8.一种计算机装置，所述计算机装置包括处理器及存储器，所述存储器上存储有若干计算机程序，其特征在于，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1至6中任意一项所述的日志库扩容方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任意一项所述的日志库扩容方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811537206.2A CN109828960B (zh) | 2018-12-14 | 2018-12-14 | 日志库扩容方法、***、计算机装置及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811537206.2A CN109828960B (zh) | 2018-12-14 | 2018-12-14 | 日志库扩容方法、***、计算机装置及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109828960A CN109828960A (zh) | 2019-05-31 |
| CN109828960B true CN109828960B (zh) | 2024-05-28 |
Family
ID=66858885
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811537206.2A Active CN109828960B (zh) | 2018-12-14 | 2018-12-14 | 日志库扩容方法、***、计算机装置及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109828960B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110287163B (zh) * | 2019-06-25 | 2021-10-08 | 浙江乾冠信息安全研究院有限公司 | 安全日志采集解析方法、装置、设备及介质 |
| CN113225362B (zh) * | 2020-02-06 | 2024-04-05 | 北京京东振世信息技术有限公司 | 服务器集群***和服务器集群***的实现方法 |
| CN111752489B (zh) * | 2020-06-30 | 2022-06-17 | 重庆紫光华山智安科技有限公司 | Kubernetes中PVC模块的扩容方法及相关装置 |
| CN111953551B (zh) * | 2020-08-27 | 2023-05-16 | 网易（杭州）网络有限公司 | 日志数据的传输方法、装置、电子设备及存储介质 |
| CN112714018B (zh) * | 2020-12-28 | 2023-04-18 | 上海领健信息技术有限公司 | 基于网关的ElasticSearch搜索服务方法、***、介质及终端 |
| CN114584346B (zh) * | 2022-01-28 | 2024-01-12 | 深圳融安网络科技有限公司 | 日志流的处理方法、***、终端设备及存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101840314A (zh) * | 2010-05-05 | 2010-09-22 | 北京星网锐捷网络技术有限公司 | 扩展数据库存储空间的方法及装置、服务器 |
| CN102968503A (zh) * | 2012-12-10 | 2013-03-13 | 曙光信息产业(北京)有限公司 | 数据库***的数据处理方法以及数据库*** |
| CN105095417A (zh) * | 2015-07-13 | 2015-11-25 | 小米科技有限责任公司 | 存储业务数据的方法、装置及数据库节点 |
| CN105138615A (zh) * | 2015-08-10 | 2015-12-09 | 北京思特奇信息技术股份有限公司 | 一种构建大数据分布式日志的方法和*** |
| CN106547471A (zh) * | 2015-09-17 | 2017-03-29 | 北京国双科技有限公司 | 非关系型数据库的扩展方法和装置 |
| CN107357896A (zh) * | 2017-07-13 | 2017-11-17 | 北京小度信息科技有限公司 | 数据库集群的扩容方法、装置、***和数据库集群*** |
| CN107862090A (zh) * | 2017-12-04 | 2018-03-30 | 中企动力科技股份有限公司 | 数据库的水平扩展方法及装置 |
| CN108282522A (zh) * | 2018-01-15 | 2018-07-13 | 吉浦斯信息咨询（深圳）有限公司 | 基于动态路由的数据存储访问方法及*** |
| CN108667654A (zh) * | 2018-04-19 | 2018-10-16 | 北京奇艺世纪科技有限公司 | 服务器集群自动扩容方法及相关设备 |
| CN108712296A (zh) * | 2018-06-07 | 2018-10-26 | 郑州云海信息技术有限公司 | 一种基于分布式的日志监控装置及方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9613041B2 (en) * | 2013-10-03 | 2017-04-04 | International Business Machines Corporation | Extending a content repository using an auxiliary data store |
-
2018
- 2018-12-14 CN CN201811537206.2A patent/CN109828960B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101840314A (zh) * | 2010-05-05 | 2010-09-22 | 北京星网锐捷网络技术有限公司 | 扩展数据库存储空间的方法及装置、服务器 |
| CN102968503A (zh) * | 2012-12-10 | 2013-03-13 | 曙光信息产业(北京)有限公司 | 数据库***的数据处理方法以及数据库*** |
| CN105095417A (zh) * | 2015-07-13 | 2015-11-25 | 小米科技有限责任公司 | 存储业务数据的方法、装置及数据库节点 |
| CN105138615A (zh) * | 2015-08-10 | 2015-12-09 | 北京思特奇信息技术股份有限公司 | 一种构建大数据分布式日志的方法和*** |
| CN106547471A (zh) * | 2015-09-17 | 2017-03-29 | 北京国双科技有限公司 | 非关系型数据库的扩展方法和装置 |
| CN107357896A (zh) * | 2017-07-13 | 2017-11-17 | 北京小度信息科技有限公司 | 数据库集群的扩容方法、装置、***和数据库集群*** |
| CN107862090A (zh) * | 2017-12-04 | 2018-03-30 | 中企动力科技股份有限公司 | 数据库的水平扩展方法及装置 |
| CN108282522A (zh) * | 2018-01-15 | 2018-07-13 | 吉浦斯信息咨询（深圳）有限公司 | 基于动态路由的数据存储访问方法及*** |
| CN108667654A (zh) * | 2018-04-19 | 2018-10-16 | 北京奇艺世纪科技有限公司 | 服务器集群自动扩容方法及相关设备 |
| CN108712296A (zh) * | 2018-06-07 | 2018-10-26 | 郑州云海信息技术有限公司 | 一种基于分布式的日志监控装置及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109828960A (zh) | 2019-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109828960B (zh) | 日志库扩容方法、***、计算机装置及可读存储介质 | |
| US10209908B2 (en) | Optimization of in-memory data grid placement | |
| US20200137151A1 (en) | Load balancing engine, client, distributed computing system, and load balancing method | |
| WO2020238066A1 (zh) | 一种软件的压力测试方法、装置、存储介质和服务器 | |
| WO2019232993A1 (zh) | 自适应的数据恢复流控方法、装置、电子设备及存储介质 | |
| US11556369B2 (en) | Virtual machine deployment method and OMM virtual machine | |
| WO2021184587A1 (zh) | 基于Prometheus的私有云监控方法、装置、计算机设备及存储介质 | |
| CN110928851B (zh) | 处理日志信息的方法、装置、设备及存储介质 | |
| CN112527848B (zh) | 基于多数据源的报表数据查询方法、装置、***及存储介质 | |
| CN114741060B (zh) | 基于中台的业务***开发方法及装置 | |
| CN110708369B (zh) | 设备节点的文件部署方法、装置、调度服务器及存储介质 | |
| CN112764920B (zh) | 一种边缘应用部署方法、装置、设备和存储介质 | |
| CN109800261B (zh) | 双数据库连接池的动态控制方法、装置及相关设备 | |
| CN115357662A (zh) | 一种数据同步的方法、装置及介质 | |
| CN112685499A (zh) | 一种工作业务流的流程数据同步方法、装置及设备 | |
| CN109299225B (zh) | 日志检索方法、***、终端及计算机可读存储介质 | |
| CN114676205A (zh) | 事件信息的处理方法及装置 | |
| CN109298974B (zh) | ***控制方法、装置、计算机及计算机可读存储介质 | |
| CN106453118B (zh) | 一种流量控制方法及流量控制*** | |
| CN104580498B (zh) | 一种自适应云管理平台 | |
| CN109614137B (zh) | 软件版本控制方法、装置、设备和介质 | |
| CN113794755A (zh) | 基于微服务架构的共享服务推送方法及*** | |
| CN111813621A (zh) | 基于Flume数据中台的数据处理方法、装置、设备及介质 | |
| CN113157475A (zh) | 日志处理方法、装置、存储介质及电子设备 | |
| CN110704382A (zh) | 文件部署方法、装置、服务器及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |