数据挖掘***及其实现方法
技术领域
本发明涉及数据挖掘技术领域,尤其涉及数据挖掘***及其实现方法。
背景技术
当前,很多企业、政府等组织购买了大量的网关设备,比如虚拟化的网关设备、进行端点保护的安全类软件,或硬件网关设备等,并进行了部署,例如上网行为管理设备、防火墙设备等,这些网关设备的规模通常都比较大且大都部署在这些组织的网络出口上。现有技术中,如此大规模的网关设备通常被广泛应用在组织的上网行为审计、流量控制、服务器和内网防护等方面。
目前而言,这些大量的网关设备也仅仅只是用在了组织自己身上,也即在这些网关上收集的信息数据通常都是供应给组织自己进行数据分析与价值挖掘,也就是说,企业、政府等各组织之间并没有将组织自身的内部数据共享给其他组织,从而使得各组织都不能利用其他组织的内部相关数据来进行自身组织的运作及决策管理,比如组织之间的工作效率比对、网络安全性比对等。
发明内容
本发明的主要目的在于提供一种数据挖掘***及其实现方法,旨在解决现有技术中各组织都不能利用其他组织的内部相关数据来进行自身组织的运作及决策管理的技术问题。
为实现上述目的,本发明提供一种数据挖掘***,所述数据挖掘***包括:云平台与若干客户端,其中,各客户端之间分别独立与云平台进行数据交互;
所述客户端,用于当所述客户端所在网络参与数据共享时,收集所述客户端所在网络中与预置共享策略相对应的共享数据,并将所述共享策略中的相关策略信息以及收集的所述共享数据上报所述云平台;
所述云平台,用于接收网络上各客户端上传的所述相关策略信息以及所述共享数据,并对所述共享数据进行汇总分析处理,得到若干种类型的挖掘数据,并根据所述相关策略信息,将对应类型的挖掘数据推送给对应客户端,其中,所述挖掘数据的类型至少包括:同行业关注的数据分析结果、热点安全类数据结果;
所述客户端还用于:接收所述云平台所推送的所述挖掘数据。
优选地,所述客户端包括网关设备,所述客户端所在网络至少由该网关设备以及与该网关设备连接的若干网络设备组成,其中,所述网关设备的类型至少包括硬件网关设备、虚拟化的网关设备、进行端点保护的安全类软件或设备。
优选地,所述数据挖掘***还包括:
维护端,用于对所述云平台进行维护与监控,所述维护至少包括更新所述云平台上的相关程序。
优选地,所述客户端还用于:配置所述客户端所在网络中数据的共享策略;所述相关策略信息至少包括:所述客户端所在网络所需求的挖掘数据的类型、所述挖掘数据的接收方式。
优选地,所述云平台在可信任的公有云上进行搭建,且所述云平台通过程序完成对所述共享数据的汇总分析处理,并在处理过程中对处理的所有数据进行加密,且所述云平台所推送的所述挖掘数据中不包含数据的提供方信息。
进一步地,为实现上述目的,本发明还提供一种数据挖掘***的实现方法,所述数据挖掘***的实现方法包括:
当客户端所在网络参与数据共享时,所述客户端收集所述客户端所在网络中与预置共享策略相对应的共享数据,并将所述共享策略中的相关策略信息以及收集的所述共享数据上报云平台;
所述云平台接收网络上各客户端上传的所述相关策略信息以及所述共享数据,并对所述共享数据进行汇总分析处理,得到若干种类型的挖掘数据,并根据所述相关策略信息,将对应类型的挖掘数据推送给对应客户端,其中,所述挖掘数据的类型至少包括:同行业关注的数据分析结果、热点安全类数据结果;
所述客户端接收所述云平台所推送的所述挖掘数据。
优选地,所述客户端包括网关设备,所述客户端所在网络至少由该网关设备以及与该网关设备连接的若干网络设备组成,其中,所述网关设备的类型至少包括硬件网关设备、虚拟化的网关设备、进行端点保护的安全类软件或设备。
优选地,所述数据挖掘***的实现方法还包括:
维护端对所述云平台进行维护与监控,所述维护至少包括更新所述云平台上的相关程序。
优选地,所述客户端收集所述客户端所在网络中的共享数据之前,所述数据挖掘***的实现方法还包括:所述客户端配置所述客户端所在网络中数据的共享策略;所述相关策略信息至少包括:所述客户端所在网络所需求的挖掘数据的类型、所述挖掘数据的接收方式。
优选地,所述云平台在可信任的公有云上进行搭建,且所述云平台通过程序完成对所述共享数据的汇总分析处理,并在处理过程中对处理的所有数据进行加密,且所述云平台所推送的所述挖掘数据中不包含数据的提供方信息。
本发明中,各组织通过各自的客户端完成组织网络中数据的共享策略的配置,并通过客户端收集组织网络中的共享数据以及将该共享数据上传至第三方云平台进行汇总分析处理,进而通过该云平台,得到从各组织提供的共享数据中所挖掘到的挖掘数据,并将挖掘数据推送给各参与数据共享的组织,进而可以实现不同组织间网络数据的共享,从而使得各组织都能够利用其他组织所提供的共享数据,进行组织的运作及决策管理。
附图说明
图1为本发明数据挖掘***第一实施例的功能模块示意图;
图2为本发明数据挖掘***第二实施例的功能模块示意图;
图3为本发明数据挖掘***一实施例的连接架构示意图;
图4为本发明数据挖掘***的实现方法一实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
参照图1,图1为本发明数据挖掘***第一实施例的功能模块示意图。本实施例汇总,所述数据挖掘***包括:若干客户端10与云平台20,其中,各客户端10之间分别独立与云平台20进行数据交互,各客户端10与云平台20之间的连接方式不限,具体根据实际需要进行设置,比如采用有线连接,或者也可以采用无线连接。
本实施例中,对于客户端的类型不限,比如网关设备,如上网行为管理设备、防火墙设备等,或者软件网关平台,或者能进行信息收集的网络设备,或者进行端点保护的安全软件等。可选的,客户端10包括网关设备,同时,客户端10所在网络至少由该网关设备以及与该网关设备连接的若干网络设备组成。
本实施例中,组织用户通过在客户端10配置客户端10所在网络中数据的共享策略,比如在网关设备的控制界面上为组织用户提供共享策略的配置选项,比如提供客户端10所在网络是否参与数据共享的配置选项,如果参与,则进一步提供数据共享的其他相关策略的配置,比如配置收集网络中的何种数据进行数据共享,如进行工作效率对比的相关数据的共享、进行游戏市场对比的相关数据的共享、进行收到僵尸网络攻击对比的相关数据的共享、学生兴趣动向的相关数据的共享等。
此外,本实施例中还可以进一步对接收到的由云平台下发的挖掘数据进行相关策略的配置,比如配置客户端所在网络所需求的挖掘数据的类型、挖掘数据的接收方式等,进而使得云平台20能够根据上述配置的相关策略,将对应的挖掘数据推送给相应的客户端10,比如将A类型的挖掘数据推送给参与数据共享的A客户端,而将B类型的挖掘数据推送给参与数据共享的B客户端等。
本实施例中,当组织用户在客户端10选择了客户端10所在网络参与数据共享的配置策略选项时,客户端10将收集客户端10所在网络中与共享策略相对应的共享数据,并将共享策略中的相关策略信息以及收集的共享数据上报云平台20。例如,组织用户配置的共享策略为收集进行工作效率对比的相关数据,则客户端10将收集组织网络中的进行工作效率对比的相关数据。
此外,为保证云平台20能够根据组织用户的配置策略推送挖掘数据,因此,客户端10在将收集的共享数据上传给云平台20的同时,还将配置的相关策略信息一同上传给云平台20。
本实施例中,云平台20接收网络上各客户端10上传的相关策略信息以及共享数据,并对共享数据进行汇总分析处理,得到若干种类型的挖掘数据,并根据相关策略信息,将对应类型的挖掘数据推送给对应客户端10。其中,本实施例中,云平台20对于接收到的共享数据的汇总分析处理方式不限。此外,本实施例中,云平台20既可以按照固定时间推送挖掘数据,也可以按照设定的特定时间再推送挖掘数据,其中,云平台20仅将挖掘数据推送给参与数据共享的对应客户端10。
可选的,相关策略信息至少包括:客户端10所在网络所需求的挖掘数据的类型、挖掘数据的接收方式。
此外,客户端10还将接收云平台所推送的挖掘数据,进而能够根据挖掘数据(也即由其他组织网络所提供的共享数据),进行组织的运作及决策管理。例如,以受到僵尸网络攻击对比这一共享数据为例,本数据挖掘***能达到的效果如下:一个组织对应网络通过客户端10加入信息分享分析机制后,云平台20就会定时推送相关组织(比如相同行业的组织)的对应网络受到的平均僵尸网络攻击数以及本类型攻击在各个维度上的分布情况,然后组织可以根据接收到的挖掘数据,判断出自己组织在这方面处于何种水平,并进一步判断是否需要做进一步的防护处理。另外,挖掘数据中还可以包含通用性的一些安全分析数据,从而自己组织通过这些安全分析数据,进行汇总、对比、决策等组织管理工作。
本实施例中,各组织通过各自的客户端完成组织网络中数据的共享策略的配置,并通过客户端收集组织网络中的共享数据以及将该共享数据上传至第三方云平台进行汇总分析处理,进而通过该云平台,得到从各组织提供的共享数据中所挖掘到的挖掘数据,并将挖掘数据推送给各参与数据共享的组织,进而可以实现不同组织间网络数据的共享,从而使得各组织都能够利用其他组织所提供的共享数据,进行组织的运作及决策管理。
参照图2,图2为本发明数据挖掘***第二实施例的功能模块示意图,其特征在于,数据挖掘***还包括:
维护端30,用于对云平台20进行维护与监控,所述维护至少包括更新云平台20上的相关程序,本实施例中对于维护端30的类型及设置方式不限,如图3所示数据挖掘***的架构示意图。
例如,在云平台20上安装有“共享数据的自动分析与推送***”程序,该***程序可由客户端10所对应的设备厂家进行开发与维护,该***程序的主要作用是对各个客户端10所上报的共享数据进行汇总分析处理,然后形成客户端10所在组织所需要的挖掘数据并推送给客户端10。而维护端30则用于对云平台20进行维护与监控,主要包括更新云平台20上的相关程序,比如“共享数据的自动分析与推送***”程序。此外,还对云平台20的整个运行过程进行安全监控。
进一步可选的,在本发明数据挖掘***一实施例中,为避免各组织通过客户端10上传的共享数据被云平台20管理方以及其他组织获取到,因此,本实施例中,具体通过以下三个方面的措施加以解决:
(1)在可信任的公有云上进行云平台20的搭建,比如由传统电信基础设施运营商,包括***、***和中国电信所提供的公有云;或者由政府主导下的地方云计算平台;或者包括阿里云、腾讯云等。
(2)云平台20通过程序完成对共享数据的汇总分析处理,进而避免人为因素而导致数据泄露,同时,在处理过程中对处理的所有数据进行加密,从而即使数据泄露,也无法轻易解密,从而保证数据安全性;此外,还需进一步说明的是,对于云平台的维护人员也需要采用相关的数据安全保密机制,进而将维护人员所能接触到的数据以及不能接触到的数据分别进行相应的安全处理,具体处理方式不做过多赘述。
(3)云平台20所推送的挖掘数据中不包含数据的提供方信息,进而即使其他组织获取到相关数据,也使得其他组织无法确定该数据的提供方,从而进一步减少数据泄露后对参与数据共享的组织不良影响。
此外,基于数据安全性考虑,从各客户端10上传的共享数据可以在各对应组织的网络数据管理设备上显示,从而使得共享数据提供方能够直接清楚了解所共享的数据,完成对数据共享的监管。
参照图4,图4为本发明数据挖掘***的实现方法一实施例的流程示意图。本实施例中,数据挖掘***的实现方法包括:
步骤S10,当客户端所在网络参与数据共享时,客户端收集客户端所在网络中与预置共享策略相对应的共享数据,并将共享策略中的相关策略信息以及收集的共享数据上报云平台;
当共享策略预先配置为客户端所在网络参与数据共享时,客户端收集客户端所在网络中与共享策略相对应的共享数据,比如进行工作效率对比的相关数据的共享、进行游戏市场对比的相关数据的共享、进行收到僵尸网络攻击对比的相关数据的共享等。
本实施例中,当组织用户在客户端选择了客户端所在网络参与数据共享的配置策略选项时,客户端将收集客户端所在网络中与共享策略相对应的共享数据,并将共享策略中的相关策略信息以及收集的共享数据上报云平台20。例如,组织用户配置的共享策略为收集进行工作效率对比的相关数据,则客户端将收集组织网络中的进行工作效率对比的相关数据。
此外,为保证云平台能够根据组织用户的配置策略推送挖掘数据,因此,客户端在将收集的共享数据上传给云平台的同时,还将配置的相关策略信息一同上传给云平台。
步骤S20,云平台接收各客户端上传的相关策略信息以及共享数据,并对共享数据进行汇总分析处理,得到若干种类型的挖掘数据,并根据相关策略信息,将对应类型的挖掘数据推送给对应客户端;
步骤S30,客户端接收云平台所推送的挖掘数据。
本实施例中,云平台接收各客户端上传的相关策略信息以及共享数据,并对共享数据进行汇总分析处理,得到若干种类型的挖掘数据,并根据相关策略信息,将对应类型的挖掘数据推送给对应客户端。其中,本实施例中,云平台对于接收到的共享数据的汇总分析处理方式不限,比如挖掘同行业关注的数据类型、热点安全类数据类型等。此外,本实施例中,云平台既可以按照固定时间推送挖掘数据,也可以按照设定的特定时间再推送挖掘数据,其中,云平台仅将挖掘数据推送给参与数据共享的对应客户端。
可选的,相关策略信息至少包括:客户端所在网络所需求的挖掘数据的类型、挖掘数据的接收方式。
此外,客户端还将接收云平台所推送的挖掘数据,进而能够根据挖掘数据(也即由其他组织网络所提供的共享数据),进行组织的运作及决策管理。例如,以受到僵尸网络攻击对比这一共享数据为例,本数据挖掘***能达到的效果如下:一个组织对应网络通过客户端加入信息分享分析机制后,云平台就会定时推送相关组织(比如相同行业的组织)的对应网络受到的平均僵尸网络攻击数以及本类型攻击在各个维度上的分布情况,然后组织可以根据接收到的挖掘数据,判断出自己组织在这方面处于何种水平,并进一步判断是否需要做进一步的防护处理。另外,挖掘数据中还可以包含通用性的一些安全分析数据,从而自己组织通过这些安全分析数据,进行汇总、对比、决策等组织管理工作。
本实施例中,各组织通过各自的客户端完成组织网络中数据的共享策略的配置,并通过客户端收集组织网络中的共享数据以及将该共享数据上传至第三方云平台进行汇总分析处理,进而通过该云平台,得到从各组织提供的共享数据中所挖掘到的挖掘数据,并将挖掘数据推送给各参与数据共享的组织,进而可以实现不同组织间网络数据的共享,从而使得各组织都能够利用其他组织所提供的共享数据,进行组织的运作及决策管理。
可选的,在本发明数据挖掘***的实现方法另一实施例,客户端收集该客户端所在网络中的共享数据之前,数据挖掘***的实现方法还包括:客户端配置该客户端所在网络中数据的共享策略。
本实施例中,对于客户端的类型不限,比如网关设备,如上网行为管理设备、防火墙设备等,或者软件网关平台,或者能进行信息收集的网络设备等。可选的,客户端包括网关设备,同时,客户端所在网络至少由该网关设备以及与该网关设备连接的若干网络设备组成。
本实施例中,组织用户通过在客户端配置客户端所在网络中数据的共享策略,比如在网关设备的控制界面上为组织用户提供共享策略的配置选项,共享策略的配置选项内容不限。比如提供客户端所在网络是否参与数据共享的配置选项,如果参与,则进一步提供数据共享的其他相关策略的配置。
此外,本实施例中还可以进一步对接收到的由云平台下发的挖掘数据进行相关策略的配置,比如配置客户端所在网络所需求的挖掘数据的类型、挖掘数据的接收方式等,进而使得云平台能够根据上述配置的相关策略,将对应的挖掘数据推送给相应的客户端,比如将A类型的挖掘数据推送给参与数据共享的A客户端,而将B类型的挖掘数据推送给参与数据共享的B客户端等。
进一步可选的,在本发明数据挖掘***的实现方法一实施例中,数据挖掘***的实现方法还包括:
维护端对云平台进行维护与监控,其中,所述维护至少包括更新云平台上的相关程序。
例如,在云平台上安装有“共享数据的自动分析与推送***”程序,该***程序可由客户端所对应的设备厂家进行开发与维护,该***程序的主要作用是对各个客户端所上报的共享数据进行汇总分析处理,然后形成客户端所在组织所需要的挖掘数据并推送给客户端。而维护端则用于对云平台进行维护与监控,主要包括更新云平台上的相关程序,比如“共享数据的自动分析与推送***”程序。此外,还对云平台的整个运行过程进行安全监控。
进一步可选的,在本发明数据挖掘***的实现方法一实施例中,为避免各组织通过客户端上传的共享数据被云平台管理方以及其他组织获取到,因此,本实施例中,具体通过以下三个方面的措施加以解决:
(1)在可信任的公有云上进行云平台的搭建,比如由传统电信基础设施运营商,包括***、***和中国电信所提供的公有云;或者由政府主导下的地方云计算平台等。
(2)云平台通过程序完成对共享数据的汇总分析处理,进而避免人为因素而导致数据泄露,同时,在处理过程中对处理的所有数据进行加密,从而即使数据泄露,也无法轻易解密,从而保证数据安全性;
(3)云平台所推送的挖掘数据中不包含数据的提供方信息,进而即使其他组织获取到相关数据,也使得其他组织无法确定该数据的提供方,从而进一步减少数据泄露后对参与数据共享的组织不良影响。
此外,基于数据安全性考虑,从各客户端上传的共享数据可以在各对应组织的网络数据管理设备上显示,从而使得共享数据提供方能够直接清楚了解所共享的数据,完成对数据共享的监管。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。