CN117978545B - 基于大模型的网络安全风险评估方法、***、设备及介质 - Google Patents

基于大模型的网络安全风险评估方法、***、设备及介质 Download PDF

Info

Publication number
CN117978545B
CN117978545B CN202410370343.0A CN202410370343A CN117978545B CN 117978545 B CN117978545 B CN 117978545B CN 202410370343 A CN202410370343 A CN 202410370343A CN 117978545 B CN117978545 B CN 117978545B
Authority
CN
China
Prior art keywords
risk assessment
network security
security risk
model
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410370343.0A
Other languages
English (en)
Other versions
CN117978545A (zh
Inventor
胡维
左兴龙
梁露露
杨君正
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yuanbao Technology Co ltd
Original Assignee
Beijing Yuanbao Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yuanbao Technology Co ltd filed Critical Beijing Yuanbao Technology Co ltd
Priority to CN202410370343.0A priority Critical patent/CN117978545B/zh
Publication of CN117978545A publication Critical patent/CN117978545A/zh
Application granted granted Critical
Publication of CN117978545B publication Critical patent/CN117978545B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供一种基于大模型的网络安全风险评估方法、***、设备及介质,涉及网络安全技术领域,方法包括:采集网络安全风险评估原始数据,获得基础网络安全数据集;对数据集设置数据标签,获得风险评估数据标签库;进行网络安全风险评估要素特征工程分析,获得风险评估特征数据集;确定风险及风险结果之间的函数关系,构建网络安全风险评估大模型并进行监督训练、验证分析以及模型优化;对实际网络***进行网络安全风险评估,得到网络安全风险评估结果;建立评估结果与防护策略联动机制,持续进行网络安全风险评估和策略联动,优化网络安全风险评估结果。本发明实现了风险评估的自动化、实时化和准确化,保证整体网络环境的安全风险状态。

Description

基于大模型的网络安全风险评估方法、***、设备及介质
技术领域
本发明涉及网络安全技术领域,具体涉及一种基于大模型的网络安全风险评估方法、***、设备及介质。
背景技术
随着计算机技术的迅速发展,信息网络成为企业和社会发展的重要环节。网络安全是保证网络***资产、通信、数据受到保护,不因偶然因素或是恶意攻击而造成破坏、更改、泄露,使网络***连续可靠运行,网络服务不中断。
同时攻击技术的更新和升级,网络安全攻击事件日益增多,传统的网络安全防护体系由网络防火墙、身份认证、入侵检测等方式构成,但在实际网络环境中,攻击者能绕过防护造成对网络***的恶意攻击。针对网络***需要建立完善齐全、实时可靠的网络安全事件评估,以增强对网络安全事件监控的评估工作,同时需要在风险评估之后进行风险处置以保证网络安全。然而目前网络安全风险评估工作基本依据相关标准和理论管理办法进行网络安全的风险评估工作,存在参数不集中、结果不准确等问题。
现有基于自动化的网络安全风险评估方法,是通过直接获取目标网络***的资产信息、漏洞信息、威胁信息等构建攻击模型树,通过自动分类、匹配、排序、计算,自动计算对应威胁场景中的网络安全风险值。通过前期的人工标签或智能分类结合攻击树模型建立自动化的网络安全风险评估。
该方法基于对资产、漏洞、威胁等安全要素进行标签和提取,构建安全要素及攻击树模型,该方法具有如下缺点:(1)尚未全面考虑网络安全风险评估中的全要素特征,忽略了实际网络***中的资产、业务、结果等作用要素、未考虑全球网络安全风险态势,综合建立全要素、动态更新的风险评估关联分析机制;(2)尚未建立反馈学习机制和实际网络***中风险评估的动态优化,未考虑模型构建和训练过程中参数的自学习和优化;(3)针对网络安全风险评估结果不能进行防护策略的联动响应。
综上,现有基于自动化的网络安全风险评估方法前期仍然需要人工投入对网络安全评估数据进行处理,包括标签、提取、分类、排序等多个环节,且不能进行网络安全风险评估和安全防护策略的协同,只评估不响应难以实现网络安全风险的优化管理。
发明内容
有鉴于此,本申请实施例提供一种基于大模型的网络安全风险评估方法、***、设备及介质,通过大量的网络安全数据积累,构建网络安全风险评估大模型实现风险评估的自动化、实时化和准确化;同时联动安全防护策略进行风险评估和安全防护策略的协同响应,保证整体网络环境的安全风险状态。
本申请实施例提供以下技术方案:一种基于大模型的网络安全风险评估方法,包括:
采集网络安全风险评估原始数据,获得基础网络安全数据集;
基于风险评估需求,对所述基础网络安全数据集设置数据标签,获得网络安全风险评估数据标签库;
根据所述基础网络安全数据集和所述网络安全风险评估数据标签库,进行网络安全风险评估要素特征工程分析,建立网络安全风险评估多维度的特征因子和特征集,获得网络安全风险评估特征数据集;
在所述网络安全风险评估特征数据集中抽取风险场景的特征因子,构建基于风险场景的数据模型,确定风险及风险结果之间的函数关系;
根据所述风险及风险结果之间的函数关系,基于所述基础网络安全数据集、所述网络安全风险评估数据标签库以及所述网络安全风险评估特征数据集,构建网络安全风险评估大模型;
对所述网络安全风险评估大模型进行监督训练、验证分析以及模型优化;
基于构建的所述网络安全风险评估大模型对实际网络***进行网络安全风险评估,得到网络安全风险评估结果;
建立所述网络安全风险评估结果与安全防护策略的联动机制,根据所述网络安全风险评估结果生成安全防护策略,持续进行网络安全风险评估和策略联动,优化所述网络安全风险评估结果。
根据本申请一种实施例,采集网络安全风险评估原始数据,获得基础网络安全数据集,包括:
采集网络安全风险评估原始数据,对所述原始数据进行预处理,获得所述基础网络安全数据集;其中,所述预处理包括:对所述原始数据中的多源异构数据进行清洗、转换和标准化,以将所述多源异构数据高效融合。
根据本申请一种实施例,根据所述基础网络安全数据集和所述网络安全风险评估数据标签库,进行网络安全风险评估要素特征工程分析,包括:
根据所述基础网络安全数据集和所述网络安全风险评估数据标签库,进行网络安全风险评估要素的特征选择、特征提取、特征转换以及特征降维,提取出包括源网络IP、目标网络IP、协议类型、网络端口的多种网络安全风险评估特征信息。
根据本申请一种实施例,在所述网络安全风险评估特征数据集中抽取风险场景的特征因子,构建基于风险场景的数据模型,包括:
在所述网络安全风险评估特征数据集中抽取风险场景的特征因子,确定风险评估特征因子和风险结果特征因子之间的隶属关系、关联度指标、权重系数、安全作用因子以及优化系数,构建基于风险场景的数据模型。
根据本申请一种实施例,构建基于风险场景的数据模型,还包括:
根据所述基于风险场景的数据模型,计算网络安全风险评估安全指标,作为所述风险结果特征因子,所述网络安全风险评估安全指标包括安全性指标和可靠性指标;
建立网络安全风险评估安全指标数据集,将所述网络安全风险评估安全指标数据集作为网络安全风险评估结果的中间层,对所述网络安全风险评估特征数据集进行降维处理,以对所述基于风险场景的数据模型进行优化。
根据本申请一种实施例,构建网络安全风险评估大模型,包括:
采用Transform架构的神经模型,构建基于风险场景的风险评估层级大模型,将所述基础网络安全数据集中的所有数据进行聚类分析,获得所述网络安全风险评估大模型。
根据本申请一种实施例,对所述网络安全风险评估大模型进行监督训练、验证分析以及模型优化,包括:
根据所述基础网络安全数据集和所述网络安全风险评估数据标签库,确定训练数据集和验证数据集,通过所述训练数据集和所述验证数据集对所述网络安全风险评估大模型分别进行监督训练和验证分析;
对所述网络安全风险评估大模型进行超参数调优、参数优化和结构优化。
根据本申请一种实施例,对所述网络安全风险评估大模型进行超参数调优、参数优化和结构优化,包括:
采用网格搜索和贝叶斯网络结合方法进行模型超参数自优化,生成网络安全风险评估的超参数组合,对每个超参数组合进行响应子模型的训练和验证,通过建立网络安全风险评估超参数子模型验证评价指标,形成网络安全风险评估大模型的最优超参数组合,完成大模型超参数调优;
采用低秩自适应算法构建参数自优化模型,通过迭代计算确定网络安全风险评估的最优参数,完成大模型参数优化;
通过对所述网络安全风险评估大模型进行权重剪枝和知识蒸馏,优化模型的参数数量,完成大模型结构优化。
根据本申请一种实施例,对所述网络安全风险评估大模型进行监督训练、验证分析以及模型优化后,还包括:
采用全量网络安全风险评估数据进行模型分布式训练,建立不同数据维度和原始数据之间的训练模型;
联合所述训练模型和所述监督训练的模型训练结果,对所述网络安全风险评估大模型进行联合训练;
采用混合矩阵、ROC曲线建立模型评价指标,确定模型参数和模型层级,重新获得网络安全风险评估大模型。
根据本申请一种实施例,对所述网络安全风险评估大模型进行监督训练、验证分析以及模型优化,还包括:
建立断点恢复训练机制,定期保存当前模型的状态,通过所述网络安全风险评估大模型在训练循环中设备检查点的回调函数,在下一个相同风险场景进入模型时,基于所述检查点继续训练;其中,所述检查点包括模型权重、优化因子以及训练的轮数信息。
本申请还提供一种基于大模型的网络安全风险评估***,包括:
数据采集模块,用于采集网络安全风险评估原始数据,获得基础网络安全数据集;
数据标签设置模块,用于基于风险评估需求,对所述基础网络安全数据集设置数据标签,获得网络安全风险评估数据标签库;
数据特征工程分析模块,用于根据所述基础网络安全数据集和所述网络安全风险评估数据标签库,进行网络安全风险评估要素特征工程分析,建立网络安全风险评估多维度的特征因子和特征集,获得网络安全风险评估特征数据集;
网络安全风险评估大模型构建模块,用于在所述网络安全风险评估特征数据集中抽取风险场景的特征因子,构建基于风险场景的数据模型,确定风险及风险结果之间的函数关系;
所述网络安全风险评估大模型构建模块还用于,根据所述风险及风险结果之间的函数关系,基于所述基础网络安全数据集、所述网络安全风险评估数据标签库以及所述网络安全风险评估特征数据集,构建网络安全风险评估大模型;
模型训练及优化模块,用于对所述网络安全风险评估大模型进行监督训练、验证分析以及模型优化;
网络风险评估模块,用于基于构建的所述网络安全风险评估大模型对实际网络***进行网络安全风险评估,得到网络安全风险评估结果;
风险评估及策略联动模块,用于建立所述网络安全风险评估结果与安全防护策略的联动机制,根据所述网络安全风险评估结果生成安全防护策略,持续进行网络安全风险评估和策略联动,优化所述网络安全风险评估结果。
本申请还提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述的基于大模型的网络安全风险评估方法。
本申请还提供一种计算机可读存储介质,所述计算机可读存储介质存储有执行上述的基于大模型的网络安全风险评估方法的计算机程序。
与现有技术相比,本说明书实施例采用的上述至少一个技术方案能够达到的有益效果至少包括:本发明实施例通过对网络安全数据建立数据标签,再通过特征工程建立网络安全风险评估的特征因子和特征集,保证网络安全风险评估的逻辑和模型建立前期输入的准确性。并且,通过大量网络安全数据集成进行特征工程和网络安全大模型的建立,并采用监督学习的方法引入反馈机制优化模型参数确保网络安全风险评估大模型的准确性和完整性;在此基础上,进行网络安全风险的自动评估和网络安全防护策略的联动处理,采用生成式的技术进行网络安全防护策略的联动,无需人工投入数据分析和数据建模,提高了网络安全风险评估结果的准确性以及风险评估和策略联动的实时性,完善从风险评估到策略处置的全流程网络安全体系,全面改善当前防护体系下的网络安全状态。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1是本发明实施例的基于大模型的网络安全风险评估方法流程示意图;
图2是本发明第一实施例的基于大模型的网络安全风险评估***结构示意图;
图3是本发明第二实施例的基于大模型的网络安全风险评估***结构示意图;
图4是本发明第三实施例的数据特征工程分析模块结构示意图;
图5是本发明计算机设备的结构示意图。
具体实施方式
下面结合附图对本申请实施例进行详细描述。
以下通过特定的具体实例说明本申请的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。本申请还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本申请的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本发明实施例中的部分术语解释如下:
网络安全风险评估,采用特定专业技术和方法,对网络中的资产价值、潜在威胁、薄弱环节、已采取的防护措施等进行智能分析,判断网络安全事件发生的概率以及可能造成的损失,提出网络安全风险管理措施的过程。
特征工程,是一种大规模语义级网络,通过海量的网络安全数据进行数据建构,建立从数据到知识的知识要素(包括实体、概念和关系)映射的过程。
大模型,是参数规模非常庞大的机器学习模型,通过神经网络等技术架构,应用于网络安全风险评估的复杂场景中,具备准确率高、效率高的特点实现网络安全的高效准确评估。
如图1所示,本发明实施例提供了一种基于大模型的网络安全风险评估方法,包括:
S101.采集网络安全风险评估原始数据,获得基础网络安全数据集;
S102.基于风险评估需求,对所述基础网络安全数据集设置数据标签,获得网络安全风险评估数据标签库;
S103.根据所述基础网络安全数据集和所述网络安全风险评估数据标签库,进行网络安全风险评估要素特征工程分析,建立网络安全风险评估多维度的特征因子和特征集,获得网络安全风险评估特征数据集;
S104.在所述网络安全风险评估特征数据集中抽取风险场景的特征因子,构建基于风险场景的数据模型,确定风险及风险结果之间的函数关系;
S105.根据所述风险及风险结果之间的函数关系,基于所述基础网络安全数据集、所述网络安全风险评估数据标签库以及所述网络安全风险评估特征数据集,构建网络安全风险评估大模型;
S106.对所述网络安全风险评估大模型进行监督训练、验证分析以及模型优化;
S107.基于构建的所述网络安全风险评估大模型对实际网络***进行网络安全风险评估,得到网络安全风险评估结果;
S108.建立所述网络安全风险评估结果与安全防护策略的联动机制,根据所述网络安全风险评估结果生成安全防护策略,持续进行网络安全风险评估和策略联动,优化所述网络安全风险评估结果。
本发明实施例是一种基于特征工程和大模型技术的网络安全风险评估方法,包括采集网络安全原始数据获取基础网络安全数据集;构建网络安全要素特征工程,建立网络安全风险评估知识库;构建网络安全风险评估大模型,采用网络安全历史数据集进行训练;基于多源异构网络安全数据和风险评估进分布训练和联合训练并不断优化模型准确性;基于构建的网络安全风险评估大模型对实际网络***进行网络安全风险评估,构建基于实际网络状况的风险评估模型,保证网络安全风险评估的准确性、实时性。进而通过风险评估的结果进行有效的安全安全防护措施的自动编排应用,提高网络***的防护能力。
本发明实施例在具体实施时,上述S101中,采集网络安全风险评估原始数据,获得基础网络安全数据集。采集网络安全风险评估原始数据,此数据为用于模型训练和评估的数据来源。网络安全是使网络***软硬件及其中间件、数据受到保护,减少因环境因素或攻击造成***的中断、破坏、更改、泄露。现有的网络安全防护包括防火墙、审计、身份认证、IDS、IPS、网闸等专业方式构成,防护方式常态化。但在恶意攻击频发、攻击手段不断升级的当下网络安全防护正对象不足,网络安全风险存在且难以识别。因此网络安全风险评估需要从这些传统网络安全防护体系中采集原始数据,获取历史过程中的网络安全风险评估数据集以及历史的评估结果。同时采集的数据还包括企业维度的人员、管理机制、安全措施、企业信息等数据集,以及广泛维度的威胁情报数据集等。
具体地,上述原始数据包括:采集网络安全数据以及全球的动态网络安全态势,通过多途径、采用多协议、从多种设备采集到各种网络安全数据,涉及风险评估过程中各个要素所需的数据信息,包括企业内和企业外的网络安全数据。企业内部的网络安全要素数据有资产、业务、脆弱性、威胁(攻击)等多个风险评估要素维度,网络架构、协议、流量、服务器、终端、操作***、应用***、数据库、人员、管理机制、安全措施、企业信息等多维的企业内部数据;企业外部的网络安全数据包括全球网络安全态势,攻击数据动态汇总数据,漏洞统计数据、威胁情报数据等涉及网络安全的全球性动态数据。
通过上述数据搜集获取网络安全风险评估全要素的数据源,保证风险评估大模型建立的完整数据支撑。其中,通过对采集的网络安全风险评估数据集的涵盖维度进行初步评估,因覆盖到业务、资产、攻击、脆弱性、攻击结果等多个涉及风险评估的数据维度。在数据维度不全时,应近可能完善数据维度,便于模型训练的准确性。
在一种实施例中,由于上述采集的数据来源不同、格式不同、属性不同、数据帧不同,因此需要构建数据预处理子模型,对采集的原始数据进行数据预处理,将多源异构数据进行高效融合,得到强关联性的风险评估数据信息。
具体实施时,对采集的多源异构数据进行清洗、转换和标准化,将不同途径、不同来源、不同格式的安全数据进行格式转换、垃圾过滤、数据去重、格式清洗等操作去除“脏”数据,将多源异构数据进行高效融合,这其中包括数据筛选、数据转换、数据归并、数据补全环节,通过将原始的网络安全数据进行统一的数据处理。通过上述方法预处理提高数据质量。
步骤S102中,基于风险评估需求,对所述基础网络安全数据集设置数据标签,获得网络安全风险评估数据标签库。
具体实施时,对上述预处理过程后的数据进行数据标签,建立数据标签子模型。网络安全风险评估数据标签基于风险评估需求进行设置,具体可包括数据可信度、重要程度、数据来源、区域、行业等。数据标签丰富数据的内容,根据已有的数据知识做初步的判断,并和原始数据形成绑定。通过数据标签后形成网络安全风险评估数据标签库。
步骤S103中,建立网络安全风险评估要素特征工程分析,最大限度提取风险评估的要素信息以供算法和模型使用。其中包括网络安全风险评估要素特征选择、特征提取、特征变换、特征降维等多种特征工程模型,提取出如源网络IP、目标网络IP、协议类型、端口等多种网络安全风险评估的关键、全面的特征信息,构建网络安全风险评估特征数据集。
具体实施时,建立特征工程子模型。特征工程主要基于上述数据标签库,进一步建立网络安全风险评估特征提取子模块、特征转换子模块以及特征降维子模块获取网络安全风险评估的特征数据集,降低风险评估大模型构的复杂性。
其中,网络安全风险评估特征提取子模块基于预处理和数据标签后的数据库进行风险评估维度的评价,构建风险评估过程中的特征因子和特征集,这些特征因子包括基于攻击的特征因子,如TCP/IP的头部信息、分片信息、HTTP的头部信息、内容信息等;基于网络流量层面的特征因子,如连接的基本属性,如连续时间、协议类型、传递的字节数、时间窗口、连接窗口等;基于脆弱性维度的特征因子;基于资产的特征因子;基于业务的特征因子等;基于风险结果的特征因子,如结果评级、结果影响因子;也包括安全性指标、可靠性指标、 时效性指标等涉及网络安全的关键性指标特征因子。基于上述因子构建多种风险评估维度的特征集。特征转换子模块通过对特征库以及特征因子进行正则化、归一化、离散化形成计算机所能识别和利用的特征数据集。特征降维子模块对特征数据集进行降维,对数据集中的信息进行主成分分析、线性判别分析,把冗余或交叉的特征信息进行压缩,减少特征的数量,形成高标准、高准确性的网络安全风险评估特征数据集。
上述步骤S104中,数据处理及网络安全风险评估的特征工程分析完成后,通过特征数据集中抽取风险场景的特征因子构建起基于风险场景的特征数据集。对该特征集合的数据进行风险评估特征因子和风险结果特征因子之间的数据建模。数据建模拟通过数据模型构建起风险以及风险结果之间的隶属关系,进行特征因子之间的关联度指标、权重系数、安全作用因子以及优化系数的数据建模等,在数据建模过程中应用决策树模型算法进行模型建构。
具体实施时,构建基于风险场景的数据模型,还包括:根据所述基于风险场景的数据模型,计算网络安全风险评估安全指标,作为所述风险结果特征因子,所述网络安全风险评估安全指标包括安全性指标和可靠性指标;建立网络安全风险评估安全指标数据集,将所述网络安全风险评估安全指标数据集作为网络安全风险评估结果的中间层,对所述网络安全风险评估特征数据集进行降维处理,以对所述基于风险场景的数据模型进行优化。
具体地,基于网络安全历史积累数据构建基于风险场景的网络安全风险评估模型,计算网络安全风险评估安全指标。建立网络安全风险评估安全指标数据集,包括安全性指标和可靠性指标两大类。安全性指标包括漏洞、协议安全、端口安全等,可靠性指标包括时延、指令下达、负载均衡等。网络安全风险评估安全指标数据集作为网络安全风险评估结果的中间层,通过安全指标对网络安全风险评估数据标签和网络安全风险评估特征数据集进行重新二次分配,建立特征与安全指标之间的关键图谱关系;通过网络安全历史数据信息和上述构建的网络安全风险特征因子对模型进行预训练,进行权重计算和权重优化,获取风险特征因子和安全指标关系的安全作用因子和优化系数。
其中,抽取的风险场景具有代表性且相对全面,包括入侵、恶意攻击、自然灾害、身份认证、数据泄露等多种场景的,获得比较全面的数据建模。
在进一步的实施例中,可对上述数据建模进行交叉验证,可引入专家、经验对所有的杉树建模进行分析,优化初步的数据建模中各因子准确性。
步骤S105中,采用Transform架构的神经模型构建评估大模型进行监督学习训练,构建其基于风险场景的风险评估层级大模型,聚合所有风险数据进行聚类分析。Transform的网络安全风险评估架构是风险评估大模型的技术底座。
步骤S106中,对所述网络安全风险评估大模型进行监督训练、验证分析以及模型优化,包括:根据所述基础网络安全数据集和所述网络安全风险评估数据标签库,确定训练数据集和验证数据集,通过所述训练数据集和所述验证数据集对所述网络安全风险评估大模型分别进行监督训练和验证分析,建立奖励模型和反馈模型,对基础网络安全风险评估大模型的评估准确性进行效果分析确定模型风险评估结果准确度以及学习率。
接下来,根据实际风险场景的风险评估结果和基础网络安全风险评估大模型评估结果的准确度以及学习度进行对比验证,确定模型优化。建立网络安全风险评估大模型的模型优化子模型,其包括超参数调优子模型、参数优化子模型和结构优化子模型,分别进行模型参数的优化训练。
具体地,所述超参数调优子模型,首先确定网络安全风险评估模型超参数的搜索范围和搜索方法,超参数搜索方法包括网格搜索,通过在每个超参数周围均匀选取若干值,遍历组合。采用网格搜索和贝叶斯网络结合方法进行模型超参数自优化,生成网络安全风险评估的超参数组合,对每个超参数组合进行响应子模型的训练和验证,通过建立包括准确率、召回率、精确率、F1分数以及AUC(Area Under Curve)等网络安全风险评估超参数子模型验证评价指标,形成网络安全风险评估大模型的最优超参数组合。
由于评估结果的准确性随着不同风险场景或是不同数据集合会出现波动,不足以适应所有风险场景评估指标的要求。因此,所述参数优化子模型,对模型进行全微调,采用低秩自适应方法进行参数优化,该方法在微调优化过程中在给定风险场景中仅适应部分参数,保持其余参数不变,然后建立不同层级之间的参数的权重矩阵,将其分解为低秩矩阵和残差矩阵模型,通过迭代计算适应网络安全风险评估的最优参数,提高网络安全风险评估结果的准确性和模型计算的收敛速度。
所述结构优化子模型,确定模型评估优化度,建立模型反馈学习机制,通过网络安全风险评估大模型权重剪枝和知识蒸馏,优化模型的参数数量、减少网络安全风险评估大模型的计算复杂度,提高其泛化能力,增强网络安全风险评估大模型计算结果准确性。
通过上述模型验证和优化,进一步满足网络安全风险评估结果的准确性和精确性。在一种实施例中,还包括采用全量网络安全风险评估数据进行模型分布式训练,建立不同数据维度和原始数据之间的训练模型;同时联合上述监督训练的模型训练结果进行联合训练,对网络安全风险评估大模型的学***台的联合训练,采用混合矩阵、ROC曲线建立模型评价指标,进而选取最为准确的模型参数和模型层级,获得全面准确得网络安全风险评估大模型。
在训练和优化过程中,由于风险场景的独立或是风险评估要素特征集的中断,为了避免风险评估学习结果不延续,在一种实施例中,还包括:建立断点恢复子模型,通过子模型的断点恢复训练机制,定期保存当前模型的状态,包括网络风险评估大模型的EPOCH(训练通过的一个时期)、模型权重、优化子模型状态等,通过所述网络安全风险评估大模型在训练循环中设备检查点的回调函数,在下一个相同风险场景进入模型时,基于所述检查点继续训练;其中,所述检查点包括模型权重、优化因子以及训练的轮数信息。该机制延续网络安全动态信息,可根据实际网络情况动态范围进行模型优化训练。
本实施例的断点恢复训练机制,在实际***中能够继续进行网络安全风险的准确评估,形成全周期性的网络安全风险评估结果,适用于全场景和更广泛的网络安全风险场景。
步骤S107中,将优化后的网络安全风险评估大模型部署于实际网络***中,进行真实网络***的模型训练。通过实时网络安全数据汇总集成输入上述风险评估大模型中,进行实时的风险评估结果计算,风险评估大模型将对实际网络情况进行动态统计分析。
步骤S108中,根据实际网络***中的攻击情况,大模型不断学习和优化参数,综合实际环境和历史数据进行汇总学习反馈,采用生成式技术构建基于网络安全风险评估结果的安全防护策略。联合实际目标网络***的业务功能分区进行不同层级的网络安全防护策略生成,网络安全风险评估大模型在实际网络***中心自学习和训练,根据实际网络***的安全态势和全球网络安全态势不断优化训练结果并输出对应网络***得多层级防护策略,保证网络安全以及基于时间的风险评估结果准确性,建立持续的优化调整风险评估机制。
本实施例通过风险评估结果联动实际网络***的安全策略,进行风险预判、联动风险响应处置策略,采用大模型生成式策略联动,自动编排策略输出破除风险,并及时优化实际网络环境中的网络安全状态。完成了网络***实时、准确的网络安全风险评估以及准确全面的网络安全防护策略的生成和多层级网络防护的应用,综合提高企业的网络安全等级。
如图2-图3所示,本申请还提供一种基于大模型的网络安全风险评估***200,包括:
数据采集模块201,用于采集网络安全风险评估原始数据,获得基础网络安全数据集;
数据标签设置模块202,用于基于风险评估需求,对所述基础网络安全数据集设置数据标签,获得网络安全风险评估数据标签库;
数据特征工程分析模块203,用于根据所述基础网络安全数据集和所述网络安全风险评估数据标签库,进行网络安全风险评估要素特征工程分析,建立网络安全风险评估多维度的特征因子和特征集,获得网络安全风险评估特征数据集;
网络安全风险评估大模型构建模块204,用于在所述网络安全风险评估特征数据集中抽取风险场景的特征因子,构建基于风险场景的数据模型,确定风险及风险结果之间的函数关系;
所述网络安全风险评估大模型构建模块还用于,根据所述风险及风险结果之间的函数关系,基于所述基础网络安全数据集、所述网络安全风险评估数据标签库以及所述网络安全风险评估特征数据集,构建网络安全风险评估大模型;
模型训练及优化模块205,用于对所述网络安全风险评估大模型进行监督训练、验证分析以及模型优化;
网络风险评估模块206,用于基于构建的所述网络安全风险评估大模型对实际网络***进行网络安全风险评估,得到网络安全风险评估结果;
风险评估及策略联动模块207,用于建立所述网络安全风险评估结果与安全防护策略的联动机制,根据所述网络安全风险评估结果生成安全防护策略,持续进行网络安全风险评估和策略联动,优化所述网络安全风险评估结果。
具体实施时,所述数据采集模块201中还包括预处理模块,所述预处理模块包括数据筛选子模块、数据转换子模块、数据归并子模块、数据补全子模块。所述数据筛选子模块用于对多源异构数据进行数据抽取,提取各类安全数据的数据五元组、字符特征、文件类型、协议特征等形成一定的数据格式进行数仓存储,使用关系型数据调用抽取相关数据信息;所述数据转换子模块,用于从原始表现形式转化为另一种表现形式,例如攻击文本数据进行转化提取五元组、协议特征、漏洞信息等便于后续进行统一的数据分析,为信息安全风险评估提供有效的数据形式,包括数据平滑,去掉数据噪声,属性构造,聚合,标准化,概念分层完善;所述数据归并子模块用于,原始数据进行同类项合并,如对同一事件的多次告警进行归并,对同一会话的日志进行归并等;所述数据补全子模块,用于提供更完整的数据信息,通过数据冗余的方式,减少关联查询的性能消耗。
具体实施时,所述数据特征工程分析模块203包括特征提取子模块、特征转换子模块、特征降维子模块,如图4所示。用于根据所述基础网络安全数据集和所述网络安全风险评估数据标签库,进行网络安全风险评估要素的特征选择、特征提取、特征转换以及特征降维,提取出包括源网络IP、目标网络IP、协议类型、网络端口的多种网络安全风险评估特征信息。
具体实施时,所述网络安全风险评估大模型构建模块204,在所述网络安全风险评估特征数据集中抽取风险场景的特征因子,确定风险评估特征因子和风险结果特征因子之间的隶属关系、关联度指标、权重系数、安全作用因子以及优化系数,构建基于风险场景的数据模型。采用Transform架构的神经模型,构建基于风险场景的风险评估层级大模型,将所述基础网络安全数据集中的所有数据进行聚类分析,获得所述网络安全风险评估大模型。
具体实施时,所述模型训练及优化模块205,根据所述基础网络安全数据集和所述网络安全风险评估数据标签库,确定训练数据集和验证数据集,通过所述训练数据集和所述验证数据集对所述网络安全风险评估大模型分别进行监督训练和验证分析;对所述网络安全风险评估大模型进行超参数调优、参数优化和结构优化。
具体地,采用网格搜索和贝叶斯网络结合方法进行模型超参数自优化,生成网络安全风险评估的超参数组合,对每个超参数组合进行响应子模型的训练和验证,通过建立网络安全风险评估超参数子模型验证评价指标,形成网络安全风险评估大模型的最优超参数组合,完成大模型超参数调优;采用低秩自适应算法构建参数自优化模型,通过迭代计算确定网络安全风险评估的最优参数,完成大模型参数优化;通过对所述网络安全风险评估大模型进行权重剪枝和知识蒸馏,优化模型的参数数量,完成大模型结构优化。
具体实施时,所述模型训练及优化模块205还用于,采用全量网络安全风险评估数据进行模型分布式训练,建立不同数据维度和原始数据之间的训练模型;联合所述训练模型和所述监督训练的模型训练结果,对所述网络安全风险评估大模型进行联合训练;采用混合矩阵、ROC曲线建立模型评价指标,确定模型参数和模型层级,重新获得网络安全风险评估大模型。
所述模型训练及优化模块205还用于,建立断点恢复训练机制,定期保存当前模型的状态,通过所述网络安全风险评估大模型在训练循环中设备检查点的回调函数,在下一个相同风险场景进入模型时,基于所述检查点继续训练;其中,所述检查点包括模型权重、优化因子以及训练的轮数信息。
在一种实施例中,提供了一种计算机设备,如图5所示,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述的面向数据集的数据存储方法和/或上述的基于大模型的网络安全风险评估方法。
具体的,该计算机设备可以是计算机终端、服务器或者类似的运算装置。
在本实施例中,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有执行上述任意的面向数据集的数据存储方法和/或上述的基于大模型的网络安全风险评估方法的计算机程序。
具体的,计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机可读存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读存储介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
显然,本领域的技术人员应该明白,上述的本发明实施例的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明实施例不限制于任何特定的硬件和软件结合。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于大模型的网络安全风险评估方法,其特征在于,包括:
采集网络安全风险评估原始数据,获得基础网络安全数据集;
基于风险评估需求,对所述基础网络安全数据集设置数据标签,获得网络安全风险评估数据标签库;
根据所述基础网络安全数据集和所述网络安全风险评估数据标签库,进行网络安全风险评估要素特征工程分析,建立网络安全风险评估多维度的特征因子和特征集,获得网络安全风险评估特征数据集;
在所述网络安全风险评估特征数据集中抽取风险场景的特征因子,构建基于风险场景的数据模型,确定风险及风险结果之间的函数关系;
根据所述风险及风险结果之间的函数关系,基于所述基础网络安全数据集、所述网络安全风险评估数据标签库以及所述网络安全风险评估特征数据集,构建网络安全风险评估大模型;
对所述网络安全风险评估大模型进行监督训练、验证分析以及模型优化;
基于构建的所述网络安全风险评估大模型对实际网络***进行网络安全风险评估,得到网络安全风险评估结果;
建立所述网络安全风险评估结果与安全防护策略的联动机制,根据所述网络安全风险评估结果生成安全防护策略,持续进行网络安全风险评估和策略联动,优化所述网络安全风险评估结果;
其中,根据所述基础网络安全数据集和所述网络安全风险评估数据标签库,进行网络安全风险评估要素特征工程分析,包括:
根据所述基础网络安全数据集和所述网络安全风险评估数据标签库,进行网络安全风险评估要素的特征选择、特征提取、特征转换以及特征降维,提取出包括源网络IP、目标网络IP、协议类型、网络端口的多种网络安全风险评估特征信息;
在所述网络安全风险评估特征数据集中抽取风险场景的特征因子,构建基于风险场景的数据模型,包括:
在所述网络安全风险评估特征数据集中抽取风险场景的特征因子,确定风险评估特征因子和风险结果特征因子之间的隶属关系、关联度指标、权重系数、安全作用因子以及优化系数,构建基于风险场景的数据模型;
构建基于风险场景的数据模型,还包括:
根据所述基于风险场景的数据模型,计算网络安全风险评估安全指标,作为所述风险结果特征因子,所述网络安全风险评估安全指标包括安全性指标和可靠性指标;
建立网络安全风险评估安全指标数据集,将所述网络安全风险评估安全指标数据集作为网络安全风险评估结果的中间层,对所述网络安全风险评估特征数据集进行降维处理,以对所述基于风险场景的数据模型进行优化。
2.根据权利要求1所述的基于大模型的网络安全风险评估方法,其特征在于,采集网络安全风险评估原始数据,获得基础网络安全数据集,包括:
采集网络安全风险评估原始数据,对所述原始数据进行预处理,获得所述基础网络安全数据集;其中,所述预处理包括:对所述原始数据中的多源异构数据进行清洗、转换和标准化,以将所述多源异构数据高效融合。
3.根据权利要求1所述的基于大模型的网络安全风险评估方法,其特征在于,构建网络安全风险评估大模型,包括:
采用Transform架构的神经模型,构建基于风险场景的风险评估层级大模型,将所述基础网络安全数据集中的所有数据进行聚类分析,获得所述网络安全风险评估大模型。
4.根据权利要求1所述的基于大模型的网络安全风险评估方法,其特征在于,对所述网络安全风险评估大模型进行监督训练、验证分析以及模型优化,包括:
根据所述基础网络安全数据集和所述网络安全风险评估数据标签库,确定训练数据集和验证数据集,通过所述训练数据集和所述验证数据集对所述网络安全风险评估大模型分别进行监督训练和验证分析;
对所述网络安全风险评估大模型进行超参数调优、参数优化和结构优化。
5.根据权利要求4所述的基于大模型的网络安全风险评估方法,其特征在于,对所述网络安全风险评估大模型进行超参数调优、参数优化和结构优化,包括:
采用网格搜索和贝叶斯网络结合方法进行模型超参数自优化,生成网络安全风险评估的超参数组合,对每个超参数组合进行响应子模型的训练和验证,通过建立网络安全风险评估超参数子模型验证评价指标,形成网络安全风险评估大模型的最优超参数组合,完成大模型超参数调优;
采用低秩自适应算法构建参数自优化模型,通过迭代计算确定网络安全风险评估的最优参数,完成大模型参数优化;
通过对所述网络安全风险评估大模型进行权重剪枝和知识蒸馏,优化模型的参数数量,完成大模型结构优化。
6.根据权利要求1所述的基于大模型的网络安全风险评估方法,其特征在于,对所述网络安全风险评估大模型进行监督训练、验证分析以及模型优化后,还包括:
采用全量网络安全风险评估数据进行模型分布式训练,建立不同数据维度和原始数据之间的训练模型;
联合所述训练模型和所述监督训练的模型训练结果,对所述网络安全风险评估大模型进行联合训练;
采用混合矩阵、ROC曲线建立模型评价指标,确定模型参数和模型层级,重新获得网络安全风险评估大模型。
7.根据权利要求1所述的基于大模型的网络安全风险评估方法,其特征在于,对所述网络安全风险评估大模型进行监督训练、验证分析以及模型优化,还包括:
建立断点恢复训练机制,定期保存当前模型的状态,通过所述网络安全风险评估大模型在训练循环中设备检查点的回调函数,在下一个相同风险场景进入模型时,基于所述检查点继续训练;其中,所述检查点包括模型权重、优化因子以及训练的轮数信息。
8.一种基于大模型的网络安全风险评估***,采用如权利要求1至7中任一项所述的基于大模型的网络安全风险评估方法,其特征在于,包括:
数据采集模块,用于采集网络安全风险评估原始数据,获得基础网络安全数据集;
数据标签设置模块,用于基于风险评估需求,对所述基础网络安全数据集设置数据标签,获得网络安全风险评估数据标签库;
数据特征工程分析模块,用于根据所述基础网络安全数据集和所述网络安全风险评估数据标签库,进行网络安全风险评估要素特征工程分析,建立网络安全风险评估多维度的特征因子和特征集,获得网络安全风险评估特征数据集;
网络安全风险评估大模型构建模块,用于在所述网络安全风险评估特征数据集中抽取风险场景的特征因子,构建基于风险场景的数据模型,确定风险及风险结果之间的函数关系;
所述网络安全风险评估大模型构建模块还用于,根据所述风险及风险结果之间的函数关系,基于所述基础网络安全数据集、所述网络安全风险评估数据标签库以及所述网络安全风险评估特征数据集,构建网络安全风险评估大模型;
模型训练及优化模块,用于对所述网络安全风险评估大模型进行监督训练、验证分析以及模型优化;
网络风险评估模块,用于基于构建的所述网络安全风险评估大模型对实际网络***进行网络安全风险评估,得到网络安全风险评估结果;
风险评估及策略联动模块,用于建立所述网络安全风险评估结果与安全防护策略的联动机制,根据所述网络安全风险评估结果生成安全防护策略,持续进行网络安全风险评估和策略联动,优化所述网络安全风险评估结果。
9.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的基于大模型的网络安全风险评估方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有执行权利要求1至7中任一项所述的基于大模型的网络安全风险评估方法的计算机程序。
CN202410370343.0A 2024-03-29 2024-03-29 基于大模型的网络安全风险评估方法、***、设备及介质 Active CN117978545B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410370343.0A CN117978545B (zh) 2024-03-29 2024-03-29 基于大模型的网络安全风险评估方法、***、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410370343.0A CN117978545B (zh) 2024-03-29 2024-03-29 基于大模型的网络安全风险评估方法、***、设备及介质

Publications (2)

Publication Number Publication Date
CN117978545A CN117978545A (zh) 2024-05-03
CN117978545B true CN117978545B (zh) 2024-06-07

Family

ID=90861610

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410370343.0A Active CN117978545B (zh) 2024-03-29 2024-03-29 基于大模型的网络安全风险评估方法、***、设备及介质

Country Status (1)

Country Link
CN (1) CN117978545B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109002996A (zh) * 2018-07-26 2018-12-14 珠海卓邦科技有限公司 基于水费回收的风险评估方法及***
WO2023077617A1 (zh) * 2021-11-02 2023-05-11 公安部第三研究所 一种网络安全态势自适应主动防御***及方法
CN116192538A (zh) * 2023-04-28 2023-05-30 北京源堡科技有限公司 基于机器学习的网络安全评估方法、装置、设备及介质
CN116668095A (zh) * 2023-05-16 2023-08-29 江苏信创网安数据科技有限公司 一种网络安全智能评估方法及***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109002996A (zh) * 2018-07-26 2018-12-14 珠海卓邦科技有限公司 基于水费回收的风险评估方法及***
WO2023077617A1 (zh) * 2021-11-02 2023-05-11 公安部第三研究所 一种网络安全态势自适应主动防御***及方法
CN116192538A (zh) * 2023-04-28 2023-05-30 北京源堡科技有限公司 基于机器学习的网络安全评估方法、装置、设备及介质
CN116668095A (zh) * 2023-05-16 2023-08-29 江苏信创网安数据科技有限公司 一种网络安全智能评估方法及***

Also Published As

Publication number Publication date
CN117978545A (zh) 2024-05-03

Similar Documents

Publication Publication Date Title
WO2023077617A1 (zh) 一种网络安全态势自适应主动防御***及方法
CN114143020B (zh) 一种基于规则的网络安全事件关联分析方法和***
US20210112101A1 (en) Data set and algorithm validation, bias characterization, and valuation
CN112181960A (zh) 一种基于AIOps的智能运维框架***
CN117473571B (zh) 一种数据信息安全处理方法及***
CN115296933B (zh) 一种工业生产数据风险等级评估方法及***
CN115242438A (zh) 基于异质信息网络的潜在受害群体定位方法
CN115860118A (zh) 一种智慧管网知识模型的安全构建方法及***
CN109977700A (zh) 一种基于网络安全的大数据处理***
CN115378988A (zh) 基于知识图谱的数据访问异常检测及控制方法、装置
Li et al. Computer network security evaluation model based on neural network
CN113268370A (zh) 一种根因告警分析方法、***、设备及存储介质
Liu et al. Multi-step attack scenarios mining based on neural network and Bayesian network attack graph
Fu Computer network intrusion anomaly detection with recurrent neural network
Abid et al. Real-time data fusion for intrusion detection in industrial control systems based on cloud computing and big data techniques
CN115987544A (zh) 一种基于威胁情报的网络安全威胁预测方法及***
Zheng [Retracted] Information System Security Evaluation Algorithm Based on PSO‐BP Neural Network
CN116882756B (zh) 基于区块链的电力安全管控方法
CN113783876A (zh) 基于图神经网络的网络安全态势感知方法及相关设备
CN117453646A (zh) 融合语义与深度神经网络的内核日志联合压缩与查询方法
CN117978545B (zh) 基于大模型的网络安全风险评估方法、***、设备及介质
CN116192538B (zh) 基于机器学习的网络安全评估方法、装置、设备及介质
Huai et al. [Retracted] Construction of Social Security Fund Cloud Audit Platform Based on Fuzzy Data Mining Algorithm
Zhou Big Data‐Driven Hierarchical Local Area Network Security Risk Event Prediction Algorithm
Yang et al. User Log Anomaly Detection System Based on Isolation Forest

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant