CN110909363A - 基于大数据的软件第三方组件漏洞应急响应***及方法 - Google Patents

Abstract

本发明公开了一种基于大数据的软件第三方组件漏洞应急响应***及方法，所述应急响应***包括组件信息收集模块和组件识别认证模块；组件信息收集模块用于收集数据并得到包含组件特征索引和组件漏洞索引的组件数据库；组件识别认证模块用于对软件产品代码文本和运行特征进行分析，并将分析结果依次与组件特征索引和组件漏洞索引对比，获得软件产品版本集成组件的漏洞情况。本发明通过大数据自动化抓取的方式持续获取组件特征信息数据和漏洞数据，可对开源组件、商业组件、免费组件等一系列公开组件做组件识别认证、漏洞跟踪识别和漏洞应急响应；可用于软件生产流程中的持续集成和持续交付环节。

Description

基于大数据的软件第三方组件漏洞应急响应***及方法

技术领域

本发明属于计算机技术领域，具体涉及一种基于大数据的软件第三方组件漏洞应急响应***及方法。

背景技术

目前在软件的生命周期中，针对软件中使用的第三方组件，其安全漏洞的应急响应技术存在如下缺陷：

组件分析来源单一：仅针对开源组件或仅针对商业组件；

组件分析手段单一：仅对组件文本进行比对或仅对组件运行环境特征进行比对；

没有形成可供软件生产企业使用的***级的第三方组件漏洞应急响应解决方案；

没有与软件开发流程中的持续集成和持续交付环节对接；

组件特征和漏洞数据信息仅靠人工方式获取，没有基于大数据自动化抓取的方式从公开来源持续获取。

发明内容

本发明所要解决的技术问题是针对上述现有技术的不足，提供基于大数据的软件第三方组件漏洞应急响应***及方法，通过信息收集和自动识别认证，持续发现集成在软件中的组件漏洞。

为实现上述技术目的，本发明采用如下技术方案：

本申请实施例提出一种基于大数据的软件第三方组件漏洞应急响应***，包括组件信息收集模块和组件识别认证模块；

所述组件信息收集模块，用于搜索数据，获取组件特征索引和组件漏洞索引，存储在组件数据库中。

所述组件识别认证模块，用于对软件产品代码文本和运行特征进行分析，得到组件使用信息；

所述组件识别认证模块，还用于将所述组件使用信息与所述组件特征索引作比对，得到实际组件使用列表；将所述组件使用信息与所述组件漏洞索引作比对，得到产品版本集成组件的漏洞列表，即表示组件具体实现上存在的缺陷。

优选地，所述组件信息收集模块包括实时漏洞信息抓取单元、组件漏洞信息分析单元、第一组件信息抓取单元和第一特征分析提取单元；

所述实时漏洞信息抓取单元通过网络接口收集组件漏洞数据；

所述组件漏洞信息分析单元分析所述组件漏洞数据，得到组件漏洞信息；

所述组件漏洞信息构成组件漏洞索引并存入组件数据库；

所述第一组件信息抓取单元通过第一数据接口获取组件代码文本和组件运行信息；

所述第一特征分析提取单元基于组件代码文本和组件运行信息，提取组件代码文本特征和组件运行特征；

所述组件代码文本特征和组件运行特征构成组件特征索引并存入组件数据库。

优选地，所述组件识别认证模块包括第二组件信息抓取单元、第二特征分析提取单元和组件特征对比单元；

所述第二组件信息抓取单元通过第二数据接口获取组件代码文本和组件运行信息；

所述第二特征分析提取单元基于组件代码文本和组件运行信息，通过组件运行信息提取工具提取组件使用信息，包含组件代码文本特征信息和组件运行特征；

所述组件特征对比单元将组件使用信息分别与组件数据库中的组件特征索引和组件漏洞索引进行对比，进而确定组件版本及漏洞。

本申请实施例还提出一种基于大数据的软件第三方组件漏洞应急响应方法，基于本申请的基于大数据的软件第三方组件漏洞应急响应***，包括以下步骤：

登录应急响应***并选择待开发的产品及版本；

组件数据库中录入要使用的第三方组件；

组件数据库中录入产品及版本对应的代码配置仓库和持续交付测试地址；

持续集成阶段，应急响应***获取产品代码，组件识别认证模块分析代码文本得到组件使用信息；

持续交付阶段或生产运维阶段，组件识别认证模块分析运行环境中的可部署交付物的运行特征，得到组件使用信息；

将所述组件使用信息与所述组件特征索引作比对，得到实际组件使用列表；与组件信息收集模块的组件漏洞索引作比对，得到产品版本集成组件的漏洞列表。

本发明的至少一个实施例具有以下有益效果：

本发明通过大数据自动化抓取的方式持续获取组件特征信息数据和漏洞数据；

本发明***可对开源组件、商业组件、免费组件等一系列公开组件做组件识别认证、漏洞跟踪识别和漏洞应急响应；

本发明的组件识别手段包括构建引用依赖特征信息识别、文本匹配识别和运行特征识别，组件的识别手段更加丰富，识别准确度更高；

本发明***可用于软件生产流程中的持续集成和持续交付环节。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本发明的***实施例示意图；

图2为本发明的组件信息收集模块结构示意图；

图3为本发明的组件识别认证模块结构示意图；

图4为本发明的基于大数据的软件第三方组件漏洞应急响应方法流程图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下结合附图，详细说明本申请各实施例提供的技术方案。

图1为本发明的***实施例示意图。

本发明的基于大数据的软件第三方组件漏洞应急响应***，包括组件信息收集模块100和组件识别认证模块200、组件数据库300；

所述组件信息收集模块，用于搜索数据，获取组件特征索引和组件漏洞索引，保存在所述组件数据库中。

例如所述组件信息收集模块，通过搜索公共漏洞数据库和或第三方组件官方数据，获取包含组件特征索引和组件漏洞索引的组件数据库。

在本发明的实施例中，所述组件信息收集模块通过网络接口搜索公共漏洞数据库，还通过第一数据接口搜索第三方组件官方数据。

所述组件识别认证模块，用于对软件产品代码文本和运行特征进行分析，获得组件使用信息。

进一步地，所述组件识别认证模块，在软件产品持续集成阶段、持续交付阶段和生产运维阶段中的至少一个阶段，对软件产品代码文本和运行特征进行分析。例如分别在软件产品持续集成阶段和持续交付阶段，或分别在软件产品持续集成阶段和生产运维阶段，对软件产品代码文本和运行特征进行分析，得到组件使用信息。

在本申请的实施例中，所述组件识别认证模块通过第二数据接口获取组件代码文本特征和组件运行特征。

其中代码文本特征分析过程为：1、从开源组件官方获取到源代码，得到源代码基础文本库；2、将被分析的代码文本与基础文本库作比对，进而匹配组件的信息；3、匹配规则包括全部匹配(代码文本完全相同)、部分匹配(到达一定比例的匹配度)。

关于组件运行特征，所述组件使用信息包括组件运行的进程名称和组件可执行命令被执行后得到的组件信息，组件可执行命令被执行后得到的组件信息包括组件名称和组件版本。

所述组件识别认证模块，还用于将软件产品代码文本和运行特征分析得到的组件使用信息，与组件信息收集模块得到的组件特征索引作比对，得到实际组件使用列表；与组件信息收集模块的组件漏洞索引作比对，最终得到产品版本集成组件的漏洞列表，即组件具体实现上存在的可以使攻击者能够在未授权的情况下访问或破坏***的缺陷。

进一步地，所述组件识别认证模块通过告警指示接口输出提示信息。

图2为本发明的组件信息收集模块结构示意图。如图2所示，实施例中，所述组件信息收集模块100包括实时漏洞信息抓取单元101、组件漏洞信息分析单元102、第一组件信息抓取单元103和第一特征分析提取单元104。

所述实时漏洞信息抓取单元通过网络接口收集组件漏洞数据。例如，获取各公共漏洞数据库105和或安全网站公布的开源及商业组件漏洞。

所述公共漏洞数据库包括以下至少一种：国家信息安全漏洞库CNNVD、美国国家漏洞库NVD、公共漏洞和暴露CVE公开的漏洞信息数据库，通常这些组织提供的所有漏洞数据库信息(Json或XML格式)供公众查阅。

所述漏洞网站的开源及商业组件漏洞为广泛认同的信息安全漏洞或者已经暴露出来的弱点给出一系列公共的信息，通常包括以下至少一种信息：漏洞编号、影响的软件及其版本范围、漏洞安全级别、漏洞的原理和漏洞造成的影响。

所述组件漏洞信息分析单元分析所述组件漏洞数据，所述组件漏洞数据包含各公共漏洞数据库和安全网站公布的开源及商业组件漏洞。分析后，得到组件漏洞信息，所述组件漏洞信息包括以下至少一种信息：组件名称、来源、版本信息、漏洞简介、漏洞分类、影响范围、漏洞等级、解决方案、补丁链接、漏洞通用编号和更新日期。

所述组件漏洞信息构成组件漏洞索引并存入组件数据库；

所述第一组件信息抓取单元通过第一数据接口获取组件代码文本和组件运行信息。所述第一数据接口从各第三方组件官方数据库106中获取组件代码文本(例如组件二进制包)和组件运行信息；

所述第一特征分析提取单元基于组件代码文本和组件运行信息，提取组件代码文本特征和组件运行特征；

所述组件代码文本特征和组件运行特征构成组件特征索引并存入组件数据库。

所述组件运行特征为组件在实际运行中通常存在可被分析的特征，例如某些软件在运行时存在名称固定的守护进程，在分析进程列表时，可以知道此软件正在运行，通过执行此软件提供的命令进而得到版本、安装路径等软件的详细信息。

进一步优选地，所述第一组件信息抓取单元还通过第一数据接口获取组件的构建依赖引用信息，通过第一特征分析提取单元，获取组件构建引用特征，所述组件构建引用特征，作为组件特征索引的一部分，存入所述组件数据库。

其中“组件构建引用特征”信息，指组件在源代码工程中的构成特征，例如采用Maven构建形式的工程其组件通常被显示的定义在pom.xml文件中，包含组件名称、版本号等，通过分析这类文件，可以得到源代码中使用的组件名称和版本信息。

图3为本发明的组件识别认证模块结构示意图。如图3所示，所述组件识别认证模块200包括第二组件信息抓取单元201、第二特征分析提取单元202和组件特征对比单元203；

所述第二组件信息抓取单元通过第二数据接口获取软件生产过程中(产品数据库204)的组件代码文本和组件运行信息；

所述第二特征分析提取单元基于组件代码文本和组件运行信息，通过组件运行信息提取工具提取软件产品的组件使用信息，所述组件使用信息包含软件产品的组件代码文本特征和组件运行特征；

所述组件特征对比单元将第二特征分析提取单元提取的信息分别与组件数据库中的组件特征索引和组件漏洞索引进行对比，进而确认定组件版本及漏洞。

进一步优选地，所述第二组件信息抓取单元还通过第二数据接口获取组件的构建依赖引用信息，通过第二特征分析提取单元，获取组件构建引用特征，所述组件构建引用特征，根据初步的组件信息获取到组件列表，并根据代码文本特征进行相似度比对，进而确认组件版本。

进一步地，所述组件特征对比单元通过告警指示接口输出提示信息。

图4为本发明的基于大数据的软件第三方组件漏洞应急响应方法流程图。

如图4所示，本申请的基于大数据的软件第三方组件漏洞应急响应方法，用上述任意一个实施例中的基于大数据的软件第三方组件漏洞应急响应***包括以下步骤401～407：

步骤401、登录应急响应***并选择待开发的产品及版本；

步骤401中，所述组件信息收集模块通过网络接口搜索公共漏洞数据库，这个过程是实时进行的。具体地：

所述实时漏洞信息抓取单元通过网络接口收集组件漏洞数据，所述组件漏洞信息分析单元分析所述组件漏洞数据，分析后，得到组件漏洞信息，所述组件漏洞信息构成组件漏洞索引并存入组件数据库。步骤402、组件数据库中录入要使用的第三方组件；

步骤402中，所述组件信息收集模块，通过搜索第三方组件官方数据库106，获取包含组件特征索引的组件数据库，这个过程是实时的，具体地：

所述第一组件信息抓取单元通过第一数据接口，从各第三方组件官方数据库106中获取组件代码文本和组件运行信息，构成组件特征索引并存入组件数据库。

步骤403、组件数据库中录入(登记)产品及版本对应的代码配置仓库和持续交付测试地址；

所述组件识别认证模块，根据产品即版本对应的代码配置厂仓库和持续交付测试地址，获得软件产品的组件代码文本和组件运行信息。具体地，例如：

所述第二组件信息抓取单元通过第二数据接口访问产品数据库204，获取软件生产过程中的组件代码文本和组件运行信息。

步骤404、持续集成阶段，应急响应***获取产品代码，组件识别认证模块分析代码文本得到软件产品的组件使用信息；

在步骤404中，例如，所述第二特征分析提取单元通过组件运行信息提取工具，提取组件代码文本特征。

步骤405、持续交付阶段或生产运维阶段，组件识别认证模块分析运行环境中的可部署交付物的运行特征，得到组件使用信息；

在步骤405中，例如，所述第二特征分析提取单元，通过组件运行信息提取工具，提取组件运行特征。

步骤406、将步骤404和步骤405得到的组件使用信息与组件信息收集模块得到的组件特征索引作比对，得到实际组件使用列表；将步骤404和步骤405得到的组件使用信息与组件信息收集模块得到的组件漏洞索引作比对，得到产品版本集成组件的漏洞列表；

步骤407、信息输出。

所述组件识别认证模块通过告警指示接口输出提示信息，通知用户修复组件漏洞。本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

因此，本申请还提出一种计算机可读介质，所述计算机可读介质上存储计算机程序，所述计算机程序被处理器执行时实现本申请任意一项实施例所述的方法的步骤。

需要说明的是，本申请中的“第一”、“第二”，仅是为了区分其所修饰的名词术语，并不包含优先级和次序的含义，也没有其他特殊意义。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (8)

1.基于大数据的软件第三方组件漏洞应急响应***，其特征在于：

所述应急响应***包括组件信息收集模块和组件识别认证模块；

所述组件信息收集模块，用于搜索数据，获取组件特征索引和组件漏洞索引；

所述组件识别认证模块，用于对软件产品代码文本和运行特征进行分析，得到组件使用信息；

所述组件识别认证模块，还用于将所述组件使用信息与所述组件特征索引作比对，得到实际组件使用列表；将所述组件使用信息与所述组件漏洞索引作比对，得到产品版本集成组件的漏洞列表。

2.根据权利要求1所述的基于大数据的软件第三方组件漏洞应急响应***，其特征在于：

所述组件使用信息包括组件运行的进程名称和组件可执行命令被执行后得到的组件信息；组件可执行命令被执行后得到的组件信息包括组件名称和组件版本。

3.根据权利要求2所述的基于大数据的软件第三方组件漏洞应急响应***，其特征在于：

所述组件信息收集模块包括实时漏洞信息抓取单元、组件漏洞信息分析单元、第一组件信息抓取单元和第一特征分析提取单元；

所述实时漏洞信息抓取模块通过网络接口收集组件漏洞数据；

所述组件漏洞信息分析单元分析所述组件漏洞数据，得到组件漏洞信息；

所述组件漏洞信息构成组件漏洞索引并存入组件数据库；

所述第一组件信息抓取单元通过第一数据接口获取组件代码文本和组件运行信息；

所述第一特征分析提取单元基于组件代码文本和组件运行信息，提取组件代码文本特征和组件运行特征；

所述组件代码文本特征和组件运行特征构成组件特征索引并存入组件数据库。

4.根据权利要求3所述的基于大数据的软件第三方组件漏洞应急响应***，其特征在于：

所述组件运行特征为组件在实际运行中存在的可被分析的特征。

5.根据权利要求3所述的基于大数据的软件第三方组件漏洞应急响应***，其特征在于：

所述安全网站公布的开源及商业组件漏洞包括以下至少一种：

漏洞编号、影响的软件及其版本范围、漏洞安全级别、漏洞的原理和漏洞造成的影响；

所述组件漏洞信息包括以下至少一种：组件名称、来源、版本信息、漏洞简介、漏洞分类、影响范围、漏洞等级、解决方案、补丁链接、漏洞通用编号和更新日期。

6.根据权利要求2所述的基于大数据的软件第三方组件漏洞应急响应***，其特征在于：

所述组件识别认证模块包括第二组件信息抓取单元、第二特征分析提取单元和组件特征对比单元；

所述第二组件信息抓取单元通过第二数据接口获取组件代码文本和组件运行信息；

所述第二特征分析提取单元基于组件代码文本和组件运行信息，通过组件运行信息提取工具提取组件使用信息；

所述组件特征对比单元将所述组件使用信息分别与组件数据库中的组件特征索引和组件漏洞索引进行对比，进而确定组件版本及漏洞。

7.根据权利要求1所述的基于大数据的软件第三方组件漏洞应急响应***，其特征在于：

所述公共漏洞数据库包括以下至少一种：

国家信息安全漏洞库CNNVD、美国国家漏洞库NVD、公共漏洞和暴露CVE公开的漏洞信息数据库。

8.基于大数据的软件第三方组件漏洞应急响应方法，基于权利要求1-7任一所述的基于大数据的软件第三方组件漏洞应急响应***，其特征在于，包括以下步骤：

登录应急响应***并选择待开发的产品及版本；

组件数据库中录入要使用的第三方组件；

组件数据库中录入产品及版本对应的代码配置仓库和持续交付测试地址；

持续集成阶段，应急响应***获取产品代码，组件识别认证模块分析代码文本得到组件使用信息；

持续交付阶段或生产运维阶段，组件识别认证模块分析运行环境中的可部署交付物的运行特征，得到组件使用信息；

将所述组件使用信息与所述组件特征索引作比对，得到实际组件使用列表；与组件信息收集模块的组件漏洞索引作比对，得到产品版本集成组件的漏洞列表。

Images