CN111177595A - 一种针对http协议模板化提取资产信息的方法 - Google Patents

Abstract

本发明公开了一种针对HTTP协议模板化提取资产信息的方法，三大部分流程，分别为模板的编写、模板的解析、报文的匹配；所述模板的解析部分依次包括以下步骤：加载模板并分析模板、构造DPI、构造语法树、建立匹配库；报文的匹配部分依次包括以下步骤：匹配库DPI识别、语法树匹配、输出日志，通过“模板”匹配识别出“虚拟属性”，间接确定“实体属性”的资产信息识别方法，增加了资产信息获取新维度；减少了***部署期间对现场“实体资产”的调研；减少了开发人员针对特定“虚拟资产”的分析开发量；增强了运维人员对资产信息获取方式；增强了后期***后期自动更新获取资产信息；即减少了人力维护，又增强了资产信息实时同步，扩展了潜在资产的挖掘能力。

Description

一种针对HTTP协议模板化提取资产信息的方法

技术领域

本发明涉及计算机技术领域，特别涉及一种针对HTTP协议模板化提取资产信息的方法。

背景技术

计算机及互联网已经普及的今天，互联网安全已经渐渐的被人们熟知且重视，人们已经认识到家庭、企业和政府都存在网络安全问题，这其中最容易受到极大威胁的对象是大型企业(工业)网络***和政府网络***。这种大型的网络架构十分的繁复，网络环境中的终端服务设备属性也不同，网络安全设备为了更好提供服务和交互，需要对这种终端或服务器的属性加以识别标注，这种属性在网络安全***中被称作“资产”。

资产分为“实体资产”和“虚拟资产”两大类。实体资产是能够代表真实设备或人的属性，例如：路由器、防火墙、数据库服务器、网站服务器、管理人员等。虚拟资产是能够代表一种虚拟服务或虚拟个体的属性，它们是运作于实体设备(即实体资产)中的，例如：Nginx服务、代码服务、数据库服务、用户名、用户ID等。虚拟资产与实体资产多数时是可对应的，比如“Nginx服务”运作在"网站服务器"中，某“用户ID”对应现实的"个体人"等；在以太网环境中，HTTP协议是最容易携带“虚拟资产”的协议。

安全服务***中的资产获取的方式有两种，一种是由用户提供IP地址与“实体资产”的对应关系，配置在安全***中；另一种是开发人员分析网络环境中“虚拟资产”，开发特殊定制组件，附加在安全***中，更好的为用户服务。无论是何种获取资产的方式，都需要耗费大量的人力，进行统计和分析。且随着网络环境的更新，资产可能会变化(移除或添加)，***无法自行更新资产，均需要人为参与更新，这对资产管理者的技能要求过高。

发明内容

针对现有技术存在的不足，本发明的目的在于提供一种对HTTP协议结构提取出的报文，通过“模板”匹配识别出“虚拟属性”，间接确定“实体属性”的资产信息识别方法。

本发明的上述技术目的是通过以下技术方案得以实现的：

一种针对HTTP协议模板化提取资产信息的方法，其主要包含三大部分，分别为模板的编写、模板的解析、报文的匹配；

所述模板的解析部分包括以下步骤：

步骤2.1-加载模板并分析模板，通过对模板内容加载到内存中，并将文件载体将结构分析成“协议标志块”、“DPI识别块”、“内容提取块”三个结构块，供后续步骤使用；

步骤2.2-构造DPI，依据“DPI识别块”提供的信息，将HOST和URI和METHOD构成正则表达式，大量的正则表达式构成DFA自动状态机；

步骤2.3-构造语法树，依据模板中的“内容提取块”提供的文本内容，分析文法，并将构建成一颗解析树；

步骤2.4-建立匹配库，待所有模板分析完成，将步骤2.2中构建的正则表达式作为“匹配正则表达式”、步骤2.3中构建的“语法树”作为数据内容进行一一对应，整合到“正则表达式”引擎中，形成匹配库；

所述报文的匹配部分包括以下步骤：

步骤3.1-匹配库DPI识别，***将HTTP构造日志中的“HOST”、“URI”和“METHOD”信息提取，放入匹配库中进行匹配，将匹配结果取出并传递至语法树引擎进行下一步匹配；

步骤3.2-语法树匹配，将整个HTTP报文传入语法树，按照前序遍历进行解析，语法树中的OutputValue函数会将所需的“资产信息”输出到队列中，进行资产输出日志阶段；

步骤3.3-输出日志，将输出队列中获取到对应的key-value值，与对应的IP地址拼成json字符串格式，即为资产信息，与IP地址对应后，部分“虚拟资产”信息即可代表“实体资产”，将json字符串存入数据库，展现在页面上。

进一步优选为，所述模板的编写部分中的模板结构主要分为以下三块：

协议标志块，包含依赖协议的名称，用于确定资产信息依赖的协议；

DPI识别块，包含可以识别出包含资产信息的特征内容，即HOST内容、URI内容、HTTP的METHOD，用于筛选资产信息是否包含在报文中；

内容提取块，存储着模板语法，用于解析提取资产信息。

进一步优选为，所述步骤2.3-构造语法树中涉及的文法结构依赖于tiny-c文法，其内置的函数包括以下类别：

内置结构，采用MIME格式解析结构；

HTTP报文获取，其包含用于获取HTTP的URI文本串的GetUri()、依据key值获取HTTP头部的文本串的GetHeader(key)、用于获取HTTP身体报文文本串的GetRequestBody()等结构/函数；

内置常规算法，其包含URLEncode(string)、URLDecode(string)、Base64Encode(string)和Base64Declde(steing)、Base64Decode(string)、以及SpliteString(string,splite_words)、以MIME格式分析字符串的Mime AnalyseMime(string)、将资产信息输出到队列中的key值的OutputValue(key,string)等结构/函数。

综上所述，本发明对比于现有技术的有益效果为：

本发明相对于现有的资产获取方式，增加了资产信息获取新维度；减少了***部署期间对现场“实体资产”的调研；减少了开发人员针对特定“虚拟资产”的分析开发量；增强了运维人员对资产信息获取方式；增强了后期***后期自动更新获取资产信息；即减少了人力维护，又增强了资产信息实时同步，扩展了潜在资产的挖掘能力。

附图说明

图1为实施例中tiny-c文法的内置函数结构；

图2为实施例中语法树的结构框架；

图3为实施例中报文匹配流程图。

具体实施方案

以下结合附图对发明作进一步详细说明。

一种针对HTTP协议模板化提取资产信息的方法，其主要包含三大部分，分别为模板的编写、模板的解析、报文的匹配,具体通过对HTTP协议结构提取出的报文，通过“模板”匹配识别出“虚拟属性”，间接确定“实体属性”的资产信息识别方法。

模板的编写部分中涉及的模板结构主要分为以下三块：

协议标志块：包含依赖协议的名称，用于确定资产信息依赖的协议；

DPI识别块：包含可以识别出包含资产信息的特征内容，即HOST内容、URI内容、HTTP的METHOD，用于筛选资产信息是否包含在报文中；

内容提取块：存储着模板语法，用于解析提取资产信息。

模板的解析部分包括以下步骤：

步骤2.1-加载模板并分析模板，通过对模板内容加载到内存中，并将文件载体将结构分析成“协议标志块”、“DPI识别块”、“内容提取块”三个结构块，供后续步骤使用；

步骤2.2-构造DPI，依据“DPI识别区”提供的信息，将HOST和URI和METHOD构成正则表达式，将大量的正则表达式构成DFA自动状态机；

步骤2.3-构造语法树(见图2)，依据模板中的“内容提取区”提供的文本内容，分析文法，并将构建成一颗解析树；

步骤2.4-建立匹配库，待所有模板分析完成，将步骤2.2中构建的正则表达式作为“匹配正则表达式”、步骤2.3中构建的“语法树”作为数据内容进行一一对应，整合到“正则表达式”引擎中，形成匹配库。

上述步骤2.3-构造语法树中涉及的文法结构依赖于tiny-c文法，参照图1所示，其内置的函数包括以下类别：

内置结构，采用MIME格式解析结构；

HTTP报文获取，其包含用于获取HTTP的URI文本串的GetUri()、依据key值获取HTTP头部的文本串的GetHeader(key)、用于获取HTTP身体报文文本串的GetRequestBody()等结构/函数；

内置常规算法，其依次包含以下结构/函数：

URLEncode(string)，用于Urlencode编码；

URLDecode(string)，用于Urldncode编码；

Base64Encode(string),用于Base64编码；

Base64Declde(steing)，用于Base64编码；

SpliteString(string,splite_words)，用于以splite_words分割字符串，返回数组；

MimeAnalyseMime(string)，用于以MIME格式分析字符串；

OutputValue(key,string)，用于将资产信息输出到队列中的key值。

参照图3所示，报文的匹配部分包括以下步骤：

步骤3.1-匹配库DPI识别，***将HTTP构造日志中的“HOST”、“URI”和“METHOD”信息提取，放入匹配库中进行匹配，将匹配结果取出并传递至语法树引擎进行下一步匹配；

步骤3.2-语法树匹配，将整个HTTP报文传入语法树，按照前序遍历进行解析，语法树中的OutputValue函数会将所需的“资产信息”输出到队列中，进行资产输出日志阶段；

步骤3.3-输出日志，将输出队列中获取到对应的key-value值，与对应的IP地址拼成json字符串格式，即为资产信息，与IP地址对应后，部分“虚拟资产”信息即可代表“实体资产”，将json字符串存入数据库，展现在页面上。

以上所述仅是本发明的示范性实施方式，而非用于限制本发明的保护范围，本发明的保护范围由所附的权利要求确定。

Claims (3)

1.一种针对HTTP协议模板化提取资产信息的方法，其特征在于，三大部分流程，分别为模板的编写、模板的解析、报文的匹配；

所述模板的解析部分包括以下步骤：

步骤2.1-加载模板并分析模板，通过对模板内容加载到内存中，并将文件载体将结构分析成“协议标志块”、“DPI识别块”、“内容提取块”三个结构块，供后续步骤使用；

步骤2.2-构造DPI，依据“DPI识别块”提供的信息，将HOST和URI和METHOD构成正则表达式，大量的正则表达式构成DFA自动状态机；

步骤2.3-构造语法树，依据模板中的“内容提取块”提供的文本内容，分析文法，并将构建成一颗解析树；

步骤2.4-建立匹配库，待所有模板分析完成，将步骤2.2中构建的正则表达式作为“匹配正则表达式”、步骤2.3中构建的“语法树”作为数据内容进行一一对应，整合到“正则表达式”引擎中，形成匹配库；

所述报文的匹配部分包括以下步骤：

步骤3.1-匹配库DPI识别，***将HTTP构造日志中的“HOST”、“URI”和“METHOD”信息提取，放入匹配库中进行匹配，将匹配结果取出并传递至语法树引擎进行下一步匹配；

步骤3.2-语法树匹配，将整个HTTP报文传入语法树，按照前序遍历进行解析，语法树中的OutputValue函数会将所需的“资产信息”输出到队列中，进行资产输出日志阶段；

步骤3.3-输出日志，将输出队列中获取到对应的key-value值，与对应的IP地址拼成json字符串格式，即为资产信息，与IP地址对应后，部分“虚拟资产”信息即可代表“实体资产”，将json字符串存入数据库，展现在页面上。

2.根据权利要求1所述的一种针对HTTP协议模板化提取资产信息的方法，其特征在于，所述模板的部分结构主要分为以下三块：

协议标志块，包含依赖协议的名称，用于确定资产信息依赖的协议；

DPI识别块，包含可以识别出包含资产信息的特征内容，即HOST内容、URI内容、HTTP的METHOD，用于筛选资产信息是否包含在报文中；

内容提取块，存储着模板语法，用于解析提取资产信息。

3.根据权利要求1所述的一种针对HTTP协议模板化提取资产信息的方法，其特征在于，所述步骤2.3-构造语法树中涉及的文法结构依赖于tiny-c文法，其内置的函数包括以下类别：

内置结构，采用MIME格式解析结构；

HTTP报文获取，其包含用于获取HTTP的URI文本串的GetUri()、依据key值获取HTTP头部的文本串的GetHeader(key)、用于获取HTTP身体报文文本串的GetRequestBody()等结构/函数；

内置常规算法，其包含URLEncode(string)、URLDecode(string)、Base64Encode(string)和Base64Declde(steing)、Base64Decode(string)、以及SpliteString(string,splite_words)、以MIME格式分析字符串的Mime AnalyseMime(string)、将资产信息输出到队列中的key值的OutputValue(key,string)等结构/函数。

Images