CN113949564B - 一种基于资源加载树的网站指纹识别方法 - Google Patents

Abstract

本发明公开了一种基于资源加载树的网站指纹识别方法，S1、根据访问网站的流量通过指纹生成模块提取流量数据的特征构造指纹；101、根据访问网站流量数据划分成不同的TCP会话数据并获得每条会话数据提取特征向量值；102、根据TCP会话并发建立连接行为获得TCP会话分组数据信息；103、根据TCP会话分组数据信息和特征向量值构造指纹资源加载树数据信息；104、根据指纹资源加载树信息生成矩阵形式的指纹进行存储；S2、根据指纹生成模块中建立所访问的网站指纹信息存储生成指纹库；S3、根据收集到的用户流量找到可疑流量并通过指纹生成模块提取指纹；S4、通过指纹判断模块将用户流量的指纹与指纹库内的指纹进行对比。该发明提高网站指纹识别精度，并对网站内容更新具有鲁棒性。

Description

一种基于资源加载树的网站指纹识别方法

技术领域

本发明属于网络安全领域,尤其涉及一种基于资源加载树的网站指纹识别方法。

背景技术

随着HTTPS的普及，用户访问网站产生的流量均已被加密，虽然网络管理员无法通过流量获取用户与Web服务器的通讯内容，但仍能通过明文的DNS信息或TLS握手信息中的SNI 得知用户访问的网站。然而随着DoH和ECH的推广，DNS和TLS握手字段也将被加密，流量中不再存在任何明文信息，给上网行为管理带来的很大的挑战。

网站指纹识别的基本原理是将访问网站产生的流量进行特征提取作为指纹，建立指纹库；对于查询流量，使用相同的方法进行特征提取，并在指纹库中找到相似度最高的指纹。现有的网站指纹识别方法绝大多数是基于下载网页时的单条TCP会话实现的。很多网页内容更新频繁，研究表明了当网页内容发生更新时，其第一条会话通常会发生变化，这导致了基于单条TCP会话的识别方案精度下降，鲁棒性低。网页通常会引入很多不同域的静态资源，例如图像和字体等，浏览器会建立多条TCP连接来下载这些资源，使用基于多条TCP连接的网站指纹识别方案较单条TCP连接识别精度更高，在频繁更新的网页上鲁棒性更高。

发明内容

针对现有技术存在的问题，本发明提供了一种基于资源加载树的加密网站指纹识别方法，可以通过浏览网站产生的流量反推出其属于哪个网站，并对在网站内容频繁变化的环境下仍保持高精度。

本发明采用如下技术方案予以实施：

一种基于资源加载树的网站指纹识别方法，其特征在于：包括如下步骤：

S1、根据访问网站的流量通过指纹生成模块提取流量数据的特征构造指纹；其中：所述指纹生成模块通过如下步骤建立：

101、根据访问网站流量数据划分成不同的TCP会话数据获得每条会话数据提取特征向量值；

102、根据TCP会话特征向量值并发建立连接行为获得TCP会话分组数据信息；所述分组数据信息包括：并发建立连接的TCP会话为一组，该组是按照当前TCP会话在发送SYN包时，上个TCP会话仍在三次握手阶段，非并发建立连接的放在不同组；所述分组数据信息按照TCP 会话建立连接的顺序进行排序，组间按照组内第一个TCP会话建立连接的顺序进行排序；

103、根据TCP会话分组数据信息和特征向量值构造指纹资源加载树数据信息；其中：所述指纹资源加载树数据信息中树的每一个节点都存放了一个会话的特征向量序列，将每一个会话的特征向量值前添加一个深度值，表示指纹资源加载树数据节点在树中的深度；

根据对捕获到的TCP会话分组数据信息进行排序，将第一组所有会话的深度值记为1，同一组的所有会话的深度值是相同的，不同组的会话的深度值按照顺序递增。

104、根据指纹资源加载树信息生成访问网站的指纹矩阵进行存储；其中：所述访问网站的指纹矩阵是将添加好深度值的所有特征向量按照顺序存成矩阵。所述访问网站的指纹矩阵每一行均为一个TCP会话，每行的第一个值为深度，其余值为TLS有效负载长度；一个矩阵限制行数不超过M，列数不超过N+1，即最多保存M条TCP会话，每个会话最多保存N个有效负载，超出部分截断处理，缺失部分填充0；将该矩阵作为这段流量的指纹；

S2、根据指纹生成模块中建立所访问的网站指纹信息存储生成指纹库；

S3、根据收集到的用户流量找到可疑流量并通过指纹生成模块提取指纹；

S4、通过指纹判断模块将用户流量的指纹与指纹库内的指纹进行对比。

进一步，所述指纹库内的指纹通过如下步骤进行除噪处理：

201、根据网站的内容获取访问网站所需的IP地址列表；

202、将访问网站流量中非所需IP地址列表内的流量视为噪声并移除。

进一步，所述S3步骤中收集用户流量找到可疑流量并通过指纹生成模块提取查询指纹过程：

301、将用户产生的每一条TCP流量都与指纹库内所有指纹的所有行计算欧氏距离，当距离小于一定阈值时，则认为这条TCP流量是可疑流量；

302、从该条TCP流量起始，持续收集用户产生的TCP流量，累计收集M条，并通过S1所述指纹生成模块提取指纹，作为查询指纹。

进一步，所述S4步骤中通过指纹判断模块将每次访问网站的指纹与指纹库进行对比过程：定义T₁为待对比的查询指纹，S_i为T₁中的第i行，T₂为指纹库中的指纹，S′_j为T₂中的第j行，d_ij为 S_i与S′_j的欧氏距离，通过计算T₁和T₂的距离来衡量指纹相似度；具体步骤如下：

401、匹配T₁和T₂内不同TCP会话，其过程是：依次遍历T₁中的每一行S_i，与T₂中的每一行S′_j计算欧氏距离d_ij，找到与S_i距离最小的一行S′_n，记S_i与S′_n匹配，距离为d_in；若找到S′_n后，存在已有S_m与S′_n匹配，则比较d_mn与d_in的大小；如果d_mn>d_in，则删除S_m和S′_n的匹配，改为S_i与 S′_n匹配；反之则忽略S′_n，在其他行中找距离最小的并匹配，依此类推，直到T₂中的流全部匹配完毕；

402、计算所有TCP会话匹配行的距离，为了防止单条流影响全局，单行距离超过100的以100计；将全部距离求和并除以M，所得值为两个指纹的距离；距离越小，相似度越高。

有益效果

现有的工作多是基于加载网站HTML的单条TCP会话进行网站指纹识别，而当网站内容更新时，其HTML通常会发生变化，这将导致第一条流发生变化，基于单条TCP会话的方案识别精度下降，为了应对这个问题，本发明提出了基于多条流进行网站指纹识别的方法。

浏览器加载网页时会建立多条会话以请求网页内引入的多个静态资源，例如字体、样式表等，如果这些静态资源处于同一优先级，则它们的流量是并发建立连接的，反之则有先后顺序。通过观测到的会话顺序，将它们放在树的不同深度，并存储到矩阵中，构成了能表示网页资源结构的指纹。不同网页的资源结构大不相同，而且除非网站出现重大改版，一个网站的资源结构很少发生变化，因此相比于现有的工作，本发明可以很好的应对频繁更新的网页的场景，更适合网站指纹识别。

在基于多流的方案中，减弱噪声流对精度的影响是一个很大的挑战。在上述指纹比对算法中，本发明使用了贪心匹配的原则，尽可能地将查询指纹中的属于访问网站流量找出，减少了噪声的影响。

附图说明

图1为本发明的一种基于资源加载树的网站指纹识别方法流程示意图。

图2为采用本发明测网站指纹识别方法与基于单流的网站指纹识别在AlexaTop20数据集上精度混淆矩阵对比图。

具体实施方式

为使本发明所介绍的方法技术、达成目的和效果更易于理解明白，下面结合具体实施方式和附图进一步对本发明进行阐述。

如图1所示，本发明提供一种基于资源加载树的网站指纹识别方法，在实施网站指纹识别的攻击者通过主动访问被监控的网站，构造指纹，并将指纹和对应的网站标签存入指纹库内。当其他用户通过攻击者受控的网关时，攻击者会捕获其流量，并按照相同的方式构造查询指纹，遍历指纹库进行相似度比较，一旦找到了相似的指纹，则认为该用户访问了对应的网站。

包括如下步骤：

S1、根据访问网站的流量通过指纹生成模块提取流量数据的特征构造指纹；其中：所述指纹生成模块通过如下步骤建立：

101、根据访问网站流量数据划分成不同的TCP会话数据获得每条会话数据提取特征向量值；其中：给定一段捕获的访问网站的流量。以四元组(源IP、源端口、目的IP、目的端口)区分，并提取会话内传输的TLS带方向有效负载(即Applicationdata)的长度序列作为一条会话的特征向量，上行负载长度取负值，下行负载长度取正值。

102、根据TCP会话特征向量值并发建立连接行为获得TCP会话分组数据信息；其中：所述分组数据信息包括：并发建立连接的TCP会话为一组，该组是按照当前TCP会话在发送SYN包时，上个TCP会话仍在三次握手阶段，则称两个TCP会话是并发建立连接的；非并发建立连接的放在不同组。所述分组数据信息按照TCP会话建立连接的顺序进行排序，组间按照组内第一个TCP会话建立连接的顺序进行排序。

103、根据TCP会话分组数据信息和特征向量值构造指纹资源加载树数据信息；其中：

所述指纹资源加载树数据信息中树的每一个节点都存放了一个会话的特征向量序列，将每一个会话的特征向量值前添加一个深度值，表示指纹资源加载树数据节点在树中的深度；

根据对捕获到的TCP会话分组数据信息进行排序，将第一组所有会话的深度值记为1，同一组的所有会话的深度值是相同的，不同组的会话的深度值按照顺序递增。

104、根据指纹资源加载树信息生成访问网站的指纹矩阵进行存储。其中：所述访问网站的指纹矩阵是将添加好深度值的所有特征向量按照顺序存成矩阵。所述访问网站的指纹矩阵每一行均为一个TCP会话，每行的第一个值为深度，其余值为TLS有效负载长度；一个矩阵限制行数不超过M，列数不超过N+1，即最多保存M条TCP会话，每个会话最多保存N个有效负载，超出部分截断处理，缺失部分填充0；将该矩阵作为这段流量的指纹。

S2、根据指纹生成模块中建立所访问的网站指纹信息存储生成指纹库；

S3、根据收集到的用户流量找到可疑流量并通过指纹生成模块提取指纹；

S4、通过指纹判断模块将用户流量的指纹与指纹库内的指纹进行对比。

本发明采用如下步骤对准备加入指纹库内的指纹进行除噪处理：

201、根据网站的内容获取访问网站所需的IP地址列表；

202、将访问网站流量中非所需IP地址列表内的流量视为噪声并移除。

本发明通过收集到用户的流量中寻找可能访问被监控网站的流量作为可疑流量，并通过指纹生成模块构建查询指纹，具体步骤如下：

301、将用户产生的每一条TCP流量都与指纹库内每个指纹的每一行计算欧氏距离，如果距离小于一定阈值K，则认为这是一个可疑流量，并将对应指纹库中的指纹加入到可疑列表内。

302、从可疑流量起始，继续捕获用户产生的TCP流量，累计收集M条，并通过S1所述指纹生成模块建立指纹，作为查询指纹。

本发明通过指纹判断模块将每次访问网站的指纹模块与指纹库进行对比过程：定义T₁为待对比的查询指纹，S_i为T₁中的第i行，T₂为可疑列表中的一个指纹，S′_j为T₂中的第j行，d_ij为S_i与S′_j的欧氏距离；通过计算T₁和T₂的距离来衡量指纹相似度；具体步骤如下：

401、根据指纹矩阵中不同的TCP会话匹配，即依次遍历T₁中的每一行S_i，与T₂中的每一行S′_j计算欧氏距离，将用户逐条会话TCP流量S_i与指纹库内的一个指纹T₂的所有行S′_j计算欧-氏距离。找到与S_i距离最小的一行S′_n，计S_i与S′_n匹配，距离为d_in；若找到S′_n后，存已有S_m与S′_n匹配，则比较d_mn与d_in的大小；如果d_mn>d_in，则删除S_m和S′_n匹配，改为S_i与S′_n匹配；反之则忽略 S′_n，在其他行中找距离最小的并匹配，依此类推，直到T₂中的流全部匹配完毕； 402、计算所有TCP会话匹配行的距离，为了防止单条流影响全局，单行距离超过100的以 100计；将全部距离求和并除以M，所得值为两个指纹的距离；距离越小，相似度越高。T₁要与可疑列表内的全部指纹都按照上述过程计算一遍距离。当最近的距离小于阈值R时，则认为用户访问了该指纹对应的网站，反之则认为用户没有访问被监控的网站。

本发明应用的参数设置

本发明引入了4个可设置的变量，分别是：单条TCP会话采集TLS带方向有效负载大小序列的长度N，每个指纹包含最大TCP会话数量M，寻找可疑列表时距离阈值K和指纹相似度比较时所需的距离阈值R。对于N，本发明通过使用AlexaTop 20网站流量数据实验发现，如图2所示，左图为本发明应用，右图为基于单流的网站指纹识别方案。当N＝10时，精确度与指纹识别耗时比值最大。对于M，应当根据实际网络环境设置。当网络负载较大时，可能存在较多噪声流、网络延迟大等现象，应当调高M以避免噪声影响；当网络负载较小时，应降低M以加快指纹识别效率。对于R和N，其值会影响指纹识别的灵敏度，应当根据实际需要进行调节。

本发明并不限于上文描述的实施方式。以上对具体实施方式的描述旨在描述和说明本发明的技术方案，上述的具体实施方式仅仅是示意性的，并不是限制性的。在不脱离本发明宗旨和权利要求所保护的范围情况下，本领域的普通技术人员在本发明的启示下还可做出很多形式的具体变换，这些均属于本发明的保护范围之内。

Claims (4)

1.一种基于资源加载树的网站指纹识别方法，其特征在于：包括如下步骤：

S1、根据访问网站的流量通过指纹生成模块提取流量数据的特征构造指纹；其中：所述指纹生成模块通过如下步骤建立：

101、根据访问网站流量数据划分成不同的TCP会话数据获得每条会话数据提取特征向量值；

102、根据TCP会话特征向量值并发建立连接行为获得TCP会话分组数据信息；所述分组数据信息包括：并发建立连接的TCP会话为一组，该组是按照当前TCP会话在发送SYN包时，上个TCP会话仍在三次握手阶段，非并发建立连接的放在不同组；所述分组数据信息按照TCP会话建立连接的顺序进行排序，组间按照组内第一个TCP会话建立连接的顺序进行排序；

103、根据TCP会话分组数据信息和特征向量值构造指纹资源加载树数据信息；其中：所述指纹资源加载树数据信息中树的每一个节点都存放了一个会话的特征向量序列，将每一个会话的特征向量值前添加一个深度值，表示指纹资源加载树数据节点在树中的深度；

根据对捕获到的TCP会话分组数据信息进行排序，将第一组所有会话的深度值记为1，同一组的所有会话的深度值是相同的，不同组的会话的深度值按照顺序递增；

104、根据指纹资源加载树信息生成访问网站的指纹矩阵进行存储；其中：所述访问网站的指纹矩阵是将添加好深度值的所有特征向量按照顺序存成矩阵； 所述访问网站的指纹矩阵每一行均为一个TCP会话，每行的第一个值为深度，其余值为TLS有效负载长度；一个矩阵限制行数不超过M，列数不超过N+1，即最多保存M条TCP会话，每个会话最多保存N个有效负载，超出部分截断处理，缺失部分填充0；将该矩阵作为这段流量的指纹；

S2、根据指纹生成模块中建立所访问的网站指纹信息存储生成指纹库；

S3、根据收集到的用户流量找到可疑流量并通过指纹生成模块提取指纹；

S4、通过指纹判断模块将用户流量的指纹与指纹库内的指纹进行对比。

2.根据权利要求1所述的一种基于资源加载树的网站指纹识别方法，其特征在于：所述指纹库内的指纹通过如下步骤进行除噪处理：

201、根据网站的内容获取访问网站所需的IP地址列表；

202、将访问网站流量中非所需IP地址列表内的流量视为噪声并移除。

3.根据权利要求1所述的一种基于资源加载树的网站指纹识别方法，其特征在于：所述S3步骤中收集用户流量找到可疑流量并通过指纹生成模块提取查询指纹过程：

301、将用户产生的每一条TCP流量都与指纹库内所有指纹的所有行计算欧氏距离，当距离小于一定阈值时，则认为这条TCP流量是可疑流量；

302、从该条TCP流量起始，持续收集用户产生的TCP流量，累计收集M条，并通过S1所述指纹生成模块提取指纹，作为查询指纹。

4.根据权利要求1所述的一种基于资源加载树的网站指纹识别方法，其特征在于：所述S4步骤中通过指纹判断模块将每次访问网站的指纹与指纹库进行对比过程：定义T₁为待对比的查询指纹，S_i为T₁中的第i行，T₂为指纹库中的指纹，S′_j为T₂中的第j行，d_ij为S_i与S′_j的欧氏距离，通过计算T₁和T₂的距离来衡量指纹相似度；具体步骤如下：

401、匹配T₁和T₂内不同TCP会话，其过程是：依次遍历T₁中的每一行S_i，与T₂中的每一行S′_j计算欧氏距离d_ij，找到与S_i距离最小的一行S′_n，记S_i与S′_n匹配，距离为d_in；若找到S′_n后，存在已有S_m与S′_n匹配，则比较d_mn与d_in的大小；如果d_mn>d_in，则删除S_m和S′_n的匹配，改为S_i与S′_n匹配；反之则忽略S′_n，在其他行中找距离最小的并匹配，依此类推，直到T₂中的流全部匹配完毕；

402、计算所有TCP会话匹配行的距离，为了防止单条流影响全局，单行距离超过100的以100计；将全部距离求和并除以M，所得值为两个指纹的距离；距离越小，相似度越高。

Images