CN110062046B - 一种数据访问全路径关联审计方法 - Google Patents

一种数据访问全路径关联审计方法 Download PDF

Info

Publication number
CN110062046B
CN110062046B CN201910331889.4A CN201910331889A CN110062046B CN 110062046 B CN110062046 B CN 110062046B CN 201910331889 A CN201910331889 A CN 201910331889A CN 110062046 B CN110062046 B CN 110062046B
Authority
CN
China
Prior art keywords
access
node
correlation
resource
calculation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910331889.4A
Other languages
English (en)
Other versions
CN110062046A (zh
Inventor
陆明威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Quanzhi Technology Hangzhou Co ltd
Original Assignee
Quanzhi Technology Hangzhou Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Quanzhi Technology Hangzhou Co ltd filed Critical Quanzhi Technology Hangzhou Co ltd
Priority to CN201910331889.4A priority Critical patent/CN110062046B/zh
Publication of CN110062046A publication Critical patent/CN110062046A/zh
Application granted granted Critical
Publication of CN110062046B publication Critical patent/CN110062046B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种数据访问全路径关联审计方法，具体涉及数据安全技术领域，具体审计步骤如下：首先建立中间节点前后的访问关系，生成全部访问日志，设节点A访问节点B，节点B访问节点C，确定节点A对节点B的哪些访问以及节点B对节点C的哪些访问具有因果相关关系；然后将网络访问中通过多个中间服务处理转发、具有因果关系的多个访问日志关联起来。本发明提供一种将数据访问全路径关联起来的方法，将网络访问中通过多个中间服务处理转发、具有因果关系的多个访问日志关联起来，解决了现有技术中只能审计出两个节点之间的访问信息，无法跟踪还原完整的数据访问路径，给审计分析人员带来诸多困难的问题。

Description

一种数据访问全路径关联审计方法
技术领域
本发明涉及数据安全技术领域，更具体地说，本发明涉及一种数据访问全路径关联审计方法。
背景技术
当前大量应用微服务、分布式技术的网络环境中，数据访问操作由终端实体发起，经过多个应用服务、后台服务、中间件服务等，最终到达数据存储服务。每个中间服务都分隔访问链路，同时混杂处理上、下级服务节点的多个请求。简单审计***只能审计出两个节点之间的访问信息，无法跟踪还原完整的数据访问路径，给审计分析人员带来诸多困难。
发明内容
为了克服现有技术的上述缺陷，本发明的实施例提供一种数据访问全路径关联审计方法，通过提供一种将数据访问全路径关联起来的方法，将网络访问中通过多个中间服务处理转发、具有因果关系的多个访问日志关联起来，解决了现有技术中只能审计出两个节点之间的访问信息，无法跟踪还原完整的数据访问路径，给审计分析人员带来诸多困难的问题。
为实现上述目的，本发明提供如下技术方案：一种数据访问全路径关联审计方法，具体审计步骤如下：
S1、由于数据访问中，访问多个服务层生成了原始访问节点、多个中间节点和最终节点，因此首先建立中间节点前后的访问关系，生成全部访问日志，设节点A访问节点B，节点B访问节点C，确定节点A对节点B的哪些访问以及节点B对节点C的哪些访问具有因果相关关系；
S2、然后将网络访问中通过多个中间服务处理转发、具有因果关系的多个访问日志关联起来，具体为：在全流量审计的基础上，经过3轮计算，将各阶段的访问关联起来，描述数据访问的全路径图谱，包括以下步骤；
S2.1、第一轮计算，应用相关系数算法统计中间节点，计算对中间节点的访问和中间节点发出的访问的相关关系，确定对中间节点资源X的访问，触发中间节点对其它节点资源Y的访问；
相关系数算法为：
Figure GDA0003119289640000021
其中，cov(X,Y)为X和Y的协方差，Var[X]为X的方差，Var[Y]为Y的方差；
按照时间区间，分别获取对中间节点资源X的访问和中间节点发出对资源Y的访问的数量；
运用公式，计算X资源的访问和Y资源的访问关系，相关系数r(X,Y)小于0.4时，认为X和Y相关关系弱，在计算X的关联链路中，排除Y的访问；
S2.2、第二轮计算，使用时间轴的约束关系，排除不符合时间约束关系的访问，设资源X的请求时间为Xq，应答时间为Xr，资源Y的请求时间为Yq，应答时间为Yr，则时间轴约束关系必须满足：Xq<Yq<Yr<Xr；
S2.3、第三轮计算，在第二轮计算的基础上，建立X请求和应答的关键字典表，设Xz，以及满足时间约束条件的一系列Y请求和应答的关键字典表Yz1，Yz2，Yz3…；先从X的字典表中排除没有在Yz1，Yz2，Yz3…这些字典中出现的关键字，再根据Y的访问字典，排除没有出现的X后剩下字典的请求；
S2.4、经过三轮计算，得到对于中间节点的每一个访问具体触发的从中间节点发出的访问，从原始访问节点开始，对于经过的每一个被访问节点，计算由前导访问触发的后续访问，直至找不到触发访问的最后一个节点，将计算找到的访问按顺序串联起来，形成完整的数据访问路径，描述数据访问的全路径图谱。
在一个优选地实施方式中，所述节点具体为数据访问中的数据流经或留存的计算机节点。
本发明的技术效果和优点：
本发明提供一种将数据访问全路径关联起来的方法，将网络访问中通过多个中间服务处理转发、具有因果关系的多个访问日志关联起来，解决了现有技术中只能审计出两个节点之间的访问信息，无法跟踪还原完整的数据访问路径，给审计分析人员带来诸多困难的问题。
附图说明
图1为本发明实施例2的整体流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
一种数据访问全路径关联审计方法，具体审计步骤如下：
S1、由于数据访问中，访问多个服务层生成了原始访问节点、多个中间节点和最终节点，因此首先建立中间节点前后的访问关系，生成全部访问日志，设节点A访问节点B，节点B访问节点C，确定节点A对节点B的哪些访问以及节点B对节点C的哪些访问具有因果相关关系；
S2、然后将网络访问中通过多个中间服务处理转发、具有因果关系的多个访问日志关联起来，具体为：在全流量审计的基础上，经过3轮计算，将各阶段的访问关联起来，描述数据访问的全路径图谱，包括以下步骤；
S2.1、第一轮计算，应用相关系数算法统计中间节点，计算对中间节点的访问和中间节点发出的访问的相关关系，确定对中间节点资源X的访问，触发中间节点对其它节点资源Y的访问；
相关系数算法为：
Figure GDA0003119289640000041
其中，cov(X,Y)为X和Y的协方差，Var[X]为X的方差，Var[Y]为Y的方差；
按照时间区间，分别获取对中间节点资源X的访问和中间节点发出对资源Y的访问的数量；
运用公式，计算X资源的访问和Y资源的访问关系，相关系数r(X,Y)小于0.4时，认为X和Y相关关系弱，在计算X的关联链路中，排除Y的访问；
S2.2、第二轮计算，使用时间轴的约束关系，排除不符合时间约束关系的访问，设资源X的请求时间为Xq，应答时间为Xr，资源Y的请求时间为Yq，应答时间为Yr，则时间轴约束关系必须满足：Xq<Yq<Yr<Xr；
S2.3、第三轮计算，在第二轮计算的基础上，建立X请求和应答的关键字典表，设Xz，以及满足时间约束条件的一系列Y请求和应答的关键字典表Yz1，Yz2，Yz3…；先从X的字典表中排除没有在Yz1，Yz2，Yz3…这些字典中出现的关键字，再根据Y的访问字典，排除没有出现的X后剩下字典的请求；
S2.4、经过三轮计算，得到对于中间节点的每一个访问具体触发的从中间节点发出的访问，从原始访问节点开始，对于经过的每一个被访问节点，计算由前导访问触发的后续访问，直至找不到触发访问的最后一个节点，将计算找到的访问按顺序串联起来，形成完整的数据访问路径，描述数据访问的全路径图谱。
所述节点具体为数据访问中的数据流经或留存的计算机节点。
实施方式具体为：通过提供一种将数据访问全路径关联起来的方法，将网络访问中通过多个中间服务处理转发、具有因果关系的多个访问日志关联起来，解决了现有技术中只能审计出两个节点之间的访问信息，无法跟踪还原完整的数据访问路径，给审计分析人员带来诸多困难的问题。
实施例2：
根据图1所示的一种数据访问全路径关联审计方法，具体审计步骤如下：
在全流量审计的基础上，经过3轮计算，将各阶段的访问关联起来，描述数据访问的全路径图谱，包括以下步骤；
S2.1、第一轮计算，应用相关系数算法统计中间节点，计算对中间节点的访问和中间节点发出的访问的相关关系，对于节点A的资源X访问，因果相关的触发A对Y资源的访问；
相关系数算法为：
Figure GDA0003119289640000051
其中，cov(X,Y)为X和Y的协方差，Var[X]为X的方差，Var[Y]为Y的方差；
按照时间区间，分别获取对中间节点资源X的访问和中间节点发出对资源Y的访问的数量；
运用公式，计算X资源的访问和Y资源的访问关系，相关系数r(X,Y)小于0.4时，认为X和Y相关关系弱，在计算X的关联链路中，排除Y的访问；
S2.2、第二轮计算，使用时间轴的约束关系，排除不符合时间约束关系的访问，对于X的一次访问X1，满足时间约束的Y访问有Y1、Y2、Y3等；
S2.3、第三轮计算，在第二轮计算的基础上，建立X请求和应答的关键字典表，Y1、Y2、Y3中，匹配上X1请求应答关键字的为Y2。
最后应说明的几点是：首先，在本申请的描述中，需要说明的是，除非另有规定和限定，术语“安装”、“相连”、“连接”应做广义理解，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变，则相对位置关系可能发生改变；
其次：本发明公开实施例附图中，只涉及到与本公开实施例涉及到的结构，其他结构可参考通常设计，在不冲突情况下，本发明同一实施例及不同实施例可以相互组合；
最后：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种数据访问全路径关联审计方法，其特征在于：具体审计步骤如下：
S1、由于数据访问中，访问多个服务层生成了原始访问节点、多个中间节点和最终节点，因此首先建立中间节点前后的访问关系，生成全部访问日志，设节点A访问节点B，节点B访问节点C，确定节点A对节点B的哪些访问以及节点B对节点C的哪些访问具有因果相关关系；
S2、然后将网络访问中通过多个中间服务处理转发、具有因果关系的多个访问日志关联起来，具体为：在全流量审计的基础上，经过3轮计算，将各阶段的访问关联起来，描述数据访问的全路径图谱，包括以下步骤；
S2.1、第一轮计算，应用相关系数算法统计中间节点，计算对中间节点的访问和中间节点发出的访问的相关关系，确定对中间节点资源X的访问，触发中间节点对其它节点资源Y的访问；
相关系数算法为：
Figure FDA0003119289630000011
其中，cov(X,Y)为X和Y的协方差，Var[X]为X的方差，Var[Y]为Y的方差；
按照时间区间，分别获取对中间节点资源X的访问和中间节点发出对资源Y的访问的数量；
运用公式，计算X资源的访问和Y资源的访问关系，相关系数r(X,Y)小于0.4时，认为X和Y相关关系弱，在计算X的关联链路中，排除Y的访问；
S2.2、第二轮计算，使用时间轴的约束关系，排除不符合时间约束关系的访问，设资源X的请求时间为Xq，应答时间为Xr，资源Y的请求时间为Yq，应答时间为Yr，则时间轴约束关系必须满足：Xq<Yq<Yr<Xr；
S2.3、第三轮计算，在第二轮计算的基础上，建立X请求和应答的关键字典表，设Xz，以及满足时间约束条件的一系列Y请求和应答的关键字典表Yz1，Yz2，Yz3…；先从X的字典表中排除没有在Yz1，Yz2，Yz3…这些字典中出现的关键字，再根据Y的访问字典，排除没有出现的X后剩下字典的请求；
S2.4、经过三轮计算，得到对于中间节点的每一个访问具体触发的从中间节点发出的访问，从原始访问节点开始，对于经过的每一个被访问节点，计算由前导访问触发的后续访问，直至找不到触发访问的最后一个节点，将计算找到的访问按顺序串联起来，形成完整的数据访问路径，描述数据访问的全路径图谱。
2.根据权利要求1所述的一种数据访问全路径关联审计方法，其特征在于：所述节点具体为数据访问中的数据流经或留存的计算机节点。
CN201910331889.4A 2019-04-24 2019-04-24 一种数据访问全路径关联审计方法 Active CN110062046B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910331889.4A CN110062046B (zh) 2019-04-24 2019-04-24 一种数据访问全路径关联审计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910331889.4A CN110062046B (zh) 2019-04-24 2019-04-24 一种数据访问全路径关联审计方法

Publications (2)

Publication Number Publication Date
CN110062046A CN110062046A (zh) 2019-07-26
CN110062046B true CN110062046B (zh) 2021-08-13

Family

ID=67320389

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910331889.4A Active CN110062046B (zh) 2019-04-24 2019-04-24 一种数据访问全路径关联审计方法

Country Status (1)

Country Link
CN (1) CN110062046B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104954219A (zh) * 2014-03-27 2015-09-30 北京奇虎科技有限公司 Cdn网络访问路径优化方法、装置及***
CN107276858A (zh) * 2017-08-17 2017-10-20 深信服科技股份有限公司 一种访问关系梳理方法及***
CN108880840A (zh) * 2017-05-10 2018-11-23 中兴通讯股份有限公司 获取访问路径的方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6533771B2 (ja) * 2016-11-15 2019-06-19 富士通株式会社 通信方法、装置、及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104954219A (zh) * 2014-03-27 2015-09-30 北京奇虎科技有限公司 Cdn网络访问路径优化方法、装置及***
CN108880840A (zh) * 2017-05-10 2018-11-23 中兴通讯股份有限公司 获取访问路径的方法和装置
CN107276858A (zh) * 2017-08-17 2017-10-20 深信服科技股份有限公司 一种访问关系梳理方法及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
网络数据库访问路径关联特征分析查询优化;张延芳 等;《计算机仿真》;20150930;第32卷(第9期);全文 *

Also Published As

Publication number Publication date
CN110062046A (zh) 2019-07-26

Similar Documents

Publication Publication Date Title
Ouyang et al. Critical infrastructure vulnerability to spatially localized failures with applications to Chinese railway system
Malloy et al. Supporting mobile commerce applications using dependable wireless networks
CN111209178A (zh) 全链路瓶颈测试方法及***
CN109858828B (zh) 一种配电网定值自动整定方法、装置及配网***
WO2021004058A1 (zh) 基于区块链的数据处理方法和装置
CN101614781A (zh) 一种基于空间规则索引的广电设备故障智能诊断方法
de QV Lima et al. Performability evaluation of emergency call center
CN110188307A (zh) 一种多租户数据隔离方法、服务器及***
CN105096034B (zh) 电子政务的实现方法和电子政务***
CN103780687A (zh) 一种基于位置的多数据中心云桌面管理方法
CN109902118B (zh) 一种用于政府数据开放的数据资源跨网交换***及方法
CN113191062B (zh) 基于多源不完整信息的配电网故障区段定位方法及***
CN110062046B (zh) 一种数据访问全路径关联审计方法
CN112436962B (zh) 区块链共识网络动态扩展方法、电子设备、***及介质
Lee et al. Approximate analysis for the merge configuration of an open queueing network with blocking
CN111404737A (zh) 一种容灾处理方法以及相关装置
CN114595051B (zh) 一种增强云计算协作数据处理的方法、***及电子设备
Daemi et al. Detailed reliability assessment of composite power systems considering load variation and weather conditions using the Bayesian network
CN111953546B (zh) 基于区块链***的物联网设备管理方法和智能家居***
Bistouni et al. Remove and contraction: A novel method for calculating the reliability of Ethernet ring mesh networks
CN113923096B (zh) 网元故障预警方法、装置、电子设备及存储介质
Bauer Jr et al. Estimation procedures based on control variates with known covariance matrix
CN114285786A (zh) 一种网络链路库的构建方法及装置
CN110826874B (zh) 一种考虑时变因素的社区配电网动态风险评估方法及装置
CN108038782B (zh) 一种用于证券交易的安全***及用于证券交易的安全校验方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant