CN112491602A - 行为数据的监控方法、装置、计算机设备及介质 - Google Patents

行为数据的监控方法、装置、计算机设备及介质 Download PDF

Info

Publication number
CN112491602A
CN112491602A CN202011286429.3A CN202011286429A CN112491602A CN 112491602 A CN112491602 A CN 112491602A CN 202011286429 A CN202011286429 A CN 202011286429A CN 112491602 A CN112491602 A CN 112491602A
Authority
CN
China
Prior art keywords
log
behavior
user identifier
target
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011286429.3A
Other languages
English (en)
Other versions
CN112491602B (zh
Inventor
邱贵昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Property and Casualty Insurance Company of China Ltd
Original Assignee
Ping An Property and Casualty Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Property and Casualty Insurance Company of China Ltd filed Critical Ping An Property and Casualty Insurance Company of China Ltd
Priority to CN202011286429.3A priority Critical patent/CN112491602B/zh
Publication of CN112491602A publication Critical patent/CN112491602A/zh
Application granted granted Critical
Publication of CN112491602B publication Critical patent/CN112491602B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3438—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment monitoring of user actions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/14—Details of searching files based on file metadata
    • G06F16/148—File search processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/185—Hierarchical storage management [HSM] systems, e.g. file migration or policies thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Library & Information Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明涉及人工智能领域，公开了一种行为数据的监控方法、装置、计算机设备及存储介质，包括：在每次检测到访问请求时，从访问请求中获取用户标识，并基于用户标识，生成随机字符串，将随机字符串加入到请求报文和响应报文中，并根据请求报文和响应报文，生成日志数据，将日志数据存储到日志云平台，在接收到针对用户操作行为的查询请求时，获取查询请求中包含的用户标识，作为目标用户标识，并从日志云平台中，获取目标用户标识对应的日志数据，作为目标日志，对目标日志进行行为轨迹分析，得到目标用户标识对应的可视化行为轨迹，基于可视化行为轨迹，判断目标用户标识对应的操作行为是否异常，本发明提高行为数据的监控效率。

Description

行为数据的监控方法、装置、计算机设备及介质
技术领域
本发明涉及人工智能领域，尤其涉及一种行为数据的监控方法、装置、计算机设备及介质。
背景技术
随着社会经济的飞速发展，一些企业单位涉及的业务范围越来越广泛，大多企业采用分布式的日志云平台，存储不同的业务站点或者APP的日志，现有日志云平台，主要模块包括日志采集，日志解析，日志存储，日志搜索，日志分析等模块组成。收集海量日志数据，将其根据字段切割存储，一来方便开发者查看日志，定位问题，二来根据日志进行统计分析，挖掘数据。企业***多，主机数量大，没有统一的日志云平台，难以对一些安全事件审计或业务异常访问进行全量关联分析。统一的日志云平台是企业安全监控，数据挖掘的重要平台。
现有的日志云平台只能看到固定一条记录，未能串联起来分析。很看分析出某一条日志是从哪来，到哪去，从哪个页面，哪个***发起请求，跳转到看哪个***，整个流程。需要调查业务员的账号是否有异常时，由于时序乱，难以关联所有跳转的***分析该请求是客户发起的请求是否为正常请求，使得对用户行为数据监控效率较低。
发明内容
本发明实施例提供一种行为数据的监控方法、装置、计算机设备和存储介质，以提高行为数据的监控效率。
为了解决上述技术问题，本申请实施例提供一种行为数据的监控方法，包括：
在每次检测到访问请求时，从所述访问请求中获取用户标识，并基于所述用户标识，生成随机字符串；
将所述随机字符串加入到请求报文和响应报文中，并根据所述请求报文和所述响应报文，生成日志数据，将所述日志数据存储到日志云平台；
若接收到针对用户操作行为的查询请求，则获取所述查询请求中包含的用户标识，作为目标用户标识，并从所述日志云平台中，获取所述目标用户标识对应的日志数据，作为目标日志；
对所述目标日志进行行为轨迹分析，得到所述目标用户标识对应的可视化行为轨迹；
基于所述可视化行为轨迹，判断所述目标用户标识对应的操作行为是否异常。
可选地，所述请求报文和响应报文包含日志跳转参数字段，所述将所述随机字符串加入到请求报文和响应报文中包括：
对所述请求报文进行解析，并将所述随机字符串加入到所述请求报文的日志跳转参数字段中，得到更新后的请求报文；
基于所述更新后的请求报文，生成所述响应报文。
可选地，所述将所述日志数据存储到日志云平台包括：
采用定时脚本，按照预设时间间隔收集所述日志数据，并对收集到的日志数据进行压缩，得到压缩后的数据；
将所述压缩后的日志数据上传到分布式文件***中进行存储；
对存储在分布式文件***中的所述程序运行日志进行切片，构成多个切片任务，并对每个切片任务对应的日志文件进行分析；
对分析后的每个切片任务对应的日志文件按请求接口路径，把数据归类统计结果存入到日志云平台。
可选地，所述查询请求包括查询时间范围和查询路径范围，所述从所述日志云平台中，获取所述目标用户标识对应的日志数据，作为目标日志包括：
基于所述查询时间范围和查询路径范围，在所述日志云平台中执行查询处理，得到初始查询结果；
对所述初始查询结果进行遍历，获取包含所述目标用户标识的日志数据，作为所述目标日志。
可选地，所述对所述目标日志进行行为轨迹分析，得到所述目标用户标识对应的可视化行为轨迹包括：
获取每个目标日志中包含的随机字符串，将具有相同随机字符串的目标日志，作为一组行为日志；
针对每组所述行为日志，按照日志生成时间点进行排序，得到所述行为日志对应的访问序列；
针对每个所述访问序列，提取所述访问序列中的每个日志的行为记录，并根据所述访问序列中行为日志的顺序，对所述行为记录进行串联，得到行为轨迹。
可选地，在所述基于所述可视化行为轨迹，判断所述目标用户标识对应的操作行为是否异常之后，所述行为数据的监控方法还包括：
若判断结果为所述目标用户标识对应的操作行为存在异常，则根据预设的预警方式执行预警处理。
为了解决上述技术问题，本申请实施例还提供一种行为数据的监控装置，包括：
字符串生成模块，用于在每次检测到访问请求时，从所述访问请求中获取用户标识，并基于所述用户标识，生成随机字符串；
日志采集模块，用于将所述随机字符串加入到请求报文和响应报文中，并根据所述请求报文和所述响应报文，生成日志数据，将所述日志数据存储到日志云平台；
日志查询模块，用于若接收到针对用户操作行为的查询请求，则获取所述查询请求中包含的用户标识，作为目标用户标识，并从所述日志云平台中，获取所述目标用户标识对应的日志数据，作为目标日志；
行为可视化模块，用于对所述目标日志进行行为轨迹分析，得到所述目标用户标识对应的可视化行为轨迹；
异常判断模块，用于基于所述可视化行为轨迹，判断所述目标用户标识对应的操作行为是否异常。
可选地，所述日志采集模块包括：
请求报文更新单元，用于对所述请求报文进行解析，并将所述随机字符串加入到所述请求报文的日志跳转参数字段中，得到更新后的请求报文；
响应报文生成单元，用于基于所述更新后的请求报文，生成所述响应报文。
可选地，所述日志采集模块还包括：
定时采集单元，用于采用定时脚本，按照预设时间间隔收集所述日志数据，并对收集到的日志数据进行压缩，得到压缩后的数据；
分布式传输单元，用于将所述压缩后的日志数据上传到分布式文件***中进行存储；
切片分析单元，用于对存储在分布式文件***中的所述程序运行日志进行切片，构成多个切片任务，并对每个切片任务对应的日志文件进行分析；
归类存储单元，用于对分析后的每个切片任务对应的日志文件按请求接口路径，把数据归类统计结果存入到日志云平台。
可选地，所述日志查询模块包括：
初始查询单元，用于基于所述查询时间范围和查询路径范围，在所述日志云平台中执行查询处理，得到初始查询结果；
遍历查询单元，用于对所述初始查询结果进行遍历，获取包含所述目标用户标识的日志数据，作为所述目标日志。
可选地，所述行为可视化模块包括：
分组单元，用于获取每个目标日志中包含的随机字符串，将具有相同随机字符串的目标日志，作为一组行为日志；
排序单元，用于针对每组所述行为日志，按照日志生成时间点进行排序，得到所述行为日志对应的访问序列；
日志关联单元，用于针对每个所述访问序列，提取所述访问序列中的每个日志的行为记录，并根据所述访问序列中行为日志的顺序，对所述行为记录进行串联，得到行为轨迹。
可选地，所述行为数据的监控装置还包括：
预警模块，用于若判断结果为所述目标用户标识对应的操作行为存在异常，则根据预设的预警方式执行预警处理。
为了解决上述技术问题，本申请实施例还提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述行为数据的监控方法的步骤。
为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述行为数据的监控方法的步骤。
本发明实施例提供的行为数据的监控方法、装置、计算机设备及存储介质，在每次检测到访问请求时，从访问请求中获取用户标识，并基于用户标识，生成随机字符串，将随机字符串加入到请求报文和响应报文中，并根据请求报文和响应报文，生成日志数据，将日志数据存储到日志云平台，通过每次行为生成不同的随机码，区分同一用户不同次的访问行为的日志数据，有利于提高后续日志查询的准确性，同时，在接收到针对用户操作行为的查询请求时，获取查询请求中包含的用户标识，作为目标用户标识，并从日志云平台中，获取目标用户标识对应的日志数据，作为目标日志，对目标日志进行行为轨迹分析，得到目标用户标识对应的可视化行为轨迹，基于可视化行为轨迹，判断目标用户标识对应的操作行为是否异常，实现可视化对行为轨迹的分析判断，提高行为数据的监控效率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请可以应用于其中的示例性***架构图；
图2是本申请的行为数据的监控方法的一个实施例的流程图；
图3是根据本申请的行为数据的监控装置的一个实施例的结构示意图；
图4是根据本申请的计算机设备的一个实施例的结构示意图。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，如图1所示，***架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture E界面显示perts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving PictureE界面显示perts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
需要说明的是，本申请实施例所提供的行为数据的监控方法由服务器执行，相应地，行为数据的监控装置设置于服务器中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器，本申请实施例中的终端设备101、102、103具体可以对应的是实际生产中的应用***。
请参阅图2，图2示出本发明实施例提供的一种行为数据的监控方法，以该方法应用在图1中的服务端为例进行说明，详述如下：
S201：在每次检测到访问请求时，从访问请求中获取用户标识，并基于用户标识，生成随机字符串。
具体地，本实施例应用在多应用***的场景中，在每次检测到访问请求后，均从该访问请求中获取用户标识，并基于用户标识，生成随机字符串。
其中，用户标识具体可以是用户名称、用户证件号码、用户工号等用于唯一确定用户身份的符号，其具体可以是文字、数字、字母中的一种或者多种组合。
其中，基于用户标识生成随机字符串，可根据实际需要设定生成方式，例如，采用用户标识和特定的加密算法进行随机字符串生成等，此处不做限定。
S202：将随机字符串加入到请求报文和响应报文中，并根据请求报文和响应报文，生成日志数据，将日志数据存储到日志云平台。
具体地，原有的请求报文和响应报文中包含源IP、目标IP、uuid、UID和操作时间等，在本申请提案中，将步骤S10中根据用户标识生成的随机字符串加入到请求报文和响应报文中，使得在生成日志数据时，生成的日志文件中包含该用户标识对应的随机字符串，并将生成的日志数据，存储到日志云平台。
容易理解地，本实施例的应用场景为包含多应用***，因而，在传统的日志平台中，不同***的日志文件的存储位置可能不同，在用户使用多个***时，很难分析出某一条日志的跳转地址(从哪来)，目标地址(到哪去)，请求来源(从哪个页面，哪个***发起请求)等，整个流程，使得日志分析，对于多个***关联的访问日志，难以进行关联分析，日志杂乱无序，是日志分析的一个的难点。本实施例中，基于原来的日志云平台，收集日志，用户访问请求包，响应包(html,js,jpg,css等非必要敏感字段，可以收集响应宝)，基本要素，如源IP，目地IP，uuid，UID，user-agent，x-forward-for，time等，而本实施例中，对原有的日志云平台进行改造，在每个请求报文和响应报文中加入一个字段日志跳转参数，后台根据用户请求，生成随机字符串，用于标识跟踪该用户访问日志跳转情况，使得用户的每个请求访问日志，***与***跳转的访问日志，都能有序的串联起来。
根据该字段查找用户点击某个链接或查询某个数据后跳转的***，将用户访问日志收集存储。使得后续在日志云平台上，若需查看某个用户点浏览击行为，搜索到该用户任意一条日志，即可根据跳转参数的字符串将客户行为轨迹可视化，可清楚看出该用户的访问行为。
需要说明的是，日志云平台为分布式的日志存储云平台，通过分布式存储的方式，有利于后续在进行日志分析和检索时，通过分布式任务的方式进行处理，提高处理效率。
S203：若接收到针对用户操作行为的查询请求，则获取查询请求中包含的用户标识，作为目标用户标识，并从日志云平台中，获取目标用户标识对应的日志数据，作为目标日志。
具体地，在接收到用户操作行为的查询请求时，从获取该查询请求中包含的用户标识，作为目标用户标识，并从日志云平台中，查询得到该目标用户标识对应的日志数据，作为目标数据。
应理解，步骤S201和步骤S202中，将每个用户标识的每次访问请求，均加入随机字符串并生成日志文件，并保存到日志云平台，使得日志云平台中包含多个用户标识的多次查询记录，为提高查询效率，本实施例提供一种优选方式，在用户操作行为的查询请求中，限定查询的时间范围和查询的***范围，以便减少查询的数据量，提高查询效率，同时，也减少目标日志的数据，有利于后续对用户行为轨迹的精准定位。
S204：对目标日志进行行为轨迹分析，得到目标用户标识对应的可视化行为轨迹。
具体地，对得到的目标日志进行数据分析，确定用户操作行为的行为轨迹，在对行为轨迹进行可视化处理，针对行为轨迹的可视化，可采用数据可视化工具建模来实现，场景的数据可视化工具包括但不限于：Leaflet、阿里DataV等。对目标日志进行行为轨迹分析，得到目标用户标识对应的可视化行为轨迹的具体过程，可参考后续实施例的描述，为避免重复，此处不再赘述。
S205：基于可视化行为轨迹，判断目标用户标识对应的操作行为是否异常。
具体地，根据可视化的行为轨迹，与达到目标操作需要实行的操作进行对比，判断目标用户标识对应的操作行为是否异常，若异常，则根据两者之间的差异，进行异常原因的分析并进行预警。
在一具体实施方式中，根据获取到的可视化行为轨迹，当日志未记录js，html，jpg文件请求时，直接访问该接口，查询数据，该用户的账号有可能使用爬虫或机器人在遍历爬取数据，对于业务员异常操作行为日志，精确定位，并发出预警邮件，及时通知处理。
本实施例中，在每次检测到访问请求时，从访问请求中获取用户标识，并基于用户标识，生成随机字符串，将随机字符串加入到请求报文和响应报文中，并根据请求报文和响应报文，生成日志数据，将日志数据存储到日志云平台，通过每次行为生成不同的随机码，区分同一用户不同次的访问行为的日志数据，有利于提高后续日志查询的准确性，同时，在接收到针对用户操作行为的查询请求时，获取查询请求中包含的用户标识，作为目标用户标识，并从日志云平台中，获取目标用户标识对应的日志数据，作为目标日志，对目标日志进行行为轨迹分析，得到目标用户标识对应的可视化行为轨迹，基于可视化行为轨迹，判断目标用户标识对应的操作行为是否异常，实现可视化对行为轨迹的分析判断，提高行为数据的监控效率。
在本实施例的一些可选的实现方式中，步骤S201中，请求报文和响应报文包含日志跳转参数字段，将随机字符串加入到请求报文和响应报文中包括：
对请求报文进行解析，并将随机字符串加入到请求报文的日志跳转参数字段中，得到更新后的请求报文；
基于更新后的请求报文，生成响应报文。
本实施例中，通过将生成的随机字符串加入到请求报文中，使得每次行为具有同一随机字符串，不同行为字符串不相同，提高后续同一用户每次行为分组的准确性。
在本实施例的一些可选的实现方式中，步骤S202中，将日志数据存储到日志云平台包括：
采用定时脚本，按照预设时间间隔收集日志数据，并对收集到的日志数据进行压缩，得到压缩后的数据；
将压缩后的日志数据上传到分布式文件***中进行存储；
对存储在分布式文件***中的程序运行日志进行切片，构成多个切片任务，并对每个切片任务对应的日志文件进行分析；
对分析后的每个切片任务对应的日志文件按请求接口路径，把数据归类统计结果存入到日志云平台。
其中，预设时间间隔可根据实际需求进行设定。
具体地，通过采用定时脚本，按照预设时间间隔收集日志数据，并对收集到的日志数据进行压缩，并通过分布式文件***进行存储，在进行切片分析，将分析结果存入到日志云平台，后续直接通过分析好的结果进行查询获取结果即可，有利于提高后续可视化轨迹的生成效率。
在本实施例的一些可选的实现方式中，步骤S203中，查询请求包括查询时间范围和查询路径范围，从日志云平台中，获取目标用户标识对应的日志数据，作为目标日志包括：
基于查询时间范围和查询路径范围，在日志云平台中执行查询处理，得到初始查询结果；
对初始查询结果进行遍历，获取包含目标用户标识的日志数据，作为目标日志。
具体地，先根据查询时间范围和查询路径范围，在日志云平台中执行查询处理，得到初始查询结果，再从初步查询结果中遍历包含目标用户标识的日志数据，作为目标日志，提高了查询效率。
其中，查询时间范围是指查询的时间区间，例如2020年3月2日至2020年3月5日，查询路径范围是指查询产生日志对应的***或应用程序。
在本实施例中，通过在用户操作行为的查询请求中，限定查询的时间范围和查询的***范围，以便减少查询的数据量，提高查询效率，同时，也减少目标日志的数据，有利于后续对用户行为轨迹的精准定位。
在本实施例的一些可选的实现方式中，步骤S204中，对目标日志进行行为轨迹分析，得到目标用户标识对应的可视化行为轨迹包括：
获取每个目标日志中包含的随机字符串，将具有相同随机字符串的目标日志，作为一组行为日志；
针对每组行为日志，按照日志生成时间点进行排序，得到行为日志对应的访问序列；
针对每个访问序列，提取访问序列中的每个日志的行为记录，并根据访问序列中行为日志的顺序，对行为记录进行串联，得到行为轨迹。
具体地，通过将相同随机字符串的目标日志分到一组，实现每个用户每次访问行为日志的单独打包，进而按照时间点进行排序，得到行为日志对应的访问序列，针对每个访问序列，提取访问序列中的每个日志的行为记录，并根据访问序列中行为日志的顺序，对行为记录进行串联，得到行为轨迹。
其中，对行为记录进行串联，具体可以采用可视化工具，获取行为记录的时间、对应访问路径和访问行为，并将这些数据作为一个节点数据输入到可视化工具中，通过可视化工具将每个节点数据进行串联，得到行为轨迹。
本实施例中，通对目标日志进行行为轨迹分析，得到目标用户标识对应的可视化行为轨迹，有利于后续通过可视化行为轨迹快速确定是否存在异常，有利于提高行为数据的监控效率。
在本实施例的一些可选的实现方式中，步骤S205之后该行为数据的监控方法还包括：
若判断结果为目标用户标识对应的操作行为存在异常，则根据预设的预警方式执行预警处理。
具体地，在判断结果为目标用户标识对应的操作行为存在异常时，触发预警，根据预设的预警方式执行预警处理。
其中，预设的预警方式可以根据异常行为的程度来分为不同的预警层次，例如，分为通知提醒、邮件预警和电话预警等
本实施例中，通过对异常行为进行预警，有利于提高异常行为预警的及时性。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
图3示出与上述实施例行为数据的监控方法一一对应的行为数据的监控装置的原理框图。如图3所示，该行为数据的监控装置包括字符串生成模块31、日志采集模块32、日志查询模块33、行为可视化模块34和异常判断模块35。各功能模块详细说明如下：
字符串生成模块31，用于在每次检测到访问请求时，从访问请求中获取用户标识，并基于用户标识，生成随机字符串；
日志采集模块32，用于将随机字符串加入到请求报文和响应报文中，并根据请求报文和响应报文，生成日志数据，将日志数据存储到日志云平台；
日志查询模块33，用于若接收到针对用户操作行为的查询请求，则获取查询请求中包含的用户标识，作为目标用户标识，并从日志云平台中，获取目标用户标识对应的日志数据，作为目标日志；
行为可视化模块34，用于对目标日志进行行为轨迹分析，得到目标用户标识对应的可视化行为轨迹；
异常判断模块35，用于基于可视化行为轨迹，判断目标用户标识对应的操作行为是否异常。
可选地，日志采集模块32包括：
请求报文更新单元，用于对请求报文进行解析，并将随机字符串加入到请求报文的日志跳转参数字段中，得到更新后的请求报文；
响应报文生成单元，用于基于更新后的请求报文，生成响应报文。
可选地，日志采集模块32还包括：
定时采集单元，用于采用定时脚本，按照预设时间间隔收集日志数据，并对收集到的日志数据进行压缩，得到压缩后的数据；
分布式传输单元，用于将压缩后的日志数据上传到分布式文件***中进行存储；
切片分析单元，用于对存储在分布式文件***中的程序运行日志进行切片，构成多个切片任务，并对每个切片任务对应的日志文件进行分析；
归类存储单元，用于对分析后的每个切片任务对应的日志文件按请求接口路径，把数据归类统计结果存入到日志云平台。
可选地，日志查询模块33包括：
初始查询单元，用于基于查询时间范围和查询路径范围，在日志云平台中执行查询处理，得到初始查询结果；
遍历查询单元，用于对初始查询结果进行遍历，获取包含目标用户标识的日志数据，作为目标日志。
可选地，行为可视化模块34包括：
分组单元，用于获取每个目标日志中包含的随机字符串，将具有相同随机字符串的目标日志，作为一组行为日志；
排序单元，用于针对每组行为日志，按照日志生成时间点进行排序，得到行为日志对应的访问序列；
日志关联单元，用于针对每个访问序列，提取访问序列中的每个日志的行为记录，并根据访问序列中行为日志的顺序，对行为记录进行串联，得到行为轨迹。
可选地，行为数据的监控装置还包括：
预警模块，用于若判断结果为目标用户标识对应的操作行为存在异常，则根据预设的预警方式执行预警处理。
关于行为数据的监控装置的具体限定可以参见上文中对于行为数据的监控方法的限定，在此不再赘述。上述行为数据的监控装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图4，图4为本实施例计算机设备基本结构框图。
所述计算机设备4包括通过***总线相互通信连接存储器41、处理器42、网络接口43。需要指出的是，图中仅示出了具有组件连接存储器41、处理器42、网络接口43的计算机设备4，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器41至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或D界面显示存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器41可以是所述计算机设备4的内部存储单元，例如该计算机设备4的硬盘或内存。在另一些实施例中，所述存储器41也可以是所述计算机设备4的外部存储设备，例如该计算机设备4上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，所述存储器41还可以既包括所述计算机设备4的内部存储单元也包括其外部存储设备。本实施例中，所述存储器41通常用于存储安装于所述计算机设备4的操作***和各类应用软件，例如电子文件的控制的程序代码等。此外，所述存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器42在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42通常用于控制所述计算机设备4的总体操作。本实施例中，所述处理器42用于运行所述存储器41中存储的程序代码或者处理数据，例如运行电子文件的控制的程序代码。
所述网络接口43可包括无线网络接口或有线网络接口，该网络接口43通常用于在所述计算机设备4与其他电子设备之间建立通信连接。
本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有界面显示程序，所述界面显示程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的行为数据的监控方法的步骤。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

Claims (10)

1.一种行为数据的监控方法，其特征在于，所述行为数据的监控方法包括：
在每次检测到访问请求时，从所述访问请求中获取用户标识，并基于所述用户标识，生成随机字符串；
将所述随机字符串加入到请求报文和响应报文中，并根据所述请求报文和所述响应报文，生成日志数据，将所述日志数据存储到日志云平台；
若接收到针对用户操作行为的查询请求，则获取所述查询请求中包含的用户标识，作为目标用户标识，并从所述日志云平台中，获取所述目标用户标识对应的日志数据，作为目标日志；
对所述目标日志进行行为轨迹分析，得到所述目标用户标识对应的可视化行为轨迹；
基于所述可视化行为轨迹，判断所述目标用户标识对应的操作行为是否异常。
2.如权利要求1所述的行为数据的监控方法，其特征在于，所述请求报文和响应报文包含日志跳转参数字段，所述将所述随机字符串加入到请求报文和响应报文中包括：
对所述请求报文进行解析，并将所述随机字符串加入到所述请求报文的日志跳转参数字段中，得到更新后的请求报文；
基于所述更新后的请求报文，生成所述响应报文。
3.如权利要求1所述的行为数据的监控方法，其特征在于，所述将所述日志数据存储到日志云平台包括：
采用定时脚本，按照预设时间间隔收集所述日志数据，并对收集到的日志数据进行压缩，得到压缩后的数据；
将所述压缩后的日志数据上传到分布式文件***中进行存储；
对存储在分布式文件***中的所述程序运行日志进行切片，构成多个切片任务，并对每个切片任务对应的日志文件进行分析；
对分析后的每个切片任务对应的日志文件按请求接口路径，把数据归类统计结果存入到日志云平台。
4.如权利要求1所述的行为数据的监控方法，其特征在于，所述查询请求包括查询时间范围和查询路径范围，所述从所述日志云平台中，获取所述目标用户标识对应的日志数据，作为目标日志包括：
基于所述查询时间范围和查询路径范围，在所述日志云平台中执行查询处理，得到初始查询结果；
对所述初始查询结果进行遍历，获取包含所述目标用户标识的日志数据，作为所述目标日志。
5.如权利要求1至4任一项所述的行为数据的监控方法，其特征在于，所述对所述目标日志进行行为轨迹分析，得到所述目标用户标识对应的可视化行为轨迹包括：
获取每个目标日志中包含的随机字符串，将具有相同随机字符串的目标日志，作为一组行为日志；
针对每组所述行为日志，按照日志生成时间点进行排序，得到所述行为日志对应的访问序列；
针对每个所述访问序列，提取所述访问序列中的每个日志的行为记录，并根据所述访问序列中行为日志的顺序，对所述行为记录进行串联，得到行为轨迹。
6.如权利要求1所述的行为数据的监控方法，其特征在于，在所述基于所述可视化行为轨迹，判断所述目标用户标识对应的操作行为是否异常之后，所述行为数据的监控方法还包括：
若判断结果为所述目标用户标识对应的操作行为存在异常，则根据预设的预警方式执行预警处理。
7.一种行为数据的监控装置，其特征在于，所述行为数据的监控装置包括：
字符串生成模块，用于在每次检测到访问请求时，从所述访问请求中获取用户标识，并基于所述用户标识，生成随机字符串；
日志采集模块，用于将所述随机字符串加入到请求报文和响应报文中，并根据所述请求报文和所述响应报文，生成日志数据，将所述日志数据存储到日志云平台；
日志查询模块，用于若接收到针对用户操作行为的查询请求，则获取所述查询请求中包含的用户标识，作为目标用户标识，并从所述日志云平台中，获取所述目标用户标识对应的日志数据，作为目标日志；
行为可视化模块，用于对所述目标日志进行行为轨迹分析，得到所述目标用户标识对应的可视化行为轨迹；
异常判断模块，用于基于所述可视化行为轨迹，判断所述目标用户标识对应的操作行为是否异常。
8.如权利要求7所述的行为数据的监控装置，其特征在于，所述日志采集模块包括：
请求报文更新单元，用于对所述请求报文进行解析，并将所述随机字符串加入到所述请求报文的日志跳转参数字段中，得到更新后的请求报文；
响应报文生成单元，用于基于所述更新后的请求报文，生成所述响应报文。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的行为数据的监控方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的行为数据的监控方法。
CN202011286429.3A 2020-11-17 2020-11-17 行为数据的监控方法、装置、计算机设备及介质 Active CN112491602B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011286429.3A CN112491602B (zh) 2020-11-17 2020-11-17 行为数据的监控方法、装置、计算机设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011286429.3A CN112491602B (zh) 2020-11-17 2020-11-17 行为数据的监控方法、装置、计算机设备及介质

Publications (2)

Publication Number Publication Date
CN112491602A true CN112491602A (zh) 2021-03-12
CN112491602B CN112491602B (zh) 2023-09-26

Family

ID=74931646

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011286429.3A Active CN112491602B (zh) 2020-11-17 2020-11-17 行为数据的监控方法、装置、计算机设备及介质

Country Status (1)

Country Link
CN (1) CN112491602B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113127319A (zh) * 2021-04-06 2021-07-16 北京大米科技有限公司 一种信息监控方法、相关装置及计算机存储介质
CN113407415A (zh) * 2021-06-28 2021-09-17 四川虹美智能科技有限公司 智能终端的日志管理方法和装置
CN113592919A (zh) * 2021-08-02 2021-11-02 金茂智慧科技(广州)有限公司 安防控制方法及相关装置
CN113608907A (zh) * 2021-07-21 2021-11-05 阿里巴巴（中国）有限公司 数据库审计方法、装置、设备、***及存储介质
CN114040312A (zh) * 2021-11-29 2022-02-11 四川虹美智能科技有限公司 语音空调的麦克风检测方法及***
CN114499962A (zh) * 2021-12-24 2022-05-13 深圳开源互联网安全技术有限公司 文件检测方法、装置、计算机设备和存储介质
CN115514779A (zh) * 2022-09-30 2022-12-23 湖北大学 一种网络日志的记录方法及***

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104252453A (zh) * 2013-06-25 2014-12-31 腾讯科技（深圳）有限公司 网页推荐位内容访问轨迹写操作的检测方法和***
CN105592121A (zh) * 2014-10-31 2016-05-18 中国科学院声学研究所 一种rdp数据采集装置及方法
CN107609871A (zh) * 2017-09-07 2018-01-19 携程旅游网络技术（上海）有限公司 支付轨迹重现方法、装置、***、电子设备、存储介质
CN108108495A (zh) * 2018-01-19 2018-06-01 厦门欣旅通科技有限公司 一种识别用户访问轨迹的方法及装置
CN108737549A (zh) * 2018-05-25 2018-11-02 江苏联盟信息工程有限公司 一种大数据量的日志分析方法及装置
CN108829693A (zh) * 2018-04-13 2018-11-16 拉扎斯网络科技（上海）有限公司 一种用户访问轨迹的获取方法、装置及存储介质
CN110659349A (zh) * 2019-09-23 2020-01-07 深圳前海微众银行股份有限公司 日志查询方法、装置、设备及计算机可读存储介质
CN111199423A (zh) * 2019-12-25 2020-05-26 平安证券股份有限公司 用户行为轨迹生成方法、装置、设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104252453A (zh) * 2013-06-25 2014-12-31 腾讯科技（深圳）有限公司 网页推荐位内容访问轨迹写操作的检测方法和***
CN105592121A (zh) * 2014-10-31 2016-05-18 中国科学院声学研究所 一种rdp数据采集装置及方法
CN107609871A (zh) * 2017-09-07 2018-01-19 携程旅游网络技术（上海）有限公司 支付轨迹重现方法、装置、***、电子设备、存储介质
CN108108495A (zh) * 2018-01-19 2018-06-01 厦门欣旅通科技有限公司 一种识别用户访问轨迹的方法及装置
CN108829693A (zh) * 2018-04-13 2018-11-16 拉扎斯网络科技（上海）有限公司 一种用户访问轨迹的获取方法、装置及存储介质
CN108737549A (zh) * 2018-05-25 2018-11-02 江苏联盟信息工程有限公司 一种大数据量的日志分析方法及装置
CN110659349A (zh) * 2019-09-23 2020-01-07 深圳前海微众银行股份有限公司 日志查询方法、装置、设备及计算机可读存储介质
CN111199423A (zh) * 2019-12-25 2020-05-26 平安证券股份有限公司 用户行为轨迹生成方法、装置、设备及存储介质

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113127319A (zh) * 2021-04-06 2021-07-16 北京大米科技有限公司 一种信息监控方法、相关装置及计算机存储介质
CN113407415A (zh) * 2021-06-28 2021-09-17 四川虹美智能科技有限公司 智能终端的日志管理方法和装置
CN113608907A (zh) * 2021-07-21 2021-11-05 阿里巴巴（中国）有限公司 数据库审计方法、装置、设备、***及存储介质
CN113608907B (zh) * 2021-07-21 2024-03-29 阿里巴巴（中国）有限公司 数据库审计方法、装置、设备、***及存储介质
CN113592919A (zh) * 2021-08-02 2021-11-02 金茂智慧科技(广州)有限公司 安防控制方法及相关装置
CN114040312A (zh) * 2021-11-29 2022-02-11 四川虹美智能科技有限公司 语音空调的麦克风检测方法及***
CN114040312B (zh) * 2021-11-29 2023-08-22 四川虹美智能科技有限公司 语音空调的麦克风检测方法及***
CN114499962A (zh) * 2021-12-24 2022-05-13 深圳开源互联网安全技术有限公司 文件检测方法、装置、计算机设备和存储介质
CN114499962B (zh) * 2021-12-24 2023-09-08 深圳开源互联网安全技术有限公司 文件检测方法、装置、计算机设备和存储介质
CN115514779A (zh) * 2022-09-30 2022-12-23 湖北大学 一种网络日志的记录方法及***

Also Published As

Publication number Publication date
CN112491602B (zh) 2023-09-26

Similar Documents

Publication Publication Date Title
CN112491602B (zh) 行为数据的监控方法、装置、计算机设备及介质
CN108667855B (zh) 网络流量异常监测方法、装置、电子设备及存储介质
CN113489713B (zh) 网络攻击的检测方法、装置、设备及存储介质
CN112162965B (zh) 一种日志数据处理的方法、装置、计算机设备及存储介质
CN109543891B (zh) 容量预测模型的建立方法、设备及计算机可读存储介质
CN115150261B (zh) 告警分析的方法、装置、电子设备及存储介质
CN112394908A (zh) 埋点页面自动生成的方法、装置、计算机设备及存储介质
CN114817968B (zh) 无特征数据的路径追溯方法、装置、设备及存储介质
CN109542764B (zh) 网页自动化测试方法、装置、计算机设备和存储介质
CN115757495A (zh) 缓存数据处理方法、装置、计算机设备及存储介质
CN115033876A (zh) 日志处理方法、日志处理装置、计算机设备及存储介质
CN115329381A (zh) 基于敏感数据的分析预警方法、装置、计算机设备及介质
CN110807050B (zh) 性能分析方法、装置、计算机设备及存储介质
CN112528295B (zh) 工业控制***的漏洞修复方法及装置
CN113836237A (zh) 对数据库的数据操作进行审计的方法及装置
CN111797297B (zh) 页面数据处理方法、装置、计算机设备及存储介质
CN110727576A (zh) 一种web页面测试方法、装置、设备及存储介质
CN113656044B (zh) 安卓安装包压缩方法、装置、计算机设备及存储介质
CN115544558A (zh) 敏感信息检测方法、装置、计算机设备及存储介质
CN114637672A (zh) 自动化数据测试方法、装置、计算机设备及存储介质
CN111368039B (zh) 一种数据管理***
CN112416875A (zh) 日志管理方法、装置、计算机设备及存储介质
CN110851346A (zh) 查询语句边界问题的检测方法、装置、设备及存储介质
CN116627778A (zh) 业务***性能监控方法、装置、计算机设备及存储介质
CN114611113A (zh) 漏洞修复方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant