CN113329037A - 基于高维模式的异常访问数据预警方法及相关设备 - Google Patents
基于高维模式的异常访问数据预警方法及相关设备 Download PDFInfo
- Publication number
- CN113329037A CN113329037A CN202110880946.1A CN202110880946A CN113329037A CN 113329037 A CN113329037 A CN 113329037A CN 202110880946 A CN202110880946 A CN 202110880946A CN 113329037 A CN113329037 A CN 113329037A
- Authority
- CN
- China
- Prior art keywords
- flow
- data
- calculating
- target object
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请实施例属于数据处理领域,应用于智慧城市领域中,涉及一种基于高维模式的异常访问数据预警方法,包括按时间顺序收集多个目标对象的流量数据,所述流量数据包括每日流量、每月流量以及每月目标流量;基于所述每日流量、每月流量、每月目标流量以及各个目标对象的位置坐标,计算得到各个目标对象的流量指标;获取临界因子,基于所述临界因子、所述流量指标和各所述目标对象的当前流量,计算得到所述预警结果。本申请还提供一种基于高维模式的异常访问数据预警装置、计算机设备及存储介质。此外,本申请还涉及区块链技术,所述的流量数据还存储于区块链中。采用本方法大大提高了预警准确度。
Description
技术领域
本申请涉及数据处理领域,特别是涉及一种可变权重高维模式的异常访问数据预警方法、装置、计算机设备和存储介质。
背景技术
数字化数据管理是现在数据管理的重要组成部分,对于管理效果的成功与否,尤为关键。对于几乎所有管理而言,持续观测管理的效果,并能第一时间发出风险预警,或者增益提示的信息,在数字化数据管理领域越来越受到重视。
传统的数据分析和管理方式,一般通过获取网络对象的历史数据,然后通过聚类的方式进行异常数据点的风险管控,这种方式无法考虑到更多高纬度的数据特性,造成无法准确对异常数据进行预警的技术问题。
发明内容
基于此,针对上述技术问题,本申请提供一种基于高维模式的异常访问数据预警方法、装置、计算机设备及存储介质,以解决现有技术中无法对异常流量数据进行预警的技术问题。
一种基于高维模式的异常访问数据预警方法,所述方法包括:
按时间顺序收集多个目标对象的流量数据,其中,所述流量数据为网站访问量、店铺人流量或者产品销售量中的一种,所述流量数据包括每日流量、每月流量以及每月目标流量;
基于所述每日流量、每月流量、每月目标流量以及各个目标对象的位置坐标,计算得到各个目标对象的流量指标;
获取临界因子,基于所述临界因子、所述流量指标和各所述目标对象的当前流量,计算得到所述预警结果。
一种基于高维模式的异常访问数据预警装置,所述装置包括:
数据收集模块,用于按时间顺序收集多个目标对象的流量数据,其中,所述流量数据为网站访问量、店铺人流量或者产品销售量中的一种,所述流量数据包括每日流量、每月流量以及每月目标流量;
指标计算模块,用于基于所述每日流量、每月流量、每月目标流量以及各个目标对象的位置坐标,计算得到各个目标对象的流量指标;
异常预警模块,用于获取临界因子,基于所述临界因子、所述流量指标和各所述目标对象的当前流量,计算得到所述预警结果。
一种计算机设备,包括存储器和处理器,以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令,所述处理器执行所述计算机可读指令时实现上述基于高维模式的异常访问数据预警方法的步骤。
一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可读指令,所述计算机可读指令被处理器执行时实现上述基于高维模式的异常访问数据预警方法的步骤。
上述基于高维模式的异常访问数据预警方法、装置、计算机设备和存储介质,通过按照时间的顺序收集目标对象的流量数据,一般该流量数据为网站的网站访问量,淘宝店铺或者网络店铺的人流量以及实体店中产品销售量,流量数据包括每日流量、每月流量以及每月目标流量,将这些作为数据特征,然后结合每个目标对象的位置坐标,进行一个基于高维模式的流量指标的计算,然后通过提前计算的当前业务场景下的临界因子,以及各目标对象的当前流量,进行目标对象的流量数据是否符合要求,通过挖掘多维度的数据信息,可以宏观上实现预测不同目标对象的流量数据的情况,提前对异常流量数据进行提前预警,解决了现有技术中无法对流量数据进行预警的技术问题。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为基于高维模式的异常访问数据预警方法的应用环境示意图;
图2为基于高维模式的异常访问数据预警方法的流程示意图;
图3为基于高维模式的异常访问数据预警装置的示意图;
图4为一个实施例中计算机设备的示意图。
具体实施方式
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同;本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请;本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
为了使本申请的目的、技术方案及优点更加清楚明白,下面结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供的基于高维模式的异常访问数据预警方法,可以应用于如图1所示的应用环境中。其中,该应用环境可以包括终端102、网络以及服务端104,网络用于在终端102和服务端104之间提供通信链路介质,网络可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端102通过网络与服务端104交互,以接收或发送消息等。终端102上可以安装有各种通讯客户端应用,例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端102可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器( Moving Picture Experts Group AudioLayer III,动态影像专家压缩标准音频层面3 )、MP4( Moving Picture Experts GroupAudio Layer IV,动态影像专家压缩标准音频层面4 )播放器、膝上型便携计算机和台式计算机等等。
服务端104可以是提供各种服务的服务器,例如对终端102上显示的页面提供支持的后台服务器。
需要说明的是,本申请实施例所提供的基于高维模式的异常访问数据预警方法一般由服务端/终端执行,相应地,基于高维模式的异常访问数据预警装置一般设置于服务端/终端设备中。
本申请可用于众多通用或专用的计算机***环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器***、基于微处理器的***、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何***或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本申请可应用于智慧城市领域中,具体地应用于智慧企业中的网站访问预警***中,从而推动智慧城市的建设。
应该理解,图1中的终端、网络和服务端的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
其中,终端102通过网络与服务端104进行通信。服务端104从各终端102中收集目标对象,例如某产品营业部的流量数据,并基于得到多个维度特征计算各个目标对象的流量指标,并通过流量指标和与临界因子判断目标对象的当前流量是否符合要求,并生成预警。其中,终端102和服务端104之间通过网络进行连接,该网络可以是有线网络或者无线网络,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务端104可以用独立的服务器或者是多个组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种基于高维模式的异常访问数据预警方法,以该方法应用于图1中的服务端为例进行说明,包括以下步骤:
步骤202,按时间顺序收集多个目标对象的流量数据,其中,所述流量数据为网站访问量、店铺人流量或者产品销售量中的一种,所述流量数据包括每日流量、每月流量以及每月目标流量。
本申请的技术方案可以应用于网站访问数据的预警,不同的网络对象可以指同一类型的网站,例如售卖同一产品不同的店铺(网络店铺或者网络店铺),流量数据是指用户访问该店铺的次数,或者产品成交次数。
具体地,获取到各目标对象的流量数据后,可以按照时间特征对其进行预处理,例如,按每日流量、每月流量以及每月标准流量,以及当前流量还有该目标对象所在的位置坐标,将这些作为异常预警的高维特征进行后续计算。
步骤204,基于所述每日流量、每月流量、每月目标流量以及各个目标对象的位置坐标,计算得到各个目标对象的流量指标。
每日流量指的是目标对象该日的流量数据,每月流量指的是该月的流量,每月目标流量指的是该月的目标流量,例如,该月目标流量应当是300次,当月达到了290次。
位置坐标是指该目标对象所在的空间位置,例如某保险营业部,所在某省某市的某区域,即为该目标对象所在的位置坐标。
流量指标是衡量该目标对象的流量数据是否正常的数据值,在一些实施例中,可以通过构建目标对象的深度特征计算得到。
具体地,计算相同位置坐标下的目标对象在同一时间的累积达成比例的算术平均值,得到各所述目标对象的横向比较特征,其中,所述累积达成比例通过计算每日流量、每月流量和每月目标流量的比值得到;
此外,还要计算同一时间,同一目标对象累积达成比例的算术平均值,作为各所述目标对象的纵向同比特征;
第一纵向比较特征是求深度遍历下,同比日期上(如所有同为每月2号),同一数据特征id下,累积达成比例的算术平均数,这里的业务意义在于考虑连续多个同比信息:
然后,计算连续一个月,同一位置坐标的目标对象,累积达成比例的算术平均值,作为各所述目标对象的纵向环比特征;
此外,第二纵向比较特征,是在求深度遍历下,环比日期上(连续n天的移动平均值MA),同一数据特征id,累积达成比例的算术平均数,这里的业务意义在于考虑多个环比信息:
最后,根据预设权重表调整所述横向比较特征、纵向同比特征以及纵向环比特征的权重比例,并相加得到所述各目标对象的流量指标。
构建非同权的特征加权指标,并记录所有单独加权指标的方差,再根据单独加权指标的方差计算所有单独加权指标的离散因子。
在本实施例中,可以通过调整加权的比例,改变各个单独意义特征的权重大小,如增加横向比较不同位置坐标之间所占权重份额:
本实施例通过从简单数据中挖掘处代表目标对象流量数据是否异常的深层次数据,得到代表目标对象数据异常程度的指标,能够在后续步骤中极大促进数据预警的准确性。
可选地,除了通过以上方式得到流量指标外,还可以通过基于每日流量和每月流量,将各目标对象的流量数据转化为离散的轨迹数据;并通过one-hot特征编码将字符型的对离散的轨迹数据转换为数值型数据;对数值型数据进行归一化处理,得到取值在0至1之间的归一化数据;根据所述归一化数据计算各目标对象的震荡因子,并基于所述震荡因子作为所述流量指标。其中,震荡因子代表的对一段时间内,目标对象的流量数据的变化系数。
具体地,获取流量指标的实现为获取连续预设时间中的最大每日流量,并计算连续预设时间中的平均流量;计算所述最大每日流量与所述平均流量的流量比值,并将所述流量比值作为各目标对象的震荡因子,得到所述流量指标。
例如,连续三日中最大每日流量为300,平均流量为216,那么,该流量比值为216/300,得到三日内的震荡因子为0.72。该震荡因子即可以表示目标对象的流量数据在一定时间内的变化情况,震荡因子越大说明该段时间内目标对象的流量变化越大,反之,越小,当震荡因子,即流量指标超过一定的值,说明该目标对象的流量数据越不正常,可以在一定条件下发出预警。例如,与后续临界因子结合后,发出预警。
可选地,为了适应更多的业务场景,本实施例还可以通过计算连续预设时间中最大每日流量与最小每日流量之间的比值,作为震荡因子,得到所述流量指标。
通过最大与最小流量的比值,在一定范围内,可以十分准确地反映出数据的变化程度。
可选地,还可以在计算震荡因子之前,对目标对象的流量数据进行平均分割,并计算不同时间区间中的平均流量后,比较相邻的平均流量之间的比值,通过这种方式得到该流量指标。
可选地,为了更加准确地获取流量数据变化的程度,还可以计算各目标对象每日流量相对于上一日流量增量或者减量,并将增量与减量相加后,并计算其平均值,得到最终的震荡因子。
因为不同的方式得到的震荡因子有些微的差异,但是因为都在业务场景的需求范围内,所以并不影响最终的预警判断。
得到震荡因子后,将该震荡因子与该目标对象的本月的流量数据的算术平均值相乘得到流量指标。
步骤206,获取临界因子,基于所述临界因子、所述流量指标和各所述目标对象的当前流量,计算得到所述预警结果。
本申请中,最重要的是临界因子的计算,其直接决定了最终预警准确性。所以,为了实现预警的目的,需要基于当前的目标对象的类型,例如目标对象为某类型的实体店铺,具体地,获取样本对象的样本数据和对应的位置坐标;并从多个所述样本对象中任选一个样本对象以更新为原始样本对象;计算所述原始样本对象与其他样本对象之间的欧氏距离,并将欧氏距离小于预设距离值,且数量超过预设数量的样本对象,作为所述原始样本对象的簇对象;将所述原始样本对象和所述簇对象作为一个轨迹对象簇,并重复更新原始样本对象的操作,直到所有样本对象有至少一个轨迹对象簇;根据所述轨迹对象簇计算所述临界因子。
从样本对象中随机选择一个作为原始样本对象;计算原始样本对象与其他样本对象之间的欧氏距离;并将与原始样本对象在多维空间中欧氏距离小于预设距离值、且数量超过预设数量的样本对象作为原始样本对象的簇对象;然后重复上述的操作,直到所有的样本对象都进行了相应计算。
临界因子,一般是聚类后再一般为e的邻域内样本数量的数量小于MinPts(最小样本点数),但是列在其他核心点邻域内的边界值。
进一步地,聚类之后,某些簇中的样本对象太少,应当将这样的聚类簇剔除。
得到临界因子后,在使用时,会先判断目标对象的类型,然后获取对应的类型的临界因子,用于后续的计算,具体地,若目标对象的当日流量不在所述临界因子与所述临界因子和所述流量指标之和的范围之内,则所述预警结果为数据异常。
上述基于高维模式的异常访问数据预警方法中,通过按照时间的顺序收集目标对象的流量数据,一般该流量数据为网站的网站访问量,淘宝店铺或者网络店铺的人流量以及实体店中产品销售量,流量数据包括每日流量、每月流量以及每月目标流量,将这些作为数据特征,然后结合每个目标对象的位置坐标,进行一个基于高维模式的流量指标的计算,然后通过提前计算的当前业务场景下的临界因子,以及各目标对象的当前流量,进行目标对象的流量数据是否符合要求,通过挖掘多维度的数据信息,可以宏观上实现预测不同目标对象的流量数据的情况,提前对异常流量数据进行提前预警,解决了现有技术中无法对流量数据进行预警的技术问题。
需要强调的是,为进一步保证上述流量数据的私密和安全性,上述流量数据还可以存储于一区块链的节点中。
应该理解的是,虽然图2的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图3所示,提供了一种基于高维模式的异常访问数据预警装置,该基于高维模式的异常访问数据预警装置与上述实施例中基于高维模式的异常访问数据预警方法一一对应。该基于高维模式的异常访问数据预警装置包括:
数据收集模块302,用于按时间顺序收集多个目标对象的流量数据,其中,所述流量数据为网站访问量、店铺人流量或者产品销售量中的一种,所述流量数据包括每日流量、每月流量以及每月目标流量;
指标计算模块304,用于基于所述每日流量、每月流量、每月目标流量以及各个目标对象的位置坐标,计算得到各个目标对象的流量指标;
异常预警模块306,用于获取临界因子,基于所述临界因子、所述流量指标和各所述目标对象的当前流量,计算得到所述预警结果。
进一步地,在异常预警模块306之前,还包括:
定位模块,用于获取样本对象的样本数据和对应的位置坐标;以及
更新模块,用于从多个所述样本对象中任选一个样本对象以更新为原始样本对象;
距离计算模块,用于计算所述原始样本对象与其他样本对象之间的欧氏距离,并将欧氏距离小于预设距离值,且数量超过预设数量的样本对象,作为所述原始样本对象的簇对象;
训练模块,用于将所述原始样本对象和所述簇对象作为一个轨迹对象簇,并重复更新原始样本对象的操作,直到所有样本对象有至少一个轨迹对象簇;
临界计算模块,用于根据所述轨迹对象簇计算所述临界因子。
进一步地,异常预警模块306,包括:
预警子模块,用于若所述目标对象的当日流量不在所述临界因子与所述临界因子和所述流量指标之和的范围之内,则所述预警结果为数据异常。
进一步地,指标计算模块304,包括:
第一特征子模块,用于计算相同位置坐标下的目标对象在同一时间的累积达成比例的算术平均值,得到各所述目标对象的横向比较特征,其中,所述累积达成比例通过计算每日流量、每月流量和每月目标流量的比值得到;
第二特征子模块,用于计算同一时间,同一目标对象累积达成比例的算术平均值,作为各所述目标对象的纵向同比特征;
第三特征子模块,用于计算连续一个月,同一位置坐标的目标对象,累积达成比例的算术平均值,作为各所述目标对象的纵向环比特征;
第一指标计算子模块,用于根据预设权重表调整所述横向比较特征、纵向同比特征以及纵向环比特征的权重比例,并相加得到所述各目标对象的流量指标。
进一步地,异常预警模块306,还包括:
数据预处理子模块,用于基于每日流量和每月流量,将各目标对象的流量数据转化为离散的轨迹数据;并
数据编码子模块,用于通过one-hot特征编码将字符型的对离散的轨迹数据转换为数值型数据;
数据归一化子模块,用于对数值型数据进行归一化处理,得到取值在0至1之间的归一化数据;
第二指标计算子模块,用于根据所述归一化数据计算各目标对象的震荡因子,并基于所述震荡因子计算得到所述流量指标。
进一步地,第二指标计算子模块,包括:
流量获取单元,用于获取连续预设时间中的最大每日流量,并计算连续预设时间中的平均流量;
指标计算单元,用于计算所述最大每日流量与所述平均流量的流量比值,并将所述流量比值作为各目标对象的震荡因子;
需要强调的是,为进一步保证上述流量数据的私密和安全性,上述流量数据还可以存储于一区块链的节点中。
上述基于高维模式的异常访问数据预警装置,通过按照时间的顺序收集目标对象的流量数据,一般该流量数据为网站的网站访问量,淘宝店铺或者网络店铺的人流量以及实体店中产品销售量,流量数据包括每日流量、每月流量以及每月目标流量,将这些作为数据特征,然后结合每个目标对象的位置坐标,进行一个基于高维模式的流量指标的计算,然后通过提前计算的当前业务场景下的临界因子,以及各目标对象的当前流量,进行目标对象的流量数据是否符合要求,通过挖掘多维度的数据信息,可以宏观上实现预测不同目标对象的流量数据的情况,提前对异常流量数据进行提前预警,解决了现有技术中无法对流量数据进行预警的技术问题。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图4所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机可读指令和数据库。该内存储器为非易失性存储介质中的操作***和计算机可读指令的运行提供环境。该计算机设备的数据库用于存储流量数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机可读指令被处理器执行时以实现一种基于高维模式的异常访问数据预警方法。
其中,本技术领域技术人员可以理解,这里的计算机设备是一种能够按照事先设定或存储的指令,自动进行数值计算和/或信息处理的设备,其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程门阵列(Field-Programmable Gate Array,FPGA)、数字处理器 (Digital Signal Processor,DSP)、嵌入式设备等。
本实施例通过按照时间的顺序收集目标对象的流量数据,一般该流量数据为网站的网站访问量,淘宝店铺或者网络店铺的人流量以及实体店中产品销售量,流量数据包括每日流量、每月流量以及每月目标流量,将这些作为数据特征,然后结合每个目标对象的位置坐标,进行一个基于高维模式的流量指标的计算,然后通过提前计算的当前业务场景下的临界因子,以及各目标对象的当前流量,进行目标对象的流量数据是否符合要求,通过挖掘多维度的数据信息,可以宏观上实现预测不同目标对象的流量数据的情况,提前对异常流量数据进行提前预警,解决了现有技术中无法对流量数据进行预警的技术问题。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机可读指令,计算机可读指令被处理器执行时实现上述实施例中基于高维模式的异常访问数据预警方法的步骤,例如图2所示的步骤202至步骤206,或者,处理器执行计算机可读指令时实现上述实施例中基于高维模式的异常访问数据预警装置的各模块/单元的功能,例如图3所示模块302至模块306的功能。
本实施例通过按照时间的顺序收集目标对象的流量数据,一般该流量数据为网站的网站访问量,淘宝店铺或者网络店铺的人流量以及实体店中产品销售量,流量数据包括每日流量、每月流量以及每月目标流量,将这些作为数据特征,然后结合每个目标对象的位置坐标,进行一个基于高维模式的流量指标的计算,然后通过提前计算的当前业务场景下的临界因子,以及各目标对象的当前流量,进行目标对象的流量数据是否符合要求,通过挖掘多维度的数据信息,可以宏观上实现预测不同目标对象的流量数据的情况,提前对异常流量数据进行提前预警,解决了现有技术中无法对流量数据进行预警的技术问题。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机可读指令来指令相关的硬件来完成,所述的计算机可读指令可存储于一非易失性计算机可读取存储介质中,该计算机可读指令在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形、改进或者对部分技术特征进行等同替换,而这些修改或者替换,并不使相同技术方案的本质脱离本发明个实施例技术方案地精神和范畴,都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于高维模式的异常访问数据预警方法,其特征在于,所述方法包括:
按时间顺序收集多个目标对象的流量数据,其中,所述流量数据为网站访问量、店铺人流量或者产品销售量中的一种,所述流量数据包括每日流量、每月流量以及每月目标流量;
基于所述每日流量、每月流量、每月目标流量以及各个目标对象的位置坐标,计算得到各个目标对象的流量指标;
获取临界因子,基于所述临界因子、所述流量指标和各所述目标对象的当前流量,计算得到预警结果。
2.根据权利要求1所述的方法,其特征在于,在所述获取临界因子,基于所述临界因子、所述流量指标和各所述目标对象的当前流量,计算得到预警结果之前,还包括:
获取样本对象的样本数据和对应的位置坐标;并
从多个所述样本对象中任选一个样本对象以更新为原始样本对象;
计算所述原始样本对象与其他样本对象之间的欧氏距离,并将欧氏距离小于预设距离值,且数量超过预设数量的样本对象,作为所述原始样本对象的簇对象;
将所述原始样本对象和所述簇对象作为一个轨迹对象簇,并重复更新原始样本对象的操作,直到所有样本对象有至少一个轨迹对象簇;
根据所述轨迹对象簇计算所述临界因子。
3.根据权利要求1所述的方法,其特征在于,所述获取临界因子,基于所述临界因子、所述流量指标和各所述目标对象的当前流量,计算得到预警结果,包括:
若所述目标对象的当日流量不在所述临界因子与所述临界因子和所述流量指标之和的范围之内,则所述预警结果为数据异常。
4.根据权利要求1所述的方法,其特征在于,所述基于所述每日流量、每月流量、每月目标以及各个目标对象的位置坐标,计算得到各个目标对象的流量指标,包括:
计算相同位置坐标下的目标对象在同一时间的累积达成比例的算术平均值,得到各所述目标对象的横向比较特征,其中,所述累积达成比例通过计算每日流量、每月流量和每月目标流量的比值得到;
计算同一时间,同一目标对象累积达成比例的算术平均值,作为各所述目标对象的纵向同比特征;
计算连续一个月,同一位置坐标的目标对象,累积达成比例的算术平均值,作为各所述目标对象的纵向环比特征;
根据预设权重表调整所述横向比较特征、纵向同比特征以及纵向环比特征的权重比例,并相加得到所述各目标对象的流量指标。
5.根据权利要求1所述的方法,其特征在于,所述基于所述每日流量、每月流量、每月目标流量以及各个目标对象的位置坐标,计算得到各个目标对象的流量指标,还包括:
基于每日流量和每月流量,将各目标对象的流量数据转化为离散的轨迹数据;并
通过one-hot特征编码将字符型的对离散的轨迹数据转换为数值型数据;
对数值型数据进行归一化处理,得到取值在0至1之间的归一化数据;
根据所述归一化数据计算各目标对象的震荡因子,并基于所述震荡因子计算得到所述流量指标。
6.根据权利要求5所述的方法,其特征在于,所述根据所述归一化数据计算各目标对象的震荡因子,包括:
获取连续预设时间中的最大每日流量,并计算连续预设时间中的平均流量;
计算所述最大每日流量与所述平均流量的流量比值,并将所述流量比值作为各目标对象的震荡因子。
7.根据权利要求1所述的方法,其特征在于,所述流量数据存储于区块链中。
8.一种基于高维模式的异常访问数据预警装置,其特征在于,包括:
数据收集模块,用于按时间顺序收集多个目标对象的流量数据,其中,所述流量数据为网站访问量、店铺人流量或者产品销售量中的一种,所述流量数据包括每日流量、每月流量以及每月目标流量;
指标计算模块,用于基于所述每日流量、每月流量、每月目标流量以及各个目标对象的位置坐标,计算得到各个目标对象的流量指标;
异常预警模块,用于获取临界因子,基于所述临界因子、所述流量指标和各所述目标对象的当前流量,计算得到预警结果。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机可读指令,其特征在于,所述处理器执行所述计算机可读指令时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机可读指令,其特征在于,所述计算机可读指令被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110880946.1A CN113329037B (zh) | 2021-08-02 | 2021-08-02 | 基于高维模式的异常访问数据预警方法及相关设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110880946.1A CN113329037B (zh) | 2021-08-02 | 2021-08-02 | 基于高维模式的异常访问数据预警方法及相关设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113329037A true CN113329037A (zh) | 2021-08-31 |
CN113329037B CN113329037B (zh) | 2021-11-16 |
Family
ID=77426677
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110880946.1A Active CN113329037B (zh) | 2021-08-02 | 2021-08-02 | 基于高维模式的异常访问数据预警方法及相关设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113329037B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107370766A (zh) * | 2017-09-07 | 2017-11-21 | 杭州安恒信息技术有限公司 | 一种网络流量异常检测方法及*** |
CN110086649A (zh) * | 2019-03-19 | 2019-08-02 | 深圳壹账通智能科技有限公司 | 异常流量的检测方法、装置、计算机设备及存储介质 |
CN110544001A (zh) * | 2019-07-15 | 2019-12-06 | 中国平安财产保险股份有限公司 | 客流量预警方法、装置、计算机装置及存储介质 |
US20200112571A1 (en) * | 2018-10-03 | 2020-04-09 | At&T Intellectual Property I, L.P. | Network security event detection via normalized distance based clustering |
CN111614690A (zh) * | 2020-05-28 | 2020-09-01 | 上海观安信息技术股份有限公司 | 一种异常行为检测方法及装置 |
CN111680830A (zh) * | 2020-05-25 | 2020-09-18 | 广州衡昊数据科技有限公司 | 一种基于聚集风险预警的疫情防范方法和装置 |
CN111949834A (zh) * | 2019-05-17 | 2020-11-17 | 上海树融数据科技有限公司 | 选址方法和选址平台 |
CN112288163A (zh) * | 2020-10-29 | 2021-01-29 | 平安科技(深圳)有限公司 | 目标对象的目标因子预测方法及相关设备 |
CN112861972A (zh) * | 2020-10-26 | 2021-05-28 | 平安科技(深圳)有限公司 | 一种展业区域的选址方法、装置、计算机设备和介质 |
-
2021
- 2021-08-02 CN CN202110880946.1A patent/CN113329037B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107370766A (zh) * | 2017-09-07 | 2017-11-21 | 杭州安恒信息技术有限公司 | 一种网络流量异常检测方法及*** |
US20200112571A1 (en) * | 2018-10-03 | 2020-04-09 | At&T Intellectual Property I, L.P. | Network security event detection via normalized distance based clustering |
CN110086649A (zh) * | 2019-03-19 | 2019-08-02 | 深圳壹账通智能科技有限公司 | 异常流量的检测方法、装置、计算机设备及存储介质 |
CN111949834A (zh) * | 2019-05-17 | 2020-11-17 | 上海树融数据科技有限公司 | 选址方法和选址平台 |
CN110544001A (zh) * | 2019-07-15 | 2019-12-06 | 中国平安财产保险股份有限公司 | 客流量预警方法、装置、计算机装置及存储介质 |
CN111680830A (zh) * | 2020-05-25 | 2020-09-18 | 广州衡昊数据科技有限公司 | 一种基于聚集风险预警的疫情防范方法和装置 |
CN111614690A (zh) * | 2020-05-28 | 2020-09-01 | 上海观安信息技术股份有限公司 | 一种异常行为检测方法及装置 |
CN112861972A (zh) * | 2020-10-26 | 2021-05-28 | 平安科技(深圳)有限公司 | 一种展业区域的选址方法、装置、计算机设备和介质 |
CN112288163A (zh) * | 2020-10-29 | 2021-01-29 | 平安科技(深圳)有限公司 | 目标对象的目标因子预测方法及相关设备 |
Also Published As
Publication number | Publication date |
---|---|
CN113329037B (zh) | 2021-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111782943A (zh) | 基于历史数据记录的信息推荐方法、装置、设备及介质 | |
CN110490608B (zh) | 风险评估方法、装置、计算机设备和存储介质 | |
CN112287244A (zh) | 基于联邦学习的产品推荐方法、装置、计算机设备及介质 | |
CN112288163A (zh) | 目标对象的目标因子预测方法及相关设备 | |
CN112365202B (zh) | 一种多目标对象的评价因子筛选方法及其相关设备 | |
CN110555164B (zh) | 群体兴趣标签的生成方法、装置、计算机设备和存储介质 | |
CN112306687B (zh) | 基于知识图谱的资源分配方法、装置、计算机设备和介质 | |
CN113032682A (zh) | 基于协同过滤的产品推荐方法、装置、设备及存储介质 | |
CN112163207A (zh) | 基于动态权限的业务数据查询方法及相关设备 | |
CN111259167B (zh) | 用户请求风险识别方法及装置 | |
CN116223975A (zh) | 电缆故障点定位方法、装置、计算机设备和存储介质 | |
CN116542456A (zh) | 一种智能派单方法、装置和设备 | |
CN113329037B (zh) | 基于高维模式的异常访问数据预警方法及相关设备 | |
CN112651821A (zh) | 基于多视图学习的借贷违约风险检测方法及相关设备 | |
CN110598124B (zh) | 数值属性挖掘方法、装置、计算机设备和存储介质 | |
CN116843395A (zh) | 一种业务***的告警分级方法、装置、设备及存储介质 | |
CN108429632B (zh) | 一种业务监控方法和装置 | |
CN110443560B (zh) | 一种协议数据管理方法、装置、计算机设备及存储介质 | |
CN113886332A (zh) | 一种大文件差异对比方法、装置、计算机设备及存储介质 | |
CN112329106A (zh) | 道路安全设计方法、***、计算机设备和可读存储介质 | |
CN113112007B (zh) | 神经网络中序列长度选择方法、装置、设备及存储介质 | |
CN111309993A (zh) | 企业资产数据画像的生成方法及*** | |
CN112561641B (zh) | 分层重算演示方法、装置、计算机设备及存储介质 | |
CN113421118B (zh) | 数据推送方法、***、计算机设备及计算机可读存储介质 | |
KR102570399B1 (ko) | 장소 추천 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |