WO2023272851A1 - 异常数据检测方法、装置、设备及存储介质 - Google Patents
异常数据检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- WO2023272851A1 WO2023272851A1 PCT/CN2021/108778 CN2021108778W WO2023272851A1 WO 2023272851 A1 WO2023272851 A1 WO 2023272851A1 CN 2021108778 W CN2021108778 W CN 2021108778W WO 2023272851 A1 WO2023272851 A1 WO 2023272851A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- data
- fragments
- log
- sequence
- fragment set
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 53
- 239000012634 fragment Substances 0.000 claims abstract description 213
- 238000000034 method Methods 0.000 claims abstract description 42
- 238000009826 distribution Methods 0.000 claims abstract description 34
- 238000013501 data transformation Methods 0.000 claims abstract description 24
- 230000002159 abnormal effect Effects 0.000 claims description 60
- 239000013598 vector Substances 0.000 claims description 46
- 238000012545 processing Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 17
- 238000007621 cluster analysis Methods 0.000 claims description 15
- 239000000203 mixture Substances 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 abstract description 8
- 238000012423 maintenance Methods 0.000 abstract description 4
- 238000004458 analytical method Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 7
- 230000005856 abnormality Effects 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- HFHZKZSRXITVMK-UHFFFAOYSA-N oxyphenbutazone Chemical compound O=C1C(CCCC)C(=O)N(C=2C=CC=CC=2)N1C1=CC=C(O)C=C1 HFHZKZSRXITVMK-UHFFFAOYSA-N 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000004579 scanning voltage microscopy Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
Definitions
- the present application relates to the technical field of operation and maintenance, and in particular to an abnormal data detection method, device, equipment and storage medium.
- Log files are often used to detect abnormal operational behavior in distributed systems. Operation and maintenance personnel often use keyword search and rule matching to manually check logs. As the scale and complexity of distributed systems continue to increase, the amount of logs increases sharply. It is inefficient to continue to rely on operation and maintenance personnel to manually check abnormalities in logs , has been unable to adapt to the increasing scale and complexity of distributed systems.
- supervised learning and unsupervised learning are mainly used to reduce the workload of manual detection.
- supervised learning there are mainly methods such as logistic regression, decision tree, and SVM.
- supervised learning needs to mark samples before building a model, and the number of abnormal log fragments in actual work is very small, it is established with a small number of marked samples.
- the model is extremely easy to lead to overfitting, and supervised learning cannot identify new abnormal fragment samples.
- unsupervised learning there are mainly methods such as clustering, PCA, and invariants mining, but the inventors realized that unsupervised learning still relies on experience and chance to convert character variables into numeric variables and set hyperparameters.
- the embodiment of the present application provides an abnormal data detection method, device, equipment and storage medium, aiming to solve the problem of relying on experience and chance in the prior art when detecting abnormal operation behaviors in logs based on unsupervised learning. Problems with converting to numeric variables and setting hyperparameters.
- the embodiment of the present application provides a method for detecting abnormal data, which includes:
- the log to be processed is a character type data file
- the second fragment set includes a plurality of second sequence fragments, the second sequence fragments are obtained from the first sequence fragments through data transformation, and the second sequence fragments are number type;
- an abnormal data detection device which includes:
- An acquisition module configured to acquire a log to be processed, where the log to be processed is a data file of a character type
- a processing module configured to slice the log to be processed to obtain a first fragment set, the first fragment set including a plurality of sequence fragments; perform data transformation on the first fragment set to obtain a second fragment set, the The second fragment set includes a plurality of second sequence fragments, the second sequence fragments are obtained from the first sequence fragments through data conversion, and the second sequence fragments are of digital type;
- the processing module is further configured to perform cluster analysis on the second set of fragments to obtain and output abnormal data.
- the embodiment of the present application further provides a computer device, which includes a memory, a processor, and a computer program stored on the memory and operable on the processor, and the processor executes the computer program.
- a computer device which includes a memory, a processor, and a computer program stored on the memory and operable on the processor, and the processor executes the computer program. The following steps are implemented in the program:
- the log to be processed is a character type data file
- the second fragment set includes a plurality of second sequence fragments, the second sequence fragments are obtained from the first sequence fragments through data transformation, and the second sequence fragments are number type;
- the embodiment of the present application further provides a computer-readable storage medium, wherein the computer-readable storage medium stores a computer program, and when the computer program is executed by a processor, the processor performs the following operations :
- the log to be processed is a character type data file
- the second fragment set includes a plurality of second sequence fragments, the second sequence fragments are obtained from the first sequence fragments through data transformation, and the second sequence fragments are number type;
- the embodiment of the present application provides an abnormal data detection method, device, equipment, and storage medium, which can realize the digitization of character sequences, and automatically cluster according to the probability sample distribution, without the need for hyperparameters based on manual experience. In this way, the difference in algorithm effect caused by experience difference and chance can be avoided, and the operability is strong, and it is easy to transplant to any new scene.
- FIG. 1 is a schematic diagram of an application scenario of an abnormal data detection method provided by an embodiment of the present application
- FIG. 2 is a schematic flow diagram of the abnormal data detection method provided by the embodiment of the present application.
- FIG. 3 is a schematic block diagram of an abnormal data detection device provided in an embodiment of the present application.
- Fig. 4 is a schematic block diagram of a computer device provided by an embodiment of the present application.
- Figure 1 is a schematic diagram of the application scenario of the abnormal data detection method provided by the embodiment of the present application.
- the flow chart of abnormal log behavior detection in the way of unsupervised learning is used to detect server log behavior abnormalities 1.
- word2vec is used to slice the logs to be processed to obtain a vectorized segment set, and then the meanshift model is used to cluster the segment sets to obtain abnormal data.
- FIG. 2 is a schematic flowchart of an abnormal data detection method provided by an embodiment of the present application.
- the abnormal data detection method is applied in a terminal or a server, and the method is executed by application software installed in the terminal or server.
- the method includes steps S101-S104.
- the log to be processed is a character type data file.
- the pending log there is an association or dependency relationship between adjacent commands, and there is also a timing relationship.
- the pending log can also be regarded as a collection of command sequences.
- the first fragment set includes a plurality of sequence fragments, and in some manners, the log to be processed may be cut into a plurality of first sequence fragments of equal length.
- the first sequence segment is of character type.
- the application can cut the log to be processed into several sequence fragments of equal length by slicing the data, so that the data in the log to be processed can adapt to the input of the model data request.
- the logs to be processed can be cut according to the time window.
- the access log of each minute can be placed in a separate file.
- the second fragment set includes a plurality of second sequence fragments, the second sequence fragments are obtained from the first sequence fragments through data conversion, and the second sequence fragments are of digital type.
- the first set of fragments can be vectorized to obtain a second set of fragments of numeric type.
- the log file is in the form of characters and cannot be processed by the model, it is necessary to convert the character type into a digital type, and word2vec can be used for data conversion.
- performing data transformation on the first set of fragments to obtain a second set of fragments includes:
- each first segment in the first segment set is time series data
- time series data is a set that counts the same indicator at different time points and is arranged in chronological order.
- Time series data can be used to understand the long-term trend of an indicator and predict the future.
- dependencies between adjacent sequence fragments in the first fragment set may refer to long-term sequential dependencies between interactions that are far from each other in a sequence.
- a recurrent neural network model can be used to determine the dependency:
- the first fragment set is an input sequence ⁇ x 0 , x 1 , ..., x t , ..., x T ⁇ of length T, where x t represents the input feature vector of the sequence at time t, the The moment t doesn't necessarily refer to time really, it's just used to indicate that this is a sequence input problem.
- h t-1 is a memory feature, which extracts the input features of the previous t-1 moments. At that time, h t-1 is also called the old state, and h t is the new state.
- S104 Perform cluster analysis on the second segment set to obtain abnormal data and output it.
- the abnormal command sequence in the second fragment set is generally a combination of command sequences that appear rarely or rarely, so the abnormal command sequence of the second fragment set can be performed in a clustering manner. identification.
- the second fragment set may be presented in the form of a probability distribution sample. Furthermore, when performing cluster analysis, automatic clustering can be performed according to the probability distribution samples.
- performing cluster analysis on the second set of fragments to obtain abnormal data may be realized through a neural network model, such as through an abnormality detection model.
- the anomaly detection model can use the mean shift (meanshift) model to cluster the second fragment set. This method does not need to specify any hyperparameters, automatically clusters, reduces manual participation, and has strong consistency.
- meanshift is a hill-climbing algorithm based on kernel density estimation. It is a clustering method that does not need to specify hyperparameters, that is, each step of meanshift is to go in the direction of the highest density. For example, taking the above-mentioned second fragment collection as an example of a pixel density distribution diagram composed of densely packed pixel points, a point x in the pixel density distribution diagram is selected, and there are many points x i around the point x (i is positive Integer), calculate the sum of offsets required for point x to move to each point x i , and average them to get the average offset.
- the direction of the offset is the direction in which the surrounding points are densely distributed, and the offset includes size and direction.
- the second segment set includes a plurality of data points in a multidimensional space; the automatic clustering of the probability distribution samples according to at least one preset abnormality detection strategy to obtain the abnormal data includes:
- All data points falling within the target sphere among the plurality of data points are determined as the abnormal data.
- the principle of mean shift is as follows:
- each data point in the data point set X is distributed in each second sequence segment.
- the basic form of the meanshift vector M h for any point x in this d-dimensional space can be expressed as:
- the vector M h is the drift vector.
- the vector M h is the drift vector.
- the meanshift vector can converge to the place with the highest probability density, that is, the densest place.
- Xi represents the i-th data point in the d-dimensional space, i ⁇ [1,n], that is, Xi can also represent the i-th sample point in the data point set X.
- k means that among the n sample points xi, k points fall into the Sk region.
- the Sk region includes the data points that represent the distance from the point in the data point set X to x is less than the radius h of the sphere, and the data points in the Sk region can be represented by Sh (x), a specific type of Sh (x)
- Sh (x) a specific type of Sh (x)
- h is the spherical radius of the data point x. Take x as the center and h as the radius. Xi is the point inside the ball.
- the distance from point Xi to x in the data point set X refers to the similarity between point Xi and x in the data point set X, which is used for clustering.
- the process of drifting is to calculate the drift vector, and then update the position of the center x of the ball.
- a formula for updating the position of the center x of the ball is:
- the position of the center x of the ball can be continuously updated through formula 3, so that the position of the center x of the ball is always in the equilibrium position of the force.
- the second fragment set includes a sequence fragment a and a sequence fragment b, both of which are probability distribution samples, that is, both are sets including multiple data point distributions.
- the respective data points in sequence fragment a and sequence fragment b are distributed in the d-dimensional space, and any point x in the probability distribution sample of the d-dimensional space is used as the center of the sphere, and a sphere is delineated with h as the radius.
- a vector is generated between all points falling in the sphere and the center x, and these vectors are added to obtain a drift vector M1 of the center x.
- the operation ends, and the point with the highest probability density is obtained by convergence Xmax, that is, the most dense point Xmax of the probability distribution sample, and then use this point Xmax as the center of the sphere, h as the radius to delineate a ball a, and the set of all data points x falling into the ball a is abnormal data.
- the method also includes:
- anomaly detection is performed on the numerical variable values of the second sequence fragments in the second fragment set, and based on the time window characteristics, for each time in the second fragment set The frequency of occurrence of variable features within the window is used for anomaly detection.
- the method further includes:
- the anomaly detection model realizes the numericalization of character sequences and automatic clustering according to the probability sample distribution by combining the two algorithm features of word2vec and meanshift.
- the structure of the abnormality detection model is simple, the processing speed is fast, and it can meet the requirements of online real-time performance. It can be used as an effective method for online monitoring to intercept online abnormal operations in real time.
- An embodiment of the present application further provides an abnormal data detection device, which is used to implement any embodiment of the foregoing abnormal data detection method.
- FIG. 3 is a schematic block diagram of an abnormal data detection device provided by an embodiment of the present application.
- the abnormal data detection device 20 can be configured in a server.
- the abnormal data detection device 20 includes:
- Obtaining module 201 is used for obtaining log to be processed, and described log to be processed is the data file of character type;
- the processing module 202 is configured to slice the log to be processed to obtain a first fragment set, the first fragment set including a plurality of sequence fragments; perform data transformation on the first fragment set to obtain a second fragment set,
- the second fragment set includes a plurality of second sequence fragments, the second sequence fragments are obtained from the first sequence fragments through data transformation, and the second sequence fragments are of digital type;
- the processing module 202 is further configured to perform cluster analysis on the second fragment set to obtain and output abnormal data.
- processing module 202 is also used for:
- the second segment set is presented in the form of a probability distribution sample; the processing module 202 is specifically configured to:
- the probability distribution samples are automatically clustered according to at least one preset anomaly detection strategy to obtain the anomaly data.
- the second segment set includes multiple data points in a multidimensional space; the processing module 202 is specifically used for:
- All data points falling within the target sphere among the plurality of data points are determined as the abnormal data.
- the processing module 202 is specifically configured to:
- the second segment set is presented in the form of a probability distribution sample; the processing module 202 is specifically configured to:
- the probability distribution samples are automatically clustered according to at least one preset anomaly detection strategy to obtain the anomaly data.
- the second segment set includes multiple data points in a multidimensional space; the processing module 202 is specifically configured to:
- All data points falling within the target sphere among the plurality of data points are determined as the abnormal data.
- processing module 202 is also used to:
- anomaly detection is performed on the numerical variable values of the second sequence fragments in the second fragment set, and based on the time window characteristics, for each time in the second fragment set The frequency of occurrence of variable features within the window is used for anomaly detection.
- the processing module 202 is further configured to:
- the abnormal data detection device 20 realizes the numericalization of character sequences and automatically clusters according to the probability sample distribution, without the need for hyperparameters based on human experience, thereby avoiding the loss of algorithm effects caused by experience differences and chance Differences, and strong operability, easy to port to any new scene.
- the above-mentioned abnormal data detection device 20 can be realized in the form of a computer program, and the computer program can be run on the computer equipment as shown in FIG. 4 .
- FIG. 4 is a schematic block diagram of a computer device provided by an embodiment of the present application.
- the computer device 300 is a server, and the server may be an independent server or a server cluster composed of multiple servers.
- the computer device 300 includes a processor 302 connected through a system bus 301 , a memory and a network interface 305 , wherein the memory may include a non-volatile storage medium 303 and an internal memory 304 .
- the non-volatile storage medium 303 can store an operating system 3031 and a computer program 3032 .
- the computer program 3032 When executed, it can cause the processor 302 to execute the abnormal data detection method.
- the processor 302 is used to provide calculation and control capabilities and support the operation of the entire computer device 300 .
- the internal memory 304 provides an environment for the running of the computer program 3032 in the non-volatile storage medium 303 , and when the computer program 3032 is executed by the processor 302 , the processor 302 can execute the abnormal data detection method.
- the network interface 305 is used for network communication, such as providing data transmission and the like.
- the structure shown in FIG. 4 is only a block diagram of a partial structure related to the solution of this application, and does not constitute a limitation to the computer device 300 on which the solution of this application is applied.
- the specific computer device 300 may include more or fewer components than shown, or combine certain components, or have a different arrangement of components.
- the processor 302 is configured to run the computer program 3032 stored in the memory, so as to implement the abnormal data detection method disclosed in the embodiment of the present application.
- the embodiment of the computer device shown in FIG. 4 does not constitute a limitation on the specific composition of the computer device.
- the computer device may include more or less components than those shown in the illustration. Or combine certain components, or different component arrangements.
- the computer device may only include a memory and a processor. In such an embodiment, the structures and functions of the memory and the processor are consistent with those of the embodiment shown in FIG. 4 , and will not be repeated here.
- the processor 302 may be a central processing unit (Central Processing Unit, CPU), and the processor 302 may also be other general-purpose processors, digital signal processors (Digital Signal Processor, DSP), Application Specific Integrated Circuit (ASIC), off-the-shelf programmable gate array (Field-Programmable Gate Array, FPGA) or other programmable logic devices, discrete gate or transistor logic devices, discrete hardware components, etc.
- the general-purpose processor may be a microprocessor or the processor may be any conventional processor or the like.
- a computer readable storage medium may be a non-volatile computer-readable storage medium, or a volatile computer-readable storage medium.
- the computer-readable storage medium stores a computer program, wherein when the computer program is executed by a processor, the abnormal data detection method disclosed in the embodiment of the present application is implemented.
- the disclosed devices, devices and methods can be implemented in other ways.
- the device embodiments described above are only illustrative.
- the division of the units is only logical function division.
- there may be other division methods, and units with the same function may also be combined into one Units such as multiple units or components may be combined or integrated into another system, or some features may be omitted, or not implemented.
- the mutual coupling or direct coupling or communication connection shown or discussed may be indirect coupling or communication connection through some interfaces, devices or units, and may also be electrical, mechanical or other forms of connection.
- the units described as separate components may or may not be physically separated, and the components displayed as units may or may not be physical units, that is, they may be located in one place, or may be distributed to multiple network units. Part or all of the units can be selected according to actual needs to achieve the purpose of the solution of the embodiment of the present application.
- each functional unit in each embodiment of the present application may be integrated into one processing unit, each unit may exist separately physically, or two or more units may be integrated into one unit.
- the above-mentioned integrated units can be implemented in the form of hardware or in the form of software functional units.
- the integrated unit is realized in the form of a software function unit and sold or used as an independent product, it can be stored in a storage medium.
- the technical solution of the present application is essentially or the part that contributes to the prior art, or all or part of the technical solution can be embodied in the form of software products, and the computer software products are stored in a storage medium
- a computer device which may be a personal computer, a server, or a network device, etc.
- the aforementioned storage medium includes: various media that can store program codes such as U disk, mobile hard disk, read-only memory (ROM, Read-Only Memory), magnetic disk or optical disk.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computer Hardware Design (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Debugging And Monitoring (AREA)
Abstract
一种异常数据检测方法、装置、设备及存储介质,涉及运维和大数据技术,方法包括:获取待处理日志(101),待处理日志为字符类型的数据文件;对待处理日志进行切片,得到第一片段集合(102),第一片段集合包括多个序列片段;将第一片段集合进行数据变换,得到第二片段集合(103),所述第二片段集合包括多个第二序列片段,第二序列片段由第一序列片段经过数据变换得到,第二序列片段为数字类型;对第二片段集合进行聚类分析,得到异常数据并输出(104)。该方法能够实现对字符型序列的数值化,以及根据概率样本分布自动进行聚类,且无需基于人工经验介入的超参数,由此能够避免因经验差异和偶然性导致的算法效果的差异,且可操作性强,易于移植到任何新场景中。
Description
本申请要求于2021年6月29日提交中国专利局、申请号为202110725998.1,申请名称为“异常数据检测方法、装置、设备及存储介质”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
本申请涉及运维技术领域,尤其涉及一种异常数据检测方法、装置、设备及存储介质。
日志文件通常用于检测分布式***中的异常操作行为。运维人员经常使用关键字搜索和规则匹配来手动检查日志,随着分布式***的规模和复杂性不断增加,日志量暴增,继续依赖运维人员进行人工检查日志中的异常的效率较低,已无法适应规模和复杂性不断增加的分布式***。
目前主要采用监督学习和非监督学习来减少人工检测的工作量。在监督学习方面,主要有逻辑回归、决策树、SVM等方法,但由于监督学习需要在建立模型之前为样本打标,而日志异常片段在实际工作中出现次数非常少,以少量打标样本建立的模型极其容易导致过拟合,且监督学习不能对新出现异常片段样本进行识别。在非监督学习方面,主要有聚类、PCA、invariants mining等方法,但发明人意识到非监督学习仍然依赖于经验和偶然性才能将字符型变量转换为数字型变量、以及设置超参数。
发明内容
本申请实施例提供了一种异常数据检测方法、装置、设备及存储介质,旨在解决现有技术中基于非监督学习检测日志中的异常操作行为时需要依赖于经验和偶然性才能将字符型变量转换为数字型变量、以及设置超参数的问题。
第一方面,本申请实施例提供了一种异常数据检测方法,其包括:
获取待处理日志,所述待处理日志为字符类型的数据文件;
对所述待处理日志进行切片,得到第一片段集合,所述第一片段集合包括 多个序列片段;
将所述第一片段集合进行数据变换,得到第二片段集合,所述第二片段集合包括多个第二序列片段,第二序列片段由第一序列片段经过数据变换得到,第二序列片段为数字类型;
对所述第二片段集合进行聚类分析,得到异常数据并输出。
第二方面,本申请实施例提供了一种异常数据检测装置,其包括:
获取模块,用于获取待处理日志,所述待处理日志为字符类型的数据文件;
处理模块,用于对所述待处理日志进行切片,得到第一片段集合,所述第一片段集合包括多个序列片段;将所述第一片段集合进行数据变换,得到第二片段集合,所述第二片段集合包括多个第二序列片段,第二序列片段由第一序列片段经过数据变换得到,第二序列片段为数字类型;
所述处理模块还用于对所述第二片段集合进行聚类分析,得到异常数据并输出。
第三方面,本申请实施例又提供了一种计算机设备,其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取待处理日志,所述待处理日志为字符类型的数据文件;
对所述待处理日志进行切片,得到第一片段集合,所述第一片段集合包括多个序列片段;
将所述第一片段集合进行数据变换,得到第二片段集合,所述第二片段集合包括多个第二序列片段,第二序列片段由第一序列片段经过数据变换得到,第二序列片段为数字类型;
对所述第二片段集合进行聚类分析,得到异常数据并输出。
第四方面,本申请实施例还提供了一种计算机可读存储介质,其中所述计算机可读存储介质存储有计算机程序,所述计算机程序当被处理器执行时使所述处理器执行以下操作:
获取待处理日志,所述待处理日志为字符类型的数据文件;
对所述待处理日志进行切片,得到第一片段集合,所述第一片段集合包括多个序列片段;
将所述第一片段集合进行数据变换,得到第二片段集合,所述第二片段集 合包括多个第二序列片段,第二序列片段由第一序列片段经过数据变换得到,第二序列片段为数字类型;
对所述第二片段集合进行聚类分析,得到异常数据并输出。
本申请实施例提供了一种异常数据检测方法、装置、设备及存储介质,能够实现对字符型序列的数值化,以及根据概率样本分布自动进行聚类,且无需基于人工经验介入的超参数,由此能够避免因经验差异和偶然性导致的算法效果的差异,且可操作性强,易于移植到任何新场景中。
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的异常数据检测方法的应用场景示意图;
图2为本申请实施例提供的异常数据检测方法的流程示意图;
图3为本申请实施例提供的异常数据检测装置的示意性框图;
图4为本申请实施例提供的计算机设备的示意性框图。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个” 及“该”意在包括复数形式。
还应当进一步理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
参阅图1,图1为本申请实施例提供的异常数据检测方法的应用场景示意图,以非监督学习为例,采用非监督学习的方式进行服务器日志行为异常检测的方式日志行为异常检测的流程图1所示。获取待处理日志后,采用word2vec将待处理日志切片,得到向量化后的片段集合,然后采用meanshift模型对片段集合进行聚类,得到异常数据。
参阅图2,图2为本申请实施例提供的异常数据检测方法的流程示意图,该异常数据检测方法应用于终端或服务器中,该方法通过安装于终端或服务器中的应用软件进行执行。
如图2所示,该方法包括步骤S101~S104。
S101、获取待处理日志。
其中,所述待处理日志为字符类型的数据文件。待处理日志中,相邻的命令之间存在关联关系或依赖关系,也存在时序关系,也可将待处理日志看作是命令序列的集合。
S102、对所述待处理日志进行切片,得到第一片段集合。
其中,所述第一片段集合包括多个序列片段,一些方式中,可将待处理日志切为等长的多个第一序列片段。第一序列片段为字符类型。
可见,即使待处理日志的数据量级较大,本申请通过对其进行数据切片,即可将待处理日志切成等长的若干个序列片段,使待处理日志中的数据能够适应模型的输入数据要求。一些实施方式中,可按照时间窗口来切割待处理日志。
例如,以待处理日志为访问日志切片为例,可将每分钟的访问日志放在一个单独的文件中。首先,添加一个存放日志文件的目录,执行命令mkdir/usr/local/nginx/logs/mysitelogs,将mysite的所有访问日志都放在这个文件夹下。然后添加一个切割访问日志的脚本,执行命令脚本。还可添加一个定时任务,执行命令crontab-e(例如,其编辑内容为*****sh/usr/local/nginx/mysitelog.sh)。命令crontab-e表示每分钟执行一次mysitelog.sh脚本。
S103、将所述第一片段集合进行数据变换,得到第二片段集合。
其中,第二片段集合包括多个第二序列片段,第二序列片段由第一序列片段经过数据变换得到,第二序列片段为数字类型。
一些实施方式中,可将第一片段集合进行向量化,以得到数字类型的第二片段集合。具体来说,因为日志文件是字符形式,无法被模型进行处理,因此需要将字符类型转换成数字类型,可采用word2vec进行数据变换。具体来说,所述将所述第一片段集合进行数据变换,得到第二片段集合,包括:
确定所述第一片段集合中相邻序列片段之间的依赖关系;
将所述第一片段集合进行向量化并在进行向量化过程中保留所述第一片段集合中相邻序列片段之间的依赖关系,以得到数字类型的所述第二片段集合。
其中,由于第一片段集合中的各第一片段为时间序列数据,而时间序列数据为在不同时间点上统计同一指标,并按照时间先后排列成的一个集合。时间序列数据能够用于了解一个指标的长期趋势和预测未来。因此,第一片段集合中相邻序列片段之间的依赖关系可以是指在一个序列中彼此相距很远的交互之间的长期顺序依赖关系。一些实施方式中,可采用循环神经网络模型确定该依赖关系:
假设第一片段集合为长度为T的输入序列{x
0,x
1,...,x
t,...,x
T},这里x
t表示的是序列在t时刻的输入特征向量,该t时刻并不一定真的指的是时间,只是用来表明这是一个序列输入问题。
对于循环神经网络模型来说,其在计算t时刻的隐含特征时,不仅考虑当前时刻的输入特征x
t,而且引入前一个时刻的隐含特征h
t-1,其计算过程如下:
h
t=f(Ux
t+Wh
t-1+b) 公式(1)
显然通过上述公式(1)可以捕捉到第一片段集合中相邻序列片段之间的依赖关系,可以认为h
t-1是一个记忆特征,其提取了前面t-1个时刻的输入特征,有时候又称h
t-1为旧状态,而h
t为新状态。通过上述公式(1)可得到每个时刻的隐含特征{h
0,h
1,...,h
t,...,h
T},这些隐含特征用于后面层的特征输入。
由于待处理日志中相邻命令之间具有联系(例如依赖关系或者关联关系),因此,需要在进行数据变换过程中保留待处理日志中相邻命令之间的联系,使用word2vec不仅能够将字符转换成数字类型,还能够很好的保留待处理日志中 相邻命令序列之间的关系。
S104、对所述第二片段集合进行聚类分析,得到异常数据并输出。
可知,通过聚类分析得到的聚类结果就是异常数据。
本申请实施例中,所述第二片段集合中的异常命令序列一般为平时较少或极少出现的命令序列的组合,因此可使用聚类的方式对对所述第二片段集合进行异常命令的识别。
一些实施方式中,由于第二片段集合中的各序列片段已被数值化,因此,第二片段集合可以以概率分布样本的方式呈现。进而,在对其进行聚类分析时,可以根据该概率分布样本进行自动聚类。
一些实施方式中,对所述第二片段集合进行聚类分析,得到异常数据可通过神经网络模型实现,例如通过异常检测模型实现。例如,异常检测模型可采用均值偏移(meanshift)模型对第二片段集合进行聚类,该方法不需要指定任何超参数,自动进行聚类,减少人工参与,一致性较强。
其中,meanshift是基于核密度估计的爬山算法,是一种不需要指定超参数的聚类方法,即meanshift的每一步都是往密度最大的方向走。例如,以上述第二片段集合为由密密麻麻的像素点组成的像素密度分布图为例,选定该像素密度分布图中的一个点x,点x的周围有很多个点x
i(i为正整数),计算点x移动到每个点x
i所需要的偏移量之和,并求平均,就得到平均偏移量。该偏移量的方向是周围点分布密集的方向,该偏移量包含大小和方向。然后点x朝向平均偏移量方向移动,再以此为新的起点不断迭代直到满足一定条件结束。具体来说,所述第二片段集合包括多维空间的多个数据点;所述根据至少一种预设异常检测策略对所述概率分布样本进行自动聚类,以得到所述异常数据,包括:
从所述多个数据点中确定目标数据点n1;
以所述目标数据点n1为球心,以预设半径绘制一个候选球体;
获取所述多个数据点中所有落入所述目标球体的数据点nj与所述目标数据点n1之间的向量,其中j为正整数且j<n;
根据落入所述目标球体的数据点nj与所述目标数据点n1之间的向量和得到目标漂移向量;
将所述目标漂移向量设为所述球心,直至得到的目标漂移向量满足预设收 敛条件则结束操作;
以收敛得到的目标漂移向量为球心,以所述预设半径绘制一个目标球体;
将所述多个数据点中落入所述目标球体内的所有数据点确定为所述异常数据。
一些实施方式中,均值漂移的原理如下:
以第二片段集合为给定的d维空间的n个数据点集X为例,其中,数据点集X中的各数据点分布在各第二序列片段中。那么对于该d维空间中的任意点x的meanshift向量M
h的基本形式可以表示为:
其中,向量M
h是漂移向量,举例来说,在d维空间中,任选一个点x,然后以点x为球心,h为半径做一个高维球。因为该高维球有d维,d可能大于2,所以是高维球。落在该高维球内的所有点Xi和球心x都会产生一个向量,向量是以球心为起点落在球内的点位终点。然后把这些向量都相加,相加的结果就是meanshift向量。再以meanshift向量的终点为球心,再做一个高维的球。重复以上步骤,就可得到一个meanshift向量。如此重复下去,meanshift模型可以收敛到概率密度最大得地方,也就是最稠密的地方。
Xi表示该d维空间中的第i个数据点,i∈[1,n],即Xi也可表示数据点集X中的第i个样本点。
k表示在这n个样本点xi中,有k个点落入Sk区域中。
Sk区域包括表示的是数据点集X中的点到x的距离小于球半径h的数据点,可将Sk区域中的数据点用S
h(x)表示,S
h(x)的一种具体表达式如下:
S
h(x)={y:(y-x
i)
T(y-x
i)<h
2 公式2
其中,h为数据点x的球半径。以x为球心,以h为半径。Xi为在球内的点位。
数据点集X中的点Xi到x的距离是指数据点集X中的点Xi与x的相似度, 即用于聚类。
漂移的过程即通过计算得漂移向量,然后更新球心x的位置,一些实施方式中,更新球球心x的位置的一种公式为:
x=x+M
h 公式3
通过公式3能够不断的更新球球心x的位置,从而使得球心x的位置一直处于力的平衡位置。
举例来说,第二片段集合包括序列片段a和序列片段b,序列片段a和序列片段b均为概率分布样本,即均为包括多个数据点分布的集合。序列片段a和序列片段b中各自的数据点分布在d维空间,以该d维空间的概率分布样本中的任意点x为球心,以h为半径圈定一个球。落在该球内的所有点与球心x之间都产生一个向量,将这些向量相加得到该球心x的一个漂移向量M1。再以该漂移向量M1为球心,以h为半径圈定另一个球,重复前述操作,得到第二个漂移向量M2,如此循环迭代,直至满足收敛条件则结束操作,收敛得到概率密度最大的点Xmax,即概率分布样本终最密集的点Xmax,然后以该点Xmax为球心,h为半径圈定一个球a,落入该球a内的所有数据点x的集合则为异常数据。
一些实施方式中,所述方法还包括:
从所述概率分布样本中提取变量特征和时间窗口特征;
基于所述变量特征,对所述第二片段集合中的各第二序列片段的数值型变量取值分别进行异常检测,以及基于所述时间窗口特征,对所述第二片段集合中每个时间窗口内变量特征出现的频率进行异常检测。
一些实施方式中,所述获取待处理日志之后,所述对所述待处理日志进行切片之前,所述方法还包括:
使用正则表达式确定所述待处理日志中存在属性缺失值的候选数据;
若所述候选数据有多个属性缺失值,则删除所述候选数据。
该方法能够实现以下技术效果:
1、采用非监督学习的方式识别在正常工作中出现的异常命令序列。异常检测模型通过融合word2vec和meanshift两种算法特征,实现对字符型序列的数值化,以及根据概率样本分布自动进行聚类。
2、由于word2vec和meanshift这两种算法特征都是基于无参数的,因此, 无需人工经验介入,由此避免了因为经验差异和偶然性导致的算法效果的差异,且可操作性强,易于移植到任何新场景中。
3、异常检测模型的结构简单,处理速度快,能够满足线上实时性的要求,可以作为在线监测的有效方法,实时拦截线上异常操作。
本申请实施例还提供一种异常数据检测装置,该异常数据检测装置用于执行前述异常数据检测方法的任一实施例。具体地,请参阅图3,图3是本申请实施例提供的异常数据检测装置的示意性框图。该异常数据检测装置20可以配置于服务器中。
如图3所示,异常数据检测装置20包括:
获取模块201,用于获取待处理日志,所述待处理日志为字符类型的数据文件;
处理模块202,用于对所述待处理日志进行切片,得到第一片段集合,所述第一片段集合包括多个序列片段;将所述第一片段集合进行数据变换,得到第二片段集合,所述第二片段集合包括多个第二序列片段,第二序列片段由第一序列片段经过数据变换得到,第二序列片段为数字类型;
所述处理模块202还用于对所述第二片段集合进行聚类分析,得到异常数据并输出。
在一实施例中,所述处理模块202还用于:
确定所述第一片段集合中相邻序列片段之间的依赖关系;
将所述第一片段集合进行向量化并在进行向量化过程中保留所述第一片段集合中相邻序列片段之间的依赖关系,以得到数字类型的所述第二片段集合。
一些实施例中,所述第二片段集合以概率分布样本的方式呈现;所述处理模块202具体用于:
从所述概率分布样本中提取各第二序列片段对应的数据组成特征;
确定与各第二序列片段对应的数据组成特征匹配的至少一种预设异常检测策略;
根据至少一种预设异常检测策略对所述概率分布样本进行自动聚类,以得到所述异常数据。
一些实施例中,所述第二片段集合包括多维空间的多个数据点;所述处理 模块202具体用于:
从所述多个数据点中确定目标数据点;
以所述目标数据点为球心,以预设半径绘制一个候选球体;
获取所述多个数据点中所有落入所述目标球体的数据点与所述目标数据点之间的向量;
根据落入所述目标球体的数据点与所述目标数据点之间的向量和得到目标漂移向量;
将所述目标漂移向量设为所述球心,直至得到的目标漂移向量满足预设收敛条件则结束操作;
以收敛得到的目标漂移向量为球心,以所述预设半径绘制一个目标球体;
将所述多个数据点中落入所述目标球体内的所有数据点确定为所述异常数据。
一些实施例中,所述处理模块202具体用于:
确定所述第一片段集合中相邻序列片段之间的依赖关系;
将所述第一片段集合进行向量化并在进行向量化过程中保留所述第一片段集合中相邻序列片段之间的依赖关系,以得到数字类型的所述第二片段集合。
一些实施例中,所述第二片段集合以概率分布样本的方式呈现;所述处理模块202具体用于:
从所述概率分布样本中提取各第二序列片段对应的数据组成特征;
确定与各第二序列片段对应的数据组成特征匹配的至少一种预设异常检测策略;
根据至少一种预设异常检测策略对所述概率分布样本进行自动聚类,以得到所述异常数据。
一些实施例中,所述第二片段集合包括多维空间的多个数据点;所述处理模块202具体用于:
从所述多个数据点中确定目标数据点;
以所述目标数据点为球心,以预设半径绘制一个候选球体;
获取所述多个数据点中所有落入所述目标球体的数据点与所述目标数据点之间的向量;
根据落入所述目标球体的数据点与所述目标数据点之间的向量和得到目标 漂移向量;
将所述目标漂移向量设为所述球心,直至得到的目标漂移向量满足预设收敛条件则结束操作;
以收敛得到的目标漂移向量为球心,以所述预设半径绘制一个目标球体;
将所述多个数据点中落入所述目标球体内的所有数据点确定为所述异常数据。
一些实施方式中,所述处理模块202还用于:
从所述概率分布样本中提取变量特征和时间窗口特征;
基于所述变量特征,对所述第二片段集合中的各第二序列片段的数值型变量取值分别进行异常检测,以及基于所述时间窗口特征,对所述第二片段集合中每个时间窗口内变量特征出现的频率进行异常检测。
一些实施方式中,所述处理模块202在所述获取模块201获取待处理日志之后,对所述待处理日志进行切片之前,还用于:
使用正则表达式确定所述待处理日志中存在属性缺失值的候选数据;
若所述候选数据有多个属性缺失值,则删除所述候选数据。
该异常数据检测装置20实现了对字符型序列的数值化,以及根据概率样本分布自动进行聚类,且无需基于人工经验介入的超参数,由此能够避免因经验差异和偶然性导致的算法效果的差异,且可操作性强,易于移植到任何新场景中。
上述异常数据检测装置20可以实现为计算机程序的形式,该计算机程序可以在如图4所示的计算机设备上运行。
请参阅图4,图4是本申请实施例提供的计算机设备的示意性框图。该计算机设备300是服务器,服务器可以是独立的服务器,也可以是多个服务器组成的服务器集群。
参阅图4,该计算机设备300包括通过***总线301连接的处理器302、存储器和网络接口305,其中,存储器可以包括非易失性存储介质303和内存储器304。
该非易失性存储介质303可存储操作***3031和计算机程序3032。该计算机程序3032被执行时,可使得处理器302执行异常数据检测方法。
该处理器302用于提供计算和控制能力,支撑整个计算机设备300的运行。
该内存储器304为非易失性存储介质303中的计算机程序3032的运行提供环境,该计算机程序3032被处理器302执行时,可使得处理器302执行异常数据检测方法。
该网络接口305用于进行网络通信,如提供数据信息的传输等。本领域技术人员可以理解,图4中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备300的限定,具体的计算机设备300可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
其中,所述处理器302用于运行存储在存储器中的计算机程序3032,以实现本申请实施例公开的异常数据检测方法。
本领域技术人员可以理解,图4中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定,在其他实施例中,计算机设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。例如,在一些实施例中,计算机设备可以仅包括存储器及处理器,在这样的实施例中,存储器及处理器的结构及功能与图4所示实施例一致,在此不再赘述。
应当理解,在本申请实施例中,处理器302可以是中央处理单元(Central Processing Unit,CPU),该处理器302还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在本申请的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质,也可以为易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序,其中计算机程序被处理器执行时实现本申请实施例公开的异常数据检测方法。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的设备、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者 的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为逻辑功能划分,实际实现时可以有另外的划分方式,也可以将具有相同功能的单元集合成一个单元,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另外,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接,也可以是电的,机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本申请实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于 此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (20)
- 一种异常数据检测方法,其中,所述方法包括:获取待处理日志,所述待处理日志为字符类型的数据文件;对所述待处理日志进行切片,得到第一片段集合,所述第一片段集合包括多个序列片段;将所述第一片段集合进行数据变换,得到第二片段集合,所述第二片段集合包括多个第二序列片段,第二序列片段由第一序列片段经过数据变换得到,第二序列片段为数字类型;对所述第二片段集合进行聚类分析,得到异常数据并输出。
- 根据权利要求1所述的方法,其中,所述将所述第一片段集合进行数据变换,得到第二片段集合,包括:确定所述第一片段集合中相邻序列片段之间的依赖关系;将所述第一片段集合进行向量化并在进行向量化过程中保留所述第一片段集合中相邻序列片段之间的依赖关系,以得到数字类型的所述第二片段集合。
- 根据权利要求1所述的方法,其中,所述第二片段集合以概率分布样本的方式呈现;所述对所述第二片段集合进行聚类分析,得到异常数据,包括:从所述概率分布样本中提取各第二序列片段对应的数据组成特征;确定与各第二序列片段对应的数据组成特征匹配的至少一种预设异常检测策略;根据至少一种预设异常检测策略对所述概率分布样本进行自动聚类,以得到所述异常数据。
- 根据权利要求3所述的方法,其中,所述第二片段集合包括多维空间的多个数据点;所述根据至少一种预设异常检测策略对所述概率分布样本进行自动聚类,以得到所述异常数据,包括:从所述多个数据点中确定目标数据点;以所述目标数据点为球心,以预设半径绘制一个候选球体;获取所述多个数据点中所有落入所述目标球体的数据点与所述目标数据点之间的向量;根据落入所述目标球体的数据点与所述目标数据点之间的向量和得到目标漂移向量;将所述目标漂移向量设为所述球心,直至得到的目标漂移向量满足预设收敛条件则结束操作;以收敛得到的目标漂移向量为球心,以所述预设半径绘制一个目标球体;将所述多个数据点中落入所述目标球体内的所有数据点确定为所述异常数据。
- 根据权利要求3所述的方法,其中,所述方法还包括:从所述概率分布样本中提取变量特征和时间窗口特征;基于所述变量特征,对所述第二片段集合中的各第二序列片段的数值型变量取值分别进行异常检测,以及基于所述时间窗口特征,对所述第二片段集合中每个时间窗口内变量特征出现的频率进行异常检测。
- 根据权利要求1所述的方法,其中,所述获取待处理日志之后,所述对所述待处理日志进行切片之前,所述方法还包括:使用正则表达式确定所述待处理日志中存在属性缺失值的候选数据;若所述候选数据有多个属性缺失值,则删除所述候选数据。
- 根据权利要求1所述的方法,其中,所述待处理日志中相邻的命令之间存在关联关系或依赖关系,或存在时序关系,或升级命令序列的集合。
- 根据权利要求1所述的方法,其中,所述第一片段集合包括多个序列片段是等长的多个第一序列片段。
- 一种异常数据检测装置,其中,所述异常数据检测装置包括:获取模块,用于获取待处理日志,所述待处理日志为字符类型的数据文件;处理模块,用于对所述待处理日志进行切片,得到第一片段集合,所述第一片段集合包括多个序列片段;将所述第一片段集合进行数据变换,得到第二片段集合,所述第二片段集合包括多个第二序列片段,第二序列片段由第一序列片段经过数据变换得到,第二序列片段为数字类型;所述处理模块还用于对所述第二片段集合进行聚类分析,得到异常数据并输出。
- 一种计算机设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其中,所述处理器执行所述计算机程序时实现以下步骤:获取待处理日志,所述待处理日志为字符类型的数据文件;对所述待处理日志进行切片,得到第一片段集合,所述第一片段集合包括多个序列片段;将所述第一片段集合进行数据变换,得到第二片段集合,所述第二片段集合包括多个第二序列片段,第二序列片段由第一序列片段经过数据变换得到,第二序列片段为数字类型;对所述第二片段集合进行聚类分析,得到异常数据并输出。
- 根据权利要求10所述的计算机设备,其中,所述将所述第一片段集合进行数据变换,得到第二片段集合,包括:确定所述第一片段集合中相邻序列片段之间的依赖关系;将所述第一片段集合进行向量化并在进行向量化过程中保留所述第一片段集合中相邻序列片段之间的依赖关系,以得到数字类型的所述第二片段集合。
- 根据权利要求10所述的计算机设备,其中,所述第二片段集合以概率分布样本的方式呈现;所述对所述第二片段集合进行聚类分析,得到异常数据,包括:从所述概率分布样本中提取各第二序列片段对应的数据组成特征;确定与各第二序列片段对应的数据组成特征匹配的至少一种预设异常检测策略;根据至少一种预设异常检测策略对所述概率分布样本进行自动聚类,以得到所述异常数据。
- 根据权利要求12所述的计算机设备,其中,所述第二片段集合包括多维空间的多个数据点;所述根据至少一种预设异常检测策略对所述概率分布样本进行自动聚类,以得到所述异常数据,包括:从所述多个数据点中确定目标数据点;以所述目标数据点为球心,以预设半径绘制一个候选球体;获取所述多个数据点中所有落入所述目标球体的数据点与所述目标数据点之间的向量;根据落入所述目标球体的数据点与所述目标数据点之间的向量和得到目标漂移向量;将所述目标漂移向量设为所述球心,直至得到的目标漂移向量满足预设收敛条件则结束操作;以收敛得到的目标漂移向量为球心,以所述预设半径绘制一个目标球体;将所述多个数据点中落入所述目标球体内的所有数据点确定为所述异常数据。
- 根据权利要求12所述的计算机设备,其中,还包括:从所述概率分布样本中提取变量特征和时间窗口特征;基于所述变量特征,对所述第二片段集合中的各第二序列片段的数值型变量取值分别进行异常检测,以及基于所述时间窗口特征,对所述第二片段集合中每个时间窗口内变量特征出现的频率进行异常检测。
- 根据权利要求10所述的计算机设备,其中,所述获取待处理日志之后,所述对所述待处理日志进行切片之前,还包括:使用正则表达式确定所述待处理日志中存在属性缺失值的候选数据;若所述候选数据有多个属性缺失值,则删除所述候选数据。
- 根据权利要求10所述的计算机设备,其中,所述待处理日志中相邻的命令之间存在关联关系或依赖关系,或存在时序关系,或升级命令序列的集合。
- 根据权利要求10所述的计算机设备,其中,所述第一片段集合包括多个序列片段是等长的多个第一序列片段。
- 一种计算机可读存储介质,其中,所述计算机可读存储介质存储有计算机程序,所述计算机程序当被处理器执行时使所述处理器执行以下操作:获取待处理日志,所述待处理日志为字符类型的数据文件;对所述待处理日志进行切片,得到第一片段集合,所述第一片段集合包括多个序列片段;将所述第一片段集合进行数据变换,得到第二片段集合,所述第二片段集合包括多个第二序列片段,第二序列片段由第一序列片段经过数据变换得到,第二序列片段为数字类型;对所述第二片段集合进行聚类分析,得到异常数据并输出。
- 根据权利要求18所述的计算机可读存储介质,其中,所述将所述第一片段集合进行数据变换,得到第二片段集合,包括:确定所述第一片段集合中相邻序列片段之间的依赖关系;将所述第一片段集合进行向量化并在进行向量化过程中保留所述第一片段集合中相邻序列片段之间的依赖关系,以得到数字类型的所述第二片段集合。
- 根据权利要求18所述的计算机可读存储介质,其中,所述第二片段集合以概率分布样本的方式呈现;所述对所述第二片段集合进行聚类分析,得到异常数据,包括:从所述概率分布样本中提取各第二序列片段对应的数据组成特征;确定与各第二序列片段对应的数据组成特征匹配的至少一种预设异常检测策略;根据至少一种预设异常检测策略对所述概率分布样本进行自动聚类,以得到所述异常数据。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110725998.1A CN113360656A (zh) | 2021-06-29 | 2021-06-29 | 异常数据检测方法、装置、设备及存储介质 |
CN202110725998.1 | 2021-06-29 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2023272851A1 true WO2023272851A1 (zh) | 2023-01-05 |
Family
ID=77536987
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/CN2021/108778 WO2023272851A1 (zh) | 2021-06-29 | 2021-07-28 | 异常数据检测方法、装置、设备及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN113360656A (zh) |
WO (1) | WO2023272851A1 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116107630A (zh) * | 2023-04-13 | 2023-05-12 | 四川观想科技股份有限公司 | 一种大数据运维监控的多平台适配方法 |
CN116628428A (zh) * | 2023-07-24 | 2023-08-22 | 华能信息技术有限公司 | 一种数据加工方法及*** |
CN117783658A (zh) * | 2024-01-08 | 2024-03-29 | 北京广源佳鑫科技有限公司 | 一种电力设备的电流数字测量方法 |
CN117789999A (zh) * | 2024-02-27 | 2024-03-29 | 济宁医学院附属医院 | 一种医疗健康大数据优化采集方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114676774A (zh) * | 2022-03-25 | 2022-06-28 | 北京百度网讯科技有限公司 | 数据处理方法、装置、设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200134487A1 (en) * | 2018-10-30 | 2020-04-30 | Samsung Sds Co., Ltd. | Apparatus and method for preprocessing security log |
CN111143178A (zh) * | 2019-12-12 | 2020-05-12 | 支付宝(杭州)信息技术有限公司 | 用户行为分析方法、装置及设备 |
CN111538642A (zh) * | 2020-07-02 | 2020-08-14 | 杭州海康威视数字技术股份有限公司 | 一种异常行为的检测方法、装置、电子设备及存储介质 |
CN112306982A (zh) * | 2020-11-16 | 2021-02-02 | 杭州海康威视数字技术股份有限公司 | 异常用户检测方法、装置、计算设备及存储介质 |
CN112948155A (zh) * | 2019-12-11 | 2021-06-11 | 中移(苏州)软件技术有限公司 | 模型训练方法、状态预测方法、装置、设备及存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019060327A1 (en) * | 2017-09-20 | 2019-03-28 | University Of Utah Research Foundation | ONLINE DETECTION OF ANOMALIES IN A NEWSPAPER USING AUTOMATIC APPRENTICESHIP |
US11277425B2 (en) * | 2019-04-16 | 2022-03-15 | International Business Machines Corporation | Anomaly and mode inference from time series data |
CN111352965B (zh) * | 2020-02-18 | 2023-09-08 | 腾讯科技(深圳)有限公司 | 序列挖掘模型的训练方法、序列数据的处理方法及设备 |
CN112613392B (zh) * | 2020-12-18 | 2024-07-23 | 北京国家新能源汽车技术创新中心有限公司 | 基于语义分割的车道线检测方法、装置、***及存储介质 |
-
2021
- 2021-06-29 CN CN202110725998.1A patent/CN113360656A/zh active Pending
- 2021-07-28 WO PCT/CN2021/108778 patent/WO2023272851A1/zh active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200134487A1 (en) * | 2018-10-30 | 2020-04-30 | Samsung Sds Co., Ltd. | Apparatus and method for preprocessing security log |
CN112948155A (zh) * | 2019-12-11 | 2021-06-11 | 中移(苏州)软件技术有限公司 | 模型训练方法、状态预测方法、装置、设备及存储介质 |
CN111143178A (zh) * | 2019-12-12 | 2020-05-12 | 支付宝(杭州)信息技术有限公司 | 用户行为分析方法、装置及设备 |
CN111538642A (zh) * | 2020-07-02 | 2020-08-14 | 杭州海康威视数字技术股份有限公司 | 一种异常行为的检测方法、装置、电子设备及存储介质 |
CN112306982A (zh) * | 2020-11-16 | 2021-02-02 | 杭州海康威视数字技术股份有限公司 | 异常用户检测方法、装置、计算设备及存储介质 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116107630A (zh) * | 2023-04-13 | 2023-05-12 | 四川观想科技股份有限公司 | 一种大数据运维监控的多平台适配方法 |
CN116107630B (zh) * | 2023-04-13 | 2023-06-20 | 四川观想科技股份有限公司 | 一种大数据运维监控的多平台适配方法 |
CN116628428A (zh) * | 2023-07-24 | 2023-08-22 | 华能信息技术有限公司 | 一种数据加工方法及*** |
CN116628428B (zh) * | 2023-07-24 | 2023-10-31 | 华能信息技术有限公司 | 一种数据加工方法及*** |
CN117783658A (zh) * | 2024-01-08 | 2024-03-29 | 北京广源佳鑫科技有限公司 | 一种电力设备的电流数字测量方法 |
CN117789999A (zh) * | 2024-02-27 | 2024-03-29 | 济宁医学院附属医院 | 一种医疗健康大数据优化采集方法 |
CN117789999B (zh) * | 2024-02-27 | 2024-05-03 | 济宁医学院附属医院 | 一种医疗健康大数据优化采集方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113360656A (zh) | 2021-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2023272851A1 (zh) | 异常数据检测方法、装置、设备及存储介质 | |
US10042912B2 (en) | Distributed clustering with outlier detection | |
US20220075946A1 (en) | Perceptual associative memory for a neuro-linguistic behavior recognition system | |
US9477781B2 (en) | Adaptive variable selection for data clustering | |
CN109918498B (zh) | 一种问题入库方法和装置 | |
CN108804661B (zh) | 一种云存储***中基于模糊聚类的重复数据删除方法 | |
Jiang et al. | A family of joint sparse PCA algorithms for anomaly localization in network data streams | |
CN117077044B (zh) | 一种发电机用真空断路器故障判别方法及装置 | |
CN112257801B (zh) | 图像的增量聚类方法、装置、电子设备及存储介质 | |
CN113807568B (zh) | 一种电力负荷预测方法、装置及终端设备 | |
CN112069875B (zh) | 人脸图像的分类方法、装置、电子设备和存储介质 | |
CN114281864A (zh) | 一种面向电力网络告警信息的关联分析方法 | |
US20220383157A1 (en) | Interpretable machine learning for data at scale | |
KR20210124811A (ko) | 네트워크 장애 진단을 위한 학습 데이터를 생성하는 학습 데이터 생성 장치 및 방법 | |
CN113553138A (zh) | 一种云资源调度的方法及装置 | |
CN115952067A (zh) | 一种数据库操作异常行为检测方法及可读存储介质 | |
CN114819175A (zh) | 人工智能优化平台 | |
CN114444619A (zh) | 样本生成方法、训练方法、数据处理方法以及电子设备 | |
CN115293236A (zh) | 一种基于混合聚类的电力设备并行故障诊断方法及装置 | |
CN115632874A (zh) | 一种实体对象的威胁检测方法、装置、设备及存储介质 | |
CN113282920B (zh) | 日志异常检测方法、装置、计算机设备和存储介质 | |
CN117170979B (zh) | 一种大规模设备的能耗数据处理方法、***、设备及介质 | |
CN113839799A (zh) | 一种告警关联规则挖掘方法及装置 | |
CN117079017A (zh) | 可信的小样本图像识别分类方法 | |
CN116821087A (zh) | 输电线路故障数据库构建方法、装置、终端及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21947793 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 21947793 Country of ref document: EP Kind code of ref document: A1 |