WO2023148843A1 - 時系列データ処理方法 - Google Patents

時系列データ処理方法 Download PDF

Info

Publication number
WO2023148843A1
WO2023148843A1 PCT/JP2022/004047 JP2022004047W WO2023148843A1 WO 2023148843 A1 WO2023148843 A1 WO 2023148843A1 JP 2022004047 W JP2022004047 W JP 2022004047W WO 2023148843 A1 WO2023148843 A1 WO 2023148843A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
time
series data
target
log
Prior art date
Application number
PCT/JP2022/004047
Other languages
English (en)
French (fr)
Inventor
昌尚 棗田
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2022/004047 priority Critical patent/WO2023148843A1/ja
Publication of WO2023148843A1 publication Critical patent/WO2023148843A1/ja

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • the present invention relates to time-series data processing methods, time-series data processing devices, and programs.
  • Patent Document 1 detects an abnormality only from the numerical data measured by the sensor, so there is a problem that it is difficult to detect an abnormality in consideration of the operation occurring in the monitored object. .
  • a program that should be executed as a monitoring target fails to execute due to a bug, but the program does not output an error code
  • an abnormality is detected only from numerical data such as the CPU usage rate. I can't.
  • the accuracy of detecting the state of the monitored object cannot be improved.
  • the object of the present invention is to solve the above-mentioned problem that the accuracy of detecting the state of the object cannot be improved.
  • a time-series data processing method which is one embodiment of the present invention, comprises: The log data and the numerical data based on the log data representing the behavior of the target in a preset state of the target, the numerical data representing the measured values measured from the target, and the performance data representing the performance of the target. is used as an input to predict the performance data, and generate a learning model that generates a feature amount vector representing the feature amount of the log data and the numerical data so that the distribution satisfies a preset standard. generating the learning model that generates the feature vector; take the configuration.
  • a time-series data processing device which is one embodiment of the present invention, The log data and the numerical data based on the log data representing the behavior of the target in a preset state of the target, the numerical data representing the measured values measured from the target, and the performance data representing the performance of the target. and a generation unit that generates a learning model that predicts the performance data and generates a feature amount vector representing the feature amount of the log data and the numerical data, The generation unit generates the learning model that generates the feature vector so that the distribution satisfies a preset criterion. take the configuration.
  • a program that is one embodiment of the present invention is to the computer,
  • the log data and the numerical data based on the log data representing the behavior of the target in a preset state of the target, the numerical data representing the measured values measured from the target, and the performance data representing the performance of the target. is used as an input to predict the performance data, and generate a learning model that generates a feature amount vector representing the feature amount of the log data and the numerical data so that the distribution satisfies a preset standard. generating the learning model that generates the feature vector; to carry out the process, take the configuration.
  • the present invention can improve the accuracy of detecting the state of an object.
  • FIG. 1 is a block diagram showing the configuration of a time-series data processing device according to Embodiment 1 of the present invention
  • FIG. 2 is a block diagram showing the configuration of a learning unit of the time-series data processing device disclosed in FIG. 1
  • FIG. 2 is a diagram showing how time-series data is processed by the time-series data processing device disclosed in FIG. 1
  • FIG. 2 is a diagram showing how time-series data is processed by the time-series data processing device disclosed in FIG. 1
  • FIG. 2 is a diagram showing how time-series data is processed by the time-series data processing device disclosed in FIG. 1
  • FIG. 2 is a diagram showing how time-series data is processed by the time-series data processing device disclosed in FIG. 1
  • FIG. 2 is a diagram showing how time-series data is processed by the time-series data processing device disclosed in FIG. 1;
  • FIG. 1 is a block diagram showing the configuration of a time-series data processing device according to Embodiment
  • FIG. 2 is a flow chart showing the operation of the time-series data processing device disclosed in FIG. 1; 2 is a flow chart showing the operation of the time-series data processing device disclosed in FIG. 1; It is a block diagram which shows the hardware constitutions of the time series data processing apparatus in Embodiment 2 of this invention.
  • FIG. 4 is a block diagram showing the configuration of a time-series data processing device according to Embodiment 2 of the present invention; 9 is a flow chart showing the operation of the time-series data processing device according to Embodiment 2 of the present invention.
  • FIG. 1 to 2 are diagrams for explaining the configuration of the time-series data processing device
  • FIGS. 3 to 8 are diagrams for explaining the processing operation of the time-series data processing device.
  • a time-series data processing device 10 in the present invention is connected to a target C for detecting the state of an information processing system or the like. Then, the time-series data processing device 10 stores log data representing the behavior of the target C, numerical data representing measured values measured by a measuring device installed on the target C, and performance data representing the performance of the target C. , are acquired and analyzed, and the state of the subject C is detected based on the analysis results.
  • the target C is, for example, an information processing system such as a server device.
  • the log data is log series data representing the details of processing such as an event being executed by the information processing system.
  • Numerical data includes numerical values such as CPU (Central Processing Unit) usage rate, memory usage rate, disk access frequency, input/output packet count, input/output packet rate, and power consumption value of each information processing device that constitutes the information processing system.
  • CPU Central Processing Unit
  • the performance data is data representing performance indicators such as the processing time, the number of execution threads, and the number of staying queues of each information processing device that constitutes the information processing system.
  • the state of the target C detected by the time-series data processing device 10 is assumed to be an abnormal state of the target C, and the abnormal state is determined based on the time-series data consisting of the log and the measured value.
  • the abnormal state is a state that greatly deviates from the state of the target C during a predetermined period of time, and includes failures, failures, signs of such failures, failures, signs of such failures, and operation modes that did not operate during the predetermined period of time. It may be in a state where it is present, or it may correspond to a plurality of states.
  • the state of the target C detected by the time-series data processing device 10 is not limited to being in an abnormal state, and may be any state such as detecting a normal state or operating in a specific operation mode.
  • a state may be detected, and multiple states may be detected.
  • the object C whose state is to be detected in the present invention is not limited to the information processing system, and may be anything such as a plant such as a manufacturing factory or a processing facility.
  • the log data is data representing the processing contents of the operation of the equipment and facilities that make up the plant
  • the numerical data that are the measured values are the temperature, pressure, and flow rate in the plant. , power consumption, supply amount of raw materials, remaining amount, etc.
  • Performance data is data representing performance indexes such as processing time and yield rate of the plant.
  • the time-series data processing device 10 is composed of one or more information processing devices each having an arithmetic device and a storage device.
  • the time-series data processing device 10 includes a data acquisition unit 11, a learning unit 12, and a state detection unit 13, as shown in FIG.
  • the functions of the data acquisition unit 11, the learning unit 12, and the state detection unit 13 can be realized by the arithmetic device executing a program for realizing each function stored in the storage device.
  • the time-series data processing device 10 also includes an acquired data storage unit 16 and a learning model storage unit 17 .
  • the acquired data storage unit 16 and the learning model storage unit 17 are configured by storage devices. Each configuration will be described in detail below.
  • the data acquisition unit 11 acquires log sequence data corresponding to the processing content being executed by the target C at predetermined time intervals or each time an event occurs, and stores it in the acquired data storage unit 16 together with time information. At this time, as log series data, for example, a unique log ID preset for each processing content is acquired and stored. As an example, the data acquisition unit 11 acquires and stores a log ID corresponding to the processing content at each time, as indicated by the log series data in the upper diagram of FIG.
  • the data acquisition unit 11 acquires numerical series data, which are measured values measured by the target C, at predetermined time intervals, and stores them in the acquired data storage unit 16 together with time information.
  • the numeric series data for example, a numeric value representing the resource usage such as the CPU usage rate of the information processing system that is the target C is acquired and stored.
  • the data acquisition unit 11 acquires and stores resource measurement values at each time, as indicated by numerical series data in the upper diagram of FIG.
  • the data acquisition unit 11 acquires performance data representing the performance index measured by the target C at predetermined time intervals, and stores it in the acquired data storage unit 16 together with the time information.
  • performance data for example, the processing time, the number of execution threads, and the number of staying queues of the information processing system that is the target C are acquired and stored.
  • the data acquisition unit 11 acquires log series data (first log series data) and numerical series data (first numerical series data) obtained when the operating state of target C is determined to be normal. Performance data (first performance data) are accumulated as learning data. Further, the data acquisition unit 11 converts the log series data (second log series data) and numerical series data (second numerical series data) acquired for detecting an abnormal state of the target C into state detection data. to get as At this time, the data acquisition unit 11 may also acquire performance data (second performance data) as the state detection data.
  • the learning unit 12 (generating unit) generates log series data (first log series data) and numeric series data (first Machine learning is performed using the numerical series data) and performance data (first performance data).
  • the learning unit 12 receives log series data and numerical series data, generates a learning model that outputs performance data as a predicted value, and stores the learning model in the learning model storage unit 17 .
  • the learning unit 12 generates a learning model that outputs a predicted value that minimizes the error from the actual performance data from the input log series data and numerical series data.
  • This learning model further generates a feature quantity vector representing the feature quantity of the input log series data and numerical series data, and the learning unit so that the distribution of the feature quantity vector satisfies a preset criterion. 12 has been learned.
  • the learning model generation processing by the learning unit 12 will be described in detail below.
  • the learning unit 12 includes an encoder 12A and a decoder 12B.
  • the encoder 12A includes a first feature amount calculator 12a, a second feature amount calculator 12b, and a third feature amount calculator 12c.
  • a feature quantity vector F representing these feature quantities is generated.
  • the time-series data consisting of the log-series data and the numerical-series data is divided for each predetermined time width, and the log series for each of the divided partial time-series data
  • a feature quantity vector F is generated from the data and numerical series data.
  • the first feature amount calculator 12a generates a log series feature amount vector f1 from log series data acquired as learning data. For example, as shown in the lower diagram of FIG. 3, the first feature amount calculator 12a first combines each log ID with time information representing the time when the log corresponding to each log ID occurred as preprocessing. Then, all combination data of log IDs and times included in the partial time-series data divided for each time width as indicated by symbol W are vectorized to be converted into a log-series vector.
  • the log series vector is a vector representing the feature amount of the log in each partial time series data divided for each time width indicated by symbol W.
  • the first feature amount calculation unit 12a is not limited to combining time with the log ID.
  • the log series vector may be converted to Information indicating that the numerical value is the type of log.
  • This may be a one-hot vector representation, where the first element of the vector corresponds to the numeric series and the second element of the vector corresponds to the log series.
  • the log sequence vector may be converted to have the same dimension as the numerical sequence vector described later.
  • the time information representing the time at which the log occurred may be relative time within the time width indicated by symbol W.
  • FIG. For example, when the UNIX times at both ends of the time width indicated by symbol W are Ts and Te, and the UNIX time of the log occurrence time is T, the normalization is calculated by T/
  • is an operator for extracting an absolute value.
  • the first feature amount calculation unit 12a uses a technique called Cross Attention to determine the dependency relationship between the log sequence vector and the numerical sequence vector.
  • a log series feature amount vector f1 representing the feature amount of the log series vector is generated, including information representing the log series vector. For example, as shown on the left side of FIG. is used as the weight of each element to generate a log series feature amount vector f1 representing the feature amount of the log series vector.
  • the second feature amount calculation unit 12b generates a numerical series feature amount vector f2 from the numerical series data acquired as learning data. For example, as shown in the lower diagram of FIG. 3, the second feature amount calculator 12b first combines numerical values, which are measured values, with time information representing the time when each numerical value was measured, as preprocessing. Then, all combination data of numerical values and times contained in the partial time-series data divided for each time width indicated by symbol W are vectorized to convert them into numerical sequence vectors.
  • the numeric series vector is a vector that represents the feature amount of the numeric value that is the measured value in each partial time series data divided for each time width as indicated by the symbol W.
  • the second feature amount calculation unit 12b is not necessarily limited to combining time with numerical values that are measured values, and converts the numerical series data into a numerical series vector of only numerical information.
  • information indicating that the data is a type of numerical value may be added to the numerical sequence vector. This may be a one-hot vector representation, where the first element of the vector corresponds to the numeric series and the second element of the vector corresponds to the log series.
  • the numerical series vector may be transformed to have the same dimension as the log series vector described above.
  • the time information representing the time when each numerical value was measured may be relative time within the time width indicated by symbol W, as in the case of the log series.
  • the second feature amount calculation unit 12b uses a technique called Cross Attention, as will be described in detail later, to determine the dependency relationship between the log sequence vector and the numerical sequence vector from the log sequence vector and the numerical sequence vector, which will be described later.
  • a numeric series feature amount vector f2 representing the feature amount of the numeric series vector is generated, including the information to be represented. For example, as shown on the right side of FIG. is used as a weight to generate a numerical sequence feature amount vector f2 representing the characteristic amount of the numerical sequence vector.
  • the third feature amount calculation unit 12c generates a feature amount vector F from the log series feature amount vector f1 and the numeric series feature amount vector f2 generated as described above.
  • the feature amount vector F is generated by summing or combining the log series feature amount vector f1 and the numeric series feature amount vector f2.
  • the feature quantity vector F generated by using the method of cross attention in this way contains information representing the mutual dependence relationship between the log series data and the numerical series data.
  • the encoder 12A which is the learning unit 12, is not necessarily limited to generating the feature amount vector F by the method described above, and any method may be used to generate the feature amount vector F from the log series data and the numeric series data. good. Also, the feature amount vector F to be generated may contain information representing any relationship between the log series data and the numerical series data.
  • the decoder 12B learns from the feature amount vector F generated as described above to output the performance data acquired as learning data as a predicted value.
  • the learning unit 12 consisting of the encoder 12A and the decoder 12B minimizes the error between the output predicted value and the performance data acquired as the learning data, and has a distribution that satisfies a preset criterion. Learning is performed so as to generate a feature amount vector F that is obtained by the method described above.
  • the learning unit 12 sets a predetermined range R centering on the origin in a predetermined coordinate space, and sets the value of the feature amount vector F so that the value of the feature amount vector F falls within the range R.
  • a feature quantity vector F is generated.
  • the dimension of this coordinate space matches the dimension of the feature quantity vector F, and the origin is the center of the distribution of the feature quantity vector F.
  • the feature amount vectors F generated by the learning unit 12 may be densely packed according to a predetermined distribution.
  • a predetermined distribution For example , a plurality of center points C 1 , C 2 , . , radius R 2 , . . . , radius R N .
  • the predetermined range R may be a hypersphere with a radius of r.
  • the predetermined range R may be a range in which most of the feature amount vectors F of the learning data are accommodated. It may be determined using the upper q percent points of the distribution of distances to the indicated point.
  • Each sample consists of numeric series data xm i of length lm i , log series data xl i of length ll i , and performance data y i of length 1 .
  • i is an index indicating the sample ID.
  • the decoder 12B is a neural network that calculates a predicted value of performance data (Equation 1) from the feature vector Fz i .
  • the encoder 12A and the decoder 12B determine the gradient of each parameter for the loss by error back propagation so as to minimize the loss for the prediction error defined by Equation 2, and stochastic gradient descent to update each parameter. This parameter update continues until the loss value converges.
  • the parameters of the encoder 12A are adjusted to minimize the loss with respect to the spread of the distribution of the feature vector F defined by Equation 4, and the gradient of each parameter with respect to the loss is calculated by the error back propagation method. and update each parameter with stochastic gradient descent. This parameter update continues until the loss value converges.
  • Equation 5 is an adjustment parameter with a value greater than or equal to 0.
  • the state detection unit (detection unit) 13 collects log series data (second log series data) and numerical series data (second numerical value series data) is input to the learning model stored in the learning model storage unit 17, and the state of the target C is detected from the output.
  • the feature amount vector F is newly generated from the learning model and output, the feature amount vector F and the plane space range R set during the learning by the learning unit 12 described above are combined.
  • the state detection unit 13 calculates the distance D between the origin, which is the center of the range R of the plane space, and the newly generated feature amount vector F, and from the distance D, the object The degree of abnormality of C is calculated.
  • the degree of abnormality is calculated so that the degree of abnormality increases as the distance D is located outside the range R of the plane space, and an abnormal state is detected.
  • the degree of abnormality is calculated from the degree of divergence between this distribution and the newly generated feature amount vector F, and the abnormal state is detected. may be detected.
  • the state detection unit 13 uses the performance data (second performance Data) and the error may be calculated, and the degree of abnormality may be calculated from the error to detect the state of the target C.
  • the state of the target C may be detected based on both the values of the degree of abnormality calculated from the feature amount vector F and the degree of abnormality calculated from the prediction error.
  • log series data and numerical series data input to the learning model by the state detection unit 13 described above have the same data structure as the data structure input to the learning unit 12 during learning. That is, in the present embodiment, a log series vector and a numerical series vector are input, which are obtained by adding time information to log series data and numerical series data of a predetermined time width, respectively, as indicated by symbol W in FIG. Become.
  • the time-series data processing device 10 acquires log series data corresponding to the processing content being executed by the target C from the target C operating in a normal state, and numeric series data which is the measured value measured by the target C. , and performance data representing the performance index measured by the target C are acquired and stored as learning data (step S1). Then, the time series data processing device 10 performs machine learning using the log series data, numerical series data, and performance data stored as learning data (step S2).
  • the time-series data processing device 10 outputs the prediction value that minimizes the error from the actual performance data from the input log series data and numerical series data, and A learning model is generated and stored for generating a feature quantity vector representing the feature quantity of the log sequence data and the numerical sequence data such that the distribution satisfies the criteria set forth above (step S3).
  • the time-series data processing device 10 generates a learning model that generates a feature quantity vector F that includes information representing the dependency relationship between the log sequence vector and the numerical sequence vector.
  • This operation is the operation after the learning model is generated as described above.
  • the time-series data processing device 10 collects log-series data corresponding to the processing content being executed by the target C and numerical series data, which are measurement values measured by the target C, for state detection. data for use (step S11). Then, the time series data processing device 10 inputs the log series data and the numerical series data to the stored learning model (step S12). The time-series data processing device 10 calculates the degree of abnormality of the target C based on the feature amount vector F newly generated by the learning model and the set range R of the planar space (step S13), An abnormal state of the target C is detected from the value of the degree of abnormality (step S14). For example, as shown in FIG. 6, the time-series data processing device 10 is configured so that the newly generated feature amount vector F is located outside the range R of the planar space with respect to the origin, which is the center of the range R of the planar space. is detected as an abnormal state.
  • a learning model is generated using a log corresponding to the processing content being executed by the target C and numerical values that are measured values measured by the target C.
  • the state of the target C can be detected with higher accuracy than when detecting the state using only numerical values or logs.
  • a learning model is generated that generates a feature vector including the dependency relationship between the log and the measured value, and the learning model is generated so that the feature vector has a predetermined distribution. Therefore, more accurate state detection can be performed in consideration of the dependency relationship between the log and the measured value.
  • the learning model is configured to output a predicted value of the performance of the target C, and in particular, learning is performed so that the error in the predicted value of performance is minimized.
  • Input data that affects performance prediction is reflected in the generated feature quantity vector.
  • input data that does not affect performance prediction is not reflected in the generated feature vector.
  • FIG. 9 to 10 are block diagrams showing the configuration of the time-series data processing device according to the second embodiment
  • FIG. 11 is a flow chart showing the operation of the time-series data processing device. Note that this embodiment shows an outline of the configuration of the time-series data processing device and the time-series data processing method described in the above-described embodiments.
  • the time-series data processing device 100 is configured by a general information processing device, and has, as an example, the following hardware configuration.
  • - CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • Program group 104 loaded into RAM 103
  • Storage device 105 for storing program group 104
  • a drive device 106 that reads and writes from/to a storage medium 110 external to the information processing device
  • Communication interface 107 connected to communication network 111 outside the information processing apparatus
  • Input/output interface 108 for inputting/outputting data
  • a bus 109 connecting each component
  • the time-series data processing device 100 can construct and equip the generation unit 121 shown in FIG.
  • the program group 104 is stored in the storage device 105 or the ROM 102 in advance, for example, and is loaded into the RAM 103 and executed by the CPU 101 as necessary.
  • the program group 104 may be supplied to the CPU 101 via the communication network 111 or may be stored in the storage medium 110 in advance, and the drive device 106 may read the program and supply it to the CPU 101 .
  • the generation unit 121 described above may be constructed with a dedicated electronic circuit for realizing such means.
  • FIG. 9 shows an example of the hardware configuration of the information processing device that is the time-series data processing device 100, and the hardware configuration of the information processing device is not limited to the case described above.
  • the information processing apparatus may be composed of part of the above-described configuration, such as not having the drive device 106 .
  • the time-series data processing device 100 executes the time-series data processing method shown in the flowchart of FIG. 11 by the function of the generation unit 121 constructed by the program as described above.
  • the time-series data processing device 100 Based on time-series data including log data representing the behavior of the target in a preset state of the target, numerical data representing measured values measured from the target, and performance data representing the performance of the target, the log A reference set in advance when generating a learning model for predicting the performance data using data and the numerical data as inputs and generating a feature amount vector representing the feature amount of the log data and the numerical data Generate the learning model that generates the feature vectors so that the distribution satisfies the following (step S101); Execute the process.
  • the present invention can generate a learning model that takes into account the relationship between target log data and numerical data.
  • a learning model By using such a learning model, the target state can be detected with higher accuracy can do.
  • Non-transitory computer readable media include various types of tangible storage media.
  • Examples of non-transitory computer-readable media include magnetic recording media (e.g., flexible discs, magnetic tapes, hard disk drives), magneto-optical recording media (e.g., magneto-optical discs), CD-ROMs (Read Only Memory), CD-Rs, CD-R/W, semiconductor memory (eg mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (Random Access Memory)).
  • the program may also be delivered to the computer on various types of transitory computer readable medium. Examples of transitory computer-readable media include electrical signals, optical signals, and electromagnetic waves. Transitory computer-readable media can deliver the program to the computer via wired channels, such as wires and optical fibers, or wireless channels.
  • the present invention has been described with reference to the above-described embodiments and the like, the present invention is not limited to the above-described embodiments. Various changes that can be understood by those skilled in the art can be made to the configuration and details of the present invention within the scope of the present invention.
  • at least one or more of the functions of the generation unit 121 described above may be executed by an information processing device installed and connected to any location on the network, that is, by so-called cloud computing. good too.
  • Time series data processing method (Appendix 2) The time-series data processing method according to Supplementary Note 1, The learning for generating the feature amount vector so as to minimize an error between the performance data corresponding to the log data and the numerical data and the predicted value when the log data and the numerical data are input. generate the model, Time series data processing method. (Appendix 3) The time-series data processing method according to Appendix 1 or 2, Generating the learning model that generates the feature amount vector related to information representing the relationship between the log data and the numerical data included in the time-series data; Time series data processing method.
  • (Appendix 7) The time-series data processing method according to appendix 6, generating the learning model that generates the feature vector so that the feature vector is within a predetermined range centered on preset coordinates; Time series data processing method.
  • (Appendix 8) The time-series data processing method according to any one of Appendices 1 to 7, detecting the state of the target based on the new feature amount vector generated by inputting the log data and the numerical data newly measured from the target into the learning model; Time series data processing method.
  • (Appendix 9) The time-series data processing method according to appendix 8, Determining the state of the target based on the distribution of the feature vector generated when generating the learning model and the new feature vector. Time series data processing method.
  • the time-series data processing device (Appendix 11) The time-series data processing device according to Supplementary Note 10, The generation unit generates the feature amount vector so that an error between the performance data corresponding to the log data and the numerical data and a predicted value obtained when the log data and the numerical data are input is minimized. generating the learning model that generates Time-series data processor. (Appendix 12) The time-series data processing device according to appendix 10 or 11, The generation unit generates the learning model that generates the feature amount vector related to information representing the relationship between the log data and the numerical data. Time-series data processor.
  • (Appendix 13) The time-series data processing device according to any one of Appendices 10 to 12, The generation unit generates the learning model that generates the feature amount vector so that the feature amount vector falls within a predetermined spatial range.
  • Appendix 14 The time-series data processing device according to any one of Appendices 10 to 13, A detection unit that detects the state of the target based on the new feature amount vector generated by inputting the log data and the numerical data newly measured from the target into the learning model, Time-series data processor.
  • (Appendix 15) The time-series data processing device according to appendix 14, The detection unit determines the state of the target based on the distribution of the feature vector generated when the learning model is generated and the new feature vector.
  • Time-series data processor (Appendix 16) to the computer, The log data and the numerical data based on the log data representing the behavior of the target in a preset state of the target, the numerical data representing the measured values measured from the target, and the performance data representing the performance of the target. is used as an input to predict the performance data, and generate a learning model that generates a feature amount vector representing the feature amount of the log data and the numerical data so that the distribution satisfies a preset standard. generating the learning model that generates the feature vector;
  • a computer-readable storage medium storing a program for executing processing.
  • time-series data processing device 11 data acquisition unit 12 learning unit 13 state detection unit 16 acquired data storage unit 17 learning model storage unit 100 time-series data processing device 101 CPU 102 ROMs 103 RAM 104 program group 105 storage device 106 drive device 107 communication interface 108 input/output interface 109 bus 110 storage medium 111 communication network 121 generator

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Quality & Reliability (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本発明の時系列データ処理装置１００は、対象が予め設定された状態における、対象の動作を表すログデータと、対象から計測した計測値を表す数値データと、対象の性能を表す性能データと、に基づいて、ログデータと数値データとを入力として、性能データを予測し、ログデータと数値データとの特徴量を表す特徴量ベクトルを生成する学習モデルを生成する生成部１２１を備える。そして、生成部１２１は、予め設定された基準を満たす分布となるよう前記特徴量ベクトルを生成する学習モデルを生成する。

Description

時系列データ処理方法
　本発明は、時系列データ処理方法、時系列データ処理装置、プログラムに関する。
　エネルギー（電気、ガス、上水など）、化学製品（原油、ガソリン、プラスチックなど）、金属製品（鉄、半導体など）、機械製品（自動車、コンピュータなど）、食品、医薬品、などを製造する産業プラントや、情報処理システムといった設備では、各種センサからの計測値である時系列データを分析し、異常状態が発生したことを検出して出力することが行われている。例えば、特許文献１では、監視対象設備に設置されるセンサによって取得されたデータを入力データとし、自己符号化器を用いて入力データを再現した出力データの再現誤差を検出することで、監視対象設備の異常を検出している。
特開２０１９－１７９４００号公報
　しかしながら、特許文献１の技術では、センサにて計測した数値データのみから異常を検出しているため、監視対象で生じている動作を考慮した異常を検知することが困難である、という問題が生じる。一例として、監視対象で実行されるはずのプログラムがバグにより実行されなかったにも関わらず、プログラムからエラーコードが出力されなかった場合には、ＣＰＵ使用率などの数値データのみから異常を検出することができない。その結果、監視対象の状態を検出する精度の向上を図ることができない、という問題が生じる。
　このため、本発明の目的は、上述した課題である、対象の状態を検出する精度の向上を図ることができない、ことを解決することにある。
　本発明の一形態である時系列データ処理方法は、
　対象が予め設定された状態における、対象の動作を表すログデータと、対象から計測した計測値を表す数値データと、対象の性能を表す性能データと、に基づいて、前記ログデータと前記数値データとを入力として、前記性能データを予測し、前記ログデータと前記数値データとの特徴量を表す特徴量ベクトルを生成する学習モデルを生成する際に、予め設定された基準を満たす分布となるよう前記特徴量ベクトルを生成する前記学習モデルを生成する、
という構成をとる。
　また、本発明の一形態である時系列データ処理装置は、
　対象が予め設定された状態における、対象の動作を表すログデータと、対象から計測した計測値を表す数値データと、対象の性能を表す性能データと、に基づいて、前記ログデータと前記数値データとを入力として、前記性能データを予測し、前記ログデータと前記数値データとの特徴量を表す特徴量ベクトルを生成する学習モデルを生成する生成部を備え、
　前記生成部は、予め設定された基準を満たす分布となるよう前記特徴量ベクトルを生成する前記学習モデルを生成する、
という構成をとる。
　また、本発明の一形態であるプログラムは、
　コンピュータに、
　対象が予め設定された状態における、対象の動作を表すログデータと、対象から計測した計測値を表す数値データと、対象の性能を表す性能データと、に基づいて、前記ログデータと前記数値データとを入力として、前記性能データを予測し、前記ログデータと前記数値データとの特徴量を表す特徴量ベクトルを生成する学習モデルを生成する際に、予め設定された基準を満たす分布となるよう前記特徴量ベクトルを生成する前記学習モデルを生成する、
処理を実行させる、
という構成をとる。
　本発明は、以上のように構成されることにより、対象の状態を検出する精度の向上を図ることができる。
本発明の実施形態１における時系列データ処理装置の構成を示すブロック図である。 図１に開示した時系列データ処理装置の学習部の構成を示すブロック図である。 図１に開示した時系列データ処理装置による時系列データの処理の様子を示す図である。 図１に開示した時系列データ処理装置による時系列データの処理の様子を示す図である。 図１に開示した時系列データ処理装置による時系列データの処理の様子を示す図である。 図１に開示した時系列データ処理装置による時系列データの処理の様子を示す図である。 図１に開示した時系列データ処理装置の動作を示すフローチャートである。 図１に開示した時系列データ処理装置の動作を示すフローチャートである。 本発明の実施形態２における時系列データ処理装置のハードウェア構成を示すブロック図である。 本発明の実施形態２における時系列データ処理装置の構成を示すブロック図である。 本発明の実施形態２における時系列データ処理装置の動作を示すフローチャートである。
　＜実施形態１＞
　本発明の第１の実施形態を、図１乃至図８を参照して説明する。図１乃至図２は、時系列データ処理装置の構成を説明するための図であり、図３乃至図８は、時系列データ処理装置の処理動作を説明するための図である。
　［構成］
　本発明における時系列データ処理装置１０は、情報処理システムなどの状態を検出する対象Ｃに接続されている。そして、時系列データ処理装置１０は、対象Ｃの動作を表すログデータと、対象Ｃに設置された計測装置にて計測された計測値を表す数値データと、対象Ｃの性能を表す性能データと、を取得して分析し、分析結果に基づいて対象Ｃの状態を検出するものである。
　ここで、対象Ｃは、例えば、サーバ装置などの情報処理システムである。この場合、ログデータは、情報処理システムが実行しているイベントなどの処理内容を表すログ系列データである。また、数値データは、情報処理システムを構成する各情報処理装置のＣＰＵ（Central Processing Unit）使用率、メモリ使用率、ディスクアクセス頻度、入出力パケット数、入出力パケットレート、消費電力値などの数値にて表される数値系列データである。また、性能データは、情報処理システムを構成する各情報処理装置による処理時間や実行スレッド数、滞留キュー数などの性能指標を表すデータである。
　そして、時系列データ処理装置１０で検出する対象Ｃの状態は、本実施形態では対象Ｃの異常状態であることとし、ログと計測値からなる時系列データに基づいて、異常状態であることを検出することとする。ここで、異常状態は、予め定めた所定の期間における対象Ｃの状態から大きく逸脱する状態であり、故障や障害、およびそれらの予兆、その所定の期間で作動しなかった動作モードで作動している状態であってよく、複数の状態に対応していてもよい。なお、時系列データ処理装置１０で検出する対象Ｃの状態は、異常状態であることに限定されず、正常状態であることを検出したり、特定の動作モードで作動している状態など、いかなる状態を検出してもよく、また複数の状態を検出してもよい。
　但し、本発明において状態を検出する対象Ｃは、情報処理システムであることに限定されず、製造工場や処理施設などのプラントなど、いかなるものであってもよい。例えば、対象Ｃがプラントである場合には、ログデータは、プラントを構成する機器や設備の動作による処理内容を表すデータであり、計測値である数値データは、プラント内の温度、圧力、流量、消費電力値、原料の供給量、残量などの数値である。また、性能データは、プラントによる処理時間、歩留まり率などの性能指標を表すデータである。
　時系列データ処理装置１０は、演算装置と記憶装置とを備えた１台又は複数台の情報処理装置にて構成される。そして、時系列データ処理装置１０は、図１に示すように、データ取得部１１、学習部１２、状態検出部１３、を備える。データ取得部１１、学習部１２、状態検出部１３の機能は、演算装置が記憶装置に格納された各機能を実現するためのプログラムを実行することにより、実現することができる。また、時系列データ処理装置１０は、取得データ記憶部１６、学習モデル記憶部１７を備える。取得データ記憶部１６と学習モデル記憶部１７は、記憶装置により構成される。以下、各構成について詳述する。
　データ取得部１１は、所定の時間間隔あるいはイベントが発生する毎に、対象Ｃが実行している処理内容に対応するログ系列データを取得して、時間情報と共に取得データ記憶部１６に記憶する。このとき、ログ系列データとして、例えば、処理内容毎に予め設定された固有のログＩＤを取得して記憶する。一例として、データ取得部１１は、図３上図のログ系列データで示すように、各時間における処理内容に対応するログＩＤを取得して記憶する。
　また、データ取得部１１は、対象Ｃにて計測された計測値である数値系列データを、所定の時間間隔で取得して、時間情報と共に取得データ記憶部１６に記憶する。このとき、数値系列データとして、例えば、対象Ｃである情報処理システムのＣＰＵ使用率などのリソースの使用状況を表す数値を取得して記憶する。一例として、データ取得部１１は、図３上図の数値系列データで示すように、各時間におけるリソースの計測値を取得して記憶する。
　また、データ取得部１１は、対象Ｃにて計測された性能指標を表す性能データを、所定の時間間隔で取得して、時間情報と共に取得データ記憶部１６に記憶する。このとき、性能データとして、例えば、対象Ｃである情報処理システムによる処理時間や実行スレッド数、滞留キュー数を取得して記憶する。
　そして、データ取得部１１は、対象Ｃの稼働状態が正常であると判断されているときに取得したログ系列データ（第一のログ系列データ）と数値系列データ（第一の数値系列データ）と性能データ（第一の性能データ）とを、学習データとして蓄積しておく。また、データ取得部１１は、対象Ｃの異常状態を検出するために取得したログ系列データ（第二のログ系列データ）と数値系列データ（第二の数値系列データ）とを、状態検出用データとして取得する。このとき、データ取得部１１は、状態検出用データとして性能データ（第二の性能データ）も取得してもよい。
　学習部１２（生成部）は、対象Ｃが正常状態であると判断されたときに学習データとして取得され蓄積されているログ系列データ（第一のログ系列データ）と数値系列データ（第一の数値系列データ）と性能データ（第一の性能データ）とを用いて、機械学習を行う。特に、学習部１２は、ログ系列データと数値系列データとを入力して、性能データを予測値として出力する学習モデルを生成して学習モデル記憶部１７に記憶する。このとき、学習部１２は、入力されたログ系列データと数値系列データとから、実際の性能データとの誤差が最小となるような予測値を出力する学習モデルを生成する。この学習モデルはさらに、入力されたログ系列データと数値系列データとの特徴量を表す特徴量ベクトルを生成すると共に、当該特徴量ベクトルの分布が予め設定された基準を満たす分布となるよう学習部１２によって学習されている。以下、学習部１２による学習モデルの生成処理について詳しく説明する。
　図２に示すように、学習部１２は、エンコーダ１２Ａとデコーダ１２Ｂとを備えている。エンコーダ１２Ａは、第一特徴量算出部１２ａと、第二特徴量算出部１２ｂと、第三特徴量算出部１２ｃと、を備えており、学習データとして取得されたログ系列データと数値系列データとから、これらの特徴量を表す特徴量ベクトルＦを生成する。なお、ここでは、図３上図の符号Ｗで示すように、ログ系列データと数値系列データとからなる時系列データを所定の時間幅毎に分割し、分割した部分時系列データ毎のログ系列データと数値系列データとから、特徴量ベクトルＦを生成する。
　第一特徴量算出部１２ａは、学習データとして取得されたログ系列データからログ系列特徴量ベクトルｆ１を生成する。例えば、第一特徴量算出部１２ａは、図３下図に示すように、まず前処理として、各ログＩＤに、それぞれ各ログＩＤに対応するログが生じた時間を表す時間情報を組み合わせる。そして、符号Ｗで示すような時間幅毎に分割した部分時系列データに含まれる全てのログＩＤと時間との組み合わせデータをベクトル化することで、ログ系列ベクトルに変換する。つまり、ログ系列ベクトルは、符号Ｗで示すような時間幅毎に分割した各部分時系列データ内のログの特徴量を表すベクトルである。但し、第一特徴量算出部１２ａは、ログ系列データをログ系列ベクトルに変換する際に、必ずしもログＩＤに時間を組み合わせることに限定されず、ログＩＤやログを特定する情報だけのログ系列ベクトルに変換してもよい。また、ログ系列ベクトルには、数値がログの種別であることを表す情報が付加されてもよい。これは、ベクトルの１番目の要素が数値系列、ベクトルの２番目の要素がログ系列に対応するＯｎｅ－ｈｏｔベクトル表現でもよい。また、ログ系列ベクトルは、後述する数値系列ベクトルを同じ次元となるよう変換されてもよい。また、ログが生じた時間を表す時間情報は、符号Ｗで示した時間幅内での相対時間でもよい。これは、例えば、符号Ｗで示した時間幅の両端のＵＮＩＸ時刻をＴｓ、Ｔｅとし、ログの発生時刻のＵＮＩＸ時刻をＴとしたとき、Ｔ／｜Ｔｅ－Ｔｓ｜で計算される正規化された相対時間でもよい。ここで、｜・｜は絶対値を取り出す演算子である。
　そして、第一特徴量算出部１２ａは、ログ系列ベクトルと後述する数値系列ベクトルとから、後に詳述するように、Ｃｒｏｓｓ　Ａｔｔｅｎｔｉｏｎという手法を用いて、ログ系列ベクトルと数値系列ベクトルとの依存関係を表す情報を含む、ログ系列ベクトルの特徴量を表すログ系列特徴量ベクトルｆ１を生成する。例えば、図４の左側に示すように、ログ系列ベクトルを主、数値系列ベクトルを従とし、各ベクトルの各要素間の依存関係つまり関連度合いを表す重要度（スコア）を算出し、かかる重要度を各要素の重みとして用いて、ログ系列ベクトルの特徴量を表すログ系列特徴量ベクトルｆ１を生成する。
　第二特徴量算出部１２ｂは、学習データとして取得された数値系列データから数値系列特徴量ベクトルｆ２を生成する。例えば、第二特徴量算出部１２ｂは、図３下図に示すように、まず前処理として、各計測値である数値に、それぞれ各数値が計測された時間を表す時間情報を組み合わせる。そして、符号Ｗで示すような時間幅毎に分割した部分時系列データに含まれる全ての数値と時間との組み合わせデータをベクトル化することで、数値系列ベクトルに変換する。つまり、数値系列ベクトルは、符号Ｗで示すような時間幅毎に分割した各部分時系列データ内の計測値である数値の特徴量を表すベクトルである。但し、第二特徴量算出部１２ｂは、数値系列データを数値系列ベクトルに変換する際に、必ずしも計測値である数値に時間を組み合わせることに限定されず、数値情報だけの数値系列ベクトルに変換してもよい。また、数値系列ベクトルには、データが数値の種別であることを表す情報が付加されてもよい。これは、ベクトルの１番目の要素が数値系列、ベクトルの２番目の要素がログ系列に対応するＯｎｅ－ｈｏｔベクトル表現でもよい。また、数値系列ベクトルは、上述したログ系列ベクトルを同じ次元となるよう変換されてもよい。また、各数値が計測された時間を表す時間情報は、ログ系列の場合と同様に符号Ｗで示した時間幅内での相対時間でもよい。
　そして、第二特徴量算出部１２ｂは、ログ系列ベクトルと後述する数値系列ベクトルとから、後に詳述するように、Ｃｒｏｓｓ　Ａｔｔｅｎｔｉｏｎという手法を用いて、ログ系列ベクトルと数値系列ベクトルとの依存関係を表す情報を含む、数値系列ベクトルの特徴量を表す数値系列特徴量ベクトルｆ２を生成する。例えば、図４の右側に示すように、数値系列ベクトルを主、ログ系列ベクトルを従とし、各ベクトルの各要素間の依存関係つまり関連度合いを表す重要度（スコア）を算出し、かかる重要度を重みとして用いて、数値系列ベクトルの特徴量を表す数値系列特徴量ベクトルｆ２を生成する。
　ここで、上述したログ系列特徴量ベクトルｆ１及び数値系列特徴量ベクトルｆ２の生成方法の一例を説明する。ここでは、図４の左側に示すログ系列特徴量ベクトルｆ１を生成する方法を、図５を参照して説明するが、数値系列特徴量ベクトルも同様に生成する。まず、従となる数値ベクトルを（Ｋ，Ｖ）、主となるログ系列ベクトルを（Ｑ）とする。ここでは、「Ｑ，Ｋ，Ｖ」は別々の全結合層によって同じ次元となるように調整されており、また、「Ｋ，Ｖ」は同一なものとして図示しているが、別々の全結合層によって中身が異なる。なお、「Ｒ」は各ベクトルのデータ構造を示しており、「ｎ，ｍ」はデータ数、「ｄ」は次元、を表している。まず、「ｓｏｆｔｍａｘ（ＱＫＴ）」で示すようにログ系列ベクトルと数値系列ベクトルの依存関係から見た各要素の重要度を算出する。そして、かかる重要度を重みとし、「ｓｏｆｔｍａｘ（ＱＫＴ）Ｖ」で示すように、ログ系列特徴量ベクトルｆ１－１を算出する。その後、「ｖ＝ｓｏｆｔｍａｘ（ＱＫＴ）Ｖ」に基づいて決まる重み「ａ」を用いて、「ａ　ｓｏｆｔｍａｘ（ＱＫＴ）Ｖ」で示すように加重平均をとった１つの特徴量ベクトルであるログ系列特徴量ベクトルｆ１を生成する。ここで、「ａ」は、例えば図５中で示す式にて算出でき、「ｗ，Ｐ，Ｑ」は重みを表している。変形例では、ログ系列特徴量ベクトルｆ１－１の最新の時刻に対応するベクトルをログ系列特徴量ベクトルｆ１としてもよい。
　第三特徴量算出部１２ｃは、上述したように生成したログ系列特徴量ベクトルｆ１と数値系列特徴量ベクトルｆ２とから特徴量ベクトルＦを生成する。例えば、ログ系列特徴量ベクトルｆ１と数値系列特徴量ベクトルｆ２との和や結合により、特徴量ベクトルＦを生成する。このようにＣｒｏｓｓ　Ａｔｔｅｎｔｉｏｎという手法を用いて生成された特徴量ベクトルＦは、ログ系列データと数値系列データとの相互方向の依存関係を表す情報を含むこととなる。
　但し、学習部１２であるエンコーダ１２Ａは、必ずしも上述した方法で特徴量ベクトルＦを生成することに限定されず、いかなる方法でログ系列データと数値系列データとから特徴量ベクトルＦを生成してもよい。また、生成される特徴量ベクトルＦは、ログ系列データと数値系列データとのいかなる関係性を表す情報を含んでいてもよい。
　そして、デコーダ１２Ｂは、上述したように生成された特徴量ベクトルＦから、学習データとして取得された性能データを予測値として出力するよう学習する。このとき、エンコーダ１２Ａ及びデコーダ１２Ｂからなる学習部１２は、出力となる予測値と、学習データとして取得された性能データと、の誤差を最小とすると共に、予め設定された基準を満たすような分布となる特徴量ベクトルＦを、上述した手法で生成するよう学習する。本実施形態では、学習部１２は、図２に示すように、所定の座標空間において原点を中心とした所定範囲Ｒを設定し、かかる範囲Ｒ内に特徴量ベクトルＦの値が収まるよう、当該特徴量ベクトルＦを生成する。ここで、この座標空間の次元は、特徴量ベクトルＦの次元に一致し、原点は、特徴量ベクトルＦの分布の中心である。なお、学習部１２が生成する特徴量ベクトルＦは、所定の分布に従って密集すればよく、例えば、複数の中心点Ｃ１、Ｃ２、・・・、ＣＮと、それぞれに対応する半径Ｒ１、半径Ｒ２、・・・、半径ＲN内に特徴量ベクトルＦの値が収まるように、特徴量ベクトルＦを生成してもよい。また、所定範囲Ｒは、半径ｒの超球でもよい。また、所定範囲Ｒは、学習データの特徴量ベクトルＦの大半が収まる範囲としてもよく、所定範囲Ｒが半径ｒの超球の場合は、所定座標空間の原点から学習データの特徴量ベクトルＦが示す点までの距離の分布の上側ｑパーセント点を用いて決定してもよい。
　ここで、上述したエンコーダ１２Ａおよびデコーダ１２Ｂがニューラルネットワークで構成されている場合を例に、エンコーダ１２Ａとデコーダ１２Ｂの学習方法の一例を説明する。
　学習データとして、Ｎ組の学習サンプルが得られたとする。各サンプルは、長さlmiの数値系列データxmi、長さlliのログ系列データxli、長さ１の性能データyiからなる。ここで、iはサンプルＩＤを示すインデックスであるあ。エンコーダ１２Ａは数値系列データxmiとログ系列データxliをD次元の特徴量ベクトルＦzi=[zi1, zi2,..., ziD]に変換するニューラルネットワークである。デコーダ１２Ｂは特徴量ベクトルＦziから性能データの予測値（数１式）を算出するニューラルネットワークである。
　本実施形態において、エンコーダ１２Ａとデコーダ１２Ｂは、数２式で定義される予測誤差に対する損失、を最小化するように、損失に対する各パラメータの勾配を誤差逆伝搬法によって求め、確率的勾配降下法で各パラメータを更新する。このパラメータ更新を損失の値が収束するまで続ける。
　次に、特徴量ベクトルＦの分布の中心の初期値を算出する。エンコーダ１２Ａを用いて各学習サンプルの特徴量ベクトルＦziを算出し、特徴量ベクトルＦの分布の中心c=[c1,c2,...,cD]を、数３式によって、特徴量ベクトルＦziの平均値として初期化する。
　この初期値を用いて、エンコーダ１２Ａのパラメータを、数４式で定義される特徴量ベクトルＦの分布の広がりに対する損失、を最小化するように、損失に対する各パラメータの勾配を誤差逆伝搬法によって求め、確率的勾配降下法で各パラメータを更新する。このパラメータ更新を損失の値が収束するまで続ける。
　変形例は、エンコーダ１２Ａとデコーダ１２ＢがLpを最小化するように学習した後、数５式を最小化するようにパラメータを更新する。ここではλは０以上の値を持つ調整パラメータである。
　なお、上述した学習方法は、１例であって、本発明はこの例に制限されない。
　状態検出部（検出部）１３は、上述した学習モデルを生成した後に対象Ｃから計測された状態検出用データであるログ系列データ（第二のログ系列データ）と数値系列データ（第二の数値系列データ）とを、学習モデル記憶部１７に記憶された学習モデルに入力し、その出力から対象Ｃの状態を検出する。本実施形態においては、学習モデルから特徴量ベクトルＦが新たに生成されて出力されるため、かかる特徴量ベクトルＦと、上述した学習部１２による学習の際に設定された平面空間の範囲Ｒと、に基づいて、異常状態を検出する。例えば、状態検出部１３は、図６に示すように、平面空間の範囲Ｒの中心となる原点と、新たに生成された特徴量ベクトルＦと、の距離Ｄを算出し、かかる距離Ｄから対象Ｃの異常度を算出する。このとき、距離Ｄが平面空間の範囲Ｒの外側に位置するほど異常度が高くなるよう算出され、異常状態と検出されることとなる。なお、学習時に、特徴量ベクトルＦが所定の分布となるよう学習している場合には、かかる分布と新たに生成した特徴量ベクトルＦとの乖離度などから異常度を算出して異常状態を検出してもよい。
　さらに、状態検出部１３は、ログ系列データと数値系列データとを学習モデルに入力することにより出力される性能の予測値と、対象Ｃから状態検出用データとして取得した性能データ（第二の性能データ）と、の誤差を算出し、その誤差から異常度を算出して対象Ｃの状態を検出してもよい。例えば、上述した特徴量ベクトルＦから算出した異常度と、予測誤差から算出した異常度と、の両方の値に基づいて、対象Ｃの状態を検出してもよい。
　なお、上述した状態検出部１３にて学習モデルに入力されるログ系列データと数値系列データとは、学習時に学習部１２に入力されたデータ構造と同一となる。つまり、本実施形態では、図３の符号Ｗに示すような所定の時間幅のログ系列データと数値系列データにそれぞれ時間情報を付加した、ログ系列ベクトルと数値系列ベクトルとが入力されることとなる。
　［動作］
　次に、上述した時系列データ処理装置１０の動作を、主に図７乃至図８のフローチャートを参照して説明する。まず、図７のフローチャートを参照して、対象Ｃの異常状態を検出するための学習モデルを生成するときの動作を説明する。
　時系列データ処理装置１０は、正常状態で稼働している対象Ｃから、対象Ｃが実行している処理内容に対応するログ系列データと、対象Ｃにて計測された計測値である数値系列データと、対象Ｃにて計測された性能指標を表す性能データと、を取得して、学習データとして記憶する（ステップＳ１）。そして、時系列データ処理装置１０は、学習データとして記憶されているログ系列データと数値系列データと性能データとを用いて、機械学習を行う（ステップＳ２）。このとき、時系列データ処理装置１０は、上述したように、入力されたログ系列データと数値系列データとから、実際の性能データとの誤差が最小となる予測値を出力すると共に、予め設定された基準を満たすような分布となるようなログ系列データと数値系列データとの特徴量を表す特徴量ベクトルを生成する学習モデルを生成して記憶する（ステップＳ３）。特に、時系列データ処理装置１０は、ログ系列ベクトルと数値系列ベクトルとの依存関係を表す情報を含むような特徴量ベクトルＦを生成するような学習モデルを生成する。
　次に、図８のフローチャートを参照して、対象Ｃの異常状態を検出するときの動作について説明する。この動作は、上述したように学習モデルを生成した後の動作となる。
　まず、時系列データ処理装置１０は、上述同様に、対象Ｃが実行している処理内容に対応するログ系列データと、対象Ｃにて計測された計測値である数値系列データとを、状態検出用データとして取得する（ステップＳ１１）。そして、時系列データ処理装置１０は、ログ系列データと数値系列データとを、記憶している学習モデルに対して入力する（ステップＳ１２）。時系列データ処理装置１０は、学習モデルにて新たに生成された特徴量ベクトルＦと、設定された平面空間の範囲Ｒと、に基づいて、対象Ｃの異常度を算出し（ステップＳ１３）、かかる異常度の値から対象Ｃの異常状態を検出する（ステップＳ１４）。例えば、時系列データ処理装置１０は、図６に示すように、平面空間の範囲Ｒの中心となる原点に対して、新たに生成された特徴量ベクトルＦが平面空間の範囲Ｒ外に位置する場合に、異常状態であると検出する。
　以上のように、本実施形態では、対象Ｃが実行している処理内容に対応するログと、対象Ｃにて計測された計測値である数値と、を用いて学習モデルを生成しており、かかる学習モデルを用いて対象Ｃの状態検出を行うことで、数値単独やログ単独で状態検出を行う場合よりも、より高い精度で対象Ｃの状態を検出することができる。特に、本実施形態では、ログと計測値との依存関係を含む特徴量ベクトルを生成する学習モデルを生成しており、さらに、かかる特徴量ベクトルが所定の分布となるよう学習モデルを生成しているため、ログと計測値との依存関係が考慮されたより精度の高い状態検出を行うことができる。
　さらに、本実施形態では、学習モデルが対象Ｃの性能の予測値を出力する構成となっており、特に、性能の予測値の誤差が最小になるよう学習されているため、かかる学習モデルにて生成される特徴量ベクトルには、性能予測に影響を及ぼす入力データが反映されることとなる。換言すると、生成される特徴量ベクトルには、性能予測に影響を及ぼさない入力データが反映されないこととなる。その結果、特徴量ベクトルを用いて状態検出を行うことで、誤検出を抑制でき、より精度の高い状態検出を行うことができる。
　
　＜実施形態２＞
　次に、本発明の第２の実施形態を、図９乃至図１１を参照して説明する。図９乃至図１０は、実施形態２における時系列データ処理装置の構成を示すブロック図であり、図１１は、時系列データ処理装置の動作を示すフローチャートである。なお、本実施形態では、上述した実施形態で説明した時系列データ処理装置及び時系列データ処理方法の構成の概略を示している。
　まず、図９を参照して、本実施形態における時系列データ処理装置１００のハードウェア構成を説明する。時系列データ処理装置１００は、一般的な情報処理装置にて構成されており、一例として、以下のようなハードウェア構成を装備している。
　・ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１０１（演算装置）
　・ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１０２（記憶装置）
　・ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１０３（記憶装置）
　・ＲＡＭ１０３にロードされるプログラム群１０４
　・プログラム群１０４を格納する記憶装置１０５
　・情報処理装置外部の記憶媒体１１０の読み書きを行うドライブ装置１０６
　・情報処理装置外部の通信ネットワーク１１１と接続する通信インタフェース１０７
　・データの入出力を行う入出力インタフェース１０８
　・各構成要素を接続するバス１０９
　そして、時系列データ処理装置１００は、プログラム群１０４をＣＰＵ１０１が取得して当該ＣＰＵ１０１が実行することで、図１０に示す生成部１２１を構築して装備することができる。なお、プログラム群１０４は、例えば、予め記憶装置１０５やＲＯＭ１０２に格納されており、必要に応じてＣＰＵ１０１がＲＡＭ１０３にロードして実行する。また、プログラム群１０４は、通信ネットワーク１１１を介してＣＰＵ１０１に供給されてもよいし、予め記憶媒体１１０に格納されており、ドライブ装置１０６が該プログラムを読み出してＣＰＵ１０１に供給してもよい。但し、上述した生成部１２１は、かかる手段を実現させるための専用の電子回路で構築されるものであってもよい。
　なお、図９は、時系列データ処理装置１００である情報処理装置のハードウェア構成の一例を示しており、情報処理装置のハードウェア構成は上述した場合に限定されない。例えば、情報処理装置は、ドライブ装置１０６を有さないなど、上述した構成の一部から構成されてもよい。
　そして、時系列データ処理装置１００は、上述したようにプログラムによって構築された生成部１２１の機能により、図１１のフローチャートに示す時系列データ処理方法を実行する。
　図１１に示すように、時系列データ処理装置１００は、
　対象が予め設定された状態における、対象の動作を表すログデータと、対象から計測した計測値を表す数値データと、対象の性能を表す性能データと、を含む時系列データに基づいて、前記ログデータと前記数値データとを入力として、前記性能データを予測すると共に、前記ログデータと前記数値データとの特徴量を表す特徴量ベクトルを生成する学習モデルを生成する際に、予め設定された基準を満たす分布となるよう前記特徴量ベクトルを生成する前記学習モデルを生成する（ステップＳ１０１）、
という処理を実行する。
　本発明は、以上のように構成されることにより、対象のログデータと数値データとの関係が考慮された学習モデルを生成でき、かかる学習モデルを用いることで対象の状態をより高い精度で検出することができる。
　なお、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　以上、上記実施形態等を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることができる。また、上述した生成部１２１の機能のうちの少なくとも一以上の機能は、ネットワーク上のいかなる場所に設置され接続された情報処理装置で実行されてもよく、つまり、いわゆるクラウドコンピューティングで実行されてもよい。
　＜付記＞
　上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における時系列データ処理方法、時系列データ処理装置、プログラムの構成の概略を説明する。但し、本発明は、以下の構成に限定されない。
（付記１）
　対象が予め設定された状態における、対象の動作を表すログデータと、対象から計測した計測値を表す数値データと、対象の性能を表す性能データと、に基づいて、前記ログデータと前記数値データとを入力として、前記性能データを予測し、前記ログデータと前記数値データとの特徴量を表す特徴量ベクトルを生成する学習モデルを生成する際に、予め設定された基準を満たす分布となるよう前記特徴量ベクトルを生成する前記学習モデルを生成する、
時系列データ処理方法。
（付記２）
　付記１に記載の時系列データ処理方法であって、
　前記ログデータと前記数値データとに対応する前記性能データと、当該ログデータと当該数値データとを入力としたときの予測値と、の誤差が最小となるよう前記特徴量ベクトルを生成する前記学習モデルを生成する、
時系列データ処理方法。
（付記３）
　付記１又は２に記載の時系列データ処理方法であって、
　前記時系列データに含まれる前記ログデータと前記数値データとの関係性を表す情報に関する前記特徴量ベクトルを生成する前記学習モデルを生成する、
時系列データ処理方法。
（付記４）
　付記３に記載の時系列データ処理方法であって、
　前記ログデータと前記数値データとの依存関係を表す情報に関する前記特徴量ベクトルを生成する前記学習モデルを生成する、
時系列データ処理方法。
（付記５）
　付記４に記載の時系列データ処理方法であって、
　前記ログデータと前記数値データとの相互方向の依存関係を表す情報に関する前記特徴量ベクトルを生成する前記学習モデルを生成する、
時系列データ処理方法。
（付記６）
　付記１乃至５のいずれかに記載の時系列データ処理方法であって、
　前記特徴量ベクトルが所定の空間範囲内に収まるよう当該特徴量ベクトルを生成する前記学習モデルを生成する、
時系列データ処理方法。
（付記７）
　付記６に記載の時系列データ処理方法であって、
　前記特徴量ベクトルが予め設定された座標を中心とした所定範囲内に収まるよう当該特徴量ベクトルを生成する前記学習モデルを生成する、
時系列データ処理方法。
（付記８）
　付記１乃至７のいずれかに記載の時系列データ処理方法であって、
　対象から新たに計測された前記ログデータと前記数値データとを前記学習モデルに入力して生成された新たな前記特徴量ベクトルに基づいて、対象の状態を検出する、
時系列データ処理方法。
（付記９）
　付記８に記載の時系列データ処理方法であって、
　前記学習モデルを生成する際に生成された前記特徴量ベクトルの分布と、前記新たな特徴量ベクトルと、に基づいて、対象の状態を判別する、
時系列データ処理方法。
（付記１０）
　対象が予め設定された状態における、対象の動作を表すログデータと、対象から計測した計測値を表す数値データと、対象の性能を表す性能データと、に基づいて、前記ログデータと前記数値データとを入力として、前記性能データを予測し、前記ログデータと前記数値データとの特徴量を表す特徴量ベクトルを生成する学習モデルを生成する生成部を備え、
　前記生成部は、予め設定された基準を満たす分布となるよう前記特徴量ベクトルを生成する前記学習モデルを生成する、
時系列データ処理装置。
（付記１１）
　付記１０に記載の時系列データ処理装置であって、
　前記生成部は、前記ログデータと前記数値データとに対応する前記性能データと、当該ログデータと当該数値データとを入力としたときの予測値と、の誤差が最小となるよう前記特徴量ベクトルを生成する前記学習モデルを生成する、
時系列データ処理装置。
（付記１２）
　付記１０又は１１に記載の時系列データ処理装置であって、
　前記生成部は、前記ログデータと前記数値データとの関係性を表す情報に関する前記特徴量ベクトルを生成する前記学習モデルを生成する、
時系列データ処理装置。
（付記１３）
　付記１０乃至１２のいずれかに記載の時系列データ処理装置であって、
　前記生成部は、前記特徴量ベクトルが所定の空間範囲内に収まるよう当該特徴量ベクトルを生成する前記学習モデルを生成する、
時系列データ処理装置。
（付記１４）
　付記１０乃至１３のいずれかに記載の時系列データ処理装置であって、
　対象から新たに計測された前記ログデータと前記数値データとを前記学習モデルに入力して生成された新たな前記特徴量ベクトルに基づいて、対象の状態を検出する検出部を備えた、
時系列データ処理装置。
（付記１５）
　付記１４に記載の時系列データ処理装置であって、
　前記検出部は、前記学習モデルを生成する際に生成された前記特徴量ベクトルの分布と、前記新たな特徴量ベクトルと、に基づいて、対象の状態を判別する、
時系列データ処理装置。
（付記１６）
　コンピュータに、
　対象が予め設定された状態における、対象の動作を表すログデータと、対象から計測した計測値を表す数値データと、対象の性能を表す性能データと、に基づいて、前記ログデータと前記数値データとを入力として、前記性能データを予測し、前記ログデータと前記数値データとの特徴量を表す特徴量ベクトルを生成する学習モデルを生成する際に、予め設定された基準を満たす分布となるよう前記特徴量ベクトルを生成する前記学習モデルを生成する、
処理を実行させるためのプログラムを記憶したコンピュータにて読み取り可能な記憶媒体。
１０　時系列データ処理装置
１１　データ取得部
１２　学習部
１３　状態検出部
１６　取得データ記憶部
１７　学習モデル記憶部
１００　時系列データ処理装置
１０１　ＣＰＵ
１０２　ＲＯＭ
１０３　ＲＡＭ
１０４　プログラム群
１０５　記憶装置
１０６　ドライブ装置
１０７　通信インタフェース
１０８　入出力インタフェース
１０９　バス
１１０　記憶媒体
１１１　通信ネットワーク
１２１　生成部
 

Claims (16)

  1. 　対象が予め設定された状態における、対象の動作を表すログデータと、対象から計測した計測値を表す数値データと、対象の性能を表す性能データと、に基づいて、前記ログデータと前記数値データとを入力として、前記性能データを予測し、前記ログデータと前記数値データとの特徴量を表す特徴量ベクトルを生成する学習モデルを生成する際に、予め設定された基準を満たす分布となるよう前記特徴量ベクトルを生成する前記学習モデルを生成する、
    時系列データ処理方法。
  2. 　請求項１に記載の時系列データ処理方法であって、
    　前記ログデータと前記数値データとに対応する前記性能データと、当該ログデータと当該数値データとを入力としたときの予測値と、の誤差が最小となるよう前記特徴量ベクトルを生成する前記学習モデルを生成する、
    時系列データ処理方法。
  3. 　請求項１又は２に記載の時系列データ処理方法であって、
    　前記ログデータと前記数値データとの関係性を表す情報に関する前記特徴量ベクトルを生成する前記学習モデルを生成する、
    時系列データ処理方法。
  4. 　請求項３に記載の時系列データ処理方法であって、
    　前記ログデータと前記数値データとの依存関係を表す情報に関する前記特徴量ベクトルを生成する前記学習モデルを生成する、
    時系列データ処理方法。
  5. 　請求項４に記載の時系列データ処理方法であって、
    　前記ログデータと前記数値データとの相互方向の依存関係を表す情報に関する前記特徴量ベクトルを生成する前記学習モデルを生成する、
    時系列データ処理方法。
  6. 　請求項１乃至５のいずれかに記載の時系列データ処理方法であって、
    　前記特徴量ベクトルが所定の空間範囲内に収まるよう当該特徴量ベクトルを生成する前記学習モデルを生成する、
    時系列データ処理方法。
  7. 　請求項６に記載の時系列データ処理方法であって、
    　前記特徴量ベクトルが予め設定された座標を中心とした所定範囲内に収まるよう当該特徴量ベクトルを生成する前記学習モデルを生成する、
    時系列データ処理方法。
  8. 　請求項１乃至７のいずれかに記載の時系列データ処理方法であって、
    　対象から新たに計測された前記ログデータと前記数値データとを前記学習モデルに入力して生成された新たな前記特徴量ベクトルに基づいて、対象の状態を検出する、
    時系列データ処理方法。
  9. 　請求項８に記載の時系列データ処理方法であって、
    　前記学習モデルを生成する際に生成された前記特徴量ベクトルの分布と、前記新たな特徴量ベクトルと、に基づいて、対象の状態を判別する、
    時系列データ処理方法。
  10. 　対象が予め設定された状態における、対象の動作を表すログデータと、対象から計測した計測値を表す数値データと、対象の性能を表す性能データと、に基づいて、前記ログデータと前記数値データとを入力として、前記性能データを予測し、前記ログデータと前記数値データとの特徴量を表す特徴量ベクトルを生成する学習モデルを生成する生成部を備え、
    　前記生成部は、予め設定された基準を満たす分布となるよう前記特徴量ベクトルを生成する前記学習モデルを生成する、
    時系列データ処理装置。
  11. 　請求項１０に記載の時系列データ処理装置であって、
    　前記生成部は、前記ログデータと前記数値データとに対応する前記性能データと、当該ログデータと当該数値データとを入力としたときの予測値と、の誤差が最小となるよう前記特徴量ベクトルを生成する前記学習モデルを生成する、
    時系列データ処理装置。
  12. 　請求項１０又は１１に記載の時系列データ処理装置であって、
    　前記生成部は、前記ログデータと前記数値データとの関係性を表す情報に関する前記特徴量ベクトルを生成する前記学習モデルを生成する、
    時系列データ処理装置。
  13. 　請求項１０乃至１２のいずれかに記載の時系列データ処理装置であって、
    　前記生成部は、前記特徴量ベクトルが所定の空間範囲内に収まるよう当該特徴量ベクトルを生成する前記学習モデルを生成する、
    時系列データ処理装置。
  14. 　請求項１０乃至１３のいずれかに記載の時系列データ処理装置であって、
    　対象から新たに計測された前記ログデータと前記数値データとを前記学習モデルに入力して生成された新たな前記特徴量ベクトルに基づいて、対象の状態を検出する検出部を備えた、
    時系列データ処理装置。
  15. 　請求項１４に記載の時系列データ処理装置であって、
    　前記検出部は、前記学習モデルを生成する際に生成された前記特徴量ベクトルの分布と、前記新たな特徴量ベクトルと、に基づいて、対象の状態を判別する、
    時系列データ処理装置。
  16. 　コンピュータに、
    　対象が予め設定された状態における、対象の動作を表すログデータと、対象から計測した計測値を表す数値データと、対象の性能を表す性能データと、に基づいて、前記ログデータと前記数値データとを入力として、前記性能データを予測し、前記ログデータと前記数値データとの特徴量を表す特徴量ベクトルを生成する学習モデルを生成する際に、予め設定された基準を満たす分布となるよう前記特徴量ベクトルを生成する前記学習モデルを生成する、
    処理を実行させるためのプログラムを記憶したコンピュータにて読み取り可能な記憶媒体。
     
PCT/JP2022/004047 2022-02-02 2022-02-02 時系列データ処理方法 WO2023148843A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/004047 WO2023148843A1 (ja) 2022-02-02 2022-02-02 時系列データ処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/004047 WO2023148843A1 (ja) 2022-02-02 2022-02-02 時系列データ処理方法

Publications (1)

Publication Number Publication Date
WO2023148843A1 true WO2023148843A1 (ja) 2023-08-10

Family

ID=87553355

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/004047 WO2023148843A1 (ja) 2022-02-02 2022-02-02 時系列データ処理方法

Country Status (1)

Country Link
WO (1) WO2023148843A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016003875A (ja) * 2014-06-13 2016-01-12 日本電気株式会社 モータ異常検知システム、モータ異常検知方法、及びモータ異常検知プログラム
WO2017154844A1 (ja) * 2016-03-07 2017-09-14 日本電信電話株式会社 分析装置、分析方法および分析プログラム
US20190286506A1 (en) * 2018-03-13 2019-09-19 Nec Laboratories America, Inc. Topology-inspired neural network autoencoding for electronic system fault detection

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016003875A (ja) * 2014-06-13 2016-01-12 日本電気株式会社 モータ異常検知システム、モータ異常検知方法、及びモータ異常検知プログラム
WO2017154844A1 (ja) * 2016-03-07 2017-09-14 日本電信電話株式会社 分析装置、分析方法および分析プログラム
US20190286506A1 (en) * 2018-03-13 2019-09-19 Nec Laboratories America, Inc. Topology-inspired neural network autoencoding for electronic system fault detection

Similar Documents

Publication Publication Date Title
AU2019413432B2 (en) Scalable system and engine for forecasting wind turbine failure
WO2020140128A1 (en) Scalable system and method for forecasting wind turbine failure with varying lead time windows
JP5901140B2 (ja) システムの高い可用性のためにセンサデータを補間する方法、コンピュータプログラム、システム。
EP2963553B1 (en) System analysis device and system analysis method
JP2016015171A (ja) 運用管理装置、運用管理方法、及びプログラム
WO2016136198A1 (ja) システム監視装置、システム監視方法、及び、システム監視プログラムが記録された記録媒体
JP6183449B2 (ja) システム分析装置、及び、システム分析方法
JP6164311B1 (ja) 情報処理装置、情報処理方法、及び、プログラム
CN111768034A (zh) 一种电力负荷预测中基于近邻算法进行插补补充缺失值的方法
KR101468142B1 (ko) 플랜트 건강상태 예측방법 및 이 방법을 수행하기 위한 프로그램이 저장된 컴퓨터 판독가능한 저장매체
US20170286841A1 (en) Monitoring device and monitoring method thereof, monitoring system, and recording medium in which computer program is stored
CN117375147B (zh) 一种储能电站的安全监测预警与运行管理方法及***
CN102508957B (zh) 一种电子整机加速寿命评估方法
CN112380073B (zh) 一种故障位置的检测方法、装置及可读存储介质
WO2023148843A1 (ja) 時系列データ処理方法
CN117235664A (zh) 配电通信设备的故障诊断方法、***和计算机设备
US10157113B2 (en) Information processing device, analysis method, and recording medium
CN111913463B (zh) 一种核电厂化学容积控制***状态监测方法
JP7239022B2 (ja) 時系列データ処理方法
JP2014026327A (ja) 実稼働データによる機器の状態診断装置
CN117574303B (zh) 施工状况的监测预警方法、装置、设备及存储介质
WO2019142344A1 (ja) 分析装置、分析方法、及び、記録媒体
Lee et al. Sensor drift detection in SNG plant using auto-associative kernel regression
Kovářík et al. The effect of autocorrelation on control charts performance and process capability indices calculation
CN117172139B (zh) 通信用铜包铝合金电缆的性能测试方法及***

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22924756

Country of ref document: EP

Kind code of ref document: A1