WO2018150550A1 - 学習データ管理装置及び学習データ管理方法 - Google Patents
学習データ管理装置及び学習データ管理方法 Download PDFInfo
- Publication number
- WO2018150550A1 WO2018150550A1 PCT/JP2017/005976 JP2017005976W WO2018150550A1 WO 2018150550 A1 WO2018150550 A1 WO 2018150550A1 JP 2017005976 W JP2017005976 W JP 2017005976W WO 2018150550 A1 WO2018150550 A1 WO 2018150550A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- learning data
- monitoring
- prediction model
- learning
- data management
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N99/00—Subject matter not provided for in other groups of this subclass
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
Definitions
- the present invention relates to a learning data management apparatus and a learning data management method, and more particularly, to a service developed in “DevOps”, which is a development method in which a developer (Development) and an operations manager (Operations) cooperate with each other. Therefore, it has a function suitable for management of learning data when machine learning is used.
- baseline information is generated by distinguishing the failure occurrence period of the monitored system from other periods, but the behavior of the monitored system, that is, the distribution of metric values frequently changes. It is not supposed to be.
- updating is frequently performed by a development method such as DevOps described above, and the behavior of the monitoring target system changes.
- the internal logic may be changed by updating the monitored system. If the behavior of the target system changes due to the update, there will be a difference between the learning result created using the metric value before the update and the actual operation, and the prediction accuracy of baseline information etc. may be reduced. It was.
- the present invention has been made in consideration of the above points, and has a function of proposing a learning data management apparatus and a learning data management method capable of generating a prediction model with high prediction accuracy for the future behavior of the monitored system. .
- a monitoring data acquisition unit that acquires monitoring data from a monitoring target system as a monitoring target, and monitoring data that divides the acquired monitoring data according to the behavior of the monitoring target system
- the feature extracting unit that extracts the feature from the divided monitoring data, and the extracted feature and the feature of the monitoring data of the monitoring target system that is operating at the time of processing execution, learn the features that are similar to each other
- a learning data selection unit that selects the learning data to be used for the prediction
- a prediction model generation unit that generates a prediction model using the selected learning data.
- a learning data management method in a learning data management device that generates a prediction model using learning data
- the learning data management device acquires monitoring data from a monitoring target system as a monitoring target.
- the monitoring data acquisition step the learning data management device divides the acquired monitoring data according to the behavior of the monitoring target system, and the learning data management device is characterized by the divided monitoring data.
- the feature extraction step for extracting the learning data, and the learning data management device compares the extracted features with the features of the monitoring data of the monitoring target system that is operating at the time of processing execution, and the learning data using the features that are close to each other for learning
- a learning data selection step for selecting the learning data, and the learning data management device And having a prediction model generating step of generating a prediction model using the data.
- FIG. 2 is a block diagram illustrating a configuration example of the virtual machine illustrated in FIG. 1 in more detail.
- FIG. 2 is a block diagram illustrating a configuration example of a service monitoring server illustrated in FIG. 1 in more detail.
- FIG. 2 is a block diagram illustrating a configuration example of a management server illustrated in FIG. 1 in more detail.
- FIG. 5 is a table configuration diagram illustrating a configuration example of a monitoring metrics value table illustrated in FIG. 4. It is a table block diagram which shows the structural example of the learning data table classified by version shown in FIG.
- FIG. 6 is a table calibration diagram showing a configuration example of a program setting table shown in FIG. 5.
- FIG. 13 is a flowchart showing the learning data storage process shown in FIG. 12 in more detail. 13 is a flowchart showing the learning data selection process shown in FIG. 12 in more detail. It is a figure which shows one of cluster gravity center position calculation and cluster gravity center position comparison.
- FIG. It is a flowchart which shows an example of the prediction model production
- FIG. 1 shows a configuration example of a learning data management apparatus according to the first embodiment.
- an EC service which is one type of Web application
- the monitoring target system is not limited to the Web application, and can be used for server behavior, for example, storage response performance prediction.
- the version of the monitored system is used as an element for dividing the behavior of the monitored system.
- FIG. 1 shows a configuration example of a computer system as a learning data management apparatus according to the first embodiment.
- the computer system according to the present embodiment includes a monitoring target system 100, a deployment server 101, a service monitoring server 102, a management server 103, a management terminal 105, and a development terminal 104. These are connected to the network 106 by their respective communication interfaces, and are connected to each other via the network 106.
- monitoring target system 100 for example, a Web application, specifically, an EC (Electronic Commerce) service is exemplified.
- EC Electronic Commerce
- the management terminal 105 includes a communication interface 134, a processor 133, a storage device 135, and a memory 136, which are connected by an internal bus 145.
- An input device 137 and an output device 138 are connected to the internal bus 145.
- the operation manager 139 performs operations on the EC service 100, the deployment server 101, the service monitoring server 102, and the management server 103 via the input device 137 and the output device 138.
- the development terminal 104 includes a communication interface 129, a processor 130, a storage device 131, and a memory 132, which are connected by an internal bus 144. An input device 147 and an output device 148 are connected to the internal bus 144.
- the developer 140 develops an application using the development terminal 104.
- the developed application source code is stored in the storage device 119 of the deployment server 101 via the network 106.
- the EC service 100 includes a virtual machine 112 provided by virtualization software 111 operating on the physical server 110.
- the physical server 110 includes a communication interface 113, a processor 114, a storage device 115, and a memory 116. A part of the processor 114, the storage device 115, and the memory 116 of the physical machine 110 is allocated to the virtual machine 112. Operations on the virtual machine 112 are performed via the communication interface 113 of the physical server 110.
- the communication interface 113, the processor 114, the storage device 115, and the memory 116 are connected by an internal bus 146.
- the deploy server 101 includes a communication interface 117, a processor 118, a storage device 119, and a memory 120.
- the communication interface 117, the processor 118, the storage device 119, and the memory 120 are connected by an internal bus 141.
- the service monitoring server 102 includes a communication interface 121, a processor 122, a storage device 123, and a memory 124.
- the communication interface 121, the processor 122, the storage device 123, and the memory 124 are connected by an internal bus 142.
- the management server 103 includes a communication interface 125, a processor 126, a storage device 127, and a memory 128.
- the communication interface 125, the processor 126, the storage device 127, and the memory 128 are connected by an internal bus 143.
- FIG. 2 is a block diagram showing a configuration example of the deployment server 101.
- the deployment server 101 has a function of building the source code stored in the source code repository 201 and updating the application program 300 running on the virtual machine 112.
- the deployment program 200 is stored in the memory 120.
- the storage device 119 stores a source code repository 201.
- the source code repository 201 stores the source code of the application program 300 provided on the virtual machine 112. This source code is developed by the developer 140 using the development terminal 104 and is stored in the source code repository 201 via the network 106.
- the deployment program 200 Upon receiving a deployment instruction via the input device 137 of the management terminal 105, the deployment program 200 builds the source code stored in the source code repository 201, and the application program executable file generated by such build Is replaced with the application program 300 running on the virtual machine 112 to update the application.
- FIG. 3 shows a configuration diagram of the virtual machine 112 operating in the EC service 100.
- An application program 300 that provides the EC service 100 is running on the memory 116 assigned to the virtual machine 112.
- the storage device 115 stores a product data DB 303.
- the product data DB (database) 303 stores product information including product names, product prices, and the number of products in stock.
- the application program 300 acquires product information stored in the product data DB 303 and provides a service based on the product information.
- the application program 300 is open to the network 106.
- the monitoring agent program 301 acquires the operation information of the application program 300 and transmits the monitoring metric value obtained by monitoring to the service management manager program 400 (FIG. 4) of the service monitoring server 102 via the network 106. .
- FIG. 4 shows a configuration diagram of the service monitoring server 102.
- the service monitoring server 102 receives and saves the monitoring result from the monitoring manager program 301 running on the virtual machine 112.
- the service management manager program 400 is stored in the memory 124.
- the storage metric value table 401 is stored in the storage device 123.
- the service monitoring manager program 400 receives the monitoring metric value acquired by the monitoring agent program 300 running on the virtual machine 112 and stores it in the monitoring metric value table 401 in the storage device 123. Details of the monitoring metrics value table 401 will be described later.
- FIG. 5 shows a configuration diagram of the management server 103.
- the management server 103 has a function of learning the monitoring metric value acquired by the service monitoring server 102 and creating a sales number prediction model in the application program 300.
- the processor 126 predicts the number of sales in the EC service 100 using this sales number prediction model.
- the memory 128 stores a learning data storage program 500, a learning data selection program 501, a prediction model generation program 502, and an inventory management program 503.
- the storage device 127 stores a version-specific learning data table 504, a cluster centroid position table 505, a prediction model table 506, and a program setting table 507.
- the learning data storage program 500 reads a value from the monitoring metric value table 401 of the service monitoring server 102, executes the processing, and then stores it in the learning data table 504 classified by version.
- the learning data selection program 501 calculates the cluster centroid position based on the learning data in the version-specific learning data table 504 and stores it in the cluster centroid position table 505.
- the learning data selection program 501 selects a table used for learning based on the cluster centroid position stored in this way.
- records are stored in the normal table, in this embodiment, for convenience of explanation, it is assumed that the version-specific learning data table 504 has a table corresponding to the record.
- the prediction model generation program 502 generates a prediction model based on the learning data in the table selected by the learning data selection program, and stores the prediction model in the prediction model table 506. Details of these processes will be described later.
- the inventory management program 503 acquires the latest prediction model from the prediction model table 506, and holds the acquired prediction model as a sales number prediction model 508.
- the inventory management program 503 predicts the number of sales in the EC service 100 based on the sales number prediction model 508.
- the operation manager 139 adjusts the order quantity from this prediction information.
- the setting file is used in the learning data storage program 500 and the learning data selection program 501.
- FIG. 6 is a diagram illustrating an example of the monitoring metric value table 401 stored in the storage device 123 of the service monitoring server 102.
- the management metrics value table 401 manages version 601, date and time 602, number of accesses 603, number of users 604, transition rate 605, and purchase rate 606.
- the metric value in the access number 603 indicates a numerical value such as 5000 times, and the metric indicates the access number item itself.
- Monitoring data refers to a collection of metrics values for each metric at a certain date and time.
- the metrics value of the application program 300 is sent to the service monitoring server 102 by the monitoring agent program 301 running on the virtual machine 112 and stored by the monitoring manager program 400.
- the monitoring metrics value table 401 stores version 601, date and time 602, number of accesses 603, number of users 604, transition rate 605 and purchase rate 606.
- Version 601 indicates version information of the application program 300 running on the virtual machine 112.
- the date and time 602 indicates the date and time when the monitoring metric value is acquired
- the number of accesses 603 indicates the number of times that an introduction page of a product sold by the EC service 100 is accessed within a unit time.
- the number of users 604 indicates the number of users registered in the application program 300 when the metrics value is acquired.
- the transition rate 605 indicates the rate of transition from the product introduction page to the purchase page in the number of accesses 603.
- the purchase rate 606 indicates the rate of purchase of a product among the number of accesses.
- the number of sales indicates the number of products purchased.
- FIG. 7 is a diagram illustrating an example of the version-specific learning data table 504 stored in the storage device 127 of the management server 103.
- learning data of version 2.03, learning data of version 2.04, and learning data of version 2.05 are stored in different learning data tables 701, 702, and 703, respectively. .
- Learning data refers to data stored in the version-specific learning data table 504 by the learning data storage program 500.
- the contents of the version-specific learning data table 504 are normalized by the learning data storage program 500.
- This version-specific learning data table 504 stores values normalized by selecting only the metrics used for learning from the metrics in the monitoring metrics value table 401.
- items 705, 706, and 707 values obtained by normalizing the number of accesses, the transition rate, and the purchase rate are stored. Since the item 704 has a role of an ID of learning data, it is stored as it is without being normalized. In this embodiment, since the number of users 604 is not used for learning, it is not stored in the version-specific learning data table 504.
- FIG. 8 is a diagram illustrating an example of the cluster centroid position table 505 stored in the storage device 127 of the management server 103.
- the cluster centroid position table 505 stores the calculation result 802 of the cluster centroid position in the table related to the version 801.
- the cluster center-of-gravity position refers to an average of coordinates obtained by mapping learning data of each version of the learning data table 504 in the coordinate space.
- the cluster centroid position table 505 is used and updated when the learning data selection program 501 is executed.
- FIG. 9 is a diagram illustrating an example of the prediction model table 506 stored in the storage device 127 of the management server 103.
- the prediction model table 506 stores the date and time 900 when the prediction model was generated, the version 901 used when generating the prediction model, and the prediction model information 902 generated thereby.
- each version is listed as [2.01] and [2.02] of version 901.
- the prediction model information stores information on the prediction model itself. For example, when the prediction model is created using a neural network as shown in FIG. 10, the weight of each node is stored in the prediction model information.
- the prediction model table is updated when the prediction model generation program 502 is executed.
- FIG. 10 shows a configuration example of the neural network of the sales number prediction model 508 created by the prediction model generation program, which is divided into, for example, an input layer, a hidden layer, and an output layer.
- the input is the number of accesses, the transition rate, and the purchase rate
- the output is the number of sales.
- Node 1 has one input, which is weighted “w1_0”.
- weights “wN_0”, “wN_1”, “wN_2”, “wN_3”, and “wN_4” are applied to each input.
- the weight value is stored in the prediction model information 903 and 904 shown in FIG.
- FIG. 11 is a diagram illustrating an example of the program setting table 1000 stored in the storage device 127 of the management server 103.
- the program setting table 1000 settings used in the learning data storage program 500 and the learning data selection program 501 are stored.
- the processing time execution interval setting 1001 stores the execution interval of the learning process S1100 (FIG. 12) executed by the management server 103.
- a learning metric selection setting 1002 is used when a metric used for learning is selected by the learning data selection program 501.
- the data number threshold setting 1003 is used when determining whether or not to execute processing in the learning data selection program 501.
- the cluster centroid position threshold setting 1004 is used when the learning data selection program 501 selects a learning data table used for learning.
- the program setting table 1000 stores settings via the network 106 by the operation manager 139 using the input device 137 of the management terminal 105 before the learning process S1100 is executed.
- the stored metrics are the access count 603, the user count 604, the transition rate 605, and the purchase rate 606.
- the present embodiment exemplifies an EC service as the monitoring target system 100, but is not limited to this, and can be applied to, for example, prediction of storage response performance.
- the monitoring metric value table 401 stores the processor usage rate, the cache usage rate, the cache size, and the like.
- FIG. 12 is a flowchart illustrating an example of a learning process S1100 for generating a prediction model. This flowchart is executed by the management server 103.
- the learning data storage process S1101 corresponds to the learning data storage program 500
- the learning data selection process S1102 corresponds to the learning data selection program 501
- the prediction model generation process S1103 includes a prediction model generation. This corresponds to the program 502.
- these programs 500, 501, 502 are expanded in the memory 128 of the management server 103, and processing included in each program 500, 501, 502 is executed by the processor 126.
- Learning process S1100 is executed at regular time intervals based on a process execution time interval setting 509 predetermined by the operation manager 139 (step S1105).
- the process execution time interval setting 1001 of the program setting table 1000 shown in FIG. 11 only the process execution interval is described. If this process execution time interval setting 1001 describes 1 hour, it means that the process is executed every hour.
- the date and time when the previous process was executed is output, and the date and time when the previous process was executed is used in the next learning data storage process S1101.
- the processor 126 executes a learning data storage process (step S1101), and reads the amount of data increased from the previous execution time of the process S1100 from the monitoring metrics table 401 based on the previous execution date and time. Saved in the version-specific learning data table 504.
- the processor 126 executes a learning data selection process (step S1102), and selects a learning data table used for prediction model generation from the version-specific learning data table 504.
- the processor 126 outputs a learning data table of the version-specific learning data table 504 used for learning (step S1102), and then the processor 126 executes prediction model generation processing (step S1103).
- a new prediction model is generated using the learning data table of the version-specific learning data table 504 passed by the learning data selection processing S1102 and stored in the prediction model table 506.
- the processor 126 acquires the prediction model generated in the prediction model generation process (step S1103) from the prediction model table 506 from the prediction model table 506, and the new prediction model from which the sales number prediction model 507 of the inventory management program 503 is generated. (Step S1104).
- FIG. 13 is a flowchart showing details of the learning data storage process shown in FIG.
- the processor 126 acquires the monitoring data for the amount increased from the previous execution from the monitoring metrics value table 401 of the service monitoring server 102 via the network 106 (step S1201).
- the processor 126 uses the date and time when the previous process was executed as described above to determine whether or not the increased amount of monitoring data, and monitoring data indicating the date and time after the date and time when the previous process was executed. To get.
- the processor 126 refers to the learning metric selection setting 1002 set by the operation manager 139 in advance, and selects a metric used for learning from the monitoring data in the monitoring metric value table 401 (step S1202).
- the learning metrics selection setting 1002 lists metrics used for learning. For example, three metrics of access count, transition rate, and purchase rate are listed.
- the processor 126 normalizes the metric value of the metric selected as described above (step S1203).
- the normalization here means that conversion is made so that a numerical value between 0 and 1 indicates where the metric value is located between the maximum value and the minimum value that can be taken by the metric value of each metric.
- the process S1204 stores the normalized metric value in the version-specific learning data table 504 for each version.
- step S1202 when the monitoring data of the date 2016/10/10 13:00 is acquired in step S1201 as the monitoring data increased from the monitoring metrics value table 504, the processor 126, the access count of the metrics, the transition rate, and the purchase A rate is selected (step S1202).
- the processor 126 normalizes the metric value of the metric selected as described above (step S1203), and stores the normalized metric value in the table 703 of the version-specific learning data table 504 (step S1204).
- FIG. 14 is a flowchart showing details of the learning data selection process shown in FIG.
- the processor 126 confirms whether or not there is a sufficient number of versions of the application program 300 running on the virtual machine 112 with reference to the version-specific learning data table 504 (step S1301). ). Whether the number of data is sufficient is determined according to the data number threshold setting 1003 previously determined by the operation manager 139.
- the data number threshold setting 1003 only a value indicating how many data is sufficient is stored. For example, when “300” is set in advance by the operation manager 139, if there are 300 or more pieces of learning data in the table 703 of the version-specific learning data table 504, it is determined that the number of data is sufficient. If the number of data is sufficient, the processor 126 calculates the cluster centroid position using the version-specific learning data table 504 for each version (step S1303).
- step S1302 the processor 126 compares the number of data used in the previous cluster centroid position calculation and the cluster centroid position calculation, and calculates the cluster centroid position only when the number of data increases. This result is stored in the cluster centroid position table 505.
- the learning data selection program 501 holds the number of data used for cluster centroid position calculation.
- the processor 126 selects a learning data table used for learning (step S1304).
- the processor 126 follows the cluster centroid position threshold setting 1004 preset by the operation manager 139, and the “distance from the cluster centroid position” of the version of the application program 300 running on the virtual machine 112 is the threshold value.
- the learning data table of the version-specific learning data table 504 that fits in the version is selected.
- the distance from the cluster centroid position indicates a difference between values of a plurality of cluster centroid positions.
- the cluster centroid position threshold setting 1004 stores only the threshold value.
- the cluster centroid position of each version is acquired from the cluster centroid position table 505. If the number of learning data is not sufficient in step S1301, the processor 126 does not execute the cluster centroid position calculation process.
- the processor 126 selects the version selected at the time of the previous learning data selection process execution, and also selects the learning data table of the version running on the virtual machine 112 (step S1305).
- the selected learning data table is held by the learning data selection program 501.
- the processor 126 selects the learning data table and executes the following prediction model generation process (S1103).
- FIGS. 15A to 15C are conceptual diagrams showing an example of calculating the cluster centroid position in step S1303, and FIG. 15D shows an example of selecting learning data in step S1304. It is a conceptual diagram.
- the processor 126 maps the learning data in the learning data table to the coordinate space for each version as shown in FIGS. 15 (A) to 15 (C), and calculates the center of gravity of the mapped learning data. Calculation is performed (step S1400).
- the learning data of the versions [2.03], [2.04], and [2.05] are mapped, and the center of gravity position is obtained by calculation.
- FIG. 15D only the cluster centroid position of each version is mapped, and the distance from version 2.05 is compared (step S1401).
- the threshold value in the figure is a threshold value of the cluster centroid position set by the operation manager 139.
- the cluster centroid position of the version [2.05] shown in FIG. 15C is, for example, “0.61”. Therefore, the cluster centroid position “0.56” of the version [2.03] shown in FIG. 15A is within the threshold value, whereas the version [2.04] shown in FIG. The cluster centroid position 0.72 is not within the threshold. Based on the above, the version [2.03] and the currently operating version [2.05] are selected as the learning data table.
- FIG. 16 is a flowchart showing details of the prediction model generation process (step S1103).
- the processor 126 refers to the prediction model table 506 and selects a past prediction model corresponding to the selected learning data table. An example of selecting a prediction model is shown below.
- the processor 126 determines from the prediction model table 506.
- the prediction model generated from the learning data table of the versions [2.03] and [2.05] is searched. If this prediction model does not exist, the processor 126 searches for a prediction model generated only from one of the selected learning data tables.
- the prediction model does not exist, if the versions [2.03] and [2.05] are selected as described above, the prediction model generated by the version [2.03], and , One of the prediction models generated in version [2.05] corresponds.
- step S1102 the processor 126 selects the learning data table 701 of the version [2.03] from the version-specific learning data table 504, and the version [2 .05] learning data table 703 is selected.
- step S1501 the processor 126 selects the prediction model created by version 2.03 from the prediction model table 506.
- step S1502 the processor 126 determines whether or not the corresponding prediction model has been selected in step S1501.
- the processor 126 learns difference learning data for the past prediction model selected in step S1501 described above, and generates a new prediction model. (Step S1503), and this is registered in the prediction model table 506 (see FIG. 9).
- the difference indicates learning data after this date and time based on the item 900 (date and time when the prediction model was created) in the prediction model table 506.
- a new prediction can be obtained by additionally learning difference learning data for this past prediction model.
- a model is generated, and the new prediction model is added to the prediction model table 506.
- the processor 126 when there is no corresponding prediction model and the past prediction model cannot be used, the processor 126 generates a prediction model using all the learning data included in the table selected by the learning data selection program 1102 ( In step S1504), the prediction model is added to the prediction model table 506.
- FIG. 17 is a diagram illustrating a state in which the number of sales indicated by the inventory management program 503 is predicted.
- the vertical axis represents the number of sales
- the horizontal axis represents time. Below the horizontal axis, which version is running in the application program 300 is shown.
- the change in the number of sales indicated by the solid line is an actual measurement value
- the change in the number of sales indicated by the dotted line is a prediction value based on the prediction model
- the change in the sales number indicated by the dashed line is a prediction value based on the old prediction model It is.
- the prediction model newly generated in step S1104 described above is updated to the predicted value by the prediction model newly generated in step S1104 described above (corresponding to the dotted line in the figure).
- the version of the application program 300 is updated from [2.04] to [2.05], and the predicted value based on the old model has a large deviation from the actually measured value indicated by the solid line. By updating this to a new model, it is possible to make a prediction closer to the actual measurement value.
- the processor 126 acquires monitoring data from the monitoring target system 100, and the acquired monitoring data Are divided according to the behavior of the monitoring target system 100.
- the processor 126 compares the feature extracted from the divided monitoring data with the feature of the monitoring data of the monitoring target system that is operating at the time of processing execution, selects a feature that is close to both features as learning data to be used for learning, A prediction model is generated using the selected learning data.
- such learning data is managed for each behavior of the monitoring target system, and only learning data close to the behavior of the currently operating monitoring target system 100 is selected and learned, thereby generating by learning.
- the prediction accuracy of the prediction model to be performed can be improved. Thereby, it is possible to generate a prediction model with high prediction accuracy for the future behavior of the monitored system, and it is possible to increase the prediction accuracy for the future behavior.
- the processor 126 performs the first step in the process S1204 (see FIG. 13) of the learning data storage process S1101 by the learning data storage program 501.
- learning data is learned for each date and time by dividing the case where the behavior differs depending on the time zone such as weekdays and holidays. It is stored in the data table 1700.
- the second embodiment differs from the first embodiment in that the processor 126 uses the learning data in the date-specific learning data table 1700 for generating a prediction model, as will be described later. More specific description will be given below.
- FIG. 18 is a block diagram illustrating a configuration example of the management server 103A according to the second embodiment.
- the management server 103A has substantially the same configuration as the management server 103 according to the first embodiment, but instead of the version-specific learning data table 504, the next date-specific learning data table 1700 that can store learning data by date and time. Is different.
- FIGS. 19A to 19C show table configuration examples of the learning data table 1700 classified by date and time shown in FIG.
- the date-specific learning data table 1700 is stored in the memory 128 of the management server 103.
- Each learning data table is given a table name consisting of the date and time, and represents the date and time at which the learning data is stored.
- FIG. 19A illustrates a learning data table 1701 at 9:00 on October 8, 2016, and FIG. 19B illustrates the learning data table 1701 at 9:00 on October 9, 2016.
- FIG. 19C illustrates a learning data table 1703 as of October 10, 2016 at 9:00.
- Each learning data table manages, for example, date 704, number of accesses 705, transition rate 706, and purchase rate 707.
- FIG. 20 is a flowchart of the learning data storage process S1101A according to the second embodiment. 20 in the second embodiment corresponds to FIG. 13 in the first embodiment, and steps S1201, S1202, and S1203 in the second embodiment are the same as those in the first embodiment. This corresponds to steps S1201, S1202, and S1203.
- This learning data storage process S1101A is executed by a learning data storage program 500 instead of the learning data storage process S1100 shown in FIGS. 12 and 13 according to the first embodiment.
- the learning data storage program 500 is expanded in the memory 128 and executed by the processor 126.
- steps S1201 to S1203 according to the second embodiment are the same as those of the first embodiment, and thus description thereof is omitted.
- the processor 126 separates the learning data by the date and time instead of the version. At this time, the processor 126 reads the table division setting 1805 set in advance by the operation manager 139 and separates the learning data based on the table division setting 1805.
- the table division setting 1805 is stored in the program setting table 507 of the management server 103, and the operation manager 139 performs setting via the network 106 using the input device 137 of the management terminal 105.
- the table division setting 1805 describes at which date and time the learning table is divided. For this reason, the learning table may be separated in the same time zone, or may be separated in different time zones.
- the table 1701, the table 1702, and the table 1703 are all divided at 9:00, but only the table 1702 is divided at 12:00 on October 9, 2016. May be.
- the date normalized learning data table 1800 stores the data normalized in step S1203 (step S1204A).
- step S1101A the processor 126 executes the learning data selection process shown in FIG. 12 as in the first embodiment. (Step S1102).
- the processor 126 executes substantially the same operation as in the first embodiment, but the learning data table to be processed is not the version-specific learning data table 504 but the date-specific learning data.
- the table 1700 is different from the first embodiment.
- the processor 126 performs substantially the same processing using the learning data table by date 1700 instead of the learning data table by version 504 (see FIG. 14) in step S1306 described above.
- the table is selected in substantially the same manner as in the first embodiment (steps S1304 and S1305).
- the processor 126 selects a learning data table from the date-specific learning data table 1700, and generates a prediction model using the learning data table as an input (step S1103). ).
- the present invention relates to a learning data management method when machine learning is used for a service developed by “DevOps”, which is a development method in which a developer and an operations manager cooperate with each other. It can be widely applied to learning data management devices using
- SYMBOLS 103 Management server, 500 ... Data storage program, 501 ... Learning data selection program, 502 ... Prediction model generation program, 504 ... Version-specific learning data table, 103 ... Cluster centroid position table, 506 ... Prediction model table, 1100 ... learning process, S1101 ... learning data storage process, S1102 ... learning data selection process, S1103 ... prediction model generation process, S1201 ... monitoring metrics value acquisition process, S1202 ... learning metrics Selection processing, S1203 ... Metric value normalization processing, S1204 ... Version-specific learning data storage processing, S1303 ... Cluster centroid position calculation processing, S1305 ... Learning data table selection processing, S1503 ... Prediction model generation processing.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Quality & Reliability (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- General Business, Economics & Management (AREA)
- Game Theory and Decision Science (AREA)
- Marketing (AREA)
- Computing Systems (AREA)
- Development Economics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Debugging And Monitoring (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
【課題】アップデートにより対象システムの挙動が変化した際に、アップデート前のメトリクス値を用いて作成された学習結果と実際の動作に差異が生じても、ベースライン情報等の予測精度が低下しないようにすること。 【解決手段】学習データ管理装置が、抽出した特徴と、処理実行時に稼働中の監視対象システムの監視データの特徴と比較し、両特徴が近いものを学習に用いる学習データとして選択し、当該選択された学習データを用いて予測モデルを生成する。
Description
本発明は、学習データ管理装置及び学習データ管理方法に関し、特に、開発者(Development)と運用管理者(Operations)とが連携して協力する開発手法である「DevOps」において開発されるサービスに対して機械学習が用いられる際における学習データの管理に適用して好適な機能を有する。
近年、サービスやアプリケーションの開発手法が変化しつつある。従来、サービスやアプリケーションを提供する場合には、要件定義、設計及び開発という長いプロセスを経てからユーザにこれらを提供していた。しかしながら、このような長いプロセスを要すると、ユーザのニーズの変化に迅速に対応できないため、従来から開発サイクルを短くしたいというニーズが存在している。近年では、例えばアジャイル開発、DevOpsなどの開発手法が普及している。これにより、アップデートの頻度を高め、1日に複数回に亘ってサービスやアプリケーションをアップデートすることができるようになっている。
これらのサービスやアプリケーションを監視対象システムとした場合、従来は、監視対象システムの動作状況を表すメトリクス値のうち、監視対象システムの故障発生期間以外のメトリクス値から正常範囲を示すベースライン情報を生成するという技術が知られている(特許文献1参照)。
上述した従来技術においては、監視対象システムの故障発生期間とそれ以外の期間とを区別し、ベースライン情報を生成しているが、監視対象システムの挙動、すなわち、メトリクス値の分布が頻繁に変化することは想定されていない。その一方、最近のサービスやアプリケーションにおいては、上述したDevOpsのような開発手法により頻繁に更新が行われ、監視対象システムの挙動が変化することが考えられる。
ベースライン情報等を機械学習で生成していた場合、監視対象システムのアップデートにより内部ロジックが変更されることが考えられる。アップデートにより対象システムの挙動が変化すると、アップデート前のメトリクス値を用いて作成された学習結果と実際の動作との間に差異が生じ、ベースライン情報等の予測精度が低下してしまうおそれがあった。
本発明は以上の点を考慮してなされたもので、監視対象システムの今後の挙動について予測精度の高い予測モデルを生成可能な学習データ管理装置及び学習データ管理方法を提案しようとする機能を有する。
かかる課題を解決するため、本発明においては、監視対象としての監視対象システムから監視データを取得する監視データ取得部と、前記取得した監視データを前記監視対象システムの挙動に応じて分割する監視データ分割部と、前記分割した監視データから特徴を抽出する特徴抽出部と、前記抽出した特徴と、処理実行時に稼働中の監視対象システムの監視データの特徴と比較し、両特徴が近いものを学習に用いる学習データとして選択する学習データ選択部と、前記選択された学習データを用いて予測モデルを生成する予測モデル生成部と、を備えることを特徴とする。
また、本発明においては、学習データを用いて予測モデルを生成する学習データ管理装置における学習データ管理方法であって、前記学習データ管理装置が、監視対象としての監視対象システムから監視データを取得する監視データ取得ステップと、前記学習データ管理装置が、前記取得した監視データを前記監視対象システムの挙動に応じて分割する監視データ分割ステップと、前記学習データ管理装置が、前記分割した監視データから特徴を抽出する特徴抽出ステップと、前記学習データ管理装置が、前記抽出した特徴と、処理実行時に稼働中の監視対象システムの監視データの特徴と比較し、両特徴が近いものを学習に用いる学習データとして選択する学習データ選択ステップと、前記学習データ管理装置が、前記選択された学習データを用いて予測モデルを生成する予測モデル生成ステップと、を有することを特徴とする。
本発明によれば、監視対象システムの今後の挙動について予測精度の高い予測モデルを生成することができる。
以下、図面について、本発明の一実施の形態について詳述する。
(1)第1の実施の形態
(1-1)概要構成
図1は、第1の実施の形態による学習データ管理装置の構成例を示す。本実施の形態では、監視対象システムとしてWebアプリケーションの1種であるECサービスを例として挙げているが、これに限るものではない。また、監視対象システムはWebアプリケーションに限るものではなく、サーバの挙動、例えばストレージ応答性能予測などにも用いることができる。
(1-1)概要構成
図1は、第1の実施の形態による学習データ管理装置の構成例を示す。本実施の形態では、監視対象システムとしてWebアプリケーションの1種であるECサービスを例として挙げているが、これに限るものではない。また、監視対象システムはWebアプリケーションに限るものではなく、サーバの挙動、例えばストレージ応答性能予測などにも用いることができる。
また、本実施の形態では、監視対象システムの挙動を分割するための要素として、例えば監視対象システムのバージョンを用いるものとする。
図1は、第1の実施の形態による学習データ管理装置としての計算機システムの構成例を示す。本実施の形態に関わる計算機システムは、監視対象システム100、デプロイサーバ101、サービス監視サーバ102、管理サーバ103、管理端末105及び開発端末104を備える。これらはそれぞれが持つ通信インターフェースによってネットワーク106に接続され、ネットワーク106を介して互いに接続される。
本実施の形態では、監視対象システム100として、例えばWebアプリケーション、具体的にはEC(Electronic Commerce)サービスを例示する。
管理端末105は、通信インターフェース134、プロセッサ133、記憶装置135、メモリ136を備えて、これらが内部バス145によって接続されている。内部バス145には、入力装置137及び出力装置138が接続されている。運用管理者139は、この入力装置137及び出力装置138を介して、ECサービス100、デプロイサーバ101、サービス監視サーバ102及び管理サーバ103に対する操作を実施する。
開発端末104は、通信インターフェース129、プロセッサ130、記憶装置131及びメモリ132を備えており、これらが内部バス144によって接続されている。内部バス144には、入力装置147及び出力装置148が接続されている。開発者140は、開発端末を104用いてアプリケーションを開発する。開発されたアプリケーションのソースコードは、ネットワーク106を介しデプロイサーバ101の記憶装置119に保存される。
ECサービス100は、物理サーバ110上で動作する仮想化ソフトウェア111によって提供される仮想マシン112を備える。物理サーバ110は、通信インターフェース113、プロセッサ114、記憶装置115及びメモリ116を備える。仮想マシン112には、物理マシン110のプロセッサ114、記憶装置115及びメモリ116の一部が割り当てられている。仮想マシン112に対する操作は、物理サーバ110の通信インターフェース113を介して実施される。これら通信インターフェース113、プロセッサ114、記憶装置115及びメモリ116は、内部バス146によって接続されている。
デプロイサーバ101は、通信インターフェース117、プロセッサ118、記憶装置119及びメモリ120を備える。これら通信インターフェース117、プロセッサ118、記憶装置119及びメモリ120は、内部バス141によって接続されている。
サービス監視サーバ102は、通信インターフェース121、プロセッサ122、記憶装置123及びメモリ124を備える。これら通信インターフェース121、プロセッサ122、記憶装置123及びメモリ124は、内部バス142によって接続されている。
管理サーバ103は、通信インターフェース125、プロセッサ126、記憶装置127及びメモリ128を備える。これら通信インターフェース125、プロセッサ126、記憶装置127及びメモリ128は、内部バス143によって接続されている。
図2は、デプロイサーバ101の構成例を示すブロック図を示す。デプロイサーバ101は、ソースコードレポジトリ201に格納されているソースコードをビルドし、仮想マシン112で稼働しているアプリケーションプログラム300を更新する機能を有する。
メモリ120には、デプロイプログラム200が格納されている。記憶装置119には、ソースコードリポジトリ201が格納されている。ソースコードリポジトリ201には、仮想マシン112上で提供されるアプリケーションプログラム300のソースコードが格納されている。このソースコードは、開発者140が開発端末104を用いて開発されており、ネットワーク106を介してソースコードレポジトリ201に保存される。
デプロイプログラム200は、管理端末105の入力装置137を介してデプロイの指示を受領すると、ソースコードリポジトリ201に格納されているソースコードをビルドし、このようなビルドにより生成されたアプリケーションプログラムの実行ファイルを、仮想マシン112で稼働しているアプリケーションプログラム300と入れ替えることによりアプリケーションを更新する。
図3は、ECサービス100において稼働している仮想マシン112の構成図を示す。仮想マシン112に割り当てられたメモリ116上では、ECサービス100を提供するアプリケーションプログラム300が稼働している。
メモリ116には、アプリケーションプログラム300及び監視エージェントプログラム301が格納されている。記憶装置115には、商品データDB303が格納されている。商品データDB(データベース)303には、商品の名前、商品の値段、及び商品の在庫数を含む商品情報が格納されている。アプリケーションプログラム300は、商品データDB303に格納されている商品情報を取得し、この商品情報を基にサービスを提供する。
このアプリケーションプログラム300は、ネットワーク106に公開されている。監視エージェントプログラム301は、アプリケーションプログラム300の稼働情報を取得しており、監視により得られた監視メトリクス値を、ネットワーク106を介してサービス監視サーバ102のサービス管理マネージャプログラム400(図4)に送信する。
図4は、サービス監視サーバ102の構成図を示す。サービス監視サーバ102は、仮想マシン112で稼働している監視マネージャプログラム301から監視結果を受信し保存する。
メモリ124にはサービス管理マネージャプログラム400が格納されている。記憶装置123には、監視メトリクス値テーブル401が格納されている。サービス監視マネージャプログラム400は、仮想マシン112で稼働している監視エージェントプログラム300によって取得された監視メトリクス値を受信し、記憶装置123内の監視メトリクス値テーブル401に格納する。監視メトリクス値テーブル401の詳細については後述する。
図5は、管理サーバ103の構成図を示す。管理サーバ103は、サービス監視サーバ102によって取得された監視メトリクス値を学習し、アプリケーションプログラム300における販売数予測モデルを作成する機能を有する。プロセッサ126は、この販売数予測モデルを用いてECサービス100における販売数の予測を行う。
メモリ128には、学習用データ保存プログラム500、学習用データ選択プログラム501、予測モデル生成プログラム502及び在庫管理プログラム503が格納されている。記憶装置127には、バージョン別学習データテーブル504、クラスタ重心位置テーブル505、予測モデルテーブル506及びプログラム設定テーブル507が格納されている。
学習用データ保存プログラム500は、サービス監視サーバ102の監視メトリクス値テーブル401から値を読み出して処理を実行した後、バージョン別学習データテーブル504に格納する。学習用データ選択プログラム501は、バージョン別学習データテーブル504の学習データを基に、クラスタ重心位置を計算し、クラスタ重心位置テーブル505に保存する。学習用データ選択プログラム501は、このように保存されたクラスタ重心位置を基に、学習に用いるテーブルを選択する。なお、通常テーブルにはレコードが格納されているが、本実施の形態では、分かり易く説明する都合上、バージョン別学習データテーブル504にはレコードに相当するテーブルが存在しているものとして説明する。
予測モデル生成プログラム502は、学習用データ選択プログラムで選択されたテーブルの学習データを基に予測モデルを生成し、予測モデルテーブル506に予測モデルを保存する。これらの処理の詳細については後述する。
在庫管理プログラム503は、予測モデルテーブル506から最新の予測モデルを取得し、この取得した予測モデルを販売数予測モデル508として保持する。在庫管理プログラム503は、販売数予測モデル508を基にECサービス100における販売数を予測する。運用管理者139は、この予測情報から発注量を調整する。設定ファイルは、学習用データ保存プログラム500及び学習用データ選択プログラム501で利用される。
図6は、サービス監視サーバ102の記憶装置123に格納される監視メトリクス値テーブル401の一例を示す図である。管理メトリクス値テーブル401は、バージョン601、日時602、アクセス数603、ユーザ数604、遷移率605及び購入率606を管理する。なお、このうちアクセス数603におけるメトリクス値とは5000回などの数値を示し、メトリクスとはアクセス数の項目自体を示している。
監視データとは、ある日時における各メトリクスのメトリクス値をまとめたものを指す。仮想マシン112で稼働している監視エージェントプログラム301によってアプリケーションプログラム300のメトリクス値は、サービス監視サーバ102に送られ、監視マネージャプログラム400によって保存される。監視メトリクス値テーブル401には、バージョン601、日時602、アクセス数603、ユーザ数604、遷移率605及び購入率606が格納される。
バージョン601は、仮想マシン112で稼働しているアプリケーションプログラム300のバージョン情報を示す。日時602は、監視メトリクス値を取得した日時、アクセス数603は単位時間内にECサービス100にて販売される商品の紹介ページがアクセスされた回数を示す。ユーザ数604は、メトリクス値取得時のアプリケーションプログラム300に登録されているユーザの人数を示す。遷移率605は、アクセス数603のうち商品の紹介ページから購入ページに遷移した割合を示す。購入率606は、アクセス数のうち商品を購入した割合を示す。販売数は、商品が購入された数を示す。
図7は、管理サーバ103の記憶装置127に格納されるバージョン別学習データテーブル504の一例を示す図である。ここでは、バージョン2.03の学習データ、バージョン2.04の学習データ、及びバージョン2.05の学習データが、それぞれ別の学習データテーブル701,702,703に格納されている様子を示している。
学習データとは、学習用データ保存プログラム500によってバージョン別学習データテーブル504に保存されたデータを指す。バージョン別学習データテーブル504の中身の値は、学習用データ保存プログラム500によって正規化されている。このバージョン別学習データテーブル504には、監視メトリクス値テーブル401のメトリクスの中から学習に使うメトリクスだけ選択し正規化された値が格納される。項目705,706,707には、アクセス数、遷移率、購入率が正規化された値が保存されている。項目704は、学習データのIDの役割を持つため、正規化されずそのまま保存される。本実施の形態では、ユーザ数604は、学習に用いないため、バージョン別学習データテーブル504には格納されない。
図8は、管理サーバ103の記憶装置127に格納されるクラスタ重心位置テーブル505の一例を示す図である。クラスタ重心位置テーブル505には、バージョン801と関係するテーブルにおけるクラスタ重心位置の計算結果802が格納されている。クラスタ重心位置とは、学習データテーブル504の各バージョンのテーブルの学習データを座標空間にマッピングした座標の平均のことを指す。クラスタ重心位置テーブル505は、学習データ選択プログラム501の実行時に使用され、更新される。
図9は、管理サーバ103の記憶装置127に格納される予測モデルテーブル506の一例を示す図である。この予測モデルテーブル506は、予測モデルを生成した日時900と、予測モデルを生成する際に使用したバージョン901と、それによって生成された予測モデル情報902と、が格納されている。
学習に複数のバージョンが使用された場合は、バージョン901の[2.01]、[2.02]のように各バージョンが羅列される。予測モデル情報には予測モデルそのものの情報が格納されている。例えば、予測モデルが、図10のようなニューラルネットワークを用いて作成されていた場合、各ノードの重みが予測モデル情報に格納される。予測モデルテーブルは、予測モデル生成プログラム502の実行時に更新される。
図10は、予測モデル生成プログラムによって作成される販売数予測モデル508のニューラルネットワークの構成例を示しており、例えば入力層、隠れ層及び出力層に分かれている。本実施の形態では、一例として、入力は、アクセス数、遷移率及び購入率であり、出力は販売数となる。ノード1には1つの入力があり、これに対し「w1_0」という重みがかかっている。
これに対し、ノードNに関しては5つの入力があり、それぞれの入力に対して「wN_0」、「wN_1」、「wN_2」、「wN_3」及び「wN_4」という重みがかかっている。この重みの値は、図9に示す予測モデル情報903,904に格納されている。
図11は、管理サーバ103の記憶装置127に格納されるプログラム設定テーブル1000の一例を示す図である。このプログラム設定テーブル1000には、学習データ保存プログラム500及び学習データ選択プログラム501において使用される設定が保存されている。
処理時間実行間隔設定1001は、管理サーバ103にて実行される学習処理S1100(図12)の実行間隔が保存される。学習メトリクス選択設定1002は、学習データ選択プログラム501で学習に用いるメトリクスを選択する際に用いられる。データ数閾値設定1003は、学習データ選択プログラム501において処理を実行するか否かの判断の際に用られる。クラスタ重心位置閾値設定1004は、学習データ選択プログラム501で学習に用いる学習データテーブルを選択する際に用いられる。
プログラム設定テーブル1000は、学習処理S1100が実行される前に運用管理者139によって管理端末105の入力装置137が用いられることにより、ネットワーク106を介して設定が保存される。
既述の監視メトリクス値テーブル401では、監視対象がECサービス100になっているため、格納されているメトリクスがアクセス数603、ユーザ数604、遷移率605及び購入率606となっている。
なお、本実施の形態は、監視対象システム100として、ECサービスを例示しているが、これに限られず、例えば、ストレージの応答性能の予測等にも適用することができる。このようにストレージ応答性能の予測を行う場合は、監視メトリクス値テーブル401には、プロセッサ使用率、キャッシュ使用率、キャッシュサイズなどが格納されることになる。
(1-2)予測モデルの生成を実施する学習処理
図12は、予測モデルを生成する学習処理S1100の一例を示すフローチャートである。このフローチャートは、管理サーバ103によって実行される。
図12は、予測モデルを生成する学習処理S1100の一例を示すフローチャートである。このフローチャートは、管理サーバ103によって実行される。
学習用データ保存処理S1101は、学習用データ保存プログラム500に対応しており、学習用データ選択処理S1102は、学習用データ選択プログラム501に対応しており、予測モデル生成処理S1103は、予測モデル生成プログラム502に対応している。管理サーバ103では、これらのプログラム500,501,502が管理サーバ103のメモリ128に展開されており、各プログラム500,501,502に含まれる処理がプロセッサ126によって実行される。
学習処理S1100は、予め運用管理者139が定めた処理実行時間間隔設定509を基に一定時間間隔ごとに実行される(ステップS1105)。図11に示すプログラム設定テーブル1000の処理実行時間間隔設定1001には、処理の実行間隔のみが記述されている。この処理実行時間間隔設定1001に1時間と記述されていれば、1時間ごとに処理が実行されることを表している。処理S1105では、前回処理を実行した日時が出力され、この前回実行した日時が次の学習用データ保存処理S1101において使用される。
管理サーバ103では、プロセッサ126が、学習用データ保存処理を実行し(ステップS1101)、前回実行した日時を基に、前回の処理S1100実行時から増加した分のデータを監視メトリクステーブル401から読み込み、バージョン別学習データテーブル504に保存する。
次にプロセッサ126は、学習用データ選択処理を実行し(ステップS1102)、バージョン別学習データテーブル504の中で予測モデル生成に用いる学習データテーブルを選択する。
学習用データ選択処理では、プロセッサ126が、学習に用いるバージョン別学習データテーブル504の学習データテーブルを出力する(ステップS1102)、次にプロセッサ126は、予測モデル生成処理を実行し(ステップS1103)、学習用データ選択処理S1102によって渡されたバージョン別学習データテーブル504の学習データテーブルを使って新しい予測モデルを生成し、予測モデルテーブル506に保存する。
さらにプロセッサ126は、予測モデルテーブル506から予測モデル生成処理(ステップS1103)において生成された予測モデルを予測モデルテーブル506から取得し、在庫管理プログラム503の販売数予測モデル507を生成された新しい予測モデルへ更新する(ステップS1104)。
図13は、図12に示す学習用データ保存処理の詳細を示したフローチャートである。管理サーバ103では、プロセッサ126が、サービス監視サーバ102の監視メトリクス値テーブル401からネットワーク106を介して、前回実行時から増加した分の監視データを取得する(ステップS1201)。この際、プロセッサ126は、増加した分の監視データであるか否かの判断のために、既に説明した前回処理を実行した日時を使用し、前回処理を実行した日時以降の日時を示す監視データを取得する。
次にプロセッサ126は、予め運用管理者139によって設定された学習メトリクス選択設定1002を参照し、監視メトリクス値テーブル401の監視データから、学習に用いるメトリクスを選択する(ステップS1202)。学習メトリクス選択設定1002には学習に使うメトリクスが列挙されており、例えばアクセス数、遷移率及び購入率の3つのメトリクスが列挙されている。
次にプロセッサ126は、上述のように選択されたメトリクスのメトリクス値を正規化する(ステップS1203)。ここでいう正規化とは、各メトリクスのメトリクス値が取り得る最大値と最小値との間においてメトリクス値がどこに位置するかを0から1の間の数値で示すように変換することである。最後に処理S1204は、正規化されたメトリクス値をバージョン別にバージョン別学習データテーブル504に保存する。
例えば、監視メトリクス値テーブル504から増加した分の監視データとして日時2016/10/10 13:00の監視データが上記ステップS1201において取得されると、プロセッサ126は、メトリクスのアクセス数、遷移率及び購入率を選択する(ステップS1202)。
プロセッサ126は、上述のように選択されたメトリクスのメトリクス値を正規化し(ステップS1203)、この正規化されたメトリクス値をバージョン別学習データテーブル504のテーブル703に保存する(ステップS1204)。
図14は、図12に示す学習用データ選択処理の詳細を示したフローチャートである。まず、管理サーバ103では、プロセッサ126が、仮想マシン112で稼働しているアプリケーションプログラム300のバージョンのデータ数が十分存在するか否かについてバージョン別学習データテーブル504を参照して確認する(ステップS1301)。データ数が十分であるか否かの判断は、予め運用管理者139が決定しておいたデータ数閾値設定1003に従うものとする。
データ数閾値設定1003には、データ数がいくつであれば十分であると判断するかという値のみが格納されている。例えば、予め運用管理者139により「300」と設定されていた場合、バージョン別学習データテーブル504のテーブル703に300個以上の学習データがあれば、データ数が十分であると判断される。データ数が十分であった場合、プロセッサ126は、各バージョンのバージョン別学習データテーブル504を用いてクラスタ重心位置を計算する(ステップS1303)。
この際、既述のステップS1302では、プロセッサ126が、前回のクラスタ重心位置計算及びクラスタ重心位置計算に用いられたデータ数同士を比較し、データ数が増加している場合のみクラスタ重心位置の計算を行い、この結果をクラスタ重心位置テーブル505に保存する。クラスタ重心位置計算に用いられたデータ数は、学習用データ選択プログラム501が保持する。
すべてのバージョンに対してクラスタ重心位置の計算終了後、プロセッサ126は、学習に用いる学習データテーブルを選択する(ステップS1304)。このステップS1304では、プロセッサ126が、運用管理者139によって予め設定されたクラスタ重心位置閾値設定1004に従い、仮想マシン112で稼働しているアプリケーションプログラム300のバージョンの「クラスタ重心位置からの距離」が閾値内に収まるバージョンのバージョン別学習データテーブル504の学習データテーブルを選択する。
ここでいうクラスタ重心位置からの距離とは、複数のクラスタ重心位置の値同士の差を示す。クラスタ重心位置閾値設定1004には、閾値の値のみが格納されている。各バージョンのクラスタ重心位置は、クラスタ重心位置テーブル505から取得される。ステップS1301において学習データ数が十分でなかった場合、プロセッサ126は、クラスタ重心位置計算の処理を実行しない。
この場合、プロセッサ126は、前回の学習データ選択処理実行時に選択されたバージョンを選択するとともに、仮想マシン112で稼働しているバージョンの学習データテーブルを選択する(ステップS1305)。選択された学習データテーブルは、学習用データ選択プログラム501によって保持される。以上のようにステップS1304またはステップS1305において、プロセッサ126が学習データテーブルを選択し、次のような予測モデル生成処理を実行する(S1103)。
図15(A)~図15(C)は、ステップS1303においてクラスタ重心位置を計算する一例を表した概念図であり、図15(D)は、ステップS1304において学習データを選択する一例を表した概念図である。
管理サーバ103では、プロセッサ126が、図15(A)~図15(C)に各々示すようにバージョンごとに学習データテーブルの学習データを座標空間にマッピングし、そのマッピングされた学習データの重心を計算する(ステップS1400)。
図15(A)~図15(C)では、それぞれ、バージョン[2.03]、[2.04]、[2.05]の各学習データがマッピングされ、重心位置が計算によって求められる。図15(D)では、各バージョンのクラスタ重心位置のみをマッピングし、バージョン2.05からの距離が比較されている(ステップS1401)。図中の閾値は、運用管理者139が設定したクラスタ重心位置の閾値である。
本実施の形態では、クラスタ重心位置閾値として「0.10」が設定されているものとすると、図15(C)に示すバージョン[2.05]のクラスタ重心位置が例えば「0.61」となるため、図15(A)に示すバージョン[2.03]のクラスタ重心位置「0.56」は閾値内に入っているのに対し、図15(B)に示すバージョン[2.04]のクラスタ重心位置0.72は閾値内に入っていない。以上のことに基づき、学習データテーブルとして、バージョン[2.03]及び現在稼働中であるバージョン[2.05]が選択される。
図16は、予測モデル生成処理(ステップS1103)の詳細を示したフローチャートである。まず、ステップS1501では、プロセッサ126が、予測モデルテーブル506を参照し、選択された学習データテーブルに対応する過去の予測モデルを選択する。以下に予測モデルを選択する一例を示す。
既述の学習データ選択処理(ステップS1102)において、上述のようにバージョン[2.03]及びバージョン[2.05]の学習データテーブルが選択されているので、プロセッサ126は、予測モデルテーブル506からバージョン[2.03]及び[2.05]の学習データテーブルから生成されている予測モデルを検索する。仮にこの予測モデルが存在しない場合、プロセッサ126は、選択されている学習データテーブルのいずれかのみで生成されている予測モデルを検索する。
そのように予測モデルが存在しない場合、上述のようにバージョン[2.03]及び[2.05]が選択されている場合であれば、バージョン[2.03]で生成された予測モデル、及び、バージョン[2.05]で生成された予測モデルのうちのどちらか一方の予測モデルが該当する。
一方、そのように予測モデルが存在しない場合、バージョン[2.01]、[2.03]及び[2.05]が選択されている場合であれば、バージョン[2.01]、[2.03]、[2.05]、[2.01、2.03]、[2.01,2.05]、[2.03、2.05]で生成されている予測モデルが該当する。仮に該当する予測モデルが複数ある場合は総データ数が一番多くなる予測モデルが選択される。
第1の実施の形態では、学習用データ選択処理(ステップS1102)においてプロセッサ126が、バージョン別学習データテーブル504の中からバージョン[2.03]の学習データテーブル701を選択するとともに、バージョン[2.05]の学習データテーブル703を選択している。ステップS1501では、プロセッサ126が、予測モデルテーブル506から、バージョン2.03によって作成された予測モデルを選択する。
次にステップS1502では、プロセッサ126が、ステップS1501によって対応する予測モデルを選択したか否かを判定する。対応する予測モデルが発見され、過去の予測モデルを利用可能な場合、プロセッサ126は、上述したステップS1501において選択された過去の予測モデルに対して差分の学習データを学習させ、新しい予測モデルを生成し(ステップS1503)、これを予測モデルテーブル506(図9参照)に登録する。ここでいう差分とは、予測モデルテーブル506の項目900(予測モデルを作成した日時)を基に、この日時以降の学習データを示す。
第1の実施の形態では、バージョン[2.03]で作成された過去の予測モデルが選択されているので、この過去の予測モデルに対し、差分の学習データを追加で学習させることにより新しい予測モデルを生成し、予測モデルテーブル506に当該新しい予測モデルが追加される。
一方、対応する予測モデルが存在せず、過去の予測モデルが利用できない場合、プロセッサ126は、学習データ選択プログラム1102によって選択されたテーブルに含まれる全ての学習データを用いて予測モデルを生成し(ステップS1504)、予測モデルテーブル506に、この予測モデルを追加する。
図17は、在庫管理プログラム503により示される販売数が予測される様子を示す図である。なお、縦軸が販売数を表し、横軸が時間を表している。横軸の下にはアプリケーションプログラム300においてどのバージョンが稼働していたかというものを示している。実線で示されている販売数変化は実測値であり、点線で示されている販売数変化は予測モデルによる予測値であり、一点鎖線で示されている販売数変化は古い予測モデルによる予測値である。
現在時刻において、上述したステップS1104において新しく生成された予測モデルによる予測値に更新されている(図示の点線に相当)。図示の例では、アプリケーションプログラム300のバージョンが[2.04]から[2.05]に更新され、古いモデルによる予測値では、実線で示した実測値とのずれが大きくなっていた。これを新しいモデルに更新することで、より実測値に近い予測を行うことができるようになる。
(1-3)第1の実施の形態の効果等
以上説明したように、本実施の形態における管理サーバ103では、プロセッサ126が、監視対象システム100から監視データを取得し、当該取得した監視データを監視対象システム100の挙動に応じて分割する。プロセッサ126は、当該分割した監視データから抽出した特徴と、処理実行時に稼働している監視対象システムの監視データの特徴と比較し、両特徴が近いものを学習に用いる学習データとして選択し、当該選択された学習データを用いて予測モデルを生成している。
以上説明したように、本実施の形態における管理サーバ103では、プロセッサ126が、監視対象システム100から監視データを取得し、当該取得した監視データを監視対象システム100の挙動に応じて分割する。プロセッサ126は、当該分割した監視データから抽出した特徴と、処理実行時に稼働している監視対象システムの監視データの特徴と比較し、両特徴が近いものを学習に用いる学習データとして選択し、当該選択された学習データを用いて予測モデルを生成している。
本実施の形態によれば、そのような学習データを監視対象システムの挙動ごとに管理し、現在動いている監視対象システム100の挙動と近い学習データのみを選んで学習させることで、学習によって生成される予測モデルの予測精度を向上させることができる。これにより、監視対象システムの今後の挙動について予測精度の高い予測モデルを生成可能とし、今後の挙動について予測精度を高めることができる。
(2)第2の実施の形態
第2の実施の形態は、第1の実施の形態とほぼ同様であるため、同様の構成及び動作については説明を省略し、異なる点を中心として説明する。
第2の実施の形態は、第1の実施の形態とほぼ同様であるため、同様の構成及び動作については説明を省略し、異なる点を中心として説明する。
(2-1)第2の実施の形態における特徴
第2の実施の形態では、プロセッサ126が、学習用データ保存プログラム501による学習用データ保存処理S1101の処理S1204(図13参照)において、第1の実施の形態のように学習データをバージョンごとにバージョン別学習データテーブル504に保存する代わりに、例えば、平日及び休日など時間帯によって挙動が異なる場合を分けて学習データを日時ごとに日時別学習データテーブル1700に保存している。
第2の実施の形態では、プロセッサ126が、学習用データ保存プログラム501による学習用データ保存処理S1101の処理S1204(図13参照)において、第1の実施の形態のように学習データをバージョンごとにバージョン別学習データテーブル504に保存する代わりに、例えば、平日及び休日など時間帯によって挙動が異なる場合を分けて学習データを日時ごとに日時別学習データテーブル1700に保存している。
第2の実施の形態では、後述するようにプロセッサ126が、日時別学習データテーブル1700の学習データを予測モデルの生成に用いる点が第1の実施の形態と異なっている。以下、より具体的に説明する。
図18は、第2の実施の形態による管理サーバ103Aの構成例を示すブロック図である。管理サーバ103Aは、第1の実施の形態による管理サーバ103とほぼ同様の構成であるが、バージョン別学習データテーブル504の代わりに、学習データを日時別に保存可能な次の日時別学習データテーブル1700が設けられている点が相違する。
図19(A)~図19(C)は、それぞれ、図18に示す日時別学習データテーブル1700のテーブル構成例を示す。この日時別学習データテーブル1700は、管理サーバ103のメモリ128に格納されている。各学習データテーブルには、年月日及び時刻からなるテーブル名前が付されており、どの日時に保存された学習データであるのかを表している。
具体的には、例えば、図19(A)では、2016年10月8日9:00時点の学習データテーブル1701を例示し、図19(B)では、2016年10月9日9:00時点の学習データテーブル1702を例示し、図19(C)では、2016年10月10日9:00時点の学習データテーブル1703を例示している。各学習データテーブルは、例えば日時704、アクセス数705、遷移率706及び購入率707を管理している。
図20は、第2の実施の形態における学習用データ保存処理S1101Aのフローチャートである。なお、第2の実施の形態における図20は、第1の実施の形態における図13に対応しており、第2の実施の形態におけるステップS1201,S1202,S1203は、第1の実施の形態におけるステップS1201,S1202,S1203に対応している。
この学習用データ保存処理S1101Aは、第1の実施の形態による図12及び図13に示す学習用データ保存処理S1100の代わりに、学習用データ保存プログラム500によって実行される。第1の実施形態と同様に学習用データ保存プログラム500は、メモリ128に展開されており、プロセッサ126によって実行される。なお、第2の実施の形態によるステップS1201~1203は、第1の実施の形態と同様であるため、説明を省略する。
プロセッサ126は、第1の実施の形態におけるステップS1204と異なり、バージョンの代わりに日時で学習用データを切り分ける。この際、プロセッサ126は、運用管理者139が予め設定しておいたテーブル分割設定1805を読み込み、このテーブル分割設定1805を基に学習用データを切り分ける。
テーブル分割設定1805は、管理サーバ103のプログラム設定テーブル507に格納されており、運用管理者139は、管理端末105の入力装置137を用いてネットワーク106を介して設定を行う。
テーブル分割設定1805には、どの日時で学習テーブルを切り分けるかが記述されている。このため、同一時間帯で学習テーブルを切り分けても良いし、異なる時間帯で切り分けても良い。
なお、例えば、日時別学習データテーブル1700では、テーブル1701、テーブル1702及びテーブル1703が全て9:00で分割されているが、テーブル1702のみ2016年10月9日12:00で分割されるようにしても良い。日時別学習データテーブル1800には、ステップS1203において正規化されたデータが保存される(ステップS1204A)。
上述した学習用データ保存処理が(ステップS1101A)が終了すると、第2の実施の形態でも、プロセッサ126が、第1の実施の形態と同様に、図12に示す学習用データ選択処理を実行する(ステップS1102)。
この学習用データ選択処理では、プロセッサ126が、第1の実施の形態の場合とほぼ同様の動作を実行するが、処理対象の学習データテーブルがバージョン別学習データテーブル504ではなく、日時別学習データテーブル1700となっている点が第1の実施の形態とは異なっている。
これにより、第2の実施の形態では、プロセッサ126が、既述のステップS1306においてバージョン別学習データテーブル504の代わりに(図14参照)、日時別学習データテーブル1700を用いてほぼ同様の処理を実行し、第1の実施の形態とほぼ同様にテーブルを選択する(ステップS1304,S1305)。
上述した学習用データ選択処理(ステップS1102)を実行することにより、プロセッサ126は、日時別学習データテーブル1700から学習データテーブルを選択し、この学習データテーブルを入力として予測モデルを生成する(ステップS1103)。
(2-2)第2の実施の形態の効果等
以上のような構成によれば、日時別で学習データを管理することにより、日時ごとに、例えば平日と休日、昼間と夜間、セール期間とその他の期間のように監視対象システム100の挙動が異なる場合でも、既述のようにデータを切り分けて学習することができるので、それぞれの状況において予測精度の高い予測モデルを生成することができる。
以上のような構成によれば、日時別で学習データを管理することにより、日時ごとに、例えば平日と休日、昼間と夜間、セール期間とその他の期間のように監視対象システム100の挙動が異なる場合でも、既述のようにデータを切り分けて学習することができるので、それぞれの状況において予測精度の高い予測モデルを生成することができる。
(3)その他の実施形態
上記実施形態は、本発明を説明するための例示であり、本発明をこれらの実施形態にのみ限定する趣旨ではない。本発明は、その趣旨を逸脱しない限り、様々な形態で実施することができる。例えば、上記実施形態では、監視対象システム100の一例として、ECサービスを例示しているが、これに限られず、様々なWebアプリケーションを例示することもできる。
上記実施形態は、本発明を説明するための例示であり、本発明をこれらの実施形態にのみ限定する趣旨ではない。本発明は、その趣旨を逸脱しない限り、様々な形態で実施することができる。例えば、上記実施形態では、監視対象システム100の一例として、ECサービスを例示しているが、これに限られず、様々なWebアプリケーションを例示することもできる。
本発明は、開発者(Development)と運用管理者(Operations)とが連携して協力する開発手法である「DevOps」で開発されるサービスに対して機械学習が用いられる際における学習データの管理方法を用いる学習データ管理装置に広く適用することができる。
103……管理サーバ、500……データ用保存プログラム、501……学習用データ選択プログラム、502……予測モデル生成プログラム、504……バージョン別学習データテーブル、103……クラスタ重心位置テーブル、506…予測モデルテーブル、1100……学習処理、S1101……学習用データ保存処理、S1102……学習用データ選択処理、S1103……予測モデル生成処理、S1201……監視メトリクス値取得処理、S1202……学習メトリクス選択処理、S1203……メトリクス値正規化処理、S1204……バージョン別学習データ保存処理、S1303……クラスタ重心位置計算処理、S1305……学習データテーブル選択処理、S1503……予測モデル生成処理。
Claims (10)
- 監視対象としての監視対象システムから監視データを取得する監視データ取得部と、
前記取得した監視データを前記監視対象システムの挙動に応じて分割する監視データ分割部と、
前記分割した監視データから特徴を抽出する特徴抽出部と、
前記抽出した特徴と、処理実行時に稼働中の監視対象システムの監視データの特徴と比較し、両特徴が近いものを学習に用いる学習データとして選択する学習データ選択部と、
前記選択された学習データを用いて予測モデルを生成する予測モデル生成部と、
を備えることを特徴とする学習データ管理装置。 - 前記監視データ分割部は、
前記監視対象システムにおいて稼働しているアプリケーションプログラムのバージョンに応じて前記監視データを分割することを特徴とする請求項1に記載の学習データ管理装置。 - 前記監視データ分割部は、
前記監視対象システムにおいて稼働しているアプリケーションプログラムの日時に応じて前記監視データを分割することを特徴とする請求項1に記載の学習データ管理装置。 - 前記特徴抽出部は、
前記分割した監視データの特徴として監視データをマッピングしたクラスタの重心位置を用いることを特徴とする請求項1に記載の学習データ管理装置。 - 前記監視対象システムはWebアプリケーションであり、
前記予測モデル生成部は、
前記Webアプリケーションの挙動を予測することを特徴とする請求項1に記載の学習データ管理装置。 - 前記予測モデル生成部は、
前記学習データとしてアクセス数、遷移率及び購入率を用いることを特徴とする請求項5に記載の学習データ管理装置。 - 前記予測モデル生成部は、
前記監視対象システムとして、前記Webアプリケーションが稼働するサーバについて挙動を予測することを特徴とする請求項5に記載の学習データ管理装置。 - 前記予測モデル生成部は、
前記学習データとしてプロセッサ使用率、キャッシュ使用率及びキャッシュサイズを用いることを特徴とする請求項7に記載の学習データ管理装置。 - 前記予測モデル生成部によって生成された予測モデルを用いて前記監視対象システムの挙動を予測する挙動予測部を備えることを特徴とする請求項1に記載の学習データ管理装置。
- 学習データを用いて予測モデルを生成する学習データ管理装置における学習データ管理方法であって、
前記学習データ管理装置が、監視対象としての監視対象システムから監視データを取得する監視データ取得ステップと、
前記学習データ管理装置が、前記取得した監視データを前記監視対象システムの挙動に応じて分割する監視データ分割ステップと、
前記学習データ管理装置が、前記分割した監視データから特徴を抽出する特徴抽出ステップと、
前記学習データ管理装置が、前記抽出した特徴と、処理実行時に稼働中の監視対象システムの監視データの特徴と比較し、両特徴が近いものを学習に用いる学習データとして選択する学習データ選択ステップと、
前記学習データ管理装置が、前記選択された学習データを用いて予測モデルを生成する予測モデル生成ステップと、
を有することを特徴とする学習データ管理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/005976 WO2018150550A1 (ja) | 2017-02-17 | 2017-02-17 | 学習データ管理装置及び学習データ管理方法 |
JP2019500139A JP6695490B2 (ja) | 2017-02-17 | 2017-02-17 | 学習データ管理装置及び学習データ管理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/005976 WO2018150550A1 (ja) | 2017-02-17 | 2017-02-17 | 学習データ管理装置及び学習データ管理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018150550A1 true WO2018150550A1 (ja) | 2018-08-23 |
Family
ID=63169197
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2017/005976 WO2018150550A1 (ja) | 2017-02-17 | 2017-02-17 | 学習データ管理装置及び学習データ管理方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6695490B2 (ja) |
WO (1) | WO2018150550A1 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020066697A1 (ja) * | 2018-09-27 | 2020-04-02 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
KR20200084441A (ko) * | 2018-12-26 | 2020-07-13 | 단국대학교 산학협력단 | 머신러닝의 학습 데이터셋 생성을 위한 애플리케이션 자동화 빌드 장치 및 방법 |
KR20210132500A (ko) * | 2020-04-27 | 2021-11-04 | 한국전자기술연구원 | 연합 학습 시스템 및 방법 |
JP2022512233A (ja) * | 2018-12-10 | 2022-02-02 | インタラクティブ-エーアイ,エルエルシー | 多言語スタイル依存音声言語処理のためのニューラル調整コード |
WO2024023917A1 (ja) * | 2022-07-26 | 2024-02-01 | 日本電信電話株式会社 | 学習装置、学習方法及びプログラム |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102247182B1 (ko) * | 2020-12-18 | 2021-05-03 | 주식회사 이글루시큐리티 | 클러스터링 기법을 이용한 신규 데이터 생성 방법, 장치 및 프로그램 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011192097A (ja) * | 2010-03-16 | 2011-09-29 | Hitachi Ltd | 異常検知方法およびそれを用いた情報処理システム |
US20120284213A1 (en) * | 2011-05-04 | 2012-11-08 | Google Inc. | Predictive Analytical Modeling Data Selection |
WO2013030984A1 (ja) * | 2011-08-31 | 2013-03-07 | 株式会社日立エンジニアリング・アンド・サービス | 設備状態監視方法およびその装置 |
JP2015082259A (ja) * | 2013-10-23 | 2015-04-27 | 本田技研工業株式会社 | 時系列データ予測装置、時系列データ予測方法、及びプログラム |
-
2017
- 2017-02-17 JP JP2019500139A patent/JP6695490B2/ja active Active
- 2017-02-17 WO PCT/JP2017/005976 patent/WO2018150550A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011192097A (ja) * | 2010-03-16 | 2011-09-29 | Hitachi Ltd | 異常検知方法およびそれを用いた情報処理システム |
US20120284213A1 (en) * | 2011-05-04 | 2012-11-08 | Google Inc. | Predictive Analytical Modeling Data Selection |
WO2013030984A1 (ja) * | 2011-08-31 | 2013-03-07 | 株式会社日立エンジニアリング・アンド・サービス | 設備状態監視方法およびその装置 |
JP2015082259A (ja) * | 2013-10-23 | 2015-04-27 | 本田技研工業株式会社 | 時系列データ予測装置、時系列データ予測方法、及びプログラム |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020066697A1 (ja) * | 2018-09-27 | 2020-04-02 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
JP2022512233A (ja) * | 2018-12-10 | 2022-02-02 | インタラクティブ-エーアイ,エルエルシー | 多言語スタイル依存音声言語処理のためのニューラル調整コード |
KR20200084441A (ko) * | 2018-12-26 | 2020-07-13 | 단국대학교 산학협력단 | 머신러닝의 학습 데이터셋 생성을 위한 애플리케이션 자동화 빌드 장치 및 방법 |
KR102167767B1 (ko) * | 2018-12-26 | 2020-10-19 | 단국대학교 산학협력단 | 머신러닝의 학습 데이터셋 생성을 위한 애플리케이션 자동화 빌드 장치 및 방법 |
KR20210132500A (ko) * | 2020-04-27 | 2021-11-04 | 한국전자기술연구원 | 연합 학습 시스템 및 방법 |
KR102544531B1 (ko) * | 2020-04-27 | 2023-06-16 | 한국전자기술연구원 | 연합 학습 시스템 및 방법 |
WO2024023917A1 (ja) * | 2022-07-26 | 2024-02-01 | 日本電信電話株式会社 | 学習装置、学習方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6695490B2 (ja) | 2020-05-20 |
JPWO2018150550A1 (ja) | 2019-07-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2018150550A1 (ja) | 学習データ管理装置及び学習データ管理方法 | |
US10048830B2 (en) | System and method for integrating microservices | |
US11288002B2 (en) | System and method for providing high availability data | |
US20200090085A1 (en) | Digital twin graph | |
JP6460095B2 (ja) | 学習モデル選択システム、学習モデル選択方法及びプログラム | |
US12032533B2 (en) | Code generator platform for data transformation | |
US20180114136A1 (en) | Trend identification using multiple data sources and machine learning techniques | |
US10685319B2 (en) | Big data sourcing simulator | |
CN105074724A (zh) | 使用列式数据库中的直方图进行有效查询处理 | |
US20190163805A1 (en) | Virtual agent for improving item identification using natural language processing and machine learning techniques | |
US20220045847A1 (en) | Determining a change to product information or user information via hashing | |
US11366821B2 (en) | Epsilon-closure for frequent pattern analysis | |
US9268814B2 (en) | Enablement of quasi time dependency in organizational hierarchies | |
CN112202617A (zh) | 资源管理***监控方法、装置、计算机设备和存储介质 | |
CA3044689A1 (en) | Attribute sharing platform for data processing systems | |
US10885468B2 (en) | Dynamic search system for real-time dynamic search and reporting | |
US20180039901A1 (en) | Predictor management system, predictor management method, and predictor management program | |
CN111932338A (zh) | 一种商品推荐方法、装置、设备及存储介质 | |
CN111309712A (zh) | 基于数据仓库的优化任务调度方法、装置、设备及介质 | |
CN107562533B (zh) | 一种数据加载处理方法及装置 | |
WO2010082885A1 (en) | A method to prevent churn of customers | |
US20180173757A1 (en) | Apparatus and Method for Analytical Optimization Through Computational Pushdown | |
CN110659155B (zh) | 用于备份拓扑图的***和方法 | |
US20200349629A1 (en) | Data-driven hardware configuration recommendation system based on user satisfaction rating | |
US11609935B2 (en) | Managing configuration datasets from multiple, distinct computing systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17896476 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2019500139 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 17896476 Country of ref document: EP Kind code of ref document: A1 |