WO2018150550A1 - 学習データ管理装置及び学習データ管理方法 - Google Patents

学習データ管理装置及び学習データ管理方法 Download PDF

Info

Publication number
WO2018150550A1
WO2018150550A1 PCT/JP2017/005976 JP2017005976W WO2018150550A1 WO 2018150550 A1 WO2018150550 A1 WO 2018150550A1 JP 2017005976 W JP2017005976 W JP 2017005976W WO 2018150550 A1 WO2018150550 A1 WO 2018150550A1
Authority
WO
WIPO (PCT)
Prior art keywords
learning data
monitoring
prediction model
learning
data management
Prior art date
Application number
PCT/JP2017/005976
Other languages
English (en)
French (fr)
Inventor
悠 藤田
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to PCT/JP2017/005976 priority Critical patent/WO2018150550A1/ja
Priority to JP2019500139A priority patent/JP6695490B2/ja
Publication of WO2018150550A1 publication Critical patent/WO2018150550A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N99/00—Subject matter not provided for in other groups of this subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"

Definitions

  • the present invention relates to a learning data management apparatus and a learning data management method, and more particularly, to a service developed in “DevOps”, which is a development method in which a developer (Development) and an operations manager (Operations) cooperate with each other. Therefore, it has a function suitable for management of learning data when machine learning is used.
  • baseline information is generated by distinguishing the failure occurrence period of the monitored system from other periods, but the behavior of the monitored system, that is, the distribution of metric values frequently changes. It is not supposed to be.
  • updating is frequently performed by a development method such as DevOps described above, and the behavior of the monitoring target system changes.
  • the internal logic may be changed by updating the monitored system. If the behavior of the target system changes due to the update, there will be a difference between the learning result created using the metric value before the update and the actual operation, and the prediction accuracy of baseline information etc. may be reduced. It was.
  • the present invention has been made in consideration of the above points, and has a function of proposing a learning data management apparatus and a learning data management method capable of generating a prediction model with high prediction accuracy for the future behavior of the monitored system. .
  • a monitoring data acquisition unit that acquires monitoring data from a monitoring target system as a monitoring target, and monitoring data that divides the acquired monitoring data according to the behavior of the monitoring target system
  • the feature extracting unit that extracts the feature from the divided monitoring data, and the extracted feature and the feature of the monitoring data of the monitoring target system that is operating at the time of processing execution, learn the features that are similar to each other
  • a learning data selection unit that selects the learning data to be used for the prediction
  • a prediction model generation unit that generates a prediction model using the selected learning data.
  • a learning data management method in a learning data management device that generates a prediction model using learning data
  • the learning data management device acquires monitoring data from a monitoring target system as a monitoring target.
  • the monitoring data acquisition step the learning data management device divides the acquired monitoring data according to the behavior of the monitoring target system, and the learning data management device is characterized by the divided monitoring data.
  • the feature extraction step for extracting the learning data, and the learning data management device compares the extracted features with the features of the monitoring data of the monitoring target system that is operating at the time of processing execution, and the learning data using the features that are close to each other for learning
  • a learning data selection step for selecting the learning data, and the learning data management device And having a prediction model generating step of generating a prediction model using the data.
  • FIG. 2 is a block diagram illustrating a configuration example of the virtual machine illustrated in FIG. 1 in more detail.
  • FIG. 2 is a block diagram illustrating a configuration example of a service monitoring server illustrated in FIG. 1 in more detail.
  • FIG. 2 is a block diagram illustrating a configuration example of a management server illustrated in FIG. 1 in more detail.
  • FIG. 5 is a table configuration diagram illustrating a configuration example of a monitoring metrics value table illustrated in FIG. 4. It is a table block diagram which shows the structural example of the learning data table classified by version shown in FIG.
  • FIG. 6 is a table calibration diagram showing a configuration example of a program setting table shown in FIG. 5.
  • FIG. 13 is a flowchart showing the learning data storage process shown in FIG. 12 in more detail. 13 is a flowchart showing the learning data selection process shown in FIG. 12 in more detail. It is a figure which shows one of cluster gravity center position calculation and cluster gravity center position comparison.
  • FIG. It is a flowchart which shows an example of the prediction model production
  • FIG. 1 shows a configuration example of a learning data management apparatus according to the first embodiment.
  • an EC service which is one type of Web application
  • the monitoring target system is not limited to the Web application, and can be used for server behavior, for example, storage response performance prediction.
  • the version of the monitored system is used as an element for dividing the behavior of the monitored system.
  • FIG. 1 shows a configuration example of a computer system as a learning data management apparatus according to the first embodiment.
  • the computer system according to the present embodiment includes a monitoring target system 100, a deployment server 101, a service monitoring server 102, a management server 103, a management terminal 105, and a development terminal 104. These are connected to the network 106 by their respective communication interfaces, and are connected to each other via the network 106.
  • monitoring target system 100 for example, a Web application, specifically, an EC (Electronic Commerce) service is exemplified.
  • EC Electronic Commerce
  • the management terminal 105 includes a communication interface 134, a processor 133, a storage device 135, and a memory 136, which are connected by an internal bus 145.
  • An input device 137 and an output device 138 are connected to the internal bus 145.
  • the operation manager 139 performs operations on the EC service 100, the deployment server 101, the service monitoring server 102, and the management server 103 via the input device 137 and the output device 138.
  • the development terminal 104 includes a communication interface 129, a processor 130, a storage device 131, and a memory 132, which are connected by an internal bus 144. An input device 147 and an output device 148 are connected to the internal bus 144.
  • the developer 140 develops an application using the development terminal 104.
  • the developed application source code is stored in the storage device 119 of the deployment server 101 via the network 106.
  • the EC service 100 includes a virtual machine 112 provided by virtualization software 111 operating on the physical server 110.
  • the physical server 110 includes a communication interface 113, a processor 114, a storage device 115, and a memory 116. A part of the processor 114, the storage device 115, and the memory 116 of the physical machine 110 is allocated to the virtual machine 112. Operations on the virtual machine 112 are performed via the communication interface 113 of the physical server 110.
  • the communication interface 113, the processor 114, the storage device 115, and the memory 116 are connected by an internal bus 146.
  • the deploy server 101 includes a communication interface 117, a processor 118, a storage device 119, and a memory 120.
  • the communication interface 117, the processor 118, the storage device 119, and the memory 120 are connected by an internal bus 141.
  • the service monitoring server 102 includes a communication interface 121, a processor 122, a storage device 123, and a memory 124.
  • the communication interface 121, the processor 122, the storage device 123, and the memory 124 are connected by an internal bus 142.
  • the management server 103 includes a communication interface 125, a processor 126, a storage device 127, and a memory 128.
  • the communication interface 125, the processor 126, the storage device 127, and the memory 128 are connected by an internal bus 143.
  • FIG. 2 is a block diagram showing a configuration example of the deployment server 101.
  • the deployment server 101 has a function of building the source code stored in the source code repository 201 and updating the application program 300 running on the virtual machine 112.
  • the deployment program 200 is stored in the memory 120.
  • the storage device 119 stores a source code repository 201.
  • the source code repository 201 stores the source code of the application program 300 provided on the virtual machine 112. This source code is developed by the developer 140 using the development terminal 104 and is stored in the source code repository 201 via the network 106.
  • the deployment program 200 Upon receiving a deployment instruction via the input device 137 of the management terminal 105, the deployment program 200 builds the source code stored in the source code repository 201, and the application program executable file generated by such build Is replaced with the application program 300 running on the virtual machine 112 to update the application.
  • FIG. 3 shows a configuration diagram of the virtual machine 112 operating in the EC service 100.
  • An application program 300 that provides the EC service 100 is running on the memory 116 assigned to the virtual machine 112.
  • the storage device 115 stores a product data DB 303.
  • the product data DB (database) 303 stores product information including product names, product prices, and the number of products in stock.
  • the application program 300 acquires product information stored in the product data DB 303 and provides a service based on the product information.
  • the application program 300 is open to the network 106.
  • the monitoring agent program 301 acquires the operation information of the application program 300 and transmits the monitoring metric value obtained by monitoring to the service management manager program 400 (FIG. 4) of the service monitoring server 102 via the network 106. .
  • FIG. 4 shows a configuration diagram of the service monitoring server 102.
  • the service monitoring server 102 receives and saves the monitoring result from the monitoring manager program 301 running on the virtual machine 112.
  • the service management manager program 400 is stored in the memory 124.
  • the storage metric value table 401 is stored in the storage device 123.
  • the service monitoring manager program 400 receives the monitoring metric value acquired by the monitoring agent program 300 running on the virtual machine 112 and stores it in the monitoring metric value table 401 in the storage device 123. Details of the monitoring metrics value table 401 will be described later.
  • FIG. 5 shows a configuration diagram of the management server 103.
  • the management server 103 has a function of learning the monitoring metric value acquired by the service monitoring server 102 and creating a sales number prediction model in the application program 300.
  • the processor 126 predicts the number of sales in the EC service 100 using this sales number prediction model.
  • the memory 128 stores a learning data storage program 500, a learning data selection program 501, a prediction model generation program 502, and an inventory management program 503.
  • the storage device 127 stores a version-specific learning data table 504, a cluster centroid position table 505, a prediction model table 506, and a program setting table 507.
  • the learning data storage program 500 reads a value from the monitoring metric value table 401 of the service monitoring server 102, executes the processing, and then stores it in the learning data table 504 classified by version.
  • the learning data selection program 501 calculates the cluster centroid position based on the learning data in the version-specific learning data table 504 and stores it in the cluster centroid position table 505.
  • the learning data selection program 501 selects a table used for learning based on the cluster centroid position stored in this way.
  • records are stored in the normal table, in this embodiment, for convenience of explanation, it is assumed that the version-specific learning data table 504 has a table corresponding to the record.
  • the prediction model generation program 502 generates a prediction model based on the learning data in the table selected by the learning data selection program, and stores the prediction model in the prediction model table 506. Details of these processes will be described later.
  • the inventory management program 503 acquires the latest prediction model from the prediction model table 506, and holds the acquired prediction model as a sales number prediction model 508.
  • the inventory management program 503 predicts the number of sales in the EC service 100 based on the sales number prediction model 508.
  • the operation manager 139 adjusts the order quantity from this prediction information.
  • the setting file is used in the learning data storage program 500 and the learning data selection program 501.
  • FIG. 6 is a diagram illustrating an example of the monitoring metric value table 401 stored in the storage device 123 of the service monitoring server 102.
  • the management metrics value table 401 manages version 601, date and time 602, number of accesses 603, number of users 604, transition rate 605, and purchase rate 606.
  • the metric value in the access number 603 indicates a numerical value such as 5000 times, and the metric indicates the access number item itself.
  • Monitoring data refers to a collection of metrics values for each metric at a certain date and time.
  • the metrics value of the application program 300 is sent to the service monitoring server 102 by the monitoring agent program 301 running on the virtual machine 112 and stored by the monitoring manager program 400.
  • the monitoring metrics value table 401 stores version 601, date and time 602, number of accesses 603, number of users 604, transition rate 605 and purchase rate 606.
  • Version 601 indicates version information of the application program 300 running on the virtual machine 112.
  • the date and time 602 indicates the date and time when the monitoring metric value is acquired
  • the number of accesses 603 indicates the number of times that an introduction page of a product sold by the EC service 100 is accessed within a unit time.
  • the number of users 604 indicates the number of users registered in the application program 300 when the metrics value is acquired.
  • the transition rate 605 indicates the rate of transition from the product introduction page to the purchase page in the number of accesses 603.
  • the purchase rate 606 indicates the rate of purchase of a product among the number of accesses.
  • the number of sales indicates the number of products purchased.
  • FIG. 7 is a diagram illustrating an example of the version-specific learning data table 504 stored in the storage device 127 of the management server 103.
  • learning data of version 2.03, learning data of version 2.04, and learning data of version 2.05 are stored in different learning data tables 701, 702, and 703, respectively. .
  • Learning data refers to data stored in the version-specific learning data table 504 by the learning data storage program 500.
  • the contents of the version-specific learning data table 504 are normalized by the learning data storage program 500.
  • This version-specific learning data table 504 stores values normalized by selecting only the metrics used for learning from the metrics in the monitoring metrics value table 401.
  • items 705, 706, and 707 values obtained by normalizing the number of accesses, the transition rate, and the purchase rate are stored. Since the item 704 has a role of an ID of learning data, it is stored as it is without being normalized. In this embodiment, since the number of users 604 is not used for learning, it is not stored in the version-specific learning data table 504.
  • FIG. 8 is a diagram illustrating an example of the cluster centroid position table 505 stored in the storage device 127 of the management server 103.
  • the cluster centroid position table 505 stores the calculation result 802 of the cluster centroid position in the table related to the version 801.
  • the cluster center-of-gravity position refers to an average of coordinates obtained by mapping learning data of each version of the learning data table 504 in the coordinate space.
  • the cluster centroid position table 505 is used and updated when the learning data selection program 501 is executed.
  • FIG. 9 is a diagram illustrating an example of the prediction model table 506 stored in the storage device 127 of the management server 103.
  • the prediction model table 506 stores the date and time 900 when the prediction model was generated, the version 901 used when generating the prediction model, and the prediction model information 902 generated thereby.
  • each version is listed as [2.01] and [2.02] of version 901.
  • the prediction model information stores information on the prediction model itself. For example, when the prediction model is created using a neural network as shown in FIG. 10, the weight of each node is stored in the prediction model information.
  • the prediction model table is updated when the prediction model generation program 502 is executed.
  • FIG. 10 shows a configuration example of the neural network of the sales number prediction model 508 created by the prediction model generation program, which is divided into, for example, an input layer, a hidden layer, and an output layer.
  • the input is the number of accesses, the transition rate, and the purchase rate
  • the output is the number of sales.
  • Node 1 has one input, which is weighted “w1_0”.
  • weights “wN_0”, “wN_1”, “wN_2”, “wN_3”, and “wN_4” are applied to each input.
  • the weight value is stored in the prediction model information 903 and 904 shown in FIG.
  • FIG. 11 is a diagram illustrating an example of the program setting table 1000 stored in the storage device 127 of the management server 103.
  • the program setting table 1000 settings used in the learning data storage program 500 and the learning data selection program 501 are stored.
  • the processing time execution interval setting 1001 stores the execution interval of the learning process S1100 (FIG. 12) executed by the management server 103.
  • a learning metric selection setting 1002 is used when a metric used for learning is selected by the learning data selection program 501.
  • the data number threshold setting 1003 is used when determining whether or not to execute processing in the learning data selection program 501.
  • the cluster centroid position threshold setting 1004 is used when the learning data selection program 501 selects a learning data table used for learning.
  • the program setting table 1000 stores settings via the network 106 by the operation manager 139 using the input device 137 of the management terminal 105 before the learning process S1100 is executed.
  • the stored metrics are the access count 603, the user count 604, the transition rate 605, and the purchase rate 606.
  • the present embodiment exemplifies an EC service as the monitoring target system 100, but is not limited to this, and can be applied to, for example, prediction of storage response performance.
  • the monitoring metric value table 401 stores the processor usage rate, the cache usage rate, the cache size, and the like.
  • FIG. 12 is a flowchart illustrating an example of a learning process S1100 for generating a prediction model. This flowchart is executed by the management server 103.
  • the learning data storage process S1101 corresponds to the learning data storage program 500
  • the learning data selection process S1102 corresponds to the learning data selection program 501
  • the prediction model generation process S1103 includes a prediction model generation. This corresponds to the program 502.
  • these programs 500, 501, 502 are expanded in the memory 128 of the management server 103, and processing included in each program 500, 501, 502 is executed by the processor 126.
  • Learning process S1100 is executed at regular time intervals based on a process execution time interval setting 509 predetermined by the operation manager 139 (step S1105).
  • the process execution time interval setting 1001 of the program setting table 1000 shown in FIG. 11 only the process execution interval is described. If this process execution time interval setting 1001 describes 1 hour, it means that the process is executed every hour.
  • the date and time when the previous process was executed is output, and the date and time when the previous process was executed is used in the next learning data storage process S1101.
  • the processor 126 executes a learning data storage process (step S1101), and reads the amount of data increased from the previous execution time of the process S1100 from the monitoring metrics table 401 based on the previous execution date and time. Saved in the version-specific learning data table 504.
  • the processor 126 executes a learning data selection process (step S1102), and selects a learning data table used for prediction model generation from the version-specific learning data table 504.
  • the processor 126 outputs a learning data table of the version-specific learning data table 504 used for learning (step S1102), and then the processor 126 executes prediction model generation processing (step S1103).
  • a new prediction model is generated using the learning data table of the version-specific learning data table 504 passed by the learning data selection processing S1102 and stored in the prediction model table 506.
  • the processor 126 acquires the prediction model generated in the prediction model generation process (step S1103) from the prediction model table 506 from the prediction model table 506, and the new prediction model from which the sales number prediction model 507 of the inventory management program 503 is generated. (Step S1104).
  • FIG. 13 is a flowchart showing details of the learning data storage process shown in FIG.
  • the processor 126 acquires the monitoring data for the amount increased from the previous execution from the monitoring metrics value table 401 of the service monitoring server 102 via the network 106 (step S1201).
  • the processor 126 uses the date and time when the previous process was executed as described above to determine whether or not the increased amount of monitoring data, and monitoring data indicating the date and time after the date and time when the previous process was executed. To get.
  • the processor 126 refers to the learning metric selection setting 1002 set by the operation manager 139 in advance, and selects a metric used for learning from the monitoring data in the monitoring metric value table 401 (step S1202).
  • the learning metrics selection setting 1002 lists metrics used for learning. For example, three metrics of access count, transition rate, and purchase rate are listed.
  • the processor 126 normalizes the metric value of the metric selected as described above (step S1203).
  • the normalization here means that conversion is made so that a numerical value between 0 and 1 indicates where the metric value is located between the maximum value and the minimum value that can be taken by the metric value of each metric.
  • the process S1204 stores the normalized metric value in the version-specific learning data table 504 for each version.
  • step S1202 when the monitoring data of the date 2016/10/10 13:00 is acquired in step S1201 as the monitoring data increased from the monitoring metrics value table 504, the processor 126, the access count of the metrics, the transition rate, and the purchase A rate is selected (step S1202).
  • the processor 126 normalizes the metric value of the metric selected as described above (step S1203), and stores the normalized metric value in the table 703 of the version-specific learning data table 504 (step S1204).
  • FIG. 14 is a flowchart showing details of the learning data selection process shown in FIG.
  • the processor 126 confirms whether or not there is a sufficient number of versions of the application program 300 running on the virtual machine 112 with reference to the version-specific learning data table 504 (step S1301). ). Whether the number of data is sufficient is determined according to the data number threshold setting 1003 previously determined by the operation manager 139.
  • the data number threshold setting 1003 only a value indicating how many data is sufficient is stored. For example, when “300” is set in advance by the operation manager 139, if there are 300 or more pieces of learning data in the table 703 of the version-specific learning data table 504, it is determined that the number of data is sufficient. If the number of data is sufficient, the processor 126 calculates the cluster centroid position using the version-specific learning data table 504 for each version (step S1303).
  • step S1302 the processor 126 compares the number of data used in the previous cluster centroid position calculation and the cluster centroid position calculation, and calculates the cluster centroid position only when the number of data increases. This result is stored in the cluster centroid position table 505.
  • the learning data selection program 501 holds the number of data used for cluster centroid position calculation.
  • the processor 126 selects a learning data table used for learning (step S1304).
  • the processor 126 follows the cluster centroid position threshold setting 1004 preset by the operation manager 139, and the “distance from the cluster centroid position” of the version of the application program 300 running on the virtual machine 112 is the threshold value.
  • the learning data table of the version-specific learning data table 504 that fits in the version is selected.
  • the distance from the cluster centroid position indicates a difference between values of a plurality of cluster centroid positions.
  • the cluster centroid position threshold setting 1004 stores only the threshold value.
  • the cluster centroid position of each version is acquired from the cluster centroid position table 505. If the number of learning data is not sufficient in step S1301, the processor 126 does not execute the cluster centroid position calculation process.
  • the processor 126 selects the version selected at the time of the previous learning data selection process execution, and also selects the learning data table of the version running on the virtual machine 112 (step S1305).
  • the selected learning data table is held by the learning data selection program 501.
  • the processor 126 selects the learning data table and executes the following prediction model generation process (S1103).
  • FIGS. 15A to 15C are conceptual diagrams showing an example of calculating the cluster centroid position in step S1303, and FIG. 15D shows an example of selecting learning data in step S1304. It is a conceptual diagram.
  • the processor 126 maps the learning data in the learning data table to the coordinate space for each version as shown in FIGS. 15 (A) to 15 (C), and calculates the center of gravity of the mapped learning data. Calculation is performed (step S1400).
  • the learning data of the versions [2.03], [2.04], and [2.05] are mapped, and the center of gravity position is obtained by calculation.
  • FIG. 15D only the cluster centroid position of each version is mapped, and the distance from version 2.05 is compared (step S1401).
  • the threshold value in the figure is a threshold value of the cluster centroid position set by the operation manager 139.
  • the cluster centroid position of the version [2.05] shown in FIG. 15C is, for example, “0.61”. Therefore, the cluster centroid position “0.56” of the version [2.03] shown in FIG. 15A is within the threshold value, whereas the version [2.04] shown in FIG. The cluster centroid position 0.72 is not within the threshold. Based on the above, the version [2.03] and the currently operating version [2.05] are selected as the learning data table.
  • FIG. 16 is a flowchart showing details of the prediction model generation process (step S1103).
  • the processor 126 refers to the prediction model table 506 and selects a past prediction model corresponding to the selected learning data table. An example of selecting a prediction model is shown below.
  • the processor 126 determines from the prediction model table 506.
  • the prediction model generated from the learning data table of the versions [2.03] and [2.05] is searched. If this prediction model does not exist, the processor 126 searches for a prediction model generated only from one of the selected learning data tables.
  • the prediction model does not exist, if the versions [2.03] and [2.05] are selected as described above, the prediction model generated by the version [2.03], and , One of the prediction models generated in version [2.05] corresponds.
  • step S1102 the processor 126 selects the learning data table 701 of the version [2.03] from the version-specific learning data table 504, and the version [2 .05] learning data table 703 is selected.
  • step S1501 the processor 126 selects the prediction model created by version 2.03 from the prediction model table 506.
  • step S1502 the processor 126 determines whether or not the corresponding prediction model has been selected in step S1501.
  • the processor 126 learns difference learning data for the past prediction model selected in step S1501 described above, and generates a new prediction model. (Step S1503), and this is registered in the prediction model table 506 (see FIG. 9).
  • the difference indicates learning data after this date and time based on the item 900 (date and time when the prediction model was created) in the prediction model table 506.
  • a new prediction can be obtained by additionally learning difference learning data for this past prediction model.
  • a model is generated, and the new prediction model is added to the prediction model table 506.
  • the processor 126 when there is no corresponding prediction model and the past prediction model cannot be used, the processor 126 generates a prediction model using all the learning data included in the table selected by the learning data selection program 1102 ( In step S1504), the prediction model is added to the prediction model table 506.
  • FIG. 17 is a diagram illustrating a state in which the number of sales indicated by the inventory management program 503 is predicted.
  • the vertical axis represents the number of sales
  • the horizontal axis represents time. Below the horizontal axis, which version is running in the application program 300 is shown.
  • the change in the number of sales indicated by the solid line is an actual measurement value
  • the change in the number of sales indicated by the dotted line is a prediction value based on the prediction model
  • the change in the sales number indicated by the dashed line is a prediction value based on the old prediction model It is.
  • the prediction model newly generated in step S1104 described above is updated to the predicted value by the prediction model newly generated in step S1104 described above (corresponding to the dotted line in the figure).
  • the version of the application program 300 is updated from [2.04] to [2.05], and the predicted value based on the old model has a large deviation from the actually measured value indicated by the solid line. By updating this to a new model, it is possible to make a prediction closer to the actual measurement value.
  • the processor 126 acquires monitoring data from the monitoring target system 100, and the acquired monitoring data Are divided according to the behavior of the monitoring target system 100.
  • the processor 126 compares the feature extracted from the divided monitoring data with the feature of the monitoring data of the monitoring target system that is operating at the time of processing execution, selects a feature that is close to both features as learning data to be used for learning, A prediction model is generated using the selected learning data.
  • such learning data is managed for each behavior of the monitoring target system, and only learning data close to the behavior of the currently operating monitoring target system 100 is selected and learned, thereby generating by learning.
  • the prediction accuracy of the prediction model to be performed can be improved. Thereby, it is possible to generate a prediction model with high prediction accuracy for the future behavior of the monitored system, and it is possible to increase the prediction accuracy for the future behavior.
  • the processor 126 performs the first step in the process S1204 (see FIG. 13) of the learning data storage process S1101 by the learning data storage program 501.
  • learning data is learned for each date and time by dividing the case where the behavior differs depending on the time zone such as weekdays and holidays. It is stored in the data table 1700.
  • the second embodiment differs from the first embodiment in that the processor 126 uses the learning data in the date-specific learning data table 1700 for generating a prediction model, as will be described later. More specific description will be given below.
  • FIG. 18 is a block diagram illustrating a configuration example of the management server 103A according to the second embodiment.
  • the management server 103A has substantially the same configuration as the management server 103 according to the first embodiment, but instead of the version-specific learning data table 504, the next date-specific learning data table 1700 that can store learning data by date and time. Is different.
  • FIGS. 19A to 19C show table configuration examples of the learning data table 1700 classified by date and time shown in FIG.
  • the date-specific learning data table 1700 is stored in the memory 128 of the management server 103.
  • Each learning data table is given a table name consisting of the date and time, and represents the date and time at which the learning data is stored.
  • FIG. 19A illustrates a learning data table 1701 at 9:00 on October 8, 2016, and FIG. 19B illustrates the learning data table 1701 at 9:00 on October 9, 2016.
  • FIG. 19C illustrates a learning data table 1703 as of October 10, 2016 at 9:00.
  • Each learning data table manages, for example, date 704, number of accesses 705, transition rate 706, and purchase rate 707.
  • FIG. 20 is a flowchart of the learning data storage process S1101A according to the second embodiment. 20 in the second embodiment corresponds to FIG. 13 in the first embodiment, and steps S1201, S1202, and S1203 in the second embodiment are the same as those in the first embodiment. This corresponds to steps S1201, S1202, and S1203.
  • This learning data storage process S1101A is executed by a learning data storage program 500 instead of the learning data storage process S1100 shown in FIGS. 12 and 13 according to the first embodiment.
  • the learning data storage program 500 is expanded in the memory 128 and executed by the processor 126.
  • steps S1201 to S1203 according to the second embodiment are the same as those of the first embodiment, and thus description thereof is omitted.
  • the processor 126 separates the learning data by the date and time instead of the version. At this time, the processor 126 reads the table division setting 1805 set in advance by the operation manager 139 and separates the learning data based on the table division setting 1805.
  • the table division setting 1805 is stored in the program setting table 507 of the management server 103, and the operation manager 139 performs setting via the network 106 using the input device 137 of the management terminal 105.
  • the table division setting 1805 describes at which date and time the learning table is divided. For this reason, the learning table may be separated in the same time zone, or may be separated in different time zones.
  • the table 1701, the table 1702, and the table 1703 are all divided at 9:00, but only the table 1702 is divided at 12:00 on October 9, 2016. May be.
  • the date normalized learning data table 1800 stores the data normalized in step S1203 (step S1204A).
  • step S1101A the processor 126 executes the learning data selection process shown in FIG. 12 as in the first embodiment. (Step S1102).
  • the processor 126 executes substantially the same operation as in the first embodiment, but the learning data table to be processed is not the version-specific learning data table 504 but the date-specific learning data.
  • the table 1700 is different from the first embodiment.
  • the processor 126 performs substantially the same processing using the learning data table by date 1700 instead of the learning data table by version 504 (see FIG. 14) in step S1306 described above.
  • the table is selected in substantially the same manner as in the first embodiment (steps S1304 and S1305).
  • the processor 126 selects a learning data table from the date-specific learning data table 1700, and generates a prediction model using the learning data table as an input (step S1103). ).
  • the present invention relates to a learning data management method when machine learning is used for a service developed by “DevOps”, which is a development method in which a developer and an operations manager cooperate with each other. It can be widely applied to learning data management devices using
  • SYMBOLS 103 Management server, 500 ... Data storage program, 501 ... Learning data selection program, 502 ... Prediction model generation program, 504 ... Version-specific learning data table, 103 ... Cluster centroid position table, 506 ... Prediction model table, 1100 ... learning process, S1101 ... learning data storage process, S1102 ... learning data selection process, S1103 ... prediction model generation process, S1201 ... monitoring metrics value acquisition process, S1202 ... learning metrics Selection processing, S1203 ... Metric value normalization processing, S1204 ... Version-specific learning data storage processing, S1303 ... Cluster centroid position calculation processing, S1305 ... Learning data table selection processing, S1503 ... Prediction model generation processing.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Quality & Reliability (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • General Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Marketing (AREA)
  • Computing Systems (AREA)
  • Development Economics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Debugging And Monitoring (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】アップデートにより対象システムの挙動が変化した際に、アップデート前のメトリクス値を用いて作成された学習結果と実際の動作に差異が生じても、ベースライン情報等の予測精度が低下しないようにすること。 【解決手段】学習データ管理装置が、抽出した特徴と、処理実行時に稼働中の監視対象システムの監視データの特徴と比較し、両特徴が近いものを学習に用いる学習データとして選択し、当該選択された学習データを用いて予測モデルを生成する。

Description

学習データ管理装置及び学習データ管理方法
　本発明は、学習データ管理装置及び学習データ管理方法に関し、特に、開発者（Ｄｅｖｅｌｏｐｍｅｎｔ）と運用管理者（Ｏｐｅｒａｔｉｏｎｓ）とが連携して協力する開発手法である「ＤｅｖＯｐｓ」において開発されるサービスに対して機械学習が用いられる際における学習データの管理に適用して好適な機能を有する。
　近年、サービスやアプリケーションの開発手法が変化しつつある。従来、サービスやアプリケーションを提供する場合には、要件定義、設計及び開発という長いプロセスを経てからユーザにこれらを提供していた。しかしながら、このような長いプロセスを要すると、ユーザのニーズの変化に迅速に対応できないため、従来から開発サイクルを短くしたいというニーズが存在している。近年では、例えばアジャイル開発、ＤｅｖＯｐｓなどの開発手法が普及している。これにより、アップデートの頻度を高め、１日に複数回に亘ってサービスやアプリケーションをアップデートすることができるようになっている。
　これらのサービスやアプリケーションを監視対象システムとした場合、従来は、監視対象システムの動作状況を表すメトリクス値のうち、監視対象システムの故障発生期間以外のメトリクス値から正常範囲を示すベースライン情報を生成するという技術が知られている（特許文献１参照）。
特開２０１３－０６６１１３号公報
　上述した従来技術においては、監視対象システムの故障発生期間とそれ以外の期間とを区別し、ベースライン情報を生成しているが、監視対象システムの挙動、すなわち、メトリクス値の分布が頻繁に変化することは想定されていない。その一方、最近のサービスやアプリケーションにおいては、上述したＤｅｖＯｐｓのような開発手法により頻繁に更新が行われ、監視対象システムの挙動が変化することが考えられる。
　ベースライン情報等を機械学習で生成していた場合、監視対象システムのアップデートにより内部ロジックが変更されることが考えられる。アップデートにより対象システムの挙動が変化すると、アップデート前のメトリクス値を用いて作成された学習結果と実際の動作との間に差異が生じ、ベースライン情報等の予測精度が低下してしまうおそれがあった。
　本発明は以上の点を考慮してなされたもので、監視対象システムの今後の挙動について予測精度の高い予測モデルを生成可能な学習データ管理装置及び学習データ管理方法を提案しようとする機能を有する。
　かかる課題を解決するため、本発明においては、監視対象としての監視対象システムから監視データを取得する監視データ取得部と、前記取得した監視データを前記監視対象システムの挙動に応じて分割する監視データ分割部と、前記分割した監視データから特徴を抽出する特徴抽出部と、前記抽出した特徴と、処理実行時に稼働中の監視対象システムの監視データの特徴と比較し、両特徴が近いものを学習に用いる学習データとして選択する学習データ選択部と、前記選択された学習データを用いて予測モデルを生成する予測モデル生成部と、を備えることを特徴とする。
　また、本発明においては、学習データを用いて予測モデルを生成する学習データ管理装置における学習データ管理方法であって、前記学習データ管理装置が、監視対象としての監視対象システムから監視データを取得する監視データ取得ステップと、前記学習データ管理装置が、前記取得した監視データを前記監視対象システムの挙動に応じて分割する監視データ分割ステップと、前記学習データ管理装置が、前記分割した監視データから特徴を抽出する特徴抽出ステップと、前記学習データ管理装置が、前記抽出した特徴と、処理実行時に稼働中の監視対象システムの監視データの特徴と比較し、両特徴が近いものを学習に用いる学習データとして選択する学習データ選択ステップと、前記学習データ管理装置が、前記選択された学習データを用いて予測モデルを生成する予測モデル生成ステップと、を有することを特徴とする。
　本発明によれば、監視対象システムの今後の挙動について予測精度の高い予測モデルを生成することができる。
第１の実施の形態による学習データ管理装置の構成例を示すシステム構成図である。 図１に示すデプロイサーバの構成例を示すブロック図である。 図１に示す仮想マシンの構成例をより詳細に示したブロック図である。 図１に示すサービス監視サーバの構成例をより詳細に示したブロック図である。 図１に示す管理サーバの構成例をより詳細に示したブロック図である。 図４に示す監視メトリクス値テーブルの構成例を示すテーブル構成図である。 図５に示すバージョン別学習データテーブルの構成例を示すテーブル構成図である。 図５に示すクラスタ重心位置テーブルの構成例を示すテーブル構成図である。 図５に示す予測モデルテーブルの構成例を示すテーブル構成図である。 一般的な予測モデル情報の一例を示す図である。 図５に示すプログラム設定テーブルの構成例を示すテーブル校正図である。 第１の実施の形態による学習処理の一例を示すフローチャートである。 図１２に示す学習用データ保存処理をより詳しく表したフローチャートである。 図１２に示す学習データ選択処理をより詳しく表したフローチャートである。 クラスタ重心位置計算及びクラスタ重心位置比較の一れを示す図である。 図１２に示す予測モデル生成処理の一例を示すフローチャートである。 第１の実施の形態による効果の一例を示す図である。 第２の実施形態による管理サーバの構成例を示すブロック図である。 第２の実施の形態による日時別学習データテーブルの稿整理を示すテーブル構成図である。 第２の実施の形態による日時別学習データ保存処理をより詳しく表したフローチャートである。
　以下、図面について、本発明の一実施の形態について詳述する。
　（１）第１の実施の形態
　（１－１）概要構成
　図１は、第１の実施の形態による学習データ管理装置の構成例を示す。本実施の形態では、監視対象システムとしてＷｅｂアプリケーションの１種であるＥＣサービスを例として挙げているが、これに限るものではない。また、監視対象システムはＷｅｂアプリケーションに限るものではなく、サーバの挙動、例えばストレージ応答性能予測などにも用いることができる。
　また、本実施の形態では、監視対象システムの挙動を分割するための要素として、例えば監視対象システムのバージョンを用いるものとする。
　図１は、第１の実施の形態による学習データ管理装置としての計算機システムの構成例を示す。本実施の形態に関わる計算機システムは、監視対象システム１００、デプロイサーバ１０１、サービス監視サーバ１０２、管理サーバ１０３、管理端末１０５及び開発端末１０４を備える。これらはそれぞれが持つ通信インターフェースによってネットワーク１０６に接続され、ネットワーク１０６を介して互いに接続される。
　本実施の形態では、監視対象システム１００として、例えばＷｅｂアプリケーション、具体的にはＥＣ（Ｅｌｅｃｔｒｏｎｉｃ　Ｃｏｍｍｅｒｃｅ）サービスを例示する。
　管理端末１０５は、通信インターフェース１３４、プロセッサ１３３、記憶装置１３５、メモリ１３６を備えて、これらが内部バス１４５によって接続されている。内部バス１４５には、入力装置１３７及び出力装置１３８が接続されている。運用管理者１３９は、この入力装置１３７及び出力装置１３８を介して、ＥＣサービス１００、デプロイサーバ１０１、サービス監視サーバ１０２及び管理サーバ１０３に対する操作を実施する。
　開発端末１０４は、通信インターフェース１２９、プロセッサ１３０、記憶装置１３１及びメモリ１３２を備えており、これらが内部バス１４４によって接続されている。内部バス１４４には、入力装置１４７及び出力装置１４８が接続されている。開発者１４０は、開発端末を１０４用いてアプリケーションを開発する。開発されたアプリケーションのソースコードは、ネットワーク１０６を介しデプロイサーバ１０１の記憶装置１１９に保存される。
　ＥＣサービス１００は、物理サーバ１１０上で動作する仮想化ソフトウェア１１１によって提供される仮想マシン１１２を備える。物理サーバ１１０は、通信インターフェース１１３、プロセッサ１１４、記憶装置１１５及びメモリ１１６を備える。仮想マシン１１２には、物理マシン１１０のプロセッサ１１４、記憶装置１１５及びメモリ１１６の一部が割り当てられている。仮想マシン１１２に対する操作は、物理サーバ１１０の通信インターフェース１１３を介して実施される。これら通信インターフェース１１３、プロセッサ１１４、記憶装置１１５及びメモリ１１６は、内部バス１４６によって接続されている。
　デプロイサーバ１０１は、通信インターフェース１１７、プロセッサ１１８、記憶装置１１９及びメモリ１２０を備える。これら通信インターフェース１１７、プロセッサ１１８、記憶装置１１９及びメモリ１２０は、内部バス１４１によって接続されている。
　サービス監視サーバ１０２は、通信インターフェース１２１、プロセッサ１２２、記憶装置１２３及びメモリ１２４を備える。これら通信インターフェース１２１、プロセッサ１２２、記憶装置１２３及びメモリ１２４は、内部バス１４２によって接続されている。
　管理サーバ１０３は、通信インターフェース１２５、プロセッサ１２６、記憶装置１２７及びメモリ１２８を備える。これら通信インターフェース１２５、プロセッサ１２６、記憶装置１２７及びメモリ１２８は、内部バス１４３によって接続されている。
　図２は、デプロイサーバ１０１の構成例を示すブロック図を示す。デプロイサーバ１０１は、ソースコードレポジトリ２０１に格納されているソースコードをビルドし、仮想マシン１１２で稼働しているアプリケーションプログラム３００を更新する機能を有する。
　メモリ１２０には、デプロイプログラム２００が格納されている。記憶装置１１９には、ソースコードリポジトリ２０１が格納されている。ソースコードリポジトリ２０１には、仮想マシン１１２上で提供されるアプリケーションプログラム３００のソースコードが格納されている。このソースコードは、開発者１４０が開発端末１０４を用いて開発されており、ネットワーク１０６を介してソースコードレポジトリ２０１に保存される。
　デプロイプログラム２００は、管理端末１０５の入力装置１３７を介してデプロイの指示を受領すると、ソースコードリポジトリ２０１に格納されているソースコードをビルドし、このようなビルドにより生成されたアプリケーションプログラムの実行ファイルを、仮想マシン１１２で稼働しているアプリケーションプログラム３００と入れ替えることによりアプリケーションを更新する。
　図３は、ＥＣサービス１００において稼働している仮想マシン１１２の構成図を示す。仮想マシン１１２に割り当てられたメモリ１１６上では、ＥＣサービス１００を提供するアプリケーションプログラム３００が稼働している。
　メモリ１１６には、アプリケーションプログラム３００及び監視エージェントプログラム３０１が格納されている。記憶装置１１５には、商品データＤＢ３０３が格納されている。商品データＤＢ（データベース）３０３には、商品の名前、商品の値段、及び商品の在庫数を含む商品情報が格納されている。アプリケーションプログラム３００は、商品データＤＢ３０３に格納されている商品情報を取得し、この商品情報を基にサービスを提供する。
　このアプリケーションプログラム３００は、ネットワーク１０６に公開されている。監視エージェントプログラム３０１は、アプリケーションプログラム３００の稼働情報を取得しており、監視により得られた監視メトリクス値を、ネットワーク１０６を介してサービス監視サーバ１０２のサービス管理マネージャプログラム４００（図４）に送信する。
　図４は、サービス監視サーバ１０２の構成図を示す。サービス監視サーバ１０２は、仮想マシン１１２で稼働している監視マネージャプログラム３０１から監視結果を受信し保存する。
　メモリ１２４にはサービス管理マネージャプログラム４００が格納されている。記憶装置１２３には、監視メトリクス値テーブル４０１が格納されている。サービス監視マネージャプログラム４００は、仮想マシン１１２で稼働している監視エージェントプログラム３００によって取得された監視メトリクス値を受信し、記憶装置１２３内の監視メトリクス値テーブル４０１に格納する。監視メトリクス値テーブル４０１の詳細については後述する。
　図５は、管理サーバ１０３の構成図を示す。管理サーバ１０３は、サービス監視サーバ１０２によって取得された監視メトリクス値を学習し、アプリケーションプログラム３００における販売数予測モデルを作成する機能を有する。プロセッサ１２６は、この販売数予測モデルを用いてＥＣサービス１００における販売数の予測を行う。
　メモリ１２８には、学習用データ保存プログラム５００、学習用データ選択プログラム５０１、予測モデル生成プログラム５０２及び在庫管理プログラム５０３が格納されている。記憶装置１２７には、バージョン別学習データテーブル５０４、クラスタ重心位置テーブル５０５、予測モデルテーブル５０６及びプログラム設定テーブル５０７が格納されている。
　学習用データ保存プログラム５００は、サービス監視サーバ１０２の監視メトリクス値テーブル４０１から値を読み出して処理を実行した後、バージョン別学習データテーブル５０４に格納する。学習用データ選択プログラム５０１は、バージョン別学習データテーブル５０４の学習データを基に、クラスタ重心位置を計算し、クラスタ重心位置テーブル５０５に保存する。学習用データ選択プログラム５０１は、このように保存されたクラスタ重心位置を基に、学習に用いるテーブルを選択する。なお、通常テーブルにはレコードが格納されているが、本実施の形態では、分かり易く説明する都合上、バージョン別学習データテーブル５０４にはレコードに相当するテーブルが存在しているものとして説明する。
　予測モデル生成プログラム５０２は、学習用データ選択プログラムで選択されたテーブルの学習データを基に予測モデルを生成し、予測モデルテーブル５０６に予測モデルを保存する。これらの処理の詳細については後述する。
　在庫管理プログラム５０３は、予測モデルテーブル５０６から最新の予測モデルを取得し、この取得した予測モデルを販売数予測モデル５０８として保持する。在庫管理プログラム５０３は、販売数予測モデル５０８を基にＥＣサービス１００における販売数を予測する。運用管理者１３９は、この予測情報から発注量を調整する。設定ファイルは、学習用データ保存プログラム５００及び学習用データ選択プログラム５０１で利用される。
　図６は、サービス監視サーバ１０２の記憶装置１２３に格納される監視メトリクス値テーブル４０１の一例を示す図である。管理メトリクス値テーブル４０１は、バージョン６０１、日時６０２、アクセス数６０３、ユーザ数６０４、遷移率６０５及び購入率６０６を管理する。なお、このうちアクセス数６０３におけるメトリクス値とは５０００回などの数値を示し、メトリクスとはアクセス数の項目自体を示している。
　監視データとは、ある日時における各メトリクスのメトリクス値をまとめたものを指す。仮想マシン１１２で稼働している監視エージェントプログラム３０１によってアプリケーションプログラム３００のメトリクス値は、サービス監視サーバ１０２に送られ、監視マネージャプログラム４００によって保存される。監視メトリクス値テーブル４０１には、バージョン６０１、日時６０２、アクセス数６０３、ユーザ数６０４、遷移率６０５及び購入率６０６が格納される。
　バージョン６０１は、仮想マシン１１２で稼働しているアプリケーションプログラム３００のバージョン情報を示す。日時６０２は、監視メトリクス値を取得した日時、アクセス数６０３は単位時間内にＥＣサービス１００にて販売される商品の紹介ページがアクセスされた回数を示す。ユーザ数６０４は、メトリクス値取得時のアプリケーションプログラム３００に登録されているユーザの人数を示す。遷移率６０５は、アクセス数６０３のうち商品の紹介ページから購入ページに遷移した割合を示す。購入率６０６は、アクセス数のうち商品を購入した割合を示す。販売数は、商品が購入された数を示す。
　図７は、管理サーバ１０３の記憶装置１２７に格納されるバージョン別学習データテーブル５０４の一例を示す図である。ここでは、バージョン２.０３の学習データ、バージョン２.０４の学習データ、及びバージョン２.０５の学習データが、それぞれ別の学習データテーブル７０１，７０２，７０３に格納されている様子を示している。
　学習データとは、学習用データ保存プログラム５００によってバージョン別学習データテーブル５０４に保存されたデータを指す。バージョン別学習データテーブル５０４の中身の値は、学習用データ保存プログラム５００によって正規化されている。このバージョン別学習データテーブル５０４には、監視メトリクス値テーブル４０１のメトリクスの中から学習に使うメトリクスだけ選択し正規化された値が格納される。項目７０５，７０６，７０７には、アクセス数、遷移率、購入率が正規化された値が保存されている。項目７０４は、学習データのＩＤの役割を持つため、正規化されずそのまま保存される。本実施の形態では、ユーザ数６０４は、学習に用いないため、バージョン別学習データテーブル５０４には格納されない。
　図８は、管理サーバ１０３の記憶装置１２７に格納されるクラスタ重心位置テーブル５０５の一例を示す図である。クラスタ重心位置テーブル５０５には、バージョン８０１と関係するテーブルにおけるクラスタ重心位置の計算結果８０２が格納されている。クラスタ重心位置とは、学習データテーブル５０４の各バージョンのテーブルの学習データを座標空間にマッピングした座標の平均のことを指す。クラスタ重心位置テーブル５０５は、学習データ選択プログラム５０１の実行時に使用され、更新される。
　図９は、管理サーバ１０３の記憶装置１２７に格納される予測モデルテーブル５０６の一例を示す図である。この予測モデルテーブル５０６は、予測モデルを生成した日時９００と、予測モデルを生成する際に使用したバージョン９０１と、それによって生成された予測モデル情報９０２と、が格納されている。
　学習に複数のバージョンが使用された場合は、バージョン９０１の［２．０１］、［２．０２］のように各バージョンが羅列される。予測モデル情報には予測モデルそのものの情報が格納されている。例えば、予測モデルが、図１０のようなニューラルネットワークを用いて作成されていた場合、各ノードの重みが予測モデル情報に格納される。予測モデルテーブルは、予測モデル生成プログラム５０２の実行時に更新される。
　図１０は、予測モデル生成プログラムによって作成される販売数予測モデル５０８のニューラルネットワークの構成例を示しており、例えば入力層、隠れ層及び出力層に分かれている。本実施の形態では、一例として、入力は、アクセス数、遷移率及び購入率であり、出力は販売数となる。ノード１には１つの入力があり、これに対し「w１_０」という重みがかかっている。
　これに対し、ノードNに関しては５つの入力があり、それぞれの入力に対して「wN_０」、「wN_１」、「wN_２」、「wN_３」及び「wN_４」という重みがかかっている。この重みの値は、図９に示す予測モデル情報９０３，９０４に格納されている。
　図１１は、管理サーバ１０３の記憶装置１２７に格納されるプログラム設定テーブル１０００の一例を示す図である。このプログラム設定テーブル１０００には、学習データ保存プログラム５００及び学習データ選択プログラム５０１において使用される設定が保存されている。
　処理時間実行間隔設定１００１は、管理サーバ１０３にて実行される学習処理Ｓ１１００（図１２）の実行間隔が保存される。学習メトリクス選択設定１００２は、学習データ選択プログラム５０１で学習に用いるメトリクスを選択する際に用いられる。データ数閾値設定１００３は、学習データ選択プログラム５０１において処理を実行するか否かの判断の際に用られる。クラスタ重心位置閾値設定１００４は、学習データ選択プログラム５０１で学習に用いる学習データテーブルを選択する際に用いられる。
　プログラム設定テーブル１０００は、学習処理Ｓ１１００が実行される前に運用管理者１３９によって管理端末１０５の入力装置１３７が用いられることにより、ネットワーク１０６を介して設定が保存される。
　既述の監視メトリクス値テーブル４０１では、監視対象がＥＣサービス１００になっているため、格納されているメトリクスがアクセス数６０３、ユーザ数６０４、遷移率６０５及び購入率６０６となっている。
　なお、本実施の形態は、監視対象システム１００として、ＥＣサービスを例示しているが、これに限られず、例えば、ストレージの応答性能の予測等にも適用することができる。このようにストレージ応答性能の予測を行う場合は、監視メトリクス値テーブル４０１には、プロセッサ使用率、キャッシュ使用率、キャッシュサイズなどが格納されることになる。
　（１－２）予測モデルの生成を実施する学習処理
　図１２は、予測モデルを生成する学習処理Ｓ１１００の一例を示すフローチャートである。このフローチャートは、管理サーバ１０３によって実行される。
　学習用データ保存処理Ｓ１１０１は、学習用データ保存プログラム５００に対応しており、学習用データ選択処理Ｓ１１０２は、学習用データ選択プログラム５０１に対応しており、予測モデル生成処理Ｓ１１０３は、予測モデル生成プログラム５０２に対応している。管理サーバ１０３では、これらのプログラム５００，５０１，５０２が管理サーバ１０３のメモリ１２８に展開されており、各プログラム５００，５０１，５０２に含まれる処理がプロセッサ１２６によって実行される。
　学習処理Ｓ１１００は、予め運用管理者１３９が定めた処理実行時間間隔設定５０９を基に一定時間間隔ごとに実行される（ステップＳ１１０５）。図１１に示すプログラム設定テーブル１０００の処理実行時間間隔設定１００１には、処理の実行間隔のみが記述されている。この処理実行時間間隔設定１００１に１時間と記述されていれば、１時間ごとに処理が実行されることを表している。処理Ｓ１１０５では、前回処理を実行した日時が出力され、この前回実行した日時が次の学習用データ保存処理Ｓ１１０１において使用される。
　管理サーバ１０３では、プロセッサ１２６が、学習用データ保存処理を実行し（ステップＳ１１０１）、前回実行した日時を基に、前回の処理Ｓ１１００実行時から増加した分のデータを監視メトリクステーブル４０１から読み込み、バージョン別学習データテーブル５０４に保存する。
　次にプロセッサ１２６は、学習用データ選択処理を実行し（ステップＳ１１０２）、バージョン別学習データテーブル５０４の中で予測モデル生成に用いる学習データテーブルを選択する。
　学習用データ選択処理では、プロセッサ１２６が、学習に用いるバージョン別学習データテーブル５０４の学習データテーブルを出力する（ステップＳ１１０２）、次にプロセッサ１２６は、予測モデル生成処理を実行し（ステップＳ１１０３）、学習用データ選択処理Ｓ１１０２によって渡されたバージョン別学習データテーブル５０４の学習データテーブルを使って新しい予測モデルを生成し、予測モデルテーブル５０６に保存する。
　さらにプロセッサ１２６は、予測モデルテーブル５０６から予測モデル生成処理（ステップＳ１１０３）において生成された予測モデルを予測モデルテーブル５０６から取得し、在庫管理プログラム５０３の販売数予測モデル５０７を生成された新しい予測モデルへ更新する（ステップＳ１１０４）。
　図１３は、図１２に示す学習用データ保存処理の詳細を示したフローチャートである。管理サーバ１０３では、プロセッサ１２６が、サービス監視サーバ１０２の監視メトリクス値テーブル４０１からネットワーク１０６を介して、前回実行時から増加した分の監視データを取得する（ステップＳ１２０１）。この際、プロセッサ１２６は、増加した分の監視データであるか否かの判断のために、既に説明した前回処理を実行した日時を使用し、前回処理を実行した日時以降の日時を示す監視データを取得する。
　次にプロセッサ１２６は、予め運用管理者１３９によって設定された学習メトリクス選択設定１００２を参照し、監視メトリクス値テーブル４０１の監視データから、学習に用いるメトリクスを選択する（ステップＳ１２０２）。学習メトリクス選択設定１００２には学習に使うメトリクスが列挙されており、例えばアクセス数、遷移率及び購入率の３つのメトリクスが列挙されている。
　次にプロセッサ１２６は、上述のように選択されたメトリクスのメトリクス値を正規化する（ステップＳ１２０３）。ここでいう正規化とは、各メトリクスのメトリクス値が取り得る最大値と最小値との間においてメトリクス値がどこに位置するかを０から１の間の数値で示すように変換することである。最後に処理Ｓ１２０４は、正規化されたメトリクス値をバージョン別にバージョン別学習データテーブル５０４に保存する。
　例えば、監視メトリクス値テーブル５０４から増加した分の監視データとして日時２０１６/１０/１０　１３:００の監視データが上記ステップＳ１２０１において取得されると、プロセッサ１２６は、メトリクスのアクセス数、遷移率及び購入率を選択する（ステップＳ１２０２）。
　プロセッサ１２６は、上述のように選択されたメトリクスのメトリクス値を正規化し（ステップＳ１２０３）、この正規化されたメトリクス値をバージョン別学習データテーブル５０４のテーブル７０３に保存する（ステップＳ１２０４）。
　図１４は、図１２に示す学習用データ選択処理の詳細を示したフローチャートである。まず、管理サーバ１０３では、プロセッサ１２６が、仮想マシン１１２で稼働しているアプリケーションプログラム３００のバージョンのデータ数が十分存在するか否かについてバージョン別学習データテーブル５０４を参照して確認する（ステップＳ１３０１）。データ数が十分であるか否かの判断は、予め運用管理者１３９が決定しておいたデータ数閾値設定１００３に従うものとする。
　データ数閾値設定１００３には、データ数がいくつであれば十分であると判断するかという値のみが格納されている。例えば、予め運用管理者１３９により「３００」と設定されていた場合、バージョン別学習データテーブル５０４のテーブル７０３に３００個以上の学習データがあれば、データ数が十分であると判断される。データ数が十分であった場合、プロセッサ１２６は、各バージョンのバージョン別学習データテーブル５０４を用いてクラスタ重心位置を計算する（ステップＳ１３０３）。
　この際、既述のステップＳ１３０２では、プロセッサ１２６が、前回のクラスタ重心位置計算及びクラスタ重心位置計算に用いられたデータ数同士を比較し、データ数が増加している場合のみクラスタ重心位置の計算を行い、この結果をクラスタ重心位置テーブル５０５に保存する。クラスタ重心位置計算に用いられたデータ数は、学習用データ選択プログラム５０１が保持する。
　すべてのバージョンに対してクラスタ重心位置の計算終了後、プロセッサ１２６は、学習に用いる学習データテーブルを選択する（ステップＳ１３０４）。このステップＳ１３０４では、プロセッサ１２６が、運用管理者１３９によって予め設定されたクラスタ重心位置閾値設定１００４に従い、仮想マシン１１２で稼働しているアプリケーションプログラム３００のバージョンの「クラスタ重心位置からの距離」が閾値内に収まるバージョンのバージョン別学習データテーブル５０４の学習データテーブルを選択する。
　ここでいうクラスタ重心位置からの距離とは、複数のクラスタ重心位置の値同士の差を示す。クラスタ重心位置閾値設定１００４には、閾値の値のみが格納されている。各バージョンのクラスタ重心位置は、クラスタ重心位置テーブル５０５から取得される。ステップＳ１３０１において学習データ数が十分でなかった場合、プロセッサ１２６は、クラスタ重心位置計算の処理を実行しない。
　この場合、プロセッサ１２６は、前回の学習データ選択処理実行時に選択されたバージョンを選択するとともに、仮想マシン１１２で稼働しているバージョンの学習データテーブルを選択する（ステップＳ１３０５）。選択された学習データテーブルは、学習用データ選択プログラム５０１によって保持される。以上のようにステップＳ１３０４またはステップＳ１３０５において、プロセッサ１２６が学習データテーブルを選択し、次のような予測モデル生成処理を実行する（Ｓ１１０３）。
　図１５（Ａ）～図１５（Ｃ）は、ステップＳ１３０３においてクラスタ重心位置を計算する一例を表した概念図であり、図１５（Ｄ）は、ステップＳ１３０４において学習データを選択する一例を表した概念図である。
　管理サーバ１０３では、プロセッサ１２６が、図１５（Ａ）～図１５（Ｃ）に各々示すようにバージョンごとに学習データテーブルの学習データを座標空間にマッピングし、そのマッピングされた学習データの重心を計算する（ステップＳ１４００）。
　図１５（Ａ）～図１５（Ｃ）では、それぞれ、バージョン［２．０３］、［２．０４］、［２．０５］の各学習データがマッピングされ、重心位置が計算によって求められる。図１５（Ｄ）では、各バージョンのクラスタ重心位置のみをマッピングし、バージョン２.０５からの距離が比較されている（ステップＳ１４０１）。図中の閾値は、運用管理者１３９が設定したクラスタ重心位置の閾値である。
　本実施の形態では、クラスタ重心位置閾値として「０.１０」が設定されているものとすると、図１５（Ｃ）に示すバージョン［２．０５］のクラスタ重心位置が例えば「０.６１」となるため、図１５（Ａ）に示すバージョン［２．０３］のクラスタ重心位置「０.５６」は閾値内に入っているのに対し、図１５（Ｂ）に示すバージョン［２．０４］のクラスタ重心位置０.７２は閾値内に入っていない。以上のことに基づき、学習データテーブルとして、バージョン［２．０３］及び現在稼働中であるバージョン［２．０５］が選択される。
　図１６は、予測モデル生成処理（ステップＳ１１０３）の詳細を示したフローチャートである。まず、ステップＳ１５０１では、プロセッサ１２６が、予測モデルテーブル５０６を参照し、選択された学習データテーブルに対応する過去の予測モデルを選択する。以下に予測モデルを選択する一例を示す。
　既述の学習データ選択処理（ステップＳ１１０２）において、上述のようにバージョン［２．０３］及びバージョン［２．０５］の学習データテーブルが選択されているので、プロセッサ１２６は、予測モデルテーブル５０６からバージョン［２．０３］及び［２．０５］の学習データテーブルから生成されている予測モデルを検索する。仮にこの予測モデルが存在しない場合、プロセッサ１２６は、選択されている学習データテーブルのいずれかのみで生成されている予測モデルを検索する。
　そのように予測モデルが存在しない場合、上述のようにバージョン［２．０３］及び［２．０５］が選択されている場合であれば、バージョン［２．０３］で生成された予測モデル、及び、バージョン［２．０５］で生成された予測モデルのうちのどちらか一方の予測モデルが該当する。
　一方、そのように予測モデルが存在しない場合、バージョン［２．０１］、［２．０３］及び［２．０５］が選択されている場合であれば、バージョン［２．０１］、［２．０３］、［２．０５］、［２．０１、２．０３］、［２.０１，２.０５］、［２.０３、２.０５］で生成されている予測モデルが該当する。仮に該当する予測モデルが複数ある場合は総データ数が一番多くなる予測モデルが選択される。
　第１の実施の形態では、学習用データ選択処理（ステップＳ１１０２）においてプロセッサ１２６が、バージョン別学習データテーブル５０４の中からバージョン［２.０３］の学習データテーブル７０１を選択するとともに、バージョン［２.０５］の学習データテーブル７０３を選択している。ステップＳ１５０１では、プロセッサ１２６が、予測モデルテーブル５０６から、バージョン２.０３によって作成された予測モデルを選択する。
　次にステップＳ１５０２では、プロセッサ１２６が、ステップＳ１５０１によって対応する予測モデルを選択したか否かを判定する。対応する予測モデルが発見され、過去の予測モデルを利用可能な場合、プロセッサ１２６は、上述したステップＳ１５０１において選択された過去の予測モデルに対して差分の学習データを学習させ、新しい予測モデルを生成し（ステップＳ１５０３）、これを予測モデルテーブル５０６（図９参照）に登録する。ここでいう差分とは、予測モデルテーブル５０６の項目９００（予測モデルを作成した日時）を基に、この日時以降の学習データを示す。
　第１の実施の形態では、バージョン［２.０３］で作成された過去の予測モデルが選択されているので、この過去の予測モデルに対し、差分の学習データを追加で学習させることにより新しい予測モデルを生成し、予測モデルテーブル５０６に当該新しい予測モデルが追加される。
　一方、対応する予測モデルが存在せず、過去の予測モデルが利用できない場合、プロセッサ１２６は、学習データ選択プログラム１１０２によって選択されたテーブルに含まれる全ての学習データを用いて予測モデルを生成し（ステップＳ１５０４）、予測モデルテーブル５０６に、この予測モデルを追加する。
　図１７は、在庫管理プログラム５０３により示される販売数が予測される様子を示す図である。なお、縦軸が販売数を表し、横軸が時間を表している。横軸の下にはアプリケーションプログラム３００においてどのバージョンが稼働していたかというものを示している。実線で示されている販売数変化は実測値であり、点線で示されている販売数変化は予測モデルによる予測値であり、一点鎖線で示されている販売数変化は古い予測モデルによる予測値である。
　現在時刻において、上述したステップＳ１１０４において新しく生成された予測モデルによる予測値に更新されている（図示の点線に相当）。図示の例では、アプリケーションプログラム３００のバージョンが［２.０４］から［２.０５］に更新され、古いモデルによる予測値では、実線で示した実測値とのずれが大きくなっていた。これを新しいモデルに更新することで、より実測値に近い予測を行うことができるようになる。
　（１－３）第１の実施の形態の効果等
　以上説明したように、本実施の形態における管理サーバ１０３では、プロセッサ１２６が、監視対象システム１００から監視データを取得し、当該取得した監視データを監視対象システム１００の挙動に応じて分割する。プロセッサ１２６は、当該分割した監視データから抽出した特徴と、処理実行時に稼働している監視対象システムの監視データの特徴と比較し、両特徴が近いものを学習に用いる学習データとして選択し、当該選択された学習データを用いて予測モデルを生成している。
　本実施の形態によれば、そのような学習データを監視対象システムの挙動ごとに管理し、現在動いている監視対象システム１００の挙動と近い学習データのみを選んで学習させることで、学習によって生成される予測モデルの予測精度を向上させることができる。これにより、監視対象システムの今後の挙動について予測精度の高い予測モデルを生成可能とし、今後の挙動について予測精度を高めることができる。
　（２）第２の実施の形態
　第２の実施の形態は、第１の実施の形態とほぼ同様であるため、同様の構成及び動作については説明を省略し、異なる点を中心として説明する。
　（２－１）第２の実施の形態における特徴
　第２の実施の形態では、プロセッサ１２６が、学習用データ保存プログラム５０１による学習用データ保存処理Ｓ１１０１の処理Ｓ１２０４（図１３参照）において、第１の実施の形態のように学習データをバージョンごとにバージョン別学習データテーブル５０４に保存する代わりに、例えば、平日及び休日など時間帯によって挙動が異なる場合を分けて学習データを日時ごとに日時別学習データテーブル１７００に保存している。
　第２の実施の形態では、後述するようにプロセッサ１２６が、日時別学習データテーブル１７００の学習データを予測モデルの生成に用いる点が第１の実施の形態と異なっている。以下、より具体的に説明する。
　図１８は、第２の実施の形態による管理サーバ１０３Ａの構成例を示すブロック図である。管理サーバ１０３Ａは、第１の実施の形態による管理サーバ１０３とほぼ同様の構成であるが、バージョン別学習データテーブル５０４の代わりに、学習データを日時別に保存可能な次の日時別学習データテーブル１７００が設けられている点が相違する。
　図１９（Ａ）～図１９（Ｃ）は、それぞれ、図１８に示す日時別学習データテーブル１７００のテーブル構成例を示す。この日時別学習データテーブル１７００は、管理サーバ１０３のメモリ１２８に格納されている。各学習データテーブルには、年月日及び時刻からなるテーブル名前が付されており、どの日時に保存された学習データであるのかを表している。
　具体的には、例えば、図１９（Ａ）では、２０１６年１０月８日９：００時点の学習データテーブル１７０１を例示し、図１９（Ｂ）では、２０１６年１０月９日９：００時点の学習データテーブル１７０２を例示し、図１９（Ｃ）では、２０１６年１０月１０日９:００時点の学習データテーブル１７０３を例示している。各学習データテーブルは、例えば日時７０４、アクセス数７０５、遷移率７０６及び購入率７０７を管理している。
　図２０は、第２の実施の形態における学習用データ保存処理Ｓ１１０１Ａのフローチャートである。なお、第２の実施の形態における図２０は、第１の実施の形態における図１３に対応しており、第２の実施の形態におけるステップＳ１２０１，Ｓ１２０２，Ｓ１２０３は、第１の実施の形態におけるステップＳ１２０１，Ｓ１２０２，Ｓ１２０３に対応している。
　この学習用データ保存処理Ｓ１１０１Ａは、第１の実施の形態による図１２及び図１３に示す学習用データ保存処理Ｓ１１００の代わりに、学習用データ保存プログラム５００によって実行される。第１の実施形態と同様に学習用データ保存プログラム５００は、メモリ１２８に展開されており、プロセッサ１２６によって実行される。なお、第２の実施の形態によるステップＳ１２０１～１２０３は、第１の実施の形態と同様であるため、説明を省略する。
　プロセッサ１２６は、第１の実施の形態におけるステップＳ１２０４と異なり、バージョンの代わりに日時で学習用データを切り分ける。この際、プロセッサ１２６は、運用管理者１３９が予め設定しておいたテーブル分割設定１８０５を読み込み、このテーブル分割設定１８０５を基に学習用データを切り分ける。
　テーブル分割設定１８０５は、管理サーバ１０３のプログラム設定テーブル５０７に格納されており、運用管理者１３９は、管理端末１０５の入力装置１３７を用いてネットワーク１０６を介して設定を行う。
　テーブル分割設定１８０５には、どの日時で学習テーブルを切り分けるかが記述されている。このため、同一時間帯で学習テーブルを切り分けても良いし、異なる時間帯で切り分けても良い。
　なお、例えば、日時別学習データテーブル１７００では、テーブル１７０１、テーブル１７０２及びテーブル１７０３が全て９:００で分割されているが、テーブル１７０２のみ２０１６年１０月９日１２:００で分割されるようにしても良い。日時別学習データテーブル１８００には、ステップＳ１２０３において正規化されたデータが保存される（ステップＳ１２０４Ａ）。
　上述した学習用データ保存処理が（ステップＳ１１０１Ａ）が終了すると、第２の実施の形態でも、プロセッサ１２６が、第１の実施の形態と同様に、図１２に示す学習用データ選択処理を実行する（ステップＳ１１０２）。
　この学習用データ選択処理では、プロセッサ１２６が、第１の実施の形態の場合とほぼ同様の動作を実行するが、処理対象の学習データテーブルがバージョン別学習データテーブル５０４ではなく、日時別学習データテーブル１７００となっている点が第１の実施の形態とは異なっている。
　これにより、第２の実施の形態では、プロセッサ１２６が、既述のステップＳ１３０６においてバージョン別学習データテーブル５０４の代わりに（図１４参照）、日時別学習データテーブル１７００を用いてほぼ同様の処理を実行し、第１の実施の形態とほぼ同様にテーブルを選択する（ステップＳ１３０４，Ｓ１３０５）。
　上述した学習用データ選択処理（ステップＳ１１０２）を実行することにより、プロセッサ１２６は、日時別学習データテーブル１７００から学習データテーブルを選択し、この学習データテーブルを入力として予測モデルを生成する（ステップＳ１１０３）。
　（２－２）第２の実施の形態の効果等
　以上のような構成によれば、日時別で学習データを管理することにより、日時ごとに、例えば平日と休日、昼間と夜間、セール期間とその他の期間のように監視対象システム１００の挙動が異なる場合でも、既述のようにデータを切り分けて学習することができるので、それぞれの状況において予測精度の高い予測モデルを生成することができる。
　（３）その他の実施形態
　上記実施形態は、本発明を説明するための例示であり、本発明をこれらの実施形態にのみ限定する趣旨ではない。本発明は、その趣旨を逸脱しない限り、様々な形態で実施することができる。例えば、上記実施形態では、監視対象システム１００の一例として、ＥＣサービスを例示しているが、これに限られず、様々なＷｅｂアプリケーションを例示することもできる。
　本発明は、開発者（Development）と運用管理者（Operations）とが連携して協力する開発手法である「DevOps」で開発されるサービスに対して機械学習が用いられる際における学習データの管理方法を用いる学習データ管理装置に広く適用することができる。
　１０３……管理サーバ、５００……データ用保存プログラム、５０１……学習用データ選択プログラム、５０２……予測モデル生成プログラム、５０４……バージョン別学習データテーブル、１０３……クラスタ重心位置テーブル、５０６…予測モデルテーブル、１１００……学習処理、Ｓ１１０１……学習用データ保存処理、Ｓ１１０２……学習用データ選択処理、Ｓ１１０３……予測モデル生成処理、Ｓ１２０１……監視メトリクス値取得処理、Ｓ１２０２……学習メトリクス選択処理、Ｓ１２０３……メトリクス値正規化処理、Ｓ１２０４……バージョン別学習データ保存処理、Ｓ１３０３……クラスタ重心位置計算処理、Ｓ１３０５……学習データテーブル選択処理、Ｓ１５０３……予測モデル生成処理。

Claims (10)

  1. 　監視対象としての監視対象システムから監視データを取得する監視データ取得部と、
    　前記取得した監視データを前記監視対象システムの挙動に応じて分割する監視データ分割部と、
    　前記分割した監視データから特徴を抽出する特徴抽出部と、
    　前記抽出した特徴と、処理実行時に稼働中の監視対象システムの監視データの特徴と比較し、両特徴が近いものを学習に用いる学習データとして選択する学習データ選択部と、
    　前記選択された学習データを用いて予測モデルを生成する予測モデル生成部と、
    　を備えることを特徴とする学習データ管理装置。
  2. 　前記監視データ分割部は、
    　前記監視対象システムにおいて稼働しているアプリケーションプログラムのバージョンに応じて前記監視データを分割することを特徴とする請求項１に記載の学習データ管理装置。
  3. 　前記監視データ分割部は、
    　前記監視対象システムにおいて稼働しているアプリケーションプログラムの日時に応じて前記監視データを分割することを特徴とする請求項１に記載の学習データ管理装置。
  4. 　前記特徴抽出部は、
    　前記分割した監視データの特徴として監視データをマッピングしたクラスタの重心位置を用いることを特徴とする請求項１に記載の学習データ管理装置。
  5. 　前記監視対象システムはＷｅｂアプリケーションであり、
    　前記予測モデル生成部は、
    　前記Ｗｅｂアプリケーションの挙動を予測することを特徴とする請求項１に記載の学習データ管理装置。
  6. 　前記予測モデル生成部は、
    　前記学習データとしてアクセス数、遷移率及び購入率を用いることを特徴とする請求項５に記載の学習データ管理装置。
  7. 　前記予測モデル生成部は、
    　前記監視対象システムとして、前記Ｗｅｂアプリケーションが稼働するサーバについて挙動を予測することを特徴とする請求項５に記載の学習データ管理装置。
  8. 　前記予測モデル生成部は、
    　前記学習データとしてプロセッサ使用率、キャッシュ使用率及びキャッシュサイズを用いることを特徴とする請求項７に記載の学習データ管理装置。
  9. 　前記予測モデル生成部によって生成された予測モデルを用いて前記監視対象システムの挙動を予測する挙動予測部を備えることを特徴とする請求項１に記載の学習データ管理装置。
  10. 　学習データを用いて予測モデルを生成する学習データ管理装置における学習データ管理方法であって、
    　前記学習データ管理装置が、監視対象としての監視対象システムから監視データを取得する監視データ取得ステップと、
    　前記学習データ管理装置が、前記取得した監視データを前記監視対象システムの挙動に応じて分割する監視データ分割ステップと、
    　前記学習データ管理装置が、前記分割した監視データから特徴を抽出する特徴抽出ステップと、
    　前記学習データ管理装置が、前記抽出した特徴と、処理実行時に稼働中の監視対象システムの監視データの特徴と比較し、両特徴が近いものを学習に用いる学習データとして選択する学習データ選択ステップと、
    　前記学習データ管理装置が、前記選択された学習データを用いて予測モデルを生成する予測モデル生成ステップと、
    　を有することを特徴とする学習データ管理方法。
PCT/JP2017/005976 2017-02-17 2017-02-17 学習データ管理装置及び学習データ管理方法 WO2018150550A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2017/005976 WO2018150550A1 (ja) 2017-02-17 2017-02-17 学習データ管理装置及び学習データ管理方法
JP2019500139A JP6695490B2 (ja) 2017-02-17 2017-02-17 学習データ管理装置及び学習データ管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/005976 WO2018150550A1 (ja) 2017-02-17 2017-02-17 学習データ管理装置及び学習データ管理方法

Publications (1)

Publication Number Publication Date
WO2018150550A1 true WO2018150550A1 (ja) 2018-08-23

Family

ID=63169197

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/005976 WO2018150550A1 (ja) 2017-02-17 2017-02-17 学習データ管理装置及び学習データ管理方法

Country Status (2)

Country Link
JP (1) JP6695490B2 (ja)
WO (1) WO2018150550A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020066697A1 (ja) * 2018-09-27 2020-04-02 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
KR20200084441A (ko) * 2018-12-26 2020-07-13 단국대학교 산학협력단 머신러닝의 학습 데이터셋 생성을 위한 애플리케이션 자동화 빌드 장치 및 방법
KR20210132500A (ko) * 2020-04-27 2021-11-04 한국전자기술연구원 연합 학습 시스템 및 방법
JP2022512233A (ja) * 2018-12-10 2022-02-02 インタラクティブ－エーアイ，エルエルシー 多言語スタイル依存音声言語処理のためのニューラル調整コード
WO2024023917A1 (ja) * 2022-07-26 2024-02-01 日本電信電話株式会社 学習装置、学習方法及びプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102247182B1 (ko) * 2020-12-18 2021-05-03 주식회사 이글루시큐리티 클러스터링 기법을 이용한 신규 데이터 생성 방법, 장치 및 프로그램

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011192097A (ja) * 2010-03-16 2011-09-29 Hitachi Ltd 異常検知方法およびそれを用いた情報処理システム
US20120284213A1 (en) * 2011-05-04 2012-11-08 Google Inc. Predictive Analytical Modeling Data Selection
WO2013030984A1 (ja) * 2011-08-31 2013-03-07 株式会社日立エンジニアリング・アンド・サービス 設備状態監視方法およびその装置
JP2015082259A (ja) * 2013-10-23 2015-04-27 本田技研工業株式会社 時系列データ予測装置、時系列データ予測方法、及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011192097A (ja) * 2010-03-16 2011-09-29 Hitachi Ltd 異常検知方法およびそれを用いた情報処理システム
US20120284213A1 (en) * 2011-05-04 2012-11-08 Google Inc. Predictive Analytical Modeling Data Selection
WO2013030984A1 (ja) * 2011-08-31 2013-03-07 株式会社日立エンジニアリング・アンド・サービス 設備状態監視方法およびその装置
JP2015082259A (ja) * 2013-10-23 2015-04-27 本田技研工業株式会社 時系列データ予測装置、時系列データ予測方法、及びプログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020066697A1 (ja) * 2018-09-27 2020-04-02 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP2022512233A (ja) * 2018-12-10 2022-02-02 インタラクティブ－エーアイ，エルエルシー 多言語スタイル依存音声言語処理のためのニューラル調整コード
KR20200084441A (ko) * 2018-12-26 2020-07-13 단국대학교 산학협력단 머신러닝의 학습 데이터셋 생성을 위한 애플리케이션 자동화 빌드 장치 및 방법
KR102167767B1 (ko) * 2018-12-26 2020-10-19 단국대학교 산학협력단 머신러닝의 학습 데이터셋 생성을 위한 애플리케이션 자동화 빌드 장치 및 방법
KR20210132500A (ko) * 2020-04-27 2021-11-04 한국전자기술연구원 연합 학습 시스템 및 방법
KR102544531B1 (ko) * 2020-04-27 2023-06-16 한국전자기술연구원 연합 학습 시스템 및 방법
WO2024023917A1 (ja) * 2022-07-26 2024-02-01 日本電信電話株式会社 学習装置、学習方法及びプログラム

Also Published As

Publication number Publication date
JP6695490B2 (ja) 2020-05-20
JPWO2018150550A1 (ja) 2019-07-25

Similar Documents

Publication Publication Date Title
WO2018150550A1 (ja) 学習データ管理装置及び学習データ管理方法
US10048830B2 (en) System and method for integrating microservices
US11288002B2 (en) System and method for providing high availability data
US20200090085A1 (en) Digital twin graph
JP6460095B2 (ja) 学習モデル選択システム、学習モデル選択方法及びプログラム
US12032533B2 (en) Code generator platform for data transformation
US20180114136A1 (en) Trend identification using multiple data sources and machine learning techniques
US10685319B2 (en) Big data sourcing simulator
CN105074724A (zh) 使用列式数据库中的直方图进行有效查询处理
US20190163805A1 (en) Virtual agent for improving item identification using natural language processing and machine learning techniques
US20220045847A1 (en) Determining a change to product information or user information via hashing
US11366821B2 (en) Epsilon-closure for frequent pattern analysis
US9268814B2 (en) Enablement of quasi time dependency in organizational hierarchies
CN112202617A (zh) 资源管理***监控方法、装置、计算机设备和存储介质
CA3044689A1 (en) Attribute sharing platform for data processing systems
US10885468B2 (en) Dynamic search system for real-time dynamic search and reporting
US20180039901A1 (en) Predictor management system, predictor management method, and predictor management program
CN111932338A (zh) 一种商品推荐方法、装置、设备及存储介质
CN111309712A (zh) 基于数据仓库的优化任务调度方法、装置、设备及介质
CN107562533B (zh) 一种数据加载处理方法及装置
WO2010082885A1 (en) A method to prevent churn of customers
US20180173757A1 (en) Apparatus and Method for Analytical Optimization Through Computational Pushdown
CN110659155B (zh) 用于备份拓扑图的***和方法
US20200349629A1 (en) Data-driven hardware configuration recommendation system based on user satisfaction rating
US11609935B2 (en) Managing configuration datasets from multiple, distinct computing systems

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17896476

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019500139

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17896476

Country of ref document: EP

Kind code of ref document: A1