WO2013118225A1 - 最適クエリ生成装置、最適クエリ抽出方法および判別モデル学習方法 - Google Patents
最適クエリ生成装置、最適クエリ抽出方法および判別モデル学習方法 Download PDFInfo
- Publication number
- WO2013118225A1 WO2013118225A1 PCT/JP2012/007900 JP2012007900W WO2013118225A1 WO 2013118225 A1 WO2013118225 A1 WO 2013118225A1 JP 2012007900 W JP2012007900 W JP 2012007900W WO 2013118225 A1 WO2013118225 A1 WO 2013118225A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- query
- model
- domain knowledge
- function
- optimal
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
Definitions
- the present invention relates to an optimal query generation device, an optimal query extraction method, an optimal query extraction program, and a discriminant model learning method using these, which optimally generate a query that is a target model to which domain knowledge indicating the user's intention is to be given, and
- the present invention relates to a discriminant model learning program.
- a technique for determining which category a data belongs to is one of the core techniques in many application fields such as data mining and pattern recognition.
- An example of using a technique for discriminating data is to perform prediction on unclassified data. For example, when performing a failure diagnosis of a vehicle, a rule for determining a failure is generated by learning sensor data acquired from the vehicle and past failure cases. Then, by applying the rules generated to the sensor data (that is, unclassified data) of the car that has newly failed, the fault occurring in the car is specified or the cause is narrowed down (prediction) can do.
- the technology for discriminating data is used to analyze differences and factors between one category and another. For example, if you want to investigate the relationship between a certain disease and lifestyle, classify the group under investigation into a group that has a certain disease and a group that does not have it, and learn the rules for distinguishing the two groups. Good. For example, it is assumed that the rule learned in this way is “if the subject is obese and smokes, the probability of a certain disease is high”. In this case, it is suspected that satisfying both “obesity” and “smoking” is an important factor in the disease.
- Non-Patent Document 1 describes logistic regression, support vector machines, decision trees, and the like as examples of supervised learning.
- Non-Patent Document 2 describes a method of semi-teacher learning that assumes a distribution of discriminant labels and uses data without discriminant labels.
- Non-Patent Document 2 describes a Laplacian support vector machine as an example of semi-teacher learning.
- Non-Patent Document 3 describes a technique called covariate shift or domain adaptation for performing discriminative learning in consideration of changes in data properties.
- Non-Patent Document 4 describes the uncertainty that data necessary for learning a discriminant model gives to estimation of the model.
- the first problem is that when the number of data to which the discrimination label is assigned is small, the performance of the learned model is remarkably deteriorated. This problem occurs because the parameters cannot be optimized well because the number of data is small relative to the size of the search space for model parameters.
- the discriminant model is optimized so as to minimize the discriminant error from the target data.
- logarithmic likelihood functions are used in logistic regression
- hinge loss functions are used in support vector machines
- information gain functions are used in decision trees.
- the second problem is that the model to be learned does not necessarily match the user's knowledge. The second problem will be described by taking as an example the case where this discrimination learning is applied to the failure discrimination of an automobile.
- FIG. 12 is an explanatory diagram showing an example of a method for learning a discrimination model.
- the engine is abnormally heated, resulting in a failure of the engine and an abnormal high frequency component in rotation.
- the data indicated by circles in FIG. 12 is data indicating failure, and the data indicated by crosses is data indicating normality.
- discrimination model 1 that is discriminated based on the engine temperature that is the cause of the failure as classified by a dotted line 91 illustrated in FIG. 12, and the other is a dotted line 92 that is illustrated in FIG.
- This is a model (discrimination model 2) that discriminates based on the frequency of engine rotation that appears as a phenomenon.
- the discrimination model 2 is selected from the discrimination model 1 and the discrimination model 2 illustrated in FIG. This is because if the discrimination model 2 is selected, normal and fault data groups including the data 93 can be completely separated.
- the discrimination model 1 that is a model that focuses on factors that can be discriminated with substantially the same accuracy as the discrimination model 2 that is a model that focuses on a phenomenon is more suitable. preferable.
- the third problem is that a model that is automatically optimized using data cannot in principle capture phenomena that do not exist in the data.
- this discrimination model it may be possible to use this discrimination model in order to prevent the risk of obesity in young people (for example, in their 20s).
- the data characteristics are different between the data in the 20s and the data of 40 years or older. Therefore, even if the discrimination model that captures the characteristics of the 40s is applied to the case of the 20s, the reliability of the discrimination result is lowered.
- Non-Patent Document 2 In order to solve the first problem, it is conceivable to learn a model by semi-teacher learning described in Non-Patent Document 2. This is because the semi-supervised learning is known to be effective for the first problem when the assumption about the distribution of the discrimination label is correct. However, even if semi-teacher learning is used, the second problem cannot be solved.
- attribute extraction feature extraction
- attribute selection feature selection
- Non-Patent Document 1 many automatic attribute selection methods by machines have been proposed.
- the most typical method of automatic attribute selection is discriminative learning itself such as L1 regularization support vector machine or L1 regularization logistic regression.
- the automatic attribute selection method by the machine selects an attribute that optimizes a certain criterion, the second problem cannot be solved.
- Non-Patent Document 3 the method described in Non-Patent Document 3 is that the data included in the two data groups (in the above example, data in the 20s and data in the 40s and over) are sufficiently acquired, and It is assumed that the difference in distribution between the two data groups is relatively small.
- the use of the model learned using the method described in Non-Patent Document 3 is limited to the use of ex-post analysis of both groups of sufficiently collected data. End up.
- the present invention provides an optimal query generation device capable of generating an optimal query to which domain knowledge should be added when generating a discriminant model reflecting domain knowledge indicating user's model knowledge or analysis intention, It is an object of the present invention to provide a query extraction method, an optimal query extraction program, a discrimination model learning method and a discrimination model learning program using them.
- the optimum query generation apparatus includes query candidate storage means for storing a query candidate that is a target model to which domain knowledge indicating the user's intention is to be given, and domain knowledge given when the domain knowledge is given. And an optimum query extracting means for extracting a query that reduces the uncertainty of the discriminant model estimated by using the obtained query from the query candidates.
- the method for extracting an optimal query uses a query to which domain knowledge is given, when domain knowledge is given from candidate queries that are models to which domain knowledge indicating the user's intention should be given.
- a query that reduces the uncertainty of the estimated discrimination model is extracted.
- the discriminant model learning method generates a regularization function, which is a function indicating suitability for the domain knowledge, based on the domain knowledge given to the query extracted by the optimal query extraction method.
- Learning discriminant models by optimizing functions defined using predetermined loss functions and regularization functions
- the optimal query extraction program according to the present invention is provided with domain knowledge when domain knowledge is given to a computer from among candidate queries that are models to which domain knowledge indicating the user's intention should be given.
- An optimum query extraction process for extracting a query that reduces the uncertainty of the discriminant model estimated using the query is performed.
- a discriminant model learning program is a discriminant model learning program applied to a computer that executes an optimal query extraction program, and is based on domain knowledge given to a query extracted by the optimal query extraction means to the computer.
- a regularization function generation process that generates a regularization function that is a function indicating the suitability for the domain knowledge, and a function that is defined using a loss function and a regularization function that are predetermined for each discriminant model In this way, a model learning process for learning the discriminant model is executed.
- an optimal query to which the domain knowledge should be added can be generated.
- one data is treated as D-dimensional vector data.
- data that is not generally in a vector format such as text and images, is handled as vector data.
- data that is generally not in a vector format such as text and images
- vector data is handled as vector data.
- a vector bug of words model
- a vector bug of features model
- Discriminant learning is to optimize a discriminant model for a function (called a loss function) for reducing the discriminant error. That is, when the discriminant model is f (x) and the optimized model is f * (x), the learning problem is expressed by the following equation 1 using the loss function L (x N , y N , f). It is represented by
- Equation 1 is expressed in the form of an unconstrained optimization problem, optimization can also be performed with some constraints.
- Equation 2 It is represented by
- T represents transposition of a vector or a matrix.
- the loss function L (x N , y N , f) includes good fitting when f (x) is used as a predicted value or probability of y, and a penalty term representing the complexity of f (x). Adding such a penalty term is called regularization. Regularization is done to prevent the model from overfitting the data. Note that over-fitting of a model with data is also called over-learning.
- ⁇ is a parameter representing the strength of regularization.
- FIG. 1 is a block diagram showing a configuration example of a first embodiment of a discriminant model learning device according to the present invention.
- the discriminant model learning device 100 of this embodiment includes a data input device 101, an input data storage unit 102, a model learning device 103, a query candidate storage unit 104, a domain knowledge input device 105, and a domain knowledge storage unit 106.
- a knowledge regularization generation processing unit 107 and a model output device 108 are provided.
- the discriminant model learning apparatus 100 receives input data 109 and domain knowledge 110 and outputs a discriminant model 111.
- the data input device 101 is a device used for inputting input data 109.
- the data input device 101 When inputting the input data 109, the data input device 101 also inputs parameters necessary for analysis.
- the input data 109 includes parameters necessary for analysis in addition to the learning data x N and y N to which the above-described discrimination labels are attached.
- the data is also input.
- the input data storage unit 102 stores the input data 109 input by the data input device 101.
- the model learning device 103 calculates a loss function L (x N , y N , f) set in advance (or specified in advance as a parameter) by a knowledge regularization generation processing unit 107 described later.
- the discriminant model is learned by solving the optimization problem of the function to which the regularization function is added. A specific calculation example will be described together with a specific example in the description of the knowledge regularization generation processing unit 107 described later.
- a model that is a candidate to which domain knowledge should be given may be referred to as a query.
- This query may include the discrimination model itself learned by the model learning device 103.
- the domain knowledge input device 105 is a device having an interface for inputting domain knowledge for query candidates.
- the domain knowledge input device 105 selects a query from query candidates stored in the query candidate storage unit 104 by an arbitrary method, and outputs (displays) the selected query candidate.
- an example of domain knowledge to be given to query candidates will be described.
- the first domain knowledge example indicates whether a model candidate is preferable as a final discrimination model. Specifically, when the domain knowledge input device 105 outputs a model candidate, for example, a user or the like inputs whether the model is preferable as a final discrimination model to the domain knowledge input device 105 as domain knowledge. For example, when the discriminant model is a linear function, when the domain knowledge input device 105 outputs the weight vector candidate value w ′ of the linear function, whether or not the model matches or how much it matches is input.
- a model candidate for example, a user or the like inputs whether the model is preferable as a final discrimination model to the domain knowledge input device 105 as domain knowledge.
- the discriminant model is a linear function
- the domain knowledge input device 105 outputs the weight vector candidate value w ′ of the linear function, whether or not the model matches or how much it matches is input.
- the second domain knowledge example indicates which model is more preferable among a plurality of model candidates.
- the domain knowledge input device 105 outputs a plurality of model candidates, for example, when the models are compared by a user or the like, which model is more preferable as the final discriminant model is the domain knowledge. Entered.
- the discriminant model is a decision tree
- the domain knowledge input device 105 outputs two decision tree models f1 (x) and f2 (x), which one of f1 (x) and f2 (x) is determined by the user or the like. Whether it is preferable as a discrimination model is input.
- the case where two models are compared has been described as an example, but a plurality of models may be compared simultaneously.
- the domain knowledge storage unit 106 stores domain knowledge input to the domain knowledge input device 105.
- the knowledge regularization generation processing unit 107 reads the domain knowledge stored in the domain knowledge storage unit 106, and the model learning device 103 generates a regularization function necessary for model optimization. That is, the knowledge regularization generation processing unit 107 generates a regularization function based on the domain knowledge assigned to the query.
- the regularization function generated here is a function that expresses fitting or constraints on domain knowledge, and is a general loss function such as that used in supervised learning (or semi-supervised learning) that represents fitting to data. Is different. That is, it can be said that the regularization function generated by the knowledge regularization generation processing unit 107 is a function indicating suitability for domain knowledge.
- the model learning device 103 includes both a regularization function generated by the knowledge regularization generation processing unit 107 and a loss function used for supervised learning (or semi-supervised learning) representing fitting (compatibility) to data.
- the discriminant model is optimized so as to simultaneously optimize. This is realized, for example, by solving an optimization problem expressed by Equation 3 shown below.
- Equation 3 L (x N , y N , f) is a loss function used in general supervised learning (or semi-supervised learning) described in Equation 1 above.
- KR is a regularization function and a constraint condition generated by the knowledge regularization generation processing unit 107.
- the essence of the present invention is to optimize domain knowledge fitting and constraints simultaneously with data fitting.
- the optimization function KR shown below is an example of a function that satisfies this property, and other functions that satisfy this property can be easily defined.
- Equation 4 KR is expressed as shown in Equation 4 below. It is possible to define
- the similarity between models is defined by the square distance, and the similarity is further defined by the coefficient z m of the square distance. Even if the value z m indicating the preference of the model is not binary, by defining a function representing the similarity between the models and a coefficient determined from z m , regularization can be performed in the same manner in general discriminant models as well. It is possible to define a function KR.
- Equation 5 the loss of the model f1 function L (x N, y N, f1) and the value of the loss of the model f2 function L (x N, y N, f2) if the degree value equal to, regularization It can be seen that f1 having a smaller function value is correctly optimized as a more preferable model.
- the model output device 108 outputs the discrimination model 111 learned by the model learning device 103.
- the model learning device 103 and the knowledge regularization generation processing unit 107 are realized by a CPU of a computer that operates according to a program (discriminant model learning program).
- the program is stored in a storage unit (not shown) of the discriminant model learning device 100, and the CPU reads the program and operates as the model learning device 103 and the knowledge regularization generation processing unit 107 according to the program.
- each of the model learning device 103 and the knowledge regularization generation processing unit 107 may be realized by dedicated hardware.
- the input data storage unit 102, the query candidate storage unit 104, and the domain knowledge storage unit 106 are realized by a magnetic disk, for example.
- the data input device 101 is realized by an interface that receives data transmitted from a keyboard or another device (not shown).
- the model output device 108 is realized by a CPU that stores data in a storage unit (not shown) that stores the discrimination model, a display device that displays the learning result of the discrimination model, and the like.
- FIG. 2 is a flowchart showing an operation example of the discriminant model learning device 100 of the present embodiment.
- the data input device 101 stores the input data 109 that has been input in the input data storage unit 102 (step S100).
- the knowledge regularization generation processing unit 107 checks whether the domain knowledge is stored in the domain knowledge storage unit 106 (step S101). When the domain knowledge is stored in the domain knowledge storage unit 106 (Yes in step S101), the knowledge regularization generation processing unit 107 calculates a regularization function (step S102). On the other hand, when the domain knowledge is not stored (No in step S101), or after the regularization function is calculated, the processing after step S103 is performed.
- the model learning device 103 learns the discrimination model (step S103). Specifically, when the regularization function is calculated in step S102, the model learning device 103 learns the discrimination model using the calculated regularization function. On the other hand, when it is determined in step S101 that no domain knowledge is stored in the domain knowledge storage unit 106, the model learning device 103 learns a normal discrimination model without using a regularization function. Then, the model learning device 103 stores the learned discrimination model as a query candidate in the query candidate storage unit 104 (step S104).
- step S105 it is determined whether or not domain knowledge is input. This determination processing may be performed based on, for example, whether or not there is an instruction from the user or the like, or may be performed on condition that a new query candidate is stored in the query candidate storage unit 104. However, the determination of whether to input domain knowledge is not limited to the above content.
- step S105 If it is determined in step S105 that domain knowledge is input (Yes in step S105), the domain knowledge input device 105 reads information representing a query candidate to which domain knowledge should be added from the query candidate storage unit 104 and outputs the information. . For example, when the domain knowledge 110 is input by a user or the like, the domain knowledge input device 105 stores the input domain knowledge in the domain knowledge storage unit 106 (step S106). When the domain knowledge is input, the regularization function is calculated, and the processing from step S102 to step S106 until the domain knowledge is input is repeated.
- step S105 when it is determined in step S105 that domain knowledge is not input (No in step S105), the model output device 108 determines that domain knowledge input is completed and outputs the discrimination model 111 (step S107). ), The process is terminated.
- the knowledge regularization generation processing unit 107 generates a regularization function based on the domain knowledge given to the query candidates, and the model learning device 103 pre-defines for each discrimination model.
- a discriminant model is learned by optimizing a function defined using a predetermined loss function and regularization function. Therefore, it is possible to efficiently learn the discrimination model reflecting the domain knowledge while maintaining the fitting to the data.
- the discriminant model learning device of the present embodiment can obtain a discriminant model that matches the domain knowledge by reflecting the domain knowledge in the learning of the discriminant model. Specifically, learning discrimination models with high accuracy while reflecting domain knowledge by simultaneously optimizing discrimination accuracy for data and regularization conditions generated based on user knowledge and intention Is possible. Moreover, in the discriminant model learning apparatus of this embodiment, since knowledge and intentions for the model are input, it is possible to efficiently reflect the domain knowledge to the discriminant model as compared with the case where attributes are extracted individually. .
- the discriminant model learning apparatus is different from the first embodiment in that a regularization function is generated by learning a model preference described later from domain knowledge input to a model.
- FIG. 3 is a block diagram showing a configuration example of the second embodiment of the discrimination model learning apparatus according to the present invention.
- the discriminant model learning device 200 of this embodiment includes a model preference learning device 201 in the discriminant model learning device, and the knowledge regularization generation processing unit 107 performs knowledge regularization generation processing. It is different in that it is replaced with part 202.
- the same components as those in the first embodiment are denoted by the same reference numerals as those in FIG.
- the fitting to the data and the reflection of the domain knowledge are efficiently realized at the same time.
- the discriminant model learning apparatus 200 learns a function (hereinafter referred to as a model preference) representing domain knowledge based on the input domain knowledge. Then, by using the model preference learned by the discriminant model learning device 200 for regularization, it is possible to generate a regularization function appropriately even when the input domain knowledge is small.
- a model preference a function representing domain knowledge based on the input domain knowledge.
- the model preference learning device 201 learns model preferences based on domain knowledge.
- the model preference is expressed as a function g (f) of the model f.
- the model preference learning device 201 can learn g (f) as a discriminant model such as a logistic regression model or a support vector machine.
- the knowledge regularization generation processing unit 202 generates a regularization function using the learned model preference.
- the regularization function is configured as an arbitrary function having a property that tends to be optimal as the value of the model preference function g (f) is large (that is, the model f is estimated to be better as a model).
- v is a weight function of model preference, and is a parameter optimized by the model preference learning device 201.
- the model preference learning device 201 and the knowledge regularization generation processing unit 202 are realized by a CPU of a computer that operates according to a program (discriminant model learning program). Further, each of the model preference learning device 201 and the knowledge regularization generation processing unit 202 may be realized by dedicated hardware.
- FIG. 4 is a flowchart showing an operation example of the discriminant model learning device 200 of the present embodiment.
- the process from step S100 to step S106 in which the domain knowledge is input after the input data 109 is input and the generated discriminant model is stored in the query candidate storage unit 104 is the same as the process illustrated in FIG. is there.
- the model preference learning device 201 learns the model preference based on the domain knowledge stored in the domain knowledge storage unit 106 (step S201). Then, the knowledge regularization generation processing unit 202 generates a regularization function using the learned model preference (step S202).
- the model preference learning device 201 learns model preferences based on domain knowledge, and the knowledge regularization generation processing unit 202 uses the learned model preferences. To generate a regularization function. Therefore, in addition to the effects of the first embodiment, a regularization function can be appropriately generated even when the input domain knowledge is small.
- FIG. 5 is a block diagram showing a configuration example of the third embodiment of the discrimination model learning apparatus according to the present invention.
- the discriminant model learning device 300 according to the present embodiment is different from the first embodiment in that a query candidate generating device 301 is included.
- a query candidate generating device 301 is included.
- the same components as those in the first embodiment are denoted by the same reference numerals as those in FIG.
- domain knowledge is given to the query candidates stored in the query candidate storage unit 104, and a regularization term generated based on the given domain knowledge is determined.
- a regularization term generated based on the given domain knowledge is determined.
- the query candidate generation device 301 generates query candidates so as to satisfy at least one of the following two properties, and stores the query candidates in the query candidate storage unit 104.
- the first property is that the model is understandable for domain knowledge inputers.
- the second property is that the discrimination performance is not significantly low among the query candidates.
- the query candidate generation device 301 When the query candidate generation device 301 generates a query candidate so as to satisfy the first property, it has an effect of reducing the cost of acquiring domain knowledge for the query candidate.
- a linear discriminant model As an example, an example of a problem that increases the cost of acquiring domain knowledge will be described using a linear discriminant model as an example.
- D 100
- the candidate value w ′ of a weight vector of a model is inquired as a query.
- the cost of inputting the domain knowledge increases.
- the query candidate generation device 301 generates a query candidate that satisfies the first property (that is, a query candidate that reduces the domain knowledge to be given to the user) by the following two procedures.
- the query candidate generating device 301 lists combinations of a small number of input attributes among D-dimensional input attributes in input data by an arbitrary method.
- the query candidate generating device 301 does not need to list all combinations of attributes, and may list only as many attributes as desired to generate as query candidates.
- the query candidate generation device 301 extracts only two attributes from the D-dimensional attributes.
- the query candidate generating device 301 learns query candidates using only a small number of input attributes for each of the listed combinations.
- the query candidate generating device 301 can use any method as a query candidate learning method.
- the query candidate generation device 301 may learn query candidates using the same method as the method in which the model learning device 103 learns the discriminant model by excluding the regularization function KR.
- the query candidate generating device 301 When the query candidate generating device 301 generates query candidates so as to satisfy the second property, there is an effect that unnecessary query candidates are excluded and the number of domain knowledge inputs can be reduced.
- the model learning apparatus of the present invention optimizes a discrimination model by simultaneously considering not only domain knowledge but also fitting to data. Therefore, for example, when optimizing the optimization problem expressed by Equation 3 above, fitting to data (loss function L (x N , y N , f)) is also optimized, so the discrimination accuracy is low. The model will not be chosen. Therefore, even if a model having a significantly low discrimination accuracy is used as a query candidate, and domain knowledge is given to the query candidate, the query is a point outside the model search space, so that it becomes a useless query.
- the query candidate generation device 301 generates a query candidate that satisfies the second property (that is, a query candidate from which a query having a significantly low discrimination accuracy is deleted from a plurality of queries) by the following two procedures.
- a first procedure a plurality of query candidates are generated by an arbitrary method.
- the query candidate generation device 301 may generate a query candidate using the same method as that for generating a query candidate that satisfies the first property, for example.
- the query candidate generating device 301 calculates the discrimination accuracy of the generated query candidates. Then, the query candidate generation device 301 determines whether the accuracy of the query candidate is significantly low, and deletes the query determined to be significantly low from the query candidate. Note that the query candidate generation device 301 calculates, for example, the degree of deterioration in accuracy from the model in the most accurate query candidate, and the degree is calculated from a preset threshold (or data). You may determine by comparing with (threshold).
- an appropriate query candidate is generated by the query candidate generation device. Therefore, the model learning device 103 may store the learned discrimination model in the query candidate storage unit 104 or may not store it.
- the query candidate generation device 301 is realized by a CPU of a computer that operates according to a program (discriminant model learning program). Further, the query candidate generation device 301 may be realized by dedicated hardware.
- FIG. 6 is a flowchart illustrating an operation example of the discriminant model learning device 300 according to the present embodiment.
- a query candidate is added in the process described in the flowchart illustrated in FIG. 2 in step S ⁇ b> 301 in which a query candidate is generated based on input data and the end determination of the process.
- the process of step S302 for determining whether or not is added.
- the query candidate generation device 301 when the input data 109 input by the data input device 101 is stored in the input data storage unit 102 (step S100), the query candidate generation device 301 generates a query candidate using the input data 109. (Step S301). The generated query candidates are stored in the query candidate storage unit 104.
- step S105 determines whether to add a query candidate (step S302).
- the query candidate generation device 301 may determine whether or not to add a query candidate, for example, in response to an instruction from a user or the like, and based on whether or not a predetermined number of queries have been generated, You may determine whether to add a candidate.
- step S302 If it is determined to add a query candidate (Yes in step S302), the query candidate generation device 301 repeats the process of step S301 for generating a query candidate. On the other hand, when it is determined not to add a query candidate (No in step S302), the model output device 108 determines that the input of domain knowledge is completed, outputs the discrimination model 111 (step S107), and ends the process. To do.
- step S104 illustrated in FIG. 6 that is, the process of storing the learned discrimination model in the query candidate storage unit 104) may or may not be executed.
- the query candidate generation device 301 deletes a query candidate with reduced domain knowledge to be given to an input person or a query with a significantly low discrimination accuracy from a plurality of queries. Generated query candidates. Specifically, the query candidate generation device 301 extracts a predetermined number of attributes from the attributes indicating the input data, and generates query candidates from the extracted attributes. Or the query candidate production
- FIG. 7 is a block diagram showing a configuration example of the fourth embodiment of the discriminant model learning device according to the present invention.
- the discriminant model learning apparatus 400 according to the present embodiment is different from the first embodiment in that an optimal query generation apparatus 401 is included.
- an optimal query generation apparatus 401 is included.
- the same components as those in the first embodiment are denoted by the same reference numerals as those in FIG.
- the domain knowledge input device 105 selects query candidates to which domain knowledge should be added from the query candidate storage unit 104 by an arbitrary method. However, in order to input domain knowledge more efficiently, it is important to select the most appropriate query according to some criteria from among the query candidates stored in the query candidate storage unit 104.
- the optimal query generation device 401 selects from the query candidate storage unit 104 and outputs a query set that minimizes the uncertainty of the discriminant model learned by the query.
- FIG. 8 is a block diagram illustrating a configuration example of the optimal query generation device 401.
- the optimal query generation device 401 includes a query candidate extraction processing unit 411, an uncertainty calculation processing unit 412, and an optimal query determination processing unit 413.
- the query candidate extraction processing unit 411 extracts one or more query candidates that are stored in the query candidate storage unit 104 and to which domain knowledge is not added, by an arbitrary method. For example, when outputting one model to which domain knowledge should be added as a query candidate, the query candidate extraction processing unit 411 may extract the candidates stored in the query candidate storage unit 104 one by one in order.
- the query candidate extraction processing unit 411 may extract all combination candidates in order as in the case of outputting one. Good. Further, the query candidate extraction processing unit 411 may extract combination candidates using an arbitrary search algorithm.
- the models corresponding to the extracted query candidates are denoted by f′1 to f′K.
- K is the number of extracted query candidates.
- the uncertainty calculation processing unit 412 calculates the uncertainty of the model when domain knowledge is given to f′1 to f′K.
- the uncertainty calculation processing unit 412 can use an arbitrary index representing how much the estimation by the model is uncertain as the model uncertainty. For example, in Chapter 3 “Query Strategy Frameworks” of Non-Patent Document 4, “least confidence”, “margin sampling measure”, “entropy”, “vote ible entropy”, “average Kulback-Leibler divergence”, “expected model change Various indices such as “,“ expected error ”,“ model variation ”,“ Fisher information score ”are described. The uncertainty calculation processing unit 412 may use these indicators as uncertainty indicators. However, the uncertainty index is not limited to the index described in Non-Patent Document 4.
- the present embodiment is essentially different in that the query candidate evaluates the uncertainty given to the model estimation by inquiring about the goodness of the model itself and obtaining domain knowledge.
- the optimal query determination processing unit 413 selects a query candidate having the largest uncertainty or a set of candidates having a large uncertainty (that is, two or more query candidates). Then, the optimal query determination processing unit 413 inputs the selected query candidate to the domain knowledge input device 105.
- the optimal query generation device 401 (more specifically, the query candidate extraction processing unit 411, the uncertainty calculation processing unit 412 and the optimal query determination processing unit 413) operates according to a program (discriminant model learning program). This is realized by a CPU of a computer.
- the optimal query generation device 401 (more specifically, the query candidate extraction processing unit 411, the uncertainty calculation processing unit 412 and the optimal query determination processing unit 413) may be realized by dedicated hardware. .
- FIG. 9 is a flowchart showing an operation example of the discriminant model learning device 400 of the present embodiment.
- the process of step S ⁇ b> 401 for generating a question for the model candidate is added to the process described in the flowchart illustrated in FIG. 2.
- step S105 when it is determined in step S105 that domain knowledge is input (Yes in step S105), the optimal query generation device 401 generates a question for the model candidate (step S401). In other words, the optimal query generation device 401 generates query candidates that are to be given domain knowledge to the user or the like.
- FIG. 10 is a flowchart showing an operation example of the optimum query generation device 401.
- the query candidate extraction processing unit 411 inputs data stored in the input data storage unit 102, the query candidate storage unit 104, and the domain knowledge storage unit 106, respectively (step S411), and extracts query candidates (step S412). .
- the uncertainty calculation processing unit 412 calculates an index indicating uncertainty for each extracted query candidate (step S413).
- the optimal query determination processing unit 413 selects a query candidate having the greatest uncertainty or a set of query candidates (for example, two or more query candidates) (step S414).
- the optimal query determination processing unit 413 determines whether to add more query candidates (step S415). If it is determined to be added (Yes in step S415), the processes in and after step S412 are repeated. On the other hand, when it is determined not to be added (No in step S415), the optimal query determination processing unit 413 collectively outputs the selected candidates to the domain knowledge input device 105 (step S416).
- the optimal query generation device 401 extracts, from the query candidates, queries that reduce the uncertainty of the discriminated model to be learned when domain knowledge is given. .
- a query that reduces the uncertainty of the discriminant model estimated by using the query to which the domain knowledge is given is selected as a query candidate.
- the optimal query generation device 401 extracts a predetermined number of queries from the query candidates with the highest or highest uncertainty of the discriminant model to be learned. This is because by adding domain knowledge to a query with high uncertainty, the uncertainty of the discriminant model to be learned becomes small.
- the domain knowledge input device 105 can accept domain knowledge input from the user for the query extracted by the optimal query generation device 401. Therefore, by giving domain knowledge to query candidates with high uncertainty, it is possible to improve the accuracy of estimating regularization terms based on domain knowledge, and as a result, it is possible to improve the accuracy of discriminative learning. .
- the discriminant model learning device 300 of the third embodiment In order for the discriminant model learning device 200 of the second embodiment and the discriminant model learning device 400 of the fourth embodiment to generate query candidates from the input data 109, the discriminant model learning device 300 of the third embodiment.
- the query candidate generation device 301 included in Further, the discriminant model learning device 400 of the fourth embodiment may include the model preference learning device 201 of the second embodiment. In this case, since the discriminant model learning device 400 can generate the model preference, the regularization function can be calculated using the model preference also in the fourth embodiment.
- FIG. 11 is a block diagram showing an outline of the optimum query generation apparatus according to the present invention.
- the optimal query generation apparatus includes a query candidate storage unit 86 (for example, the query candidate storage unit 104) that stores a query candidate that is a target model to which domain knowledge indicating a user's intention is to be added, Optimal query extraction means 87 (for example, optimal query generation) that extracts, from the query candidates, a query that reduces the uncertainty of the discriminant model estimated using the query to which the domain knowledge is assigned.
- Optimal query extraction means 87 for example, optimal query generation
- the optimum query generation device is based on the domain knowledge given to the query extracted by the optimal query extraction unit 87, and is a regularization function (for example, regularization) that is a function indicating the suitability (fitting) to the domain knowledge.
- regularization function generation means for generating a function KR) (e.g., knowledge regularized generation processing unit 107), a predetermined loss function for each discriminant model (e.g., the loss function L (x N, y N, f))
- a model learning means for example, model learning device 103 for learning a discriminant model by optimizing a function defined using the regularization function (for example, the optimization problem represented by Expression 3 shown above) May be provided.
- the optimal query generation device also generates a query candidate generation unit (for example, a query candidate in which domain knowledge to be given to the user is reduced, or a query candidate in which a query having a significantly low discrimination accuracy is deleted from a plurality of queries (for example, , A query candidate generation device 301) may be provided.
- the optimal query extraction means 87 may extract the query from which the uncertainty of a discrimination
- the optimal query generation device based on the domain knowledge given to the query extracted by the optimal query extraction unit 87, learns the model preference learning unit (for example, a model preference that is a function representing the domain knowledge (for example, A model preference learning device 201) may be provided.
- the regularization function generation means may generate the regularization function using the model preference.
- Such a configuration makes it possible to generate a regularization function appropriately even when there is little domain knowledge to be input.
- the present invention is suitably applied to an optimal query generation device that optimally generates a query that is a target model to which domain knowledge indicating a user's intention is to be given.
- Discriminant model learning device 101 Data input device 102 Input data storage unit 103 Model learning device 104 Query candidate storage unit 105 Domain knowledge input device 106 Domain knowledge storage unit 107, 202 Knowledge regularization generation processing unit 108 Model Output device 201 Model preference learning device 301 Query candidate generation device 401 Optimal query generation device 411 Query candidate extraction processing unit 412 Uncertainty calculation processing unit 413 Optimal query determination processing unit
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
ユーザのモデルに対する知識や分析の意図を示す領域知識を反映させた判別モデルを生成する場合に、その領域知識を付与すべき最適なクエリを生成できる最適クエリ生成装置を提供する。クエリ候補記憶手段86は、ユーザの意図を示す領域知識を付与すべき対象のモデルであるクエリの候補を記憶する。最適クエリ抽出手段87は、領域知識が付与された場合にその領域知識が付与されたクエリを利用して推定される判別モデルの不確実性が小さくなるクエリを、クエリ候補の中から抽出する。
Description
本発明は、ユーザの意図を示す領域知識を付与すべき対象のモデルであるクエリを最適に生成する最適クエリ生成装置、最適クエリ抽出方法、最適クエリ抽出プログラムおよびこれらを利用した判別モデル学習方法および判別モデル学習プログラムに関する。
近年の急速なデータインフラの整備によって、大規模かつ大量なデータを効率的に処理することが、産業の重要課題の1つになっている。特に、データがどのカテゴリに属するか判別する技術は、データマイニング、パターン認識など、多くの応用分野における中心技術の一つである。
データを判別する技術を利用する一例として、未分類のデータに関する予測を行うことが挙げられる。例えば、自動車の故障診断を行う場合には、自動車から取得されるセンサデータと過去の故障事例とを学習することにより、故障を判別するためのルールが生成される。そして、新たに不具合が発生した自動車のセンサデータ(すなわち、未分類のデータ)に生成されたルールを適用することで、その自動車に発生している故障を特定する、あるいはその要因を絞り込む(予測する)ことができる。
また、データを判別する技術は、あるカテゴリと別のカテゴリの間の差や因子を分析するためにも利用される。例えば、ある疾病と生活習慣との関係を調べたい場合には、被調査対象の集団をある疾病を持つ群と持たない群に分類し、その二つの群を判別するためのルールを学習すればよい。例えば、このように学習されたルールが、「対象者が肥満かつ喫煙している場合には、ある疾病の確率が高い」であるとする。この場合、「肥満」と「喫煙」の両方の条件を満たすことが、その疾病の重要な因子であることが疑われることになる。
このようにデータを判別する問題では、データを分類するためのルールを表す判別モデルを、対象とするデータからいかにして学習するかが最も重要な課題になる。そのため、過去事例やシミュレーションデータなどに基づいてカテゴリ情報が付与されたデータから判別モデルを学習する方法が数多く提案されている。この方法は、判別ラベルを利用する学習方法であり、「教師有学習(supervised learning)」と呼ばれている。以下、カテゴリ情報のことを判別ラベルと記すこともある。非特許文献1には、教師有学習の例として、ロジスティック回帰、サポートベクトルマシン、決定木などが記載されている。
また、非特許文献2には、判別ラベルの分布を仮定し、判別ラベルがついていないデータを活用する半教師学習という方法が記載されている。また、非特許文献2には、半教師学習の例として、ラプラシアンサポートベクトルマシンが記載されている。
非特許文献3には、データの性質の変化を考慮して判別学習を行うための共変量シフト(covariate shirt)やドメイン適応(domain adaptation)と呼ばれる技術が記載されている。
なお、非特許文献4には、判別モデルを学習するために必要なデータがモデルの推定に与える不確実性について記載されている。
Christopher Bishop, "Pattern Recognition and Machine Learning", Springer, 2006
Mikhail Belkin, Partha Niyogi, Vikas Sindhwani, "Manifold Regularization : A Geometric Framework for Learning from Labeled and Unlabeled Examples", Journal of Machine Learning Research (2006), Volume7, Issue48, p.2399-2434
Hidetoshi Shimodaira, "Improving predictive inference under covariate shift by weighting the log-likelihood function", Journal of Statistical Planning and Inference, 90 (2), p.227-244, October 2000
Burr Settles, "Active Learning Literature Survey", Computer Sciences Technical Report 1648, University of Wisconsin-Madison, 2010
教師有学習に基づく判別学習には、以下の問題点が存在する。
第一の問題点は、判別ラベルが付与されたデータ数が少ない場合、学習されるモデルの性能が著しく劣化することである。この問題点は、モデルパラメータの探索空間の広さに対してデータ数が少ないことが原因で、パラメータをうまく最適化することができないために生じる。
また、教師有学習に基づく判別学習では対象とするデータからの判別誤差を最も小さくするように判別モデルが最適化される。例えば、ロジスティック回帰では対数尤度関数が用いられ、サポートベクトルマシンではヒンジ損失関数が用いられ、決定木では情報利得関数が用いられる。しかし、第二の問題点は、学習されるモデルが利用者の知識とは必ずしも合致しないことである。この判別学習を自動車の故障判別に応用した場合を例に挙げて、第二の問題点を説明する。
図12は、判別モデルを学習する方法の例を示す説明図である。この例では、エンジンが異常に発熱した結果、エンジンに故障が発生し、回転に異常な高周波成分が発生するという状況を想定する。図12に丸印で示すデータは故障を示すデータであり、バツ印で示すデータは正常であることを示すデータである。
また、図12に示す例では、2種類の判別モデルを想定する。1つは、図12に例示する点線91で分類するように、故障の要因であるエンジン温度に基づいて判別するモデル(判別モデル1)であり、もう一つは、図12に例示する点線92で分類するように、現象として現れるエンジン回転の周波数に基づいて判別するモデル(判別モデル2)である。
エンジンが故障しているか否かに基づいて最適化を行うという観点では、図12に例示する判別モデル1と判別モデル2では、判別モデル2が選択される。これは、判別モデル2を選択すれば、データ93を含め、正常と故障のデータ群を完全に分離できるからである。一方で、故障判別を実際に応用する場合には、現象に着目したモデルである判別モデル2よりも、ほぼ同程度の精度で判別可能な、要因に着目したモデルである判別モデル1の方が好ましい。
第三の問題点は、データを用いて自動的に最適化されるモデルは、データに存在しない現象を捉えることが原理的にできないことである。
以下、具体例を挙げて第三の問題点を説明する。ここでは、特定健康診断の検査データから肥満のリスク(今後肥満になるかどうか)を予測する場合を想定する。特定健康診断は、日本において現在40歳以上に義務付けられているため、詳細な検査データが採取されている。そのため、これらの検査データを用いて判別モデルを学習することが可能である。
一方で、若年(例えば20歳代)の肥満リスクを防止するためにこの判別モデルを活用することも考えられる。しかし、この場合、20歳代のデータと40歳以上のデータとでは、データの性質が異なる。そのため、40歳代の特徴を捉えた判別モデルを20歳代の場合へ適用しても、判別結果の信頼性が低くなってしまう。
第一の問題点を解決するために、非特許文献2に記載された半教師学習によりモデルを学習することが考えられる。半教師学習は、判別ラベルの分布に対する仮定が正しい場合、第一の問題点に対して効果があることが知られているからである。しかし、半教師学習を利用したとしても、第二の問題点を解決することはできない。
また、一般的なデータ分析の現場では、第二の問題点を解決するために、事前にカテゴリと関係がある属性を抽出する属性抽出(feature extraction)や属性選択(feature selection)が実施される。しかし、データの属性の数が多い場合には、この処理には大きなコストを要するという別の問題が発生する。さらに、属性は、領域の知識に基づいて抽出される。しかし、抽出される属性がデータと合致していない場合、大きな判別精度の低下を引きおこすという問題もある。
また、非特許文献1に記載されているように、機械による自動属性選択方法も数多く提案されている。自動属性選択の最も代表的な方法は、L1正則化サポートベクトルマシンやL1正則化ロジスティック回帰など、判別学習そのものである。しかし、機械による自動属性選択方法では、ある基準を最適化する属性を選択することになるため、やはり、第2の問題点を解決することはできない。
また、非特許文献3に記載された方法は、二つのデータ群に含まれるデータ(上述の例では、20歳代のデータと、40歳以上のデータ)が十分に取得されていること、および、二つのデータ群の分布の違いが比較的小さいことが前提とされる。特に、前者の制約があるため、非特許文献3に記載された方法を利用して学習されるモデルの用途が、十分に集まった両群のデータを事後的に分析するという用途に限定されてしまう。
そこで、本発明は、ユーザのモデルに対する知識や分析の意図を示す領域知識を反映させた判別モデルを生成する場合に、その領域知識を付与すべき最適なクエリを生成できる最適クエリ生成装置、最適クエリ抽出方法、最適クエリ抽出プログラムおよびこれらを利用した判別モデル学習方法および判別モデル学習プログラムを提供することを目的とする。
本発明による最適クエリ生成装置は、ユーザの意図を示す領域知識を付与すべき対象のモデルであるクエリの候補を記憶するクエリ候補記憶手段と、領域知識が付与された場合にその領域知識が付与されたクエリを利用して推定される判別モデルの不確実性が小さくなるクエリを、クエリ候補の中から抽出する最適クエリ抽出手段とを備えたことを特徴とする。
本発明による最適クエリ抽出方法は、ユーザの意図を示す領域知識を付与すべき対象のモデルであるクエリの候補の中から、領域知識が付与された場合にその領域知識が付与されたクエリを利用して推定される判別モデルの不確実性が小さくなるクエリを抽出することを特徴とする。
本発明による判別モデル学習方法は、最適クエリ抽出方法によって抽出されたクエリに付与される領域知識に基づいて、その領域知識に対する適合性を示す関数である正則化関数を生成し、判別モデルごとに予め定められた損失関数および正則化関数を用いて定義される関数を最適化することにより判別モデルを学習することを特徴とする
本発明による最適クエリ抽出プログラムは、コンピュータに、ユーザの意図を示す領域知識を付与すべき対象のモデルであるクエリの候補の中から、領域知識が付与された場合にその領域知識が付与されたクエリを利用して推定される判別モデルの不確実性が小さくなるクエリを抽出する最適クエリ抽出処理を実行させることを特徴とする。
本発明による判別モデル学習プログラムは、最適クエリ抽出プログラムを実行させるコンピュータに適用される判別モデル学習プログラムであって、コンピュータに、最適クエリ抽出手段によって抽出されたクエリに付与される領域知識に基づいて、その領域知識に対する適合性を示す関数である正則化関数を生成する正則化関数生成処理、および、判別モデルごとに予め定められた損失関数および正則化関数を用いて定義される関数を最適化することにより判別モデルを学習するモデル学習処理を実行させることを特徴とする。
本発明によれば、ユーザのモデルに対する知識や分析の意図を示す領域知識を反映させた判別モデルを生成する場合に、その領域知識を付与すべき最適なクエリを生成できる。
以下の説明では、1つのデータをD次元のベクトルデータとして扱う。また、テキストや画像など、一般にはベクトル形式でないデータもベクトルデータとして扱う。この場合、例えば、文中の単語の有無を表すベクトル(bug of wordsモデル)や、画像中の特徴素の有無を表すベクトル(bug of features model)へ変換することで、一般にはベクトル形式でないデータもベクトルデータとして扱うことが可能になる。
また、n番目の学習データをxnと表わし、n番目の学習データxnの判別ラベルをynと表わす。また、データ数がNの場合のデータをxN(=x1,…,xN)と表わし、データ数がNの場合の判別ラベルをyN(=y1,…,yN)と表わす。
まず初めに、判別学習の基本的な原理を説明する。判別学習とは、判別の誤差を小さくするためのある関数(損失関数と呼ばれる)に対して判別モデルを最適化することである。すなわち、判別モデルをf(x)とし、最適化されたモデルをf*(x)とすると、学習問題は、損失関数L(xN,yN,f)を用いて、以下に示す式1で表わされる。
なお、式1は制約無最適化問題の形式で表わされているが、何らかの制約条件をつけて最適化をすることも可能である。例えば、L1正則化ロジスティック回帰モデルの場合には、属性に対する重みベクトルwに対して、f(x)=wTxと定義すると、上記の式1は、具体的には、以下に示す式2で表わされる。
式2において、Tは、ベクトルや行列の転置を表している。損失関数L(xN,yN,f)は、f(x)をyの予測値や確率として利用した場合のフィッティングのよさと、f(x)の複雑さを表わす罰則項とを含む。このような罰則項を追加することは、正則化と呼ばれている。正則化は、モデルがデータに過適合することを防止するために行われる。なお、モデルがデータに過適合することは、過学習とも呼ばれる。式2において、λは、正則化の強さを表すパラメータである。
以下、教師有学習の場合を例に挙げて説明する。なお、判別ラベルが付与されていないデータが得られている場合、判別ラベルが付与されているデータと判別ラベルが付与されていないデータの両者から算出される損失関数を採用すればよい。両者から算出される損失関数を採用することで、以下に説明する方法を、半教師有学習へ適用することが可能である。
[第1の実施形態]
図1は、本発明による判別モデル学習装置の第1の実施形態の構成例を示すブロック図である。本実施形態の判別モデル学習装置100は、データ入力装置101と、入力データ記憶部102と、モデル学習装置103と、クエリ候補記憶部104と、領域知識入力装置105と、領域知識記憶部106と、知識正則化生成処理部107と、モデル出力装置108とを備えている。判別モデル学習装置100には、入力データ109及び領域知識110が入力され、判別モデル111が出力される。
図1は、本発明による判別モデル学習装置の第1の実施形態の構成例を示すブロック図である。本実施形態の判別モデル学習装置100は、データ入力装置101と、入力データ記憶部102と、モデル学習装置103と、クエリ候補記憶部104と、領域知識入力装置105と、領域知識記憶部106と、知識正則化生成処理部107と、モデル出力装置108とを備えている。判別モデル学習装置100には、入力データ109及び領域知識110が入力され、判別モデル111が出力される。
データ入力装置101は、入力データ109の入力に用いられる装置である。データ入力装置101は、入力データ109を入力する際、分析に必要なパラメータも併せて入力する。なお、入力データ109には、上述の判別ラベルが付与された学習データxN,yNに加え、分析に必要なパラメータなどが含まれる。ここで、判別ラベルが付与されていないデータが半教師学習などで利用される場合、そのデータも併せて入力される。
入力データ記憶部102は、データ入力装置101が入力した入力データ109を記憶する。
モデル学習装置103は、事前に設定されている(または、パラメータとして事前に指定される)損失関数L(xN,yN,f)に、後述する知識正則化生成処理部107で算出される正則化関数を加えた関数の最適化問題を解くことで、判別モデルを学習する。具体的な算出例に関しては、後述する知識正則化生成処理部107の説明において具体例とともに説明する。
クエリ候補記憶部104は、領域知識を事前に付与すべき候補になるモデルを複数記憶する。例えば、判別モデルとして線形関数f(x)=wTxが利用される場合、クエリ候補記憶部104は、異なる値を含むwの候補値を記憶する。以下の説明では、領域知識を付与すべき候補になるモデルのことをクエリと記すこともある。このクエリには、モデル学習装置103が学習した判別モデル自身が含まれていてもよい。
領域知識入力装置105は、クエリ候補に対する領域知識を入力するためのインタフェースを備えた装置である。領域知識入力装置105は、クエリ候補記憶部104に記憶されているクエリ候補から任意の方法によってクエリを選択し、選択したクエリ候補を出力(表示)する。以下、クエリ候補に対して付与する領域知識の例を説明する。
[第1の領域知識例]
第1の領域知識例は、モデルの候補が最終的な判別モデルとして好ましいかどうか示すものである。具体的には、領域知識入力装置105がモデル候補を出力すると、例えば、ユーザ等により、そのモデルが最終的な判別モデルとして好ましいかどうかが領域知識として領域知識入力装置105に入力される。例えば、判別モデルが線形関数の場合、領域知識入力装置105が線形関数の重みベクトルの候補値w’を出力すると、そのモデルが合致するかしないか、または、どの程度合致しているかが入力される。
第1の領域知識例は、モデルの候補が最終的な判別モデルとして好ましいかどうか示すものである。具体的には、領域知識入力装置105がモデル候補を出力すると、例えば、ユーザ等により、そのモデルが最終的な判別モデルとして好ましいかどうかが領域知識として領域知識入力装置105に入力される。例えば、判別モデルが線形関数の場合、領域知識入力装置105が線形関数の重みベクトルの候補値w’を出力すると、そのモデルが合致するかしないか、または、どの程度合致しているかが入力される。
[第2の領域知識例]
第2の領域知識例は、複数のモデルの候補のうち、どのモデルがより好ましいかを示すものである。具体的には、領域知識入力装置105が複数のモデル候補を出力すると、例えば、ユーザ等により、それらのモデルを比較した場合に、最終的な判別モデルとしてどのモデルがより好ましいかが領域知識として入力される。例えば、判別モデルが決定木の場合、領域知識入力装置105が2つの決定木モデルf1(x),f2(x)を出力すると、ユーザ等により、f1(x)とf2(x)のうちどちらが判別モデルとして好ましいかが入力される。なお、ここでは、2つのモデルを比較する場合を例に説明したが、複数のモデルを同時に比較するようにしてもよい。
第2の領域知識例は、複数のモデルの候補のうち、どのモデルがより好ましいかを示すものである。具体的には、領域知識入力装置105が複数のモデル候補を出力すると、例えば、ユーザ等により、それらのモデルを比較した場合に、最終的な判別モデルとしてどのモデルがより好ましいかが領域知識として入力される。例えば、判別モデルが決定木の場合、領域知識入力装置105が2つの決定木モデルf1(x),f2(x)を出力すると、ユーザ等により、f1(x)とf2(x)のうちどちらが判別モデルとして好ましいかが入力される。なお、ここでは、2つのモデルを比較する場合を例に説明したが、複数のモデルを同時に比較するようにしてもよい。
領域知識記憶部106は、領域知識入力装置105に入力された領域知識を記憶する。
知識正則化生成処理部107は、領域知識記憶部106に記憶されている領域知識を読み込み、モデル学習装置103がモデルの最適化に必要な正則化関数を生成する。すなわち、知識正則化生成処理部107は、クエリに付与された領域知識に基づいて正則化関数を生成する。ここで生成される正則化関数は、領域知識に対するフィッティングや制約を表現する関数であり、データに対するフィッティングを表わす教師有学習(または、半教師有学習)で用いられるような一般的な損失関数とは異なる。すなわち、知識正則化生成処理部107が生成する正則化関数は、領域知識に対する適合性を示す関数であるということもできる。
以下、モデル学習装置103および知識正則化生成処理部107の動作をさらに説明する。モデル学習装置103は、知識正則化生成処理部107で生成される正則化関数と、データへのフィッティング(適合性)を表す教師有学習(または、半教師有学習)に用いられる損失関数の両者を同時に最適化するように判別モデルを最適化する。これは、例えば、以下に示す式3で表される最適化問題を解くことで実現される。
式3において、L(xN,yN,f)は、上記の式1で説明した、一般的な教師有学習(または、半教師有学習)で用いられる損失関数である。また、式3において、KRは、知識正則化生成処理部107が生成する正則化関数及び制約条件である。このように判別モデルを最適化することで、データへのフィッティングを保ちつつ、領域知識を反映したモデルを効率的に学習することが可能になる。
なお、以下の説明では、上記の式3に示すように、損失関数L(xN,yN,f)と正則化関数KRの和で表わされる最適化問題を解く場合について説明する。ただし、最適化問題の対象が、両者の積で定義されていてもよく、両者の関数として定義されていてもよい。これらの場合も、同様に最適化することが可能である。なお、最適化関数の態様は、学習する判別モデルに応じて予め定められる。
以下、正則化関数KRの具体的な例を説明する。なお、本発明の本質は、領域知識のフィッティングや制約を、データのフィッティングと同時に最適化することである。以下に示す最適化関数KRは、この性質を満たす関数の一例であり、本性質を満たす他の関数を定義することも容易に可能である。
[第1の知識正則化例]
第1の領域知識例で説明した例のように、領域知識がモデルとその良さ(好ましさ)を示す情報として入力されている場合を想定する。ここで、領域知識記憶部106に記憶されている、モデルとその良さのペアを、それぞれ(f1,z1),(f2,z2),…,(fM,zM)と表記する。また、この例では、fが好ましいモデルと類似しているほど、または、fが好ましくないモデルと類似していないほど値の小さくする関数として正則化関数KRが定義されるものとする。
第1の領域知識例で説明した例のように、領域知識がモデルとその良さ(好ましさ)を示す情報として入力されている場合を想定する。ここで、領域知識記憶部106に記憶されている、モデルとその良さのペアを、それぞれ(f1,z1),(f2,z2),…,(fM,zM)と表記する。また、この例では、fが好ましいモデルと類似しているほど、または、fが好ましくないモデルと類似していないほど値の小さくする関数として正則化関数KRが定義されるものとする。
このような正則化関数を用いると、上記に示す式3において、損失関数L(xN,yN,f)の値が同程度であれば、領域知識によりフィットしているモデルが、より良いモデルになることがわかる。
ここで、判別モデルとして線形関数が利用され、モデルが好ましいか否かが二値(zm=±1)で領域知識が与えられている場合には、例えばKRを以下に示す式4のように定義することが可能である。
式4に示す例では、モデル間の類似性を二乗距離で定義し、さらにその類似性を二乗距離の係数zmで定義した。なお、モデルの好ましさを示す値zmが二値でない場合でも、モデル間の類似性を表す関数とzmから決まる係数とを定義することで、一般の判別モデルにおいても同様に正則化関数KRを定義することが可能である。
[第2の知識正則化例]
第2の領域知識例で説明した例のように、領域知識が複数のモデルを比較したことを示す情報として入力されている場合を想定する。この例では、モデルf1=w1 Txおよびモデルf2=w2 Txに対して、モデルf1の方がモデルf2よりも好ましいことを示す領域知識が入力されているとする。この場合、例えばKRを以下に示す式5のように定義することが可能である。
第2の領域知識例で説明した例のように、領域知識が複数のモデルを比較したことを示す情報として入力されている場合を想定する。この例では、モデルf1=w1 Txおよびモデルf2=w2 Txに対して、モデルf1の方がモデルf2よりも好ましいことを示す領域知識が入力されているとする。この場合、例えばKRを以下に示す式5のように定義することが可能である。
式5を利用すると、モデルf1の損失関数L(xN,yN,f1)の値と、モデルf2の損失関数L(xN,yN,f2)の値が同程度あれば、正則化関数の値が小さくなるf1の方がより好ましいモデルとして正しく最適化されることがわかる。
モデル出力装置108は、モデル学習装置103が学習した判別モデル111を出力する。
モデル学習装置103と、知識正則化生成処理部107とは、プログラム(判別モデル学習プログラム)に従って動作するコンピュータのCPUによって実現される。例えば、プログラムは、判別モデル学習装置100の記憶部(図示せず)に記憶され、CPUは、そのプログラムを読み込み、プログラムに従って、モデル学習装置103および知識正則化生成処理部107として動作してもよい。また、モデル学習装置103と、知識正則化生成処理部107とは、それぞれが専用のハードウェアで実現されていてもよい。
入力データ記憶部102と、クエリ候補記憶部104と、領域知識記憶部106は、例えば、磁気ディスク等により実現される。また、データ入力装置101は、キーボードや、他の装置(図示せず)から送信されるデータを受信するインタフェースにより実現される。また、モデル出力装置108は、判別モデルを記憶する記憶部(図示せず)にデータを記憶させるCPUや、判別モデルの学習結果を表示するディスプレイ装置などにより実現される。
次に、第1の実施形態の判別モデル学習装置100の動作を説明する。図2は、本実施形態の判別モデル学習装置100の動作例を示すフローチャートである。まず、データ入力装置101は、入力された入力データ109を入力データ記憶部102に記憶する(ステップS100)。
知識正則化生成処理部107は、領域知識記憶部106に領域知識が記憶されているか否かを確認する(ステップS101)。領域知識記憶部106に領域知識が記憶されている場合(ステップS101におけるYes)、知識正則化生成処理部107は、正則化関数を算出する(ステップS102)。一方、領域知識が記憶されていない場合(ステップS101におけるNo)、または、正則化関数が算出された後、ステップS103以降の処理が行われる。
次に、モデル学習装置103は、判別モデルを学習する(ステップS103)。具体的には、ステップS102において正則化関数が算出された場合、モデル学習装置103は、算出された正則化関数を利用して判別モデルを学習する。一方、ステップS101において、領域知識記憶部106に領域知識が記憶されていないと判断された場合、モデル学習装置103は、正則化関数を用いることなく通常の判別モデルを学習する。そして、モデル学習装置103は、学習した判別モデルをクエリ候補としてクエリ候補記憶部104に記憶する(ステップS104)。
次に、領域知識を入力するか否かの判断が行われる(ステップS105)。この判断処理は、例えば、ユーザ等による指示があったか否かに基づいて行われてもよく、新たなクエリ候補がクエリ候補記憶部104に記憶されたことを条件に行われてもよい。ただし、領域知識を入力するか否かの判断は、上記内容に限定されない。
ステップS105において、領域知識を入力すると判断された場合(ステップS105におけるYes)、領域知識入力装置105は、クエリ候補記憶部104から領域知識を付加すべきクエリの候補を表す情報を読み取って出力する。領域知識入力装置105は、例えば、ユーザ等により領域知識110が入力されると、入力された領域知識を領域知識記憶部106に記憶する(ステップS106)。領域知識が入力されると、正則化関数を算出し、領域知識が入力されるまでのステップS102からステップS106の処理が繰り返される。
一方、ステップS105において、領域知識を入力しないと判断された場合(ステップS105におけるNo)、モデル出力装置108は、領域知識の入力が完了したと判断し、判別モデル111を出力して(ステップS107)、処理を終了する。
以上のように、本実施形態によれば、知識正則化生成処理部107が、クエリの候補に付与される領域知識に基づいて正則化関数を生成し、モデル学習装置103が判別モデルごとに予め定められた損失関数および正則化関数を用いて定義される関数を最適化することにより判別モデルを学習する。よって、データへのフィッティングを保ちつつ、領域知識を反映した判別モデルを効率的に学習できる。
すなわち、本実施形態の判別モデル学習装置は、領域知識を判別モデルの学習へ反映させることで、領域知識と合致する判別モデルを得ることができる。具体的には、データに対する判別精度と、ユーザの知識や意図に基づいて生成される正則化条件とを同時に最適化することで、領域知識を反映しつつ高い精度をもつ判別モデルを学習することが可能になる。また、本実施形態の判別モデル学習装置では、モデルに対する知識や意図を入力するため、属性の抽出などを個別に行う場合と比較して、効率的に領域知識を判別モデルへ反映することができる。
[第2の実施形態]
次に、本発明による判別モデル学習装置の第2の実施形態を説明する。本実施形態の判別モデル学習装置は、モデルに対して入力された領域知識から後述するモデルプリファレンスを学習することにより正則化関数を生成する点において第1の実施形態と異なる。
次に、本発明による判別モデル学習装置の第2の実施形態を説明する。本実施形態の判別モデル学習装置は、モデルに対して入力された領域知識から後述するモデルプリファレンスを学習することにより正則化関数を生成する点において第1の実施形態と異なる。
図3は、本発明による判別モデル学習装置の第2の実施形態の構成例を示すブロック図である。本実施形態の判別モデル学習装置200は、第1の実施形態と比較して、判別モデル学習装置にモデルプリファレンス学習装置201が含まれ、知識正則化生成処理部107が、知識正則化生成処理部202に置き換わっている点で相違する。以下、第1の実施形態と同様の構成については、図1と同一の符号を付し、説明を省略する。
第1の実施形態では、正則化項として用いるために領域知識を入力することで、データへのフィッティングと領域知識の反映とを同時に効率よく実現した。一方、適切な正則化を実現するためには、多数の領域知識を入力することが必要である。
そこで、第2の実施形態の判別モデル学習装置200は、入力された領域知識に基づいて領域知識を表す関数(以下、モデルプリファレンスと記す。)を学習する。そして、判別モデル学習装置200が学習したモデルプリファレンスを正則化に利用することで、入力される領域知識が少ない場合であっても、適切に正則化関数を生成することを可能とする。
モデルプリファレンス学習装置201は、領域知識に基づいてモデルプリファレンスを学習する。以降、モデルプリファレンスを、モデルfの関数g(f)として表記する。例えば、モデルが好ましいかどうかを示す二値で領域知識が与えられる場合、モデルプリファレンス学習装置201は、ロジスティック回帰モデルやサポートベクトルマシンなどの判別モデルとしてg(f)を学習できる。
知識正則化生成処理部202は、学習されたモデルプリファレンスを利用して正則化関数を生成する。正則化関数は、例えば、モデルプリファレンス関数g(f)の値が大きい(すなわち、モデルfがモデルとしてより良いと推定される)ほど、最適になりやすい性質を有する任意の関数として構成される。
例として、モデルfが線形関数f(x)=wTxで定義され、関数gが線形関数g(f)=vTwで定義される場合を想定する。ここで、vは、モデルプリファレンスの重み関数であり、モデルプリファレンス学習装置201で最適化されているパラメータである。この場合、正則化関数RKを、例えば、RK=log(1+exp(-g(f)))のような関数で定義できる。
なお、モデルプリファレンス学習装置201と、知識正則化生成処理部202とは、プログラム(判別モデル学習プログラム)に従って動作するコンピュータのCPUによって実現される。また、モデルプリファレンス学習装置201と、知識正則化生成処理部202とは、それぞれが専用のハードウェアで実現されていてもよい。
次に、第2の実施形態の判別モデル学習装置200の動作を説明する。図4は、本実施形態の判別モデル学習装置200の動作例を示すフローチャートである。なお、入力データ109が入力され、生成された判別モデルがクエリ候補記憶部104に記憶されてから領域知識が入力されるステップS100からステップS106までの処理は、図2に例示する処理と同様である。
モデルプリファレンス学習装置201は、領域知識記憶部106に記憶された領域知識に基づいてモデルプリファレンスを学習する(ステップS201)。そして、知識正則化生成処理部202は、学習されたモデルプリファレンスを利用して正則化関数を生成する(ステップS202)。
以上のように、本実施形態によれば、モデルプリファレンス学習装置201が、領域知識に基づいてモデルプリファレンスを学習し、知識正則化生成処理部202が、学習されたモデルプリファレンスを利用して正則化関数を生成する。そのため、第1の実施形態の効果に加え、入力される領域知識が少ない場合であっても、適切に正則化関数を生成することができる。
[第3の実施形態]
次に、本発明による判別モデル学習装置の第3の実施形態を説明する。本実施形態では、クエリ候補の作成方法を工夫することで、利用者が効果的に領域知識を入力できるようにする。
次に、本発明による判別モデル学習装置の第3の実施形態を説明する。本実施形態では、クエリ候補の作成方法を工夫することで、利用者が効果的に領域知識を入力できるようにする。
図5は、本発明による判別モデル学習装置の第3の実施形態の構成例を示すブロック図である。本実施形態の判別モデル学習装置300は、第1の実施形態と比較して、クエリ候補生成装置301が含まれている点で相違する。以下、第1の実施形態と同様の構成については、図1と同一の符号を付し、説明を省略する。
第1の実施形態および第2の実施形態では、クエリ候補記憶部104に記憶されているクエリ候補に対して領域知識を付与し、付与された領域知識に基づいて生成された正則化項を判別モデルの学習に用いることで、データへのフィッティングと領域知識の反映とを同時に効率よく実現した。なお、この場合、クエリ候補が適切に生成されていることが前提になる。
本実施形態では、適切なクエリ候補がクエリ候補記憶部104に記憶されていない場合に、領域知識を獲得するコストが高くなること、または、多数の領域知識の入力が必要になることを抑制する方法を説明する。
クエリ候補生成装置301は、以下に示す2つの性質の少なくとも片方の性質を満たすようにクエリ候補を生成し、クエリ候補記憶部104へ記憶する。第一の性質は、領域知識の入力者にとって理解可能なモデルであることである。第二の性質は、クエリ候補の中で判別性能が有意(significance)に低くないことである。
クエリ候補生成装置301が第一の性質を満たすようにクエリ候補を生成する場合、クエリ候補に対して領域知識を獲得するコストを下げるという効果を有する。ここで、領域知識を獲得するコストが高くなる問題点の例を線形判別モデルを例に説明する。
f(x)=wTxは一般的にはD次元の線形結合として表現されている。ここで、100次元のデータ(D=100)について、あるモデルの重みベクトルの候補値w’をクエリとして問い合わせることを想定する。この場合、領域知識の入力者は、100次元ベクトルについてのw’を確認する必要があるため、領域知識を入力するコストが高くなる。
一般的には、線形の場合でも、例えば、決定木のような非線形判別モデルでも、モデルで利用される入力属性が少数であれば、モデルの確認が容易である。この場合、領域知識を入力するコストを低く抑えることができる。すなわち、領域知識の入力者にとって理解可能なモデルにすることができる。
そこで、クエリ候補生成装置301は、第一の性質を満たすクエリ候補(すなわち、ユーザに付与させる領域知識を軽減させるクエリ候補)を、以下の二つの手順で生成する。まず、第一の手順として、クエリ候補生成装置301は、入力データにおけるD次元の入力属性うち、少数の入力属性の組み合わせを任意の方法によって列挙する。このとき、クエリ候補生成装置301は、全ての属性の組み合わせを列挙する必要はなく、クエリ候補として生成したい数だけ属性を列挙すればよい。クエリ候補生成装置301は、例えば、D次元の属性から2つの属性だけを抽出する。
次に、第二の手順として、クエリ候補生成装置301は、列挙された組み合わせそれぞれに対して、その少数の入力属性のみを利用したクエリ候補を学習する。このとき、クエリ候補生成装置301は、クエリ候補の学習方法として、任意の方法を利用することができる。クエリ候補生成装置301は、例えば、モデル学習装置103が正則化関数KRを除外して判別モデルを学習する方法と同一の方法を利用してクエリ候補を学習してもよい。
次に、第二の性質について説明する。クエリ候補生成装置301が第二の性質を満たすようにクエリ候補を生成する場合、無駄なクエリ候補を除外し、領域知識の入力回数を減らすことができるという効果を有する。
本発明のモデル学習装置は、領域知識だけでなくデータへのフィッティングも同時に考慮して判別モデルを最適化する。そのため、例えば、上記の式3で表される最適化問題を最適化する場合、データへのフィッティング(損失関数L(xN,yN,f))も最適化されるため、判別精度の低いモデルは選ばれない事になる。したがって、判別精度の有意に低いモデルをクエリ候補とし、そのクエリ候補に領域知識を付与したとしても、そのクエリはモデル探索空間の外の点であるため、無駄なクエリになってしまう。
そこで、クエリ候補生成装置301は、第二の性質を満たすクエリ候補(すなわち、複数のクエリの中から判別精度が有意に低いクエリを削除したクエリ候補)を、以下の二つの手順で生成する。まず、第一の手順として、複数のクエリ候補を任意の方法によって生成する。クエリ候補生成装置301は、例えば、第一の性質を満たすクエリ候補を生成する方法と同一の方法を用いてクエリ候補を生成してもよい。
次に、第二の手順として、クエリ候補生成装置301は、生成されたクエリ候補の判別精度を算出する。そして、クエリ候補生成装置301は、クエリの候補の精度が有意に低いか否かを判定し、有意に低いと判定したクエリをクエリ候補から削除する。なお、クエリ候補生成装置301は、有意性について、例えば、最も精度の高いクエリ候補中のモデルから精度が悪化した度合いを算出し、その度合いを予め設定された閾値(または、データから算出された閾値)と比較することによって判定してもよい。
このように、本実施形態では、クエリ候補生成装置によって適切なクエリ候補が生成される。そのため、モデル学習装置103は、学習した判別モデルをクエリ候補記憶部104に記憶してもよく、また、記憶しなくてもよい。
なお、クエリ候補生成装置301は、プログラム(判別モデル学習プログラム)に従って動作するコンピュータのCPUによって実現される。また、クエリ候補生成装置301が専用のハードウェアで実現されていてもよい。
次に、第3の実施形態の判別モデル学習装置300の動作を説明する。図6は、本実施形態の判別モデル学習装置300の動作例を示すフローチャートである。図6に例示するフローチャートには、図2に例示するフローチャートに記載された処理に、入力データに基づいてクエリ候補が生成されるステップS301の処理および処理の終了判定においてクエリ候補を追加するか否かが判定されるステップS302の処理が追加されている。
具体的には、データ入力装置101が入力された入力データ109を入力データ記憶部102に記憶させると(ステップS100)、クエリ候補生成装置301は、入力データ109を利用してクエリ候補を生成する(ステップS301)。生成されたクエリ候補は、クエリ候補記憶部104へ記憶される。
また、ステップS105において、領域知識を入力しないと判断された場合(ステップS105におけるNo)、クエリ候補生成装置301は、クエリ候補を追加するか否かを判定する(ステップS302)。なお、クエリ候補生成装置301は、例えば、ユーザ等の指示に応じて、クエリ候補を追加するか否か判定してもよく、予め定めた数のクエリが生成されたか否かに基づいて、クエリ候補を追加するか否か判定してもよい。
クエリ候補を追加すると判定した場合(ステップS302におけるYes)、クエリ候補生成装置301は、クエリ候補を生成するステップS301の処理を繰り返す。一方、クエリ候補を追加しないと判定した場合(ステップS302におけるNo)、モデル出力装置108は、領域知識の入力が完了したと判断し、判別モデル111を出力して(ステップS107)、処理を終了する。
なお、上述するように、本実施形態では、クエリ候補生成装置によって適切なクエリ候補が生成される。そのため、図6に例示するステップS104の処理(すなわち、学習した判別モデルをクエリ候補記憶部104に記憶する処理)は、実行されてもよく、また、実行されなくてもよい。
以上のように、本実施形態によれば、クエリ候補生成装置301が、入力者に付与させる領域知識を軽減させたクエリ候補、または、複数のクエリの中から判別精度が有意に低いクエリを削除したクエリ候補を生成する。具体的には、クエリ候補生成装置301が、入力データを示す属性から予め定めた数の属性を抽出し、抽出した属性からクエリ候補を生成する。または、クエリ候補生成装置301が、複数のクエリ候補の判別精度を算出し、算出した判別精度が有意に低いクエリをクエリ候補から削除する。
よって、第1の実施形態および第2の実施形態の効果に加え、適切なクエリ候補が存在しない場合であっても、領域知識を獲得するコストが高くなること、または、多数の領域知識の入力が必要になることを抑制できる。
[第4の実施形態]
次に、本発明による判別モデル学習装置の第4の実施形態を説明する。本実施形態では、領域知識を付与させるクエリ候補(すなわち、利用者に対して入力させる質問)を最適化することで、利用者が効果的に領域知識を入力できるようにする。
次に、本発明による判別モデル学習装置の第4の実施形態を説明する。本実施形態では、領域知識を付与させるクエリ候補(すなわち、利用者に対して入力させる質問)を最適化することで、利用者が効果的に領域知識を入力できるようにする。
図7は、本発明による判別モデル学習装置の第4の実施形態の構成例を示すブロック図である。本実施形態の判別モデル学習装置400は、第1の実施形態と比較して、最適クエリ生成装置401が含まれている点で相違する。以下、第1の実施形態と同様の構成については、図1と同一の符号を付し、説明を省略する。
第1~3の実施形態では、領域知識入力装置105がクエリ候補記憶部104から領域知識を付加すべきクエリ候補を任意の方法で選択していた。しかし、より効率的に領域知識を入力するためには、クエリ候補記憶部104に記憶されているクエリ候補の中から、何らかの基準によって最も適切なクエリを選択することが重要である。
そこで、最適クエリ生成装置401は、クエリによって学習される判別モデルの不確実性が最小になるクエリ集合をクエリ候補記憶部104から選択して出力する。
図8は、最適クエリ生成装置401の構成例を示すブロック図である。最適クエリ生成装置401は、クエリ候補抽出処理部411と、不確実性算出処理部412と、最適クエリ判定処理部413とを含む。
クエリ候補抽出処理部411は、クエリ候補記憶部104に記憶されている、領域知識が付加されていないクエリ候補を1つ以上、任意の方法で抽出する。例えば、クエリ候補として領域知識を付加すべきモデルを1つ出力する場合、クエリ候補抽出処理部411は、クエリ候補記憶部104に記憶されている候補を1つずつ順番に抽出してもよい。
また、例えば、クエリ候補として領域知識を付加すべきモデルを2つ以上出力する場合、クエリ候補抽出処理部411は、1つ出力する場合と同様、全ての組み合わせの候補を順番に抽出してもよい。また、クエリ候補抽出処理部411は、任意の探索アルゴリズムを用いて組み合わせの候補を抽出してもよい。以下、抽出されたクエリ候補に対応するモデルをf’1~f’Kとする。ただし、Kは、抽出されたクエリ候補の個数である。
不確実性算出処理部412は、f’1~f’Kに領域知識が与えられた場合の、モデルの不確実性を算出する。不確実性算出処理部412は、モデルの不確実性として、モデルによる推定がどの程度不確実であるかを表す任意の指標を利用することが可能である。例えば、非特許文献4の第3章「Query Strategy Frameworks 」には、“least confidence”,“margin sampling measure ”,“entropy ”,“vote entropy”,“average Kulback-Leibler divergence”,“expected model change ”,“expected error”,“model variance”,“Fisher information score”など、様々な指標が記載されている。不確実性算出処理部412は、これらの指標を不確実性の指標として利用してもよい。ただし、不確実性の指標は、非特許文献4に記載された指標に限定されない。
なお、非特許文献4に記載された不確実性の評価方法では、判別モデルを学習するために必要なデータがモデルの推定に与える不確実性を評価する。一方、本実施形態では、モデル自体の良さを問い合わせ、領域知識を得ることでクエリ候補がモデルの推定に与える不確実性を評価する点で本質的に異なっている。
最適クエリ判定処理部413は、不確実性の最も大きいクエリ候補、または不確実性の大きい候補の集合(すなわち、2つ以上のクエリ候補)を選択する。そして、最適クエリ判定処理部413は、選択したクエリ候補を領域知識入力装置105に入力する。
なお、最適クエリ生成装置401(より具体的には、クエリ候補抽出処理部411と、不確実性算出処理部412と、最適クエリ判定処理部413)は、プログラム(判別モデル学習プログラム)に従って動作するコンピュータのCPUによって実現される。また、最適クエリ生成装置401(より具体的には、クエリ候補抽出処理部411と、不確実性算出処理部412と、最適クエリ判定処理部413)が専用のハードウェアで実現されていてもよい。
次に、第4の実施形態の判別モデル学習装置400の動作を説明する。図9は、本実施形態の判別モデル学習装置400の動作例を示すフローチャートである。図9に例示するフローチャートには、図2に例示するフローチャートに記載された処理に、モデル候補に対する質問を生成するステップS401の処理が追加されている。
具体的には、ステップS105において、領域知識を入力すると判断された場合(ステップS105におけるYes)、最適クエリ生成装置401は、モデル候補に対する質問を生成する(ステップS401)。すなわち、最適クエリ生成装置401は、ユーザ等に領域知識を付与させる対象のクエリ候補を生成する。
図10は、最適クエリ生成装置401の動作例を示すフローチャートである。クエリ候補抽出処理部411は、入力データ記憶部102、クエリ候補記憶部104および領域知識記憶部106にそれぞれ記憶されているデータを入力し(ステップS411)、クエリの候補を抽出する(ステップS412)。
不確実性算出処理部412は、抽出されたクエリ候補ごとに不確実性を示す指標を算出する(ステップS413)。最適クエリ判定処理部413は、不確実性の最も大きいクエリ候補、またはクエリ候補の集合(例えば、2つ以上のクエリ候補)を選択する(ステップS414)。
最適クエリ判定処理部413は、クエリ候補をさらに追加するか否かを判断する(ステップS415)。追加すると判断された場合(ステップS415におけるYes)、ステップS412以降の処理が繰り返される。一方、追加しないと判断された場合(ステップS415におけるNo)、最適クエリ判定処理部413は、選択された候補をまとめて領域知識入力装置105に出力する(ステップS416)。
以上のように、本実施形態によれば、最適クエリ生成装置401が、領域知識が付与された場合に、学習される判別モデルの不確実性が小さくなるクエリを、クエリ候補の中から抽出する。言い換えると、最適クエリ生成装置401が、領域知識が付与された場合に、その領域知識が付与されたクエリを利用して推定される判別モデルの不確実性が小さくなるクエリを、クエリ候補の中から抽出する。
具体的には、最適クエリ生成装置401は、学習される判別モデルの不確実性が最も高い、または、高い方から予め定められた数のクエリをクエリ候補の中から抽出する。不確実性が高いクエリに対して領域知識が付与されることにより、学習される判別モデルの不確実性が小さくなるからである。
そのため、領域知識を反映させた判別モデルを生成する場合に、その領域知識を付与すべき最適なクエリを生成できる。したがって、このように最適なクエリを抽出することにより、領域知識入力装置105が、最適クエリ生成装置401が抽出したクエリに対するユーザからの領域知識の入力を受け付けることができる。よって、不確実性の大きいクエリ候補に対して領域知識を付与することで、領域知識に基づく正則化項の推定精度を高めることができ、結果として、判別学習の精度を高めることが可能になる。
なお、第2の実施形態の判別モデル学習装置200および第4の実施形態の判別モデル学習装置400が、入力データ109からクエリ候補を生成するために、第3の実施形態の判別モデル学習装置300が備えるクエリ候補生成装置301を備えていてもよい。また、第4の実施形態の判別モデル学習装置400が、第2の実施形態のモデルプリファレンス学習装置201を備えていてもよい。この場合、判別モデル学習装置400がモデルプリファレンスを生成できるため、第4の実施形態でも、モデルプリファレンスを利用して正則化関数を算出できる。
次に、本発明の概要を説明する。図11は、本発明による最適クエリ生成装置の概要を示すブロック図である。本発明による最適クエリ生成装置は、ユーザの意図を示す領域知識を付与すべき対象のモデルであるクエリの候補を記憶するクエリ候補記憶手段86(例えば、クエリ候補記憶部104)と、領域知識が付与された場合にその領域知識が付与されたクエリを利用して推定される判別モデルの不確実性が小さくなるクエリを、クエリ候補の中から抽出する最適クエリ抽出手段87(例えば、最適クエリ生成装置401)とを備えている。
そのような構成により、ユーザのモデルに対する知識や分析の意図を示す領域知識を反映させた判別モデルを生成する場合に、その領域知識を付与すべき最適なクエリを生成できる。
また、最適クエリ生成装置は、最適クエリ抽出手段87によって抽出されたクエリに付与される領域知識に基づいて、その領域知識に対する適合性(フィッティング)を示す関数である正則化関数(例えば、正則化関数KR)を生成する正則化関数生成手段(例えば、知識正則化生成処理部107)と、判別モデルごとに予め定められた損失関数(例えば、損失関数L(xN,yN,f))および正則化関数を用いて定義される関数(例えば、上記に示す式3で表される最適化問題)を最適化することにより判別モデルを学習するモデル学習手段(例えば、モデル学習装置103)とを備えていてもよい。
そのような構成により、データへのフィッティングを保ちつつ、ユーザのモデルに対する知識や分析の意図を示す領域知識を反映した判別モデルを効率的に学習できる。
また、最適クエリ生成装置は、ユーザに付与させる領域知識を軽減させたクエリ候補、または、複数のクエリの中から判別精度が有意に低いクエリを削除したクエリ候補を生成するクエリ候補生成手段(例えば、クエリ候補生成装置301)を備えていてもよい。そして、最適クエリ抽出手段87は、クエリ候補の中から判別モデルの不確実性が小さくなるクエリを抽出してもよい。
そのような構成により、適切なクエリ候補が存在しない場合であっても、領域知識を獲得するコストが高くなること、または、多数の領域知識の入力が必要になることを抑制できる。
また、最適クエリ生成装置は、最適クエリ抽出手段87によって抽出されたクエリに付与される領域知識に基づいて、その領域知識を表す関数であるモデルプリファレンスを学習するモデルプリファレンス学習手段(例えば、モデルプリファレンス学習装置201)を備えていてもよい。そして、正則化関数生成手段は、モデルプリファレンスを利用して正則化関数を生成してもよい。
そのような構成により、入力される領域知識が少ない場合であっても、適切に正則化関数を生成することが可能になる。
以上、実施形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、2012年2月8日に出願された米国仮特許出願第61/596,317号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
本発明は、ユーザの意図を示す領域知識を付与すべき対象のモデルであるクエリを最適に生成する最適クエリ生成装置に好適に適用される。
100,200,300,400 判別モデル学習装置
101 データ入力装置
102 入力データ記憶部
103 モデル学習装置
104 クエリ候補記憶部
105 領域知識入力装置
106 領域知識記憶部
107,202 知識正則化生成処理部
108 モデル出力装置
201 モデルプリファレンス学習装置
301 クエリ候補生成装置
401 最適クエリ生成装置
411 クエリ候補抽出処理部
412 不確実性算出処理部
413 最適クエリ判定処理部
101 データ入力装置
102 入力データ記憶部
103 モデル学習装置
104 クエリ候補記憶部
105 領域知識入力装置
106 領域知識記憶部
107,202 知識正則化生成処理部
108 モデル出力装置
201 モデルプリファレンス学習装置
301 クエリ候補生成装置
401 最適クエリ生成装置
411 クエリ候補抽出処理部
412 不確実性算出処理部
413 最適クエリ判定処理部
Claims (8)
- ユーザの意図を示す領域知識を付与すべき対象のモデルであるクエリの候補を記憶するクエリ候補記憶手段と、
前記領域知識が付与された場合に当該領域知識が付与された前記クエリを利用して推定される判別モデルの不確実性が小さくなるクエリを、前記クエリ候補の中から抽出する最適クエリ抽出手段とを備えた
ことを特徴とする最適クエリ生成装置。 - 最適クエリ抽出手段によって抽出されたクエリに付与される領域知識に基づいて、当該領域知識に対する適合性を示す関数である正則化関数を生成する正則化関数生成手段と、
判別モデルごとに予め定められた損失関数および前記正則化関数を用いて定義される関数を最適化することにより判別モデルを学習するモデル学習手段とを備えた
請求項1記載の最適クエリ生成装置。 - ユーザに付与させる領域知識を軽減させたクエリ候補、または、複数のクエリの中から判別精度が有意に低いクエリを削除したクエリ候補を生成するクエリ候補生成手段を備え、
最適クエリ抽出手段は、前記クエリ候補の中から判別モデルの不確実性が小さくなるクエリを抽出する
請求項1記載の最適クエリ生成装置。 - 最適クエリ抽出手段によって抽出されたクエリに付与される領域知識に基づいて、当該領域知識を表す関数であるモデルプリファレンスを学習するモデルプリファレンス学習手段を備え、
正則化関数生成手段は、前記モデルプリファレンスを利用して正則化関数を生成する
請求項2記載の最適クエリ生成装置。 - ユーザの意図を示す領域知識を付与すべき対象のモデルであるクエリの候補の中から、前記領域知識が付与された場合に当該領域知識が付与された前記クエリを利用して推定される判別モデルの不確実性が小さくなるクエリを抽出する
ことを特徴とする最適クエリ抽出方法。 - 請求項5記載の最適クエリ抽出方法によって抽出されたクエリに付与される領域知識に基づいて、当該領域知識に対する適合性を示す関数である正則化関数を生成し、
判別モデルごとに予め定められた損失関数および前記正則化関数を用いて定義される関数を最適化することにより判別モデルを学習する
ことを特徴とする判別モデル学習方法。 - コンピュータに、
ユーザの意図を示す領域知識を付与すべき対象のモデルであるクエリの候補の中から、前記領域知識が付与された場合に当該領域知識が付与された前記クエリを利用して推定される判別モデルの不確実性が小さくなるクエリを抽出する最適クエリ抽出処理
を実行させるための最適クエリ抽出プログラム。 - 請求項7記載の最適クエリ抽出プログラムを実行させるコンピュータに適用される判別モデル学習プログラムであって、
前記コンピュータに、
最適クエリ抽出手段によって抽出されたクエリに付与される領域知識に基づいて、当該領域知識に対する適合性を示す関数である正則化関数を生成する正則化関数生成処理、および、
判別モデルごとに予め定められた損失関数および前記正則化関数を用いて定義される関数を最適化することにより判別モデルを学習するモデル学習処理
を実行させるための判別モデル学習プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013557256A JP6052187B2 (ja) | 2012-02-08 | 2012-12-11 | 最適クエリ生成装置、最適クエリ抽出方法および判別モデル学習方法 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201261596317P | 2012-02-08 | 2012-02-08 | |
US61/596,317 | 2012-02-08 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2013118225A1 true WO2013118225A1 (ja) | 2013-08-15 |
Family
ID=48903795
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2012/007900 WO2013118225A1 (ja) | 2012-02-08 | 2012-12-11 | 最適クエリ生成装置、最適クエリ抽出方法および判別モデル学習方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20130204811A1 (ja) |
JP (1) | JP6052187B2 (ja) |
WO (1) | WO2013118225A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020241009A1 (ja) * | 2019-05-31 | 2020-12-03 | 株式会社エヌ・ティ・ティ・データ | 予測装置、学習装置、予測方法、及びプログラム |
CN113609827A (zh) * | 2021-08-09 | 2021-11-05 | 海南大学 | 基于意图驱动的dikw的内容处理方法及*** |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10437843B2 (en) * | 2014-07-29 | 2019-10-08 | Microsoft Technology Licensing, Llc | Optimization of database queries via transformations of computation graph |
US10169433B2 (en) | 2014-07-29 | 2019-01-01 | Microsoft Technology Licensing, Llc | Systems and methods for an SQL-driven distributed operating system |
US10176236B2 (en) | 2014-07-29 | 2019-01-08 | Microsoft Technology Licensing, Llc | Systems and methods for a distributed query execution engine |
US10042845B2 (en) * | 2014-10-31 | 2018-08-07 | Microsoft Technology Licensing, Llc | Transfer learning for bilingual content classification |
KR101903522B1 (ko) * | 2015-11-25 | 2018-11-23 | 한국전자통신연구원 | 다차원 건강데이터에 대한 유사사례 검색 방법 및 그 장치 |
US11263275B1 (en) | 2017-04-03 | 2022-03-01 | Massachusetts Mutual Life Insurance Company | Systems, devices, and methods for parallelized data structure processing |
US10453444B2 (en) * | 2017-07-27 | 2019-10-22 | Microsoft Technology Licensing, Llc | Intent and slot detection for digital assistants |
CN109460458B (zh) * | 2018-10-29 | 2020-09-29 | 清华大学 | 查询改写意图的预测方法及装置 |
JP7338493B2 (ja) * | 2020-01-29 | 2023-09-05 | トヨタ自動車株式会社 | エージェント装置、エージェントシステム及びプログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005091214A1 (ja) * | 2004-03-18 | 2005-09-29 | Denso It Laboratory, Inc. | 車両用情報処理システム、車両用情報処理方法およびプログラム |
JP2007219955A (ja) * | 2006-02-17 | 2007-08-30 | Fuji Xerox Co Ltd | 質問応答システム、質問応答処理方法及び質問応答プログラム |
WO2008114863A1 (ja) * | 2007-03-22 | 2008-09-25 | Nec Corporation | 診断装置 |
WO2011033744A1 (ja) * | 2009-09-15 | 2011-03-24 | 日本電気株式会社 | 画像処理装置、画像処理方法および画像処理用プログラム |
JP2011248740A (ja) * | 2010-05-28 | 2011-12-08 | Nec Corp | データ出力装置、データ出力方法およびデータ出力プログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20050007306A (ko) * | 2002-04-19 | 2005-01-17 | 컴퓨터 어소시에이츠 싱크, 인코포레이티드 | 혼합형 수치 및/또는 비수치 데이터의 처리 |
US20070156887A1 (en) * | 2005-12-30 | 2007-07-05 | Daniel Wright | Predicting ad quality |
US8832006B2 (en) * | 2012-02-08 | 2014-09-09 | Nec Corporation | Discriminant model learning device, method and program |
-
2012
- 2012-05-31 US US13/485,257 patent/US20130204811A1/en not_active Abandoned
- 2012-12-11 WO PCT/JP2012/007900 patent/WO2013118225A1/ja active Application Filing
- 2012-12-11 JP JP2013557256A patent/JP6052187B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005091214A1 (ja) * | 2004-03-18 | 2005-09-29 | Denso It Laboratory, Inc. | 車両用情報処理システム、車両用情報処理方法およびプログラム |
JP2007219955A (ja) * | 2006-02-17 | 2007-08-30 | Fuji Xerox Co Ltd | 質問応答システム、質問応答処理方法及び質問応答プログラム |
WO2008114863A1 (ja) * | 2007-03-22 | 2008-09-25 | Nec Corporation | 診断装置 |
WO2011033744A1 (ja) * | 2009-09-15 | 2011-03-24 | 日本電気株式会社 | 画像処理装置、画像処理方法および画像処理用プログラム |
JP2011248740A (ja) * | 2010-05-28 | 2011-12-08 | Nec Corp | データ出力装置、データ出力方法およびデータ出力プログラム |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020241009A1 (ja) * | 2019-05-31 | 2020-12-03 | 株式会社エヌ・ティ・ティ・データ | 予測装置、学習装置、予測方法、及びプログラム |
CN113609827A (zh) * | 2021-08-09 | 2021-11-05 | 海南大学 | 基于意图驱动的dikw的内容处理方法及*** |
CN113609827B (zh) * | 2021-08-09 | 2023-05-26 | 海南大学 | 基于意图驱动的dikw的内容处理方法及*** |
Also Published As
Publication number | Publication date |
---|---|
JP6052187B2 (ja) | 2016-12-27 |
US20130204811A1 (en) | 2013-08-08 |
JPWO2013118225A1 (ja) | 2015-05-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5327415B1 (ja) | 判別モデル学習装置、判別モデル学習方法および判別モデル学習プログラム | |
JP6052187B2 (ja) | 最適クエリ生成装置、最適クエリ抽出方法および判別モデル学習方法 | |
KR102153920B1 (ko) | 정제된 인공지능 강화학습 데이터 생성을 통한 의료영상 판독 시스템 및 그 방법 | |
CN111613339B (zh) | 一种基于深度学习的相似病历查找方法与*** | |
JP7522167B2 (ja) | モデル支援コホート選択を行うシステム及び方法 | |
US11580459B2 (en) | Systems and methods for extracting specific data from documents using machine learning | |
US7107254B1 (en) | Probablistic models and methods for combining multiple content classifiers | |
CN111402979B (zh) | 病情描述与诊断一致性检测方法及装置 | |
JP2015087903A (ja) | 情報処理装置及び情報処理方法 | |
EP3867830A1 (en) | Adapting prediction models | |
CN109155152B (zh) | 临床报告检索和/或比较 | |
US20220351634A1 (en) | Question answering systems | |
CN116682557A (zh) | 一种基于小样本深度学习的慢性病并发症早期风险预警方法 | |
EP3832485A1 (en) | Question answering systems | |
Vieira et al. | Main concepts in machine learning | |
CN116805533A (zh) | 一种基于数据收集与模拟的脑出血手术风险预测*** | |
CN113836321B (zh) | 一种医学知识表示的生成方法和装置 | |
Özkan et al. | Effect of data preprocessing on ensemble learning for classification in disease diagnosis | |
Arjaria et al. | Performances of Machine Learning Models for Diagnosis of Alzheimer’s Disease | |
CN116719840A (zh) | 一种基于病历后结构化处理的医疗信息推送方法 | |
Usha et al. | Feature Selection Techniques in Learning Algorithms to Predict Truthful Data | |
CN112309571A (zh) | 数字病理图像的预后量化特征的筛选方法 | |
Soğukkuyu et al. | Classification of melanonychia, Beau’s lines, and nail clubbing based on nail images and transfer learning techniques | |
Westphal | Model Selection and Evaluation in Supervised Machine Learning | |
Singh et al. | Detection of autism spectrum disorder using multi‐scale enhanced graph convolutional network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 12868234 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2013557256 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 12868234 Country of ref document: EP Kind code of ref document: A1 |