JP2018195231A - Learning model creation device, learning model creation method, and learning model creation program - Google Patents
Learning model creation device, learning model creation method, and learning model creation program Download PDFInfo
- Publication number
- JP2018195231A JP2018195231A JP2017100566A JP2017100566A JP2018195231A JP 2018195231 A JP2018195231 A JP 2018195231A JP 2017100566 A JP2017100566 A JP 2017100566A JP 2017100566 A JP2017100566 A JP 2017100566A JP 2018195231 A JP2018195231 A JP 2018195231A
- Authority
- JP
- Japan
- Prior art keywords
- learning model
- unit
- extraction unit
- feature amount
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
本発明は、機械学習の学習モデルを作成する学習モデル作成装置、学習モデル作成方法および学習モデル作成プログラムに関する。 The present invention relates to a learning model creation device, a learning model creation method, and a learning model creation program for creating a machine learning learning model.
機械学習は、学習データを反復的に学習することで学習モデルを人手を介さずに自動的に生成し、この生成した学習モデルを用いて学習データを分類でき、あるいは、未知のデータの分類を予測できることから、様々な分野に応用され、研究、開発されている。特に、近年では、画像認識の認識精度が高いこと等から、畳み込みニューラルネットワーク(Convolutional Neural Network、以下、「CNN」と適宜に略記する)に代表される深層学習(ディープラーニング、Deep Learning)が注目され、研究、開発されている。 Machine learning automatically generates learning models without human intervention by iteratively learning learning data, and can classify learning data using this generated learning model, or classify unknown data. Because it can be predicted, it has been applied to various fields, researched and developed. In particular, in recent years, due to the high recognition accuracy of image recognition, etc., deep learning (Deep Learning) represented by a convolutional neural network (hereinafter abbreviated as “CNN” as appropriate) is attracting attention. Has been researched and developed.
このような機械学習では、学習モデルの生成には、学習データを反復的に学習するため、膨大な演算コスト(計算コスト)がかかってしまう。また、この生成した学習モデルを用いて未知のデータを分析する際でも、学習モデルが大きいと、それだけ演算コストがかかってしまう。特に、近年では、深層学習における学習モデルの層数が増大し、1000層に及ぶ学習モデルも出現している。このため、学習モデルの冗長な情報を取り除くことで学習モデルを適正化する手法が例えば特許文献1に開示されている。
In such machine learning, generation of a learning model involves iterative learning of learning data, and therefore enormous calculation costs (calculation costs) are incurred. Further, even when analyzing unknown data using the generated learning model, if the learning model is large, the calculation cost increases accordingly. In particular, in recent years, the number of learning models in deep learning has increased, and learning models with 1000 layers have also appeared. For this reason, for example,
この特許文献1に開示されたニューラルネットワーク最適化方法は、ニューラルネットワークの構造を最適化する方法であって、(1)ニューラルネットワークの初期構造を第1のニューラルネットワークとして入力するステップと、(2)与えられた第1のニューラルネットワークについて学習データを用いて学習を行うステップであって、評価データを用いて計算される前記第1のニューラルネットワークのコストが最小の第1のコストとなるまで学習を行うステップと、(3)前記第1のニューラルネットワークからランダムにユニットを削除して第2のニューラルネットワークを生成するステップと、(4)前記第2のニューラルネットワークについて学習データを用いて学習を行うステップであって、評価データを用いて計算される前記第2のニューラルネットワークのコストが最小の第2のコストとなるまで学習を行うステップと、(5)前記第1のコストと前記第2のコストとを比較するステップと、(6)前記第2のコストが前記第1のコストより小さいときには、前記第2のニューラルネットワークを前記第1のニューラルネットワーク、前記第2のコストを前記第1のコストとしてステップ(3)〜(5)を行い、前記第1のコストが前記第2のコストより小さいときには、ステップ(3)において異なる第2のニューラルネットワークを生成してステップ(4)(5)を行うステップと、(7)ステップ(6)において、前記第1のコストの方が前記第2のコストより小さいとの判断が所定回数連続したときに、前記第1のニューラルネットワークをニューラルネットワークの最適構造と決定するステップと、(8)前記ニューラルネットワークの最適構造を出力するステップと、を備える。このニューラルネットワーク最適化方法は、特許文献1に依れば、汎化能力を向上させ、計算量を減らしたネットワーク構造を自動決定できる。
The neural network optimization method disclosed in
ところで、特許文献1に開示されたニューラルネットワーク最適化方法は、ニューラルネットワーク(学習モデルの一例)が最適化されているので、このニューラルネットワークを用いる際には、演算コストが低減される。しかしながら、前記特許文献1に開示されたニューラルネットワーク最適化方法は、最適化されたニューラルネットワークを生成するために、第1および第2のニューラルネットワークを生成する学習のステップ(2)および(4)を、ステップ(7)から、複数回実施する必要があり、最適化されたニューラルネットワークの生成では、演算コストが低減できていない。また、前記特許文献1に開示されたニューラルネットワーク最適化方法は、削除対象をランダムに決定し、第2のニューラルネットワークの評価を第1のコストと第2のコストとの比較で行っているため、削除対象がニューラルネットワークの性能に寄与している可能性があり、最適化されたニューラルネットワークの性能が最適化前に較べて劣化してしまう虞がある。
By the way, in the neural network optimization method disclosed in
本発明は、上述の事情に鑑みて為された発明であり、その目的は、学習モデルの性能劣化を抑制しつつ、演算コストを低減できる学習モデル作成装置、学習モデル作成方法および学習モデル作成プログラムを提供することである。 The present invention is an invention made in view of the above-described circumstances, and the object thereof is a learning model creation device, a learning model creation method, and a learning model creation program that can reduce the computation cost while suppressing performance degradation of the learning model. Is to provide.
本発明者は、種々検討した結果、上記目的は、以下の本発明により達成されることを見出した。すなわち、本発明の一態様にかかる学習モデル作成装置は、機械学習の学習モデルを生成する学習モデル作成装置であって、前記学習モデルは、学習によって所定の特徴量を抽出する機能を獲得する複数の特徴量抽出部を備え、学習中の際に、または、学習後の学習モデルを用いて入力サンプルを分析する際に、前記複数の特徴量抽出部の中から冗長な特徴量抽出部を特定する特定部と、前記学習モデルから前記特定部で特定された特徴量抽出部を削除することによって新たな学習モデルを作成するモデル改良部と、前記モデル改良部で作成した新たな学習モデルで、前記学習を継続する、または、前記入力サンプルを分析する学習適用部とを備える。ここで、冗長とは、特徴量抽出部が実質的に同じ特徴量を抽出することを言う。 As a result of various studies, the present inventor has found that the above object is achieved by the present invention described below. That is, a learning model creation device according to an aspect of the present invention is a learning model creation device that generates a learning model for machine learning, and the learning model acquires a plurality of functions for extracting a predetermined feature amount by learning. Feature quantity extraction unit, and during analysis or when analyzing an input sample using a learned model after learning, a redundant feature quantity extraction unit is identified from the plurality of feature quantity extraction units A model improvement unit that creates a new learning model by deleting the feature amount extraction unit specified by the specification unit from the learning model, and a new learning model created by the model improvement unit, A learning application unit that continues the learning or analyzes the input sample. Here, redundancy means that the feature quantity extraction unit extracts substantially the same feature quantity.
このような学習モデル作成装置は、学習中の際に、または、学習後の学習モデルを用いて入力サンプルを分析する際に、複数の特徴量抽出部の中から冗長な特徴量抽出部を特定し、この特定した特徴量抽出部を削除するので、学習モデルの性能劣化を抑制できる。そして、上記学習モデル作成装置は、学習中では、特徴量抽出部の削除によってより小さいサイズの新たな学習モデルで学習を進めるので、学習の演算コストを低減できる。また、上記学習モデル作成装置は、分析の際には、特徴量抽出部の削除によってより小さいサイズの新たな学習モデルで入力サンプルを分析するので、分析の演算コストを低減できる。したがって、上記学習モデル作成装置は、学習モデルの性能劣化を抑制しつつ、演算コストを低減できる。 Such a learning model creation device identifies a redundant feature quantity extraction unit from among a plurality of feature quantity extraction units during learning or when an input sample is analyzed using a learned model after learning. In addition, since the specified feature amount extraction unit is deleted, the performance degradation of the learning model can be suppressed. In addition, during learning, the learning model creation apparatus advances learning with a new learning model having a smaller size by deleting the feature amount extraction unit, so that the computation cost of learning can be reduced. Moreover, since the learning model creation apparatus analyzes the input sample with a new learning model having a smaller size by deleting the feature amount extraction unit at the time of analysis, the calculation cost of the analysis can be reduced. Therefore, the learning model creation apparatus can reduce the calculation cost while suppressing the performance deterioration of the learning model.
他の一態様では、上述の学習モデル作成装置において、前記特定部は、演算コストの削減を優先に、前記冗長な特徴量抽出部を特定する。 In another aspect, in the above-described learning model creation device, the identifying unit identifies the redundant feature amount extracting unit with priority given to reduction in calculation cost.
これによれば、演算コストの削減を優先に前記冗長な特徴量抽出部を特定する学習モデル作成装置が提供できる。 According to this, it is possible to provide a learning model creation device that identifies the redundant feature quantity extraction unit with priority given to reduction in calculation cost.
他の一態様では、上述の学習モデル作成装置において、前記特定部は、学習モデルの性能に寄与する度合いを表す寄与度の低い特徴量抽出部から順に、前記冗長な特徴量抽出部を特定する。好ましくは、上述の学習モデル作成装置において、前記冗長な特徴量抽出部を特定する際に用いられる特定条件の入力を受け付ける入力部をさらに備え、前記特定部は、前記寄与度の低い特徴量抽出部から順に、前記入力部で受け付けた特定条件を満たしている間、前記冗長な特徴量抽出部を特定する。好ましくは、前記特定条件は、前記冗長な特徴量抽出部として特定される特徴量抽出部の個数である削除設定個数である。 In another aspect, in the above-described learning model creation device, the identifying unit identifies the redundant feature amount extracting unit in order from a feature amount extracting unit having a low contribution indicating the degree of contribution to the performance of the learning model. . Preferably, in the above-described learning model creation device, the learning model creation device further includes an input unit that receives an input of a specific condition used when specifying the redundant feature amount extraction unit, and the specification unit extracts the feature amount with a low contribution In order from the part, the redundant feature quantity extraction unit is specified while the specific condition received by the input unit is satisfied. Preferably, the specifying condition is a deletion set number which is the number of feature quantity extracting units specified as the redundant feature quantity extracting unit.
このような学習モデル作成装置は、前記冗長な特徴量抽出部を、寄与度の観点から適切に特定できる。上記学習モデル作成装置では、寄与度の観点から特定するので、演算コストの削減を優先に前記冗長な特徴量抽出部が特定される。 Such a learning model creation apparatus can appropriately identify the redundant feature amount extraction unit from the viewpoint of contribution. In the learning model creation apparatus, the redundant feature quantity extraction unit is specified with priority given to the reduction of the calculation cost since it is specified from the viewpoint of contribution.
他の一態様では、上述の学習モデル作成装置において、前記特定部は、特徴量抽出部間における独立性の度合いを表す独立度の低い特徴量抽出部から順に、前記冗長な特徴量抽出部を特定する。好ましくは、上述の学習モデル作成装置において、前記冗長な特徴量抽出部を特定する際に用いられる特定条件の入力を受け付ける入力部をさらに備え、前記特定部は、前記独立度の低い特徴量抽出部から順に、前記入力部で受け付けた特定条件を満たしている間、前記冗長な特徴量抽出部を特定する。好ましくは、上述の学習モデル作成装置において、前記特定部は、前記複数の特徴量抽出部それぞれについて、当該特徴量抽出部と前記複数の特徴量抽出部から当該特徴量抽出部を除いた残余の特徴量抽出部それぞれとの間で成分同士の差分を求め、この求めた差分の二乗の和を前記独立度として求め、この求めた独立度に基づいて、前記独立度の低い特徴量抽出部から順に、前記冗長な特徴量抽出部を特定する。好ましくは、上述の学習モデル作成装置において、前記冗長な特徴量抽出部を特定する際に用いられる特定条件の入力を受け付ける入力部をさらに備え、前記特定部は、前記複数の特徴量抽出部それぞれについて、当該特徴量抽出部と前記複数の特徴量抽出部から当該特徴量抽出部を除いた残余の特徴量抽出部それぞれとの間で成分同士の差分を求め、この求めた差分の二乗の和を前記独立度として求め、この求めた独立度に基づいて、前記独立度の低い特徴量抽出部から順に、前記入力部で受け付けた特定条件を満たしている間、前記冗長な特徴量抽出部を特定する。好ましくは、前記特定条件は、前記冗長な特徴量抽出部として特定される特徴量抽出部の個数である削除設定個数である。 In another aspect, in the above-described learning model creation device, the specifying unit includes the redundant feature amount extraction unit in order from a feature amount extraction unit having a low degree of independence representing a degree of independence between the feature amount extraction units. Identify. Preferably, in the above-described learning model creation device, the learning model creation device further includes an input unit that receives an input of a specific condition used when specifying the redundant feature amount extraction unit, and the specification unit extracts the feature amount with low independence In order from the part, the redundant feature quantity extraction unit is specified while the specific condition received by the input unit is satisfied. Preferably, in the above-described learning model creation device, the specifying unit includes, for each of the plurality of feature amount extraction units, a residual amount obtained by removing the feature amount extraction unit from the feature amount extraction unit and the plurality of feature amount extraction units. A difference between components is obtained between each of the feature quantity extraction units, a sum of squares of the obtained differences is obtained as the degree of independence, and based on the obtained degree of independence, the feature quantity extraction unit having a low degree of independence is used. In order, the redundant feature amount extraction unit is specified. Preferably, in the above-described learning model creation device, the learning model creation device further includes an input unit that receives an input of a specific condition used when specifying the redundant feature amount extraction unit, and the specification unit includes each of the plurality of feature amount extraction units. The difference between components is obtained between the feature quantity extraction unit and each of the remaining feature quantity extraction units excluding the feature quantity extraction unit from the plurality of feature quantity extraction units, and the sum of the squares of the obtained differences is obtained. As the degree of independence, and based on the obtained degree of independence, in order from the feature amount extraction unit having the lower degree of independence, while the specific condition received by the input unit is satisfied, the redundant feature amount extraction unit is Identify. Preferably, the specifying condition is a deletion set number which is the number of feature quantity extracting units specified as the redundant feature quantity extracting unit.
このような学習モデル作成装置は、前記冗長な特徴量抽出部を、独立度の観点から適切に特定できる。上記学習モデル作成装置では、独立度の観点から特定するので、演算コストの削減を優先に前記冗長な特徴量抽出部が特定される。 Such a learning model creation device can appropriately identify the redundant feature quantity extraction unit from the viewpoint of independence. In the learning model creation apparatus, the redundant feature quantity extraction unit is specified with priority given to the reduction of the calculation cost because it is specified from the viewpoint of independence.
他の一態様では、上述の学習モデル作成装置において、前記特定部は、前記複数の特徴量抽出部を、互いに類似する特徴量抽出部から成る複数のグループに分け、前記複数のグループそれぞれから、グループを代表する特徴量抽出部を代表特徴量抽出部として選択し、前記複数の特徴量抽出部から前記代表特徴量抽出部を除く残余の特徴量抽出部を前記冗長な特徴量抽出部として特定することで、前記冗長な特徴量抽出部を特定する。好ましくは、上述の学習モデル作成装置において、前記冗長な特徴量抽出部を特定する際に用いられる特定条件の入力を受け付ける入力部をさらに備え、前記特定部は、前記複数の特徴量抽出部を、互いに類似する特徴量抽出部から成る複数のグループに、前記入力部で受け付けた特定条件を満たすように、分け、前記複数のグループそれぞれから、グループを代表する特徴量抽出部を代表特徴量抽出部として選択し、前記複数の特徴量抽出部から前記代表特徴量抽出部を除く残余の特徴量抽出部を前記冗長な特徴量抽出部として特定することで、前記冗長な特徴量抽出部を特定する。好ましくは、上述の学習モデル作成装置において、前記特定部は、前記特徴量抽出部の次元を低減してから、特徴量抽出部間で距離を求め、この求めた距離に基づいて前記複数の特徴量抽出部を前記複数のグループに分ける。好ましくは、上述の学習モデル作成装置において、前記冗長な特徴量抽出部を特定する際に用いられる特定条件の入力を受け付ける入力部をさらに備え、前記特定部は、前記特徴量抽出部の次元を低減してから、特徴量抽出部間で距離を求め、この求めた距離に基づいて前記複数の特徴量抽出部を前記複数のグループに、前記入力部で受け付けた特定条件を満たすように、分ける。好ましくは、前記特定条件は、前記冗長な特徴量抽出部として特定される特徴量抽出部の個数である削除設定個数であり、前記特定部は、前記複数の特徴量抽出部を前記複数のグループに、前記複数の特徴量抽出部の総数から前記入力部で受け付けた削除設定個数を減算した個数になるように、分ける。 In another aspect, in the above-described learning model creation device, the specifying unit divides the plurality of feature amount extraction units into a plurality of groups including feature amount extraction units similar to each other, and from each of the plurality of groups, A feature quantity extraction unit representing a group is selected as a representative feature quantity extraction unit, and a remaining feature quantity extraction unit excluding the representative feature quantity extraction unit from the plurality of feature quantity extraction units is specified as the redundant feature quantity extraction unit Thus, the redundant feature amount extraction unit is specified. Preferably, in the above-described learning model creation device, the learning model creation device further includes an input unit that receives an input of a specific condition used when specifying the redundant feature amount extraction unit, and the specification unit includes the plurality of feature amount extraction units. The plurality of groups of feature quantity extraction units that are similar to each other are divided so as to satisfy the specific condition received by the input unit, and the feature quantity extraction unit that represents the group is extracted from each of the plurality of groups as a representative feature quantity extraction The redundant feature quantity extraction unit is specified by selecting the remaining feature quantity extraction unit excluding the representative feature quantity extraction unit from the plurality of feature quantity extraction units as the redundant feature quantity extraction unit. To do. Preferably, in the above-described learning model creation device, the specifying unit obtains a distance between the feature quantity extraction units after reducing the dimension of the feature quantity extraction unit, and the plurality of features based on the obtained distance. The quantity extraction unit is divided into the plurality of groups. Preferably, in the above-described learning model creation device, the learning model creation device further includes an input unit that receives an input of a specific condition used when specifying the redundant feature amount extraction unit, and the specification unit has a dimension of the feature amount extraction unit. After the reduction, a distance is obtained between the feature quantity extraction units, and the plurality of feature quantity extraction units are divided into the plurality of groups based on the obtained distance so as to satisfy the specific condition received by the input unit. . Preferably, the specifying condition is a deletion setting number which is the number of feature quantity extracting units specified as the redundant feature quantity extracting unit, and the specifying unit includes the plurality of feature quantity extracting units in the plurality of groups. The total number of the feature quantity extraction units is divided into the number obtained by subtracting the set number of deletions accepted by the input unit.
このような学習モデル作成装置は、前記冗長な特徴量抽出部を、類似の観点から適切に特定できる。上記学習モデル作成装置では、類似の観点から特定するので、演算コストの削減を優先に前記冗長な特徴量抽出部が特定される。 Such a learning model creation device can appropriately identify the redundant feature amount extraction unit from a similar viewpoint. Since the learning model creation device is specified from a similar viewpoint, the redundant feature quantity extraction unit is specified by giving priority to the reduction of the calculation cost.
他の一態様では、上述の学習モデル作成装置において、前記特定部は、学習モデルの性能の維持を優先に、前記冗長な特徴量抽出部を特定する。好ましくは、上述の学習モデル作成装置において、学習モデルの性能の維持を優先に前記冗長な特徴量抽出部を特定するか、演算コストの削減を優先に前記冗長な特徴量抽出部を特定するかの指示を受け付ける入力部をさらに備え、前記特定部は、前記入力部で、学習モデルの性能の維持を優先に前記冗長な特徴量抽出部を特定する指示を受け付けた場合に、学習モデルの性能の維持を優先に前記冗長な特徴量抽出部を特定し、前記入力部で、演算コストの削減を優先に前記冗長な特徴量抽出部を特定する指示を受け付けた場合に、演算コストの削減を優先に前記冗長な特徴量抽出部を特定する。 In another aspect, in the learning model creation device described above, the specifying unit specifies the redundant feature amount extraction unit with priority given to maintaining the performance of the learning model. Preferably, in the learning model creation device described above, whether the redundant feature quantity extraction unit is specified with priority given to maintaining the performance of the learning model, or whether the redundant feature quantity extraction unit is specified with priority given to reduction in calculation cost An input unit that receives the instruction of the learning model, and the specifying unit receives the instruction to specify the redundant feature quantity extraction unit with priority given to maintaining the performance of the learning model. The redundant feature quantity extraction unit is specified with priority on maintenance of the input, and the input unit receives an instruction to specify the redundant feature quantity extraction unit with priority on reduction of the calculation cost. The redundant feature quantity extraction unit is specified with priority.
これによれば、学習モデルの性能の維持を優先に前記冗長な特徴量抽出部を特定する学習モデル作成装置が提供できる。 According to this, it is possible to provide a learning model creation device that identifies the redundant feature quantity extraction unit with priority given to maintaining the performance of the learning model.
他の一態様では、上述の学習モデル作成装置において、色情報を前記特徴量として抽出する第1特徴量抽出部、エッジ情報を前記特徴量として抽出する第2特徴量抽出部、および、ブラー情報を前記特徴量として抽出する第3特徴量抽出部の中から、前記特定する前記冗長な特徴量抽出部から除外する特徴量抽出部の入力を受け付ける第1入力部をさらに備え、前記特定部は、前記第1入力部で受け付けた特徴量抽出部に該当する特徴量抽出部を、前記特定する前記冗長な特徴量抽出部から除外することによって、前記冗長な特徴量抽出部を特定する。 In another aspect, in the learning model creation apparatus described above, a first feature amount extraction unit that extracts color information as the feature amount, a second feature amount extraction unit that extracts edge information as the feature amount, and blur information A first input unit that receives an input of a feature amount extraction unit that is excluded from the redundant feature amount extraction unit to be identified from among the third feature amount extraction unit that extracts a feature amount as the feature amount, The redundant feature quantity extraction unit is specified by excluding the feature quantity extraction unit corresponding to the feature quantity extraction unit received by the first input unit from the redundant feature quantity extraction unit to be specified.
このような学習モデル作成装置は、第1入力部で第1特徴量抽出部を除外するように受け付けた場合には、第1特徴量抽出部を除外して前記冗長な特徴量抽出部を特定するので、前記冗長な特徴量抽出部を削除後の学習モデルに、第1特徴量抽出部を残すことができる。この場合では、上記学習モデル作成装置では、第1特徴量抽出部を残すので、学習モデルの性能の維持を優先に前記冗長な特徴量抽出部が特定される。第1入力部で第2特徴量抽出部を除外するように受け付けた場合には、上記学習モデル作成装置は、第2特徴量抽出部を除外して前記冗長な特徴量抽出部を特定するので、前記冗長な特徴量抽出部を削除後の学習モデルに、第2特徴量抽出部を残すことができる。この場合では、上記学習モデル作成装置では、第2特徴量抽出部を残すので、学習モデルの性能の維持を優先に前記冗長な特徴量抽出部が特定される。第1入力部で第3特徴量抽出部を除外するように受け付けた場合には、上記学習モデル作成装置は、第3特徴量抽出部を除外して前記冗長な特徴量抽出部を特定するので、前記冗長な特徴量抽出部を削除後の学習モデルに、第3特徴量抽出部を残すことができる。この場合では、上記学習モデル作成装置では、第3特徴量抽出部を残すので、学習モデルの性能の維持を優先に前記冗長な特徴量抽出部が特定される。 When such a learning model creation device accepts the first input unit to exclude the first feature amount extraction unit, the learning model creation device specifies the redundant feature amount extraction unit by excluding the first feature amount extraction unit. Therefore, the first feature quantity extraction unit can be left in the learning model after the redundant feature quantity extraction unit is deleted. In this case, in the learning model creation apparatus, since the first feature quantity extraction unit is left, the redundant feature quantity extraction unit is specified with priority given to maintaining the performance of the learning model. When the first input unit accepts the second feature quantity extraction unit to be excluded, the learning model creation apparatus specifies the redundant feature quantity extraction unit by excluding the second feature quantity extraction unit. The second feature quantity extraction unit can be left in the learning model after the redundant feature quantity extraction unit is deleted. In this case, since the second feature quantity extraction unit is left in the learning model creation apparatus, the redundant feature quantity extraction unit is specified with priority given to maintaining the performance of the learning model. When the first input unit accepts the third feature quantity extraction unit to be excluded, the learning model creation device specifies the redundant feature quantity extraction unit by excluding the third feature quantity extraction unit. The third feature quantity extraction unit can be left in the learning model after the redundant feature quantity extraction unit is deleted. In this case, since the third feature quantity extraction unit is left in the learning model creation apparatus, the redundant feature quantity extraction unit is specified with priority given to maintaining the performance of the learning model.
他の一態様では、上述の学習モデル作成装置において、色情報を前記特徴量として抽出する第1特徴量抽出部、エッジ情報を前記特徴量として抽出する第2特徴量抽出部、および、ブラー情報を前記特徴量として抽出する第3特徴量抽出部の中から、前記冗長な特徴量抽出部として優先的に特定する特徴量抽出部の入力を受け付ける第2入力部をさらに備え、前記特定部は、前記第2入力部で受け付けた特徴量抽出部に該当する特徴量抽出部を、前記冗長な特徴量抽出部として優先的に特定することによって、前記冗長な特徴量抽出部を特定する。 In another aspect, in the learning model creation apparatus described above, a first feature amount extraction unit that extracts color information as the feature amount, a second feature amount extraction unit that extracts edge information as the feature amount, and blur information A second input unit that receives an input from a feature quantity extraction unit that is preferentially specified as the redundant feature quantity extraction unit from among the third feature quantity extraction unit that extracts the feature quantity as the feature quantity. The redundant feature quantity extraction unit is specified by preferentially specifying the feature quantity extraction unit corresponding to the feature quantity extraction unit received by the second input unit as the redundant feature quantity extraction unit.
このような学習モデル作成装置は、第2入力部で第1特徴量抽出部を優先的に特定するように受け付けた場合には、第1特徴量抽出部を優先して前記冗長な特徴量抽出部を特定するので、前記冗長な特徴量抽出部を削除後の学習モデルに、第1特徴量抽出部を含ませなくできる。特に、学習モデルの使用用途の観点から第1特徴量抽出部がノイズとなる場合では、上記学習モデル作成装置は、前記冗長な特徴量抽出部を削除後の学習モデルから、ノイズとなる第1特徴量抽出部を削除(除外)できる。この場合では、上記学習モデル作成装置では、第1特徴量抽出部が優先的に削除されるので、学習モデルの性能の維持を優先に前記冗長な特徴量抽出部が特定される。第2入力部で第2特徴量抽出部を優先的に特定するように受け付けた場合には、上記学習モデル作成装置は、第2特徴量抽出部を優先して前記冗長な特徴量抽出部を特定するので、前記冗長な特徴量抽出部を削除後の学習モデルに、第2特徴量抽出部を含ませなくできる。特に、学習モデルの使用用途の観点から第2特徴量抽出部がノイズとなる場合では、上記学習モデル作成装置は、前記冗長な特徴量抽出部を削除後の学習モデルから、ノイズとなる第2特徴量抽出部を削除できる。この場合では、上記学習モデル作成装置では、第2特徴量抽出部が優先的に削除されるので、学習モデルの性能の維持を優先に前記冗長な特徴量抽出部が特定される。第2入力部で第3特徴量抽出部を優先的に特定するように受け付けた場合には、上記学習モデル作成装置は、第3特徴量抽出部を優先して前記冗長な特徴量抽出部を特定するので、前記冗長な特徴量抽出部を削除後の学習モデルに、第3特徴量抽出部を含ませなくできる。特に、学習モデルの使用用途の観点から第3特徴量抽出部がノイズとなる場合では、上記学習モデル作成装置は、前記冗長な特徴量抽出部を削除後の学習モデルから、ノイズとなる第3特徴量抽出部を削除できる。この場合では、上記学習モデル作成装置では、第3特徴量抽出部が優先的に削除されるので、学習モデルの性能の維持を優先に前記冗長な特徴量抽出部が特定される。 In such a learning model creation apparatus, when the second input unit accepts the first feature quantity extraction unit with priority, the redundant feature quantity extraction takes precedence over the first feature quantity extraction unit. Since the redundant feature quantity extraction unit is deleted, the first feature quantity extraction unit can be omitted from the learning model after the redundant feature quantity extraction unit is deleted. In particular, in the case where the first feature quantity extraction unit becomes noise from the viewpoint of the usage of the learning model, the learning model creation device causes the first feature which becomes noise from the learning model after deleting the redundant feature quantity extraction unit. The feature quantity extraction unit can be deleted (excluded). In this case, in the learning model creation device, the first feature quantity extraction unit is deleted preferentially, and therefore the redundant feature quantity extraction unit is specified with priority given to maintaining the performance of the learning model. When the second input unit accepts the second feature amount extraction unit with priority, the learning model creation device prioritizes the second feature amount extraction unit and the redundant feature amount extraction unit. Therefore, the second feature quantity extraction unit can be omitted from the learning model after the redundant feature quantity extraction unit is deleted. In particular, when the second feature amount extraction unit becomes noise from the viewpoint of the usage of the learning model, the learning model creation device causes the second feature value to become noise from the learning model after deleting the redundant feature amount extraction unit. The feature amount extraction unit can be deleted. In this case, in the learning model creation device, the second feature quantity extraction unit is deleted preferentially, and therefore the redundant feature quantity extraction unit is specified with priority given to maintaining the performance of the learning model. When the second input unit accepts the third feature quantity extraction unit with priority, the learning model creation device prioritizes the third feature quantity extraction unit and replaces the redundant feature quantity extraction unit. Therefore, the third feature quantity extraction unit can be omitted from the learning model after the redundant feature quantity extraction unit is deleted. In particular, in the case where the third feature quantity extraction unit becomes noise from the viewpoint of usage of the learning model, the learning model creation device causes the third feature quantity to become noise from the learning model after deleting the redundant feature quantity extraction unit. The feature amount extraction unit can be deleted. In this case, in the learning model creation device, the third feature quantity extraction unit is deleted preferentially, and therefore the redundant feature quantity extraction unit is specified with priority given to maintaining the performance of the learning model.
他の一態様では、上述の学習モデル作成装置において、前記冗長な特徴量抽出部として特定される特徴量抽出部の個数である削除設定個数を受け付ける第3入力部をさらに備える。好ましくは、上述の学習モデル作成装置において、前記削除設定個数は、前記学習モデルにおける複数の特徴量抽出部の総数に対する割合で表される。 In another aspect, the learning model creation apparatus further includes a third input unit that receives a deletion setting number that is the number of feature quantity extraction units specified as the redundant feature quantity extraction unit. Preferably, in the above-described learning model creation device, the number of deletion settings is expressed as a ratio to the total number of a plurality of feature quantity extraction units in the learning model.
このような学習モデル作成装置は、前記第3入力部をさらに備えるので、ユーザは、トレードオフの関係にある演算コストの削減量と性能劣化とを勘案して削除設定個数を設定できる。 Since such a learning model creation apparatus further includes the third input unit, the user can set the number of deletion settings in consideration of the reduction in calculation cost and performance degradation that are in a trade-off relationship.
他の一態様では、上述の学習モデル作成装置において、前記学習中の際に、前記特定部で前記冗長な特徴量抽出部を特定し、前記モデル改良部で前記新たな学習モデルを作成するタイミングを受け付ける第4入力部をさらに備える。 In another aspect, in the above-described learning model creation device, the timing of identifying the redundant feature quantity extraction unit by the identifying unit and creating the new learning model by the model improvement unit during the learning Is further provided with a fourth input unit.
このような学習モデル作成装置は、前記第4入力部をさらに備えるので、ユーザは、例えば、学習モデル作成装置Daを構成するハードウェアの処理能力、分析処理の種類、設問の難易性、予測される学習の進捗具合等を勘案して前記タイミングを設定できる。 Since such a learning model creation device further includes the fourth input unit, the user can predict, for example, the processing capability of the hardware constituting the learning model creation device Da, the type of analysis processing, the difficulty of the question, and so on. The timing can be set in consideration of the progress of learning.
本発明の他の一態様にかかる学習モデル作成方法は、機械学習の学習モデルを生成する学習モデル作成方法であって、前記学習モデルは、学習によって所定の特徴量を抽出する機能を獲得する複数の特徴量抽出部を備え、学習中の際に、または、学習後の学習モデルを用いて入力サンプルを分析する際に、前記複数の特徴量抽出部の中から冗長な特徴量抽出部を特定する特定ステップと、前記学習モデルから前記特定ステップで特定された特徴量抽出部を削除することによって新たな学習モデルを作成するモデル改良ステップと、前記モデル改良ステップで作成した新たな学習モデルで、前記学習を継続する、または、前記入力サンプルを分析する処理ステップとを備える。 A learning model creation method according to another aspect of the present invention is a learning model creation method for generating a machine learning learning model, and the learning model has a plurality of functions for extracting a predetermined feature amount by learning. Feature quantity extraction unit, and during analysis or when analyzing an input sample using a learned model after learning, a redundant feature quantity extraction unit is identified from the plurality of feature quantity extraction units A model improvement step of creating a new learning model by deleting the feature amount extraction unit specified in the specification step from the learning model, and a new learning model created in the model improvement step, Processing to continue the learning or to analyze the input sample.
このような学習モデル作成方法は、学習中の際に、または、学習後の学習モデルを用いて入力サンプルを分析する際に、複数の特徴量抽出部の中から冗長な特徴量抽出部を特定し、この特定した特徴量抽出部を削除するので、学習モデルの性能劣化を抑制できる。そして、上記学習モデル作成方法は、学習中では、特徴量抽出部の削除によってより小さいサイズの新たな学習モデルで学習を進めるので、学習の演算コストを低減できる。また、上記学習モデル作成方法は、分析の際には、特徴量抽出部の削除によってより小さいサイズの新たな学習モデルで入力サンプルを分析するので、分析の演算コストを低減できる。したがって、上記学習モデル作成方法は、学習モデルの性能劣化を抑制しつつ、演算コストを低減できる。 Such a learning model creation method specifies a redundant feature quantity extraction unit from among a plurality of feature quantity extraction units during learning or when an input sample is analyzed using a learned model after learning. In addition, since the specified feature amount extraction unit is deleted, the performance degradation of the learning model can be suppressed. In the learning model creation method, during learning, learning is advanced with a new learning model having a smaller size by deleting the feature amount extraction unit, so that the calculation cost of learning can be reduced. Further, in the above-described learning model creation method, the input sample is analyzed with a new learning model having a smaller size by deleting the feature amount extraction unit at the time of analysis, so that the calculation cost of the analysis can be reduced. Therefore, the learning model creation method can reduce the calculation cost while suppressing the performance deterioration of the learning model.
本発明の他の一態様にかかる学習モデル作成方法は、機械学習の学習モデルを生成する学習モデル作成プログラムであって、前記学習モデルは、学習によって所定の特徴量を抽出する機能を獲得する複数の特徴量抽出部を備え、コンピュータに、学習中の際に、または、学習後の学習モデルを用いて入力サンプルを分析する際に、前記複数の特徴量抽出部の中から冗長な特徴量抽出部を特定する特定ステップと、前記学習モデルから前記特定ステップで特定された特徴量抽出部を削除することによって新たな学習モデルを作成するモデル改良ステップと、前記モデル改良ステップで作成した新たな学習モデルで、前記学習を継続する、または、前記入力サンプルを分析する処理ステップと、を実行させるための学習モデル作成プログラムである。 A learning model creation method according to another aspect of the present invention is a learning model creation program for generating a machine learning learning model, and the learning model has a plurality of functions for acquiring a predetermined feature amount by learning. Feature amount extraction unit, and the computer extracts the feature amount from the plurality of feature amount extraction units during learning or when an input sample is analyzed using the learning model after learning. A specifying step for identifying a part, a model improving step for creating a new learning model by deleting the feature quantity extracting unit specified in the specifying step from the learning model, and a new learning created in the model improving step A learning model creation program for executing the learning in the model or performing the processing step of analyzing the input sample. .
このような学習モデル作成プログラムは、学習中の際に、または、学習後の学習モデルを用いて入力サンプルを分析する際に、複数の特徴量抽出部の中から冗長な特徴量抽出部を特定し、この特定した特徴量抽出部を削除するので、学習モデルの性能劣化を抑制できる。そして、上記学習モデル作成プログラムは、学習中では、特徴量抽出部の削除によってより小さいサイズの新たな学習モデルで学習を進めるので、学習の演算コストを低減できる。また、上記学習モデル作成プログラムは、分析の際には、特徴量抽出部の削除によってより小さいサイズの新たな学習モデルで入力サンプルを分析するので、分析の演算コストを低減できる。したがって、上記学習モデル作成プログラムは、学習モデルの性能劣化を抑制しつつ、演算コストを低減できる。 Such a learning model creation program identifies redundant feature quantity extraction units from a plurality of feature quantity extraction units during learning or when analyzing an input sample using a learned model after learning. In addition, since the specified feature amount extraction unit is deleted, the performance degradation of the learning model can be suppressed. In addition, during the learning, the learning model creation program advances the learning with a new learning model having a smaller size by deleting the feature amount extraction unit, so that the calculation cost of learning can be reduced. Further, since the learning model creation program analyzes the input sample with a new learning model having a smaller size by deleting the feature amount extraction unit in the analysis, the calculation cost of the analysis can be reduced. Therefore, the learning model creation program can reduce the calculation cost while suppressing the performance deterioration of the learning model.
本発明にかかる学習モデル作成装置、学習モデル作成方法および学習モデル作成プログラムは、学習モデルの性能劣化を抑制しつつ、演算コストを低減できる。 The learning model creation device, the learning model creation method, and the learning model creation program according to the present invention can reduce the computation cost while suppressing the performance degradation of the learning model.
以下、本発明にかかる実施の一形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。なお、本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。 Hereinafter, an embodiment according to the present invention will be described with reference to the drawings. In addition, the structure which attached | subjected the same code | symbol in each figure shows that it is the same structure, The description is abbreviate | omitted suitably. In the present specification, when referring generically, it is indicated by a reference symbol without a suffix, and when referring to an individual configuration, it is indicated by a reference symbol with a suffix.
(第1実施形態)
図1は、第1実施形態における学習モデル作成装置の構成を示すブロック図である。なお、図1には、第2ないし第5実施形態における学習モデル作成装置の構成も示されている。図2は、前記学習モデル作成装置における学習適用部の一構成例を示すブロック図である。図3は、前記学習モデル作成装置を実装したコンピュータの構成を示すブロック図である。
(First embodiment)
FIG. 1 is a block diagram illustrating a configuration of a learning model creation device according to the first embodiment. FIG. 1 also shows the configuration of the learning model creation device in the second to fifth embodiments. FIG. 2 is a block diagram illustrating a configuration example of a learning application unit in the learning model creation apparatus. FIG. 3 is a block diagram showing a configuration of a computer in which the learning model creation apparatus is installed.
第1実施形態における学習モデル作成装置Daは、機械学習の学習モデルを生成する装置であって、前記学習モデルは、学習によって所定の特徴量を抽出する機能を獲得する複数の特徴量抽出部を備える。このような第1実施形態における学習モデル作成装置Daは、例えば、図1に示すように、入力部1と、出力部2と、インターフェース部(IF部)3と、制御処理部4aと、記憶部5とを備える。
The learning model creation device Da according to the first embodiment is a device that generates a learning model for machine learning, and the learning model includes a plurality of feature amount extraction units that acquire a function of extracting a predetermined feature amount by learning. Prepare. As shown in FIG. 1, for example, the learning model creation device Da in the first embodiment includes an
入力部1は、制御処理部4aに接続され、例えば、学習の開始を指示するコマンドや、学習によって生成した学習モデルを用いて入力サンプル(対象サンプル)の分析を指示するコマンド等の各種コマンド、および、例えば前記冗長な特徴量抽出部を特定する際に用いられる特定条件の入力等の、学習モデルを生成する上で必要な各種データを学習モデル作成装置Daに入力する装置であり、例えば、所定の機能を割り付けられた複数の入力スイッチ、キーボードおよびマウス等である。
The
出力部2は、制御処理部4aに接続され、制御処理部4aの制御に従って、入力部1から入力されたコマンドやデータ、および、当該学習モデル作成装置Daによって生成された学習モデルを用いた分析結果等を出力する装置であり、例えばCRTディスプレイ、LCD(液晶表示装置)および有機ELディスプレイ等の表示装置や、プリンタ等の印刷装置である。
The
なお、入力部1および出力部2からタッチパネルが構成されても良い。このタッチパネルを構成する場合において、入力部1は、例えば抵抗膜方式や静電容量方式等の操作位置を検出して入力する位置入力装置であり、出力部2は、表示装置である。このタッチパネルでは、表示装置の表示面上に位置入力装置が設けられ、表示装置に入力可能な1または複数の入力内容の候補が表示され、ユーザが、入力したい入力内容を表示した表示位置を触れると、位置入力装置によってその位置が検出され、検出された位置に表示された表示内容がユーザの操作入力内容として学習モデル作成装置Daに入力される。このようなタッチパネルでは、ユーザは、入力操作を直感的に理解し易いので、ユーザにとって取り扱い易い学習モデル作成装置Daが提供される。
A touch panel may be configured from the
IF部3は、例えば、外部の機器との間でデータを入出力する回路であり、例えば、シリアル通信方式であるRS−232Cのインターフェース回路、Bluetooth(登録商標)規格を用いたインターフェース回路、IrDA(Infrared Data Asscoiation)規格等の赤外線通信を行うインターフェース回路、および、USB(Universal Serial Bus)規格を用いたインターフェース回路等である。なお、IF部3は、通信網(ネットワーク)を介して外部の機器と通信を行う回路であっても良く、例えば、データ通信カードや、IEEE802.11規格等に従った通信インターフェース回路等であっても良い。
The
記憶部5は、制御処理部4aに接続され、制御処理部4aの制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば、学習モデル作成装置Daの各部1〜3、5を当該各部の機能に応じてそれぞれ制御する制御プログラムや、学習中の際に、または、学習後の学習モデルを用いて入力サンプルを分析する際に、前記複数の特徴量抽出部の中から冗長な特徴量抽出部を特定する特定プログラムや、前記学習モデルから前記特定プログラムで特定された特徴量抽出部を削除することによって新たな学習モデルを作成するモデル改良プログラムや、前記モデル改良プログラムで作成した新たな学習モデルで、前記学習を継続する、または、前記入力サンプルを分析する学習適用プログラム等の制御処理プログラムが含まれる。前記各種の所定のデータには、例えば機械学習に用いられる教師セットや分析の対象となる入力サンプル(対象サンプル)等の、各プログラムを実行する上で必要なデータ等が含まれる。記憶部5は、例えば不揮発性の記憶素子であるROM(Read Only Memory)や書き換え可能な不揮発性の記憶素子であるEEPROM(Electrically Erasable Programmable Read Only Memory)等を備える。記憶部5は、前記所定のプログラムの実行中に生じるデータ等を記憶するいわゆる制御処理部4aのワーキングメモリとなるRAM(Random Access Memory)等を含む。そして、記憶部5は、教師セットや対象サンプルを記憶するために、教師セット記憶部51および対象サンプル記憶部52を機能的に備える。
The
教師セット記憶部51は、前記教師セットを記憶するものである。前記教師セットは、機械学習によって学習モデルを作成するための予め正解が既知な学習データであり、複数のサンプル(データ)から成る教師データと、前記教師データにおける前記複数のサンプルそれぞれに対応付けられ、当該サンプルの正解を表す複数の正解情報から成る正解ラベルとを備える。これに応じて教師セット記憶部51は、前記教師データを記憶部する教師データ記憶部511と、前記正解ラベルを記憶する正解ラベル記憶部512とを機能的に備える。対象サンプル記憶部52は、前記対象サンプルを記憶するものである。前記教師セットは、例えば、入力部1から入力され、教師セット記憶部51に記憶される。また例えば、前記教師セットを管理するサーバ装置から、あるいは、前記教師セットを記憶(記録)する例えばUSBメモリ等の記録媒体から、IF部3を介して入力され、教師セット記憶部51に記憶される。同様に、前記対象サンプルは、例えば、入力部1から入力され、対象サンプル記憶部52に記憶される。また例えば、前記対象サンプルを管理するサーバ装置から、あるいは、前記対象サンプルを記憶(記録)する例えばUSBメモリ等の記録媒体から、IF部3を介して入力され、対象サンプル記憶部52に記憶される。
The teacher set
制御処理部4aは、学習モデル作成装置Daの各部1〜3、5を当該各部の機能に応じてそれぞれ制御し、機械学習の学習モデルを作成するための回路である。制御処理部4aは、例えば、CPU(Central Processing Unit)およびその周辺回路を備えて構成される。制御処理部4aは、前記制御処理プログラムが実行されることによって、制御部41、学習適用部42、特定部43aおよびモデル改良部44を機能的に備える。
The
制御部41は、学習モデル作成装置Daの各部1〜3、5を当該各部の機能に応じてそれぞれ制御し、学習モデル作成装置Da全体の制御を司るものである。
The
特定部43aは、学習中の際に、または、学習後の学習モデルを用いて入力サンプル(対象サンプル)を分析する際に、前記学習モデルにおける複数の特徴量抽出部の中から冗長な特徴量抽出部を特定するものである。本実施形態では、特定部43aは、演算コストの削減を優先に、前記冗長な特徴量抽出部を特定する。より具体的には、特定部43aは、学習モデルの性能に寄与する度合いを表す寄与度の低い特徴量抽出部から順に、前記冗長な特徴量抽出部を特定する。より詳しくは、特定部43aは、まず、学習モデルにおける複数の特徴量抽出部の中から1個の特徴量抽出部を削除することで、試行用の学習モデルを作成する。次に、特定部43aは、この試行用の学習モデルを用いて教師データを分析(分類)する。次に、特定部43aは、この分析結果(分類結果)と、前記教師データに対応する正解ラベルとを突き合わせることによって、試行用の学習モデルの性能を評価する評価値を前記削除した1個の特徴量抽出部に対する寄与度として求める。特定部43aは、このような試行用の学習モデルの作成、それを用いた分析および寄与度の算出の各処理を、学習モデルにおける複数の特徴量抽出部それぞれについて実施し、前記複数の特徴量抽出部それぞれの各寄与度を求める。そして、特定部43aは、寄与度の低い方から順に、前記複数の特徴量抽出部を並べ、予め設定された個数(後述の削除設定個数)になるまで、最下位から順に特徴量抽出部を選定し、この選定した特徴量抽出部を前記冗長な特徴量抽出部として特定する。
The identifying
モデル改良部44は、学習モデルから特定部43aで特定された特徴量抽出部を削除することによって新たな学習モデルを作成するものである。
The
学習適用部42は、モデル改良部44で作成した新たな学習モデルで、学習を継続する、または、入力サンプルを分析するものである。学習適用部42は、学習によって所定の特徴量を抽出する機能を獲得する複数の特徴量抽出部を備える学習モデルを用いる機械学習のシステムであれば、任意のシステムであって良い。学習適用部42は、例えば、深層学習のシステムであって良い。特に、画像認識の認識精度が高いことから、学習適用部42は、畳み込みニューラルネットワーク(CNN)が好ましい。
The
一例として、このCNNで構成される学習適用部42は、例えば、図3に示すように、前処理部421と、多層パーセプトロン部422とを備える。
As an example, the
前処理部421は、畳み込み層42111(42111−1、・・・、42111−k)およびプーリング層42112(42112−1、・・・、42112−k)を備える前処理セット4211(4211−1、・・・、4211−k)を1または複数k備えて構成される(kは2以上の整数)。前処理セット4211が複数である場合には、これら複数の前処理セット4211は、直列で接続され、複数段の構成となる。前処理部421には、学習するための教師セットや分析(認識、分類、判別)すべき対象サンプルが入力される。ここでは、教師データにおける複数のサンプル、および、対象サンプルは、画像であり、以下、前処理部421に入力される教師データのサンプルおよび対象サンプルを入力画像IPと便宜的に呼称する。
The
畳み込み層42111は、入力画像IPに対し畳み込み演算を実行する装置である。より具体的には、畳み込み層42111は、入力画像IPに対し所定のカーネル(画像フィルタ)KNで畳み込む(フィルタリングする)。前記カーネルKNは、予め設定された複数であり、これら複数のカーネルKNそれぞれによって入力画像IPが畳み込まれ、カーネルKNの個数に応じた複数の画像(特徴マップ)FMが生成される。カーネルKNが多いほど、入力画像IPにおける様々な特徴を捉えることができる。カーネルKNのサイズは、任意であり、各前処理セット4211ごとに適宜に設定される。CNNでは、学習によってカーネルKNが生成される。すなわち、カーネルKNの各要素(各フィルタ係数)の数値が学習によって自動的に設定される。これによってカーネルKNは、学習によって所定の特徴量を抽出する機能を獲得する。カーネルKNは、特徴量抽出部の一例に相当する。この畳み込み演算によって入力画像IP内のパターンが検出できるようになる。畳み込み層42111は、当該段の前処理セット4211におけるプーリング層42112に接続され、畳み込み演算によって生成された画像である特徴マップFMをこのプーリング層42112へ出力する。
The
プーリング層42112は、マックスプーリング(maxpooling)の処理を実行する装置である。より具体的には、プーリング層42112は、所定サイズの矩形フィルタを特徴マップFM内で所定の画素ずつずらしながら矩形内の最大値を取り出して新たな画像を生成する。このマックスプーリングの処理によって、抽出される特徴の位置感度が低下される。プーリング層42112は、次段の前処理セット4211が存在する場合には、次段の前処理セット4211における畳み込み層42111に接続され、その生成した画像をこの畳み込み層42111へ出力し、次段の前処理セット4211が存在しない場合(すなわち、最終段の前処理セット4211−kにおけるプーリング層42112−kの場合)には、多層パーセプトロン部422に接続され、前記生成した画像を多層パーセプトロン部422へ出力する。
The
多層パーセプトロン部422は、複数の層にニューロンを配置したニューラルネットワークであり、前記ニューラルネットワークによって、前処理部421の処理結果(最終段の前処理セット4211−kにおけるプーリング層42112−kで生成された画像)に基づいて、前処理部421に入力された入力画像IPを認識する装置である。多層パーセプトロン部422は、前記認識の結果ORを出力する。
The
このような学習モデル作成装置Daは、一例では、図3に示すように、CPU11、RAM12、ROM13、ハードディスクドライブ(HDD)14、LCD16、キーボード17、マウス18、USBインターフェース19、および、これらCPU11、RAM12、ROM13、HDD14、LCD16、キーボード17、マウス18およびUSBインターフェース19を相互に接続するバス15を備える、例えば、デスクトップ型やノード型のコンピュータによって構成可能である。
As shown in FIG. 3, such a learning model creation device Da includes a
次に、本実施形態の動作について説明する。図4は、学習での、前記学習モデル作成装置の動作を示すフローチャートである。図5は、分析での、前記学習モデル作成装置の動作を示すフローチャートである。図6は、図4および図5それぞれで示す各フローチャートにおける冗長削除処理を示すフローチャートである。図7は、機械学習の反復回数と特徴量抽出部の総情報量との関係を示す図である。図7の横軸は、機械学習の反復回数(繰り返し回数)iterであり、その縦軸は、学習モデルにおける特徴量抽出部の総情報量である。図8は、第1実施形態において、寄与度による冗長削除処理を説明するためのである。図9は、第1実施形態における学習モデル作成装置の効果を説明するための図である。 Next, the operation of this embodiment will be described. FIG. 4 is a flowchart showing the operation of the learning model creation apparatus in learning. FIG. 5 is a flowchart showing the operation of the learning model creation apparatus in the analysis. FIG. 6 is a flowchart showing the redundant deletion process in each flowchart shown in FIG. 4 and FIG. FIG. 7 is a diagram illustrating the relationship between the number of machine learning iterations and the total information amount of the feature amount extraction unit. The horizontal axis in FIG. 7 is the number of iterations of machine learning (the number of iterations) iter, and the vertical axis is the total information amount of the feature quantity extraction unit in the learning model. FIG. 8 is a diagram for explaining redundant deletion processing based on contribution in the first embodiment. FIG. 9 is a diagram for explaining the effect of the learning model creation device according to the first embodiment.
このような構成の学習モデル作成装置Daは、その電源が投入されると、必要な各部の初期化を実行し、その稼働を始める。その制御処理プログラムの実行によって、制御処理部4aには、制御部41、学習適用部42、特定部43aおよびモデル改良部44が機能的に構成される。
When the learning model creating apparatus Da having such a configuration is turned on, it initializes each necessary part and starts its operation. By executing the control processing program, a
そして、学習モデルを生成する学習処理では、図4において、学習モデル作成装置Daは、制御処理部4aによって、処理#1から処理#2までの各処理S11、S12、S13が予め設定された学習回数(反復回数)だけ繰り返し、実施され、処理S13で判定された改良タイミングで処理S21aおよび処理S22が実施される。
And in the learning process which produces | generates a learning model, in FIG. 4, the learning model production apparatus Da is learning by which each process S11, S12, S13 from the
より具体的には、処理S11では、学習モデル作成装置Daは、制御処理部4aの学習適用部42によって、制御変数iが繰り返し回数max_iterより大きいか否かを判定する。前記制御変数iは、処理#1から処理#2までの各処理の繰り返し回数を表す変数である。前記繰り返し回数max_iterは、ユーザ(オペレータ)によって予め設定された教師セットを用いた学習の繰り返し回数(反復回数)であり、例えば100エポックや500エポックや1000エポック等で適宜に設定される。この判定の結果、制御変数iが繰り返し回数max_iterより大きくない場合(No)には、学習中であり、学習適用部42は、次に、処理S12を実行する。一方、前記判定の結果、制御変数iが繰り返し回数max_iterより大きい場合(Yes)には、学習の終了であり、学習適用部42は、この処理#1から処理#2までの各処理の繰り返し処理を抜け出し、次に、処理S14を実行する。
More specifically, in process S11, the learning model creation device Da determines whether or not the control variable i is larger than the number of iterations max_iter by the
処理S12では、学習モデル作成装置Daは、学習適用部42によって、記憶部5の教師セット記憶部51に記憶された教師セット(教師データおよび正解ラベル)を用いて機械学習を実行し、次に、処理S13を実行する。
In the process S12, the learning model creation device Da performs machine learning by the
処理S13では、学習モデル作成装置Daは、制御処理部4aによって、処理S12で生成された学習中の学習モデルから冗長な特徴量抽出部を削除し、学習モデルを改良する改良タイミングであるか否かを判定する。必ず毎エポックごとに冗長な特徴量抽出部を削除する処理を実施すると、学習モデルの性能が劣化する可能性があり、そして、その演算コストが増加するため、このような処理S13で改良タイミングを判定することによって、これらを避けることができる。
In process S13, the learning model creation device Da uses the
この改良タイミングは、例えば、学習モデル作成装置Daを構成するハードウェアの処理能力、分析処理の種類、予測される学習の進捗具合等に応じてユーザ(オペレータ)によって適宜に決定され、学習モデル作成装置Daに予め入力され設定される。あるいは、1エポックの前後で学習モデルの差分が求められ、この差分が予め設定された所定の閾値以下である場合に、改良タイミングが到来したと自動的に判定される。例えば、所定の教師データを用いて100エポック学習することによって学習モデルが生成される場合、分析処理の種類に対しハードウェアの処理能力が高ければ、最初のエポックが改良タイミングとして設定され、学習モデルが改良されて良く、また例えば、このような場合において、数エポックごとに改良タイミングが設定され、学習モデルが改良されて良い。また例えば、予測される学習の進捗具合が遅ければ、最初の数エポックを避けて、例えば10エポックごとに改良タイミングが設定され、学習モデルが改良されて良い。このように多段的に改良タイミングが設定される場合、図7に示すように、従前の一般的な機械学習では、反復回数(繰り返し回数)iterに依らず、特徴量抽出部の総情報量は、b[Byte]で一定であるが、本実施形態では、任意の反復回数ixの時点で特徴量抽出部の総情報量は、削除設定個数が削除率でαの場合に、α×b[Byte]に削減される。これによって繰り返し学習に要する演算コストが段階的に低減される。さらに、機械学習では、過去の学習モデルとその性能を用いて、正解を導くことができるように学習モデルが改善されていくため、特徴量抽出部の削除によって、その改善のために参照する必要が無くなるので、従前よりもより早く学習モデルが収束できる。このような多段的に改良タイミングを設定する場合、学習モデルにおける実適用上の要求精度が反復回数Reで得られる場合に、前記実適用上の要求精度を勘案して、ix≦Reとなるように、反復回数ixが設定される。 This improvement timing is appropriately determined by the user (operator) according to, for example, the processing capability of the hardware constituting the learning model creation device Da, the type of analysis processing, the progress of predicted learning, etc. It is input and set in advance in the device Da. Alternatively, a learning model difference is obtained before and after one epoch, and when this difference is less than or equal to a predetermined threshold value, it is automatically determined that the improvement timing has arrived. For example, when a learning model is generated by learning 100 epochs using predetermined teacher data, if the processing capability of the hardware is high for the type of analysis processing, the first epoch is set as the improvement timing, and the learning model For example, in such a case, an improvement timing may be set every several epochs, and the learning model may be improved. Also, for example, if the predicted progress of learning is slow, the first few epochs may be avoided, for example, an improvement timing may be set every 10 epochs, and the learning model may be improved. When the improvement timing is set in such a multistage manner, as shown in FIG. 7, in the conventional general machine learning, the total information amount of the feature amount extraction unit is not dependent on the number of iterations (the number of iterations) iter. , B [Byte] is constant, but in this embodiment, the total amount of information of the feature amount extraction unit at the time of an arbitrary number of iterations ix is α × b [ Byte]. As a result, the calculation cost required for repeated learning is reduced in stages. Furthermore, in machine learning, the learning model is improved so that the correct answer can be derived using the past learning model and its performance, so it is necessary to refer to the improvement by deleting the feature extraction unit. Therefore, the learning model can converge faster than before. When the improvement timing is set in such a multistage manner, when the required accuracy in actual application in the learning model is obtained by the number of iterations Re, ix ≦ Re in consideration of the required accuracy in actual application. Is set to the number of iterations ix.
処理S13の判定の結果、改良タイミングではない場合(No)には、当該エポックの学習が終了し、次のエポックの学習を開始するために、学習モデル作成装置Daは、制御処理部4aによって、制御変数iを1だけインクリメントし(i=i+1)、処理を処理S11に戻す。
As a result of the determination in the process S13, when it is not the improvement timing (No), the learning model creation device Da uses the
一方、前記処理S13の判定の結果、改良タイミングである場合には、学習モデル作成装置Daは、制御処理部4aによって、処理S21aおよび処理S22それぞれを実施した後に、制御変数iを1だけインクリメントし(i=i+1)、処理を処理S11に戻す。処理S21aでは、冗長な特徴量抽出部を削除するために、削除対象の特徴量抽出部を特定する削除対象の特定処理が実行され、処理S22では、処理S21aで特定された特徴量抽出部を学習モデルから削除し、新たな学習モデルを生成する特徴量抽出部の一部の削除処理が実行される。したがって、次のエポックでは、処理S12の機械学習で得られた学習モデルより、冗長な特徴量抽出部を削除した新たな学習モデルで学習が実施される。これら処理S21aおよび処理S22それぞれについては、後に詳述する。
On the other hand, if the result of the determination in step S13 is an improvement timing, the learning model creation device Da increments the control variable i by 1 after the
そして、繰り返し回数max_iterの機械学習が実施されると、上述したように、処理S14が実施され、この処理S14では、学習モデル作成装置Daは、制御処理部4aによって、作成された学習モデルを出力し、本処理を終了する。
When machine learning of the number of repetitions max_iter is performed, as described above, the process S14 is performed. In this process S14, the learning model creation device Da outputs the created learning model by the
一方、入力サンプルを分析する分析処理では、図5において、学習モデル作成装置Daは、制御処理部4aによって、前記削除対象の特定処理S21aを実行し、次に、前記特徴量抽出部の一部の削除処理S22を実行する。これによって当初の学習モデル(例えば機械学習後の学習モデル)より、冗長な特徴量抽出部を削除した新たな学習モデルが作成される。そして、学習モデル作成装置Daは、制御処理部4aの学習適用部42によって、この処理S22で作成された新たな学習モデルで対象サンプルを分析し(S31)、この分析結果を出力し(S32)、本処理を終了する。したがって、前記当初の学習モデルより、冗長な特徴量抽出部を削除した新たな学習モデルで対象サンプルの分析が実施される。
On the other hand, in the analysis process for analyzing the input sample, in FIG. 5, the learning model creation apparatus Da performs the deletion target specifying process S <b> 21 a by the
次に、前記削除対象の特定処理S21aおよび前記特徴量抽出部の一部の削除処理S22について、より具体的に説明する。 Next, the specific process S21a to be deleted and the partial deletion process S22 of the feature amount extraction unit will be described more specifically.
図6において、学習モデル作成装置Daは、制御処理部4aによって、特定条件を取得する(S41)。前記特定条件は、その一例として、本実施形態では、前記冗長な特徴量抽出部として削除する特徴量抽出部の個数(削除設定個数)である。前記削除設定個数は、例えば数値であるいは特徴量抽出部の総数に対する割合で入力部1から入力され、取得される。前記冗長な特徴量抽出部を削除することによって生成された学習モデルに対する、演算コストの削減量と性能劣化とは、トレードオフの関係にあることから、処理S41で削除設定個数を設定できるように学習モデル作成装置Daを構成することで、ユーザは、このトレードオフの関係を勘案して削除設定個数を設定できる。
In FIG. 6, the learning model creation device Da acquires a specific condition by the
続いて、学習モデル作成装置Daは、制御処理部4aによって、処理#111から処理#112までの各処理S42、S43、S44が特徴量抽出部の個数だけ繰り返し、その後、処理S45、処理S46および処理S47の各処理を順次に実施する。
Subsequently, in the learning model creation device Da, the
より具体的には、処理S42では、学習モデル作成装置Daは、制御処理部4aの特定部43aによって、学習モデルからk番目の特徴量抽出部のみを削除する。これによって新たな試行用の学習モデルKが生成される((試行用の学習モデルK)=(学習モデルからk番目の特徴量抽出部のみを削除した学習モデル))。前記学習モデルは、前記学習処理の場合では、図4に示す上述の処理S12で生成された学習モデルであり、前記分析処理の場合では、前記当初の学習モデルである。
More specifically, in process S42, the learning model creation device Da deletes only the k-th feature amount extraction unit from the learning model by the specifying
処理S42に続く処理S43では、学習モデル作成装置Daは、制御処理部4aの特定部43aによって、処理S42で生成した試行用の学習モデルKで教師データを分析(判定、分類)する分析処理を実施する。
In the process S43 following the process S42, the learning model creation device Da performs an analysis process in which the specifying
処理S43に続く処理S44では、学習モデル作成装置Daは、制御処理部4aの特定部43aによって、試行用の学習モデルKにおける寄与度を求め、kを1だけインクリメントし(k=k+1)、処理を処理S42に戻す。より具体的には、特定部43aは、処理S43で得られた分析結果(分類結果)と、前記教師データに対応する正解ラベルとを突き合わせることによって、試行用の学習モデルKの性能を評価する評価値を前記k番目の特徴量抽出部における寄与度として求める。k番目の特徴量抽出部のみの削除の前後において、前記評価値の劣化が小さいほど、前記寄与度も小さく、前記寄与度の小さい特徴量抽出部は、冗長な特徴量抽出部であると判定できる。前記評価値は、例えば分析処理の種類等により、ユーザが予め適宜に定義する。評価値ACは、例えば、1個のサンプルを2値のいずれかに分類する2値分類で正解ラベルが表される場合、教師データの総サンプル数がNであり、正しく分類できた正解のサンプル数がCである場合には、C/Nで表される(AC=C/N)。また例えば、1個のサンプルを多クラスに分類する多クラス分類で正解ラベルが表される場合には、評価値ACは、教師データの総サンプル数がNであり、正しく分類できた正解のサンプル数がCである場合には、C/Nで表される(AC=C/N)。なお、多クラス分類では、1個のサンプルに対し、各クラスの確率が出力され、最も高い確率を持つクラスが正解であれば、前記サンプルを正しく判別(分析、分類)できたとみなすケースだけでなく、例えば上位3以内の確率を持つクラスが正解であれば、前記サンプルを正しく判別(分析、分類)できたとみなすケースもあり、分析処理の種類に依る。また例えば、回帰問題では、評価値ACは、正解からのズレ量である誤差値で与えられる。
In the process S44 following the process S43, the learning model creation device Da obtains the contribution in the trial learning model K by the specifying
そして、このような処理S42ないし処理S44の各処理を学習モデルにおける複数の特徴量抽出部それぞれについて実施することによって複数の特徴量抽出部それぞれにおける複数の寄与度が求められると、続く処理S45では、学習モデル作成装置Daは、制御処理部4aの特定部43aによって、寄与度の低い方から順に、前記複数の特徴量抽出部を並べる(ソートする)。これによって前記複数の特徴量抽出部に対する寄与度リストが生成される。その一例が図8に示されている。図8において、その横軸は、寄与度であり、各●印が特徴量抽出部を表している。
Then, when each of the processes S42 to S44 is performed for each of the plurality of feature quantity extraction units in the learning model to obtain a plurality of contributions in each of the plurality of feature quantity extraction units, in the subsequent process S45, The learning model creation device Da arranges (sorts) the plurality of feature amount extraction units in order from the lowest contribution level by the specifying
処理S45に続く処理S46では、学習モデル作成装置Daは、制御処理部4aの特定部43aによって、削除対象の特徴量抽出部を特定する特定処理を実施する。寄与度が小さい特徴量抽出部は、学習モデルの性能に対する影響が小さく、冗長な特徴量抽出部であると推定できる。一方、寄与度が大きい特徴量抽出部(例えば図8において破線の囲み内の特徴量抽出部)は、学習モデルの性能に対する影響が大きく、冗長ではない、重要な特徴量抽出部であると推定できる。そこで、本実施形態では、特定部43aは、前記削除設定個数になるまで、最下位から順に特徴量抽出部を選定し、この選定した特徴量抽出部を前記冗長な特徴量抽出部として特定する。すなわち、特定部43aは、前記寄与度の低い特徴量抽出部から順に、前記入力部で受け付けた特定条件を満たしている間、前記冗長な特徴量抽出部を特定する。ユーザによって入力部1から前記削除設定個数として特徴量抽出部の総数に対するx%が入力された場合、最下位から順に図8に示す一点鎖線までの特徴量抽出部が選定され、前記冗長な特徴量抽出部として特定される。これによって学習モデルの性能を維持しつつ、削除可能な特徴量抽出部が特定できる。
In the process S46 subsequent to the process S45, the learning model creation device Da performs a specifying process of specifying the feature quantity extraction unit to be deleted by the specifying
処理S46に続く処理S47では、学習モデル作成装置Daは、制御処理部4aのモデル改良部44によって、学習モデルから処理S46で特定部43aによって特定された特徴量抽出部を削除することによって新たな学習モデルを作成し、本処理を終了する。これによって削除した特徴量抽出部の個数だけサイズの小さい新たな学習モデルが作成できる。
In the process S47 following the process S46, the learning model creation device Da uses the
なお、学習適用部42が複数段の構成を持つCNNである場合、上述の処理S41ないし処理S47の各処理は、いずれの段(層)に対して実施されて良く、また、1個の段(層)に対して実施されて良く、また、複数の段(層)に対して実施されて良く、ユーザ(オペレータ)に適宜に設定される。効果的に演算コストを低減できる観点から、上述の処理S41ないし処理S47の各処理は、1段目(1層目)に対して実施されることが好ましい。
When the
以上説明したように、第1実施形態における学習モデル作成装置Da、ならびに、これに実装された学習モデル作成方法および学習モデル作成プログラムは、学習中の際に、または、学習後の学習モデルを用いて入力サンプルを分析する際に、複数の特徴量抽出部の中から冗長な特徴量抽出部を特定し、この特定した特徴量抽出部を削除するので、学習モデルの性能劣化を抑制できる。そして、上記学習モデル作成装置Da、学習モデル作成方法および学習モデル作成プログラムは、学習中では、特徴量抽出部の削除によってより小さいサイズの新たな学習モデルで学習を進めるので、学習の演算コストを低減できる。また、上記学習モデル作成装置Da、学習モデル作成方法および学習モデル作成プログラムは、分析の際には、特徴量抽出部の削除によってより小さいサイズの新たな学習モデルで入力サンプルを分析するので、分析の演算コストを低減できる。したがって、上記学習モデル作成装置Da、学習モデル作成方法および学習モデル作成プログラムは、学習モデルの性能劣化を抑制しつつ、演算コストを低減できる。 As described above, the learning model creation apparatus Da according to the first embodiment, and the learning model creation method and the learning model creation program implemented therein use the learning model during learning or after learning. Thus, when analyzing an input sample, a redundant feature quantity extraction unit is identified from among a plurality of feature quantity extraction units, and the identified feature quantity extraction unit is deleted, so that deterioration of the performance of the learning model can be suppressed. The learning model creation apparatus Da, the learning model creation method, and the learning model creation program advance learning with a new learning model having a smaller size by deleting the feature amount extraction unit during learning. Can be reduced. In addition, the learning model creation device Da, the learning model creation method, and the learning model creation program analyze an input sample with a new learning model having a smaller size by deleting the feature amount extraction unit during analysis. The calculation cost can be reduced. Therefore, the learning model creation apparatus Da, the learning model creation method, and the learning model creation program can reduce the calculation cost while suppressing the performance degradation of the learning model.
図9は、第1実施形態における学習モデル作成装置の効果を説明するための図である。一具体例では、図9に示すように、杉やもみの木等の樹木を写した複数の画像を教師データとしてCNNの学習モデルが従前の手法で作成されると、学習中、あるいは、学習後の学習モデルは、緑色に反応する特徴量抽出部A、右上がりのエッジに反応する特徴量抽出部B、左上がりのエッジに反応する特徴量抽出部Cおよび緑色に反応する特徴量抽出部Mを含む複数の特徴量抽出部を含む。そこで、第1実施形態における学習モデル作成装置Daによって前記教師データを用いて学習モデルを作成すると、特徴量抽出部Aと特徴量抽出部Mとは、一方が冗長な特徴量抽出部であるので、一方の特徴量抽出部が削除され、これによって、よりサイズの小さい学習モデルが作成され、他方の特徴量抽出部が残ることで、学習モデルの性能劣化が抑制される。 FIG. 9 is a diagram for explaining the effect of the learning model creation device according to the first embodiment. In one specific example, as shown in FIG. 9, when a CNN learning model is created by a conventional method using a plurality of images of trees such as cedars and fir trees as teacher data, learning or learning The later learning model includes a feature amount extraction unit A that reacts to green, a feature amount extraction unit B that reacts to a rising edge to the right, a feature amount extraction unit C that reacts to the rising edge to the left, and a feature amount extraction unit that reacts to green A plurality of feature quantity extraction units including M are included. Therefore, when a learning model is created using the teacher data by the learning model creation device Da in the first embodiment, one of the feature quantity extraction unit A and the feature quantity extraction unit M is a redundant feature quantity extraction unit. One feature quantity extraction unit is deleted, whereby a learning model with a smaller size is created, and the other feature quantity extraction unit remains, thereby suppressing performance degradation of the learning model.
また、他の一具体例では、次の環境で実験が実施された。この実験環境は、フレームワークが「caffe」であり、データセットが「The CIFAR−10 dataset」であり、入力画像名が「canis_familiaris_s_001129.png」であり、ネットワーク定義が「AlexNet」である。このような実験環境の下、特徴量抽出部を削除していないオリジナルな学習モデルを用いた場合(削除設定個数が0である場合)、すなわち、本実施形態の学習モデル作成装置Daで改良していない学習モデルを用いた場合では、正解クラスがdogクラスである場合において、分類結果は、58.83%がdogに分類され、23.91%がcatに分類され、7.92%がhorseに分類された。一方、このオリジナルな学習モデルが、本実施形態における学習モデル作成装置Daによって、削除設定個数を特徴量抽出部の総数に対する50%に設定し、AlexNetの第1層に対し前記冗長な特徴量抽出部を削除するように、改良された。なお、AlexNetの第1層における特徴量抽出部(カーネル)は、11×11サイズであり、その総数は、96個である。このように改良された学習モデルを用いた場合では、正解クラスがdogクラスである場合において、分類結果は、63.45%がdogに分類され、26.72%がcatに分類され、3.63%がhorseに分類された。これらを比較すると分かるように、特徴量抽出部が50%削除されても、正解のdogクラスに正しく分類できており、本実施形態における学習モデル作成装置Daは、学習モデルの性能劣化を抑制しつつ、特徴量抽出部の削除によってより小さいサイズの新たな学習モデルを作成できており、演算コストを低減できている。 In another specific example, the experiment was performed in the following environment. In this experimental environment, the framework is “caffe”, the data set is “The CIFAR-10 dataset”, the input image name is “canis_family_s_001129.png”, and the network definition is “AlexNet”. Under such an experimental environment, when an original learning model in which the feature amount extraction unit is not deleted is used (when the number of deletion settings is 0), that is, the learning model creation device Da according to the present embodiment is improved. If the correct learning class is the dog class, the classification result is that 58.83% is classified as dog, 23.91% is classified as cat, and 7.92% is horse. It was classified into. On the other hand, for this original learning model, the learning model creation device Da in the present embodiment sets the deletion setting number to 50% of the total number of feature quantity extraction units, and extracts the redundant feature quantity from the first layer of AlexNet. Improved to remove parts. Note that the feature quantity extraction unit (kernel) in the first layer of AlexNet has a size of 11 × 11, and the total number is 96. When the learning model improved in this way is used and the correct answer class is the dog class, the classification result is that 63.45% is classified as dog, 26.72% is classified as cat, and 3. 63% were classified as horse. As can be seen from the comparison, even if the feature amount extraction unit is deleted by 50%, it is correctly classified into the correct dog class, and the learning model creation device Da in this embodiment suppresses the performance degradation of the learning model. On the other hand, a new learning model having a smaller size can be created by deleting the feature amount extraction unit, and the calculation cost can be reduced.
上記学習モデル作成装置Da、学習モデル作成方法および学習モデル作成プログラムは、削除設定個数の入力を受け付ける入力部1を備えるので、ユーザは、トレードオフの関係にある演算コストの削減量と性能劣化とを勘案して削除設定個数を設定できる。
Since the learning model creation apparatus Da, the learning model creation method, and the learning model creation program include the
上記学習モデル作成装置Da、学習モデル作成方法および学習モデル作成プログラムは、改良タイミングの入力を受け付ける入力部1を備えるので、ユーザは、例えば、学習モデル作成装置Daを構成するハードウェアの処理能力、分析処理の種類、予測される学習の進捗具合等を勘案して前記タイミングを設定できる。
Since the learning model creation device Da, the learning model creation method, and the learning model creation program include the
上記学習モデル作成装置Da、学習モデル作成方法および学習モデル作成プログラムは、前記冗長な特徴量抽出部を、寄与度の観点から適切に特定できる。上記学習モデル作成装置Da、学習モデル作成方法および学習モデル作成プログラムでは、寄与度の観点から特定するので、演算コストの削減を優先に前記冗長な特徴量抽出部が特定される。 The learning model creation device Da, the learning model creation method, and the learning model creation program can appropriately identify the redundant feature quantity extraction unit from the viewpoint of contribution. In the learning model creation device Da, the learning model creation method, and the learning model creation program, the redundant feature quantity extraction unit is specified with priority given to the reduction of the calculation cost because it is specified from the viewpoint of contribution.
次に、別の実施形態について説明する。 Next, another embodiment will be described.
(第2実施形態)
図10は、第2実施形態において、差分二乗和による冗長削除処理を説明するためのである。
(Second Embodiment)
FIG. 10 is a diagram for explaining redundant deletion processing by the sum of squared differences in the second embodiment.
第1実施形態における学習モデル作成装置Daは、前記寄与度の低い特徴量抽出部から順に前記冗長な特徴量抽出部を特定したが、第2実施形態における学習モデル作成装置Dbは、学習モデルにおける複数の特徴量抽出部間における独立性の低い特徴量抽出部から順に、前記冗長な特徴量抽出部を特定するものである。 The learning model creation device Da in the first embodiment specifies the redundant feature amount extraction unit in order from the feature amount extraction unit with the low contribution degree. However, the learning model creation device Db in the second embodiment uses the learning model creation device Da in the learning model. The redundant feature quantity extraction unit is specified in order from the feature quantity extraction unit having a low independence among the plurality of feature quantity extraction units.
このような第2実施形態における学習モデル作成装置Dbは、例えば、図1に示すように、入力部1と、出力部2と、IF部3と、制御処理部4bと、記憶部5とを備える。これら第2実施形態における学習モデル作成装置Dbにおける入力部1、出力部2、IF部3および記憶部5は、それぞれ、第1実施形態における学習モデル作成装置Daにおける入力部1、出力部2、IF部3および記憶部5と同様であるので、その説明を省略する。
Such a learning model creation device Db in the second embodiment includes, for example, an
制御処理部4bは、学習モデル作成装置Dbの各部1〜3、5を当該各部の機能に応じてそれぞれ制御し、機械学習の学習モデルを作成するための回路であり、例えば、CPUおよびその周辺回路を備えて構成される。制御処理部4bは、その制御処理プログラムが実行されることによって、制御部41、学習適用部42、特定部43bおよびモデル改良部44を機能的に備える。これら第2実施形態の制御処理部4bにおける制御部41、学習適用部42およびモデル改良部44は、それぞれ、第1実施形態の制御処理部4aにおける制御部41、学習適用部42およびモデル改良部44と同様であるので、その説明を省略する。
The
特定部43bは、学習中の際に、または、学習後の学習モデルを用いて入力サンプルを分析する際に、前記学習モデルにおける複数の特徴量抽出部の中から冗長な特徴量抽出部を特定するものである。本実施形態では、特定部43bは、演算コストの削減を優先に、前記冗長な特徴量抽出部を特定する。より具体的には、特定部43bは、学習モデルにおける特徴量抽出部間における独立性の度合いを表す独立度の低い特徴量抽出部から順に、前記冗長な特徴量抽出部を特定する。より具体的には、特定部43bは、特徴量抽出部間で成分同士の差分を求め、この求めた差分の絶対値の和を前記独立度として求め、この求めた独立度に基づいて、前記独立度の低い特徴量抽出部から順に、前記冗長な特徴量抽出部を特定する。より詳しくは、特定部43bは、まず、前記複数の特徴量抽出部それぞれについて、当該特徴量抽出部と前記複数の特徴量抽出部から当該特徴量抽出部を除いた残余の特徴量抽出部それぞれとの間で成分同士の差分を求める。次に、特定部43bは、この求めた各差分の二乗の和(各差分の二乗を全て累積した値)を、前記独立度として求める(独立度=差分二乗和(差分二乗累積値))。差分二乗和が小さいほど、独立度も小さく、前記独立度の小さい特徴量抽出部は、冗長な特徴量抽出部であると判定できる。その一例が図10に示されている。図10の横軸は、特徴量抽出部の一例であるカーネルKNの番号(kernel_num)を示し、その縦軸は、差分二乗和(sum of squares)、すなわち、独立度を示す。そして、特定部43bは、独立度(差分二乗和)の小さい方から順に、前記複数の特徴量抽出部を並べ、予め設定された削除設定個数になるまで、最下位から順に特徴量抽出部を選定し、この選定した特徴量抽出部を前記冗長な特徴量抽出部として特定する。
The
このような第2実施形態における学習モデル作成装置Dbは、学習処理では、特定部43aによる削除対象の特定処理S21aに代え、特定部43bによる削除対象の特定処理S21bを実施する点を除き、図4を用いて上述した各処理を実施する。これによって前記冗長な特徴量抽出部を削除した学習モデルが作成される。
The learning model creation device Db in the second embodiment as described above is different from the learning process in that, in the learning process, the deletion target specifying process S21b by the specifying
一方、分析処理では、第2実施形態における学習モデル作成装置Dbは、特定部43aによる削除対象の特定処理S21aに代え、特定部43bによる削除対象の特定処理S21bを実施する点を除き、図5を用いて上述した各処理を実施する。これによって前記当初の学習モデルより、冗長な特徴量抽出部を削除した新たな学習モデルで対象サンプルの分析が実施される。
On the other hand, in the analysis process, the learning model creating apparatus Db in the second embodiment performs the deletion target specifying process S21b by the specifying
この削除対象の特定処理S21bでは、学習モデル作成装置Dbは、特定部43bによって、特徴量抽出部間で成分同士の差分を求め、この求めた差分の絶対値の和を、前記独立性の度合いを表す独立度として求め、この求めた独立度に基づいて、前記複数の特徴量抽出部間における独立性の低い特徴量抽出部から順に、前記削除設定個数になるまで(すなわち、前記入力部で受け付けた特定条件を満たしている間)、前記冗長な特徴量抽出部を特定する。
In the deletion target specifying process S21b, the learning model creating apparatus Db uses the specifying
このような第2実施形態における学習モデル作成装置Db、ならびに、これに実装された学習モデル作成方法および学習モデル作成プログラムは、第1実施形態における学習モデル作成装置Da、学習モデル作成方法および学習モデル作成プログラムと同様の作用効果を奏する。 The learning model creation device Db in the second embodiment and the learning model creation method and learning model creation program implemented in the learning model creation device Db are the same as the learning model creation device Da, the learning model creation method, and the learning model in the first embodiment. Has the same effect as the created program.
そして、上記学習モデル作成装置Db、学習モデル作成方法および学習モデル作成プログラムは、前記冗長な特徴量抽出部を、独立度の観点から適切に特定できる。上記学習モデル作成装置Db、学習モデル作成方法および学習モデル作成プログラムでは、独立度の観点から特定するので、演算コストの削減を優先に前記冗長な特徴量抽出部が特定される。 The learning model creation device Db, the learning model creation method, and the learning model creation program can appropriately specify the redundant feature quantity extraction unit from the viewpoint of independence. The learning model creation device Db, the learning model creation method, and the learning model creation program specify from the viewpoint of independence, and therefore, the redundant feature quantity extraction unit is specified by giving priority to reduction in calculation cost.
次に、別の実施形態について説明する。 Next, another embodiment will be described.
(第3実施形態)
図11は、第3実施形態において、次元圧縮による冗長削除処理を説明するためのである。図11Aは、特徴量抽出部の機能をテキストで表した場合の学習モデルを示し、図11Bは、特徴量抽出部の成分をベクトルで表した場合の学習モデルを示し、図11Cは、2次元に圧縮した場合における各特徴量抽出部の分布を示す。
(Third embodiment)
FIG. 11 is a diagram for explaining redundant deletion processing by dimension compression in the third embodiment. FIG. 11A shows a learning model when the function of the feature quantity extraction unit is expressed in text, FIG. 11B shows a learning model when the components of the feature quantity extraction unit are expressed as vectors, and FIG. 11C shows a two-dimensional model. The distribution of each feature quantity extraction unit when compressed is shown.
第1実施形態における学習モデル作成装置Daは、前記寄与度の低い特徴量抽出部から順に前記冗長な特徴量抽出部を特定したが、第3実施形態における学習モデル作成装置Dcは、学習モデルにおける複数の特徴量抽出部をグループ分けし、前記複数の特徴量抽出部から各グループを代表する特徴量抽出部を除いた残余の特徴量抽出部を、前記冗長な特徴量抽出部として特定するものである。 The learning model creation device Da in the first embodiment specifies the redundant feature amount extraction unit in order from the feature amount extraction unit with the low contribution degree, but the learning model creation device Dc in the third embodiment uses the learning model in the learning model. A plurality of feature quantity extraction units are grouped, and a residual feature quantity extraction unit excluding a feature quantity extraction unit representing each group from the plurality of feature quantity extraction units is specified as the redundant feature quantity extraction unit It is.
このような第3実施形態における学習モデル作成装置Dcは、例えば、図1に示すように、入力部1と、出力部2と、IF部3と、制御処理部4cと、記憶部5とを備える。これら第3実施形態における学習モデル作成装置Dcにおける入力部1、出力部2、IF部3および記憶部5は、それぞれ、第1実施形態における学習モデル作成装置Daにおける入力部1、出力部2、IF部3および記憶部5と同様であるので、その説明を省略する。
Such a learning model creation apparatus Dc in the third embodiment includes, for example, an
制御処理部4cは、学習モデル作成装置Dcの各部1〜3、5を当該各部の機能に応じてそれぞれ制御し、機械学習の学習モデルを作成するための回路であり、例えば、CPUおよびその周辺回路を備えて構成される。制御処理部4cは、その制御処理プログラムが実行されることによって、制御部41、学習適用部42、特定部43cおよびモデル改良部44を機能的に備える。これら第3実施形態の制御処理部4cにおける制御部41、学習適用部42およびモデル改良部44は、それぞれ、第1実施形態の制御処理部4aにおける制御部41、学習適用部42およびモデル改良部44と同様であるので、その説明を省略する。
The
特定部43cは、学習中の際に、または、学習後の学習モデルを用いて入力サンプルを分析する際に、前記学習モデルにおける複数の特徴量抽出部の中から冗長な特徴量抽出部を特定するものである。本実施形態では、特定部43cは、演算コストの削減を優先に、前記冗長な特徴量抽出部を特定する。より具体的には、特定部43cは、前記学習モデルにおける複数の特徴量抽出部を、互いに類似する特徴量抽出部から成る複数のグループに分け、前記複数のグループそれぞれから、グループを代表する特徴量抽出部を代表特徴量抽出部として選択し、前記複数の特徴量抽出部から前記代表特徴量抽出部を除く残余の特徴量抽出部を前記冗長な特徴量抽出部として特定することで、前記冗長な特徴量抽出部を特定する。より詳しくは、特定部43cは、まず、前記複数の特徴量抽出部をグループ分けするために、前記複数の特徴量抽出部間で距離を求める。距離が近い特徴量抽出部同士は、互いに類似する特徴量抽出部であると判定できる。前記距離は、特徴量抽出部の成分数に応じた次元で求められても良いが、本実施形態では、特徴量抽出部の次元を低減してから求められる。例えば、特定部43cは、前記複数の特徴量抽出部を主成分分析の手法を用いてその次元を低減する。一例では、図11Aに示す学習モデルの特徴量抽出部が図11Bに示すようにn次元の成分(n個の成分)から成る場合に、主成分分析の手法を用いて第1および第2主成分の2次元に圧縮され、図11Cに示すように、2次元に圧縮された複数の特徴量抽出部が求められる。次に、特定部43cは、低次元化された特徴量抽出部間で距離を求め、その距離が予め設定された所定の閾値(距離判定閾値)以内の特徴量抽出部をグループに纏める。図11Cに示す例では、複数の特徴量抽出部は、7個の第1ないし第7グループGPa〜GPgに分けられている。次に、特定部43cは、前記複数のグループそれぞれから、グループを代表する特徴量抽出部を代表特徴量抽出部として選択する。図11Cに示す例では、特定部43cは、各グループGPそれぞれにつて、当該グループの重心位置を求め、この求めた重心位置に距離的に最も近い特徴量抽出部を代表特徴量抽出部として選択する。図11Cに示す例では、第1グループGPaでは、特徴量抽出部Aが代表特徴量抽出部として選択され、第2グループGPbでは、特徴量抽出部Bが代表特徴量抽出部として選択され、第3グループGPcでは、特徴量抽出部Cが代表特徴量抽出部として選択され、第4グループGPdでは、特徴量抽出部Dが代表特徴量抽出部として選択され、第5グループGPeでは、特徴量抽出部Eが代表特徴量抽出部として選択され、第6グループGPfでは、特徴量抽出部Fが代表特徴量抽出部として選択されている。次に、特定部43cは、前記複数の特徴量抽出部から前記代表特徴量抽出部を除く残余の特徴量抽出部を前記冗長な特徴量抽出部として特定する。
The
なお、第3実施形態では、削除設定個数が設定された場合に、グループ分け後のグループの総数が、特徴量抽出部の総数から削除設定個数を減算した個数となるように、前記距離判定閾値が調整される。これによって、特定部43cは、前記学習モデルにおける複数の特徴量抽出部を前記複数のグループに、前記複数の特徴量抽出部の総数から入力部1で受け付けた削除設定個数を減算した個数になるように、分ける。
In the third embodiment, when the deletion setting number is set, the distance determination threshold value is set such that the total number of groups after grouping becomes the number obtained by subtracting the deletion setting number from the total number of feature amount extraction units. Is adjusted. As a result, the
このような第3実施形態における学習モデル作成装置Dcは、学習処理では、特定部43aによる削除対象の特定処理S21aに代え、特定部43cによる削除対象の特定処理S21cを実施する点を除き、図4を用いて上述した各処理を実施する。これによって前記冗長な特徴量抽出部を削除した学習モデルが作成される。
The learning model creation device Dc in the third embodiment as described above is different from the learning process in that, in the learning process, the deletion target specifying process S21c by the specifying
一方、分析処理では、第3実施形態における学習モデル作成装置Dcは、特定部43aによる削除対象の特定処理S21aに代え、特定部43cによる削除対象の特定処理S21cを実施する点を除き、図5を用いて上述した各処理を実施する。これによって前記当初の学習モデルより、冗長な特徴量抽出部を削除した新たな学習モデルで対象サンプルの分析が実施される。
On the other hand, in the analysis process, the learning model creation device Dc in the third embodiment performs the deletion target specifying process S21c by the specifying
この削除対象の特定処理S21cでは、学習モデル作成装置Dcは、特定部43cによって、前記学習モデルにおける複数の特徴量抽出部を、互いに類似する特徴量抽出部から成る複数のグループに分け、前記複数のグループそれぞれから、グループを代表する特徴量抽出部を代表特徴量抽出部として選択し、前記複数の特徴量抽出部から前記代表特徴量抽出部を除く残余の特徴量抽出部を前記冗長な特徴量抽出部として特定する。
In the deletion target specifying process S21c, the learning model creation device Dc uses the specifying
このような第3実施形態における学習モデル作成装置Dc、ならびに、これに実装された学習モデル作成方法および学習モデル作成プログラムは、第1実施形態における学習モデル作成装置Da、学習モデル作成方法および学習モデル作成プログラムと同様の作用効果を奏する。 Such a learning model creation device Dc in the third embodiment, and a learning model creation method and a learning model creation program implemented therein are the learning model creation device Da, the learning model creation method, and the learning model in the first embodiment. Has the same effect as the created program.
そして、上記学習モデル作成装置Dc、学習モデル作成方法および学習モデル作成プログラムは、前記冗長な特徴量抽出部を、類似の観点から適切に特定できる。上記学習モデル作成装置Dc、学習モデル作成方法および学習モデル作成プログラムでは、類似の観点から特定するので、演算コストの削減を優先に前記冗長な特徴量抽出部が特定される。 The learning model creation device Dc, the learning model creation method, and the learning model creation program can appropriately specify the redundant feature amount extraction unit from a similar viewpoint. In the learning model creation apparatus Dc, the learning model creation method, and the learning model creation program, the redundant feature quantity extraction unit is specified by giving priority to the reduction of the calculation cost because it is specified from a similar viewpoint.
次に、別の実施形態について説明する。 Next, another embodiment will be described.
(第4実施形態)
図12は、第4実施形態における学習モデル作成装置に表示される入出力画面の一例を示す図である。
(Fourth embodiment)
FIG. 12 is a diagram illustrating an example of an input / output screen displayed on the learning model creation apparatus according to the fourth embodiment.
第1ないし第3実施形態における学習モデル作成装置Da〜Dcは、演算コストの削減を優先に、前記冗長な特徴量抽出部を特定するが、第4実施形態における学習モデル作成装置Ddは、学習モデルの性能の維持を優先に、前記冗長な特徴量抽出部を特定するものである。 The learning model creation devices Da to Dc in the first to third embodiments specify the redundant feature amount extraction unit with priority given to reduction in calculation cost, but the learning model creation device Dd in the fourth embodiment performs learning. The redundant feature quantity extraction unit is specified with priority given to maintaining the performance of the model.
このような第4実施形態における学習モデル作成装置Ddは、例えば、図1に示すように、入力部1と、出力部2と、IF部3と、制御処理部4dと、記憶部5とを備える。これら第4実施形態における学習モデル作成装置Ddにおける入力部1、出力部2、IF部3および記憶部5は、それぞれ、学習モデルの性能の維持を優先する第1優先項目を入力部1がさらに受け付ける点を除き、第1実施形態における学習モデル作成装置Daにおける入力部1、出力部2、IF部3および記憶部5と同様であるので、その説明を省略する。
Such a learning model creation device Dd in the fourth embodiment includes, for example, an
入力部1は、本実施形態では、上述のように、学習モデルの性能の維持を優先する第1優先項目の入力をさらに受け付ける。前記第1優先項目は、本実施形態では、色情報を前記特徴量として抽出する第1特徴量抽出部(色情報抽出部)、エッジ情報を前記特徴量として抽出する第2特徴量抽出部(エッジ情報抽出部)、および、ブラー情報を前記特徴量として抽出する第3特徴量抽出部(ブラー情報抽出部)の中から選択され、前記特定する前記冗長な特徴量抽出部から除外される特徴量抽出部である。この選択される特徴量抽出部は、1個であって良く、あるいは、複数であって良く、あるいは、全てであって良い。前記第1優先項目は、前記特定条件の他の一例である。したがって、入力部1は、前記第1ないし第3特徴量抽出部の中から、前記特定する前記冗長な特徴量抽出部から除外する特徴量抽出部の入力を受け付ける。
In the present embodiment, as described above, the
制御処理部4dは、学習モデル作成装置Ddの各部1〜3、5を当該各部の機能に応じてそれぞれ制御し、機械学習の学習モデルを作成するための回路であり、例えば、CPUおよびその周辺回路を備えて構成される。制御処理部4dは、その制御処理プログラムが実行されることによって、制御部41、学習適用部42、特定部43dおよびモデル改良部44を機能的に備える。これら第4実施形態の制御処理部4dにおける制御部41、学習適用部42およびモデル改良部44は、それぞれ、第1実施形態の制御処理部4aにおける制御部41、学習適用部42およびモデル改良部44と同様であるので、その説明を省略する。
The
特定部43dは、学習中の際に、または、学習後の学習モデルを用いて入力サンプルを分析する際に、前記学習モデルにおける複数の特徴量抽出部の中から冗長な特徴量抽出部を特定するものである。本実施形態では、特定部43dは、学習モデルの性能の維持を優先に、前記冗長な特徴量抽出部を特定する。より具体的には、特定部43dは、入力部1で受け付けた特徴量抽出部に該当する特徴量抽出部を、前記特定する前記冗長な特徴量抽出部から除外することによって、前記冗長な特徴量抽出部を特定する。すなわち、特定部43dは、前記冗長な特徴量抽出部として特定された特徴量抽出部が、入力部1で受け付けた特徴量抽出部に該当する特徴量抽出部である場合には、前記冗長な特徴量抽出部として特定しない。より詳しくは、例えば、前記寄与度の低い特徴量抽出部から順に前記冗長な特徴量抽出部を特定する場合、入力部1で受け付けた特徴量抽出部に該当する特徴量抽出部は、この寄与度順に並ぶ複数の特徴量抽出部から外され、特定部43dは、入力部1で受け付けた特徴量抽出部に該当する特徴量抽出部を外して寄与度の低い特徴量抽出部から順に前記冗長な特徴量抽出部を特定する。また例えば、前記独立度の低い特徴量抽出部から順に、前記冗長な特徴量抽出部を特定する場合、入力部1で受け付けた特徴量抽出部に該当する特徴量抽出部は、この独立度順に並ぶ複数の特徴量抽出部から外され、特定部43dは、入力部1で受け付けた特徴量抽出部に該当する特徴量抽出部を外して独立度の低い特徴量抽出部から順に前記冗長な特徴量抽出部を特定する。また例えば、前記学習モデルにおける複数の特徴量抽出部を、互いに類似する特徴量抽出部から成る複数のグループに分け、前記複数のグループそれぞれから、前記代表特徴量抽出部を除く残余の特徴量抽出部を前記冗長な特徴量抽出部として特定する場合、入力部1で受け付けた特徴量抽出部に該当する特徴量抽出部は、この残余の特徴量抽出部から外され、特定部43dは、入力部1で受け付けた特徴量抽出部に該当する特徴量抽出部を外して残余の特徴量抽出部を特定する。
The identifying
このような第4実施形態における学習モデル作成装置Ddは、学習処理では、特定部43aによる削除対象の特定処理S21aに代え、特定部43dによる削除対象の特定処理S21dを実施する点を除き、図4を用いて上述した各処理を実施する。これによって前記冗長な特徴量抽出部を削除した学習モデルが作成される。
The learning model creation device Dd according to the fourth embodiment as described above is different from the learning process in that, in the learning process, the deletion target specifying process S21d by the specifying
一方、分析処理では、第4実施形態における学習モデル作成装置Ddは、特定部43aによる削除対象の特定処理S21aに代え、特定部43dによる削除対象の特定処理S21dを実施する点を除き、図5を用いて上述した各処理を実施する。これによって前記当初の学習モデルより、冗長な特徴量抽出部を削除した新たな学習モデルで対象サンプルの分析が実施される。
On the other hand, in the analysis process, the learning model creation device Dd according to the fourth embodiment performs the deletion target specifying process S21d by the specifying
この削除対象の特定処理S21dでは、学習モデル作成装置Ddは、特定部43dによって、前記第1優先項目を入力部1で受け付け、入力部1で受け付けた前記第1優先項目の特徴量抽出部に該当する特徴量抽出部を、前記特定する前記冗長な特徴量抽出部から除外することによって、前記冗長な特徴量抽出部を特定する。
In the deletion target specifying process S21d, the learning model creating apparatus Dd receives the first priority item at the
この第1優先項目の入力は、例えば、図12に示す入出力画面を用いて実施される。図12に示す入出力画面7は、前記特定条件の一例である前記削除設定個数を入力するための削除設定個数入力領域71と、前記特定条件の他の一例である前記第1優先項目を入力するための優先項目入力領域72と、前記冗長な特徴量抽出部を削除する前のオリジナルな学習モデルを特徴量抽出部で表示するためのオリジナル学習モデル表示領域73と、前記冗長な特徴量抽出部を削除した後の学習モデルを特徴量抽出部で表示するための削除後学習モデル表示領域74とを備える。
The input of the first priority item is performed using, for example, an input / output screen shown in FIG. The input /
前記削除設定個数領域71は、図12に示す例では、前記削除設定個数を、特徴量抽出部の総数に対する割合で入力できるように構成されている。より具体的には、前記削除設定個数領域71は、0%から100%までの割合を表すスケールバー711と、スケールバー711上の位置を変更することによって前記割合を指定する割合指定カーソル712と、割合カーソルで指定されている割合を数値で表示する指定割合数値表示領域713とを備える。図12に示す例では、割合指定カーソル712によって、前記削除設定個数は、特徴量抽出部の総数に対し20%に相当する個数である。
In the example shown in FIG. 12, the deletion setting
前記優先項目入力領域72は、図12に示す例では、前記特定する特徴量抽出部からブラー情報を前記特徴量として抽出する第3特徴量抽出部を除外するか除外しないかを指定するための第1チェックボックス721と、前記特定する特徴量抽出部から色情報を前記特徴量として抽出する第1特徴量抽出部を除外するか除外しないかを指定するための第2チェックボックス722と、前記特定する特徴量抽出部からエッジ情報を前記特徴量として抽出する第2特徴量抽出部を除外するか除外しないかを指定するための第3チェックボックス723とを備える。第1チェックボックス721がチェックされると、前記特定する特徴量抽出部からブラー情報を前記特徴量として抽出する第3特徴量抽出部が除外され、したがって、ブラー情報は消さない(削除されない)。第2チェックボックス722がチェックされると、前記特定する特徴量抽出部から色情報を前記特徴量として抽出する第1特徴量抽出部が除外され、したがって、色情報は消さない(削除されない)。第3チェックボックス723がチェックされると、前記特定する特徴量抽出部からエッジ情報を前記特徴量として抽出する第2特徴量抽出部が除外され、したがって、エッジ情報は消さない(削除されない)。図12に示す例では、第3チェックボックス723のみがチェックされている。
In the example shown in FIG. 12, the priority item input area 72 is used to specify whether or not to exclude a third feature quantity extraction unit that extracts blur information as the feature quantity from the specified feature quantity extraction unit. A
オリジナル学習モデル表示領域73には、図12に示す例では、96個の特徴量抽出部を持つオリジナルな学習モデルが表示され、削除後学習モデル表示領域74には、96個の特徴量抽出部のうちの19個の特徴量抽出部が前記冗長な特徴量抽出部として削除された削除後の学習モデルが表示されている。この前記冗長な特徴量抽出部として削除された特徴量抽出部は、図12では、黒塗りで示されている。このような入出力画面7は、オリジナル学習モデル表示領域73と削除後学習モデル表示領域74とを備えるので、ユーザは、オリジナル学習モデル表示領域73および削除後学習モデル表示領域74それぞれに表示された各特徴量抽出器を見較べながら、前記トレードオフの関係を勘案し、削除設定個数を設定できる。
In the example shown in FIG. 12, the original learning
なお、第1ないし第3実施形態における学習モデル作成装置Da〜Dcでは、前記優先項目入力領域72を備えない入出力画面7が用いられ、前記削除設定個数が学習モデル作成装置Da〜Dcに入力され、設定されて良い。また、入出力画面7において、第1ないし第3チェックボックス721〜723の少なくともいずれか1つがチェックされたか否かで、学習モデルの性能の維持を優先に前記冗長な特徴量抽出部を特定するか、演算コストの削減を優先に前記冗長な特徴量抽出部を特定するかの指示の入力が判定されてもよい。
In the learning model creation devices Da to Dc in the first to third embodiments, the input /
このような第4実施形態における学習モデル作成装置Dd、ならびに、これに実装された学習モデル作成方法および学習モデル作成プログラムは、第1実施形態における学習モデル作成装置Da、学習モデル作成方法および学習モデル作成プログラムと同様の作用効果を奏する。 The learning model creation device Dd according to the fourth embodiment, and the learning model creation method and the learning model creation program implemented therein are the learning model creation device Da, the learning model creation method, and the learning model according to the first embodiment. Has the same effect as the created program.
そして、上記学習モデル作成装置Dd、学習モデル作成方法および学習モデル作成プログラムは、入力部1で受け付けた第1優先項目に対応する性能を維持でき、ユーザの意図に沿った、学習モデルの目的に応じた重要な特徴量抽出部を残して学習モデルの性能を維持できる。入力部1で第1特徴量抽出部(色情報抽出部)を除外するように受け付けた場合には、上記学習モデル作成装置Dd、学習モデル作成方法および学習モデル作成プログラムは、第1特徴量抽出部を除外して前記冗長な特徴量抽出部を特定するので、前記冗長な特徴量抽出部を削除後の学習モデルに、第1特徴量抽出部を残すことができる。この場合では、上記学習モデル作成装置Dd、学習モデル作成方法および学習モデル作成プログラムでは、第1特徴量抽出部を残すので、学習モデルの性能の維持を優先に前記冗長な特徴量抽出部が特定される。入力部1で第2特徴量抽出部(エッジ情報抽出部)を除外するように受け付けた場合には、上記学習モデル作成装置Dd、学習モデル作成方法および学習モデル作成プログラムは、第2特徴量抽出部を除外して前記冗長な特徴量抽出部を特定するので、前記冗長な特徴量抽出部を削除後の学習モデルに、第2特徴量抽出部を残すことができる。この場合では、上記学習モデル作成装置Dd、学習モデル作成方法および学習モデル作成プログラムでは、第2特徴量抽出部を残すので、学習モデルの性能の維持を優先に前記冗長な特徴量抽出部が特定される。入力部1で第3特徴量抽出部(ブラー情報抽出部)を除外するように受け付けた場合には、上記学習モデル作成装置Dd、学習モデル作成方法および学習モデル作成プログラムは、第3特徴量抽出部を除外して前記冗長な特徴量抽出部を特定するので、前記冗長な特徴量抽出部を削除後の学習モデルに、第3特徴量抽出部を残すことができる。この場合では、上記学習モデル作成装置Dd、学習モデル作成方法および学習モデル作成プログラムでは、第3特徴量抽出部を残すので、学習モデルの性能の維持を優先に前記冗長な特徴量抽出部が特定される。
The learning model creation device Dd, the learning model creation method, and the learning model creation program can maintain the performance corresponding to the first priority item received by the
図13は、第4実施形態における学習モデル作成装置の効果を説明するための図である。一具体例では、入力画像の色の差は、着目せずに、エッジ情報が重要である文字認識用の学習モデルを作成する場合、図12に示すように、第3チェックボックス723がチェックされる。これによって、図13に示すように、オリジナルな学習モデルが、黄色に反応する特徴量抽出部A、右上がりのエッジに反応する特徴量抽出部B、左上がりのエッジに反応する特徴量抽出部C、縦方向のエッジに反応する特徴量抽出部D、横方向のエッジに反応する特徴量抽出部E、水色に反応する特徴量抽出部F、赤色に反応する特徴量抽出部Gおよび曲線に反応する特徴量抽出部Mを含む場合、エッジ情報に反応する特徴量抽出部が前記特定する前記冗長な特徴量抽出部から外され、黄色に反応する特徴量抽出部A、水色に反応する特徴量抽出部Fおよび赤色に反応する特徴量抽出部Gが削除され、右上がりのエッジに反応する特徴量抽出部B、左上がりのエッジに反応する特徴量抽出部C、縦方向のエッジに反応する特徴量抽出部D、横方向のエッジに反応する特徴量抽出部Eおよび曲線に反応する特徴量抽出部Mを含む削除後の学習モデルが作成される。これによって、エッジに反応する特徴量抽出部が残ることで、目的に応じた学習モデルが作成される。
FIG. 13 is a diagram for explaining the effect of the learning model creation device according to the fourth embodiment. In one specific example, when a learning model for character recognition in which edge information is important is generated without paying attention to the difference in color of the input image, a
次に、別の実施形態について説明する。 Next, another embodiment will be described.
(第5実施形態)
第1ないし第3実施形態における学習モデル作成装置Da〜Dcは、演算コストの削減を優先に、前記冗長な特徴量抽出部を特定するが、第5実施形態における学習モデル作成装置Deは、学習モデルの性能の維持を優先に、前記冗長な特徴量抽出部を特定するものである。
(Fifth embodiment)
The learning model creation devices Da to Dc in the first to third embodiments specify the redundant feature amount extraction unit with priority on reduction of calculation cost, but the learning model creation device De in the fifth embodiment performs learning. The redundant feature quantity extraction unit is specified with priority given to maintaining the performance of the model.
このような第5実施形態における学習モデル作成装置Deは、例えば、図1に示すように、入力部1と、出力部2と、IF部3と、制御処理部4eと、記憶部5とを備える。これら第5実施形態における学習モデル作成装置Deにおける入力部1、出力部2、IF部3および記憶部5は、それぞれ、学習モデルの性能の維持を優先する優先項目を入力部1がさらに受け付ける点を除き、第1実施形態における学習モデル作成装置Daにおける入力部1、出力部2、IF部3および記憶部5と同様であるので、その説明を省略する。
Such a learning model creation device De in the fifth embodiment includes, for example, an
入力部1は、本実施形態では、上述のように、学習モデルの性能の維持を優先する第2優先項目の入力をさらに受け付ける。前記第2優先項目は、本実施形態では、色情報を前記特徴量として抽出する第1特徴量抽出部(色情報抽出部)、エッジ情報を前記特徴量として抽出する第2特徴量抽出部(エッジ情報抽出部)、および、ブラー情報を前記特徴量として抽出する第3特徴量抽出部(ブラー情報抽出部)の中から選択され、前記冗長な特徴量抽出部として優先的に特定する特徴量抽出部である。この選択される特徴量抽出部は、1個であって良く、あるいは、複数であって良く、あるいは、全てであって良い。前記第2優先項目は、前記特定条件の他の一例である。したがって、入力部1は、前記第1ないし第3特徴量抽出部の中から、前記冗長な特徴量抽出部として優先的に特定する特徴量抽出部の入力を受け付ける。
In this embodiment, as described above, the
制御処理部4eは、学習モデル作成装置Deの各部1〜3、5を当該各部の機能に応じてそれぞれ制御し、機械学習の学習モデルを作成するための回路であり、例えば、CPUおよびその周辺回路を備えて構成される。制御処理部4eは、その制御処理プログラムが実行されることによって、制御部41、学習適用部42、特定部43eおよびモデル改良部44を機能的に備える。これら第5実施形態の制御処理部4eにおける制御部41、学習適用部42およびモデル改良部44は、それぞれ、第1実施形態の制御処理部4aにおける制御部41、学習適用部42およびモデル改良部44と同様であるので、その説明を省略する。
The
特定部43eは、学習中の際に、または、学習後の学習モデルを用いて入力サンプルを分析する際に、前記学習モデルにおける複数の特徴量抽出部の中から冗長な特徴量抽出部を特定するものである。本実施形態では、特定部43eは、学習モデルの性能の維持を優先に、前記冗長な特徴量抽出部を特定する。より具体的には、特定部43eは、入力部1で受け付けた特徴量抽出部に該当する特徴量抽出部を、前記冗長な特徴量抽出部として優先的に特定することによって、前記冗長な特徴量抽出部を特定する。すなわち、特定部43eは、前記学習モデルにおける特徴量抽出部が、入力部1で受け付けた特徴量抽出部に該当する特徴量抽出部である場合には、前記冗長な特徴量抽出部として優先的に特定する。より詳しくは、例えば、前記寄与度の低い特徴量抽出部から順に前記冗長な特徴量抽出部を特定する場合、入力部1で受け付けた特徴量抽出部に該当する特徴量抽出部は、この寄与度順に並ぶ複数の特徴量抽出部から外されて前記冗長な特徴量抽出部として優先的に特定され、特定部43dは、入力部1で受け付けた特徴量抽出部に該当する特徴量抽出部を外して寄与度の低い特徴量抽出部から順に、削除設定個数から前記冗長な特徴量抽出部として優先的に特定された特徴量抽出部の個数だけ差し引いた個数で、前記冗長な特徴量抽出部を特定する。また例えば、前記独立度の低い特徴量抽出部から順に、前記冗長な特徴量抽出部を特定する場合、入力部1で受け付けた特徴量抽出部に該当する特徴量抽出部は、この独立度順に並ぶ複数の特徴量抽出部から外されて前記冗長な特徴量抽出部として優先的に特定され、特定部43dは、入力部1で受け付けた特徴量抽出部に該当する特徴量抽出部を外して独立度の低い特徴量抽出部から順に、削除設定個数から前記冗長な特徴量抽出部として優先的に特定された特徴量抽出部の個数だけ差し引いた個数で、前記冗長な特徴量抽出部を特定する。また例えば、前記学習モデルにおける複数の特徴量抽出部を、互いに類似する特徴量抽出部から成る複数のグループに分け、前記複数のグループそれぞれから、前記代表特徴量抽出部を除く残余の特徴量抽出部を前記冗長な特徴量抽出部として特定する場合、入力部1で受け付けた特徴量抽出部に該当する特徴量抽出部は、前記グループ分け前に、複数の特徴量抽出部から外されて前記冗長な特徴量抽出部として優先的に特定され、特定部43dは、この残余の特徴量抽出部を、互いに類似する特徴量抽出部から成る複数のグループに分け、前記複数のグループそれぞれから、前記代表特徴量抽出部を除く残余の特徴量抽出部を前記冗長な特徴量抽出部として特定する。削除設定個数が設定された場合、削除設定個数から、前記冗長な特徴量抽出部として優先的に特定された特徴量抽出部の個数が減算され、新たな削除設定個数が求められ、グループ分け後のグループの総数が、特徴量抽出部の総数からこの新たな削除設定個数を減算した個数となるように、前記距離判定閾値が調整される。
The identifying
このような第5実施形態における学習モデル作成装置Deは、学習処理では、特定部43aによる削除対象の特定処理S21aに代え、特定部43eによる削除対象の特定処理S21eを実施する点を除き、図4を用いて上述した各処理を実施する。これによって前記冗長な特徴量抽出部を削除した学習モデルが作成される。
The learning model creation device De according to the fifth embodiment as described above is different from the learning process in that, in the learning process, the deletion target specifying process S21e by the specifying
一方、分析処理では、第5実施形態における学習モデル作成装置Deは、特定部43aによる削除対象の特定処理S21aに代え、特定部43eによる削除対象の特定処理S21eを実施する点を除き、図5を用いて上述した各処理を実施する。これによって前記当初の学習モデルより、冗長な特徴量抽出部を削除した新たな学習モデルで対象サンプルの分析が実施される。
On the other hand, in the analysis process, the learning model creation device De according to the fifth exemplary embodiment performs the deletion target specifying process S21e by the specifying
この削除対象の特定処理S21eでは、学習モデル作成装置Ddは、特定部43dによって、前記第2優先項目を入力部1で受け付け、入力部1で受け付けた前記第2優先項目の特徴量抽出部に該当する特徴量抽出部を、前記冗長な特徴量抽出部として優先的に特定することによって、前記冗長な特徴量抽出部を特定する。
In the specific process S21e to be deleted, the learning model creation device Dd receives the second priority item by the
このような第5実施形態における学習モデル作成装置De、ならびに、これに実装された学習モデル作成方法および学習モデル作成プログラムは、第1実施形態における学習モデル作成装置Da、学習モデル作成方法および学習モデル作成プログラムと同様の作用効果を奏する。 Such a learning model creation device De in the fifth embodiment, and a learning model creation method and a learning model creation program implemented therein are the learning model creation device Da, the learning model creation method, and the learning model in the first embodiment. Has the same effect as the created program.
そして、上記学習モデル作成装置De、学習モデル作成方法および学習モデル作成プログラムは、学習モデルの使用用途に応じてノイズとなる特徴量抽出部を第2優先項目に指定することで、学習モデルの使用用途に応じた性能を維持でき、ユーザの意図に沿った、学習モデルの目的に応じた重要な特徴量抽出部を残して学習モデルの性能を維持できる。入力部1で第1特徴量抽出部(色情報抽出部)を優先的に特定するように受け付けた場合には、上記学習モデル作成装置De、学習モデル作成方法および学習モデル作成プログラムは、第1特徴量抽出部を優先して前記冗長な特徴量抽出部を特定するので、前記冗長な特徴量抽出部を削除後の学習モデルに、第1特徴量抽出部を含ませなくできる。特に、学習モデルの使用用途の観点から第1特徴量抽出部がノイズとなる場合では、上記学習モデル作成装置De、学習モデル作成方法および学習モデル作成プログラムは、前記冗長な特徴量抽出部を削除後の学習モデルから、ノイズとなる第1特徴量抽出部を削除(除外)できる。この場合では、上記学習モデル作成装置De、学習モデル作成方法および学習モデル作成プログラムでは、第1特徴量抽出部が優先的に削除されるので、学習モデルの性能の維持を優先に前記冗長な特徴量抽出部が特定される。入力部1で第2特徴量抽出部(エッジ情報抽出部)を優先的に特定するように受け付けた場合には、上記学習モデル作成装置De、学習モデル作成方法および学習モデル作成プログラムは、第2特徴量抽出部を優先して前記冗長な特徴量抽出部を特定するので、前記冗長な特徴量抽出部を削除後の学習モデルに、第2特徴量抽出部を含ませなくできる。特に、学習モデルの使用用途の観点から第2特徴量抽出部がノイズとなる場合では、上記学習モデル作成装置De、学習モデル作成方法および学習モデル作成プログラムは、前記冗長な特徴量抽出部を削除後の学習モデルから、ノイズとなる第2特徴量抽出部を削除できる。この場合では、上記学習モデル作成装置De、学習モデル作成方法および学習モデル作成プログラムでは、第2特徴量抽出部が優先的に削除されるので、学習モデルの性能の維持を優先に前記冗長な特徴量抽出部が特定される。入力部1で第3特徴量抽出部(ブラー情報抽出部)を優先的に特定するように受け付けた場合には、上記学習モデル作成装置De、学習モデル作成方法および学習モデル作成プログラムは、第3特徴量抽出部を優先して前記冗長な特徴量抽出部を特定するので、前記冗長な特徴量抽出部を削除後の学習モデルに、第3特徴量抽出部を含ませなくできる。特に、学習モデルの使用用途の観点から第3特徴量抽出部がノイズとなる場合では、上記学習モデル作成装置De、学習モデル作成方法および学習モデル作成プログラムは、前記冗長な特徴量抽出部を削除後の学習モデルから、ノイズとなる第3特徴量抽出部を削除できる。この場合では、上記学習モデル作成装置De、学習モデル作成方法および学習モデル作成プログラムでは、第3特徴量抽出部が優先的に削除されるので、学習モデルの性能の維持を優先に前記冗長な特徴量抽出部が特定される。
The learning model creation device De, the learning model creation method, and the learning model creation program use the learning model by designating the feature quantity extraction unit that becomes noise as the second priority item according to the usage of the learning model. The performance according to the application can be maintained, and the performance of the learning model can be maintained while leaving an important feature amount extraction unit according to the purpose of the learning model in accordance with the user's intention. When the
なお、上述の実施形態において、削除設定個数は、次のように設定されても良い。オリジナルな学習モデルにおける削除対象の特徴量抽出部の総量がb[Byte]であり、1[Byte]の特徴量抽出部を処理するために要する演算ステップ数がS[Step/Byte]であり、その1[step]を処理するために要する処理時間がt[s/step]であり、そして、実適用上の要求処理時間がRt[s]である場合に、学習モデルに要求される精度を勘案して、削除設定個数は、削除率αで、α×b×S×t≦Rtとなるように、設定される。 In the above-described embodiment, the number of deletion settings may be set as follows. The total amount of the feature quantity extraction unit to be deleted in the original learning model is b [Byte], the number of calculation steps required to process the 1 [Byte] feature quantity extraction unit is S [Step / Byte], When the processing time required to process the 1 [step] is t [s / step] and the processing time required for actual application is Rt [s], the accuracy required for the learning model is increased. In consideration, the deletion setting number is set such that α × b × S × t ≦ Rt at the deletion rate α.
本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および/または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。 In order to express the present invention, the present invention has been properly and fully described through the embodiments with reference to the drawings. However, those skilled in the art can easily change and / or improve the above-described embodiments. It should be recognized that this is possible. Therefore, unless the modifications or improvements implemented by those skilled in the art are at a level that departs from the scope of the claims recited in the claims, the modifications or improvements are not covered by the claims. To be construed as inclusive.
Da、Db、Dc、Dd、De 学習モデル作成装置
1 入力部
2 出力部
3 インターフェース部(IF部)
4a、4b、4c、4d、4e 制御処理部
5 記憶部
41 制御部
42 学習適用部
43a、43b、43c、43d、43e 特定部
44 モデル改良部
51 教師セット記憶部
52 対象サンプル記憶部
511 教師データ記憶部
512 正解ラベル記憶部
Da, Db, Dc, Dd, De Learning
4a, 4b, 4c, 4d, 4e
Claims (12)
前記学習モデルは、学習によって所定の特徴量を抽出する機能を獲得する複数の特徴量抽出部を備え、
学習中の際に、または、学習後の学習モデルを用いて入力サンプルを分析する際に、前記複数の特徴量抽出部の中から冗長な特徴量抽出部を特定する特定部と、
前記学習モデルから前記特定部で特定された特徴量抽出部を削除することによって新たな学習モデルを作成するモデル改良部と、
前記モデル改良部で作成した新たな学習モデルで、前記学習を継続する、または、前記入力サンプルを分析する学習適用部とを備える、
学習モデル作成装置。 A learning model creation device for generating a machine learning learning model,
The learning model includes a plurality of feature amount extraction units that acquire a function of extracting a predetermined feature amount by learning;
During learning, or when analyzing an input sample using a learning model after learning, a specifying unit that identifies a redundant feature quantity extraction unit from among the plurality of feature quantity extraction units;
A model improvement unit for creating a new learning model by deleting the feature amount extraction unit specified by the specifying unit from the learning model;
A new learning model created by the model improvement unit, or the learning application unit that continues the learning or analyzes the input sample.
Learning model creation device.
請求項1に記載の学習モデル作成装置。 The specifying unit specifies the redundant feature amount extraction unit with priority given to reduction in calculation cost,
The learning model creation device according to claim 1.
請求項2に記載の学習モデル作成装置。 The specifying unit specifies the redundant feature amount extraction unit in order from a feature amount extraction unit having a low contribution representing the degree of contribution to the performance of the learning model.
The learning model creation device according to claim 2.
請求項2に記載の学習モデル作成装置。 The specifying unit specifies the redundant feature amount extraction unit in order from a feature amount extraction unit having a low degree of independence representing a degree of independence between the feature amount extraction units.
The learning model creation device according to claim 2.
請求項2に記載の学習モデル作成装置。 The specifying unit divides the plurality of feature amount extraction units into a plurality of groups including feature amount extraction units similar to each other, and represents a feature amount extraction unit representing the group from each of the plurality of groups as a representative feature amount extraction unit And specifying the redundant feature quantity extraction unit by identifying the remaining feature quantity extraction unit excluding the representative feature quantity extraction unit from the plurality of feature quantity extraction units as the redundant feature quantity extraction unit. ,
The learning model creation device according to claim 2.
請求項1に記載の学習モデル作成装置。 The specifying unit specifies the redundant feature amount extraction unit, giving priority to maintaining the performance of the learning model.
The learning model creation device according to claim 1.
前記特定部は、前記第1入力部で受け付けた特徴量抽出部に該当する特徴量抽出部を、前記特定する前記冗長な特徴量抽出部から除外することによって、前記冗長な特徴量抽出部を特定する、
請求項6に記載の学習モデル作成装置。 A first feature amount extraction unit that extracts color information as the feature amount, a second feature amount extraction unit that extracts edge information as the feature amount, and a third feature amount extraction unit that extracts blur information as the feature amount A first input unit that receives an input of a feature amount extraction unit that is excluded from the redundant feature amount extraction unit to be identified;
The specifying unit excludes the redundant feature quantity extraction unit from the redundant feature quantity extraction unit to be specified by excluding the feature quantity extraction unit corresponding to the feature quantity extraction unit received by the first input unit. Identify,
The learning model creation apparatus according to claim 6.
前記特定部は、前記第2入力部で受け付けた特徴量抽出部に該当する特徴量抽出部を、前記冗長な特徴量抽出部として優先的に特定することによって、前記冗長な特徴量抽出部を特定する、
請求項6に記載の学習モデル作成装置。 A first feature amount extraction unit that extracts color information as the feature amount, a second feature amount extraction unit that extracts edge information as the feature amount, and a third feature amount extraction unit that extracts blur information as the feature amount A second input unit that receives an input from a feature amount extraction unit that is preferentially specified as the redundant feature amount extraction unit;
The specifying unit preferentially specifies a feature amount extraction unit corresponding to the feature amount extraction unit received by the second input unit as the redundant feature amount extraction unit, thereby determining the redundant feature amount extraction unit. Identify,
The learning model creation apparatus according to claim 6.
請求項1ないし請求項8のいずれか1項に記載の学習モデル作成装置。 A third input unit that receives a deletion setting number that is the number of feature amount extraction units specified as the redundant feature amount extraction unit;
The learning model creation device according to any one of claims 1 to 8.
請求項1ないし請求項9のいずれか1項に記載の学習モデル作成装置。 A fourth input unit that receives the timing for identifying the redundant feature amount extraction unit by the identification unit and creating the new learning model by the model improvement unit during the learning;
The learning model creation device according to any one of claims 1 to 9.
前記学習モデルは、学習によって所定の特徴量を抽出する機能を獲得する複数の特徴量抽出部を備え、
学習中の際に、または、学習後の学習モデルを用いて入力サンプルを分析する際に、前記複数の特徴量抽出部の中から冗長な特徴量抽出部を特定する特定ステップと、
前記学習モデルから前記特定ステップで特定された特徴量抽出部を削除することによって新たな学習モデルを作成するモデル改良ステップと、
前記モデル改良ステップで作成した新たな学習モデルで、前記学習を継続する、または、前記入力サンプルを分析する処理ステップとを備える、
学習モデル作成方法。 A learning model creation method for generating a machine learning learning model,
The learning model includes a plurality of feature amount extraction units that acquire a function of extracting a predetermined feature amount by learning;
A specific step of identifying a redundant feature quantity extraction unit from among the plurality of feature quantity extraction units during learning or when analyzing an input sample using a learned model after learning;
A model improvement step of creating a new learning model by deleting the feature amount extraction unit specified in the specifying step from the learning model;
A process of continuing the learning or analyzing the input sample with the new learning model created in the model improvement step,
Learning model creation method.
前記学習モデルは、学習によって所定の特徴量を抽出する機能を獲得する複数の特徴量抽出部を備え、
コンピュータに、
学習中の際に、または、学習後の学習モデルを用いて入力サンプルを分析する際に、前記複数の特徴量抽出部の中から冗長な特徴量抽出部を特定する特定ステップと、
前記学習モデルから前記特定ステップで特定された特徴量抽出部を削除することによって新たな学習モデルを作成するモデル改良ステップと、
前記モデル改良ステップで作成した新たな学習モデルで、前記学習を継続する、または、前記入力サンプルを分析する処理ステップと、
を実行させるための学習モデル作成プログラム。
A learning model creation program for generating a machine learning learning model,
The learning model includes a plurality of feature amount extraction units that acquire a function of extracting a predetermined feature amount by learning;
On the computer,
A specific step of identifying a redundant feature quantity extraction unit from among the plurality of feature quantity extraction units during learning or when analyzing an input sample using a learned model after learning;
A model improvement step of creating a new learning model by deleting the feature amount extraction unit specified in the specifying step from the learning model;
A processing step of continuing the learning or analyzing the input sample with the new learning model created in the model improvement step;
A learning model creation program for running.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017100566A JP7043742B2 (en) | 2017-05-22 | 2017-05-22 | Learning model creation device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017100566A JP7043742B2 (en) | 2017-05-22 | 2017-05-22 | Learning model creation device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018195231A true JP2018195231A (en) | 2018-12-06 |
JP7043742B2 JP7043742B2 (en) | 2022-03-30 |
Family
ID=64571663
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017100566A Active JP7043742B2 (en) | 2017-05-22 | 2017-05-22 | Learning model creation device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7043742B2 (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020112483A (en) * | 2019-01-15 | 2020-07-27 | 春江 姚 | Exterior appearance inspection system, calculation model construction method and calculation model construction program |
JP2020190996A (en) * | 2019-05-23 | 2020-11-26 | 沖電気工業株式会社 | Neural network weight reducing device, neural network weight reducing method, and program |
CN112308239A (en) * | 2019-08-02 | 2021-02-02 | 佳能株式会社 | System, method, and program |
JP2021012616A (en) * | 2019-07-09 | 2021-02-04 | 株式会社日立製作所 | Machine learning system |
WO2021192041A1 (en) * | 2020-03-24 | 2021-09-30 | Nec Corporation | System, method and non-transitory computer readable medium |
JP7502972B2 (en) | 2020-11-17 | 2024-06-19 | 株式会社日立ソリューションズ・テクノロジー | Pruning management device, pruning management system, and pruning management method |
JP7511382B2 (en) | 2020-05-11 | 2024-07-05 | キヤノン株式会社 | Information processing device, control method thereof, and program |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016109495A (en) * | 2014-12-03 | 2016-06-20 | タカノ株式会社 | Classifier generation device, appearance inspection device, classifier generation method, and program |
JP2016133895A (en) * | 2015-01-16 | 2016-07-25 | キヤノン株式会社 | Information processing device, information processing method, and program |
JP2016146174A (en) * | 2015-02-06 | 2016-08-12 | パナソニックIpマネジメント株式会社 | Determination method and program |
-
2017
- 2017-05-22 JP JP2017100566A patent/JP7043742B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016109495A (en) * | 2014-12-03 | 2016-06-20 | タカノ株式会社 | Classifier generation device, appearance inspection device, classifier generation method, and program |
JP2016133895A (en) * | 2015-01-16 | 2016-07-25 | キヤノン株式会社 | Information processing device, information processing method, and program |
JP2016146174A (en) * | 2015-02-06 | 2016-08-12 | パナソニックIpマネジメント株式会社 | Determination method and program |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020112483A (en) * | 2019-01-15 | 2020-07-27 | 春江 姚 | Exterior appearance inspection system, calculation model construction method and calculation model construction program |
JP2020190996A (en) * | 2019-05-23 | 2020-11-26 | 沖電気工業株式会社 | Neural network weight reducing device, neural network weight reducing method, and program |
JP2021012616A (en) * | 2019-07-09 | 2021-02-04 | 株式会社日立製作所 | Machine learning system |
JP7171520B2 (en) | 2019-07-09 | 2022-11-15 | 株式会社日立製作所 | machine learning system |
CN112308239A (en) * | 2019-08-02 | 2021-02-02 | 佳能株式会社 | System, method, and program |
US20210034923A1 (en) * | 2019-08-02 | 2021-02-04 | Canon Kabushiki Kaisha | System, method, and non-transitory storage medium |
JP2021026438A (en) * | 2019-08-02 | 2021-02-22 | キヤノン株式会社 | System, method, and program |
JP7353851B2 (en) | 2019-08-02 | 2023-10-02 | キヤノン株式会社 | Systems, methods and programs |
WO2021192041A1 (en) * | 2020-03-24 | 2021-09-30 | Nec Corporation | System, method and non-transitory computer readable medium |
JP7517450B2 (en) | 2020-03-24 | 2024-07-17 | 日本電気株式会社 | System, method and program |
JP7511382B2 (en) | 2020-05-11 | 2024-07-05 | キヤノン株式会社 | Information processing device, control method thereof, and program |
JP7502972B2 (en) | 2020-11-17 | 2024-06-19 | 株式会社日立ソリューションズ・テクノロジー | Pruning management device, pruning management system, and pruning management method |
Also Published As
Publication number | Publication date |
---|---|
JP7043742B2 (en) | 2022-03-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7043742B2 (en) | Learning model creation device | |
CN107408209B (en) | System and method for defect classification in semiconductor processing | |
US10607331B1 (en) | Image segmentation into overlapping tiles | |
US20180268296A1 (en) | Machine learning-based network model building method and apparatus | |
US9002101B2 (en) | Recognition device, recognition method, and computer program product | |
CN111079639A (en) | Method, device and equipment for constructing garbage image classification model and storage medium | |
CN109993201B (en) | Image processing method, device and readable storage medium | |
JP6341650B2 (en) | Image processing apparatus, image processing method, and program | |
JP6282045B2 (en) | Information processing apparatus and method, program, and storage medium | |
CN109685065B (en) | Layout analysis method and system for automatically classifying test paper contents | |
JP6897749B2 (en) | Learning methods, learning systems, and learning programs | |
US11640539B2 (en) | Techniques for visualizing the operation of neural networks using samples of training data | |
JP7396568B2 (en) | Form layout analysis device, its analysis program, and its analysis method | |
US20220277174A1 (en) | Evaluation method, non-transitory computer-readable storage medium, and information processing device | |
US11600088B2 (en) | Utilizing machine learning and image filtering techniques to detect and analyze handwritten text | |
CN109598307A (en) | Data screening method, apparatus, server and storage medium | |
CN112784918A (en) | Node identification method, system and device based on unsupervised graph representation learning | |
JP2019215698A (en) | Image inspection support apparatus and method | |
CN110163206B (en) | License plate recognition method, system, storage medium and device | |
US11615321B2 (en) | Techniques for modifying the operation of neural networks | |
CN111159481A (en) | Edge prediction method and device of graph data and terminal equipment | |
US11810341B2 (en) | Method of identifying filters in a neural network, system and storage medium of the same | |
US20210042550A1 (en) | Information processing device, information processing method, and computer-readable recording medium recording information processing program | |
JP7206892B2 (en) | Image inspection device, learning method for image inspection, and image inspection program | |
CN109447937B (en) | Image processing model determining method and related device thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200318 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210330 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210526 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20211026 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220112 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20220112 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20220121 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20220125 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220215 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220228 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7043742 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |